嘉诚信息:基于“一张图”空间数据基础底座的数据治理实践探索 ——“创新案例 北京实践”系列分享第十七期成功举办
当前,我国经济社会正在从高速发展迈向高质量发展,人与自然的和谐发展、生物多样性保护等内容是绿色发展的核心内容,时空大数据是信息化建设的典型支撑和保障,是数字化发展的基石。
时空大数据服务于多行业和多领域,在政府信息化建设中,横向涉及信息中心、各业务处室、大数据局,以及相关建设单位,业务范围涵盖各类业务平台建设。时空大数据体量大、来源多,需要进行统一汇聚和存储;维度多、结构多,需要进行一体化的治理和管理;占用算力资源大,需要高效应用算力资源,实现高性能计算。为了让时空数据更好地支撑不同领域业务智慧化应用,需要进行时空数据治理。
那么,时空数据应该如何进行治理?时空数据治理应用在哪些场景?时空数据治理有哪些应用价值?
针对这些问题,10月21日,由北京软件和信息服务业协会主办的“创新案例 北京实践”系列分享第十七期邀请到嘉诚信息技术中心研发总监李少杰进行了分享。李少杰以《基于“一张图”空间数据基础底座的数据治理实践探索》为主题,梳理了时空数据治理背景,介绍了嘉诚信息基于时空数据治理底座所进行的探索,分享了时空数据治理的实践案例。
嘉诚信息技术中心研发总监李少杰进行直播分享
一、时空数据治理背景
李少杰表示,时空数据分为基础数据(包括水系、交通、居民地、管线、境界与政区、地貌等)、主题数据(包括大气环境、水环境、土壤环境、固废、核辐射等)和专题数据(包括冬奥会、蓝天保卫战、碧水保卫战等)。
时空数据来源方式多,有数字线画图、卫星影像、街景地图、数字高程、三维模型、三维点云等来源。时空数据占用存储大,以普通电子地图瓦片空间占用为例,瓦片数据分级1~20级,仅第20级瓦片数量就有1万亿张,每张约10KB,共计占用存储空间约10PB。时空数据计算量大,以路网分析为例,全国路网弧段数约4300万,全国路网节点数约3400万,是一个很庞大的图网络拓扑计算。时空数据可视化要求高,要求地图呈现高性能、高美观性、高交互性。此外,空间数据关系到国家地理信息安全,需要遵守《测绘法》《地图管理条例》等法律法规要求。
时空数据治理过程分为5个阶段,分别是数据汇聚、数据存储、数据计算、数据服务、数据可视化。即从数据来源开始进行数据汇聚;经过清洗处理后,进行数据存储;然后根据不同业务场景和不同需求,进行数据计算;通过数据服务接口提供服务;最后,进行数据可视化呈现。
二、“一张图”空间数据基础底座探索
嘉诚信息根据多年的政府客户服务经验,提炼出政务信息化行业对时空数据治理的五大需求:一是标准规范,需统一的标准来规范多源异构的时空数据;二是可靠存储,需可靠的存储机制实现时空数据的管理;三是深度计算,需先进的技术支撑时空数据的深度计算;四是服务接口,需标准的服务接口及对接口的系统化管理;五是前端渲染,需提升可视化的性能、美观性和交互性。
针对以上需求,嘉诚信息经过多年实践探索,研发出“一张图”时空数据基础底座。该时空数据基础底座具有分布式空间数据存储,能提供统一、可靠、便于维护的空间数据管理模式;支持自动化地图切图,能实现空间数据自动化地图服务发布;提供高性能地图瓦片服务,实现无索引地图瓦片聚合技术,提升访问效率;基于图关系的时空数据管理,实现时空数据的高效检索和分析;通过人工智能赋能数据计算,将人工智能应用于时空数据治理的相关环节;提供Restful API 封装接口,可对接不同厂商的计算引擎,提供规范的访问接口。
在时空数据治理探索过程中,嘉诚信息认为人工智能是未来发力点,重点探索人工智能赋能时空数据治理,包括赋能数据汇聚存储、赋能时空数据计算、赋能时空数据检索等,并逐步在台风数据预测、生态环境应用、时空数据智能搜索方面得到应用。
三、时空数据治理的实践案例
最后,李少杰分享了嘉诚信息“一张图”时空数据治理的实践案例。
基于某部级单位的相关需求,嘉诚信息通过建设支撑的海量时空数据上图,形成统一规范、统一坐标系、统一存储、统一数据访问接口的空间数据资源库,辅助用户直观了解区域环境现状。
通过空间数据结构定义规范,将由不同厂商提供的数据进行融合,入到统一的空间数据库进行存储管理,解决了之前不同格式数据不能及时入库的问题。使用无索引瓦片聚合技术,结合栅格瓦片服务与矢量空间数据服务,将停滞一年之久的三线一单空间数据成功上图,实现了三线一单空间数据的展现及交互操作功能。通过分布式文件存储及分布式矢量数据存储技术,解决了之前数据丢失、数据升级困难等相关问题。使用自动化切图技术,解决了空间数据不能定时更新的相关问题,实现了通过物联网设备定时采集空间数据上图展现的功能。通过完整的时空数据治理过程,为行业内的信息化管理辅助决策,提供了基础的保障。
某厅级生态环境大数据综合管理平台
在访谈互动环节,主持人与李少杰就时空数据治理的相关问题进行了热烈互动。
嘉诚信息李少杰接受北京软协主持人采访
谈到嘉诚信息的“一张图”已覆盖的行业,李少杰介绍,除了自然资源、生态环境行业,只要有带时空数据的行业都可以应用,比如林业、农业、交通、智慧城市等相关行业。
关于空间数据治理与普通数据治理的区别,李少杰认为,相对普通数据,空间数据来源广、种类多、格式复杂、存储空间占用大。同时,与普通的数据治理文本依靠关系匹配不同,空间数据治理需要非常庞大的空间计算,像叠加计算、网络计算等,涉及大量特殊性质的计算。此外,空间数据治理通常以图像化、可视化进行结果展现,对图像渲染的性能和交互操作便利性有极高的要求。
提到空间数据治理与数字孪生的差别,李少杰认为,数字孪生与空间数据有一定的交集,在数字孪生的虚拟环境中,往往都具体空间属性。把现实需求在仿真环境下先进行理论验证模拟,甚至是测试通过,再回归到真实环境中去实现和验证,能提升项目成功率、节省成本。时空数据治理是一个应用性很广的技术,只要业务具备时间空间的属性,时空数据治理都有施展的空间。
本次分享活动,让与会人员对时空数据治理有了更深刻的了解,对嘉诚信息的“一张图”时空数据治理有了更清晰的认识。北京软协希望相关厂商和应用企业能通过北京软协平台有更多的交流互动机会,共同促进时空数据治理技术的发展,推动时空数据治理在更多领域落地。