时空数据治理与时空数据交互实践

时空数据治理与时空数据交互实践

王涛 ,周良才

吉奥时空信息技术股份有限公司  湖北武汉   430223

摘要:为了适应生态文明建设和自然资源部门“两统一”职责要求,结合自然资源部的相关信息化部署,吸收和总结已有信息化经验,提出一种符合自然资源行政主管部门实际需要的自然资源数据治理体系构建思路,包括构建自然资源数据标准规范体系､三维立体自然资源“一张图”大数据体系,空间-业务-时态关系,分布式数据管理机制､更新维护机制四个主要内容,探讨了在数据治理体系基础上通过自然资源大数据深度挖掘､分析､预测辅助自然资源监管决策的应用方向｡最后,介绍了利用国土空间基础信息平台大数据中心支撑自然资源数据治理体系构建和运转的实践案例｡

关键词：时空信息;数据汇聚;数据治理;共享交换;

0引言

2017年原国土资源部､国家测绘地理信息局联合印发了《国土空间基础信息平台建设总体方案》｡方案提出要建设国土空间基础信息数据的相关标准规范和数据资源体系｡随着自然资源部的组建,国土资源-自然资源信息化在新形势下有了新内涵｡2019年11月,自然资源部印发了《自然资源部信息化建设总体方案》,方案要求建立三维立体自然资源“一张图”,整合､集成和规范土地､地质､矿产､海洋､测绘地理信息等各类数据库,按照统一的标准,构建“地上地下､陆海相连”的统一的自然资源“一张图”大数据体系｡接下来,时空大数据将进一步开放,实现跨层级､跨地域､跨系统､跨部门､跨业务的信息资源共享和应用｡

1多源时空数据汇聚治理

1.1多源异构数据自适应汇聚

通过调研发现,各政府部门的信息化建设水平参差不齐,其数据资源的对外共享形态各有差异,主要呈现为服务接口､数据库和文件3种类型[5]｡每种类型还存在着不同的技术实现手段,比如服务接口类型资源,包括符合OGC标准的地理信息服务､SOAP协议的WebService接口以及轻量级的RESTful服务接口等;数据库类型资源,存在于不同的数据库平台,包括主流的Oracle､SQLServer､MySQL､PostgreSQL､DB2和GBase等;文件类型资源,既包括不同地理信息平台数据格式的文件,如SHPFile､Geodatabase､SDB,也包括文档､多媒体文件等｡针对上述类型数据,按照各部门对数据资源的管理要求,建立物理汇聚和逻辑汇聚2种数据汇聚方式｡传统的物理汇聚方式,是将数据抽取加载到本地数据仓库中进行集中存储｡而逻辑汇聚方式,其数据资源仍然存放于各数据提供部门,通过建立适配服务接口､数据库和文件等类型数据的在线汇聚通道(如图1所示),将各部门离散的数据资源从逻辑上统一接入时空大数据平台,进行集中管理,数据需求部门可依托平台实时查询数据提供部门相关数据资源,实现数据资源的按需快速响应和服务｡

图1数据在线汇聚

1.2数据资源自动化治理

汇聚的各部门数据资源质量往往参差不齐,主要问题如下:数据资源字段信息不完整;数据内容不规范,未清理部分垃圾数据､测试数据;数据格式非结构化,易用性不高;部分数据更新不及时,时效性差｡为解决上述问题,需要同步从管理和技术层面着手｡管理层面,通过管理办法和考核机制对部门共享数据的责任及义务进行约束,从源头上解决部门不愿意提供,或者提供数据不规范､质量不高的问题｡严格管理数据汇聚审核业务流程,对不符合标准规范要求的数据予以驳回,把好数据质量关｡技术层面,不断强化后台数据治理的能力,通过ETL(数据抽取､转换和加载)技术,构建基于业务模型和作业管理的自动化数据治理工作流,将分布､异构的数据资源抽取到临时中间层后进行清洗､转换和集成,最后加载到数据仓库中｡按照应用要求制定数据质量检测规则,对数据资源进行全生命周期的质量巡检,实现自动快速定位数据质量问题｡

1.3数据需求清单管理机制

时空大数据在共享应用过程中存在汇聚数据与被需求数据之间不匹配的问题,需要提前从业务应用角度出发,获取真实的数据需求｡因此在数据汇聚阶段,通过联合各部门,梳理并建立数据需求清单,把实际需求转化为数据汇聚目录,最大化实现数据内容与业务应用有效契合,提升数据资源应用成效｡

2信息资源共享交换

2.1标准化服务发布

建立支持各类型数据服务化的发布引擎,实现时空大数据平台所有服务统一出口｡对各类数据库表､文件进行服务化,生成标准格式的查询服务接口;对各类数据服务接口进行代理,支持带验证服务与不带验证服务代理｡平台服务接口采用Token机制控制访问权限,记录细粒度的访问日志｡

2.2数据交换模式

数据交换主要包括2种模式,一种是用户通过平台提供的服务接口自行查询获取相关信息资源:另外一种则是由平台通过前置交换的方式主动向用户指定的目标地址推送数据｡前置交换的中转作用能够隔离业务系统,保障业务系统的运行不被信息共享交换所影响｡每台前置交换服务器可作为一个子节点,代替中心节点单独运行数据交换任务,通过前置交换服务器网状部署结构,实现分布式运行计算,减轻中心节点的计算压力,提高共享交换运行效率,前置交换架构如图2所示｡

图2前置机数据交换

2.3数据安全管理

时空大数据应严格按照《中华人民共和国数据安全法》、《测绘地理信息管理工作国家秘密范围的规定》、《基础地理信息公开表示内容的规定》、《公开地图内容表示若干规定》、《遥感影像公开使用管理规定》等国家对地理信息安全管控的相关规定，对时空大数据资源内容进行基础版、政务版和公众版的分类分版管理，明确数据安全主体责任。其中，基础版数据是涉密的时空大数据，其数据内容及管理系统必须在涉密网中使用与对外服务，与电子政务外网、互联网严格物理隔离；政务版数据是从涉密的时空大数据中提取、并依法通过保密技术处理后的数据，其数据内容及管理系统经商用密码技术保护后可在电子政务外网中使用与对外服务；公众版数据（可作为城市地理信息公共服务平台对应数据）是根据地理信息公开表示相关管理要求，从政务版时空大数据中提取可公开的数据内容，并经自然资源主管部门审核后的数据，其数据内容及管理系统可在互联网中使用与对外服务。

3时空信息融合应用

为改变空间､非空间数据相互独立的状态,发挥数据的聚合效应,需要在数据汇聚基础上分析并建立数据之间的关联关系,并以此开展多源数据的时空融合,支撑时空大数据面向各业务场景的深度应用｡

3.1数据空间化转换

汇聚数据资源有大量结构化非空间数据,需要利用自带的位置相关描述信息,进行空间化处理,使其具备时空信息的时间､空间和属性特征｡利用地理编码技术,通过地名分词､空间关系重建以及门牌地址计算等处理步骤,将数据中带有的地址或地名描述信息转换为空间位置坐标,实现非空间数据向空间数据的转换｡

3.2数据关联融合

对来自各部门分散的数据资源,建立以元数据驱动的数据关联分析模型,从“时间､空间､属性”3个维度进行时空数据融合,流程如图3所示｡其中时间维度反映了同一对象的在不同历史节点的发展情况;空间维度是将数据与地理空间实体进行关联,把数据落到空间位置上;属性则指的是某一对象本身具备的多重属性信息,可整合并丰富对象的描述｡通过建立面向应用的时空融合处理作业模型,实现自动､高效的时空信息融合｡

4结语

数字城市､智慧城市建设以及地理国情普查､自然资源监测､国土调查等工作的深入开展积累了海量的时空信息资源,为发挥时空大数据在促进城市健康发展等方面的价值,需进一步转变思想观念,解决数据开放共享不足和数据质量不优的问题,通过数据的汇聚共享与深度融合,构建多元化时空服务能力,在民生服务､城市治理､政府管理､产业融合和生态宜居等领域推动“时空大数据+”的融合应用模式发展｡

参考文献[1]王家耀,武芳.地理信息产业转型升级的驱动力[J].武汉大学学报:信息科学版,2019,44(1):10-16.[2]李德仁,马军,邵振峰.论时空大数据及其应用[J].卫星应用,2015(9):7-11.[3]自然资源部.自然资源部信息化建设总体方案[R].北京:自然资源部,2019.[4]林芳.探索自然资源大数据“聚､管､用”体系的构建[J].国土资源情报,2019(11):13-18.[5]李仕峰.多源异构数据时空融合关键技术研究与应用[J].地理空间信息,2021,19(10):19-21.