时空大数据平台的智能系统设计与实现
文/史少远
近年来,智慧城市的建设遍地开花,各种智慧应用需求推动着地理信息产业的快速发展,时空大数据平台作为其他城市级别平台的支撑和基础,为智慧慧城市时空基础设施。
城市提供统一的时空基准、丰富的时空大数据、强大的时空分析服务,是智
111
信息科技IT
经过十多年的地理空间框架建设工作,全国有三百多座地级城市和三百多个县级市完成了建设并取得了较好的应用效果,随着城镇化发展进程加速和科学科技进步,物联网、大数据、云计算、人工智能等新技术的发展与应用越来越需要新型地理信息平台的支撑。国家测绘地理信息局、自然资源部分别印发了《智慧城市时空大数据与云平台建设技术大纲(2017版)》和《智慧城市时空大数据平台建设技术大纲(2019)》,推动数字城市地理空间框架升级为智慧城市时空基础设施,将使用分散物理服务器的支撑环境升级为使用动态资源、弹性可分配的云环境,将主要提供数据服务的地理信息公共平台升级为提供数据、功能、应用、开发、服务器等资源池的时空信息云平台,将传统和二维的基础地理信息数据库升级为智能和三维,支持新型测绘成果和物联网数据的时空大数据,并将空间基准增加了时间基准升级为时间基准来实现四个提升。智慧城市时空大数据平台是数字中国时空信息数据库的重要组成部分,建设内容涵盖“统一时空基准、丰富时空大数据、构建云平台、搭建云支撑环境、开展智慧应用”,为城市管理提供一张基准统一、三维立体的底座,功能强大,按需服务的平台,一套融合了空天地海、室内室外、地上地下的数据。
图打印,服务注册、申请、发布、监测等功能;专业模块是主要面向专业用户的功能,包括红线范围叠加分析、平面和球面投影相互转换、多种坐标转换等。
时空信息服务。时空信息服务是时空基础设施的核心,是智慧城市的基础,需要提供规范、丰富、高效、便捷的在线时空信息服务能力。与数字城市地理空间框架相比,它支持按需提供不同应用场景、不同颗粒度的服务,并通过物联网节点提供实时信息服务。时空云平台一方面提供接口服务、数据服务、功能服务、应用服务、资源等服务和空间编码、处理、分析的能力,另一方面,在云基础设施层的基础上,它面向各类业务用户提供应用宿主环境,能够将一个完整的地理信息系统运行平台作为一种服务提供给用户,包括云GIS桌面端软件、云GIS服务端系统、云空间数据库、云服务器和集群服务等,并且能够针对大数据、高并发访问,按需动态分配资源。
二次开发接口。平台应提供多种应用系统开发接口(API),实现对地理信息服务的地图操作、数据编辑、时空分析、可视化展示和分析等功能的开发,支持用户对复杂业务系统的快速定制。
智能分析展示。平台应提供自动化、智能化的图表自动生成、专题图自动生成能力,用户调用在线的,或离线的数据,可以直接生成形式多样的图表和专题地图,生成的成果应随着数据更新而更新,可以发布、共享、浏览,嵌入其他业务系统。
运维管理能力。运维管理是云平台稳定运行的保障,应具备用户分级权限管理,数据、功能、服务自主配置和安全控制,服务发布、管理、监控, 用户、系统、监控日志的实时、自动收集与分析,数据字典和数据源配置,平台运维状态监控和自动报警等功能和能力,为平台的安全、高效、稳定运行提供全面保障。
时空大数据分析
时空大数据主要包括历史与现状的基础地理信息数据,公共专题数据,智能感知数据和空间规划数据。基础地理信息数据主要有历史与现状的矢量数据、影像数据、高程模型数据、地理实体数据、地名地址数据、360全景数据、地表三维模型、倾斜摄影三维模型、激光点云三维模型数据。公共专题数据主要有兴趣点数据、旅游数据、地理国情数据。法人数据、人口数据对接政务大数据。智能感知数据主要有传感器数据和视频数据。传感器数据有水利传感数据、环保传感数据、气象传感数据;视频数据有视频监控数据和无人机拍摄数据。空间规划数据包含实验区空间规划数据、乡镇空间规划数据、村庄规划和城市规划和土地规划等相关空间规划数据。
关键技术设计
首先,时空大数据平台的关键技术路线对结构化数据、半结构化数据、非结构化数据等多源异构数据进行汇聚,形成的
时空云平台分析
时空云平台具备二三维电子地图、时空信息服务、二次开发接口、智能分析展示、运维管理能力。
二三维电子地图。平台应提供二维电子地图和三维模型功能,包括基础功能、可选功能、专业功能。基础功能是指常用的地图功能,包含图层加载、切换、浏览,地图放大、缩小、漫游,关键字查询和兴趣点定位,二维电子地图与三维模型视图切换等;可选功能是指图层目录树浏览、选择,专题数据加载、浏览、查询,地图标注、量测,分屏对比,卷帘对比,地
空间数据与非空间数据;其次,通过地名地址匹配将非空间数据挂接到空间;再次,通过统一服务管理,提供给二三维地图引擎、业务流程引擎加载、调用;最后,利用可视化智能分析生成自定义的图表和专题图。
多源异构数据汇聚
多源异构数据可分为结构化数据、半结构化数据、非结构化数据三种类型,每种类型使用不同的组合来进行数据汇聚。结构化数据采用spark作为数据汇聚的技术路线;半结构化数据汇聚主要使用Web网络爬虫系统、kafka消息队列系统、spark数据解析以及和HDFS数据存储来组合完成;非结构化
112
IT信息科技
数据主要指各种智能设备和软件系统产生的日志信息,使用Flume进行日志收集,各种文件数据(视频、音频、文档等)汇聚的方式多种多样,可以使用http、ftp等协议,这类数据汇聚完成后直接将数据存储到HDFS中。
WEB三维地图引擎
三维模型数据在浏览器中的加载方式会直接影响到客户操作体验,针对依赖三维模型的业务部门如空间规划、自然资源等专业用户设计了有插件版的WEB三维引擎,除了基础的三维模型浏览、图层叠加外还提供了空间量测、高度计算、地面开挖、日照分析、天际线分析等功能;针对普通用户提供无插件版的WEB三维引擎,能快捷地对三维模型进行查看,使用便捷。有插件版本基于SkylineGlobe软件平台,使用Javascript形式的TerraExplorer API进行二次开发。无插件版本,是基于Cesium进行开发的,支持无插件的三维场景展示,能在多种浏览器上运行,但是数据量的支持有限,可满足基础的三维数据浏览需求。
地址匹配
全文检索是指系统根据用户输入的关键字、词、通配符,对目标库中的内容逐字逐句的对比,匹配到关键字,则记录其位置,直至目标库中的所有内容全部遍历完成,形成查询目标与查询结果之间的映射关系表。全文检索内容如果有在历史中,则系统直接读取历史映射关系表,返回结果,速度很快;全文检索内容如果第一次查询,则需要花费较长时间,因为需要遍历目标库。
可视化智能
自动生成专题图表和专题地图。主要使用Echarts和Maptalks组件。ECharts是一个前端的、开源的可视化的图件库,是一套各种图表组件的集合,支持JavaScript,运行在客户端,简洁美观、交互丰富,可高度个性化定制,Maptalks是一个支持HTML5的地图引擎,基于原生ES6 Javascript二次开发,主要定位是插件式的轻量级二三维地图渲染库,平台使用Echarts与Maptalks组件实现图表BI与地图BI的展示。
业务流程引擎
业务流引擎采用SpringMVC + Spring + MyBatis + Shiro + Quartz + Redis + Ehcache等多种技术组合开发,实现了数据权限、功能权限、角色权限的管理,同时整合了Cas单点登录,Activiti工作流程引擎,也引入了上文介绍的Lucene全文搜索引擎,支持基础业务代码生成。
统一服务管理
统一服务管理基于网络地理数据编录服务(CSW,Catalogue Service for the Web)设计。CSW提供地理信息目录服务,它将数据目录生成XML文件,在线共享,客户端通过GetRecords请求到XML,通过分析即可获取服务本身信息(如
名称、简介、类型等)、服务发布端信息(如发布机构、发布人、联系方式等)、元数据、过滤选项。
平台框架设计
根据智能城市建设大纲、时空大数据与云平台建设大纲、云计算架构,时空信息云平台的架构设计为五横两纵,五横为基础设施层(基础架构即服务IaaS)、时空大数据层(数据即服务DaaS)时空信息云服务层(平台即服务PaaS)、应用服务层(软件即服务SaaS)、智慧应用层,两纵为云平台标准规范体系、云平台安全保障体系。
平台功能实现
系统平台设计包括时空门户网站、智能分析系统、运维管理系统。
时空门户网站
门户网站的建设,可为、企业、公众提供一个数据、功能、应用、资源集中的一站式服务门户,支持通用模板与个性化定制、根据用户权限的不同,提供不同级别的服务和智能应用,主要功能包括门户首页、时空城市、服务资源、典型应用、开发资源等。
智慧应用系统
智能分析系统主要是汇聚各类离线、在线,文本、数据库、服务数据,并将空间数据与非空间数据整合分析和展示,同时提供不同应用需求的场景和业务的智能图定制。
运维管理系统
运维管理系统是保障平台安全、稳定运行的关键,主要使用对象是各级系统管理员、运维人员,通过可视化界面、各种运行状态仪表盘,可以快速、清楚地了解系统的运行状态,可按需要对系统的数据权限、功能权限、应用权限、服务权限进行配置与管理,主要功能包括个人中心、服务管理、安全管理、系统监测管理、日志管理、综合分析等。
“十四五”以来,实景三维中国、城市信息模型、数字孪生等新概念应运而生,时空大数据平台将会向三维、感知、智慧方面快速发展,未来将支持快速融合地形级的地理环境实景三维模型数据,城市级的城市信息模型CIM,部件级的建筑物信息模型BIM等多种不同尺度的三维模型;同时支持海量物联网数据的采集、汇聚、分析,当客观环境、状态发生变化时,三维模型数据也随之实时、动态的变化,实现数字模型与真实城市完全映射,建成具有千里眼、顺风耳,会思考、能决策、善指挥的城市大脑。(本文作者为福建省经纬数字科技有限公司职员)
113
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- sceh.cn 版权所有 湘ICP备2023017654号-4
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务