一种空间大数据的处理方法、设备和计算机存储介质与流程

1.本发明一般地涉及数据处理技术领域。更具体地，本发明涉及一种空间大数据的处理方法、设备和计算机存储介质。


背景技术：

2.目前智慧城市、城市大脑建设中城市级别的空间信息数据处理方式仍处于原始阶段。现有技术的存储方式在大数据背景下劣势渐渐凸显，主要有以下几种缺陷：1、传统数据库数据量受限；2、数据维护方式复杂；3、实时分析能力差；4、时空分析能力差；5、海量数据检索能力弱。
3.鉴于此，目前以城市信息数据为基础，建立起三维城市空间模型和城市信息的有机综合体的cim(“city information modeling”，城市信息模型)模型广泛应用。而在该模型的使用过程中，不得不面临多源异构数据的存储、分析和展示问题。
4.多源异构，指多个数据来源，不同的数据存储架构。为兼容市场上主流的bim建模软件，整合不同来源、不同专业、不同成果阶段三维模型数据，以满足项目级、城市级工程数字化应用的不同需求，需要探索多源异构三维模型数据整合与统一的技术方案。但是，由于涉及了多种格式、多个专业和多个类型，技术分散，整合难度大，目前无法通过一个工程数字化平台或方法加载并展示上述各种格式的三维模型数据。另外，海量数据对分析和展示平台也带来了巨大的挑战。
5.因此，如何实现多源异构数据在工程数字化平台中的可视化，对于提升空间处理分析效果具有重要作用。


技术实现要素：

6.为解决上述一个或多个技术问题，本发明提出通过将空间数据模型文件中的数据进行解析，并对不同维度的数据进行解析融合，实现了多源异构数据的统一平台展示，提升了空间信息化应用的展示效果。为此，本发明在如下的多个方面中提供方案。
7.在第一方面中，本发明提供了一种空间大数据的处理方法，包括：获取空间数据模型文件；对所述空间数据模型文件进行空间解析，以获取二维gis数据、三维模型数据和bim数据；将所述二维gis数据、三维模型数据和bim数据进行数据融合，以获取融合后的空间数据；以及将所述融合后的空间数据存入预先构建的数据库，以实现平台展示。
8.在一个实施例中，所述空间数据模型文件包括二维空间数据模型文件和三维空间数据模型文件。
9.在一个实施例中，所述对所述空间数据模型文件进行空间解析以获取二维gis数据、三维模型数据和bim数据包括：对所述空间数据模型文件进行解析，以获取解析结果，所述解析结果包括节点数据、几何数据、纹理数据和属性数据中的一种或多种；将所述解析结果汇总为对应的二维gis数据、三维模型数据和bim数据。
10.在一个实施例中，所述将所述二维gis数据、三维模型数据和bim数据进行数据融
合以获取融合后的空间数据包括：将所述解析结果转换为统一坐标系下并且统一度量单位的数据，以得到标准的解析结果；将所述标准的解析结果进行关联，以实现数据融合。
11.在一个实施例中，所述将所述标准的解析结果进行关联以实现数据融合包括：根据所述属性数据对标准的解析结果赋予id值；通过所述id值将所述几何数据、纹理数据和属性数据与节点数据相关联，以实现数据融合。
12.在一个实施例中，所述方法还包括：对所述bim数据进行轻量化处理，以减小数据融合计算量。
13.在一个实施例中，所述对所述bim数据进行轻量化处理包括：对所述bim数据进行几何转换和/或对所述bim数据进行渲染处理，以实现bim轻量化计算。
14.在第二方面中，本发明还提供了一种电子设备，包括：处理器；以及存储器，其存储有用于处理空间大数据的计算机指令，当所述计算机指令由所述处理器运行时，使得所述电子设备执行根据前文及后文一个或多个实施例中所述的空间大数据的处理方法。
15.在第三方面中，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于处理空间大数据的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如前文及后文一个或多个实施例中所述的空间大数据的处理方法。
16.根据本发明的方案，可以对多源异构数据进行融合处理，支持多种数据的二维、三维空间分析计算，实现了将不同来源、不同结构、不同分辨率的城市空间数据高效统一到一个场景和平台中。进一步，通过对bim数据进行轻量化计算，能够实现海量bim模型的高效加载和实时绘制过程，提升了海量空间数据的处理效率和系统的处理性能。
附图说明
17.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
18.图1是示意性示出根据本发明的一个实施例的空间大数据的处理方法的流程图；
19.图2是示意性示出根据本发明的另一个实施例的空间大数据的处理方法的流程图；以及
20.图3是示意性示出根据本发明的实施例的电子设备的示意图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.下面结合附图来详细描述本发明的具体实施方式。
23.cim平台系统包括数据汇聚与管理、数据查询与可视化、多维空间计算与分析、数据交换与共享、综合运维管理、平台开放接口六大功能。本发明以cim平台系统对多源异构数据展示过程进行说明。
24.通过对空间数据模型文件进行解析，以及对多维数据进行融合处理，实现多源异
构数据在统一平台的展示。
25.图1是示意性示出根据本发明的一个实施例的空间大数据的处理方法100的流程图。
26.在cim系统中，其中数据汇聚与管理功能中，主要提供空间治理各阶段二维gis数据、三维模型数据或bim数据汇聚的能力，实现对多源数据的一体化、全流程管理。数据查询与可视化功能中，通过系统支持对模型数据进行整合，同时支持资源查询、检索、整合、以及管理等能力，包括解析渲染、交互浏览、信息查询、专题图展示等方式。多维空间计算与分析功能，是基于完整的模型体系的数字化表达，包括二维空间分析以及三维空间分析。
27.数据交换与共享功能是通过运用gis技术与各类物联网、ai等有机结合，打通数据资源的融合共享与开发利用。综合运维管理功能保障整个平台的正常运行。平台开放接口提供二次开发接口，方便可以基于cim基础平台的数据和功能，根据自身的业务特点定制开发基于cim的cim+应用。
28.根据本发明的上下文，本方案中主要从数据汇聚与管理管理功能和多维空间计算与分析功能方面进行改进，从而实现各类异构数据的共享、交换和展示。
29.如图1所示，在步骤s101处，获取空间数据模型文件。在一些实施例中，该空间数据模型文件可以包括二维空间数据模型文件和三维空间数据模型文件。在包含多源异构数据的空间数据模型文件中，二维空间数据模型文件可以包括二维gis模型文件。三维空间数据模型则包括基础模型、工程模型和计算模型。其中基础模型例如可以包括三维地形模型、三维点云模型、三维实景模型和三维数字场景。
30.三维地形模型，即数字高程模型(digital elevation model，dem)，是一种对空间起伏变化的连续表示方法，较为常用的有不规则三角网tin和格网dem两种，常见格式有.tiff和.geotiff。三维点云模型是带有三维特征信息的高密度点云集合，支持.ply、.las、.xyz等点云数据格式。
31.三维实景模型是倾斜摄影测量的主要成果，即通过带纹理信息的不规则三角网进行表达，一般采用细节层次(level of detail，lod)技术，以提高加载和渲染效率。不同实景建模软件支持多种数据格式，一般有osgb、obj、3d tiles等通用数据格式。三维数字场景即由数字高程模型dem和数字正射影像图digital orthophoto map，dom)进行叠加形成的具有逼真纹理的三维数字场景。
32.工程模型一般由三维建模平台创建，包括土建、机电等专业模型。计算模型主要包括岩土结构计算模型数据、钢结构计算模型数据以及混凝土结构计算模型数据。本发明的方案中主要针对一般性三维模型进行分析，由此将不对上述三种模型进行详细阐述。
33.在步骤s102处，对空间数据模型文件进行空间解析，以获取二维gis数据、三维模型数据和bim数据。在一个应用场景中，对获取的包含多源异构数据的空间数据模型文件进行解析，读取模型文件中的关键数据字段，并为关键数据字段赋予id值用于建立数据索引。通过对输入的模型文件进行节点、几何和属性等方面的解析，可以获取模型中的关键数据。
34.在步骤s104处，将二维gis数据、三维模型数据和bim数据进行数据融合，以获取融合后的空间数据。在一些实施例中，可以结合二维gis数据、三维模型数据和bim数据中的节点属性、几何信息等，实现数据匹配和融合。
35.在步骤s105处，将所述融合后的空间数据存入预先构建的数据库，以实现平台展
示。在一些实施例中，可以预先构建数据库，该数据库中例如可以包括节点信息表、几何信息表等，可以将对应的信息内容填入对应的表单中，以实现信息存储。
36.图2是示意性示出根据本发明的另一个实施例的空间大数据的处理方法200的流程图。需要说明的是，该空间大数据的处理方法200可以理解为是图1中方法100的步骤s102至步骤s104的一种可能的示例性实现方式。因此，前文结合图1中的相关描述同样也适用于下文。
37.如图2所示，在步骤s201处，对空间数据模型文件进行解析，以获取解析结果。在一些实施例中，该解析结果包括节点数据、几何数据、纹理数据和属性数据中的一种或多种。
38.接着，在步骤s202处，将解析结果汇总为对应的二维gis数据、三维模型数据和bim数据。在一些实施例中，由于空间数据模型文件中包括二维gis模型和三维空间数据模型，可以通过上述解析过程，将对应的数据进行汇总。
39.在步骤s203处，将解析结果转换为统一坐标系下并且统一度量单位的数据，以得到标准的解析结果。在一些实施例中，为了将异构数据在统一平台进行展示，可以通过汇总至统一的坐标系中进行存储和展示。
40.接着，将标准的解析结果进行关联，以实现数据融合。具体地，在步骤s204处，根据所述属性数据对标准的解析结果赋予id值。
41.在步骤s205处，通过id值将几何数据、纹理数据和属性数据与节点数据相关联，以实现数据融合。数据融合方法中，由于空间数据存在差异性、冗余等问题，还可以通过对数据进行基于矢量的和基于栅格的融合。
42.在一些实施例中，为了减小数据处理的压力，减少海量数据带来的计算量挑战。在上述进行数据处理的过程中，还可以对bim数据进行轻量化处理，以减小数据融合计算量。
43.在一个应用场景中，对bim数据进行轻量化处理的方法例如可以包括：对bim数据进行几何转换和/或对bim数据进行渲染处理，以实现bim轻量化计算。其中几何转换的方式可以对bim模型进行参数化处理和压缩存储，将bim中的几何数据转换为大多数软件支持的三角面格式，以构件为粒度融合属性数据，达到缩小bim模型体量的目的。
44.而利用渲染处理进行轻量化处理就是利用三维渲染引擎对大模型和大场景进行渲染优化，实现在硬件资源不足的条件，大体量、大场景流畅展示。
45.进一步，城市级数据量在传统gis检索手段上会面临巨大压力，本发明还可以基于elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询。
46.通过本发明的方案，能够实现各类异构数据的共享和交换，通过打通ogc标准服务实现二维数据融合。进一步，还可以通过s3m三维地理空间数据格式与三维地理空间服务格式，实现三维数据的数据融合、高效发布、数据共享交互操作。
47.图3是示意性示出根据本发明的实施例的电子设备300的示意图。该电子设备300可以包括根据本发明实施例的设备301以及其外围设备和外部网络。如前所述，该设备301实现获取包括获取空间数据模型文件、数据解析、数据融合和数据存储等操作，以实现前述结合图1和图2所述的本发明的方案。
48.如图3中所示，设备301可以包括cpu3011，其可以是通用cpu、专用cpu或者其他信息处理以及程序运行的执行单元。进一步，设备301还可以包括大容量存储器3012和只读存储器rom 3013，其中大容量存储器3012可以配置用于存储各类数据以及多媒体网络所需的
各种程序，rom 3013可以配置成存储对于设备301的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
49.进一步，设备301还包括其他的硬件平台或组件，例如示出的tpu(tensor processing unit，张量处理单元)3014、gpu(graphic processing unit，图形处理器)3015、fpga(field programmable gate array，现场可编程逻辑门阵列)3016和mlu(memory logic unit)，存储器逻辑单元)3017。可以理解的是，尽管在设备301中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备301可以仅包括cpu作为公知硬件平台和另一硬件平台作为本发明的测试硬件平台。
50.本发明的设备301还包括通信接口3018，从而可以通过该通信接口3018连接到局域网/无线局域网(lan/wlan)305，进而可以通过lan/wlan连接到本地服务器306或连接到因特网(“internet”)307。替代地或附加地，本发明的设备301还可以通过通信接口3018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代(“3g”)、第四代(“4g”)或第5代(“5g”)的无线通信技术。在一些应用场景中，本发明的设备301还可以根据需要访问外部网络的服务器308以及可能的数据库309。
51.设备301的外围设备可以包括显示装置302、输入装置303以及数据传输接口304。在一个实施例中，显示装置302可以例如包括一个或多个扬声器和/或一个或多个视觉显示器。输入装置303可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，或其他输入按钮或控件，其配置用于接收数据的输入或用户指令。数据传输接口304可以包括例如串行接口、并行接口或通用串行总线接口(“usb”)、小型计算机系统接口(“scsi”)、串行ata、火线(“firewire”)、pci express和高清多媒体接口(“hdmi”)等，其配置用于与其他设备或系统的数据传输和交互。
52.本发明的设备301的上述cpu 3011、大容量存储器3012、只读存储器rom 3013、tpu 3014、gpu 3015、fpga 3016、mlu 3017和通信接口3018可以通过总线3019相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线3019，cpu 3011可以控制设备301中的其他硬件组件及其外围设备。
53.在工作中，本发明的设备301的处理器cpu 3011可以通过输入装置303或数据传输接口304获取媒体数据包，并调取存储于存储器3012中的计算机程序指令或代码对内存屏障指令有效性进行验证。
54.从上面关于本发明模块化设计的描述可以看出，本发明的系统可以根据应用场景或需求进行灵活地布置而不限于附图所示出的架构。进一步，还应当理解，本发明示例的执行操作的任何模块、单元、组件、服务器、计算机或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备(可移除的)和/或不可移动的)例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。基于此，本发明也公开了一种计算机可读存储介质，其上存储有用于处理空间大数据的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如前文一个或多个实施例中所述的空间大数据的处理方法。
55.虽然本说明书已经示出和描述了本发明的多个实施方式，但对于本领域技术人员
显而易见的是，这样的实施方式是仅以示例的方式提供的。本领域技术人员在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解在实践本发明的过程中，可以采用本文所描述的本发明实施方式的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。