一种基于AR+3DGIS的混合现实三维动态时空可视系统及方法与流程

本发明涉及混合现实技术领域，具体涉及一种基于ar+3dgis的混合现实三维动态时空可视系统及方法。

背景技术：

视频融合技术是虚拟现实技术的一个分支，或者说是虚拟现实的一个发展阶段。三维视频融合技术指把一个或多个由摄像机图像序列视频和与之相关的三维虚拟场景加以匹配和融合，生成一个新的关于此场景的动态虚拟场景或模型，实现虚拟场景与实时视频的融合，即：虚实结合。

三维视频融合技术，可依托于单独的三维引擎，实现小范围或局部的三维场景与视频等资源的融合应用。但是，在实际应用过程中，依然会面临一些问题：

实景在场景融合中会出现扭曲变形问题。由于场景是三维的，实景视频是二维的，在融合过程中，需要对实景摄像机进行校正处理，才能更好的体现出视频的地理信息价值。

这与增强现实的实景地图问题正好相对，实景地图能够更好的还原真实场景，但不能精准的反应地理信息价值。三维视频融合能精准的反应三维地理信息价值，但是在视频本身，受限到视频安装位置问题，视频画面整体降低。

因此，如何将增强现实融合应用于三维地理信息场景融合应用，是一个亟待解决的问题。

技术实现要素：

本发明实施例的目的在于提供一种基于ar+3dgis的混合现实三维动态时空可视系统及方法，用以解决现有技术中存在的问题。

为实现上述目的，本发明实施例提供一种基于ar+3dgis的混合现实三维动态时空可视系统，该基于ar+3dgis的混合现实三维动态时空可视系统包括：结构化数据采集设备、非结构化数据采集设备、第一网关、第二网关和图像融合设备；其中，所述图像融合设备包括：增强现实融合模块和三维地理信息融合模块；所述结构化数据采集设备，用于采集视频流数据，并将所述视频流数据发送至所述第一网关；所述非结构化数据采集设备，用于采集第二数据，并将所述第二数据发送至所述第二网关；所述增强现实融合模块，用于接收经过所述第一网关转发的视频流数据和所述第二网关转发的第二数据，通过预设的融合算法融合，以及将融合的结果发送至所述三维地理信息融合模块；所述三维地理信息融合模块，用于在三维地理信息景中，实现所述视频流数据和第二数据的融合应用。

可选的，所述第一网关，通过28181协议或sdk方式，将所述视频流数据转发至所述增强现实融合模块。

可选的，所述第二网关，通过sdk方式，将所述第二数据转发至所述增强现实融合模块。

可选的，所述增强现实融合模块，具体用于：对所述第一全景图像进行几何校正、噪声消除、色彩亮度调整及配准；找出所述第一全景图像与所述三维地图场景的最大相关，生成所述三维地图场景的变换模型，统一所述第一全景图像与所述三维地图场景的坐标变换，通过纹理投影的方法将所述第一全景图像进行投射到所述三维地图场景中，实现视频图像的融合。

为实现上述目的，本发明实施例提供一种基于ar+3dgis的混合现实三维动态时空可视方法，该基于ar+3dgis的混合现实三维动态时空可视方法包括：采集视频流数据，并发送所述视频流数据；采集第二数据，并发送所述第二数据；接收所述视频流数据和所述第二数据，通过预设的融合算法融合，得到融合结果，以及发送所述融合结果；在三维地理信息景中，实现所述视频流数据和第二数据的融合应用。

可选的，所述第一网关，通过28181协议或sdk方式，将所述视频流数据转发至所述增强现实融合模块。

可选的，所述第二网关，通过sdk方式，将所述第二数据转发至所述增强现实融合模块。

可选的，接收所述视频流数据和所述第二数据，通过预设的融合算法融合，得到融合结果，具体用于：对所述第一全景图像进行几何校正、噪声消除、色彩亮度调整及配准；找出所述第一全景图像与所述三维地图场景的最大相关，生成所述三维地图场景的变换模型，统一所述第一全景图像与所述三维地图场景的坐标变换，通过纹理投影的方法将所述第一全景图像进行投射到所述三维地图场景中，实现视频图像的融合。

本发明实施例具有如下优点：

附图说明

图1为本发明实施例1提供的一种基于ar+3dgis的混合现实三维动态时空可视系统的结构示意图。

图2为本发明实施例2提供的另一种基于ar+3dgis的混合现实三维动态时空可视系统的结构示意图。

图3为本发明实施例3提供的一种基于ar+3dgis的混合现实三维动态时空可视方法的结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例1

本发明实施例1提供了一种基于ar+3dgis的混合现实三维动态时空可视系统，该基于ar+3dgis的混合现实三维动态时空可视系统在增强现实(ar)层面，将结构化数据、非结构化数据和真实全景视频图像融合；在三维地理信息系统(3dgis)层面，将结构化数据和非结构化数据与三维地理信息场景进行融合；在混合现实(mr)层面，将增强现实场景与三维地理信息场景统一匹配调用，在各自优势应用的同时，实现实景与三维地理信息场景的统一性融合应用。

图1为本发明实施例1提供的一种基于ar+3dgis的混合现实三维动态时空可视系统的结构示意图。如图1所示，该基于ar+3dgis的混合现实三维动态时空可视系统包括：结构化数据采集设备11、非结构化数据采集设备12、第一网关13、第二网关14和图像融合设备15。

结构化数据采集设备11，用于采集视频流数据，并将视频流数据发送至第一网关13；非结构化数据采集设备12，用于采集第二数据，并将第二数据发送至第二网关14；其中，图像融合设备包括15：增强现实融合模块和三维地理信息融合模块；增强现实融合模块，用于接收经过第一网关13转发的视频流数据和第二网关14转发的第二数据，通过预设的融合算法融合，以及将融合的结果发送至三维地理信息融合模块；三维地理信息融合模块，用于在三维地理信息景中，实现对监控视频画面、智能分析数据、物联感知数据的融合应用。

本发明实施例1通过混合现实技术，对增强现实实景视频应用和三维地理信息系统融合应用高效统一整合，实现安防视频监控系统、大数据分析系统、物联网感知系统和三维地理信息系统的集中统一调用，解决各系统海量数据的割裂、分散等问题，实现各系统数据与三维地理信息场景时空统一融合关联，整体、直观、有序的感知和应用数据。

实施例2

图2为本发明实施例1提供的另一种基于ar+3dgis的混合现实三维动态时空可视系统的结构示意图。如图2所示，该基于ar+3dgis的混合现实三维动态时空可视系统包括：视频采集设备21、智能分析设备22、物联感知设备23、视频应用网关24、智能分析数据网关25、物联网感知数据网关26和视频融合设备27。

视频采集设备21包括高点摄像机、枪机和球机；高点摄像机用于采集视频采集点的视频画面，枪机和球机则是用于实时采集视频数据；智能分析设备22，用于对视频采集点的分析数据进行采集；物联感知设备23，用于采集视频采集点的温度等数据；视频融合设备27中的增强现实融合模块，用于高点实景视频画面场景中，实现对视频数据、智能分析数据、物联感知数据的融合应用；视频融合设备27中的三维地理信息融合模块，用于三维地理信息景中，实现对监控视频画面、智能分析数据、物联感知数据的融合应用。

本发明实施例2提供的基于ar+3dgis的混合现实三维动态时空可视系统，在三维地理信息系统(3dgis)层面，将视频数据、智能分析数据、物联感知数据与三维地理信息场景的融合；在混合现实(mr)层面，增强现实场景与三维地理信息场景统一匹配调用，在各自优势应用的同时，实现实景与三维地理信息场景的统一性融合应用。

可选的，三维地理信息融合模块，具体用于对监控视频画面进行几何校正和配准处理，实现监控视频画面、智能分析数据、物联感知数据与三维地理信息场景基于经度、纬度、海拔等精准地理信息坐标的空间位置虚实结合。

具体地，三维地理信息融合模块，用于通过视频应用网关、智能分析数据网关和物联感知数据网关，实现三维地理信息场景中，视频画面、智能分析应用数据及物联网感知数据按照精准的经度、纬度、海拔等地理位置坐标融合，实现三维地理信息场景与现实世界数据虚拟融合应用。

可选的，视频应用网关24，通过28181协议或sdk方式，实现视频监控设备的接入和流媒体转发。

具体地，视频应用网关24，用于对监控视频资源的统一管理和调度。通过28181协议或sdk方式，实现视频监控设备的接入和流媒体转发，接入是指将视频流从视频采集设备11接入，转发是指将视频流数据转发至视频融合设备。

可选的，智能分析数据网关25，通过28181协议或sdk方式，实现多种视频监控设备或第三方平台的智能分析应用的接入和分析数据转发。

具体地，智能分析数据网关25用于对设置视频分析功能的监控视频资源进行智能分析数据的统一管理，实现智能分析功能的调用及智能分析告警数据的显示和转发。通过28181协议或sdk方式，实现多种视频监控设备或第三方平台的智能分析应用的接入和分析数据转发，包括人脸识别、车辆识别、绊线分析、越界分析、物品丢失遗留分析等，统一汇聚接入到融合应用系统，是智能分析数据用于融合应用的传递模块。

可选的，物联感知数据网关26，通过sdk方式，实现多种传感器设备的感知数据的接入和动态数据转发。

具体地，物联感知数据网关26用于对多源传感器获取的物联感知数据进行统一管理，实现物联感知系统的配置和管理。通过sdk方式，实现多种传感器设备的感知数据的接入和动态数据转发，包括：温湿度传感器、空气质量传感器、烟雾报警传感器、激光雷达传感器脸等，统一汇聚接入到融合应用系统，是物联感知数据用于融合应用的传递模块。

本发明实施例2中的增强现实融合模块，通过视频应用网关、智能分析数据网关和物联感知数据网关，实现高点实景视频画面中，叠加视频标签、智能分析应用数据及物联网感知数据信息，实现实景地图立体防控应用，真实画面中真实业务数据融合应用。

本发明实施例2通过混合现实技术，对增强现实实景视频应用和三维地理信息系统融合应用高效统一整合，实现安防视频监控系统、大数据分析系统、物联网感知系统和三维地理信息系统的集中统一调用，解决各系统海量数据的割裂、分散等问题，实现各系统数据与三维地理信息场景时空统一融合关联，整体、直观、有序的感知和应用数据。

实施例3

图3为本发明实施例3提供的一种基于ar+3dgis的混合现实三维动态时空可视方法，该基于ar+3dgis的混合现实三维动态时空可视方法包括：

步骤s301：采集视频流数据，并发送所述视频流数据；

步骤s302：采集第二数据，并发送所述第二数据；

步骤s303：接收所述视频流数据和所述第二数据，通过预设的融合算法融合，得到融合结果，以及发送所述融合结果；

步骤s304：在三维地理信息景中，实现对视频流数据和第二数据的融合应用。

可选的，所述第一网关，通过28181协议或sdk方式，将所述视频流数据转发至所述增强现实融合模块。

可选的，所述第二网关，通过sdk方式，将所述第二数据转发至所述增强现实融合模块。

可选的，接收所述视频流数据和所述第二数据，通过预设的融合算法融合，得到融合结果，具体用于：对所述第一全景图像进行几何校正、噪声消除、色彩亮度调整及配准；找出所述第一全景图像与所述三维地图场景的最大相关，生成所述三维地图场景的变换模型，统一所述第一全景图像与所述三维地图场景的坐标变换，通过纹理投影的方法将所述第一全景图像进行投射到所述三维地图场景中，实现视频图像的融合。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。