一种融合增强现实、虚拟现实的管网智能管控方法及系统与流程

本发明属于智慧城市信息处理技术领域，尤其涉及一种融合增强现实、虚拟现实的管网智能管控方法及系统。

背景技术：

目前，业内常用的现有技术是这样的：

增强现实(ar)，是通过图像识别、定位等技术，将计算机生成的三维模型、虚拟场景、信息等叠加在真实场景中，实现对现实场景的增强。通过增强现实技术，虚拟物体、场景或系统提示信息叠加到中，从而实现对真实世界的增强。它将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上，实现了对真实世界的增强。

在旅游、教育、工业、导航等领域都出现了基于增强现实的应用。随着移动终端的发展，手机、pad等智能终端作为增强现实技术提供了新的载体，目前在android、iphone等移动终端平台上，已经出现了采用移动增强现实技术的应用。

现有文献1和文献2设计出基于增强现实呈现物联网数据的方式，但并没有涉及技术内容，也没有具体实践；专利1一种基于位置的服务lbs的增强现实定位方法及装置，专利号：cn107450088a描述了基于位置服务的增强现实定位技术，但并没有涉及与物联网的融合及物联网数据的推送和呈现。

在虚拟现实、增强现实技术的应用领域，文献3和4分别基于物联网和增强现实技术，进行地下管网的管理，但没有涉及物联网和增强现实技术的融合；专利2一种基于增强现实智能设备的巡检系统，专利号：cn107578487a和专利3基于增强现实的变电设备运维仿真培训系统和方法，专利号：cn107331220a描述了增强现实技术在巡检和设备运维管理中的应用，专利4智能电网资源实时运行状态三维可视化展示系统实现方法，专利号：cn104239998a和专利5一种led球泡灯装配生产线的三维可视化监控方法,专利号：cn104007730a基于三维虚拟现实技术对物联网数据进行呈现。

目前，在增强现实相关技术领域，出现了关于增强现实与物联网的数据呈现与交互内容的研究。

然而关于增强现实与物联网融合的技术的应用，尤其是在城市级应用的报道尚不多见。现有技术没有应用报道的原因，主要是增强现实技术始于国外，在国内的发展是这几年才开始的，在行业中的应用还处于尝试阶段。

目前增强现是技术在国内的应用主要是在游戏领域、旅游业、教育领域。这些应用还是属于公众级、消费级的应用。

真正用增强现实技术用在实际中尤其是辅助管理，目前在国内刚起步，所以相关的报道还不多见。但从国外增强现实技术的发展趋势来看，这个技术的普及应用是一种趋势。增强现实技术已经应用于nasa指导太空行走、宝马汽车公司的装配指导等。都发挥了重要作用。

增强现实技术在实际应用中的一个制约在于增强现实终端(例如hololens)价格高，佩戴时不习惯。但本发明采用智能手机作为增强现实终端解决了这一问题。

传统的物联网数据的可视化借助led、仪表、显示屏等，通过组态软件进行数据的管理。然而组态软件的操作具有较强的专业性，led、仪表、显示屏这类可视化终端的用户交互体验和便捷性也有限，这给基于物联网的数据分析和应用带来了局限。

增强现实的出现能够为物联网数据的呈现与使用带来全新的模式。尤其是增强现实与基于位置的服务(lbs)相结合，在便捷性以及人机交互体验方面具有较强的优势。

在城市地下管网管理领域，目前已出现了单纯基于三维虚拟现实、增强现实或物联网技术的应用，

然而基于增强现实、物联网、虚拟现实技术的融合应用于城市地下管网管理则未见报道。

综上所述，现有技术存在的问题是：

(1)现有技术没有利用基于增强现实和物联网融合的地下管网智能管控技术，不能将虚拟物体、物联网实时监测信息等融合到真实环境中，没有再借助基于位置的服务lbs，使用户产生真实感的实时交互体验。造成不能提升地下管网的管理的智能性。

(2)然而基于增强现实、物联网、虚拟现实技术的融合应用于城市地下管网管理则未见报道。

(3)现有技术的城市地下管网管理不能应用于其它物联网监测技术及应用领域。不能将物联网监测系统与虚拟现实、增强现实技术融合，造成不能基于虚拟现实终端和增强现实终端实现监测数据的可视化、分析和基于位置的服务lbs。

解决上述技术问题的难度和意义：

难度：

技术难点，增强现实技术用于辅助管理，实际应用的效果取决于真实场景和虚拟场景配准的精度，也就是三维注册算法的精度。

意义：

传统的物联网数据的可视化借助led、仪表、显示屏等，通过组态软件进行数据的管理。然而组态软件的操作具有较强的专业性，led、仪表、显示屏这类可视化终端的用户交互体验和便捷性也有限，这给基于物联网的数据分析和应用带来了局限。

本发明采用三维虚拟现实和增强现实技术，对物联网数据进行呈现，能够为物联网数据的呈现与使用带来全新的模式。

本发明基于三维虚拟现实技术，实现以三维环绕、飞行、漫游、缩放等形式浏览地下管线及其附属设施的全貌，全面把握地下管网的现状，在三维虚拟现实场景中实现对于物理网实时监测系统数据的管理、查询、分析等应用，为智慧城市地下管网管理提供支撑。

采用增强现是技术能够将物联网实时监测数据与增强现实终端获取的真实场景图象叠加，将数据投射到真实场景中。尤其是增强现实与基于位置的服务(lbs)相结合，在使用的便捷性以及人机交互体验方面具有较强的优势。在管网巡检过程中使用，实现传感器数据基于位置进行主动推送，提升了数据查询和使用的效率。

通过对物联网实时监测系统中历史数据的分析，可以掌握管网运行状态和规律，有利于做到对事故的预测，并通过增强现实终端和三维虚拟现实管控系统主动报警。提高应急响应效率。

1.沈克，彭太乐。基于增强现实的物联网物体识别与虚拟交互。计算机工程。2010年9月。

2.孙效华，张绳宸。基于增强现实技术的物联网数据呈现与交互。包装工程，2017年10月。

3.冀汶莉，马晴。基于物联网技术的市政管网管理系统的设计与实现。电脑知识与技术，2017年10月。

4.常勇，何宗宜，基于artoolkit的地下管网增强现实研究，武汉大学学报信息科学版，2005。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种融合增强现实、虚拟现实的管网智能管控方法及系统。

本发明是这样实现的，一种融合增强现实、虚拟现实的管网智能管控方法，所述融合增强现实、虚拟现实的管网智能管控方法包括：

利用物联网技术进行管网运行指标实时监控，基于三维虚拟现实管控技术，进行管网及管网附属设施、传感器的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，通过对物联网实时监测系统数据集成，进行管网运行监测数据的可视化和查询统计；并结合大数据的统计分析，提前感知发现问题(管网的跑冒滴漏等异常状况。本发明通过物联网监测系统监测管网的实时运行状态，一旦监测数据异常，系统可以报警)；

将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加；

与基于位置的服务lbs相结合，实时获取用户位置信息，将管网运行监测数据推送至增强现实终端。

具体包括：

(1)采用所述增强现实终端的摄像模块所拍摄的当前位置和方向上的真实场景的图像信息。

(2)基于三维注册算法组件，计算真实管网坐标系与虚拟管网坐标系之间的位置关系，确定要叠加在真实管网坐标系中的内容在虚拟管网坐标系下的位置，实现坐标系的配准。

(3)通过所述增强现实终端的定位模块实时的识别增强现实终端所在位置坐标和移动轨迹；实时计算并更新与增强现实终端距离最近的传感器编号。

(4)通过所述增强现实系统的通信模块实现增强现实系统单元与物联网实时监测系统单元之间的双向连接和数据传输；将实时更新的传感器编号传输至所述服务器，所述服务器再通过通信模块将距离增强现实终端最临近位置的传感器数据从所述服务器传输至增强现实终端。

(5)传感器的数据传输至增强现实终端后，通过增强现实系统单元的数据展示模块，实现将传感器信息与传感器三维模型，以及现实场景图象的叠加显示。实现地下管网监测数据的主动推送和呈现。

进一步，利用物联网技术进行管网运行指标实时监控中，管网的三维虚拟现实管控方法包括：

(1)建立管网及管网附属设施、传感器的三维模型；

(2)由管网及管网附属设施、传感器构成的三维虚拟现实场景进行渲染。

具体包括：

建立通信模块，实现三维虚拟现实管控系统单元与物联网实时监测系统单元之间的双向连接和数据传输。

建立三维渲染模块对管网及其附属设施、传感器等的组成的三维虚拟现实场景进行三维渲染，添加光影和特效，提高视觉效果；

建立三维漫游交互模块，实现三维场景的虚拟现实漫游、用户交互、信息查询；三维场景包含管网及其附属设施、传感器等。管网相关信息可能包括管线埋深、备注、编号、维修记录信息等。传感器相关信息可能包括传感器编号、位置信息等。在三维场景中，点击管网模型，可查看其详细属性信息及附属图档，点击传感器三维模型，可查询该设备对应传感器的属性信息、实时监测数据、实时报警信息。

建立数据统计分析模块，在三维虚拟现实场景中，以互动方式实现物联网实时监测数据的可视化、查询和统计分析。点击传传感器三维模型，可查询该设备对应的历史监测数据、同比分析、环比分析等形式的统计分析图表，实现对报警数据的统计分析。

进一步，将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加中，包括标识物的检测和提取方法，

首先输入原始图像，对标识点图像进行二值化、阈值分割等预处理，然后进行特征检测和特征提取，最终输出结果；

将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加中，包括基于三维注册方法：

以真实管网坐标系为基准，将虚拟场景坐标系转换到基准坐标系下；两个空间坐标系用一个旋转矩阵、3个平移分量和一个模型缩放系数描述；假定某模型点在摄像机坐标系中的坐标为(x，y，z)，对应点在管网的坐标系中的坐标为(xt，yt，zt)，计算两个坐标系之间相对位置的数学表达式为：

其中，x0，y0，z0为平移矩阵的元素，缩放系数λ为1；r为旋转矩阵：

将增强现实与物联网融合，将地面实景与地下管网的虚拟模型、物联网实时监测数据进行叠加中，包括数据展示方法，具体包括：

管网模型及信息展示，实现将地下管网通过增强现实系统单元与现实场景进行叠加；对管网及管网属性信息进行增强现实呈现，通过增强现实终端进行互动查询；相关信息包括管线埋深、备注、编号、维修记录信息；

传感器模型及信息展示，通过增强现实终端，对物联网传传感器三维模型与现实场景图像叠加，进行信息的增强现实呈现，通过增强现实终端进行互动查询；

物联网实时监测数据展示，包括：传感器实时监测数据、设备状态、异常状况，实现地下管网三维模型及地下管网三维模型的物联网实时监测数据的融合；通过增强现实终端，进行地下管网及传感器三维场景、现实场景，物联网实时监测系统中地下管网实时运行数据的融合呈现，通过增强现实终端进行互动查询；

物联网历史监测数据展示，将现实场景、传感器三维模型与历史监测数据叠加，通过增强现实终端对历史数据进行互动查询；

与基于位置的服务lbs相结合，实时获取用户位置信息，将管网运行监测数据推送至增强现实终端，包括：

采集当前位置和方向上的图像信息，

识别用户所在位置的三维坐标和移动轨迹，并根据定位信息提取相应的用户实时的位置信息，并经通信网络与服务器建立通信连接，获取用户最临近的传感器的数据。

基于三维注册方法，计算真实管网坐标系与虚拟管网坐标系之间的位置关系，确定要叠加在管网坐标系中的内容在虚拟管网坐标系下的位置，进行地下管网三维模型、物联网实时监测数据以及用户所在位置数据的融合；

在用户位置移动的过程中，将距离用户最临近位置的传感器数据实时推送至增强现实终端，进行地下管网监测数据的主动推送和呈现。

本发明的另一目的在于提供一种实现所述融合增强现实、虚拟现实的管网智能管控方法的计算机程序。

本发明的另一目的在于提供一种实现所述融合增强现实、虚拟现实的管网智能管控方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的融合增强现实、虚拟现实的管网智能管控方法。

本发明的另一目的在于提供一种实现所述融合增强现实、虚拟现实的管网智能管控方法的融合增强现实、虚拟现实的管网智能管控系统，所述融合增强现实、虚拟现实的管网智能管控系统包括：

三维虚拟现实管控系统单元，用于建立管网及其附属设施的三维模型，进行管网及管网附属设施的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，以及对物联网实时监测系统数据进行可视化和查询统计；

物联网实时监测系统单元，利用传感器设备，进行管网实时运行状态的监测，通过网络传输将数据上传至服务器，实现实时数据展示、异常报警和统计分析；

增强现实系统单元，用于将地下管网、传感器的三维虚拟现实模型，以及管网运行监测信息叠加到现实场景中，展示出管网及管网运行监测数据的增强现实效果；并实时跟踪增强现实终端的位置，采用基于位置的服务lbs实现信息的智能推送；

系统集成单元，分别实现三维虚拟现实管控系统单元与物联网实时监测系统单元之间的数据集成接口，以及增强现实系统与物联网实时监测系统单元之间的数据集成接口。

进一步，三维虚拟现实管控系统单元，包含：通信模块、三维渲染模块、三维漫游交互模块和数据统计分析模块；

通信模块用于实现三维虚拟现实管控系统单元与物联网实时监测系统单元之间的双向连接和信息流的交互；

三维渲染模块用于对管网及其附属设施、传感器等的组成的三维虚拟现实场景进行三维渲染；

三维漫游交互模块，用于实现三维场景的虚拟现实漫游、用户交互、信息查询；三维场景包含管网及其附属设施、传感器等。管网相关信息包括管线埋深、备注、编号、维修记录信息；传感器相关信息包括传感器编号、位置信息；

数据统计分析模块，用于在三维虚拟现实场景中，进行物联网实时监测数据的可视化、查询和统计分析；

所述物联网实时监测系统单元，包含：传感器设备、服务器、网络传输模块；

传感器设备与所述服务器建立通信连接，实时采集管网的给水、消防、热力、电力、排水、液位、安防等专业的实时运行状态数据；

所述服务器，用于存储物联网实时监测系统的数据，以及历史数据；

所述的网络传输设备用于将管网监测传感器采集的实时监测数据上传至所述服务器；

所述增强现实终端包括智能手机、平板电脑。

进一步，所述增强现实系统单元，包括硬件模块和软件系统；

硬件模块，包括：摄像组件、定位组件和显示组件；

所述硬件模块内置于增强现实系统单元的终端设备内；

所述摄像组件用于对地下管网及传感器对应位置的地面现实场景进行扫描，实时获得其现实场景的图像。

所述定位组件采用gps定位装置或wifi定位装置，用于获取用户当前所处空间位置信息，识别用户所在位置的三维空间坐标；

所述显示组件用于将所述增强现实系统中管网三维虚拟现实场景、实际场景和管网运行监测数据等信息的融合显示；

软件系统包括：图像处理模块、数据展示模块、lbs模块、通信模块；

图像处理模块，包括：标识物、图像识别算法组件和三维注册算法组件；

标识物采用二维码，对所述传感器进行标识；

图像识别算法组件完成对放置于现实场景中的标识物的识别和特征提取；

三维注册算法组件将所述三维虚拟现实管控系统单元提供的管网及传感器的三维模型叠加到现实场景中，进行地下管网三维虚拟现实场景和实际场景的融合显示；

数据展示模块，用于展示：

1)管网模型及信息；用于将地下管网通过所述增强现实系统单元与现实场景进行叠加；对管网及其属性信息进行增强现实呈现，支持通过增强现实终端进行互动查询；相关信息包括管线埋深、备注、编号、维修记录信息；

2)传感器模型及信息，通过所述增强现实终端，对物联网传感器等设备的三维模型与现实场景图像叠加，进行信息的增强现实呈现；通过增强现实终端进行互动查询；

3)物联网实时监测数据，包括：传感器实时监测数据、设备状态、异常状况，并进行实现地下管网三维模型及其物联网实时监测数据的融合；通过增强现实终端，进行地下管网及传感器三维场景、现实场景，物联网实时监测系统中地下管网实时运行数据的融合呈现，通过增强现实终端进行互动查询；

4)物联网历史监测数据，用于将现实场景、传感器三维模型与历史监测数据叠加，通过增强现实终端对历史数据进行互动查询；

lbs模块，用于进行地下管网及传感器的三维模型、物联网实时监测数据以及用户实时位置数据的融合；进行基于位置的信息推送；

通信模块，用于进行增强现实系统单元与物联网实时监测系统单元之间的双向连接和信息流的交互；

所述的系统集成单元，包括：

与给水、消防监测数据的接口：用于实时获取传感器所采集回来的数据，在三维虚拟现实管控系统单元中接入实时和历史监测数据、报警信息；

与热力监测数据的接口：用于实时获取压力、温度、流量传感器所采集回来的数据，在三维虚拟现实管控系统单元中接入实时和历史监测数据、报警信息；

与电力监测数据的接口：用于实时获取智能电表传感器所采集回来的电流量数据，在三维虚拟现实管控系统单元中接入实时和历史监测数据、报警信息；

与液位监测数据的接口：用于实时获取液位计所采集回来的数据，在三维虚拟现实管控系统单元中接入实时和历史监测数据、报警信息；

与视频监控设备的接口：用于实时获取视频录像机的ip地址及其编号信息，在三维虚拟现实管控系统单元中获取视频监控画面；

数据集成接口，包括：与给水、消防监测数据的接口：用于实时获取传感器所采集回来的数据，能在增强现实系统单元中接入实时监测数据、报警信息；

与热力监测数据的接口：用于实时获取压力、温度、流量传感器所采集回来的数据，在增强现实系统单元中接入实时监测数据、报警信息；

与电力监测数据的接口：用于实时获取智能电表传感器所采集回来的电流量数据，在增强现实系统单元中接入实时监测数据、报警信息；

与液位监测数据的接口：用于实时获取液位计所采集回来的数据，在增强现实系统单元中接入实时监测数据、报警信息。

本发明的另一目的在于提供一种搭载所述融合增强现实、虚拟现实的管网智能管控系统的物联网工业管控平台。

综上所述，本发明的优点及积极效果为：

本发明提出基于增强现实和物联网融合的地下管网智能管控技术，通过增强现实、物联网技术融合，将该虚拟物体、物联网实时监测信息等融合到真实环境中，再借助基于位置的服务lbs，使用户产生真实感的实时交互体验。增强物联网数据使用的便捷性，提升地下管网的管理的智能性。

本发明通过虚拟现实、增强现实技术，将地下管网的虚拟模型、属性信息、物联网实时监测数据等与现实场景融合。管理人员能够全面掌握地下管网资产的位置和信息。

本发明将虚拟现实、增强现实技术与物联网技术融合，利用物联网技术实现管网运行指标实时监控，结合大数据的分析预测，提前感知发现问题；利用虚拟现实技术实现了地下管网的交互漫游和数据可视化分析，利用增强现实技术，实现地下管网的虚拟模型、物联网实时监测数据和真实场景的叠加的对信息的增强。辅助管理人员随时掌握管网的实时运行状况、异常状况等，提高地下管网管理的数字化、智能化水平；

利用基于位置的服务lbs，实现地下管网的实时监测系统单元数据的主动推送。提升了管网巡检、维护等业务的工作效率，改变了传统的地下管网管理方式，实现了工作模式的创新。

附图说明

图1是本发明实施例提供的融合增强现实、虚拟现实的管网智能管控方法流程图。

图2是本发明实施例提供的融合增强现实、虚拟现实的管网智能管控系统示意图。

图中：1、三维虚拟现实管控系统单元；2、物联网实时监测系统单元；3、增强现实系统单元；4、系统集成单元。

图3是本发明实施例提供的的融合增强现实、虚拟现实的管网智能管控系统软硬件结构。

图4是本发明实施例提供的物联网实时监测系统示意图。

图5是本发明实施例提供的增强现实系统单元的架构图。

图6是本发明实施例提供的图像识别算法组件的计算流程图。

图7是本发明实施例提供的基于位置的服务lbs相结合，实时获取用户位置信息，将管网运行监测数据推送至增强现实终端的计算流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术没有利用基于增强现实和物联网融合的地下管网智能管控技术，不能将虚拟物体、物联网实时监测信息等融合到真实环境中，没有再借助基于位置的服务lbs，使用户产生真实感的实时交互体验。造成不能提升地下管网的管理的智能性。

随着增强现实终端的普及和价格的降低，本发明中的增强现实终端可以采用增强现实眼镜等硬件，给用户更强的真实感和交互体验。

在本发明的基础上，可以增加一些与管网附属设施的交互，通过虚拟现实终端和增强现实终端，实现与管网及其附属设施进行交互和对阀门等设施的控制功能。

在真实场景与虚拟场景配准的三维注册算法环节，可以采用算法进一步优化，提高配准精度。

下面结合具体分析对本发明作进一步描述。

图1，本发明实施例提供的融合增强现实、虚拟现实的管网智能管控方法，包括：

s101：利用物联网技术实现管网运行指标实时监控，基于三维虚拟现实管控技术，进行管网及管网附属设施、传感器的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，通过对物联网实时监测系统数据集成，进行管网运行监测数据的可视化和查询统计；结合大数据的统计分析，提前感知发现问题，为智慧管控提供基础性支撑；

s102：将增强现实与物联网融合，实现将地面实景与地下管网的虚拟模型、物联网实时监测数据实现叠加。其优势在于实现了信息的增强，使管理人员实时了解到地下管网的位置、运行状况、异常状况等，提高地下管网管理的数字化、智能化水平；

s103：与基于位置的服务lbs相结合，可以实时获取用户位置信息，将最临近传感器的管网运行监测数据推送至增强现实终端，提升了管网管理、巡检、运维等业务的工作效率，改变了传统的地下管网管理方式，实现了工作模式的创新。

基于位置的服务lbs相结合，实时获取用户位置信息，将管网运行监测数据推送至增强现实终端，计算步骤如图7.

具体实施步骤如下：

(1)采用所述增强现实终端的摄像模块所拍摄的当前位置和方向上的真实场景的图像信息。

(2)基于三维注册算法组件，计算真实管网坐标系与虚拟管网坐标系之间的位置关系，确定要叠加在真实管网坐标系中的内容在虚拟管网坐标系下的位置，实现坐标系的配准。

(3)通过所述增强现实终端的定位模块实时的识别增强现实终端所在位置坐标和移动轨迹；实时计算并更新与增强现实终端距离最近的传感器编号。

(4)通过所述增强现实系统的通信模块实现增强现实系统单元与物联网实时监测系统单元之间的双向连接和数据传输；将实时更新的传感器编号传输至所述服务器，所述服务器再通过通信模块将距离增强现实终端最临近位置的传感器数据从所述服务器传输至增强现实终端。

(5)传感器的数据传输至增强现实终端后，通过增强现实系统单元的数据展示模块，实现将传感器信息与传感器三维模型，以及现实场景图象的叠加显示。实现地下管网监测数据的主动推送和呈现。

图2，本发明实施例提供的融合增强现实、虚拟现实的管网智能管控系统，

包括：三维虚拟现实管控系统单元1、物联网实时监测系统单元2、增强现实系统单元3、系统集成单元4。

所述三维虚拟现实管控系统单元1，建立管网及其附属设施的三维模型，实现管网及其附属设施的三维建模、三维场景渲染、管网的三维虚拟现实漫游交互，以及对物联网实时监测系统数据进行可视化和查询统计；

所述物联网实时监测系统单元2，利用传感器设备，进行管网实时运行状态的监测，通过网络传输将数据上传至服务器，实现实时数据展示、异常报警和统计分析功能；

所述增强现实系统单元3，实现将地下管网、传感器的三维虚拟现实模型，以及管网运行监测信息叠加到现实场景中，展示出管网及其运行监测数据的增强现实效果。并实时跟踪增强现实终端的位置，采用基于位置的服务lbs实现信息的智能推送。

所述系统集成单元4，分别实现三维虚拟现实管控系统单元与物联网实时监测系统单元之间的数据集成接口，以及增强现实系统与物联网实时监测系统单元之间的数据集成接口。

所述三维虚拟现实管控系统单元，包含：通信模块、三维渲染模块、三维漫游交互模块和数据统计分析模块。

所述通信模块实现三维虚拟现实管控系统单元与物联网实时监测系统单元之间的双向连接和信息流的交互。

所述三维渲染模块对管网及其附属设施、传感器等的组成的三维虚拟现实场景进行三维渲染，提高视觉效果；

所述三维漫游交互模块，用于实现三维场景的虚拟现实漫游、用户交互、信息查询；三维场景包含管网及其附属设施、传感器等。管网相关信息可能包括管线埋深、备注、编号、维修记录信息等。传感器相关信息可能包括传感器编号、位置信息等。

所述数据统计分析模块，在三维虚拟现实场景中，实现物联网实时监测数据的可视化、查询和统计分析。

所述物联网实时监测系统单元，包含：传感器设备、服务器、网络传输模块。

所述传感器设备与所述服务器建立通信连接，实时采集管网的给水、消防、热力、电力、排水、液位、安防等专业的实时运行状态数据；

所述服务器，用于存储物联网实时监测系统的数据，以及历史数据；

所述的网络传输设备用于将管网监测传感器采集的实时监测数据上传至所述服务器；

所述增强现实系统单元，本发明中所述增强现实终端包括但不限于智能手机、平板电脑等智能终端设备。

所述增强现实系统单元，所述增强现实系统单元包含：硬件模块和软件系统两部分。

所述增强现实系统单元中的硬件模块，包括：摄像组件、定位组件和显示组件。所述硬件模块内置于增强现实系统单元的终端设备内。

所述摄像组件用于对地下管网及传感器对应位置的地面现实场景进行扫描，实时获得其现实场景的图像。

所述定位组件采用gps定位装置或wifi定位装置，用于获取用户当前所处空间位置信息，识别用户所在位置的三维空间坐标。

所述显示组件用于将所述增强现实系统中管网三维虚拟现实场景、实际场景和管网运行监测数据等信息的融合显示。

所述增强现实系统单元中进一步包含：图像处理模块、数据展示模块、lbs模块、通信模块。

图像处理模块，所述图像处理组件包含：标识物、图像识别算法组件和三维注册算法组件。

标识物采用二维码，对所述传感器进行标识。

图像识别算法组件完成对放置于现实场景中的标识物的识别和特征提取。

三维注册算法组件将所述三维虚拟现实管控系统单元提供的管网及传感器的三维模型叠加到现实场景中，实现地下管网三维虚拟现实场景和实际场景的融合显示。

数据展示模块，所述数据展示模块中展示的内容，包括但不仅限于：

1)管网模型及信息。实现将地下管网通过所述增强现实系统单元与现实场景进行叠加；对管网及其属性信息进行增强现实呈现，支持通过增强现实终端进行互动查询。相关信息可能包括管线埋深、备注、编号、维修记录信息等。

2)传感器模型及信息。可以通过所述增强现实终端，对物联网传感器等设备的三维模型与现实场景图像叠加，进行信息的增强现实呈现。支持通过增强现实终端进行互动查询。

3)物联网实时监测数据。包括：传感器实时监测数据、设备状态、异常状况等。系统能够实现地下管网三维模型及其物联网实时监测数据的融合。通过增强现实终端，实现的地下管网及传感器三维场景、现实场景，物联网实时监测系统中地下管网实时运行数据的融合呈现。支持通过增强现实终端进行互动查询。

4)物联网历史监测数据。将现实场景、传感器三维模型与历史监测数据叠加，可以通过增强现实终端对历史数据进行互动查询。

lbs模块，实现地下管网及传感器的三维模型、物联网实时监测数据以及用户实时位置数据的融合。实现基于位置的信息推送。其特征在于，包含：

(1)信息推送。利用基于位置的服务lbs，实现地下管网的实时监测系统单元数据的主动推送。通过所述增强现实终端的定位模块识别用户所在位置，实时计算出距离用户最近的传感器的位置，在用户位置移动的过程中，以增强现实的方式将最近邻的传感器的数据推送至所述增强现实系统单元的显示组件。

(2)互动查询。通过增强现实系统单元的显示组件，将管网运行监测数据与管网及传感器的虚拟现实模型、现实场景叠加显示，可实现对管网运行监测数据进行互动查询。

通信模块，实现增强现实系统单元与物联网实时监测系统单元之间的双向连接和信息流的交互。

下面结合具体分析对本发明作进一步描述。

本发明实施例提供的融合增强现实、虚拟现实的管网智能管控系统，总体架构设计。如图2所示。由三维虚拟现实管控系统单元、物联网实时监测系统单元、增强现实系统单元、系统集成单元组成。

建立三维虚拟现实管控系统单元，包含：三维建模子系统、三维渲染子系统。所述三维建模子系统实现三维管网及其附属设施、传感器的三维虚拟模型建模；所述三维渲染子系统对管网、附属设施、传感器的虚拟模型进行三维渲染美化；

建立物联网实时监测系统单元，软硬件总体架构如图3所示。实现地下管网的给水、消防、热力、电力、排水、液位、安防等专业的实时运行状态的监测。

建立增强现实系统单元，架构如图5所示，由硬件模块和软件系统两部分。所述的增强现实系统单元中的硬件模块，其特征在于，包括：摄像组件、定位组件和显示组件。所述的增强现实系统单元中的软件系统，其特征在于，包含：图像处理、数据展示和lbs三个模块。

建立系统集成单元，分别实现三维虚拟现实管控系统单元与物联网实时监测系统单元之间的数据集成接口，以及增强现实系统与物联网实时监测系统单元之间的数据集成接口。

优选的是，所述的融合增强现实、物联网、虚拟现实的地下管网智能管控技术及系统，实现管网的三维虚拟现实管控系统，其具体实现方式如下：

(1)建立管网及其附属设施、传感器的三维模型；

(2)由管网及其附属设施、传感器构成的三维虚拟现实场景进行渲染；

具体包括：

建立通信模块，实现三维虚拟现实管控系统单元与物联网实时监测系统单元之间的双向连接和数据传输。

建立三维渲染模块对管网及其附属设施、传感器等的组成的三维虚拟现实场景进行三维渲染，添加光影和特效，提高视觉效果；

建立三维漫游交互模块，实现三维场景的虚拟现实漫游、用户交互、信息查询；三维场景包含管网及其附属设施、传感器等。管网相关信息可能包括管线埋深、备注、编号、维修记录信息等。传感器相关信息可能包括传感器编号、位置信息等。在三维场景中，点击管网模型，可查看其详细属性信息及附属图档，点击传感器三维模型，可查询该设备对应传感器的属性信息、实时监测数据、实时报警信息。

建立数据统计分析模块，在三维虚拟现实场景中，以互动方式实现物联网实时监测数据的可视化、查询和统计分析。点击传传感器三维模型，可查询该设备对应的历史监测数据、同比分析、环比分析等形式的统计分析图表，实现对报警数据的统计分析。

优选的是，所述的融合增强现实、物联网、虚拟现实的地下管网智能管控技术及系统，建立地下管网的物联网实时监测系统，包括：管网监测传感器、服务器、通信模块、数据分析模块。其具体实现方式如下：

(1)物联网实时监测系统单元软硬件总体架构设计，如图4所示。包含：传感器设备、服务器、网络传输设备、数据分析模块。

(2)所述传感器包括：温度、压力、流量、电量、液位传感器和视频监控摄像头。所述传感器设备与所述服务器建立通信连接，用于实时采集管网的给水、消防、热力、电力、排水、液位、安防等专业的实时运行状态数据，实现地下管网运行状况的实时监测。

(3)所述服务器，用于存储物联网实时监测系统的数据。所述的传感器采集的实时监测数据，通过所述通信模块与所述服务器建立连接，将监测数据传输至所述服务器端存储。

(4)所述的网络传输设备用于将管网监测传感器采集的实时监测数据上传至所述服务器；

(5)所述的数据分析模块部署在所述服务器上，对管网实时监测数据进行展示分析，包括：实施数据展示、异常报警展示、历史数据统计。

优选的是，所述的融合增强现实、物联网、虚拟现实的地下管网智能管控技术及系统，所述增强现实系统单元软件系统中的图像处理模块，其具体实现方式如下：

(1)基于图像识别算法组件，完成管网及传感器监测点位置的识别和特征提取。标识物的检测和提取过程如图6。首先输入原始图像，对标识点图像进行二值化、阈值分割等预处理，然后进行特征检测和特征提取，最终输出结果。

(2)基于三维注册算法组件，计算真实管网坐标系与虚拟管网坐标系之间的位置关系，确定要叠加在管网坐标系中的内容在虚拟管网坐标系下的位置，经过矩阵运算将虚拟目标物体以适当的大小和姿态放入现实场景中的适当位置。计算方法如下：

以真实管网坐标系为基准，将虚拟场景坐标系转换到基准坐标系下。两个空间坐标系可以用一个旋转矩阵、3个平移分量和一个模型缩放系数来描述。假定某模型点在摄像机坐标系中的坐标为(x，y，z)，其对应点在管网的坐标系中的坐标为(xt，yt，zt)，计算两个坐标系之间相对位置的数学表达式为：

其中，x0，y0，z0为平移矩阵的元素，缩放系数λ为1。r为旋转矩阵：

优选的是，所述的融合增强现实、物联网、虚拟现实的地下管网智能管控技术及系统，所述增强现实系统单元软件系统中的数据展示模块，其具体实现方式如下：

(1)管网模型及信息展示。实现将地下管网通过所述增强现实系统单元与现实场景进行叠加；对管网及其属性信息进行增强现实呈现，支持通过增强现实终端进行互动查询。相关信息可能包括管线埋深、备注、编号、维修记录信息等。

(2)传感器模型及信息展示。可以通过所述增强现实终端，对物联网传感器等设备的三维模型与现实场景图像叠加，进行信息的增强现实呈现。支持通过增强现实终端进行互动查询。

(3)物联网实时监测数据展示。包括：传感器实时监测数据、设备状态、异常状况等。系统能够实现地下管网三维模型及其物联网实时监测数据的融合。通过增强现实终端，实现的地下管网及传感器三维场景、现实场景，物联网实时监测系统中地下管网实时运行数据的融合呈现。支持通过增强现实终端进行互动查询。

(4)物联网历史监测数据展示。将现实场景、传感器三维模型与历史监测数据叠加，可以通过增强现实终端对历史数据进行互动查询。

优选的是，所述的融合增强现实、物联网、虚拟现实的地下管网智能管控技术及系统，所述增强现实系统单元软件系统中的lbs模块，其具体实现方式如下：

(1)采用所述增强现实终端的摄像模块所拍摄的当前位置和方向上的图像信息。

(2)所述增强现实终端中的定位模块与通信网络连接，识别用户所在位置的三维坐标和移动轨迹，并根据定位信息提取相应的用户实时的位置信息，并经通信网络与所述服务器建立通信连接，获取用户最临近的传感器的数据。

(3)基于三维注册算法组件，计算真实管网坐标系与虚拟管网坐标系之间的位置关系，确定要叠加在管网坐标系中的内容在虚拟管网坐标系下的位置，实现地下管网三维模型、物联网实时监测数据以及用户所在位置数据的融合。

(4)在用户位置移动的过程中，将距离用户最临近位置的传感器数据实时推送至增强现实终端，实现地下管网监测数据的主动推送和呈现。

优选的是，所述的融合增强现实、物联网、虚拟现实的地下管网智能管控技术及系统，本发明所述的系统集成单元，其具体实现方式如下：

(1)所述的三维虚拟现实管控系统单元与物联网实时监测系统的实时监测数据的集成接口，包括：

1)与给水、消防监测数据的接口：用于实时获取传感器所采集回来的数据，能在三维虚拟现实管控系统单元中接入实时和历史监测数据、报警信息等。

2)与热力监测数据的接口：用于实时获取压力、温度、流量传感器所采集回来的数据，能在三维虚拟现实管控系统单元中接入实时和历史监测数据、报警信息等。

3)与电力监测数据的接口：用于实时获取智能电表传感器所采集回来的电流量等数据，能在三维虚拟现实管控系统单元中接入实时和历史监测数据、报警信息等。

4)与液位监测数据的接口：用于实时获取液位计所采集回来的数据，能在三维虚拟现实管控系统单元中接入实时和历史监测数据、报警信息等。

5)与视频监控设备的接口：用于实时获取视频录像机的ip地址及其编号信息，能在三维虚拟现实管控系统单元中获取视频监控画面。

(2)所述的增强现实系统单元与物联网实时监测系统的数据集成接口，包括：

1)与给水、消防监测数据的接口：用于实时获取传感器所采集回来的数据，能在增强现实系统单元中接入实时监测数据、报警信息等。

2)与热力监测数据的接口：用于实时获取压力、温度、流量传感器所采集回来的数据，能在增强现实系统单元中接入实时监测数据、报警信息等。

3)与电力监测数据的接口：用于实时获取智能电表传感器所采集回来的电流量等数据，能在增强现实系统单元中接入实时监测数据、报警信息等。

4)与液位监测数据的接口：用于实时获取液位计所采集回来的数据，能在增强现实系统单元中接入实时监测数据、报警信息等。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。