一种基于混合现实技术的隐蔽管道可视化系统和方法与流程

本发明涉及混合现实与3d建模领域，具体而言，涉及一种基于混合现实技术的隐蔽管道可视化系统和方法。

背景技术：

电网运行设备由于受环境、地理、资金等因素的影响，有部分设施需要埋入地下或封装，如高压电缆、控制电缆、接地地网、端子箱、控制箱等，由于这些地下或者封装的管线在遇到施工或者技术改造过程中，由于无法标明其埋藏位置和内部结构，这些隐蔽设施极易受到外力破坏，同时也需要耗费大量人力物力去核实隐蔽设施的管线走向。

以变电、配电专业为例进行说明，每年变电站技改、地网开挖，由于时间久远原有施工图纸缺失，造成现场勘查无法测量，必须掀开电缆沟盖板，大面积开挖才能核实隐蔽设施的具体位置和运行状况。因此，电网隐蔽设施查找和标识历来是电网设备运检的痛点，虽说管理部门采取各种措施，如埋地桩、施工管控、电子图纸等，但仍会出现上述的事故，给电网安全运行带来隐患。如2018年7月23日中午，由于武汉地铁2号线延长线施工单位施工失误，光谷广场区域的两条地下专用高压电缆线被挖断，周边多家商场及3个小区的4000户突然停电。武汉供电公司的数据显示，2015年至2017年连续三年，武汉市每年输电线路遭盲目和野蛮施工破坏的事件就有50余起。

技术实现要素：

本发明提供了一种基于混合现实技术的隐蔽管道可视化系统和方法，旨在改善隐蔽线路设施极易受到外力破坏，需要耗费大量人力物力去核实隐蔽设施的管线走向的问题。

本发明是这样实现的：一种基于混合现实技术的隐蔽管道可视化系统，包括：3d建模模块，用于采集隐蔽管道线路的全部现场图像，识别预设的现场图像中的标志物，并基于隐蔽管道现场图像和预制的隐蔽管道线路的模型利用混合现实技术建立现场的3d模型；映射模块，用于获取预设的现场图像中标志物在现场的实际位置信息，并与图像处理模块识别的隐蔽管道现场图像的3d模型中的标志物建立映射关系；其中，所述3d模型的标志物还关联了对应的空间数据信息；图像处理模块，用于实时采集所处位置的隐蔽管道的图像，识别图像中是否包含预设的标志物，并在识别出包含标志物时，请求映射模块发送相应标志物关联的空间数据信息。

其中，3d建模模块包括：

图像采集单元，用于采集隐蔽管道的现场图像；

第一图像识别单元，用于识别隐蔽管道现场图像中的标志物；

建模单元，用于根据图像采集单元的摄像头的景深算法获得隐蔽管道现场的相对坐标系及平面，在坐标系中根据标志物对应于摄像头的角度及方位生成相应的模型，在模型中设置标志物，并根据生成的模型进行建模，基于混合现实的原理，扫描标志物以将包含隐蔽管道的管道线路的3d建模显示在现场图像之上。

其中，第一图像识别单元在识别现场图像中的标志物时，是利用ssd目标检测的方式进行识别。

其中，还包括展示模块，用于将3d模型划分区域，并通过一显示设备展示图像处理模块处理识别得到的标志物所处的区域，以及以文字信息的形式展示标志物关联的空间数据信息。

其中，图像处理模块设置于一移动终端上，包括：

第二图像识别单元，用于识别通过移动终端的拍照设备实时采集的所处位置的隐蔽管道的图像，以识别其中包含的标志物；

检索单元，用于检索3d模型，获取与识别的标志物相映射的标志物在3d模型中所处区域，同时获取该标志物对应的空间数据信息，并发送到所述展示模块进行展示。

本发明还提供了一种基于混合现实技术的隐蔽管道可视化方法，其步骤包括：采集隐蔽管道线路的全部现场图像，识别预设的现场图像中的标志物，并基于隐蔽管道现场图像和预制的隐蔽管道线路的模型利用混合现实技术建立现场的3d模型；获取预设的现场图像中标志物在现场的实际位置信息，并与图像处理模块识别的隐蔽管道现场图像的3d模型中的标志物建立映射关系；其中，所述3d模型的标志物还关联了对应的空间数据信息；实时采集所处位置的隐蔽管道的图像，识别图像中是否包含预设的标志物，并在识别出包含标志物时，请求映射模块发送相应标志物关联的空间数据信息。

其中，在采集隐蔽管道线路的全部现场图像，识别预设的现场图像中的标志物，并利用混合现实技术建立现场的3d模型的步骤中，包括步骤：

采集隐蔽管道的现场图像；

识别隐蔽管道现场图像中的标志物；

根据图像采集单元的摄像头的景深算法获得隐蔽管道现场的相对坐标系及平面，在坐标系中根据标志物对应于摄像头的角度及方位生成相应的模型，在模型中设置标志物，并根据生成的模型进行建模，基于混合现实的原理，扫描标志物以将包含隐蔽管道的管道线路的3d建模显示在现场图像之上。

其中，在识别现场图像中的标志物时，是利用ssd目标检测的方式进行识别。

其中，还包括将3d模型划分区域，并通过一显示设备展示图像处理模块处理识别得到的标志物所处的区域，以及以文字信息的形式展示标志物关联的空间数据信息的步骤。

其中，实时采集所处位置的隐蔽管道的图像，识别图像中是否包含预设的标志物，并在识别出包含标志物时，请求映射模块发送相应标志物关联的空间数据信息在一移动终端上执行，包括步骤：

识别通过移动终端的拍照设备实时采集的所处位置的隐蔽管道的图像，以识别其中包含的标志物；

检索3d模型，获取与识别的标志物相映射的标志物在3d模型中所处区域，同时获取该标志物对应的空间数据信息，并发送到所述展示模块进行展示。

本发明的有益效果是：本发明基于混合现实(mr)技术显示在各种市政、电力工程的强弱电、给排水、天然气、通讯线路等埋设路径，铺设方式及各种信息以可视化方式无缝融合到真实环境中，实现工作人员与可视化信息之间的实时交互。当工作人员带上显示装置，真实对象可以实时跟踪并与虚拟场景同时呈现在显示设备上，当用户移动时，真实对象和虚拟对象在位置和方向上的关系也能够实时更新。通过mr技术可以大大缩短施工的前期准备工作，缩短工期，减少停电、停水、通讯中断时间以及人工成本，同时有效避免城区各类地下市政管网设备外力破坏的风险，无形经济效益巨大。

附图说明

为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明提供的一种基于混合现实技术的隐蔽管道可视化系统的结构示意图；

图2是本发明提供的一种基于混合现实技术的隐蔽管道可视化方法的流程示意图；

图3是本发明提供的一种基于混合现实技术的隐蔽管道可视化系统中图像处理模块处理图像时的逻辑示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

参阅图1，图1是本发明提供的一种基于混合现实技术的隐蔽管道可视化系统，包括：

3d建模模块110，用于采集隐蔽管道线路的全部现场图像，识别预设的现场图像中的标志物，并基于隐蔽管道现场图像和预制的隐蔽管道线路的模型利用混合现实技术建立现场的3d模型。

mr是将电脑虚拟的图像覆盖到真实世界画面中，它的主要功能是实现真实场景中标志物相对于摄像机位置、方向信息的跟踪，以及完成虚拟物体的实时注册，利用摄像机识别并读取已知标识的相对位置，通过一系列的矩阵计算得到真实环境中参照点与虚拟环境中坐标的映射关系，然后在标记上描绘出3d物体，最终显示虚拟物体与真实场景的叠加。

在本发明中，通过3dsmax软件，按照不同设施建立1:1的3d模型，将创建的模型导出为fbx文件，然后将此格式文件导入3dsmax软件中再处理或加以渲染，导出wrl格式的模型，该模型将作为后期mr程序调用的模型。

映射模块120，用于获取预设的现场图像中标志物在现场的实际位置信息，并与图像处理模块识别的隐蔽管道现场图像的3d模型中的标志物建立映射关系；其中，所述3d模型的标志物还关联了对应的空间数据信息。空间数据信息至少包括计算电缆参数、埋藏深度、电缆沟线路分布、走向的信息。上述的空间数据信息是通过其他设备采集，然后传输到本发明的系统中直接使用的，同时在本发明涉及的隐蔽管道线路中，在标志物处设置二维码，通过扫描二维码，可获取对应标志物附近的隐蔽管道的空间数据信息。

图像处理模块130，用于实时采集所处位置的隐蔽管道的图像，识别图像中是否包含预设的标志物，并在识别出包含标志物时，请求映射模块发送相应标志物关联的空间数据信息。

在图像处理模块130处理过程中，将采集到的图像转换为rgb图像，在进行ssd目标提取步骤之前，对图像进行卷积运算、特征值提取、边框线性回归及softmax分类的计算方式进行处理。图像处理模块130处理过程如图3所示。

具体的，调用摄像头硬件，获取图像，转化图像格式并压缩图像大小，输入到ssd引擎，输出结果显示在真实现场图像上，并存储于数据库中。进一步计算姿态信息和位置信息对检测结果进行检索，再将结果在数据库中进行查询，返回二维文字信息和三维纹理图形，经过三维坐标系与二维屏幕之间的转换来实现三维注册，最终达到增强显示的效果。

其中，3d建模模块110包括：

图像采集单元111，用于采集隐蔽管道的现场图像；

第一图像识别单元112，用于识别隐蔽管道现场图像中的标志物；

建模单元113，用于根据图像采集单元111的摄像头的景深算法获得隐蔽管道现场的相对坐标系及平面，在坐标系中根据标志物对应于摄像头的角度及方位生成相应的模型，在模型中设置标志物，并根据生成的模型进行建模，基于混合现实的原理，扫描标志物以将包含隐蔽管道的管道线路的3d建模显示在现场图像之上。

其中，第一图像识别单元112在识别现场图像中的标志物时，是利用ssd目标检测的方式进行识别。

其中，还包括展示模块140，用于将3d模型划分区域，并通过一显示设备展示图像处理模块130处理识别得到的标志物所处的区域，以及以文字信息的形式展示标志物关联的空间数据信息。

其中，图像处理模块130设置于一移动终端上，包括：

第二图像识别单元131，用于识别通过移动终端的拍照设备实时采集的所处位置的隐蔽管道的图像，以识别其中包含的标志物；

检索单元132，用于检索3d模型，获取与识别的标志物相映射的标志物在3d模型中所处区域，同时获取该标志物对应的空间数据信息，并发送到所述展示模块进行展示。

参阅图2，图2是本发明提供的一种基于混合现实技术的隐蔽管道可视化方法，其步骤包括：采集隐蔽管道线路的全部现场图像，识别预设的现场图像中的标志物，并基于隐蔽管道现场图像和预制的隐蔽管道线路的模型利用混合现实技术建立现场的3d模型；获取预设的现场图像中标志物在现场的实际位置信息，并与图像处理模块识别的隐蔽管道现场图像的3d模型中的标志物建立映射关系；其中，所述3d模型的标志物还关联了对应的空间数据信息；实时采集所处位置的隐蔽管道的图像，识别图像中是否包含预设的标志物，并在识别出包含标志物时，请求映射模块发送相应标志物关联的空间数据信息。

其中，在采集隐蔽管道线路的全部现场图像，识别预设的现场图像中的标志物，并利用混合现实技术建立现场的3d模型的步骤中，包括步骤：

采集隐蔽管道的现场图像；

识别隐蔽管道现场图像中的标志物；

根据图像采集单元的摄像头的景深算法获得隐蔽管道现场的相对坐标系及平面，在坐标系中根据标志物对应于摄像头的角度及方位生成相应的模型，在模型中设置标志物，并根据生成的模型进行建模，基于混合现实的原理，扫描标志物以将包含隐蔽管道的管道线路的3d建模显示在现场图像之上。

其中，在识别现场图像中的标志物时，是利用ssd目标检测的方式进行识别。

其中，还包括将3d模型划分区域，并通过一显示设备展示图像处理模块处理识别得到的标志物所处的区域，以及以文字信息的形式展示标志物关联的空间数据信息的步骤。

其中，实时采集所处位置的隐蔽管道的图像，识别图像中是否包含预设的标志物，并在识别出包含标志物时，请求映射模块发送相应标志物关联的空间数据信息在一移动终端上执行，包括步骤：

识别通过移动终端的拍照设备实时采集的所处位置的隐蔽管道的图像，以识别其中包含的标志物；

检索3d模型，获取与识别的标志物相映射的标志物在3d模型中所处区域，同时获取该标志物对应的空间数据信息，并发送到所述展示模块进行展示。

基于混合现实(mr)技术的隐蔽管道可视化系统，就是将mr技术应用于电网运检领域，运检人员通过手机扫描电缆二维码，即可知道电缆参数、埋藏深度，沿着手机屏幕显示的电缆敷设路线，可以在其地面标注电缆的具体位置和走向，划定安全作业范围；运检人员通过手机扫描地网二维码，按照手机屏幕显示标准地网位置，减少地网开挖量；运检人员通过手机扫描端子箱、电缆沟二维码，可以在不打开端子箱及电缆沟盖板的前提下，知道端子箱内部及电缆沟线路分布、走向等信息。该项目的应用，可以极大地提高工作效率，避免施工过程中对电缆设施的伤害，保证电网安全。

在本发明的一个具体实施例中，涉及城市交通路扩建工程，检修分公司可按照交通路原地埋电缆设计施工图纸，组织项目组实地拍摄电缆场景，将绘制的电缆模型与实景叠加，通过gps定位确定电缆具体位置与走向，将电缆信息打印成二维码，固定在电缆的出线端。配电运检人员与施工单位，通过扫描二维码标注电缆和开挖具体位置。由于采用了本项目研究的技术，在整个道路施工过程中，电缆位置及开挖范围准确，提高了施工效率，保障了供电设施的安全。

在另一实施例中，涉及变电站二次改造施工。在变电站二次改造施工过程中，项目组依据原设计施工图纸，绘制了全站二次mr全景图，施工前现勘工作负责人现场扫描二维码，核实了端子箱布线及电缆走向，提高了工作效率。

本发明的有益效果是：本发明基于混合现实(mr)技术显示在各种市政、电力工程的强弱电、给排水、天然气、通讯线路等埋设路径，铺设方式及各种信息以可视化方式无缝融合到真实环境中，实现工作人员与可视化信息之间的实时交互。当工作人员带上显示装置，真实对象可以实时跟踪并与虚拟场景同时呈现在显示设备上，当用户移动时，真实对象和虚拟对象在位置和方向上的关系也能够实时更新。通过mr技术可以大大缩短施工的前期准备工作，缩短工期，减少停电、停水、通讯中断时间以及人工成本，同时有效避免城区各类地下市政管网设备外力破坏的风险，无形经济效益巨大。

以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。