基于增强现实的结构表面巡检和分析系统的制作方法

本发明属于隧道巡检技术领域，涉及一种结构表面巡检和分析系统，尤其涉及一种基于增强现实的结构表面巡检和分析系统。

背景技术：

城市隧道、管廊等市政公用设施等结构经常涉及在长距离狭窄空间下的运维和管理。在这些基础设施中，由于空间狭小，距离冗长，光照条件不佳，路面状况不稳定等情况，对人工巡检带来了困难，不仅难以准确检测这些设施的健康状况，甚至还会出现难以巡检的死角，这一系列困难使得巡检周期长达三至四个月，不但效率低下而且还会使结构产生安全隐患。因此开发此类结构病害巡检和分析系统具有十分重要的实用价值。

虽然目前自动化结构病害巡检系统和方法正在逐步得到重视和应用，但由于隧道及管廊等狭窄、长距离空间环境的特殊性及各类技术应用的局限性，因此，目前较多的病害巡检方式仍然是人工巡检或巡检人员携带辅助设备进行巡检，机器设备还没有替代人工巡检并自动识别病害，不能有效缩短巡检的周期。

有鉴于此，如今迫切需要设计一种新的结构表面病害巡检和分析系统，以便克服现有系统的上述缺陷。

技术实现要素：

本发明所要解决的技术问题是：提供一种基于增强现实的结构表面巡检和分析系统，可简化人工巡检流程，有效缩短巡检周期，从而克服现有巡检系统和方法的缺陷。

为解决上述技术问题，本发明采用如下技术方案：

一种基于增强现实的结构表面巡检和分析系统，所述系统包括：狭窄空间的多功能检测车、基于增强现实的结构表面病害巡检移动终端系统；

所述多功能巡检车能在隧道、管廊等狭窄空间中执行无人巡检任务；所述移动终端系统处理和分析多功能检测车所采集到的结构数据，从而实现对结构表面病害巡检进行有效的管理和控制。

作为本发明的一种优选方案，所述多功能巡检车在巡检任务开始后，巡检车通过扫描结构墙体上的二维码获取一个环号，在移动的过程中录制该环号对应环面的视频流，并通过激光传感器获取结构变形参数、错台参数，巡检任务完成后，巡检车将视频流数据上传至服务器。

作为本发明的一种优选方案，所述检测车具有自动环号识别能力，挂载相机摄录图像的同时和所述平板电脑数据交互，平板电脑通过内置图像处理系统，进行对于环号的实时计算。结合射频识别技术辅助定位，避免误差的累积。

作为本发明的一种优选方案，所述检测车具有不同的检测模式，可以根据现场情况改变检测方式。巡检模式分为：全自动模式、半自动人工辅助模式、人工控制模式。不同的检测模式适用于不同的特征的狭窄空间。全自动模式适用于无网络信号，距离长的狭窄空间；半自动模式适用于有网络信号，距离长的狭窄空间；人工控制模式适用于距离较短的狭窄空间。所述狭窄控件并不一定指的是不同设施，也可以是同一设施的不同位置。

作为本发明的一种优选方案，所述移动终端系统包括结构巡检子系统、维修管理子系统、结构漫游子系统、综合分析子系统。

作为本发明的一种优选方案，所述的结构内巡检模块包括图像识别子模块和增强现实子模块；

所述图像识别子模块基于深度学习算法对多功能检车车所采集到的视频流数据进行分类识别，识别出结构表面病害大类后自动量测图像中的病害的各项参数，参数包括长度、宽度、面积、张开量、错台量，并将病害类型、参数、病害在环面中的位置对应于相应的环号上传至服务器；

所述增强现实模块是指巡检人员执行人工复检任务所使用到的功能模块，人工复检任务分为核实新病害和复查旧病害。核实新病害的过程为，巡检热源到达新增的病害处时，打开移动终端摄像头，拖动病害标签到对应位置，并记录新病害的详细数据。复查旧病害的过程为，巡检人员到达需要复查的病害处时使用移动设备的摄像头捕获视频流，自动识别隧道管片上的病害类型，将扫描到的病害与数据库中的病害数据进行匹配，并叠加图标到实时拍摄的画面中，同时显示病害信息，以达到持续跟踪的目的。

作为本发明的一种优选方案，所述使用移动设备的摄像头捕获视频流，是指使用相机api定制自定义相机，创建相机预览图像的类，即相机的界面，编写接口控制相机预览类,并实时对于相机界面的变化进行检测和通知，当相机预览发生变化，相机预览类通过特定的方法获得图像实例。通过完成自定义相机，使其可以有效结合隧道内增强现实的功能，然后初始化摄像头参数，设置相机预览功能。

作为本发明的一种优选方案，所述自动识别隧道管片上的病害类型，是指把摄像头捕获的视频流转化为bmp格式的比特数据，将当前图像进行灰度化处理，然后对灰度图进行阙值分割，根据阙值提取特征识别病害类型，再用边缘检测算子进行管片边缘提取，获取病害的大致位置，然后将病害信息，包括病害类型，病害位置等存储方便后续处理。

作为本发明的一种优选方案，所述将扫描到的病害与数据库中的病害数据进行匹配，并叠加图标到实时拍摄的画面中，同时显示病害信息，是指将得到的病害类型与该隧道环面在数据库中记录的病害类型逐一匹配，若数据库中已有该病害，获取该病害在数据库中的病害信息，并根据病害坐标在摄像图像上叠加病害标签，并在标签上添加监听器，点击图标跳转到病害历史界面；若数据库没有该病害，则将该病害定义为新病害，在病害上叠加提示符号，并进入手动添加病害模块将病害图标贴在摄像图像上，并将病害信息，包括病害类型，病害坐标，发现日期等同步到数据库。

作为本发明的一种优选方案，为了实现病害标签叠加，以newbitmap创建canvas类，canvas类相当于一个画布，使用该类即可将当前图片设置为画布，再调用paint类，paint类相当于画笔，可以在画布上绘制图形、着色等。在本发明中，使用paint类将代表病害类型的病害标签叠加在使用canvas类创建的画布上，并根据病害位置的信息，将病害位置相对于相机的坐标确定下来，即可完成在摄像图像上叠加病害标签。并在标签上添加监听器，通过intent实现病害历史界面的跳转，intent机制能够协助不同应用间的交互与通讯。

作为本发明的一种优选方案，所述维修管理子系统包括巡检任务管理和维修任务管理。巡检任务管理是基于定位系统使管理者获知巡检人员是否按照既定路线和巡检需求单完成各项任务计划；维修任务管理是指，巡检人员在更新病害信息时发布维修需求，系统根据病害的类型、数量和位置生成维修工单并将维修工单推送至维修人员的移动终端，维修人员到达现场并完成维修后，在系统中确认维修完毕，最后由管理人员对维修情况进行验收并进行系统确认该项维修任务完成。

作为本发明的一种优选方案，所述结构漫游子系统包括：一个应用内嵌入的浏览器，此浏览器用于打开本地网页并加载bim模型，所述网页可以对bim模型进行操作，所述操作包括：旋转、缩放、平移、第一人称漫游、调整相机参数、剖切、截面分析、测量、模型分解、模型结构树浏览、模型详情信息查看、在bim模型上的相应位置显示历史病害的示意图标、显示病害详情信息，所述详情信息框内包含病害的历次巡检详情信息和照片。

作为本发明的一种优选方案，所述综合分析子系统根据结构漫游子系统bim模型信息和结构巡检子系统所采集到的数据，统计断面收敛、联络通道相对位移、隧道纵向沉降、接缝张开等结构数据以及病害类型和数量，根据统计的数据对隧道健康程度进行评分，并提出巡检和维修建议。

本发明的有益效果在于：本发明提出的基于增强现实的结构表面巡检和分析系统，可简化人工巡检流程，有效缩短巡检周期，从而克服现有巡检系统和方法的缺陷。

附图说明

图1为本发明基于增强现实的结构表面病害巡检和分析系统的流程图。

图2为本发明基于增强现实的结构表面病害巡检和分析系统的组成示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例一

请参阅图1、图2，本发明揭示了一种基于增强现实的结构表面巡检和分析系统，所述系统包括：狭窄空间的多功能检测车、基于增强现实的结构表面病害巡检移动终端系统。

所述多功能巡检车能在隧道、管廊等狭窄空间中执行无人巡检任务；所述移动终端系统处理和分析多功能检测车所采集到的结构数据，从而实现对结构表面病害巡检进行有效的管理和控制。

【多功能检测车】

所述多功能巡检车在巡检任务开始后，巡检车通过扫描结构墙体上的二维码获取一个环号，在移动的过程中录制该环号对应环面的视频流，并通过激光传感器获取结构变形参数、错台参数，巡检任务完成后，巡检车将视频流数据上传至服务器。

所述检测车具有自动环号识别能力，挂载相机摄录图像的同时和所述平板电脑数据交互，平板电脑通过内置图像处理系统，进行对于环号的实时计算。结合射频识别技术辅助定位，避免误差的累积。

所述检测车具有不同的检测模式，可以根据现场情况改变检测方式。巡检模式分为：全自动模式、半自动人工辅助模式、人工控制模式。不同的检测模式适用于不同的特征的狭窄空间。全自动模式适用于无网络信号，距离长的狭窄空间；半自动模式适用于有网络信号，距离长的狭窄空间；人工控制模式适用于距离较短的狭窄空间。所述狭窄控件并不一定指的是不同设施，也可以是同一设施的不同位置。

【移动终端系统】

所述移动终端系统包括结构巡检子系统、维修管理子系统、结构漫游子系统、综合分析子系统。

【结构巡检子系统】

所述的结构巡检子系统包括图像识别模块和增强现实模块；

所述图像识别子模块基于深度学习算法对多功能检车车所采集到的视频流数据进行分类识别，识别出结构表面病害大类后自动量测图像中的病害的各项参数，参数包括长度、宽度、面积、张开量、错台量，并将病害类型、参数、病害在环面中的位置对应于相应的环号上传至服务器；

所述增强现实模块是指巡检人员执行人工复检任务所使用到的功能模块，人工复检任务分为核实新病害和复查旧病害。核实新病害的过程为，巡检热源到达新增的病害处时，打开移动终端摄像头，拖动病害标签到对应位置，并记录新病害的详细数据。复查旧病害的过程为，巡检人员到达需要复查的病害处时使用移动设备的摄像头捕获视频流，自动识别隧道管片上的病害类型，将扫描到的病害与数据库中的病害数据进行匹配，并叠加图标到实时拍摄的画面中，同时显示病害信息，以达到持续跟踪的目的。

所述使用移动设备的摄像头捕获视频流，是指使用相机api定制自定义相机，创建相机预览图像的类，即相机的界面，编写接口控制相机预览类,并实时对于相机界面的变化进行检测和通知，当相机预览发生变化，相机预览类通过特定的方法获得图像实例。通过完成自定义相机，使其可以有效结合隧道内增强现实的功能，然后初始化摄像头参数，设置相机预览功能。

所述自动识别隧道管片上的病害类型，是指把摄像头捕获的视频流转化为bmp格式的比特数据，将当前图像进行灰度化处理，然后对灰度图进行阙值分割，根据阙值提取特征识别病害类型，再用边缘检测算子进行管片边缘提取，获取病害的大致位置，然后将病害信息，包括病害类型，病害位置等存储方便后续处理。

所述将扫描到的病害与数据库中的病害数据进行匹配，并叠加图标到实时拍摄的画面中，同时显示病害信息，是指将得到的病害类型与该隧道环面在数据库中记录的病害类型逐一匹配，若数据库中已有该病害，获取该病害在数据库中的病害信息，并根据病害坐标在摄像图像上叠加病害标签，并在标签上添加监听器，点击图标跳转到病害历史界面；若数据库没有该病害，则将该病害定义为新病害，在病害上叠加提示符号，并进入手动添加病害模块将病害图标贴在摄像图像上，并将病害信息，包括病害类型，病害坐标，发现日期等同步到数据库。

为了实现病害标签叠加，以newbitmap创建canvas类，canvas类相当于一个画布，使用该类即可将当前图片设置为画布，再调用paint类，paint类相当于画笔，可以在画布上绘制图形、着色等。在本发明中，使用paint类将代表病害类型的病害标签叠加在使用canvas类创建的画布上，并根据病害位置的信息，将病害位置相对于相机的坐标确定下来，即可完成在摄像图像上叠加病害标签。并在标签上添加监听器，通过intent实现病害历史界面的跳转，intent机制能够协助不同应用间的交互与通讯。

【维修管理子系统】

所述维修管理子系统包括巡检任务管理和维修任务管理。巡检任务管理是基于定位系统使管理者获知巡检人员是否按照既定路线和巡检需求单完成各项任务计划；维修任务管理是指，巡检人员在更新病害信息时发布维修需求，系统根据病害的类型、数量和位置生成维修工单并将维修工单推送至维修人员的移动终端，维修人员到达现场并完成维修后，在系统中确认维修完毕，最后由管理人员对维修情况进行验收并进行系统确认该项维修任务完成。

【结构漫游子系统】

所述结构漫游子系统包括：一个应用内嵌入的浏览器，此浏览器用于打开本地网页并加载bim模型，所述网页可以对bim模型进行操作，所述操作包括：旋转、缩放、平移、第一人称漫游、调整相机参数、剖切、截面分析、测量、模型分解、模型结构树浏览、模型详情信息查看、在bim模型上的相应位置显示历史病害的示意图标、显示病害详情信息，所述详情信息框内包含病害的历次巡检详情信息和照片。

【综合分析子系统】

所述综合分析子系统根据结构巡检子系统所采集到的数据，统计断面收敛、联络通道相对位移、隧道纵向沉降、接缝张开等结构数据以及病害类型和数量，根据统计的数据对隧道健康程度进行评分，并提出巡检建议。

综上所述，本发明提出的基于增强现实的结构表面巡检和分析系统，可简化人工巡检流程，有效缩短巡检周期，从而克服现有巡检系统和方法的缺陷。

这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。