一种基于计算机视觉的隧道水渍检测系统及方法与流程

本发明涉及一种隧道水渍检测系统及方法，尤其是涉及一种基于计算机视觉的隧道水渍检测系统及方法。

背景技术：

近年来，随着人工智能和深度学习有关技术的发展，目标检测和图像分割这一课题也取得了长足的进步。另一方面，隧道的水渍病害为道路公共安全带来了重大安全隐患，在当前工程实践中，水渍病害检测是完全依靠人工实现的，耗费大量的时间与财力。凭借基于计算机视觉的智能技术实现对水渍病害的智能检测，是提升工程效率的有效手段。

现有的目标检测算法通常可以分为两阶段方法和一阶段方法：前者往往需要假设检测目标的尺度，提出多个有可能的目标区域，然后根据置信度获得最终检测目标的位置。但隧道水渍呈现不规则形状，且大小不一，这种方法不适合隧道水渍的检测。后者解决了两阶段方法存在的问题，但也牺牲了一定的检测精度。基于图像分割的方法是解决此类问题的另一手段，但隧道水渍病害图像中，正负样本极度不平衡，隧道图像采集了数公里长隧道，但水渍区域偏少，现有的图像分割技术不能很好的克服这一问题。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于计算机视觉的隧道水渍检测系统及方法。

本发明的目的可以通过以下技术方案来实现：

一种基于计算机视觉的隧道水渍检测系统，该系统包括：

隧道图像获取模块：获取2d隧道展开图像；

图像预处理模块：裁剪2d隧道展开图像得到若干特征与原图保持一致的分割图像，并保存分割图像在原图中的位置信息；

水渍病害检测模块：用于输入分割图像并对水渍病害区域进行预测输出水渍病害预测图；

图像重匹配模块：将水渍病害预测图匹配至2d隧道展开图像中得到预测结果。

所述的水渍病害检测模块包括：

存在性二分类网络：输入所述的分割图像，输出全黑或者全白掩膜，用于表征输入图像是否存在水渍病害；

分割网络：输入所述的分割图像，输出含水渍病害初始区域的图像；

掩膜引导子模块：用于连接存在性二分类网络和分割网络，该子模块将存在性二分类网络和分割网络的输出进行融合，去除分割网络输出的假阳性结果得到水渍病害预测图。

所述的存在性二分类网络的训练方式为：

确定存在性二分类网络的结构；

若输入的分割图像没有任何一个像素属于水渍病害区域，则监督信息为值为0、大小与输入一致的全黑图像，若输入的分割图像有任何一个像素属于水渍病害区域，则监督信息为值为1、大小与输入一致的全白图像；

对存在性二分类网络进行训练获取网络参数。

所述的分割网络的训练方式为：

确定分割网络的结构；

根据输入的分割图像确定监督信息为人工标注水渍病害区域的二值图像；

对分割网络进行训练获取网络参数。

掩膜引导子模块将存在性二分类网络和分割网络的输出进行融合的具体方式为：若存在性二分类网络输出表征输入图像不存在水渍病害的全黑图像时，则掩膜引导子模块输出，则掩膜引导子模块丢弃分割网络输出的含水渍病害初始区域的图像；

若存在性二分类网络输出表征输入图像存在水渍病害的全白图像时，则掩膜引导子模块将分割网络输出的含水渍病害初始区域的图像作为水渍病害预测图。

图像重匹配模块将水渍病害预测图进行匹配的具体方式为：获取水渍病害预测图对应的分割图像的位置信息，根据该位置信息将水渍病害预测图还原到2d隧道展开图像中的对应位置。

一种基于计算机视觉的隧道水渍检测方法，该方法包括如下阶段：

获取隧道图像阶段：获取2d隧道展开图像；

图像预处理阶段：裁剪2d隧道展开图像得到若干特征与原图保持一致的分割图像，并保存分割图像在原图中的位置信息；

水渍病害检测阶段：分别对每一张分割图像进行水渍病害区域预测，输出水渍病害预测图；

图像重匹配阶段：将水渍病害预测图匹配至2d隧道展开图像中得到预测结果。

水渍病害检测阶段的具体预测方式为：首先，采用存在性二分类网络对分割图像进行存在性二分类，输出表征输入图像是否存在水渍病害的全黑或者全白掩膜，然后，采用分割网络对分割图像进行预测，输出含水渍病害初始区域的图像，最后对存在性二分类网络和分割网络的输出进行融合，去除分割网络输出的假阳性结果得到水渍病害预测图。

存在性二分类网络和分割网络的输出进行融合的具体方法为：若存在性二分类网络输出表征输入图像不存在水渍病害的全黑图像时，则掩膜引导子模块输出，则掩膜引导子模块丢弃分割网络输出的含水渍病害初始区域的图像；

若存在性二分类网络输出表征输入图像存在水渍病害的全白图像时，则掩膜引导子模块将分割网络输出的含水渍病害初始区域的图像作为水渍病害预测图。

水渍病害预测图匹配至2d隧道展开图像的具体方式为：获取水渍病害预测图对应的分割图像的位置信息，根据该位置信息将水渍病害预测图还原到2d隧道展开图像中的对应位置。

与现有技术相比，本发明具有如下优点：

(1)本发明提出的基于计算机视觉的隧道水渍检测系统及方法，取代了人工检测繁重的工作，大大提升了隧道水渍病害的检测效率；

(2)本发明图像预处理解决了超高分辨率图像难以学习的问题，在不损失图像分辨率的前提下降低了图像尺度以便于学习；

(3)本发明水渍病害检测中使用存在性二分类分支网络对输入图像是否存在病害区域进行学习判断，同时利用一个图像分割网络估计病害位置，最终用存在性掩模引导分割网络去除干扰区域；存在性二分类分支网络可以直接排除大量非病害区域，去除疑似区域的干扰，分割网络可以获得病害区域的初始位置，两个网络的结合引导可以有效提高水渍病害检测精度，降低检测结果的假阳性，提升了水渍病害检测精度和可靠性；

(4)本发明图像重匹配使得预测结果恢复为超大尺度，符合工程实际，使本发明能够有效应用在工程实践中。

附图说明

图1为本发明基于计算机视觉的隧道水渍检测系统的结构框图；

图2为本发明水渍病害检测模块的结构框图；

图3为本发明基于计算机视觉的隧道水渍检测方法的流程图。

图中，1为隧道图像获取模块，2为图像预处理模块，3为水渍病害检测模块，4为图像重匹配模块，31为存在性二分类网络，32为分割网络，33为掩膜引导子模块。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例

如图1所示，一种基于计算机视觉的隧道水渍检测系统，该系统包括：

隧道图像获取模块1：获取2d隧道展开图像，2d隧道展开图像包括但不限于高分辨率图像，只要包含隧道信息的图像均适用；

图像预处理模块2：裁剪2d隧道展开图像得到若干特征与原图保持一致的分割图像，并保存分割图像在原图中的位置信息；

水渍病害检测模块3：用于输入分割图像并对水渍病害区域进行预测输出水渍病害预测图；

图像重匹配模块4：将水渍病害预测图匹配至2d隧道展开图像中得到预测结果。

如图2所示，水渍病害检测模块3包括：

存在性二分类网络31：输入所述的分割图像，输出全黑或者全白掩膜，用于表征输入图像是否存在水渍病害；

分割网络32：输入所述的分割图像，输出含水渍病害初始区域的图像；

掩膜引导子模块33：用于连接存在性二分类网络31和分割网络32，该子模块将存在性二分类网络31和分割网络32的输出进行融合，去除分割网络32输出的假阳性结果得到水渍病害预测图。掩膜引导子模块33适用范围包括但不限于特征点乘，只要能让特征直接融合的方法(如相乘、相加)均适用。

所述的存在性二分类网络31的训练方式为：

确定存在性二分类网络31的结构；

若输入的分割图像没有任何一个像素属于水渍病害区域，则监督信息为值为0、大小与输入一致的全黑图像，若输入的分割图像有任何一个像素属于水渍病害区域，则监督信息为值为1、大小与输入一致的全白图像；

对存在性二分类网络31进行训练获取网络参数。

所述的分割网络32的训练方式为：

确定分割网络32的结构；

根据输入的分割图像确定监督信息为人工标注水渍病害区域的二值图像；

对分割网络32进行训练获取网络参数。

掩膜引导子模块33将存在性二分类网络31和分割网络32的输出进行融合的具体方式为：若存在性二分类网络31输出表征输入图像不存在水渍病害的全黑图像时，则掩膜引导子模块33输出，则掩膜引导子模块33丢弃分割网络32输出的含水渍病害初始区域的图像；

若存在性二分类网络31输出表征输入图像存在水渍病害的全白图像时，则掩膜引导子模块33将分割网络32输出的含水渍病害初始区域的图像作为水渍病害预测图。

图像重匹配模块4将水渍病害预测图进行匹配的具体方式为：获取水渍病害预测图对应的分割图像的位置信息，根据该位置信息将水渍病害预测图还原到2d隧道展开图像中的对应位置。

如图3所示，一种基于计算机视觉的隧道水渍检测方法，该方法基于上述隧道水渍检测系统，该方法包括如下阶段：

获取隧道图像阶段：获取2d隧道展开图像，该阶段进一步包括：对于复杂的隧道场景图像，通过人工标注获得水渍病害区域以供网络学习；也包括大量未标注的隧道图像数据，用于方法可靠性的验证与推广。

图像预处理阶段：裁剪2d隧道展开图像得到若干特征与原图保持一致的分割图像，并保存分割图像在原图中的位置信息。该阶段具体包括图像的裁剪与拼接、尺度变形等，以获得适合网络输入的尺寸图像，并且变化后的图像保持与原图像的特征一致性，裁剪后的图像包含其在原图像中的位置坐标信息。

水渍病害检测阶段：分别对每一张分割图像进行水渍病害区域预测，输出水渍病害预测图。水渍病害检测阶段进一步包括：用于判断水渍病害存在性的二分类网络，其模型输出二分类结果，只判断输入图像是否存在水渍病害，并产生一个单值(0或1)的存在性掩模；一个用于产生初始分割结果的分割网络32，该网络以像素级别输出预测的水渍病害结果，但该预测结果包含较多假阳性区域；一个基于存在性掩模引导的分割模块，可以排除大量假阳性区域，提高输出结果的精度。使用存在性二分类分支网络对输入图像是否存在病害区域进行学习判断，同时利用一个图像分割网络32估计病害位置，最终用存在性掩模引导分割网络32去除干扰区域；本发明所述的存在性二分类分支网络可以直接排除大量非病害区域，去除疑似区域的干扰，分割网络32可以获得病害区域的初始位置。两个网络的结合引导可以有效提高水渍病害检测精度，降低检测结果的假阳性。

图像重匹配阶段：将水渍病害预测图匹配至2d隧道展开图像中得到预测结果。

其中，水渍病害检测阶段的具体预测方式、存在性二分类网络31和分割网络32的输出进行融合的具体方法以及水渍病害预测图匹配至2d隧道展开图像的具体方式这里不再详述，与上述一致。

以下结合具体实例，对上述基于计算机视觉的隧道水渍检测方法作具体说明。

第一阶段，获取隧道图像阶段：首先借助轨道3d扫描车，扫描环隧道点云图像，并转换为2d图像。得到的隧道图像是半圆环面的展开图，水平中心线即为隧道顶线。一段连续的隧道即是由若干环拼接而成的。得到的2d图像是宽为1300-3500像素、长度通常大于10000像素超高分辨率图像，表征100米以上的隧道。人工标注水渍区域，这是用来训练学习的专家信息，将标注区域置为1，非标注区域置为0，生成二值化图用于分割训练。

第二阶段，图像预处理阶段：为了使图像尺寸符合深度网络输入要求，满足常见显卡的显存限制，亦不改变图像的主要特征，需要对原高分辨率图像进行裁剪拼接。本发明首先通过水平中心线将原图像分为两部分，再通过隧道环缝裁剪，使得得到的图像宽为原来的1/2，长度为单环图像的宽度。被裁剪得到的图像，应依序记录。原图像左上角第一幅图为1号图，从左往右，再从上往下增序。

第三阶段，水渍病害检测阶段：对于存在性二分类网络31，本实施例采用inception网络，去除原网络最后的全连接层，在原网络的最后一层后添加一层卷积层，该卷积层卷积核为3x3，膨胀值为1，步幅为1。在训练阶段，如果没有输入图像没有任何一个像素属于水渍病害区域，即监督信息为值为0，大小与输入一致的全黑图像，如果输入图像有任何一个像素属于水渍病害区域，即监督信息值为1，大小与输入一致的全白图像，训练时用二分类余弦交叉熵优化网络参数；在测试阶段，输入与训练阶段一致，输出结果即为全白或者全黑图像；对于分割网络32，本实施例采用resnet-101网络，去除原网络最后的全连接层，在原网络的最后一层后添加一层卷积层，该卷积层卷积核为3x3，膨胀值为1，步幅为1。在训练阶段，监督信号为人工标注的二值图像，测试阶段，即为最后一层卷积层的特征图。对于图2所示的掩膜引导子模块33，应当将存在性二分类网络31得到的单值掩膜与分割网络32得到的分割图相点乘，以乘积之后的结果图为最终的预测结果图。

第四阶段，病害检测图像与隧道图像的重匹配阶段：输出的预测结果图应有位置序号，与其输入图像的位置序号一致。本发明将输出结果按照序号依序拼接。将预测结果覆盖在原图上。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。