一种管道检测全景拍摄处理方法与流程

1.本发明涉及排水管道检测技术领域，特别涉及一种管道检测全景拍摄处理方法。


背景技术：

2.城市污水处理经过几十年的快速发展，已逐渐步进入系统性查缺补漏阶段，开始对发展过程中重地上轻地下、重厂轻网、重水轻泥等系列问题进行纠正，污水治理提质增效问题成为行业关注的重点。然而污水管网系统“内渗外漏”、“管网错接混接”、“干支失联”等问题依然普遍存在，导致污水处理效能偏低。优化排水系统，提高排水管网质量，是目前污水处理提质增效的关键之一。目前，采用“四位一体”排查方法，对排水管网展开测绘、调查、检测和评估。通过测绘，查清排水管网的基本情况；通过调查，查清排水管网存在的污水直排、雨污混接、溢流污染、地表水倒灌、外水入渗等问题以及排水户接管情况；通过检测，查清管道及检查井结构情形缺陷和功能性缺陷；通过评估，梳理排水管网系统存在的问题，形成问题整改项目清单，为后续整改工作提供依据。
3.目前常用的排水管道检测方式有：1）电视检测（采用闭路电视系统进行管道检测的方法，简称cctv检测）；2）声呐检测（采用声波探测技术对管道内水面以下的状况进行检测的方法）；3）管道潜望镜检测（采用管道潜望镜在检查井内对管道进行检测的方法，简称qv检测）。
4.cctv检测拍摄设备工作流程：
①
机器人进入管道后，由检测人员控制机器人在管道内爬行。在机器人行进期间，摄像头拍摄管道内部画面，行进过程中，画面保持正向水平、拍摄角度和焦距不得中途改变，检测人员观看实时传输的视频画面，画面不应产生暂停、间断记录、剪接的现象。
5.②
通过实时传输视频画面发现管道内部缺陷时，机器人停止前进，在完全能够解析缺陷的位置停留至少10秒，重点拍摄缺陷部位。
6.③
检测人员通过实时传输的视频画面发现管道内部的结构性/功能性缺陷、特殊结构，填写原始记录表，初步判读并记录缺陷的名称、等级、距离信息，形成原始资料。
7.④
现场检测完毕后，由资料处理人员对检测视频和原始资料进行复核，抓取管道内结构性/功能性缺陷处的高清图片，备注缺陷的长度和在管道内环向时钟表示的位置，整理编制检测与评估报告。
8.在技术娴熟的检测人员的操作下，利用现有的cctv检测设备，可以得到一段管道的完整、清晰的内部检测视频资料。然而，现有的cctv检测设备由检测人员手动控制，检测期间，设备爬行的速度、稳定性无法保证始终处于均衡状态，对管道内缺陷的侧向抓拍，也依赖于现场检测人员的肉眼发现，拍摄角度、时长和图像清晰度亦受制于检测人员的拍摄技术。因此，在无法保证现场检测人员对仪器设备使用技术娴熟、工作态度严谨认真的情况下，拍摄出的视频资料质量亦会参差不齐，影响后续的管道缺陷判读、报告编制和修复评估。


技术实现要素：

9.本发明的目的在于针对现有管道检测过程中缺陷捕捉难、拍摄视频容量大、储存传输难、人工核查工作量大的问题，提出一种管道检测全景拍摄处理方法，从而提高管道检测的精准度，提高工作效率，节约人力成本。
10.本发明公开了一种管道检测全景拍摄处理系统，包括：主控制器、爬行器、摄像头和图像处理子系统，所述控制器用于控制爬行器行进，所述摄像头安装在爬行器上，所述爬行器在管道内以预设速度匀速前进，行进全程摄像头拍摄管道内壁的全景照片，图像处理子系统对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图；所述图像处理子系统包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块，所述图像预处理模块用于对摄像头拍摄的照片预处理，进行降噪和增强，所述特征提取模块用于对经过预处理后的照片提取视觉特征，所述目标检测识别模块用于检测和识别不同摄像头采集照片中相同的目标，所述增强空间变换模块用于计算不同摄像头中相同目标的空间坐标映射关系，所述图像拼接模块用于对增强空间变换后的图像拼接，生成从管道底部向顶部投射的展开全景图。
11.进一步地，所述摄像头采用等比例安装的三个全景拍摄摄像头，所述摄像头前端设有可调节光强的照明灯，管道检测时，摄像头根据管径调整摄像头位置，使爬行器前端的摄像头始终保持在管道中轴线位置上，拍摄期间全景摄像头根据管道内部环境因素自动调整拍摄焦，所述爬行器匀速前进过程中，三个全景摄像头从不同方向分别拍摄管道内壁的部分内面的全景照片，每两张照片之间互有15
°
重叠部分。
12.进一步地，所述特征提取模块由faster rcnn中的特征提取模块rcnnb和通道注意模块chab组成，经过图像预处理后的照片分别经过faster rcnn中的特征提取模块rcnnb和通道注意模块chab处理，获得特征提取模块rcnnb输出特征和通道注意模块chab输出特征将，两者相结合，形成表征能力更强的视觉特征，公式为：其中表示通道级相乘。
13.进一步地，所述通道注意模块由全局平均池化、卷积层、mish激活函数、sigmoid函数构成，通道注意模块chab的数据处理公式为：其中，表示通道注意模块数据，是图像块特征，表示sigmoid函数，mish表示mish激活函数，conv1d表示1维卷积操作，gap表示全局平均池化。
14.进一步地，所述目标检测识别模块的网络结构为：
其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，img
info
表示图像信息，reshape是变形操作，proposal 表示区域候选操作，roipool是感兴趣区域池化操作，softmax表示softmax函数,fc 是全连接操作， 表示目标候选框的回归偏移量， 表示候选目标属于特定类的概率；当候选目标属于特定类的概率高于预设值时，记录对应目标并标记为u，对应的视觉特征为，根据余弦相似度准则识别与目标u对应的目标v，对应的视觉特征为。
15.进一步地，所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块，其中，所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征；所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集；所述感知视觉特征提取模块的输出视觉特征，表示为：表示为：其中，代表目标检测识别模块中第s个摄像头目标u的视觉特征， 表示视觉特征经过三个卷积模块后的视觉输出，convb表示一个卷积操作；表示s形函数sigmoid, relu表示线性修正单元激活函数，fc 表示全连接操作，gap表示全局平均池化操作， 表示通道级相乘；所述空间坐标变换模块对视觉特征进行空间坐标提取，输出空间坐标参数可以表示为：其中，fc是全连接操作，relu表示线性修正单元激活函数, cmrb
1 、cmrb2、cmrb3表示3个卷积-池化-激活模块；所述空间坐标变换模块对空间坐标参数进行坐标映射和像素采集，完成目标u的坐标到对应变形目标v的坐标变换，表示为：其中，map表示坐标映射函数，sample表示像素采样函数。
16.本发明还公开了一种管道检测全景拍摄处理方法，基于上述的管道检测全景拍摄处理系统，包括以下步骤：步骤1：主控制器控制爬行器进入管道，确定起始位置，爬行器上的控制测距仪归零；步骤2：爬行器在管道内以预设速度匀速前进，行进期间摄像头自动调焦并拍摄管道内壁的全景照片，以预设频次拍摄照片；步骤3：图像处理子系统同步对全景照片进行拼接处理，并根据爬行器的行进速度与拍摄时间，自动计算并在管道内壁全景展开图上标注位置坐标；步骤4：拍摄结束后，主控制器对爬行器发出返回指令。
17.进一步地，所述步骤3包括：步骤301：图像预处理模块对每个摄像头拍摄的照片降噪和增强后的照片为q，第i个像素的像素值为：其中，i表示输入的摄像头拍摄的照片，参数和分别表示第k个局部区域的线性斜率和偏差，i表示摄像头拍摄的照片i的像素坐标；步骤302：照片q分别经过faster rcnn中的特征提取模块rcnnb和通道注意模块chab处理通道处理，获得rcnnb模块输出特征和通道注意模块chab输出特征相结合形成的表征能力强的新的视觉特征，公式为：其中表示通道级相乘；步骤303：目标检测识别模块提取并识别同一时间不同摄像头拍摄照片的取视觉特征之间的相同的目标，之间的相同的目标，其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，img
info
表示图像信息，reshape是变形操作，proposal 表示区域候选操作，roipool是感兴趣区域池化操作，softmax表示softmax函数,fc 是全连接操作， 表示目标候选框的回归偏移量， 表示候选目标属于特定类的概率；当候选目标属于特定类的概率高于预设值时，记录对应目标并标记为u，对应的视觉特征为，根据余弦相似度准则识别与目标u对应的目标v，对应的视觉特征为
；步骤304：增强空间变换模块对获得的相同目标的视觉特征 ，计算出相同目标在不同采集器中的空间坐标映射关系；步骤305：完成目标坐标变换后，根据对应的坐标, 图像拼接模块将摄像头采集图像的全景拼接融合。
18.进一步地，所述步骤301中，所述参数和的值通过拉格朗日乘数法求得，公式为：式为：其中，和分别是第k个窗口的平均值和标准方差， 是约束参数；为了能获得有效参数和，整个局部区域的重构像素与原始像素尽可能的接近，即两者局部区域的像素差的能量和最小，公式为：其中，参数和 分别表示第k个局部区域的线性斜率和偏差。
19.进一步地，所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块，其中，所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征；所述空间坐标变换模块用于对感知视觉特征提取模块输出的视觉特征进行空间坐标提取、坐标映射和像素采集；所述感知视觉特征提取模块的输出视觉特征，表示为：表示为：其中，代表目标检测识别模块中第s个摄像头目标u的视觉特征， 表示视觉特征经过三个卷积模块后的视觉输出，convb表示一个卷积操作；表示s形函数sigmoid, relu表示线性修正单元激活函数，fc 表示全连接操作，gap表示全局平均池化操作， 表示通道级相乘；
所述空间坐标变换模块对视觉特征进行空间坐标提取，输出空间坐标参数可以表示为：其中，fc是全连接操作，relu表示线性修正单元激活函数, cmrb
1 、cmrb2、cmrb3表示3个卷积-池化-激活模块；所述空间坐标变换模块对空间坐标参数进行坐标映射和像素采集，完成目标u的坐标到对应变形目标v的坐标变换，表示为：其中，map表示坐标映射函数，sample表示像素采样函数。
20.与现有技术相比，本发明的有益效果为：1、以管道内壁全景照片代替视频，解决人工操作设备拍摄检测视频时，因管道病害微小、检测人员疏漏而导致对缺陷抓拍产生遗漏的问题；2、避免检测视频中拍摄时间过短、影像不清晰等原因导致审核人员对管道病害的漏判、错判问题；3、降低现场检测人员对设备操作的要求，降低审核人员对管道病害判读的难度，减少人力投入，减轻人员培训成本；4、降低存储成本，提高检测资料的质量，便于后续编制检测平复报告和修复方案；5、实现以少量人手完成一座城市地下综合管廊的定期监控和全面维护工作。
附图说明
21.图1是本发明公开的系统工作示例图；图2是本发明公开的摄像头放大图示意图；图3是本发明公开的图像拼接网络结构流程图；图4是本发明公开的通道注意模块网络示意图；图5是本发明公开的目标检测识别模块网络结构示意图；图6是本发明公开的增强空间变换模块网络结构示例图；图7是本发明公开的照片成果示例图。
具体实施方式
22.下面结合附图对本发明作进一步说明：如图1所示，本发明公开了一种管道检测全景拍摄处理系统，包括：主控制器1、爬行器3、摄像头2和图像处理子系统。主控制器1用于控制爬行器3行进，所述摄像头2安装在爬行器3上，所述爬行器3在管道内以预设速度匀速前进，行进全程摄像头2拍摄管道内壁的全景照片，图像处理子系统对全景照片进行拼接处理，生成从管道底部向顶部投射的展开全景图。
23.在本实施例中，如图2所示，摄像头2采用等比例安装的三个全景拍摄摄像头，所述摄像头2前端设有可调节光强的照明灯，管道检测时，摄像头根据管径调整摄像头2位置，使爬行器3前端的摄像头2始终保持在管道中轴线位置上，拍摄期间全景摄像头2根据管道内部环境因素自动调整拍摄焦。爬行器3匀速前进过程中，三个全景摄像头2从不同方向分别拍摄管道内壁的部分内面的全景照片，每两张照片之间互有15
°
重叠部分。摄像头2与爬行器3之间用云台稳定器连接，使爬行器3在颠簸状态下拍摄的照片依然保持完整清晰。
24.如图3所示，图像处理子系统包括图像预处理模块、特征提取模块、目标检测识别模块、增强空间变换模块和图像拼接模块。
25.所述图像预处理模块用于对摄像头拍摄照片进行降噪和增强。在本实施例中，降低采集图像的噪声采用增强的导向滤波，一方面既可以有效降低采集图像引起的噪声，另一方面也增强图像的细节特征。图像预处理模块对照片进行预处理，输出照片q第i个像素的像素值可以利用与输入图像i的第i个像素局部区域的像素线性表示，公式如下：，其中，参数和分别表示第k个局部区域的线性斜率和偏差，i表示照片i的像素坐标。
26.为了能获得有效参数，需要使整个局部区域的重构像素与原始像素尽可能的接近，也就是说两者局部区域的像素差的能量和最小，即其中，参数和分别表示第k个局部区域的线性斜率和偏差。
27.为了获得有效的参数值，结合拉格朗日乘数法，可求得参数 和的值，其值公式为：式为：其中，和分别是第k个窗口的平均值和标准方差，是约束参数。
28.所述特征提取模块用于对经过图像预处理后的照片提取视觉特征。特征提取模块fab由faster rcnn中的特征提取模块rcnnb和通道注意模块chab组成。
29.通道注意模块由全局平均池化(gap)，卷积层(conv1d)，mish激活函数，sigmoid函数（）构成，网络流程结构如图4所示，公式为：其中, 是通道注意模块数据，是图像块特征，mish函数形式如下：
其中，x表示 1维卷积操作后的输出特征， 是双曲正切函，表示以常数e为底数的对数函数。
30.与faster rcnn中的特征提取输出相结合，形成表征能力强的新的视觉特征，公式为：其中表示通道级相乘。,分别代表等比例安装的三个全景拍摄摄像头。
31.所述目标检测识别模块用于视觉特征中相同的目标，并标注相同目标。如图5所示，网络结构可表示为：为：其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征，img
info
表示图像信息，reshape是变形操作，proposal 表示区域候选操作，roipool是感兴趣区域池化操作，softmax表示softmax函数,fc 是全连接操，表示目标候选框的回归偏移量，表示候选目标属于特定类的概率。
32.在本实施例中，当满足时，记录对应目标并标记为u，对应的视觉特征为。根据余弦相似度准则识别与目标u对应另一摄像头的目标v，对应的视觉特征为。
33.所述增强空间变换模块包括感知视觉特征提取模块和空间坐标变换模块。所述感知视觉特征提取模块用于空间坐标变换的输入视觉特征提取，通过结合通道感知构建有效的视觉特征。所述空间坐标变换模块用于对感知视觉特征提取模块输出的目标进行空间坐标提取、坐标映射和像素采集。
34.所述感知视觉特征提取模块的输出视觉特征表示为：表示为：其中，表示视觉特征经过三个卷积块后的视觉输出，
代表目标检测识别模块中第s个摄像头的目标视觉特征，卷积块（convb）表示一个卷积操作；表示s形函数sigmoid, relu表示线性修正单元激活函数，fc 是全连接操作，gap表示全局平均池化操作，表示通道级相乘；所述空间坐标变换模块对视觉特征 进行空间坐标提取，输出空间坐标参数可以表示为：其中，fc是全连接操作，relu表示线性修正单元激活函数, cmrb
1 、cmrb2、cmrb3表示3个卷积-池化-激活模块；所述空间坐标变换模块对空间坐标参数进行坐标映射和像素采集，完成目标u的坐标到对应变形目标v的坐标变换，表示为：其中，map表示坐标映射函数，sample表示像素采样函数，在本实施例中sample采用了双线性插值采样函数。
35.如图1-7所示，基于上述的管道检测全景拍摄处理系统，本发明还公开了一种管道检测全景拍摄处理方法，包括以下步骤：步骤1：主控制器1控制爬行器3进入管道，确定起始位置，爬行器3上的控制测距仪归零；步骤2：爬行器3在管道内以预设速度匀速前进，行进期间摄像头2自动调焦并拍摄管道内壁的全景照片；步骤3：图像处理子系统同步对三个全景摄像头拍摄的照片进行拼接处理，并根据爬行器的行进速度与拍摄时间，自动计算并在管道内壁全景展开图上标注位置坐标，如图3所示，以三个全景摄像头中的两个全景摄像头进行拼接处理为例，i1和i2表示二个不同方向的摄像头采集的图片，i12是两个图片拼接后的图片，具体包括以下步骤：步骤301：图像预处理模块对三个摄像头拍摄的照片降噪和增强后的照片为q，第i个像素的像素值可以利用与输入图像i的第i个像素局部区域的像素线性表示，其中，参数和分别表示第k个局部区域的线性斜率和偏差，i表示照片i的像素坐标。为了能获得有效参数，需要使整个局部区域的重构像素与原始像素尽可能的接近，也就是说两者局部区域的像素差的能量和最小，即为了获得有效的参数值，结合拉格朗日乘数法，可求得参数和的值，公式如下：
其中，和分别是第k个窗口的平均值和标准方差，是约束参数。
36.步骤302：经过图像预处理后输出的照片q分别经过faster rcnn中的特征提取模块rcnnb输出视觉特征和通道注意模块chab输出视觉特征。
37.其中，表示通道注意模块数据，是图像块特征，表示sigmoid函数，mish表示mish激活函数，conv1d表示1维卷积操作，gap表示全局平均池化；mish激活函数的公式：其中，x表示 1维卷积操作后的输出特征，是双曲正切函，表示以常数e为底数的对数函数。
38.将rcnnb模块输出特征和通道注意模块chab输出特征两者相结合，形成表征能力更强的视觉特征，公式为：其中表示通道级相乘。其他两个摄像头采集的图像，采用相同的步骤获取对应的视觉特征和。
39.步骤303：所述目标检测识别模块通过步骤302提取的视觉特征，和 ，提取并识别和，和相同的目标，并标注。
40.如图5所示，目标检测识别模块的网络结构为：目标检测识别模块的网络结构为：其中，conv1表示卷积核为1的卷积操作，conv3表示卷积核为3的卷积操作，relu表示激活函数线性修正单元，feature表示目标检测识别模块中的输入视觉特征、和，img
info
表示图像信息，reshape是变形操作，proposal 表示区域候选操作，roipool是感兴趣区域池化操作，softmax表示softmax函数,fc 是全连接操作，表示目标候选
框的回归偏移量，表示候选目标属于特定类的概率。
41.当满足时，记录对应目标并标记为u，对应的视觉特征为（、和），根据余弦相似度准则识别与目标u对应的另一摄像头的目标v，对应的视觉特征为。
42.步骤304：增强空间变换模块根据步骤303获得相同目标的视觉特征，即第一个摄像头目标视觉特征和第二个摄像头的目标视觉特征，第三个摄像头目标视觉，计算出相同目标在不同采集器中的空间坐标映射关系；以第一个摄像头目标坐标转换为例，第一个摄像头目标视觉特征经过感知视觉特征提取模块输出视觉特征可以表示为：可以表示为：其中，表示视觉特征u经过三个卷积块后的视觉输出，代表目标检测识别模块中第一个摄像头的目标视觉特征，卷积块（convb）表示一个卷积操作；表示s形函数sigmoid, relu表示线性修正单元激活函数，fc 表示全连接操作，gap表示全局平均池化操作，表示通道级相乘；空间坐标变换模块对视觉特征进行空间坐标提取，输出空间坐标参数可以表示为：其中，fc是全连接操作，relu表示线性修正单元激活函数, cmrb
1 、cmrb2、cmrb3表示3个卷积-池化-激活模块；所述空间坐标变换模块对空间坐标参数进行坐标映射和像素采集，完成目标u的坐标到对应变形目标v的坐标变换，表示为：其中，map表示坐标映射函数，sample表示像素采样函数。同样的方法完成目标视觉特征和的目标坐标变换。
43.步骤305：完成目标坐标变换后，根据对应的坐标, 图像拼接模块将三幅图像级联在一起，将三个摄像头采集图像的全景拼接融合。具体如下：如图7所示，第一个摄像头拍摄0~150度的照片，第二个摄像头拍摄120~240度的照片，第三个摄像头拍摄240~360度的照片。阴影处表示用于图像拼接的局域。对于两幅图像融合，图像的最左边完全采取图像的左侧部分，最左边图像右侧采集块和中间图像左侧采集块重合部分是采集块变换后的加权平均。最左边图像和中间图像重合区域完全取自中间
图像采集左侧图像块信息，接着中间图像采集右侧的图像块和最右边图像采集左侧的图像块重合部分是采集块变换后加权平均。拼接完以后，全景图进行水平矫正。对同一个摄像头拍摄照片的处理，根据训练好的空间坐标参数对整幅图像进行空间坐标变换得到同一坐标图像。
44.步骤4：拍摄结束后，主控制器1对爬行器3发出返回指令。
45.以上显示和描述了本发明的主要特征、使用方法、基本原理以及本发明的优点。本行业技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会根据实际情况有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。