一种基于单目视觉的海底隧道渗水水位识别方法与流程

本发明涉及计算机视觉领域的目标物测距，尤其是涉及利用射影几何原理和数字图像处理技术的一种基于单目视觉的海底隧道渗水水位识别方法。

背景技术

海底隧道需要解决的最大问题是渗水，通常在隧道中部建立废水房以收集渗水和各种排污水。传统的水位值获取方式是采用接触式的水位传感器，直接投入待测量的液体中。一般会同时投掷多个传感器，以实现备份和容错作用。但是在水质恶劣、杂物干扰多的复杂环境下，接触式水位传感器的测量精度和使用寿命都会受影响。非接触式水位传感器，如高清摄像头等，以其不干扰原有系统且受测试环境影响较小的特点，已在许多领域中使用。

计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，实现图像理解是计算机视觉的终极目标。单目视觉测距是利用一个摄像头进行视频拍摄，并在图像中找到待测物体，涉及目标识别、相机的结构和坐标变换等知识。通常的单目视觉测距方法，是将摄像头模型近似考虑为针孔模型。通过识别目标物体在图像平面的尺度，根据针孔模型公式计算相应的数据。在求值过程中需要克服摄相机畸变问题，这就要进行摄像机标定处理，通过相机标定能够获取一定的参数，其原理是基于三大坐标系之间的转换和摄像机的畸变参数矩阵。在实际应用中经常用张正友标定法进行摄像机标定，获取到内参数矩阵和外参数矩阵以及畸变参数矩阵。以上可以得出，通常利用单目视觉测距的原理简单易懂，但是计算过程涉及复杂的数学公式和矩阵运算，难于应对实时性要求较高的场合。

在射影几何学中，把无穷远点称作是“灭点”。如果一个平面内两条直线平行，那么这两条直线就交于这两条直线共有的无穷远点，通过同一无穷远点的所有直线平行。平行于同一平面(非成像平面)的直线形成的所有灭点共线。凡是利用中心投影或者平行投影把一个图形映成另一个图形的映射，都叫射影变换。射影变换有两个重要的性质：其一，射影变换使点列变点列，直线变直线，线束变线束，点和直线的结合性是射影变换的不变性；其次，射影变换下，交比不变。

在透视射影几何中，直线交比是一个最根本的射影不变量。摄像头将三维空间场景投影到二维图像平面上时，将保持直线的交比不变。交比定义为：设p1,p2,p3,p4为点列中四点，且p1≠p2。其齐次坐标依次为为a,b,a+λ1b,a+λ2b,则有：

式中：

a,b为实数；λ1,λ2为比例系数；

(p1p2,p3p4)表示这四点构成的一个交比。

考虑到单目视觉测距的一般模型是针孔模型，涉及的运算过程繁杂。充分利用待测量物体的具体环境，并巧妙地结合射影几何性质，优化测量运算过程和简化设备架设。从而为单目视觉在海底隧道测量渗水水位高度提供了一种新思路。

参考文献：

1、钱鹰，张梦.基于单目视觉的目标物高度测量[j].计算机工程与设计.2016(3)。

技术实现要素：

本发明的目的在于克服现有针对海底隧道渗水水位自动化识别技术的不足，提供利用射影几何原理和数字图像处理技术的一种基于单目视觉的海底隧道渗水水位识别方法。

本发明包括以下步骤：

步骤一：构建海底隧道废水房渗水水位高度测量系统；

海底隧道废水房的环境较为复杂，从中拓扑出准确的水位高度测量系统，可以简化视频图像处理难度，在步骤一中，所述构建海底隧道废水房渗水水位高度测量系统的具体方法可为：

1)选取废水房的水池中静止水面为参考平面π；

2)选取垂直于参考平面π的方向为参考方向；

3)在废水房中选取底面与参考平面平行以及侧面同水池壁在同一平面的类长方体结构作为标定物，所述标定物可选自废水房辅助建筑结构中的角钢、工型钢、槽钢、横梁等；

4)将3)中选取的标定物中一个几何特征明显的角点为特征点p′；

5)过4)中选取的特征点p′，平行于参考方向，作一条直线相交于水池水面于一点p，则距离pp'为选取的“目标物”，记为zh，p′到水池底部的距离记为zp；

6)设定摄像头的中心，即视点为oc，摄像头中心与参考平面的距离为zo；

即构建海底隧道废水房渗水水位高度测量系统。

步骤二：构建海底隧道废水房渗水水位高度测量模型；

在步骤二中，所述构建海底隧道废水房渗水水位高度测量模型的具体方法可为：利用步骤一中构建的废水房渗水水位高度测量系统，结合透视投影原理和射影几何性质，可以建立废水房渗水水位高度测量模型，具体如下：

设定类立方体标定物中，平行于参考平面的平行直线，分别相交于灭点v1,v2；平行于参考方向的平行直线，则相交于参考方向上的灭点v3；灭点v1和v3的连线记为直线p1，灭点v1和v2的连线亦称为消灭线，记为直线p2，灭点v1和特征点p′的连线记为直线p3，灭点v1和废水房水池水面上p点的连线记为直线p4，则直线p1,p2,p3,p4为线束v1(p)中四直线，且p1≠p2；设四直线pi的齐次坐标为a+λib(i＝1,2,3,4),则其构成的直线交比为：

为了清晰地得到目标物pp'的距离表达式，根据线束中四直线的交比性质，可以对偶地转化为对应点列的交比；点列的参数与线束的参数表示有完全相同的代数结构；连接点p和点p′，并沿参考方向延长直线，依次交直线p2和直线p1于点f和点v3，即有：

又根据点列交比的初等几何意义，若限于通常平面，则式(2)中间的四个因式都是两点之间的有向距离，即：

由于海底隧道废水房三维空间场景映射为二维图像平面图的过程中遵循透视投影过程，利用直线交比不变这个性质，得出以下代数关系式：

式(4)中：

表示三维空间中点到点的有向距离；

表示二维图像平面中像素点x到像素y的有向距离；

v3为二维图像中v3对应的三维空间无限远处的点。

根据交比的几何意义，v3对应的是三维空间中参考方向的灭点，在无限远处得到：

所以式(4)可化简为：

由此，是水面一点p到消灭线上的一点f之间的有向距离，根据透视投影几何性质，该距离与摄像头中心到水平面的距离zo相等；而

则式(6)可转化为：

得：

所求的渗水水位高度值记为d,最终的废水房渗水水位高度值测量模型为：

已知量：水池底部到标定物特征点p′垂直距离高度zp；摄像头中心到参考平面的距离值zo；未知量：标定物特征点p′；水池水面上一点p；标定物的灭点v1,v2,v3。

步骤三：测定标定物的特征角点p′；

在步骤三中，所述测定标定物的特征角点p′的具体方法可为：根据步骤二构建的海底隧道废水房渗水水位高度测量模型，测定未知量标定物的特征角点p′；考虑到废水房复杂的场景以及算法效率问题，采用fast(featuresfromacceleratedsegmenttest)特征检测算法，具体如下：

1)选取包含标定物局部或全部的小块图像区域为roi(regionofinterest)区域，以缩小标定物特征点检测范围，并将roi区域灰度化；

2)依据fast检测算法的定义式，计算1)中roi区域每个候选特征点周围一圈的像素值，一般选择以该像素点为中心的一个半径等于3像素的离散化圆：

式(10)中：

i(x)为圆周上任意一像素点的灰度；i(p')为候选特征点的灰度；

εd为灰度值差的阈值；n为灰度值差超过阈值的像素个数。

若n大于给定阈值，一般为圆周上点的四分之三，则认为p'是一个特征点；

3)经由2)检测得到的候选特征点，包含噪点以及在邻近的位置选取多个特征点的情况，采用非极大值抑制(non-maximalsuppression)方法处理如下：

3-1)对2)中检测到的候选特征点计算其响应大小(scorefunction)s，s定义为点p'和其周围圆周上像素点的绝对偏差的和；

3-2)考虑相邻的特征点，并比较它们的s值,剔除s值较低的点；

4)通过3)检测类长方体标定物的特征角点，选取与废水房水池壁同一平面上的一个角点为p'点，并保存所有角点信息；

即测定最终符合要求的标定物特征角点。

步骤四：测定水池水面与水池壁的交线并测定出点p；

在步骤四中，所述测定水池水面与水池壁的交线并测定出点p的具体方法可为：根据步骤二构建的海底隧道废水房渗水水位高度测量模型，测定水池水面与水池壁的交线上一点p。考虑到废水房水池水面与水池壁的交线在潜水泵启动和静止情况下形状完全不一致，采用基于邻域灰度和梯度信息的拟合法测定交线，具体如下：

1)选取包含水池水面与水池壁相交部分的小块狭长区域为roi区域，以降低计算的复杂度，并将roi区域灰度化；

2)选用2×2梯度模板，对1)中roi区域内的每个像素点计算梯度幅值，计算公式为式(11)和(12)：

利用式(11)和式(12)的结果，计算梯度幅值：

在式(13)中：i(x,y)是灰度图中像素点(x,y)处灰度值；

3)对2)中计算的所有像素点梯度幅值进行排序，在0和2)中所得最大的像素点梯度幅值之间等间隔的设置1024个区间，并从1开始按递减顺序编号；roi区域中的像素点根据自身的梯度幅值归类到对应的区间里，并选择第1个区间内的所有像素点为候选像素点集；

4)在3)中选择的候选像素点集，包括水池水面与水池壁交界处像素点、噪点、异常的离群点等；设定灰度值差阈值为τ；对候选像素点集内所有像素点，计算其相邻上下左右四个像素点的灰度值差δ，对于δ≥τ的像素点从候选像素点集中剔除；

5)对4)中筛选后的候选像素点集，利用最小二乘法(leastsquaremethod)拟合成直线ax+by+c＝0(a,b,c为直线方程系数)，作为最终的水池水面与水池壁的交线；

6)对5)获得的水池水面与水池壁的交线ax+by+c＝0作讨论分析如下：

6-1)若交线与参考平面平行，则结合步骤三中得到的标定物的特征角点p′，可以得到p′沿参考方向与交线交点p；

6-2)若交线与参考平面存在夹角α，则先对交线进行修正如下：

6-2-1)在极坐标下，令x＝r·cosψ,y＝r·sinψ，则交线lold的表达式(14)为：

lold:a·r·cosψ+b·r·sinψ+c＝0(14)

6-2-2)对交线lold旋转α后，p′沿参考方向与交线lnew交点为修正后的p点，具体如下：

直线lold旋转α后的表达式(15)为：

lnew:a·r·cos(ψ-α)+b·r·sin(ψ-α)+c＝0(15)

将x、y代换回式(15)，得到整理后直线lnew表达式(16)为：

lnew:(a·cosα-b·sinα)x+(a·sinα+b·cosα)y+c＝0(16)

修正后的p点，由p′沿参考方向直线与直线lnew联立方程组求解:

由方程组(17)可以得出p点坐标为：

式(18)中：

m＝yp'-ρ·xp'

为lnew直线方程系数；

m为p′沿参考方向直线方程截距。

即得到水池水面与水池壁交线上符合要求的点p。

步骤五：测定标定物的灭点v1,v2,v3。

在步骤五中，所述测定标定物的灭点v1,v2,v3的具体方法可为：根据步骤二构建的海底隧道废水房渗水水位高度测量模型，测定未知量标定物的灭点v1,v2,v3；考虑到标定物为类长方体结构，三个灭点由三组相互垂直的平行线构成，v1,v2,v3为正交灭点；采用基于直线段特征点信息的ransac(randomsampleconsensus)灭点检测方法，具体如下：

1)选取包含标定物全部的小块图像区域为roi区域，以减少其他结构对标定物直线检测的干扰，并将roi区域灰度化；

2)采用lsd(linesegmentdetector)直线段检测算法，对1)中roi区域进行检测，并保存检测到的所有直线参数信息；

3)对2)中检测到的直线进行筛选，将经过步骤三中测定的所有特征角点的两两直线段作为ransac最小解集，求出初始多个候选灭点；

4)对于3)中的候选灭点，选取经过特征角点p'的两个灭点为水平方向和纵深方向的两个灭点v1,v2，对于参考方向上的灭点v3，可以通过灭点v1,v2进行正交运算得到；

即确定标定物的灭点v1,v2,v3，沿参考方向延长pp'，其与灭点v1,v2连线构成的消灭线相交于f点。

本发明能够通过高清网络摄像头捕获水位视频图像数据，并通过网络传输给计算机，计算机在后台根据设定的图像处理算法、灭点计算原理以及射影几何知识，自动计算出相应的水位值。它能发挥计算机视觉测量目标物高度的优势，从而适用于但不限于海底隧道渗水水位识别。

本发明通过在海底隧道收集渗水的废水房架设高清网络摄像头，经由以太网传回控制中心的计算机。依据获得的图像内容，充分利用废水房几何性质，结合射影几何原理，构造渗水水位高度测量模型。根据水位高度测量模型，明确已知量和未知量。利用数字图像处理技术，依次求取水位高度测量模型中相关的未知量，从而得到最终的渗水水位高度值。

与现有技术相比，本发明具有以下优点：

1)本发明的前提条件较少，充分利用现场环境，无需标刻或者放置标定物，拓扑出海底隧道废水房渗水水位高度测量系统。围绕废水房渗水水位高度测量系统，充分运用透视投影原理和射影几何性质，建立废水房渗水水位高度测量模型。该模型无需进行复杂的数学计算，在时间维度较低的情况下实现水位测量自动化。

2)本发明属于非接触式水位传感器范畴，其与传统的投入式水位传感器构成异构双通道容错系统，可以真正解决水位传感器易损、同构容错性差的问题。

3)本发明提出的基于邻域灰度和梯度信息的拟合法测定交线的方法，充分利用了图像的边缘性质，此方法对于不同的运行情况，具有较好的泛化性，能得到较为准确的直线。另外，对已有的基于ransac灭点检测方法做针对改进，充分利用标定物的直线段特征点信息，降低随机性最小集带来的误差，提高灭点检测准确性，和运算的效率，最终实现水位准确测量。

附图说明

图1为本发明基于单目视觉的海底隧道渗水水位识别流程图；

图2为海底隧道废水房渗水水位高度测量系统三维示意图；

图3为海底隧道废水房渗水水位高度测量模型二维透视图；

图4为海底隧道废水房渗水水位高度测量模型构建过程抽象图；

图5为射影几何直线交比不变原理图。

图6为标定物特征角点测定流程图；

图7为fast特征点检测示意图；

图8为水池水面与水池壁的交线测定流程图；

图9为交线修正示意图；

图10为标定物的灭点测定流程图；

图11为ransac灭点检测原理图。

具体实施方式

图1给出本发明基于单目视觉的海底隧道渗水水位识别流程图，本发明包括以下步骤：

步骤一：构建海底隧道废水房渗水水位高度测量系统；

步骤二：构建海底隧道废水房渗水水位高度测量模型；

步骤三：测定标定物的特征角点p′；

步骤四：测定水池水面与水池壁的交线并测定出点p；

步骤五：测定标定物的灭点v1,v2,v3。

本发明实施例涉及的海底隧道废水房渗水水位高度测量系统如附图2所示，来源于厦门翔安海底隧道。该隧道采用钻爆法，防水是短板，运营维护的重心是排渗水。本发明涉及包括摄像头、网络传输装置、计算机等为工程中常用的设备，因此对于设备的具体构造和安装使用不再赘述。

执行步骤一：构建翔安海底隧道废水房渗水水位高度测量系统。

针对翔安海底隧道废水房的具体环境，拓扑出准确的水位高度测量系统。具体描述如下：

1)选取废水房的水池中静止水面为参考平面π；

2)选取垂直于参考平面π的方向为参考方向；

3)在废水房中选取底面与参考平面平行以及侧面同水池壁在同一平面的槽钢作为标定物；

4)将3)中选取的槽钢中一个几何特征明显的角点为特征点p′；

5)过4)中选取的特征点p′，平行于参考方向，作一条直线相交于水池水面于一点p，则距离pp'为选取的“目标物”，记为zh，p′到水池底部的距离记为zp；

6)设定摄像头的中心，即视点为oc，摄像头中心与参考平面的距离为zo；

执行步骤二：构建翔安海底隧道废水房渗水水位高度测量模型。

如附图3和4所示，设标定物槽钢中，平行于参考平面的平行直线，分别相交于灭点v1,v2；平行于参考方向的平行直线，则相交于参考方向上的灭点v3。灭点v1和v3的连线记为直线p1，灭点v1和v2的连线亦称为消灭线，记为直线p2，灭点v1和特征点p′的连线记为直线p3，灭点v1和废水房水池水面上p点的连线记为直线p4。则直线p1,p2,p3,p4为线束v1(p)中四直线，且p1≠p2。设四直线pi的齐次坐标为a+λib(i＝1,2,3,4),则其构成的直线交比为：

根据线束中四直线的交比性质，如附图5所示，可以对偶地转化为对应点列的交比。连接点p和点p′，并沿参考方向延长直线，依次交直线p2和直线p1于点f和点v3。即有：

又根据点列交比的初等几何意义，如果限于通常平面，则式(2)中间的四个因式都是两点之间的有向距离，即：

海底隧道废水房三维空间场景映射为二维图像平面图的过程中遵循透视投影过程，利用直线交比不变这个性质，可以得出下面的代数关系式：

式中：

表示三维空间中点到点的有向距离；

表示二维图像平面中像素点x到像素y的有向距离；

v3为二维图像中v3对应的三维空间无限远处的点。

根据交比的几何意义，v3对应的是三维空间中参考方向的灭点，在无限远处。因此，

所以式(4)可化简为：

再结合前面所讨论的内容，可以发现是水面一点p到消灭线上的一点f之间的有向距离，根据透视投影几何性质，该距离与摄像头中心到水平面的距离zo相等。而则式(6)可转化为：

稍微整理一下，可得：

所求的渗水水位高度值记为d,最终的废水房渗水水位高度值测量模型为：

执行步骤三：测定标定物槽钢的特征角点p′

采用fast特征检测算法测定槽钢的特征角点。步骤如附图6所示，具体描述如下：

1)选取包含槽钢局部的小块图像区域，其顶点坐标依次是(509,293)、(509,733)、(645,293)、(645,733)为roi区域，并将roi区域灰度化；

2)依据fast检测算法的定义式，计算1)中roi区域每个候选特征点周围一圈的像素值，如附图7所示，一般选择以该像素点为中心的一个半径等于3像素的离散化圆：

式中：

i(x)为圆周上任意一像素点的灰度；i(p')为候选特征点的灰度；

εd为灰度值差的阈值。n为灰度值差超过阈值的像素个数。

如果n大于给定阈值，一般为圆周上点的四分之三，则认为p'是一个特征点。

3)经由2)检测得到的候选特征点，包含噪点以及在邻近的位置选取多个特征点的情况，采用非极大值抑制方法来处理：

3-1)对2)中检测到的候选特征点计算其响应大小s。s定义为点p'和其周围圆周上像素点的绝对偏差的和；

3-2)考虑相邻的特征点，并比较它们的s值,剔除s值较低的点。

4)通过3)可以将槽钢的特征角点检测出来，为了计算方便，选取与废水房水池壁同一平面上的一个角点为p'点，并保存所有角点信息。

执行步骤四：测定水池水面与水池壁的交线，从而测定出点p。

只考虑废水房水池水面与水池壁的交线在潜水泵静止情况，采用基于邻域灰度和梯度信息的拟合法来测定交线。步骤如附图8所示，具体描述如下：

1)选取包含水池水面与水池壁相交部分的小块狭长区域，其顶点坐标依次是(439,795)、(439,839)、(839,795)、(839,839)为roi区域，并将roi区域灰度化；

2)选用2×2梯度模板，对1)中roi区域内的每个像素点计算梯度幅值，计算公式如下：

利用式(11)和式(12)的结果，计算梯度幅值：

式中：i(x,y)是灰度图中像素点(x,y)处灰度值。

3)对2)中计算的所有像素点梯度幅值进行排序，在0和2)中所得最大的像素点梯度幅值之间等间隔的设置1024个区间，并从1开始按递减顺序编号。roi区域中的像素点根据自身的梯度幅值归类到对应的区间里，并选择第1个区间内的所有像素点为候选像素点集。

4)在3)中选择的候选像素点集，包括水池水面与水池壁交界处像素点、噪点、异常的离群点等。设定灰度值差阈值为τ。对候选像素点集内所有像素点，计算其相邻上下左右四个像素点的灰度值差δ，对于δ≥τ的像素点从候选像素点集中剔除。

5)对4)中筛选后的候选像素点集，利用最小二乘法拟合成直线ax+by+c＝0(a,b,c为直线方程系数)，作为最终的水池水面与水池壁的交线。

6)只考虑废水房水池水面与水池壁的交线在潜水泵静止情况,则5)获得的水池水面与水池壁的交线ax+by+c＝0与参考平面夹角α＝0。具体描述如下：

6-2-1)在极坐标下，令x＝r·cosψ,y＝r·sinψ，则交线lold的表达式为：

lold:a·r·cosψ+b·r·sinψ+c＝0(14)

6-2-2)如附图9所示，对交线lold旋转α后，p′沿参考方向与交线lnew交点为修正后的p点，具体描述如下：

直线lold旋转α后的表达式为：

lnew:a·r·cos(ψ-α)+b·r·sin(ψ-α)+c＝0(15)

将x、y代换回式(15)，得到整理后直线lnew表达式为：

lnew:a·x+b·y+c＝0(16)

修正后的p点，由p′沿参考方向直线与直线lnew联立方程组求解:

式中：

ρ为参考方向斜率

p'坐标为(xp',yp')

由(17)方程组可以得出p点坐标为：

式(18)中：

m＝yp'-ρ·xp'

执行步骤五：测定槽钢的灭点v1,v2,v3。

考虑到槽钢为类长方体结构，三个灭点由三组相互垂直的平行线构成，v1,v2,v3为正交灭点。采用基于直线段特征点信息的ransac灭点检测方法，步骤如附图10所示，具体描述如下：

1)选取包含槽钢全部的小块图像区域，其顶点坐标依次是(481,255)、(481,797)、(1209,255)、(1209,797)为roi区域，并将roi区域灰度化。

2)采用lsd直线段检测算法，对1)中roi区域进行检测，并保存检测到的所有直线参数信息。

3)对2)中检测到的直线进行筛选，将经过步骤三中测定的所有特征角点的两两直线段作为ransac最小解集，求出初始多个候选灭点。

4)如附图11所示，对于3)中的候选灭点，选取经过特征角点p'的两个灭点为水平方向和纵深方向的两个灭点v1,v2，对于参考方向上的灭点v3，可以通过灭点v1,v2进行正交运算得到。

沿参考方向延长pp'，其与灭点v1,v2连线构成的消灭线相交于f点。至此，步骤二翔安海底隧道废水房渗水水位高度测量模型中涉及到的点列p,p',f,v3均已求出。利用模型公式，可以最终将渗水水位高度求出。

本实施例采用基于单目视觉的海底隧道废水房渗水水位的方法，设备架设简单，可以实现测定过程智能化。