基于深度相机特征跟踪的河流流量在线检测方法与流程

本发明涉及计算机视觉领域，更具体的说，它涉及基于深度相机特征跟踪的河流流量在线检测方法。

背景技术：

目前，河流流量在线测试方法主要分为以下几种方法：

(1)建筑物测流法，采用堰槽量水设备，具体做法是让水流通过束缩的过水断面形成缓流到急流的过渡即临界流，保证稳定的水位与流量之间的关系，采用类似于超声波水位计的非接触式水位计测出水位，根据率定曲线计算出动态流量。

(2)流速面积法，流速面积法是一种量测流量的方法，由测定流速和过水断面面积两部分工作组成，据断面流速分布来求算流量。实际操作，以测速垂线为界将河流断面划分为几个子区域，根据实测流速及水深计算各子区域的断面面积、平均流速及流量，然后将各个子区域的流量求和得到总的断面流量。其中根据使用传感器的不同，量测流量的方法可以分为以下几种：

1.1接触式，其中，基于转子式流速仪的方法被认为是河流流量测验的标准方法，但由于流速仪测得的是点流速，历时长，需配合横跨河道的桥梁或缆道系统才能实现自动测验，因此，采用铅鱼流速仪所测流速值的空间和时间分辨率都较差。此外，对于污水渠道，这种流速仪必须放置于污水内，因此不能可靠地用于长期监测。

1.2微侵入式，典型的是目前较为先进的声学多普勒流速剖面仪法(adcp)。座底式或水平式adcp可在短时内直接测得断面子区域中各水层的平均流速，实现河流流量在线测验，但存在盲区且其对含沙量较为敏感，通常只适用于形状规则的人工渠道；此外，由于换能器必须浸没于水中，易受高速水流及漂浮物的冲击，并受河床冲淤影响，导致仪器运行的不可靠甚至损毁。

1.3非接触式，比较成熟的是电波流速仪法，它测量的是位于波束与水面交界处的一维表面流速，空间分辨率有限，并且当风或湍流在水面产生细小的波动时才能产生足够强的反射回波，因此，不适用于水面平静的低流速河流。

1.4基于图像流速测量方法，以中国专利cn102564508b公开了一种基于视频图像的河流流量在线测验实现方法。该方法包括测站部署阶段、流场测量阶段与流量估计阶段。相对于传统测量方法，该方法具有时空分辨率高，测量值可靠，抗毁行强，操作安全，原理直观，成本低廉，配置灵活，可测量极低与极高流速。

但是也存在如下缺点：(1)布设摄像机标定系统与勘测地面控制点坐标，需要手动布置至少6个共面的控制点，得到其世界坐标系下的坐标(xw1,yw1)，(xw2,yw2)......(xw6,yw6)与以及对应的图像坐标(x1,y1)，(x2,y2)......(x6,y6)(该图像坐标是摄像头通过标定已经去畸变的图像坐标)。手动布置控制点比较麻烦。(2)流量测量阶段，需要手动投放粒子，利用相关跟踪的流速提取算法。手动投放粒子比较麻烦，而且投放粒子不均匀，有些水域可能覆盖不到。

技术实现要素：

本发明所要解决的技术问题是提供基于深度相机特征跟踪的河流流量在线检测方法。

为了解决上述技术问题，本发明的技术方案如下：

基于深度相机特征跟踪的河流流量在线检测方法，具体包括如下步骤：

101)测站部署步骤：通过深度相机，划定水平面区域，将根据图像坐标先得到相机坐标系坐标，再通过公式转换为世界坐标系坐标；

102)流场测量步骤：根据深度相机拍摄划定水平面区域的图像，获取的图像设定图像阈值，即根据得到的每一个位置像素前后的两帧图像做差，若差的绝对值大于设定的阈值，则在图像对应的该点位置的值置为1，否则置为0，得到帧差图像；

在帧差图像上利用角点检测方法来保证光流跟踪的初始位置是运动的，且处于纹理丰富的位置，作为选取的光流初始点；根据光流跟踪初始点位置，并通过光流跟踪方法得到给出上一帧的初始跟踪点在下一帧的位置，即得到光流跟踪初始点的运动信息；

遍历所有的光流跟踪中得到的运动信息，在每一次遍历中，以该次光流运动信息得到平动模型，并判断剩余光流点是否符合该平动模型，同时记录符合该平动模型点的个数，得到具有最大内点集的模型和运动信息；对不属于最大内点集里的光流矢量继续重复迭代，直到得到三个内点集，以及对应的运动信息；根据运动信息组成流场；

103)流量估计步骤：利用水面流速场以及勘测测流断面水下地形和水位值，基于流速-面积法计算出河流流量。

进一步的，步骤101)中图像坐标转换为相机坐标系下坐标具体公式如下：

其中d为深度相机的视差，b为深度相机的基线距离，f为焦距；得到相机坐标系下的zc，然后得到xc与yc；x、y为图像坐标；

空间中某点在地面坐标系下的坐标为在相机坐标系下坐标为因为坐标系变换满足刚体变换，所以公式如下：

其中为正交矩阵，为常量；

河道水平面为零高度zw≡0，所以0＝r31xc+r32yc+r33zc+c；设置地面坐标系的原点在相机坐标系的原点正下方，通过深度相机获得多个图像坐标利用奇异值分解得到特征值最小的所对应的特征向量r31,r32,r33，并根据0＝r31xc+r32yc+r33zc+c，得到c；

地面坐标系的原点在相机坐标系的原点正下方，则代入得到a＝b＝0；利用施密特正交，得到r11,r12,r13，然后利用r11,r12,r13与r31,r32,r33叉乘得到r21,r22,r23。

本发明相比现有技术优点在于：本发明利用深度相机，通过划定水平面区域，得到世界坐标系下的坐标与图像坐标的关系，计算出深度相机外参进行标定，大大简化了标定的过程。本发明利用光流算法得到更稠密的流速场，提升了计算出的流速场矢量的完整性；克服了现有技术中利用相关跟踪的流速提取算法，需要手动投放粒子，有些水域覆盖不到的问题。

附图说明

图1为本发明的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

如图1所示，基于深度相机特征跟踪的河流流量在线检测方法，具体包括如下步骤：

101)测站部署步骤：通过深度相机，划定水平面区域，将根据图像坐标先得到相机坐标系坐标，再通过公式转换为世界坐标系坐标。具体如下：

空间中某点在地面坐标系下的坐标为在相机坐标系下坐标为图像坐标为(x，y)。

图像坐标转换为相机坐标系下坐标，具体公式如下：

其中x、y为图像坐标，d为深度相机的视差，b为深度相机的基线距离，f为焦距。根据公式(1)得到相机坐标系下的zc，然后得到xc与yc。

因为坐标系变换满足刚体变换，所以相机坐标系坐标转换为世界坐标系坐标公式如下：

其中为正交矩阵，为常量。

河道水平面为恒定零高度zw≡0，所以0＝r31xc+r32yc+r33zc+c。设置地面坐标系的原点在相机坐标系的原点正下方，并通过深度相机获得多个图像坐标因为不关心x与y坐标，所以只需要得到r31,r32,r33与c。即通过获得n个点的相机坐标系的坐标，则可以利用奇异值分解得到特征值最小的所对应的特征向量即为r31,r32,r33，并根据0＝r31xc+r32yc+r33zc+c，可以得到所需要求得的c。

地面坐标系的原点在相机坐标系的原点正下方，则代入相应坐标数据即得到a＝b＝0。利用施密特正交，得到r11,r12,r13，然后利用r11,r12,r13与r31,r32,r33叉乘得到r21,r22,r23。这样公式(2)里面所有的参数都得到了。至此，河流水平面在双目深度相机左相机的图像坐标到河流水平面世界坐标转换关系已经得到。简单来说由图像坐标(x,y)得到相机坐标系下坐标(xc,yc,zc)，然后通过上述公式转换为世界坐标系下坐标(xw,yw,0)。

102)流场测量步骤：根据深度相机拍摄划定水平面区域的图像，划定河道水平面在摄像机成像区域，划定规则区域以后，可以从原始图像中截取图像进行分析，降低了整体的运算量。给获取的图像设定图像阈值，即根据得到的每一个位置像素前后的两帧图像做差，若差的绝对值大于设定的阈值，则在图像对应的该点位置的值置为1，否则置为0，得到帧差图像。

在帧差图像上利用角点检测方法来保证光流跟踪的初始位置是运动的，且处于纹理丰富的位置，作为选取的光流初始点。通过光流初始点选取这些位置可以提升后续光流跟踪的准确性。根据光流跟踪初始点位置，并通过光流跟踪方法得到给出上一帧的初始跟踪点在下一帧的位置，即得到光流跟踪初始点的运动信息即主要是光流矢量信息。

遍历所有的光流跟踪中得到的运动信息，在每一次遍历中，以该次光流运动信息得到平动模型，并判断剩余光流点是否符合该平动模型，同时记录符合该平动模型点的个数，得到具有最大内点集的模型和符合该模型的运动信息。对不属于最大内点集里的光流矢量继续重复迭代，直到得到三个内点集，以及对应的运动信息。

其中，具体的剩余光流点的运动信息即剩余矢量，因为光流对应的是前一帧和当前帧的两个点，得到一个矢量。假设有100个矢量，利用第一个矢量得到平动模型，然后用剩余的矢量在一定阈值下看是否满足这个模型，假设有50满足这个模型。那遍历所有矢量重复上述操作，可以找到一个矢量得到的平动模型，剩余矢量满足这个模型最多的，即成为具有最大内点集(矢量集)的模型。重复迭代是指找到了最大矢量集，把对应的最大矢量集的所有矢量从100个矢量中删掉，在剩余矢量集里面重复刚才找最大内点集的过程，这样找到第二最大内点集，第三最大内点集。然后结束操作。此中已去除错误的光流运动信息，那正确的光流运动信息最终组成流场。

103)流量估计步骤：利用水面流速场以及勘测测流断面水下地形和水位值，基于流速-面积法计算出河流流量。具体已在背景技术的专利cn102564508b中公开。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。