一种基于视频帧的冰流速识别方法与流程

本发明属于图像识别，涉及冰流速识别技术，具体涉及一种基于视频帧的冰流速识别方法。

背景技术：

1、冰流速是冰情监测中重要的水文参数之一，目前主要监测手段为传统目估法，即通过望远镜、全站仪、计时装置等设备人工测算流冰位移及时间，即可得到单点冰流速。传统目估法观测面小，测验精度受主观因素影响较大，需要人工现场观测，测验效率低、劳动强度大、环境艰苦且不安全，迫切需要采取自动化监测方法。

2、随着高性能视频监控硬件的发展，以及计算机视觉等图像识别技术的日益成熟，基于视频图像获取物体移动速度的应用越来越广泛，但较少应用于冰流速监测。目前基于机器学习的图像识别方法应用较为广泛，但该方法识别精度高度依赖学习样本数量和质量，这对于样本较少场景（例如一年中流冰时间较为有限）来说，投入成本较大。

3、北方河流水文巡测站点普遍安装视频监控装备，具备在线监测的硬件条件，但缺乏高效利用，大量视频资源仅用于日常监控却没有从中获取有价值的水文信息。目前国内还没有形成一种能够全天候监测、计算简便、成本低廉的冰流速识别方案，不能很好地完成水文测验工作的提档升级和提高自动化水平任务。

技术实现思路

1、为解决上述问题，本发明提出一种基于视频帧的冰流速识别方法，利用已建或在建的河道监控视频对断面冰流速进行识别，采用视频帧相关法追踪图像连续帧中的相同特征点，记录其特定时间段里的位移即可获得流速。本发明能够降低冰期水文测验成本，实现在线冰情监测。

2、为达到上述目的，本发明的技术方案如下：

3、一种基于视频帧的冰流速识别方法，包括如下步骤：

4、步骤1.视频帧提取

5、根据采样间隔，将计算时间段内的原始视频数据提取成帧数据存储；

6、步骤2.特征点识别

7、在步骤1存储的视频帧数据中选择第1帧图像，识别图像中的特征点并进行像素点标记，识别方式采用人工识别方式或自动识别方式；

8、所述人工识别方式为：手动选择图像中一像素点作为特征点，记录特征点坐标；

9、所述自动识别方式为：首先在河道测流断面上确定测验垂线位置，接着将测验垂线位置的像素点作为一组初始特征点，记录为初始特征点坐标，n为测验垂线数量；

10、步骤3.跟踪窗口框定

11、框定特征点在图像中能够移动的窗口范围m×n，其中m为窗口长度，n为窗口宽度；

12、步骤4.特征点跟踪

13、记视频第k帧上特征点中心坐标位于的大小为m×n×c的特征像素矩阵为，其在第k+1帧时中心坐标运动到，记为，m为特征像素矩阵长度，n为特征像素矩阵宽度，c为颜色通道数；则对于任意方向上位移，第k帧和第k+1帧中的特征像素矩阵相关系数为：

14、；

15、当且仅当时有最大值，其中为特征像素矩阵相关系数，为相关系数求解函数，为特征点任意位移大小，为第k帧特征像素矩阵，为第k+1帧位移后的特征像素矩阵；

16、在第k+1帧图像的最大窗口m×n上，对特征点位置周围以m×n×c为单位特征像素矩阵遍历计算与特征像素矩阵的相关系数，寻找相关系数最大值的位置，即为第k+1帧时的特征点对应特征像素矩阵，由此确定特征点位移；特征点位移表明特征像素矩阵在第k到k+1帧的过程中，中心位置由运动到了；记录该特征点位移坐标，循环采用步骤4继续计算第k+2帧、第k+3帧…直至截止时刻的位移坐标；

17、步骤5.坐标系转换及结果输出

18、将特征点像素位移 dx转换成现实世界实际位移 x，根据河道上标记点 s 1、 s 2、 s 3三点实际坐标，计算点 s 3到直线 s 1、 s 2的实际距离，在直线 c 1 c 1′上，水平方向上实际距离与像素距离关系如下：

19、；

20、其中， c 1为过 s 3做地平线的平行线与 l1的交点， c 1′为 c 1关于视中线的对称点， l1为垂直于岸线的一条视线， l1′与 l1关于视中线对称， l1和 l1′间任意像素坐标点相对于视线 l1的实际位移 x通过下式计算：

21、；

22、 k、 b、b′为预先存储好的参数；

23、通过下式得到冰流速结果：

24、；

25、式中，为冰流速，k为帧数，为第k+1帧时特征点的实际位移，为第k帧时特征点的实际位移，为第k+1帧时对应的时刻，为第k帧时对应的时刻。

26、进一步的，所述步骤3中，颜色通道数c为3。

27、进一步的，当步骤2中采用自动识别方式识别特征点时，如，则步骤4中在继续计算下一次位移结果时，将初始特征点重新调整成再进行跟踪。

28、进一步的，所述步骤5中，点 s 1、 s 2在测流断面上。

29、进一步的，所述步骤5中， s 1、 s 2、 s 3三点实际坐标通过全站仪获取。

30、进一步的，所述步骤5中，视线的像素坐标表达式为：，的像素坐标表达式为：。

31、本发明的有益效果为：

32、本发明通过高性能摄像机无人值守的方式监测冰流速，对特征点采用人工识别或自动识别方式，并基于特征点跟踪结果计算相邻两帧图像之间流冰位移，经过坐标系转换可得到目标流冰在实际河道中发生的位移，除以两帧之间的时间间隔，可以计算出瞬时流冰的速度，方法简便易操作。

33、本发明采用基于三点的坐标转换方法将特征点像素位移转换成现实世界实际位移，只需要3个实际坐标点即可完成计算，大大简化了坐标标定工作，实用价值强。