一种视频增稳方法、装置及存储介质与流程

本发明涉及视频图像处理，尤其是指一种频增稳方法、装置、设备及计算机存储介质。

背景技术：

1、基于视觉的图像感知技术是无人驾驶车辆感知周围环境变化的一种重要方式。由于煤矿井下恶劣的路况和车辆本身的自有震动导致机载相机易采集到抖动的图像，抖动的图像影响后续图像识别的精度，因此需要通过视频稳像技术来去除视频抖动。运动估计、运动平滑和运动补偿是实现电子稳像的重要过程，基于图像处理实现的电子稳像的效果很大程度取决于图像质量的好坏，因此，在图像质量差时视频设备的稳像效果较差。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中在图像质量差时稳像效果差的问题。

2、为解决上述技术问题，本发明提供了一种视频增稳方法，包括：

3、利用相机中内置的imu传感器获取在振动工况条件下相机沿x轴、y轴、z轴三个方向的线性加速度数据和角速度数据；

4、根据所述线性加速度数据计算三个方向的偏移量，并采用视觉特征估计方法对所述三个方向的偏移量进行修正；

5、根据所述角速度数据计算三个方向的旋转角度；

6、根据所述偏移量和所述旋转角度对视频进行运动补偿。

7、优选地，所述利用相机中内置的imu传感器获取在振动工况条件下相机沿x轴、y轴、z轴三个方向的线性加速度数据和角速度数据前包括：

8、获取视频序列，并根据所述视频序列判断视频是否发生抖动，当判断结果为视频发生抖动时，进行后续稳像处理，否则，不进行处理。

9、优选地，所述根据所述视频序列判断视频是否发生抖动包括：

10、分别计算相邻视频帧在水平方向的灰度投影；

11、根据所述灰度投影计算相邻视频帧之间的互相关性；

12、根据所述互相关性计算相邻视频帧之间的偏移量；

13、当存在相邻视频帧之间的偏移量大于预设阈值时，则视频发生抖动。

14、优选地，所述根据所述线性加速度数据计算三个方向的偏移量包括：

15、利用空间同步原理计算相机和imu传感器之间的时间差，并根据所述时间差对相机和imu传感器进行同步处理；

16、对所述线性加速度数据进行二次积分，得到所述三个方向的偏移量。

17、优选地，所述采用视觉特征估计方法对所述三个方向的偏移量进行修正包括：

18、利用特征点提取算法提取视频帧中的特征点，对相邻视频帧中的特征点进行特征匹配，并构建透视变换模型以描述视频帧间的运动变化关系；

19、根据所述透视变换模型计算视频帧间的修正偏移量；

20、融合所述修正偏移量，对所述三个方向的偏移量进行修正。

21、优选地，所述根据所述角速度数据计算三个方向的旋转角度包括：

22、对所述角速度数据进行积分运算，得到所述三个方向的旋转角度，并根据所述旋转角度计算表示相机旋转姿态变化的旋转矩阵。

23、优选地，所述根据所述偏移量和所述旋转角度对视频进行运动补偿后还包括：

24、对运动补偿后的视频帧进行二值化处理，确定黑边区域，并进行裁剪；

25、通过插值算法恢复裁剪区域的像素。

26、本发明还提供了一种视频增稳装置，包括：

27、数据获取模块，用于利用相机中内置的imu传感器获取在振动工况条件下相机沿x轴、y轴、z轴三个方向的线性加速度数据和角速度数据；

28、平移估计模块，用于根据所述线性加速度数据计算三个方向的偏移量，并采用视觉特征估计方法对所述三个方向的偏移量进行修正；

29、旋转估计模块，用于根据所述角速度数据计算三个方向的旋转角度；

30、运动补偿模块，用于根据所述偏移量和所述旋转角度对视频进行运动补偿。

31、本发明还提供了一种视频增稳设备，包括：

32、存储器，用于存储计算机程序；

33、处理器，用于执行所述计算机程序时实现上述一种视频增稳方法步骤。

34、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种视频增稳方法的步骤。

35、本发明的上述技术方案相比现有技术具有以下优点：

36、本发明所述的视频增稳方法，通过相机获取在振动工况条件下的振动视频图像并且利用相机自带的imu传感器记录相机三轴角速度和三轴加速度数据，然后进行平移估计和旋转估计，最后进行运动补偿，得到稳定的视频图像；因为imu传感器可以不依赖于图像内容为设备提供实时的姿态变化数据，因此对图像质量较差工况条件的稳像需求，本方法具有更好的适应能力；因为imu中的线性加速数据经二次积分容易产生累积误差偏大的问题，通过基于视觉特征的平移运动方法对imu的平移运动估计数据进行纠正，进一步提高了稳像效果；在运动补偿后，因补偿后的图像偏离原有成像平面，导致在图像边缘产生大量未定义的像素点，进而导致产生黑边，为提高稳像效果，本发明提出一种自适应图像修补方法对黑边进行处理，并进一步提高了视频图像的可观性。

技术特征：

1.一种视频增稳方法，其特征在于，包括：

2.根据权利要求1所述的视频增稳方法，其特征在于，所述利用相机中内置的imu传感器获取在振动工况条件下相机沿x轴、y轴、z轴三个方向的线性加速度数据和角速度数据前包括：

3.根据权利要求2所述的视频增稳方法，其特征在于，所述根据所述视频序列判断视频是否发生抖动包括：

4.根据权利要求1所述的视频增稳方法，其特征在于，所述根据所述线性加速度数据计算三个方向的偏移量包括：

5.根据权利要求1所述的视频增稳方法，其特征在于，所述采用视觉特征估计方法对所述三个方向的偏移量进行修正包括：

6.根据权利要求1所述的视频增稳方法，其特征在于，所述根据所述角速度数据计算三个方向的旋转角度包括：

7.根据权利要求1所述的视频增稳方法，其特征在于，所述根据所述偏移量和所述旋转角度对视频进行运动补偿后还包括：

8.一种视频增稳装置，其特征在于，包括：

9.一种视频增稳设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种视频增稳方法的步骤。

技术总结
本发明涉及视频图像处理技术领域，尤其是指一种频增稳方法、装置、设备及计算机存储介质。本发明所述的视频增稳方法，通过相机获取在振动工况条件下的振动视频图像并且利用相机自带的IMU传感器记录相机三轴角速度和三轴加速度数据，然后进行平移估计和旋转估计，最后进行运动补偿，得到稳定的视频图像；因为IMU传感器可以不依赖于图像内容为设备提供实时的姿态变化数据，因此对图像质量较差工况条件的稳像需求，本方法具有更好的适应能力；因为IMU中的线性加速数据经二次积分容易产生累积误差偏大的问题，通过基于视觉特征的平移运动方法对IMU的平移运动估计数据进行纠正，进一步提高了稳像效果。

技术研发人员：田原,李成城,贾运红,马立森,李小燕,贾曲,陈宁,索艳春,张婷,郭皇煌,董孟阳,李涛
受保护的技术使用者：中国煤炭科工集团太原研究院有限公司
技术研发日：
技术公布日：2024/3/17