一种基于改进的KLT和卡尔曼滤波的电子稳像方法与流程

本发明涉及视频相机视频图像处理领域，可应用于各种视频相机，如视频监控、手持摄像机、航天航空监测、军事监测等，可较好的应用于红外视频相机电子稳像。

背景技术：

电子稳像一直是视频相机图像采集系统的重点内容，视频相机在成像过程中由于平台的抖动和外界干扰导致相机在成像过程中得到的视频序列带有抖动甚至畸变，对场景观测产生了极大的影响，同时也限制了高层次的视觉任务，比如视频中特定运动目标的检测和跟踪。

视频相机的电子稳像方法留有诸多难点：现有的电子稳像如块匹配法通常适用于只有平移运动矢量的情况下，且对噪声比较敏感以及对在动态场景中获得的视频帧序列匹配时容易引起匹配误差。灰度投影法虽然算法速度比较快,但是要求图像具有的灰度信息要变化丰富,否则将得不到准确的变化明显的灰度投影曲线,导致电子稳像效果差。对于红外视频相机，获取的视频图像噪声较大、灰度信息变化不丰富，因此不适合利用块匹配法和灰度投影法来实现电子稳像功能。

针对以上问题，本方法采用基于改进的klt和卡尔曼滤波的电子稳像方法，klt光流跟踪法能够比较精确的获取视频序列的当前帧与参考帧图像的运动矢量，精度高，可以达到亚像素级，同时适用于存在平移、旋转、缩放等复杂的场景中。

技术实现要素：

本发明的目的，是要提供一种实时电子稳像方法，用于解决视频相机由于平台抖动和外界干扰引起的视频序列抖动和畸变问题。

为实现上述目的，本发明采用如下技术方案：

1、本方法将电子稳像三步实施：1)运动矢量估计、2)运动滤波、3)运动补偿。

2、所述的运动矢量估计方法如下，首先利用shi-tomasi角点检测算法检测参考帧图像中的特征角点，然后利用金字塔模型改进lucas-kanade光流算法跟踪匹配检测到的特征角点，再利用基于统计方法的随机抽样一致性算法剔除匹配过程中产生的误匹配点对，最后利用获得的匹配点对带入参考帧与当前帧图像变换模型中，得到一组超定方程，利用最小二乘法拟合得到图像序列间的全局运动矢量；

3、所述的运动滤波方法如下，利用卡尔曼滤波算法分离红外视频相机有意运动和无意的抖动，从而保留相机的有意运动，且对步骤1)得到的全局运动矢量参数进行修正得到修正的运动矢量参数。

4、所述的运动补偿方法如下，利用步骤3)得到的修正运动矢量参数和视频序列中的当前帧图像和参考帧图像之间的仿射变换模型对视频序列运动矢量进行补偿，得到稳定的视频序列。

本发明的优点在于，有效解决视频相机电子稳像处理过程中遗留的诸多难题：处理速度慢，不能做到实时，图像纹理不明显导致稳像精度差，不能解决图像间存在旋转等问题。同时，本方法不需要外加处理芯片，成本低，便于实现。

附图说明

图1为本发明详细实现过程图。

图2为本发明具体实施示例稳像结果，图a为稳像前视频序列，其中图(1)为稳像前的第30帧，图(2)为稳像前的第54帧，图(3)为稳像前的第78帧；图b为稳像后视频序列，其中图(1)为稳像后的第30帧，图(2)为稳像后的第54帧，图(3)为稳像后的第78帧。

具体实施方式

下面结合具体实施例，即制冷型红外视频相机的电子稳像对本发明作进一步描述，在此仅用本发明的适宜性实例说明来解释本发明，但并不作为本发明的限定。

制冷型红外视频相机由红外探测器、模拟抖动平台、数据采集系统、电源组成。在具体实施例中，利用抖动平台模拟无意的抖动，从而会引起输出视频序列抖动，利用本发明方法解决这一问题。方法如图1所示，由运动矢量估计、运动滤波、和运动补偿三个部分组成。

首先，以红外视频序列中的某一帧为参考帧，对图像进行预处理后，利用shi-tomasi角点检测算法提取参考帧图像中的特征角点，然后利用改进的基于金字塔模型的lucas-kanade光流算法跟踪匹配检测到的特征角点，再利用ransac算法剔除匹配过程中产生的误匹配点对，最后根据匹配点对利用最小二乘法拟合得到当前帧图像与参考帧图像的全局运动矢量；

其次，利用卡尔曼滤波算法分离红外视频相机有意运动和无意的抖动，从而保留相机的有意运动，这里的无意抖动即模拟抖动平台产生的不必要的抖动。

最后，利用经过滤波后得到的最终修正运动矢量参数和视频序列中的当前帧图像和参考帧图像之间的仿射变换模型对视频序列运动矢量进行补偿，得到稳定的视频序列。本例中电子稳像平均误差为0.1318pixel,均方根值为0.0457.速度为每秒34帧。稳像结果见图2所示。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明所述系统及其实施方法所做的同等变化及修饰，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

技术特征：

技术总结
本发明公开了一种基于改进的KLT和卡尔曼滤波的电子稳像方法。方法包括：运动矢量估计、运动滤波、和运动补偿。所述运动矢量估计为利用Shi‑Tomasi算法检测参考帧图像特征角点，金字塔模型的Lucas‑Kanade光流算法跟踪匹配角点，随机抽样一致性算法去除误匹配点，最小二乘法拟合全局运动矢量；所述运动滤波利用卡尔曼滤波算法分离视频相机有意运动和无意的抖动；所述运动补偿利用变换参数和图像仿射变换模型补偿视频序列当前帧图像相对于参考帧图像的运动矢量。本发明所用方法简单、稳像精度高、处理耗时短，同时，较好的解决了视频相机由于平台抖动等不必要的外界干扰引起的视频序列抖动问题，而且本方法具有通用性，可以用在手持摄像设备、视频监控、军事监测等场合。

技术研发人员：李锋;董峰;冯旗;王文秀;王梅竹;刘文浩;朱天佑
受保护的技术使用者：中国科学院上海技术物理研究所
技术研发日：2017.07.12
技术公布日：2017.09.29