一种基于主运动方向识别的运动补偿方法
【技术领域】
[0001]本发明涉及一种基于主运动方向识别的运动补偿方法。
【背景技术】
[0002]无人机和直升机在拍摄过程中受到发动机、气流和人工控制因素影响而造成视频的抖动与模糊，对后续的检测和跟踪等处理造成严重不良的影响，有必要对航拍视频进行稳像处理，基于图像处理的电子稳像具有精确、轻便、成本低、能耗小等优点，因而被广泛而有效地应用于无人机和直升机的视频处理分析中。
[0003]运动补偿技术是实现电子稳像的关键技术。根据摄像机拍摄视频时的运动状态，可分为静态摄像和运动摄像。在实现电子稳像时，需对摄像机的运动状态进行识别以针对不同的运动状态进行相应的运动补偿。现有的成果要么忽略了拍摄视频的时间连续性而只针对两帧进行稳像，要么对于摄像机的运动状态分析不足，造成运动状态识别不力，不能够进行准确的稳像。针对以上问题，本发明提出了一种基于主运动方向识别的运动补偿方法，可以对静态拍摄和运动拍摄及两种拍摄状态的相互切换进行识别，适应于复杂的拍摄状态和拍摄环境。
[0004]中国专利申请200910081057.8公开了一种实时电子稳像中基于运动状态识别的运动补偿方法，其方法步骤为:①训练运动类型的似然函数；②建立运动补偿模型；③计算当前帧图像相对于窗口中心点的偏移量；④对运动分量滤波，计算理想运动参数和线性拟和参数；⑤识别当前帧图像运动状态，设置运动补偿参数；⑥根据三阶段运动补偿量，计算当前帧图像的输出位置。该申请的方案对视频的运动状态进行识别，但该方法需要对抖动进行训练，并且只针对高斯模型的抖动进行补偿。
[0005]另外，中国专利申请201110336063.0公开了一种摄像头移动检测方法及装置，其中方法包括向远程摄像头发出移动操作指令，获取摄像头的视频流中连续的两帧图像；标记所述图像中的纹理块；计算所有纹理块移动方向的角度直方图；通过上述角度直方图进行所述摄像头运动判断，如果所述摄像头为运动状态，则根据所述直方图获取所述摄像头的移动方向和移动量；否则输出故障报警信息。中国专利申请201310484497.4公开了一种基于船舶运动姿态预报的船载视频稳像方法，其提出基于粒子群-最小二乘支持向量机的船舶运动姿态预报方法，对船舶运动姿态进行预报，获得船舶运动矢量预报数据；根据船舶运动矢量预报数据，计算得到图像的运动矢量数据；提前计算出图像补偿矢量，对图像逐帧进行运动补偿。上述方案都是对摄像机的运动状态进行了识别，但侧重于如何估计出用于运动状态识别的运动参数，而非侧重于对主运动方向进行识别的方法。
[0006]上述技术方案只针对参数的大小等处理，没有充分利用视频中的运动参数的方向识别主运动方向并进一步识别运动状态；基于两帧或邻近的几帧图像之间运动参数的大小并根据特定的抖动模型进行抖动判断，而没有利用运动状态进行抖动判断；没有考虑到运动状态对运动补偿参数的影响，没有基于动状态识别结果确定运动补偿参数。
【发明内容】
[0007]针对实时视频的运动状态复杂、易变的特点，本发明的目的是提供一种基于主运动方向识别的运动补偿方法。
[0008]为了实现上述目的，本发明提供了一种基于主运动方向识别的运动补偿方法，其包括如下步骤:
[0009]A、确定当前运动状态及主运动方向；
[0010]B、在电子稳像过程中连续输入视频的运动估计参数；
[0011]C、抖动判断；
[0012]D、运动补偿参数确定；
[0013]E、运动补偿，利用步骤D获得的运动补偿参数进行运动补偿。
[0014]本发明针对实时视频的运动状态复杂、易变的特点，提出了一种基于主运动方向识别的运动补偿技术。首先，通过对视频的运动估计参数对运动状态进行识别；其次，通过识别出的运动状态对当前抖动进行判断，判断是否进行运动补偿最后，通过当前的抖动状态确定运动补偿参数，进行运动补偿，实现实时电子稳像。
[0015]本发明针对当前方法对于运动参数的方向的忽略问题，提出通过对瞬时运动方向的判定进行主运动方向的识别，进而识别出当前拍摄状态以及拍摄状态之间的相互切换；针对现有方法需要事先确定抖动模型的缺陷，本发明无需事先确定抖动模型，只需利用已估计出的运动参数和当前运动状态进行抖动判断；针对现有方法对运动状态对运动补偿参数影响的忽略，本发明通过主运动方向确定运动状态，进而确定运动补偿参数。
[0016]本发明对于运动和抖动的模型无限制，无需进行事先的训练，并且提出了主运动方向的概念，通过运动状态识别进行抖动判断并辅助确定运动补偿参数，提高了电子稳像的实时性和智能性。
[0017]本发明侧重于利用已估计出的运动参数进行主运动方向的判断，并且通过识别出的主运动方向提高运动补偿的准确性，进而提高电子稳像的准确性。
[0018]根据本发明另一【具体实施方式】，步骤A包括如下步骤:
[0019]Al、帧间运动方向识别，分别对正负帧间运动方向的数值进行统计；
[0020]A2、瞬时主运动方向识别；
[0021]A3、主运动方向识别；
[0022]A4、运动状态识别，若能够识别出主运动方向，则判定当前运动状态为运动拍摄，若不能够识别出主运动方向，则判定当前运动状态为静态拍摄。
[0023]根据本发明另一【具体实施方式】，步骤A2具体包括如下步骤:
[0024]A2a、帧间运动方向识别结果输入；
[0025]A2b、帧间运动方向一致性识别，分别对正负帧间运动方向一致性的数值进行统计;
[0026]A2c、累计帧数判断，若进行瞬时主运动方向判断的帧数达到预先设定的帧数，则进行A2d，反之，则退出识别流程；
[0027]A2d、瞬时主运动方向输出。
[0028]根据本发明另一【具体实施方式】，步骤A3具体包括如下步骤:
[0029]A3a、瞬时主运动运动方向结果输入；
[0030]A3b、瞬时主运动运动方向一致性识别，分别对正负帧间运动方向一致性的数值进行统计；
[0031]A3c、累计帧数判断，若进行主运动方向判断的帧数达到预先设定的帧数，则进行A3d，反之，则退出识别流程；
[0032]A3d、主运动方向输出。
[0033]根据本发明另一【具体实施方式】，步骤C具体包括如下两种情况:
[0034]Cl、当前运动状态为静态拍摄；若当前运动大于一定阈值则判定为静态抖动；否则判定为非抖动；
[0035]C2、当前运动状态为运动拍摄；若当前运动量与主运动方向不一致，则判定为动态抖动；若当前运动量与主运动方向一致，则判定为非抖动。
[0036]根据本发明另一【具体实施方式】，步骤D具体包括如下两种情况:
[0037]D1、步骤C判定为静态抖动，以当前运动量为补偿参数；
[0038]D2、步骤C判定为动态抖动，以当前帧之前的若干帧间运动量的线性拟合值与当前运动量之差为运动补偿参数。
[0039]与现有技术相比，本发明具备如下有益效果:
[0040]本发明采用主运动方向识别的方法进行连续视频帧的抖动判断，提高了抖动判断的准确性；采用初始的运动估计参数进行初始运动状态的判断，避免了采用默认初始值的单一性，提高了运动补偿的智能性；针对连续视频帧，采用主运动方向识别的方法辅助确定