一种电子稳像方法及系统与流程
本发明涉及图像处理技术领域，特别是涉及一种电子稳像方法及系统。
背景技术：
移动的视频成像设备，一般都存在不同程度的机械抖动。受其影响后端输出的视频画面，也会存在晃动、模糊等问题，不仅不便于人员观察识别，也给后续的计算机处理造成困难。视频稳像技术是一种对随机抖动或随机运动的摄像机所获取的动态图像序列进行重新修改、排列，使其在显示器上更加平稳显示的技术。它消除或减弱了图像序列之间的不规则的平移、旋转、缩放等失真情况，改善了画面的质量，从而使得画面更加适合于智能视频分析中的目标检测、跟踪和识别等处理操作。
视频稳像按作用机制分为光学稳像、机械稳像和电子稳像，其中，电子(数字)稳像基于在连续视频图像之间进行运动估计，然后对视频中的每一帧图像进行运动滤波和运动补偿处理得到稳定的图像。近年来，有许多研究者提出了一些电子稳像的新理论，或者从某些方面对现有稳像算法进行了改进。例如张永祥、闫文林、张伟功等人提出的一种旋转运动估计稳像算法的研究与实现中，基于灰度投影算法对稳像算法进行了改进，提出了一种用于解决较小角度视频图像序列旋转的运动估计稳像算法，减轻了视频图像的平移运动问题，去除了局部运动物体的影响，提高了稳像的精度。又例如李兆祥、李靖等人提出的视频稳像的Sift算法优化中，针对连续拍摄的相邻视频帧具有市场重叠度高、视角转换小、平移量小等特点，对Sift特征匹配算法进行了优化，降低了视频稳像的运算量和旋转稳像误差。在以上两种方案为代表的现有稳像方法中，均是将图像的抖动看做平移+旋转运动，通过求解相邻两帧图像间的平移和旋转分量来对图像进行平移矢量和旋转矢量的补偿，然而在平移补偿过程中可能会发生平移不到位的情况，旋转补偿过程中也可能发生误匹配的情况，两步补偿过程产生的误差会逐步累积，造成稳像可靠性差、精度低的缺陷。同时，以上两种方案均是在相邻两帧图像间旋转角度较小的前提下进行的稳像，其可应用的稳像范围小，只适用于旋转角度较小的图像间的稳像。因此，如何提供一种累积误差小、可靠性高、且稳像范围广的稳像方法，是本领域亟需解决的技术问题。
技术实现要素：
本发明的目的是提供一种累积误差小、可靠性高、且稳像范围广的电子稳像方法及系统，稳像过程中只需对旋转矢量进行一步补偿，累积误差小、可靠性高。
为实现上述目的，本发明提供了如下方案：
一种电子稳像方法，所述电子稳像方法包括：
获取当前帧和参考帧；
获取所述当前帧和所述参考帧中的匹配特征点对；
根据所述匹配特征点对获取所述当前帧相对于所述参考帧的旋转中心和旋转角度；
根据所述旋转中心和所述旋转角度对所述当前帧进行补偿，获得稳像后的当前帧图像。
可选的，所述获取当前帧和参考帧，具体包括：
获取摄像设备当前时刻的实时视频图像作为所述当前帧；
获取所述当前帧的前一帧图像作为所述参考帧。
可选的，所述根据所述匹配特征点对获取所述当前帧相对于所述参考帧的旋转中心和旋转角度，具体包括：
获取所述匹配特征点对中的两对匹配特征点对，分别为第一匹配特征点对和第二匹配特征点对；所述第一匹配特征点对包括第一匹配特征点和第二匹配特征点，所述第二匹配特征点对包括第三匹配特征点和第四匹配特征点；所述第一匹配特征点和所述第三匹配特征点为所述参考帧上的点；所述第二匹配特征点和所述第四匹配特征点为所述当前帧上的点；
根据所述第一匹配特征点对获取第一中垂线；所述第一中垂线为所述第一匹配特征点和所述第二匹配特征点连成的线段的中垂线；
根据所述第二匹配特征点对获取第二中垂线；所述第二中垂线为所述第三匹配特征点和所述第四匹配特征点连成的线段的中垂线；
获取所述第一中垂线和所述第二中垂线的交点为所述当前帧相对于所述参考帧的旋转中心；
根据所述两对匹配特征点对和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度。
可选的，所述根据所述两对匹配特征点对和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度，具体包括：
根据所述第一匹配特征点对和所述旋转中心获得第一线段和第二线段；所述第一线段为所述第一匹配特征点和所述旋转中心的连线；所述第二线段为所述第二匹配特征点和所述旋转中心的连线；
获取所述第一线段和所述第二线段之间的夹角为第一夹角；
根据所述第二匹配特征点对和所述旋转中心获得第三线段和第四线段；所述第三线段为所述第三匹配特征点和所述旋转中心的连线；所述第四线段为所述第四匹配特征点和所述旋转中心的连线；
获取所述第三线段和所述第四线段之间的夹角为第二夹角；
确定所述第一夹角或所述第二夹角为所述当前帧相对于所述参考帧的旋转角度。
可选的，所述根据所述两对匹配特征点对和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度，具体包括：
根据所述第一匹配特征点对和所述旋转中心获得第一线段和第二线段；所述第一线段为所述第一匹配特征点和所述旋转中心的连线；所述第二线段为所述第二匹配特征点和所述旋转中心的连线；
获取所述第一线段和所述第二线段之间的夹角为第一夹角；
根据所述第二匹配特征点对和所述旋转中心获得第三线段和第四线段；所述第三线段为所述第三匹配特征点和所述旋转中心的连线；所述第四线段为所述第四匹配特征点和所述旋转中心的连线；
获取所述第三线段和所述第四线段之间的夹角为第二夹角；
获取所述第一夹角和所述第二夹角的平均值为所述当前帧相对于所述参考帧的旋转角度。
可选的，所述获取所述匹配特征点对中的两对匹配特征点对，分别为第一匹配特征点对和第二匹配特征点对，具体包括：
获取所述匹配特征点对中匹配度最高的两对匹配特征点对分别作为第一匹配特征点对和第二匹配特征点对；所述匹配度由加速稳健特征算法自带的匹配度评价指标确定。
可选的，所述根据所述匹配特征点对获取所述当前帧相对于所述参考帧的旋转中心和旋转角度，具体包括：
获取所有所述匹配特征点对连线线段的中垂线；
获取每两条所述中垂线的交点为辅助旋转中心；
根据所述辅助旋转中心的坐标分布设定旋转中心确定阈值；
获取所述旋转中心确定阈值范围内的所有所述辅助旋转中心的重心作为所述旋转中心；
根据所述辅助旋转中心和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度。
可选的，所述根据所述辅助旋转中心和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度，具体包括：
获取与所述旋转中心距离最近的所述辅助旋转中心为旋转角确定中心；
获取所述旋转角确定中心对应的两对所述匹配特征点对，分别为第三匹配特征点对和第四匹配特征点对；所述第三匹配特征点对包括第五匹配特征点和第六匹配特征点，所述第四匹配特征点对包括第七匹配特征点和第八匹配特征点；所述第五匹配特征点和所述第七匹配特征点为所述参考帧上的点；所述第六匹配特征点和所述第八匹配特征点为所述当前帧上的点；
根据所述第三匹配特征点对和所述旋转角确定中心获得第五线段和第六线段；所述第五线段为所述第五匹配特征点和所述旋转角确定中心的连线；所述第六线段为所述第六匹配特征点和所述旋转角确定中心的连线；
获取所述第五线段和所述第六线段之间的夹角为第三夹角；
根据所述第四匹配特征点对和所述旋转角确定中心获得第七线段和第八线段；所述第七线段为所述第七匹配特征点和所述旋转角确定中心的连线；所述第八线段为所述第八匹配特征点和所述旋转角确定中心的连线；
获取所述第七线段和所述第八线段之间的夹角为第四夹角；
获取所述第三夹角和所述第四夹角的平均值为所述当前帧相对于所述参考帧的旋转角度。
本发明还公开了一种电子稳像系统，所述电子稳像系统包括：
图像获取模块，用于获取当前帧和参考帧；
匹配特征点对获取模块，用于获取所述当前帧和所述参考帧中的匹配特征点对；
旋转中心和旋转角度获取模块，用于根据所述匹配特征点对获取所述当前帧相对于所述参考帧的旋转中心和旋转角度；
图像补偿模块，用于根据所述旋转中心和所述旋转角度对所述当前帧进行补偿，获得稳像后的当前帧图像。
可选的，所述旋转中心和旋转角度获取模块具体包括：
第一和第二匹配特征点对获取单元，用于获取所述匹配特征点对中的两对匹配特征点对，分别为第一匹配特征点对和第二匹配特征点对；所述第一匹配特征点对包括第一匹配特征点和第二匹配特征点，所述第二匹配特征点对包括第三匹配特征点和第四匹配特征点；所述第一匹配特征点和所述第三匹配特征点为所述参考帧上的点；所述第二匹配特征点和所述第四匹配特征点为所述当前帧上的点；
第一中垂线获取单元，用于根据所述第一匹配特征点对获取第一中垂线；所述第一中垂线为所述第一匹配特征点和所述第二匹配特征点连成的线段的中垂线；
第二中垂线获取单元，用于根据所述第二匹配特征点对获取第二中垂线；所述第二中垂线为所述第三匹配特征点和所述第四匹配特征点连成的线段的中垂线；
第一旋转中心获取单元，用于获取所述第一中垂线和所述第二中垂线的交点为所述当前帧相对于所述参考帧的旋转中心；
第一旋转角度获取单元，用于根据所述两对匹配特征点对和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种电子稳像方法及系统，所述电子稳像方法首先获取当前帧和参考帧图像；然后获取所述当前帧和所述参考帧中的匹配特征点对；根据所述匹配特征点对获取所述当前帧相对于所述参考帧的旋转中心和旋转角度；根据所述旋转中心和所述旋转角度对所述当前帧进行补偿，获得稳像后的当前帧图像。可见，本发明所述的电子稳像方法及系统，是通过计算所述旋转中心和所述旋转角度来对所述当前帧进行补偿，在补偿过程中，只需对旋转矢量进行一步补偿，即可得到稳像后的当前帧图像。而现有技术是通过求解相邻两帧图像间的平移和旋转分量来对图像进行平移矢量和旋转矢量的补偿，在平移和旋转两步补偿的过程中，每步补偿产生的误差会逐步累积，造成稳像可靠性差、精度低的缺陷。本发明所述的电子稳像方法及系统在计算出所述旋转中心和所述旋转角度后，只需根据所述旋转中心和所述旋转角度对所述当前帧进行一步到位的旋转补偿，即可得到稳像后的当前帧图像，累积误差小、可靠性高，大大提高了稳像精度。
此外，本发明提供的电子稳像方法及系统还特别适用于旋转角度较大的相邻两帧图像间的稳像，克服了现有的稳像方法稳像范围小，只适用于旋转角度较小的图像间的稳像的缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种电子稳像方法的方法流程图；
图2(a)为本发明实施例所述的参考帧图像的示意图；
图2(b)为本发明实施例所述的当前帧图像的示意图；
图2(c)为所述参考帧和所述当前帧采用SURF算法匹配后的匹配效果图；
图3为采用本发明的电子稳像方法获得的稳像后的当前帧与参考帧叠加后的效果图；
图4为本实施例中求出的所有所述辅助旋转中心的示意图；
图5为本发明一种电子稳像系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
传统的稳像方法中，往往是默认旋转中心在图像中心，将图像的抖动看做平移+旋转运动，通过利用姿态传感器或图像间信息求解相邻两帧图像间的平移和旋转分量，来对图像进行平移矢量和旋转矢量的补偿，因此传统稳像算法获得高精确度的前提是相邻两帧图像间旋转角度较小。但是对于非道路无人车辆，在车辆发生横向滚动时，相邻两帧图像间旋转角度较大，如果继续将无人车辆的旋转中心(横滚中心)默认为图像中心，将图像的抖动看做平移+旋转运动来进行补偿，获得的稳像后图像的精度会大大降低，无法满足工程实际需求。因此需要建立新的横滚稳像算法，通过确定横滚运动的旋转中心和旋转角度来进行横滚运动的运动补偿。本发明的目的是提供一种累积误差小、可靠性高、且稳像范围广的电子稳像方法及系统，稳像过程中只需对旋转矢量进行一步补偿，累积误差小、可靠性高，且特别适用于旋转角度较大的相邻两帧图像间的稳像。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种电子稳像方法的方法流程图。参见图1，本发明提供的一种电子稳像方法，具体包括：
步骤101：获取当前帧和参考帧。
所述步骤101具体包括：
获取摄像设备当前时刻的实时视频图像作为所述当前帧；
获取与所述当前帧相邻的前一帧图像作为所述参考帧。
图2(a)为本发明实施例所述的参考帧图像的示意图，参见图2(a)，示出的是一幅水平参考帧图像。图2(b)为本发明实施例所述的当前帧图像的示意图，参见图2(b)，示出的是摄像设备发生横向滚动后未进行稳像的当前帧图像。对比图2(a)和图2(b)可以看出，图2(b)所示的当前帧相对于图2(a)所示的水平参考帧旋转了一个肉眼可分辨出的较大角度。
步骤102：获取所述当前帧和所述参考帧中的匹配特征点对。
采用特征点识别加速稳健特征(SpeededUp RobustFeatures，SURF)算法，首先提取所述参考帧图像中的特征点，接着在所述当前帧图像中进行搜索，提取当前帧中与前一帧(参考帧)的特征点对应的点，获得所述当前帧和所述参考帧中的所有匹配特征点对。图2(c)为所述参考帧和所述当前帧采用SURF算法匹配后的匹配效果图。图2(c)左侧为所述参考帧，右侧为所述当前帧，图2(c)中圆圈表示提取出的匹配特征点，连线是为了突出在两帧中匹配出来的所述匹配特征点对，其中每条连线连接的为一对匹配特征点对。
步骤103：根据所述匹配特征点对获取所述当前帧相对于所述参考帧的旋转中心和旋转角度，具体包括：
步骤(1)：获取所述匹配特征点对中的两对匹配特征点对，分别为第一匹配特征点对和第二匹配特征点对；所述第一匹配特征点对包括第一匹配特征点和第二匹配特征点，所述第二匹配特征点对包括第三匹配特征点和第四匹配特征点；所述第一匹配特征点和所述第三匹配特征点为所述参考帧上的点；所述第二匹配特征点和所述第四匹配特征点为所述当前帧上的点。为了便于说明，所述第一匹配特征点用R1表示，所述第三匹配特征点用R2表示；所述第二匹配特征点C1表示，所述第四匹配特征点C2表示，即R1、C1为一对匹配特征点，R2、C2为一对匹配特征点，R1、R2为所述参考帧上的点，C1、C2为所述当前帧上的点。提取特征点R1、R2、C1、C2在各自图像上的坐标R1(Xr1，Yr1)、R2(Xr2，Yr2)、C1(Xc1，Yc1)、C2(Xc2，Yc2)。
步骤(2)：根据所述第一匹配特征点对获取第一中垂线；所述第一中垂线为所述第一匹配特征点和所述第二匹配特征点连成的线段的中垂线。根据所述第二匹配特征点对获取第二中垂线；所述第二中垂线为所述第三匹配特征点和所述第四匹配特征点连成的线段的中垂线。获取所述第一中垂线和所述第二中垂线的交点为所述当前帧相对于所述参考帧的旋转中心。
具体为，获取由R1、C1两点连成的线段R1C1的中垂线方程L1，以及由R2、C2两点连成的线段R2C2的中垂线方程L2。获取L1和L2的交点即为所述旋转中心O。
步骤(3)：根据所述第一匹配特征点对和所述旋转中心获得第一线段和第二线段；所述第一线段为所述第一匹配特征点和所述旋转中心的连线；所述第二线段为所述第二匹配特征点和所述旋转中心的连线。获取所述第一线段和所述第二线段之间的夹角为第一夹角。
根据所述第二匹配特征点对和所述旋转中心获得第三线段和第四线段；所述第三线段为所述第三匹配特征点和所述旋转中心的连线；所述第四线段为所述第四匹配特征点和所述旋转中心的连线。获取所述第三线段和所述第四线段之间的夹角为第二夹角。
确定所述第一夹角或所述第二夹角为所述当前帧相对于所述参考帧的旋转角度。
具体为，获取所述第一线段OR1和所述第二线段OC1之间的夹角α1，获取所述第三线段OR2和所述第四线段OC2之间的夹角α2，确定α1或α2为所述旋转角度。
其中，夹角α1可由下式计算：
其中，表示所述旋转中心O与所述第一匹配特征点R1之间的欧氏距离；表示所述旋转中心O与所述第二匹配特征点C1之间的欧氏距离；表示所述第一匹配特征点R1与所述第二匹配特征点C1之间的欧氏距离。
同理，夹角α2可由下式计算：
其中，表示所述旋转中心O与所述第三匹配特征点R2之间的欧氏距离；表示所述旋转中心O与所述第四匹配特征点C2之间的欧氏距离；表示所述第三匹配特征点R2与所述第四匹配特征点C2之间的欧氏距离。
为了提升所述旋转角度计算的准确度，可以获取所述第一夹角和所述第二夹角的平均值作为所述当前帧相对于所述参考帧的旋转角度。即可计算α1和α2的平均值作为最终确定的所述旋转角度θ。
步骤104：根据所述旋转中心和所述旋转角度对所述当前帧进行补偿，获得稳像后的当前帧图像。
在获得了所述当前帧相对于所述参考帧的旋转中心O和所述旋转角度θ后，可以将所述旋转中心O和所述旋转角度θ输入到开源跨平台计算机视觉库(OpenCV，Open Source ComputerVision Library)的旋转图像的一系列函数中去，即可通过这些函数对所述当前帧图像进行补偿，获得经过稳像后的当前帧图像。具体为采用OpenCV中的getRotationMatrix2D(center，angle，scale)和warpAffine(src，dst，rotationMatrix)函数。其中，getRotationMatrix2D(center，angle，scale)函数中的center参数为旋转中心坐标，angle参数为旋转角度，scale参数为图像缩放比例。warpAffine(src,dst,rotationMatrix)函数中的src参数为未进行稳像的当前帧，dst参数为输出的稳像后的当前帧，rotationMatrix为通过getRotationMatrix2D(center，angle，scale)函数得到的旋转矩阵。使用时，只需将所述旋转中心O的坐标赋给center参数，所述旋转角度θ赋给angle参数，设置scale参数为1，并输入未进行稳像的当前帧至src参数，即可通过getRotationMatrix2D(center，angle，scale)和warpAffine(src，dst，rotationMatrix)函数输出稳像后的当前帧。
在根据所述旋转中心O和所述旋转角度θ对所述当前帧图像进行补偿时，只需根据所述当前帧和所述参考帧的旋转中心O和所述旋转角度θ进行一步旋转补偿，即可一步补偿到位，获得稳像后的图像。相对于传统稳像方法进行的平移和旋转两步补偿的过程来说，本发明提供的一步补偿到位的稳像方法累积误差小、可靠性高，可大大提高稳像精度。
图3为采用本发明的电子稳像方法获得的稳像后的当前帧与参考帧叠加后的效果图。图3中黑色方框圈出的圆点为求出的所述旋转中心O。对比图2(a)和图2(b)可以看出，图2(b)所示的当前帧相对于图2(a)所示的水平参考帧旋转了一个肉眼可分辨出的较大角度，由于传统稳像算法获得高稳像精度的前提是相邻两帧图像间旋转角度较小，因此在此种情况下，采用传统稳像算法已经无法获得较好的稳像效果。而通过图3可以看出，在摄像设备发生横向滚动产生较大角度旋转的情况下，采用本发明提供的电子稳像方法获得的稳像后的当前帧与参考帧叠加后的效果依然较好，叠加后图像的清晰度、分辨率均能满足无人非道路车辆在越野路面行驶时摄像头对稳像的需求，并对后续图像识别及消除背景变化提取前景运动物体均有帮助。可见，本发明提供的一种电子稳像方法能够适用于旋转角度较大的相邻两帧图像间的稳像，克服了传统稳像方法的局限性。
为了进一步提高稳像精度，在所述步骤(1)获取所述匹配特征点对中的两对匹配特征点对时，可以选择所述匹配特征点对中匹配度最高的两对匹配特征点对分别作为第一匹配特征点对和第二匹配特征点对。
SURF算法(加速稳健特征算法)有自带的匹配度评价指标distance，distance越小表征匹配到的两个点匹配度越好，可信度或匹配的正确度越高。因此可选取distance最小的两对匹配特征点对分别作为所述第一匹配特征点对和所述第二匹配特征点对，来计算所述旋转中心和旋转角度，可进一步提高所述旋转中心和旋转角度计算的准确性，从而进一步提高图像的稳像精度。
为了进一步提高稳像精度，本发明还提供了另一种根据所述匹配特征点对获取所述当前帧相对于所述参考帧的旋转中心和旋转角度的方法，具体包括：
步骤①：获取所有所述匹配特征点对连线线段的中垂线；获取每两条所述中垂线的交点为辅助旋转中心。
为辅助后续所述旋转中心的计算，不论所述匹配特征点对的匹配度如何，对所有的所述匹配特征点对求中垂线，每两条所述中垂线的交点都看做旋转中心，即作为辅助旋转中心。
所述中垂线和所述辅助旋转中心的计算方法与前述步骤(2)中获取所述第一中垂线、第二中垂线，以及根据所述第一中垂线和所述第二中垂线获得旋转中心的方法相同。即，假设共获取了N对所述匹配特征点对，分别为第一匹配特征点对R1、C1，第二匹配特征点对R2、C2......第N匹配特征点对RN、CN。其中特征点R1、R2......RN为所述参考帧上的点，C1、C2......CN为所述当前帧上的点。提取特征点R1、R2......RN在参考帧图像上的坐标R1(Xr1，Yr1)、R2(Xr2，Yr2)、......、RN(XrN，YrN)，提取特征点C1、C2......CN在当前帧图像上的坐标C1(Xc1，Yc1)、C2(Xc2，Yc2)......、CN(XcN，YcN)。获取由R1、C1两点连成的线段R1C1的中垂线方程L1，由R2、C2两点连成的线段R2C2的中垂线方程L2，......，由RN、CN两点连成的线段RNCN的中垂线方程LN。获取中垂线L1、L2......LN中每两条所述中垂线的交点作为辅助旋转中心，共获得N*(N－1)/2个所述辅助旋转中心。图4为本实施例中求出的所有所述辅助旋转中心的示意图。参见图4，图4中所有的圆点表示所有所述辅助旋转中心。
从图4中可以看出，采用SURF算法计算出的所述辅助旋转中心会聚集在一小片区域。如图4中黑色方框圈出的区域内，所述辅助旋转中心的分布最为集中。因此，可以选取一定的阈值范围，在该范围内，大量所述辅助旋转中心聚集，通过在该范围内计算重心，即可最大程度近似得到正确的旋转中心。具体步骤为：
步骤②：根据所述辅助旋转中心的坐标分布设定旋转中心确定阈值。
统计大量所述辅助旋转中心聚集的X轴和Y轴坐标范围，确定所述旋转中心确定阈值。
步骤③：获取所述旋转中心确定阈值范围内的所有所述辅助旋转中心的重心作为所述旋转中心O。
在获得所述旋转中心O后，可以根据所述辅助旋转中心和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度，具体为：
步骤④：获取与所述旋转中心距离最近的所述辅助旋转中心为旋转角确定中心。其中，所述距离为欧氏距离。
分别计算所述旋转中心O与所述N*(N－1)/2个所述辅助旋转中心之间的欧式距离，所述欧氏距离的计算公式如下：
其中，x、y分别表示所述旋转中心O(x,y)的x轴和y轴坐标；u、v分别表示所述辅助旋转中心P(u,v)的x轴和y轴坐标。
获取与所述旋转中心O之间所述欧式距离最小的所述辅助旋转中心为所述旋转角确定中心Q(m,n)，用于计算所述旋转角度。
步骤⑤：获取所述旋转角确定中心对应的两对所述匹配特征点对，分别为第三匹配特征点对和第四匹配特征点对。
根据前面所述的步骤①可知，每个所述辅助旋转中心均由两条所述中垂线交叉获得，每条所述中垂线又由一对所述匹配特征点对获得。因此所述旋转角确定中心Q(m,n)必有对应的两对所述匹配特征点对Rq1、Cq1和Rq2、Cq2，所述旋转角确定中心Q(m,n)就是线段Rq1Cq1的中垂线Lq1和线段Rq2Cq2的中垂线Lq2的交点。
即所述第三匹配特征点对Rq1、Cq1包括第五匹配特征点Rq1和第六匹配特征点Cq1，所述第四匹配特征点对Rq2、Cq2包括第七匹配特征点Rq2和第八匹配特征点Cq2。所述第五匹配特征点Rq1和所述第七匹配特征点Rq2为所述参考帧上的点；所述第六匹配特征点Cq1和所述第八匹配特征点Cq2为所述当前帧上的点。
步骤⑥：根据所述第三匹配特征点对和所述旋转角确定中心获得第五线段和第六线段；所述第五线段为所述第五匹配特征点和所述旋转角确定中心的连线；所述第六线段为所述第六匹配特征点和所述旋转角确定中心的连线。获取所述第五线段和所述第六线段之间的夹角为第三夹角。
根据所述第四匹配特征点对和所述旋转角确定中心获得第七线段和第八线段；所述第七线段为所述第七匹配特征点和所述旋转角确定中心的连线；所述第八线段为所述第八匹配特征点和所述旋转角确定中心的连线。获取所述第七线段和所述第八线段之间的夹角为第四夹角。
具体为，获取所述第五线段QRq1和所述第六线段QCq1之间的夹角θ1，获取所述第七线段QRq2和所述第八线段QCq2之间的夹角θ2。
其中，夹角θ1由下式计算：
其中，表示所述旋转角确定中心Q(m,n)与所述第五匹配特征点Rq1之间的欧氏距离；表示所述旋转角确定中心Q(m,n)与所述第六匹配特征点Cq1之间的欧氏距离；表示所述第五匹配特征点Rq1与所述第六匹配特征点Cq1之间的欧氏距离。
同理，夹角θ2由下式计算：
其中，表示所述旋转角确定中心Q(m,n)与所述第七匹配特征点Rq2之间的欧氏距离；表示所述旋转角确定中心Q(m,n)与所述第八匹配特征点Cq2之间的欧氏距离；表示所述第七匹配特征点Rq2与所述第八匹配特征点Cq2之间的欧氏距离。
获取所述第三夹角θ1和所述第四夹角θ2的平均值为所述当前帧相对于所述参考帧的所述旋转角度θ。
在获得了所述当前帧相对于所述参考帧的旋转中心O和所述旋转角度θ后，可以将所述旋转中心O和所述旋转角度θ输入到OpenCV的旋转图像的一系列函数中去，即可通过这些函数对所述当前帧图像进行补偿，获得经过稳像后的当前帧图像。
在根据所述旋转中心O和所述旋转角度θ对所述当前帧图像进行补偿时，只需根据所述当前帧和所述参考帧的旋转中心O和所述旋转角度θ进行一步旋转补偿，即可一步补偿到位，获得稳像后的图像。相对于传统稳像方法进行的平移和旋转两步补偿的过程来说，本发明提供的一步补偿到位的稳像方法累积误差小、可靠性高，可大大提高稳像精度。
此外，在摄像设备发生较大角度旋转、滚动的情况下，采用本发明提供的电子稳像方法依然能够获得较好的稳像效果，克服了传统稳像方法只适用于小角度旋转的局限性。
本发明还提供了一种电子稳像系统。图5为本发明一种电子稳像系统的结构示意图。参见图5，所述电子稳像系统包括：
图像获取模块501，用于获取当前帧和参考帧；
匹配特征点对获取模块502，用于获取所述当前帧和所述参考帧中的匹配特征点对；
旋转中心和旋转角度获取模块503，用于根据所述匹配特征点对获取所述当前帧相对于所述参考帧的旋转中心和旋转角度；
图像补偿模块504，用于根据所述旋转中心和所述旋转角度对所述当前帧进行补偿，获得稳像后的当前帧图像。
其中，图像获取模块501具体包括：
当前帧获取单元，用于获取摄像设备当前时刻的实时视频图像作为所述当前帧；
参考帧获取单元，用于获取所述当前帧的前一帧图像作为所述参考帧。
其中，所述旋转中心和旋转角度获取模块503具体包括：
第一和第二匹配特征点对获取单元，用于获取所述匹配特征点对中的两对匹配特征点对，分别为第一匹配特征点对和第二匹配特征点对；所述第一匹配特征点对包括第一匹配特征点和第二匹配特征点，所述第二匹配特征点对包括第三匹配特征点和第四匹配特征点；所述第一匹配特征点和所述第三匹配特征点为所述参考帧上的点；所述第二匹配特征点和所述第四匹配特征点为所述当前帧上的点；
第一中垂线获取单元，用于根据所述第一匹配特征点对获取第一中垂线；所述第一中垂线为所述第一匹配特征点和所述第二匹配特征点连成的线段的中垂线；
第二中垂线获取单元，用于根据所述第二匹配特征点对获取第二中垂线；所述第二中垂线为所述第三匹配特征点和所述第四匹配特征点连成的线段的中垂线；
第一旋转中心获取单元，用于获取所述第一中垂线和所述第二中垂线的交点为所述当前帧相对于所述参考帧的旋转中心；
第一旋转角度获取单元，用于根据所述两对匹配特征点对和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度。
其中，所述第一和第二匹配特征点对获取单元具体包括：
所述第一和第二匹配特征点对获取子单元，用于获取所述匹配特征点对中匹配度最高的两对匹配特征点对分别作为第一匹配特征点对和第二匹配特征点对；所述匹配度由加速稳健特征算法自带的匹配度评价指标确定。
所述第一旋转角度获取单元具体包括：
第一和第二线段获取子单元，用于根据所述第一匹配特征点对和所述旋转中心获得第一线段和第二线段；所述第一线段为所述第一匹配特征点和所述旋转中心的连线；所述第二线段为所述第二匹配特征点和所述旋转中心的连线；
第一夹角获取子单元，用于获取所述第一线段和所述第二线段之间的夹角为第一夹角；
第三和第四线段获取子单元，用于根据所述第二匹配特征点对和所述旋转中心获得第三线段和第四线段；所述第三线段为所述第三匹配特征点和所述旋转中心的连线；所述第四线段为所述第四匹配特征点和所述旋转中心的连线；
第二夹角获取子单元，用于获取所述第三线段和所述第四线段之间的夹角为第二夹角；
第一旋转角度获取子单元，用于确定所述第一夹角或所述第二夹角为所述当前帧相对于所述参考帧的旋转角度。
或者所述第一旋转角度获取单元具体包括：
第一线段和第二线段获取子单元，用于根据所述第一匹配特征点对和所述旋转中心获得第一线段和第二线段；所述第一线段为所述第一匹配特征点和所述旋转中心的连线；所述第二线段为所述第二匹配特征点和所述旋转中心的连线；
第一夹角获取子单元，用于获取所述第一线段和所述第二线段之间的夹角为第一夹角；
第三线段和第四线段获取子单元，用于根据所述第二匹配特征点对和所述旋转中心获得第三线段和第四线段；所述第三线段为所述第三匹配特征点和所述旋转中心的连线；所述第四线段为所述第四匹配特征点和所述旋转中心的连线；
第二夹角获取子单元，用于获取所述第三线段和所述第四线段之间的夹角为第二夹角；
第二旋转角度获取子单元，用于获取所述第一夹角和所述第二夹角的平均值为所述当前帧相对于所述参考帧的旋转角度。
或者，所述旋转中心和旋转角度获取模块503具体包括：
中垂线获取单元，用于获取所有所述匹配特征点对连线线段的中垂线；
辅助旋转中心获取单元，用于获取每两条所述中垂线的交点为辅助旋转中心；
旋转中心确定阈值设定单元，用于根据所述辅助旋转中心的坐标分布设定旋转中心确定阈值；
第二旋转中心获取单元，用于获取所述旋转中心确定阈值范围内的所有所述辅助旋转中心的重心作为所述旋转中心；
第二旋转角度获取单元，用于根据所述辅助旋转中心和所述旋转中心获得所述当前帧相对于所述参考帧的旋转角度。
其中，所述第二旋转角度获取单元具体包括：
旋转角确定中心获取子单元，用于获取与所述旋转中心距离最近的所述辅助旋转中心为旋转角确定中心；
第三和第四匹配特征点对获取子单元，用于获取所述旋转角确定中心对应的两对所述匹配特征点对，分别为第三匹配特征点对和第四匹配特征点对；所述第三匹配特征点对包括第五匹配特征点和第六匹配特征点，所述第四匹配特征点对包括第七匹配特征点和第八匹配特征点；所述第五匹配特征点和所述第七匹配特征点为所述参考帧上的点；所述第六匹配特征点和所述第八匹配特征点为所述当前帧上的点；
第五和第六线段获取子单元，用于根据所述第三匹配特征点对和所述旋转角确定中心获得第五线段和第六线段；所述第五线段为所述第五匹配特征点和所述旋转角确定中心的连线；所述第六线段为所述第六匹配特征点和所述旋转角确定中心的连线；
第三夹角获取子单元，用于获取所述第五线段和所述第六线段之间的夹角为第三夹角；
第七和第八线段获取子单元，用于根据所述第四匹配特征点对和所述旋转角确定中心获得第七线段和第八线段；所述第七线段为所述第七匹配特征点和所述旋转角确定中心的连线；所述第八线段为所述第八匹配特征点和所述旋转角确定中心的连线；
第四夹角获取子单元，用于获取所述第七线段和所述第八线段之间的夹角为第四夹角；
第三旋转角度获取子单元，用于获取所述第三夹角和所述第四夹角的平均值为所述当前帧相对于所述参考帧的旋转角度。
本发明所述的电子稳像系统在根据所述旋转中心和所述旋转角度对所述当前帧图像进行补偿时，只需根据所述当前帧和所述参考帧的旋转中心和所述旋转角度进行一步旋转补偿，即可一步补偿到位，获得稳像后的图像。相对于传统稳像方法进行的平移和旋转两步补偿的过程来说，本发明提供的电子稳像系统累积误差小、可靠性高，大大提高了稳像精度。
此外，在摄像设备发生较大角度旋转、滚动的情况下，采用本发明提供的电子稳像系统依然能够获得较好的稳像效果，克服了传统稳像方法只适用于小角度旋转的局限性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！