一种消除线段交叉误匹配点的视频补偿方法
【技术领域】
[0001] 本发明涉及一种消除线段交叉误匹配点的视频补偿方法。
【背景技术】
[0002] 应用于车载、无人机、舰船等运动平台或野外监控系统的摄像系统往往会由于 自身运动导致输出图像序列存在随机抖动，从而对视频监控及后续图像处理产生不利影 响.消除这种图像抖动的技术叫做稳像技术，稳像技术已经从最初的机械稳像、光学稳像 逐步过渡到电子稳像（ElectronicImageStabilization)阶段。电子稳像的视频帧补偿 环节一般需要建立仿射变换模型，而仿射变换矩阵的计算需要使用参考帧与当前帧的图像 匹配点，错误的匹配将得到错误的仿射变换矩阵，进而影响视频补偿的效果。
[0003] 中国专利申请201410326103. 7公开了公开了一种视频图像的稳像方法及装置， 该方法包括如下步骤：使用SURF特征点检测算法提取第n-1帧和第n帧图像的特征点。将 第n帧图像的特征点与第n-1帧图像的特征点进行匹配，形成多对匹配点对，确定第n帧图 像与第n-1帧之间的仿射关系，通过匹配特征点解出仿射矩阵；将前n-1个仿射矩阵参考第 1帧进行参数级联，通过滤波器对级联后的仿射参数进行kalman滤波，得到滤波后的级联 仿射矩阵参数；根据所述滤波后的仿射参数对第n帧图像进行补偿得到滤波后的第n帧图 像。
[0004] 中国专利201110178881. 2公开了一种基于特征匹配的电子稳像方法，其包括以 下步骤：1、运动估计，估算出当前帧与前一帧间的运动参数，得到全局运动矢量和局部运 动矢量；2、运动滤波，采用Kalman滤波器对全局运动参数进行滤波，得出有意扫描矢量， 到需要补偿的抖动参数；3、运动补偿，利用滤波得到的补偿参数对视频序列进行逐帧补 偿；4、视频修复，利用视频的时空冗余信息，采用运动修复的方法对局部运动矢量进行修 复，并以此引导像素点的填充。
[0005] 上述技术方案使用基于SIFT、SURF图像特征点匹配方法计算视频帧仿射变换矩 阵时，仅使用了特征点特征值的大小进行特征点匹配，而没有针对视频帧之间运动的特殊 性-相邻视频之间旋转平移运动较小、匹配特征点之间运动位移矢量相近的特点，从而产 生了有线段交叉的误匹配点，而这种误匹配点给仿射变换矩阵计算带来了误差。
【发明内容】
[0006] 针对现有技术的缺点，本发明的目的是提供一种消除线段交叉误匹配点的视频补 偿方法。
[0007] 为了实现上述目的，本发明提供了一种消除线段交叉误匹配点的视频补偿方法， 该视频补偿方法包括如下步骤：
[0008] A、视频帧输入；
[0009] B、在当前帧及参考帧进行特征点提取，其中参考帧为当前帧的前一帧图像；
[0010] C、进行参考帧及当前帧图像特征点匹配；
[0011] D、消除具有线段交叉的匹配点对；
[0012] E、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该 三对匹配点的坐标求出变换矩阵；
[0013] F、对当前帧图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图 像。
[0014] 本发明的方法特别适用于存在连续抖动且旋转幅度较小的视频稳像情况。
[0015] 传统方法没有考虑到正确匹配点对之间的连接线段一般不会有交点的特点，传统 方法基于特征点的特征值大小匹配特征点无法消除该类错误匹配点对。本发明利用了视频 帧之间联系较为紧密的特点，消除有线段交叉的误匹配点，提高了正确匹配点对的比例，使 仿射变换矩阵的计算更加准确。
[0016] 根据本发明另一【具体实施方式】，步骤D具体包括如下步骤：
[0017] D1、求出n对匹配点连成直线后的斜率均值
[0018] D2、若位于当前帧上点PpQi、分别与参考帧上的点P2、Q2完成匹配，当满足以下关 系时可确定线段Pf2和线段QA有交点：
[0019]
[0020] D3、当线段PR和线段QA存在交点时，直线P心和直线QA对应的斜率分别为 KP、kq，若_p-k|>|kQ-k|贝1J消除匹配点对Pi、p2;否则消除匹配点对Qi、q2。 9
[0021] 根据本发明另一【具体实施方式】，步骤B提取图像ORB特征点。
[0022] 根据本发明另一【具体实施方式】，0RB为带有方向的FAST算子和旋转的BRIEF算子。
[0023] 根据本发明另一【具体实施方式】，步骤C使用RANSAC(随机抽样一致）完成特征点 匹配。
[0024] 根据本发明另一【具体实施方式】，步骤E具体包括如下步骤：
[0025] E1、在参考帧上随机选择三个特征点队、Q、D1;
[0026] E2、在当前帧上选择与队、Q、Di对应的匹配点B2、C2、D2;
[0027] E3、分别将B2、C2、02的X轴坐标和Y轴坐标代入以下公式右侧的（x2、y2)，将队、 (：1、01的父轴坐标和￥轴坐标代入以下公式左侧的〇^ 1、71):
[0030] 与现有技术相比，本发明具备如下有益效果：
[0031] 本发明利用了视频帧之间联系较为紧密的特点，消除有线段交叉的误匹配点，提 高了正确匹配点对的比例，使仿射变换矩阵的计算更加准确。
[0032] 下面结合附图对本发明作进一步的详细说明。
【附图说明】
[0033] 图1是实施例1中，当前帧与参考帧图像的匹配点。
【具体实施方式】
[0034] 实施例1
[0035] 本实施例提供了一种消除线段交叉误匹配点的视频补偿方法，该视频补偿方法包 括如下步骤：
[0036] A、视频帧输入。
[0037] B、在当前帧及参考帧进行特征点提取，其中参考帧为当前帧的前一帧图像；该步 骤提取图像0RB(带有方向的FAST算子和旋转的BRIEF算子）特征点。
[0038] C、进行参考帧及当前帧图像特征点匹配（如图1所示）；该步骤使用RANSAC(随 机抽样一致）完成参考帧及当前帧图像特征点匹配。
[0039] D、消除具有线段交叉的匹配点对；其具体包括如下步骤：
[0040] D1、求出n对匹配点连成直线后的斜率均值
[0041] D2、若位于当前帧上点PpQi、分别与参考帧上的点P2、Q2完成匹配，当满足以下关 系时可确定线段Pf2和线段QA有交点：
[0042]
[0043] D3、当线段PR和线段QA存在交点时，直线P心和直线QA对应的斜率分别为 kp、kq，若贝ij消除匹配点对Pi、p2;否则消除匹配点对Qi、q2(图！中，消除线段 9 1两端对应的错误匹配点）。
[0044] E、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该 三对匹配点的坐标求出变换矩阵；其具体包括如下步骤：
[0045] E1、在参考帧上随机选择三个特征点队、Q、Di，其坐标分别为（xB1，yB1)、（xei，ycl)、 (xDi,yDi);
[0046] E2、在当前帧上选择与队、Q、Di对应的匹配点B2、C2、D2，其坐标分别为（xB2,yB2)、 (XC2,y"c2)、（XD2,y"D2);
[0047] E3、分别将（xB2,yB2)、（xC2,yC2)、（xD2,yD2)代入以下公式右侧的（x2、y2)，将 (xBi，yBi)、（xcl，ycl)、（xD1，yD1)代入以下公式左侧的（x^yj:
[0050] F、对当前帧图像中的每一点，利用变换矩阵，经过图像插值后得到补偿后图像。
[0051] 虽然本发明以较佳实施例揭露如上，但并非用以限定本发明实施的范围。任何本 领域的普通技术人员，在不脱离本发明的发明范围内，当可作些许的改进，即凡是依照本发 明所做的同等改进，应为本发明的范围所涵盖。
【主权项】
1. 一种消除线段交叉误匹配点的视频补偿方法，其特征在于，所述视频补偿方法包括 如下步骤： A、 视频帖输入； B、 在当前帖及参考帖进行特征点提取，其中，所述参考帖为所述当前帖的前一帖图 像； C、 进行参考帖及当前帖图像特征点匹配； D、 消除具有线段交叉的匹配点对； E、 随机选择位于参考帖上=个特征点、W及在当前帖与其对应的匹配点，利用该=对 匹配点的坐标求出变换矩阵； F、 对当前帖图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图像。2. 根据权利要求1所述的视频补偿方法，其特征在于，所述步骤D具体包括如下步骤： D1、求出n对匹配点连成直线后的斜率均值D2、若位于当前帖上点Pi、Qi、分别与参考帖上的点？2、Q2完成匹配，当满足W下关系时 可确定线段PA和线段QA有交点：D3、当线段PA和线段QA存在交点时，直线PA和直线QA对应的斜率分别为Kp、Ke， 若|kp-k| >IVkI，则消除匹配点对Pi、P2;否则消除匹配点对Qi、Q2。3. 根据权利要求1所述的视频补偿方法，其特征在于，所述步骤B提取图像ORB特征 点。4. 根据权利要求3所述的视频补偿方法，其特征在于，所述，所述ORB为带有方向的 FAST算子和旋转的BRIEF算子。5. 根据权利要求1所述的视频补偿方法，其特征在于，所述步骤C使用RANSAC完成特 征点匹配。6. 根据权利要求1所述的视频补偿方法，其特征在于，所述步骤E具体包括如下步骤： E1、在参考帖上随机选择S个特征点Bi、Cl、化； E2、在当前帖上选择与Bi、。、Di对应的匹配点B2、C2、〇2; E3、分别将Bz、C2、〇2的X轴坐标和Y轴坐标代入W下公式右侧的（X2、y2)，将町、Cl、化 的X轴坐标和Y轴坐标代入W下公式左侧的（XI、yi):
【专利摘要】本发明提供了一种消除线段交叉误匹配点的视频补偿方法，该视频补偿方法包括如下步骤：A、视频帧输入；B、在当前帧及参考帧进行特征点提取，其中，参考帧为当前帧的前一帧图像；C、进行参考帧及当前帧图像特征点匹配；D、消除具有线段交叉的匹配点对；E、随机选择位于参考帧上三个特征点、以及在当前帧与其对应的匹配点，利用该三对匹配点的坐标求出变换矩阵；F、对当前帧图像中的每一点，利用所述变换矩阵，经过图像插值后得到补偿后图像。本发明利用了视频帧之间联系较为紧密的特点，消除有线段交叉的误匹配点，提高了正确匹配点对的比例，使仿射变换矩阵的计算更加准确。
【IPC分类】H04N5/21
【公开号】CN105007397
【申请号】CN201510221816
【发明人】吴新桥, 张增, 杨鹤猛, 张贵峰, 王兵, 张巍
【申请人】南方电网科学研究院有限责任公司, 天津航天中为数据系统科技有限公司
【公开日】2015年10月28日
【申请日】2015年4月30日