基于特征匹配的全帧电子稳像方法
【专利摘要】本发明一种基于特征匹配的全帧电子稳像方法，属数字图像处理技术领域，旨在消除相机平移和旋转等抖动对视频序列造成的影响，生成稳定的全帧视频输出。该方法首先采用ORB特征描述符提取每一帧内的特征点，并运用最小次小汉明距离比判别结合坐标与方向角差值检验的两级匹配策略对相邻帧内的特征点进行匹配；然后，通过三角形面积相似检验和RANSAC结合的运动参数估计方法，估计帧间仿射变换参数并累积；最后，运用图像拼接技术得到一幅运动补偿的拼接图像，并通过Kalman滤波估计相机的主观运动参数，依此在拼接图像上设立与视频帧大小相同的显示窗口，得到完整的运动补偿帧输出。本发明可以有效去除原始视频序列中的平移和旋转抖动，得到稳定的全帧输出。
【专利说明】
基于特征匹配的全顺电子稳像方法
技术领域
[0001] 本发明属于图像处理技术领域，设及视频序列的稳定处理，特别设及一种基于特 征匹配的电子稳像方法。
【背景技术】
[0002] 数字摄像机在被使用时，由于载体平台的震动，导致输出视频带有平移和旋转抖 动，运极大影响了视频的观测效果，也降低了视频监控和编码性能。电子稳像技术作为一种 有效的视频图像稳定方法，具有高精度，低功耗，低成本的特点，已经在军事和民用场合中 得到了广泛的应用。
[0003] 常用的电子稳像方法大体上可W分为基于块匹配和基于特征匹配两种。基于块匹 配的稳像方法将图像分为许多块区域，通过相邻帖间块区域的匹配来估计局部运动参数， 进而得到全局运动参数。运种方法效果良好，但大量的块区域匹配会带来繁重的数据运算。 基于特征匹配的稳像方法通过在帖内提取特征点，并在相邻帖间进行匹配来估计运动参 数。运种方法精度较高，进行运动参数估计时可W不受捜索区域的限制，能够进行大范围的 运动补偿。
[0004] 传统的基于特征匹配的电子稳像方法，主要存在W下问题：一、常用特征描述符如 SIFT和SURF运算较为复杂，难W硬件实时实现；二、运动参数估计易受误匹配和前景运动 物体的影响；Ξ、由于运动补偿，在输出帖会出现未定义区域，影响观测效果。
【发明内容】
阳〇化]本发明是为了解决现有基于特征匹配的电子稳像方法特征提取过程复杂度较高， 难于硬件实时实现，特征匹配过程容易出现误匹配，参数估计过程对误匹配和前景运动物 体的鲁棒性较差，运动补偿在输出帖形成未定义区域，影响视觉效果的问题，而提出一种基 于特征匹配的全帖电子稳像方法。
[0006] 实现本发明的技术方案如下：
[0007] 一种基于特征匹配的全帖电子稳像方法，具体的过程为：
[0008] 步骤一，利用ORB特征描述符对视频序列中的每一帖进行特征点提取；
[0009] 步骤二，采用最小与次小汉明距离比值判定和坐标与方向角差值检验的两级匹配 策略，对相邻帖内的特征点进行匹配；
[0010] 步骤Ξ，针对匹配所获得的匹配点对集合，利用Ξ角形面积相似检验与RANSAC结 合的运动参数估计方法，估计帖间仿射变换参数；对帖间仿射变换参数进行累积，得到当前 帖相对于参考帖的累积仿射变换参数；
[0011] 步骤四，利用图像拼接方法创建一幅运动补偿的拼接图像，对累积仿射变换参数 的平移分量进行Kalman滤波估计相机的主观运动参数，并将其作为拼接图像中显示窗口 的位置，在拼接图像中设立与参考帖大小相同的显示窗口，获取完整的运动补偿帖。
[0012] 进一步地，本发明所述步骤二的具体过程为：
[0013] 第一级匹配：对于在当前帖内检测到的每一个特征点，依据汉明距离，在前一帖的 特征点集合中找出汉明距离最小和次小的特征点，将最小与次小汉明距离的比值与预设阔 值进行比较，如果所述比值小于预设阔值，则将具有最小汉明距离的特征点对记为候选匹 配点对，进入第二级匹配；
[0014] 第二级匹配：对候选匹配点对的空间坐标化Y)和狂'，Υ')，方向角R和R'，设立 W下两种判别条件： 阳01引第一:
[0016] 第二：|R-R' I < Τ'虹eshold2
[0017] 其中，Τ虹esholdl表示坐标阔值，Τ虹eshold2表示角度阔值；
[0018] 若W上两个条件均满足，则认为当前的候选匹配点对为正确匹配，否则视为错误 匹配予W删除。
[0019] 进一步地，本发明步骤Ξ的具体过程为：
[0020] 301，在匹配点对集合中随机选取Ξ个匹配点对；
[0021] 302,判断Ξ个匹配点对是否不落在一条直线上，且在相邻帖上形成的两个Ξ角形 面积差值小于预设面积阔值，若条件满足则进入303,否则回到301 ;
[0022] 303,根据选取的Ξ个匹配点对，计算帖间仿射变换模型参数；
[0023] 304,对于根据所述仿射变换模型参数得到的仿射变换模型，统计匹配点对集合中 的内点数；
[0024] 305,重复执行301-304预设次数，选出内点数最多的仿射变换模型所对应参数作 为最佳帖间运动参数估计，然后对帖间运动参数进行累积，得到当前帖相对于参考帖的累 积仿射变换参数。
[0025] 进一步地，本发明所述利用图像拼接方法创建一幅运动补偿的拼接图像为：将参 考帖作为基准，根据计算出的累积仿射变换参数，将当前帖进行仿射变换与参考帖对齐，并 利用双线性插值和图像融合技术创建一幅运动补偿的拼接图像。
[00%] 进一步地，本发明针对步骤一提取的特征点，根据特征点邻域一阶矩的大小关系， 对特征点的方向角进行2 31 /32量化，并建立快速查找表；针对步骤一提取的特征点，根据 高斯分布在特征点邻域内取定生成二值特征描述所需的点对坐标集合，并计算其对应于每 一个量化方向角的旋转形式，建立快速查找表。
[0027] 本发明具有如下有益效果：
[0028] 1)特征点匹配过程采用两级匹配策略，有效地抑制了误匹配的产生，减少了误匹 配对后续参数估计过程的影响。
[0029] 2)参数估计过程采用Ξ角形面积相似检验结合RANSAC的方法，增强了算法对误 匹配和前景运动物体的鲁棒性。
[0030] 3)利用图像拼接方法创建一幅运动补偿的拼接图像，能够同时消除视频中的平移 和旋转抖动，并通过图像拼接和Kalman滤波方法得到稳定的全帖输出，提高了观测效果。
[0031] 4)通过建立查找表简化ORB算法，降低了特征提取过程的复杂度，便于硬件实时 实现。
【附图说明】
[0032] 图1为本发明电子稳像方法的流程图。
[0033] 图2为利用图像拼接和Kalman滤波方法得到稳定全帖输出的示意图。
【具体实施方式】
[0034] 下面对本发明做进一步详细地描述：
[0035] 如图1所示，本发明一种基于特征匹配的全帖电子稳像方法，主要包括W下四个 流程：特征点提取、特征点匹配、运动参数估计、稳定全帖输出。
[0036] (1)特征点提取
[0037] 利用 ORB 特征描述符（Rublee, Ethan, et al. "0RB:an efficient alternative to SIFT or SURF. "Computer Vision (ICCV),2011IEEE International Conference on. IE邸，2011.)，对视频序列中的每一帖进提取特征点。
[0038] 为了使该过程便于硬件实时实现，本发明根据特征点邻域一阶矩的大小关系，对 特征点的方向角进行2 π/32 (11. 25度）量化，并建立快速查找表。同时，依据高斯分布在 特征点邻域内取定生成二值特征描述所需的点对坐标集合，并计算其对应于每一个量化方 向角的旋转形式，建立快速查找表，W降低算法复杂度。
[0039] 似特征匹配
[0040] 采用最小与次小汉明距离比值判定和坐标与方向角差值检验的两级匹配策略，来 减小误匹配；具体过程为：
[0041] 第一级匹配：对于在当前帖内检测到的每一个特征点，依据汉明距离，在前一帖的 特征点集合中找出汉明距离最小和次小的特征点，将最小与次小汉明距离的比值与预设阔 值进行比较：
[0042]
[0043] 其中，MinimumDistance 表不最小汉明距离，Senond-MinimumDistance 表不次小 汉明距离，T虹eshold表示预设阔值；
[0044] 如果条件满足，则认为具有最小汉明距离的特征点对为候选匹配点对，进入下一 级误匹配删除过程，如果条件不满足，则认为具有最小汉明距离的特征点对不为候选匹配 点对，因此不予考虑； W45] 第二级匹配：利用相邻帖间的空间相关性信息进行误匹配删除；由于相邻两帖之 间的时间间隔较短，只可能存在较小的平移和旋转运动，所W正确匹配的特征点对应该具 有相似的空间位置和方向角。假设化Y)和狂'，r)为候选匹配点对的空间坐标，R和R' 为方向角，设立W下两种判别条件：
[0046] 根据空间位置相似性有：
[0047]
W48] 根据方向角相似性有：
[0049] |R-R' I < Τ'虹eshold2
[0050] 其中，Τ虹esholdl表示坐标阔值，Τ虹eshold2表示角度阔值；
[0051] 若W上两个条件均满足，则认为当前的候选匹配点对为正确匹配，否则视为错误 匹配予W删除。 阳052] (3)运动参数估计
[0053] 在得到相邻帖间的匹配点对集合后，本发明基于六参数仿射变换模型，利用Ξ角 形面积相似检验结合RANSAC的方法进行帖间运动参数估计。
[0054] 六参数仿射变换模型能够描述两帖之间的平移，旋转，缩放，错切等运动变化，需 要Ξ个匹配点对来估计全部参数值，若其中包含有误匹配或落在前景运动物体上的特征点 对，则会导致错误的运动估计结果。为了增强算法的鲁棒性，本发明采用Ξ角形面积相似检 验结合RANSAC的方法。
[005引假设A、B、C和A'、B'、C'为选取的用于参数估计的Ξ个匹配点对，它们在各自帖 内分别形成一个Ξ角形，表示为Δ ABC和ΔΑ' B' C'。如果运Ξ个匹配点对均为正确匹配， 且落在场景背景中，根据相邻帖的空间相关性，两个Ξ角形应该具有相似的面积即： 阳化6] S Δ ABC > S Δ A' B' C'
[0057] 结合RANSAC参数估计方法，有如下步骤：
[0058] 301，在匹配点对集合中随机选取Ξ个匹配点对；
[0059] 302,判断Ξ个匹配点对是否不落在一条直线上，且在相邻帖上形成的两个Ξ角形 面积差值小于预设面积阔值，若条件满足则进入303,否则回到301 ;
[0060] 303,根据选取的Ξ个匹配点对，计算帖间仿射变换模型参数；
[0061] 304,对于根据所述仿射变换模型参数得到的仿射变换模型，统计匹配点对集合中 的内点数；
[0062] 305,重复执行301-304预设次数，选出内点数最多的仿射变换模型所对应参数作 为最佳帖间运动参数估计，然后对帖间运动参数进行累积，得到当前帖相对于参考帖的累 积仿射变换参数。 阳〇6引 （4)稳定全帖输出
[0064] 为得到稳定的全帖输出，本发明采用图像拼接技术结合Kalman滤波窗口输出的 方法，如附图2所示。
[0065] 首先，将参考帖作为基准，根据计算出的累积仿射变换参数，将当前帖进行仿射变 换与参考帖对齐，并利用双线性插值和图像融合技术创建一幅运动补偿的拼接图像；然后， 在拼接图像中设立与参考帖大小相同的显示窗口获取完整的运动补偿帖。
[0066] 由于在实际应用中，相机的主观运动一般只包含平移运动。本发明将累积仿射变 换参数的平移分量进行Kalman滤波，去除高频抖动来估计相机的主观运动参数，并将其作 为拼接图像中显示窗口的位置，运样便得到了只包含有相机主观运动的稳定全帖输出。
[0067] 综上所述，本发明的基于特征匹配的全帖电子稳像方法对误匹配和前景运动物体 具有一定的鲁棒性，可W有效消除视频序列中的平移和旋转抖动，得到稳定的全帖输出，并 易于硬件实时实现。
【主权项】
1. 一种基于特征匹配的全帧电子稳像方法，其特征在于，具体的过程为： 步骤一，利用ORB特征描述符对视频序列中的每一帧进行特征点提取； 步骤二，采用最小与次小汉明距离比值判定和坐标与方向角差值检验的两级匹配策 略，对相邻帧内的特征点进行匹配； 步骤三，针对匹配所获得的匹配点对集合，利用三角形面积相似检验与RANSAC结合的 运动参数估计方法，估计帧间仿射变换参数；对帧间仿射变换参数进行累积，得到当前帧相 对于参考帧的累积仿射变换参数； 步骤四，利用图像拼接方法创建一幅运动补偿的拼接图像，对累积仿射变换参数的平 移分量进行Kalman滤波估计相机的主观运动参数，并将其作为拼接图像中显示窗口的位 置，在拼接图像中设立与参考帧大小相同的显示窗口，获取完整的运动补偿帧。2. 根据权利要求1所述基于特征匹配的全帧电子稳像方法，其特征在于，所述步骤二 的具体过程为： 第一级匹配：对于在当前帧内检测到的每一个特征点，依据汉明距离，在前一帧的特征 点集合中找出汉明距离最小和次小的特征点，将最小与次小汉明距离的比值与预设阈值进 行比较，如果所述比值小于预设阈值，则将具有最小汉明距离的特征点对记为候选匹配点 对，进入第二级匹配； 第二级匹配：对候选匹配点对的空间坐标（Χ，γ)和（Χ'，γ'），方向角R和R'，设立以下 两种判别条件： 第一第二：|R-R' | <Threshold2 其中，Thresholdl表示坐标阈值，Threshold2表示角度阈值； 若以上两个条件均满足，则认为当前的候选匹配点对为正确匹配，否则视为错误匹配 予以删除。3. 根据权利要求1所述基于特征匹配的全帧电子稳像方法，其特征在于，所述步骤三 的具体过程为： 301，在匹配点对集合中随机选取三个匹配点对； 302, 判断三个匹配点对是否不落在一条直线上，且在相邻帧上形成的两个三角形面积 差值小于预设面积阈值，若条件满足则进入303,否则回到301 ; 303, 根据选取的三个匹配点对，计算帧间仿射变换模型参数； 304, 对于根据所述仿射变换模型参数得到的仿射变换模型，统计匹配点对集合中的内 点数； 305, 重复执行301-304预设次数，选出内点数最多的仿射变换模型所对应参数作为最 佳帧间运动参数估计，然后对帧间运动参数进行累积，得到当前帧相对于参考帧的累积仿 射变换参数。4. 根据权利要求1所述基于特征匹配的全帧电子稳像方法，其特征在于，所述利用图 像拼接方法创建一幅运动补偿的拼接图像为：将参考帧作为基准，根据计算出的累积仿射 变换参数，将当前帧进行仿射变换与参考帧对齐，并利用双线性插值和图像融合技术创建 一幅运动补偿的拼接图像。5.根据权利要求1所述基于特征匹配的全帧电子稳像方法，其特征在于，针对步骤一 提取的特征点，根据特征点邻域一阶矩的大小关系，对特征点的方向角进行2 π /32量化， 并建立快速查找表；针对步骤一提取的特征点，根据高斯分布在特征点邻域内取定生成二 值特征描述所需的点对坐标集合，并计算其对应于每一个量化方向角的旋转形式，建立快 速查找表。
【文档编号】H04N5/232GK105872345SQ201510028265
【公开日】2016年8月17日
【申请日】2015年1月20日
【发明人】李佳男, 许廷发, 张坤
【申请人】北京理工大学