基于立体视觉匹配的图像采集抖动消除方法及装置制造方法
【专利摘要】本发明适用智能终端及图像处理领域，提供了一种基于立体视觉匹配的图像采集抖动消除方法，所述方法包括：采用FAST特征点检测提取前后两帧图像的特征兴趣点；采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩阵F；由转换矩阵F修正抖动后带来的偏移得到修正后的图片。本发明提供的方法具有对多帧图像防抖动的优点，并且计算速度快。
【专利说明】基于立体视觉匹配的图像采集抖动消除方法及装置
【技术领域】
[0001] 本发明属于智能终端及图像处理领域，尤其涉及一种基于立体视觉匹配的图像采 集抖动消除方法及装置。
【背景技术】
[0002] 随着生活水平不断地提高，目前图像采集、手机拍照已经成为人们生活必不可少 的一部分。但由于拍摄技术以及外界物体运动等影响，徒手拍照的图像可能会出现抖动模 糊等现象，这时人们往往会借助外界的固定平衡装置，如三脚架、位移检测传感单元等来辅 助拍摄图像。通过额外的辅助工具，虽然可以有效地解决图像采集防抖动的问题，但同时也 给拍摄带来不便，必须随身携带庞大的工具。后期图像处理的方法，使得拍摄不借助外界的 工具的前提下也可以解决抖动模糊的问题。有时候人们拍摄时会同时拍摄几张，但这样在 不同时刻拍摄的图片由于徒手的抖动问题，往往会给拍摄图像带来很明显的抖动。
[0003] 随着科技水平的不断提高，手持移动设备都具有了相机拍摄的功能，相机获取图 像的过程是外部场景的光线通过光学镜头聚焦在图像传感器上形成光学图像，并通过一定 时间的积分，使得光学图像转化为数字图像。在这个过程中，必须保持光学图像在图像传感 器上的静态性，否则获得积分图像就会发生模糊抖动，影响图像质量。，前业界采用图像拍 摄抖动去除主要光学防抖以及电子防抖。
[0004] 专利CN200510108036. 2与CN200510108037. 7通过获取帧间图像的全局相对运动 矢量来判断当前图像是否存在抖动，并通过此全局相对运动矢量对图像进行抖动补偿。专 利CN200910188891. 7以及专利CN201210013718. 5分别提出使用加速度计以及位移检测传 感单元来检测相机是否存在抖动问题，最后根据检测发生的抖动位移来修正图像抖动发生 的变化，但这种方法需要额外的硬件辅助，增大了方案成本设计。专利CN201010526514通 过控制快门阈值的控制以及对图像进行滤波降噪处理来改善图像抖动模糊质量，但这种方 法只适合单帧图像的抖动问题消除。
[0005] 目前大部分现有技术均是针对相机拍摄防抖动的问题是基于单幅图像抖动模糊 来解决的，但有时用户需要手持拍照连续几帧图像或者动态的视频，这时如果通过徒手拍 摄图像，往往很容易发生抖动的现象，这也是手持设备拍照最大问题之一。
【发明内容】
[0006] 本发明实施例的目的在于提供一种基于立体视觉匹配的图像采集抖动消除方法 及装置，其解决现有技术的无法解决多帧图像抖动的问题。
[0007] 本发明实施例是这样实现的，一方面，提供一种基于立体视觉匹配的图像采集抖 动消除方法，所述方法包括：
[0008] 采用FAST特征点检测提取前后两帧图像的特征兴趣点；
[0009] 采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；
[0010] 根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转 换矩阵F;
[0011] 由转换矩阵F修正抖动后带来的偏移得到修正后的图片。
[0012] 可选的，所述采用FAST特征点检测提取前后两帧图像的特征兴趣点具体包括：
[0013] 采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆 周周围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四 个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。 [0014]另一方面，提供一种基于立体视觉匹配的图像采集抖动消除装置，所述装置包 括：
[0015] 提取单元，用于采用FAST特征点检测提取前后两帧图像的特征兴趣点；
[0016] 匹配单元，用于采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣 占.
[0017] 求解单元，用于根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的 旋转移动的转换矩阵F;
[0018] 修正单元，用于由转换矩阵F修正抖动后带来的偏移得到修正后的图片。
[0019] 可选的，所述提取单元具体用于
[0020] 采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆 周周围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四 个差值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。
[0021] 在本发明实施例中，本发明提供的技术方案基于FAST特征点以及ORB描述子匹配 的算法运算效率非常高，在嵌入式设备如手机、平板电脑等有限的内存空间存储以及计算 资源的产品中拥有很好的应用前景。本发明提出的立体视觉匹配算法计算复杂度非常低， 在运行效率方面有着很大的优势。通过立体视觉匹配的图像抖动修正，可以有效地解决徒 手拍摄照片或视频不稳定的问题，在未来的图像采集等方面有着很大的应用前景。
【专利附图】
【附图说明】
[0022] 图1是本发明提供的一种基于立体视觉匹配的图像采集抖动消除方法的流程图；
[0023] 图2是本发明提供的FAST特征点检测示意图；
[0024] 图3是本发明提供的对前后帧拍摄的图像特征点匹配的结果示意图；
[0025] 图4(a)为徒手拍摄的前帧图像效果图；
[0026] 图4(b)为徒手拍摄的后帧图像效果图；
[0027] 图4(c)为采用本发明提供的方法进行修正后的效果图；
[0028] 图5(a)为未修正效果图1 ;
[0029] 图5(b)为采用本发明提供的方法修正后的效果图1 ;
[0030] 图6 (a)为未修正效果图2 ;
[0031] 图6(b)为采用本发明提供的方法修正后的效果图2 ;
[0032] 图7 (a)为未修正效果图3 ;
[0033] 图7(b)为采用本发明提供的方法修正后的效果图3 ;
[0034] 图8 (a)为未修正效果图4 ;
[0035] 图8(b)为采用本发明提供的方法修正后的效果图4。
【具体实施方式】
[0036] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0037] 本发明【具体实施方式】提供一种基于立体视觉匹配的图像采集抖动消除方法，上述 方法由手机或其他的智能设备（例如ipad、PDA等）执行，当然在实际应用中，也可以由 其他的智能设备执行，本发明【具体实施方式】并不局限执行该方法设备或装置的具体表现形 式。该方法如图1所示，包括：
[0038] 101、采用FAST特征点检测提取前后两帧图像的特征兴趣点（即特征点）；
[0039] 102、采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点；
[0040] 103、根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动 的转换矩阵F;
[0041] 104、由转换矩阵F修正抖动后带来的偏移得到修正后的图片。
[0042] 本发明在图像处理层面上提出了给予立体视觉匹配的方法对帧间图像的抖动变 换矩阵进行求解，有效地解决了图像抖动带来的问题。基于FAST特征点以及ORB描述子 匹配的算法运算效率非常高，在嵌入式设备如手机、平板电脑等有限的内存空间存储以及 计算资源的产品中拥有很好的应用前景。本发明提出的立体视觉匹配算法计算复杂度非常 低，在运行效率方面有着很大的优势。通过立体视觉匹配的图像抖动修正，可以有效地解决 徒手拍摄照片或视频不稳定的问题，在未来的图像采集等方面有着很大的应用前景。
[0043]FAST特征点检测算法来源于corner的定义，基于每个特征点周围图像灰度值，检 测候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选点的 灰度值差别够大，则认为该候选点为一个特征点：
【权利要求】
1. 一种基于立体视觉匹配的图像采集抖动消除方法，其特征在于，所述方法包括： 采用FAST特征点检测提取前后两帧图像的特征兴趣点； 采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点； 根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转移动的转换矩 阵F ; 由转换矩阵F修正抖动后带来的偏移得到修正后的图片。
2. 根据权利要求1所述的方法，其特征在于，所述采用FAST特征点检测提取前后两帧 图像的特征兴趣点具体包括： 采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周 围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四个差 值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。
3. -种基于立体视觉匹配的图像采集抖动消除装置，其特征在于，所述装置包括： 提取单元，用于采用FAST特征点检测提取前后两帧图像的特征兴趣点； 匹配单元，用于采用基于ORB描述子的方案匹配前后两帧图像的FAST特征兴趣点； 求解单元，用于根据匹配的特征点利用归一化八点法求解出前后帧间图像相机的旋转 移动的转换矩阵F ; 修正单元，用于由转换矩阵F修正抖动后带来的偏移得到修正后的图片。
4. 根据权利要求3所述的装置，其特征在于，所述提取单元具体用于 采用FAST特征点检测获取候选特征点后，在以候选特征点为圆心，预设半径的圆周周 围每隔90度角提取4个点，获取提取的4个点灰度值与候选特征点灰度值之差；如四个差 值中至少三个差值大于灰度阈值，则保留该候选特征点，否则，删除该候选特征点。
【文档编号】H04N5/232GK104506775SQ201410856581
【公开日】2015年4月8日 申请日期:2014年12月31日 优先权日:2014年12月31日
【发明者】何明, 程俊, 王鹏 申请人:深圳先进技术研究院