点的位置信息， 并根据该位置信息构建所述的关键特征点邻域位置的蒙版图；
[0103] 描述子提取模块105,其根据所述的蒙版图在所述序列图像中提取所述关键特征 点的特征点描述子；
[0104] 图像配准模块106,其根据所述的特征点描述子的相似性对所述的序列图像的进 行配准。
[0105] 其中，所述的描述子提取模块105进一步包括：
[0106] 模糊处理单元1051，其根据所述的关键特征点的蒙版图对所述的序列图像进行局 部的快速高斯模糊处理，得到局部模糊图像；
[0107] 响应方向计算单元1052,其根据灰度质心法计算出所述的关键特征点的响应主方 向；
[0108] 描述子提取单元1053,其根据所述的关键特征点的响应主方向在所述的局部模糊 图像中提取该关键特征点所对应的特征点描述子。
[0109] 如图3所示，本发明还提供一种拍摄终端200,该拍摄终端200包括如上所述的视 频序列图像的实时配准系统100,其中，视频序列图像的实时配准系统100可以采用图2实 施例的结构，其对应地，可以执行图1所示方法实施例的技术方案，其实现原理和技术效果 类似，详细可以参见上述实施例中的相关记载，此处不再赘述。
[0110] 所述拍摄终端包括：手机、数码相机或平板电脑等配置有摄像头的设备。
[0111] 需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重 点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。 对于系统实施例和终端实施例而言，由于其与方法实施例基本相似，所以描述的比较简单， 相关之处参见方法实施例的部分说明即可。
[0112] 并且，在本文中，术语"包括"、"包含"或者其任何其他变体意在涵盖非排他性的包 含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括 没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。 在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素 的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理 解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的 硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以 是只读存储器，磁盘或光盘等。
[0113] 上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所 披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能 够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人 员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护 范围内。
【主权项】
1. 一种视频序列图像的实时配准方法，其特征在于，包括以下步骤：10. 对待处理的序列图像进行特征点检测，得到特征点属性；20.根据所述的特征点属性进行计算各个特征点的harris响应值，并根据该harris响 应值对所述的特征点进行堆排序；30.根据所述的堆排序结果进行特征点筛选，得到关键特征点；40.根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构 建所述的关键特征点邻域位置的蒙版图；50. 根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子；60.根据所述的特征点描述子的相似性对所述的序列图像的进行配准。2. 根据权利要求1所述的一种视频序列图像的实时配准方法，其特征在于：所述的步 骤10中，进一步包括：11. 对所述的序列图像进行灰度化处理，生成灰度图；12. 对灰度图像进行降采样，得到一组不同尺度下的灰度图，组成一个灰度图金字塔；13. 对不同尺度的灰度图进行FAST特征点检测，得到特征点的位置属性和尺度属性。3. 根据权利要求2所述的一种视频序列图像的实时配准方法，其特征在于：所述的步 骤20中，根据harris响应值对所述的特征点进行堆排序，是通过构建小根堆，并计算不同 尺度灰度图中的对应特征点的harris响应值，在计算harris响应值的过程的同时对小根 堆进行更新。4. 根据权利要求1所述的一种视频序列图像的实时配准方法，其特征在于：所述的步 骤30中根据所述的堆排序结果进行特征点筛选，是根据预设的期望特征点的数量K，提取 堆排序后的前K个harris响应值较大的特征点，得到关键特征点。5. 根据权利要求2或3或4所述的一种视频序列图像的实时配准方法，其特征在于： 所述的步骤40中，构建所述的关键特征点邻域位置的蒙版图，进一步包括： 41 :设置特征点描述子的邻域检测尺寸的宽度W和高度Η; 42 :根据所述的关键特征点所在尺度空间下的尺度灰度图中的位置信息，换算出对应 在该尺度空间下的关键特征点的蒙版位置信息； 43 :遍历所有的关键特征点，重复步骤42,形成最终一组不同尺度空间下的检测蒙版 图，组成相应的蒙版图金字塔。6. 根据权利要求1或2或3或4所述的一种视频序列图像的实时配准方法，其特征在 于：所述的步骤50中，根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点 描述子，进一步包括：51. 根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊处 理，得到局部模糊图像；52. 根据灰度质心法计算出所述的关键特征点的响应主方向；53. 根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特征点 所对应的特征点描述子。7. 根据权利要求1所述的一种视频序列图像的实时配准方法，其特征在于：所述的步 骤60中，根据所述的特征点描述子的相似性对所述的序列图像的进行配准，是通过计算所 述的序列图像中对应的关键特征点的特征点描述子之间的汉明距离或者欧式距离，并对该 距离与预设阈值进行比较计算来判断所述的特征点描述子的相似程度。8. -种视频序列图像的实时配准系统，其特征在于，包括： 特征点检测模块，用于对待处理的序列图像进行特征点检测，得到特征点属性； 特征点排序模块，其根据所述的特征点属性进行计算各个特征点的harris响应值，并 根据该harris响应值对所述的特征点进行堆排序； 特征点筛选模块，其根据所述的堆排序结果进行特征点筛选，得到关键特征点； 蒙版图构建模块，根据所述的特征点属性得到所述的关键特征点的位置信息，并根据 该位置信息构建所述的关键特征点邻域位置的蒙版图； 描述子提取模块，其根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征 点描述子； 图像配准模块，其根据所述的特征点描述子的相似性对所述的序列图像的进行配准。9. 根据权利要求8所述的一种视频序列图像的实时配准系统，其特征在于，所述的描 述子提取t吴块进一步包括： 模糊处理单元，其根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速 高斯模糊处理，得到局部模糊图像； 响应方向计算单元，其根据灰度质心法计算出所述的关键特征点的响应主方向； 描述子提取单元，其根据所述的关键特征点的响应主方向在所述的局部模糊图像中提 取该关键特征点所对应的特征点描述子。10. -种拍摄终端，其特征在于，包括权利要求8至9任一项所述的视频序列图像的实 时配准系统。
【专利摘要】本发明公开了一种视频序列图像的实时配准方法、系统及拍摄终端，其对待处理的序列图像进行特征点检测并计算各个特征点的harris响应值，根据该harris响应值对所述的特征点进行堆排序和特征点筛选，得到关键特征点，根据所述的特征点属性得到所述的关键特征点的位置信息，并根据该位置信息构建所述的关键特征点邻域位置的蒙版图，然后根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子，最后根据所述的特征点描述子的相似性对所述的序列图像的进行配准，不仅大大的提高了特征点检测的实时性和鲁棒性，而且能够获得准确且快速的匹配结果，特别适用于一些对实时性要求较高的应用场景，例如实时防抖、场景匹配、抽帧算法中。
【IPC分类】G06T7/00
【公开号】CN105427333
【申请号】CN201510973387
【发明人】张伟, 李骈臻, 张长定, 傅松林
【申请人】厦门美图之家科技有限公司
【公开日】2016年3月23日
【申请日】2015年12月22日