视频序列图像的实时配准方法、系统及拍摄终端的制作方法

文档序号:9668192阅读:541来源:国知局
视频序列图像的实时配准方法、系统及拍摄终端的制作方法
【技术领域】
[0001] 本发明涉及图像处理技术领域,特别是一种视频序列图像的实时配准方法及其应 用该方法的系统、拍摄终端。
【背景技术】
[0002] 人们在手持摄像设备过程中,不可避免会遇到因运动抖动而引起的视频画面抖动 问题,因此视频防抖技术使用得越来越广泛。对于各种防抖处理技术,其中需要解决的首要 问题是视频序列图像的配准问题。
[0003] 现有的视频序列图像的配准算法一般分为两大类,一类是基于稠密点集的配准方 法,如光流法及其衍生的方法。另一类是基于稀疏特征点集的配准方法,如SIFT,SURF和 0RB等各类利用特征点配准的方法。其中基于稠密点集的屁配准方法,其对齐效果较好,然 而计算量大,实时性较差,一般很难应用一般手持设备处理中。基于稀疏特征点集的配准方 法具有实用性高的特点成为了今年来国内外的研究热点,其中快速特征点搜索更是一个重 点研究方向。当中0RB特征检测在特征点鲁棒性和计算量上有一个很好的折衷,但对于手 持设备的实时检测匹配处理仍没有一个比较好的解决方法。

【发明内容】

[0004] 本发明为解决上述问题,提供了一种视频序列图像的实时配准方法、系统及拍摄 终端,其通过使用简化去噪和小根堆响应排序方法对传统的0RB特征点搜索方法进行改 进,大大提高了特征点检测的实时性和鲁棒性,适用范围更广。
[0005] 为实现上述目的,本发明采用的技术方案为:
[0006] 首先,本发明提供一种视频序列图像的实时配准方法,其特征在于,包括以下步 骤:
[0007] 10.对待处理的序列图像进行特征点检测,得到特征点属性;
[0008] 20.根据所述的特征点属性进行计算各个特征点的harris响应值,并根据该 harris响应值对所述的特征点进行堆排序;
[0009] 30.根据所述的堆排序结果进行特征点筛选,得到关键特征点;
[0010] 40.根据所述的特征点属性得到所述的关键特征点的位置信息,并根据该位置信 息构建所述的关键特征点邻域位置的蒙版图;
[0011] 50.根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子;
[0012] 60.根据所述的特征点描述子的相似性对所述的序列图像的进行配准。
[0013] 优选的,所述的步骤10中,进一步包括:
[0014] 11.对所述的序列图像进行灰度化处理,生成灰度图;
[0015] 12.对灰度图像进行降采样,得到一组不同尺度下的灰度图,组成一个灰度图金字 塔;
[0016] 13.对不同尺度的灰度图进行FAST特征点检测,得到特征点的位置属性和尺度属 性。
[0017] 优选的,所述的步骤20中,根据harris响应值对所述的特征点进行堆排序,是通 过构建小根堆,并计算不同尺度灰度图中的对应特征点的harris响应值,在计算harris响 应值的过程的同时对小根堆进行更新。
[0018] 优选的,所述的步骤30中根据所述的堆排序结果进行特征点筛选,是根据预设的 期望特征点的数量K,提取堆排序后的前K个harris响应值较大的特征点,得到关键特征 点。
[0019] 优选的,所述的步骤40中,构建所述的关键特征点邻域位置的蒙版图,进一步包 括:
[0020] 41 :设置特征点描述子的邻域检测尺寸的宽度W和高度Η;
[0021] 42 :根据所述的关键特征点所在尺度空间下的尺度灰度图中的位置信息,换算出 对应在该尺度空间下的关键特征点的蒙版位置信息;
[0022] 43:遍历所有的关键特征点,重复步骤42,形成最终一组不同尺度空间下的检测 蒙版图,组成相应的蒙版图金字塔。
[0023] 优选的,所述的步骤50中,根据所述的蒙版图在所述序列图像中提取所述关键特 征点的特征点描述子,进一步包括:
[0024] 51.根据所述的关键特征点的蒙版图对所述的序列图像进行局部的快速高斯模糊 处理,得到局部模糊图像;
[0025] 52.根据灰度质心法计算出所述的关键特征点的响应主方向;
[0026] 53.根据所述的关键特征点的响应主方向在所述的局部模糊图像中提取该关键特 征点所对应的特征点描述子。
[0027] 优选的,所述的步骤60中,根据所述的特征点描述子的相似性对所述的序列图像 的进行配准,是通过计算所述的序列图像中对应的关键特征点的特征点描述子之间的汉明 距离或者欧式距离,并对该距离与预设阈值进行比较计算来判断所述的特征点描述子的相 似程度。
[0028] 并且,本发明还根据以上方法相应的提供了一种视频序列图像的实时配准系统, 其包括:
[0029] 特征点检测模块,用于对待处理的序列图像进行特征点检测,得到特征点属性;
[0030] 特征点排序模块,其根据所述的特征点属性进行计算各个特征点的harris响应 值,并根据该harris响应值对所述的特征点进行堆排序;
[0031] 特征点筛选模块,其根据所述的堆排序结果进行特征点筛选,得到关键特征点;
[0032] 蒙版图构建模块,根据所述的特征点属性得到所述的关键特征点的位置信息,并 根据该位置信息构建所述的关键特征点邻域位置的蒙版图;
[0033] 描述子提取模块,其根据所述的蒙版图在所述序列图像中提取所述关键特征点的 特征点描述子;
[0034]图像配准模块,其根据所述的特征点描述子的相似性对所述的序列图像的进行配 准。
[0035] 优选的,所述的描述子提取模块进一步包括:
[0036] 模糊处理单元,其根据所述的关键特征点的蒙版图对所述的序列图像进行局部的 快速高斯模糊处理,得到局部模糊图像;
[0037] 响应方向计算单元,其根据灰度质心法计算出所述的关键特征点的响应主方向;
[0038] 描述子提取单元,其根据所述的关键特征点的响应主方向在所述的局部模糊图像 中提取该关键特征点所对应的特征点描述子。
[0039]另外,本发明还提供了一种拍摄终端,其包括上述任一项所述的视频序列图像的 实时配准系统。
[0040] 本发明的有益效果是:
[0041] 本发明的一种视频序列图像的实时配准方法、系统及拍摄终端,其通过对待处理 的序列图像进行特征点检测并计算各个特征点的harris响应值,根据该harris响应值对 所述的特征点进行堆排序和特征点筛选,得到关键特征点,根据所述的特征点属性得到所 述的关键特征点的位置信息,并根据该位置信息构建所述的关键特征点邻域位置的蒙版 图,然后根据所述的蒙版图在所述序列图像中提取所述关键特征点的特征点描述子,最后 根据所述的特征点描述子的相似性对所述的序列图像的进行配准,不仅大大的提高了特征 点检测的实时性和鲁棒性,而且能够获得准确且快速的匹配结果,特别适用于一些对实时 性要求较高的应用场景,例如实时防抖、场景匹配、抽帧算法中。
【附图说明】
[0042] 此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发 明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0043] 图1为本发明视频序列图像的实时配准方法的流程简图;
[0044]图2为本发明视频序列图像的实时配准系统的结构不意图;
[0045] 图3为本发明拍摄终端的结构示意图。
【具体实施方式】
[0046] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例 中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是 本发明一部分实施例,而不是全部的实施例。应当理解,此处所描述的具体实施例仅用以解 释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出 创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0047] 如图1所示,本发明的一种视频序列图像的实时配准方法,其包括以下步骤:
[0048] 10.对待处理的序列图像进行特征点检测,得到特征点属性;
[00
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1