一种基于形状交互矩阵的图像错误匹配检验方法_3

文档序号:9788146阅读:来源:国知局
到一个视觉字字典并量化所有检测到的特征点,过滤掉在数据库中出 现次数最多5%与最少10%的视觉字,以不同视觉字为节点,以图像中出现的所有特征点为 元素,建立便于检索的倒排索引(Inverted Index);
[0075] A3)在标准图像数据库上分别加入一千、一万、十万以及一百万规模的冗杂图片, 利用倒排索引确定查询图片与被检索图片之间的候选匹配关系;
[0076] A4)输入两幅图像作为待比较图像,针对两幅图像之间匹配的特征点对,得到两幅 图像中各特征点的齐次坐标;
[0077] A5)分别计算得到两幅图像关于齐次坐标的两个形状交互矩阵;
[0078] A6)通过欧氏距离法或余弦相似法计算两个形状交互矩阵逐列之间的差异,得到 两幅图像的错误匹配对;
[0079] A7)去除其中的错误匹配,过滤后得到正确匹配对数;
[0080] A8)反复执行步骤A4)至A7),并统计通过当前查询图片与数据库中所有被检索图 片之间正确匹配对的数量,将正确匹配对的数量由大到小进行重排序,得到图像检索结果。
[0081] 与现有技术相比,本发明的有益效果是:
[0082] 本发明提供一种基于形状交互矩阵(Shape Interaction Matrix,简称SIM)的具 有仿射变换不变性的错误匹配检验方法,通过两幅图像之间匹配的特征点对计算得到两幅 图像关于齐次坐标的两个形状交互矩阵,再通过比较两个形状交互矩阵逐列之间的差异, 得到两幅图像的错误匹配对;本发明模型简单,理论性好,实时性能显著。本发明提供方法 的有点主要有:
[0083] ( - )模型简单:本发明仅用特征点的位置信息作为输入来最终过滤出错误匹配, 而无需其他几何先验信息(如特征点的主方向、主尺度信息),与特征点的检测方法及描述 方法完全无关,大大扩展了其应用范围;
[0084](二)本发明方法的有效性得到理论上的验证:形状交互矩阵最初被用于聚类分 析,它能够刻画和表示各点之间的几何关系;进一步地,当两个点集之间存在仿射变换时 (包括平移、旋转、尺度及错切变换),其形状交互矩阵保持不变;因此,本发明提供方法对于 仿射几何变换具有较强的鲁棒性;
[0085](三)本发明在计算速度上性能非常显著:本发明采用非迭代方式进行计算,避免 了较为耗时的迭代拟合估计过程;两个点集的形状交互矩阵可以分别通过简单直接的公式 计算得到,而随后的形状交互矩阵比较过程效率很高,适用于对实时性要求较高的应用场 合。
【附图说明】
[0086] 图1是本发明实施例中采用的基于形状交互矩阵的图像错误匹配检验方法的流程 框图。
[0087] 图2是本发明实施例中采用的基于形状交互矩阵的图像错误匹配检验方法的方法 步骤不意图;
[0088] 其中,各图中的1~9为9个不同的候选特征点匹配对;(a)为候选匹配对,(a)中上 下两幅示例图分别表示两张图像中检测到的特征点各自在图像中所处的位置,可以发现下 图中的点与上图中的点之间存在一个明显的仿射变换(Affine Transformation),而5号特 征匹配对的位置似乎不满足这个统一的仿射变换,可能是错误匹配对;(b)为S頂矩阵,(b) 中冗:与办分别为用齐次坐标计算得到的两个形状交互矩阵;(c)为差异项,(c)中上图为 Ζ2逐元素(element-wise)之间的差异大小,越接近白色表示差异越显著,越接近黑色表示 差异越不明显,(c)中下图为21与22逐列(column-wise)之间的差异,可以发现5号特征匹配 对逐列间的差异较其他特征点很显著;(d)为检测到的错误匹配,(d)图中标出了通过本发 明提供方法检测得到的错误匹配对,也即5号匹配对,用虚线标出。
[0089] 图3是本发明实施例中阈值截断点选取方法的示意图;
[0090] 其中,10为降序排列的欧氏距离曲线到坐标原点的距离最近处,11表示将上述到 坐标原点的距离最近处的点设定为阈值截断点,12为错误匹配对在形状交互矩阵中所对应 的欧氏距离值,13为正确匹配对在形状交互矩阵中所对应的欧氏距离值。
[0091] 图4为已有的十一种方法与本发明提供方法在三个数据库上平均检索时间的比较 示意图;
[0092] 其中,[0]为本发明;[1]~[11]分别为 卩&5^?(:、5?&^^?(:,由于这三种方法出自同一文献[4],我们用[4-1]、[4-2]、[4-3]加以区 别)、WGC、EWGC、SGC、PGM、GC、LRGGC、L1GGC、B0F,[ 1 ]~[11 ]所代表的方法分别与引用文献 [1]~[11]相对应。
[0093]图5为本发明提供方法[0]与方法B〇F[12]在三个数据库上的检索结果及准确率-召回率曲线对比示意图;
[0094]其中,(a)为GCDup数据库;(b)为Holiday数据库;(c)为0xford5k数据库;[0]为本 发明提供方法;[12 ]为方法BoF。
【具体实施方式】
[0095] 下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范 围。
[0096] 本发明提供一种基于形状交互矩阵的具有仿射变换不变性的图像错误匹配检验 方法,图1是本发明提供方法的流程框图,包括如下步骤:
[0097] 步骤1:输入两幅图像,其中一幅为查询图片,另一幅为数据库中的被检索图片之 一。首先采用业界已有的仿射-尺度不变特征变换方法(Affine-Scale Invariant Feature Transformation,简称Affine-SIFT,参见引用文献[13]),分别对每幅图像做不同程度的仿 射变换得到几幅仿射变换采样图,在这些仿射变换采样图像上使用引用文献[14]提出的方 法,进一步做不同程度的尺度变换得到几幅尺度变换采样图;继而使用的高斯差分 (Different of Gauussian,简称DoG,参见引用文献[14])检测出在多个尺度空间下的极值 点作为局部特征点,这些点对平移、旋转及尺度变换具有一定的不变性;再将各尺度不变的 局部特征点在仿射-尺度变换采样图像中的坐标位置反变换回原始图像空间中,以获得在 仿射变换空间下具有一定不变性的局部特征点;依循文献[14]所述,根据特征点像素梯度 分布来确定特征点的主方向和主尺度,之后以主方向为基准,以主尺度为范围,在各特征点 4 X 4的邻域内分别求取8个方向上的梯度分布,得到共128维的直方图向量作为该特征点的 "特征描述子"。接下来,依据文献[14]所述,在寻找特征匹配时,比较与某特征点的特征描 述子在欧氏距离意义下最近和次近的特征点,如果最近的欧氏距离除以次近的欧氏距离小 于某个比例阈值(文献[14]中给出的经验阈值为0.5,如果对匹配对的精度要求较高可设为 0.4,若对匹配对数目要求比较多可设为0.6),则接受这一对匹配点,如此可得到两幅图像 之间的候选特征匹配对(图2(a))。设两幅图像中相互匹配的各特征点的坐标如下:
[0100] 式1和式2中,4,?白脫3χη,Χι、Χ2的每一列对应为一组匹配特征点的坐标(例如一 幅图像中坐标为(xn,yn)的特征点与另一幅图像中坐标为(X21,y21)的特征点相互匹配,以 此类推),n为匹配对的总数。
[0101] 接下来对两组其次坐标Xl·,χ2分别做标准化得到标准化后的齐次坐标,无2;:
[0104]其中齐次坐标的第三行均为1,也即VC E [1, n],[X]3,c5 1; i e {1,2},j e [1,n],% 与3?:为标准化后的坐标值,标准化的计算公式为:
[0107] 其中和分别为Xij与yij的平均值与标准差,其计算公式为:

[0112]步骤2:分别计算两幅图像的形状交互矩阵(图2(b)):
[0115] 其中(.)々表不矩阵的摩尔一彭若斯广义逆(Moore-Penrose pseudo-inverse),当X 矩阵各行线性无关时,也即χχτ可逆时,有:
[0117] 故形状交互矩阵可由下述公式求得:
[0120] 步骤3:根据形状交互矩阵的性质,正确匹配对在形状交互矩阵中的表示向量之间 应该比较类似,而错误匹配对在形状交互矩阵中的表示向量则应该差异较大。因此我们可 以通过计算两个形状交互矩阵2 1与办逐列之间的差异,来判定哪些匹配对为错误匹配(图2 (c))。本步骤可以有两种实现方式:
[0121] 方式1,欧氏距离法:
[0122] 11)分别计算&的第i个列向量与Ζ2的第i个列向量之间的欧氏距离d 1:
[0124]式16中,示步骤2中得到的形状交互矩阵,[· ]:>1代表矩阵的第i个列向 量,Hi代表向量二范数的平方,ie[l,n],也即一共需要计算η个欧氏距离值,η为匹配对 的总数。
[0125] 12)如图3所示,将各列向量之间的欧氏距离由大到小排列:
[0126]
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1