一种基于似物性推荐算法的图像匹配方法
【专利摘要】一种基于似物性推荐算法的图像匹配方法，包括预处理部分和检索匹配部分，利用似物性推荐算法得到原始图像中的候选框，再分别计算模板图像和每个候选框的颜色方向直方图，其中候选框的直方图利用事先计算好的积分图来快速得到，然后比较各候选框与模板图像直方图之间的相似度，相似度高于给定阈值，则匹配成功。本发明整幅图像的匹配可以在0.3秒左右完成，在实时性上远高于现有技术方法，同时方向直方图与颜色直方图是适应旋转和尺度变化的，所以本发明方法对旋转和尺度变化是鲁棒的。
【专利说明】
一种基于似物性推荐算法的图像匹配方法
技术领域
[0001] 本发明涉及图像处理领域，尤其是涉及一种基于似物性推荐算法的快速图像匹配 方法。
【背景技术】
[0002] 人们通过眼睛，耳朵等各种各样的器官与外界接触，接受信息，其中视觉信息占了 80%以上。与此同时，随着计算机技术的提升以及图像处理领域的成熟，图像作为信息传递 的重要载体之一，在人们的日常生活中越来越常见。每天都有以TB容量计算的图像产生。怎 样快速准确地在这些图像中找到指定的物体是目前亟需解决的一大问题。
[0003] 模板匹配是解决该问题的一种思路。模板匹配计算模板图像与要搜索图像中子图 像的相似度，当相似度高于一定阈值时，匹配成功。常见的计算相似度的方法有平均绝对差 值MAD，绝对误差和SAD，差值的平方和SSD等，其复杂度与模板图像大小成正比。然而一般情 况下模板图像与要搜索图像之间存在位置、尺度、旋转等不同。这导致要搜索的子图像空间 非常大，即使采用多步长的方法来缩小搜索空间，算法的复杂度仍远不能支持实时性要求。
[0004] 另外一种方法是局部特征点匹配。常见的有尺度不变特征变换SIFT( Scale Invariant Feature Transform)、快速鲁棒算法SURF(Speeded Up Robust Features)等。 局部特征点匹配方法首先得到在尺度、旋转以及轻微的形变下仍然相对稳定的特征点，然 后对每个特征点附加若干维的向量来描述该特征点的邻域信息，通过计算两幅图像的特征 点并进行特征点匹配来寻找相似的部分。相比于模板匹配，局部特征点匹配不用涉及在庞 大的子图像空间中搜索的问题，而只需要在源自两幅图像的两个特征点集合中进行搜索， 找到相似的子集。但由于特征点数量通常很多，所以该方法速度也不快。
【发明内容】
[0005] 本发明要解决的问题是:现有的图相匹配方法计算速度不能满足实时性的要求， 需要研究新的匹配方法来满足快速准确地在图像中找到指定的物体的技术需求。
[0006] 本发明的技术方案为:一种基于似物性推荐算法的图像匹配方法，包括预处理部 分和检索匹配部分，预处理部分对模板图像和原始图像分别进行边缘提取，并对模板图像 计算其边缘和颜色的直方图信息，对原始图像计算方向积分图与颜色积分图，
[0007] 检索匹配部分步骤如下：
[0008] Pl)通过似物性推荐算法，得到原始图像的候选框集合；
[0009] P2)根据原始图像方向积分图，计算候选框集合中每一个候选框的方向直方图；
[0010] P3)根据原始图像颜色积分图，计算候选框集合中每一个候选框的颜色直方图；
[0011] P4)计算各候选框和模板图像的颜色与方向直方图的相似度，相似度达到设定值 则匹配成功。
[0012] 预处理部分步骤为：
[0013] Yl)对模板图像和原始图像分别进行边缘提取，得到对应的概率图和方向图；
[0014] Y2)对模板图像计算其边缘和颜色的直方图信息，包括对于颜色空间和边缘方向 的任意划分下的直方图：首先将边缘方向等分为若干份，根据每个边缘点方向，计算整幅模 板图像的边缘直方图；其次将颜色空间中每一维等分为若干份，根据模板图像上每个像素 颜色对应区间，分别计算每一维上的颜色直方图；
[0015] Υ3)计算原始图像的方向积分图与颜色积分图。
[0016] 进一步的，步骤Υ3)的方向积分图与颜色积分图计算时，采用与步骤Υ2) -致的空 间划分方式。
[0017] 步骤Ρ4)中利用向量相似性计算方式计量相似度，向量相似性计算方式包括欧式 距离、余弦值和巴氏距离。
[0018] 本发明提出一种新的匹配方法，利用似物性推荐算法来缩小搜索范围，似物性推 荐算法认为一个图像是否恰好包含了一个物体是有共性的，因而可以用一种通用的算法对 输入图像进行预处理，得到可能包含物体的候选框，其数量远远小于整个子图像空间的大 小。似物性推荐算法筛选出图像中可能包含物体的候选框，输入一幅图片，输出2000+的候 选框，例如似物性推荐算法中的基于边缘定位物体(Edge Boxes)算法，在保证高召回率的 情况下，处理一副图像只需要0.2-0.3秒，得到2000到5000个候选框。似物性推荐算法可以 快速缩小图像匹配的范围，但如果通过现有的模板匹配的方式结合似物性推荐算法，通过 计算每个候选框与模板图像的MAD来进行匹配，仍然要耗费数秒到十秒不等。本发明通过积 分图方法快速计算每个候选框的直方图，并比较候选框和模板图像的直方图相似度来匹配 图像，整幅图像的匹配可以在0.3秒左右完成，在实时性上远高于现有技术方法。由于事先 计算了积分图，所以每个候选框只需要若干次加减法就能得到相应的直方图，因而计算效 率是得到保障的。同时方向直方图与颜色直方图是适应旋转和尺度变化的，所以本发明方 法对旋转和尺度变化是鲁棒的。
【附图说明】
[0019] 图1为本发明实施例原始图像边缘处理图。
[0020] 图2为本发明实施例模板图像边缘处理图。
[0021] 图3为本发明实施例处理结果图。
[0022]图4为本发明的流程图。
【具体实施方式】
[0023] 本发明提出一种基于似物性推荐算法的快速图像匹配方法。在保证高效率的同 时，还能处理尺度以及旋转角度的变化。本发明利用似物性推荐算法得到原始图像中的候 选框，再分别计算模板图像和每个候选框的颜色方向直方图，其中候选框的直方图利用事 先计算好的积分图来快速得到，然后比较各候选框与模板图像直方图之间的相似度，相似 度高于给定阈值，则匹配成功。
[0024] 为了使本发明实现的技术手段、技术特征、达成目的与功效易于明白和理解，下面 结合具体图示，进一步阐述本发明。
[0025] 本发明的目的在于提供一种新的快速准确的图像匹配方法，本发明通过似物性推 荐算法缩小搜索空间，并且在此基础上设计了一种快速筛选的方法，从而提升匹配的速度， 同时能处理旋转和尺度变换。本发明的具体实施如下：
[0026] 参见图4,为本发明的流程示意图。包括预处理部分和检索匹配部分；
[0027]其中，预处理部分通过以下步骤来完成：
[0028] 第1步，提取模板图像和原始图像的边缘图，得到的结果包括一个概率图和一个方 向图，概率图对应点是边缘的概率，如果点是边缘上的点，方向图中显示边缘在该点的切线 方向。图2为模板图像处理得到的边缘图，其中模板图像大小为148*132像素，图1为原始图 像的边缘图，原始图像大小为353*500像素。
[0029] 第2步，对模板图像，将边缘点方向等分为8份，根据每个边缘点方向，计算模板图 像的方向直方图，得到1 *8维特征，记为〇 Iτ;
[0030] 第3步，对模板图像，将颜色空间（RGB)中每一维等分为8个区域，计算模板图像每 一维上的颜色直方图，得到3*8维特征，按照RGB分别记rl T，glT，blT;
[0031] 第4步，计算原始图像的颜色积分图{1}和方向积分图{0}。以方向积分图为例简述 其计算过程:首先建立8个矩阵0[ i ]，对应对于方向范围的8个划分，自左向右，自上而下的 遍历图像中每一点，对于某一点(x，y)，作如下处理：
[0032] 0[i](x+l ,y+l)=e+0[i](x,y+l)+0[i](x+l ,y)-〇[i](x,y) ,ie {〇···7}；
[0033] 对于每个i，若该点的方向属于i所在的划分区间，则e为该点的边缘强度，否则e为 0〇
[0034] 检索匹配部分通过以下步骤完成：
[0035] 第5步，通过似物性推荐算法，得到原始图像中可能为物体的候选框集合。下面以 edgeboxes为例简述其步骤。
[0036] 1).采用极大值抑制(匪S)方法，抑制边缘中的非极大值点，之后根据边缘点的连 续性将点聚合成若干集合以提升计算效率。具体方式如下：
[0037] 对每个边缘点沿着其8邻点向外扩散，直到扩散点有如下情况时停止:该点不是边 缘点，或者改点的方向与初始点方向相差90度以上(包含90度）。这样就把零散的边缘点聚 合成若干集合，以加快计算速度。
[0038] 2).设定步长筛选子图像空间，根据越过框边缘的边的数量对每一个框打分。打分 策略为每一个框划过其边界的边缘数量，数量多分数低，反之则分数高。
[0039] 3).保留分数大于给定阈值的框供下一步处理，本实例中选取分数阈值为0.01，最 后筛选得到2257个候选框。
[0040] Edgeboxes为现有技术算法，上述描述对本领域技术人员是清楚的，不再详述。
[0041 ]第6步，对第5步得到的每一个候选框，基于第4步计算得到的方向积分图，计算得 到该候选框的方向直方图，记为〇2T，〇2T= {〇2[i]}。具体步骤如下：
[0042] o2[i]=0[i](x0,y0)+0[i](xl ,yl)-0[i](x0,yl)-0[i](xl ,y0)；
[0043] (x0,y0)、（xl ,yl)分别代表候选框左上角和右下角顶点在图像中的坐标。
[0044]由上述公式可知，对一个框计算其方向直方图只需要3*8 = 24次加减法。
[0045] 第7步，对第5步得到的每一个候选框，基于第4步计算得到的颜色积分图，计算得 到该候选框的颜色直方图，分别记为r2T，g2 T，b2T，r2T={r2[i]}，g2T={g2[i]}，b2 T={b2 [i]}。具体如下：
[0046] r2[i]=R[i](xO,yO)+R[i](xl ,yl)-R[i](xO,yl)-R[i](xl ,y0)；
[0047] g2[i]=G[i](xO,yO)+G[i](xl ,yl)-G[i](xO,yl)-g[i](xl ,y0)；
[0048] b2[i]=B[i](xO,yO)+B[i](xl ,yl)-b[i](xO,yl)-b[i](xl ,y0)；
[0049] 每一个框计算颜色直方图的开销是3*3*8 = 72次加减法。
[0050]第8步，对每一个候选框比较其特征与模板图像计算得到的特征的相似度，若相似 度高于给定阈值则匹配成功。相似度可以利用各种向量相似性计算方式计量，包括但不限 于欧式距离，余弦值，巴氏距离等，本实施例采用巴氏距离。在计算相似度时，计算各候选框 和模板图像的颜色与方向直方图的相似度，颜色直方图是对三个通道各自求的，加上一个 边缘方向的，一共有4个特征，对这四个特征分别求相似度，再求四个相似度的平均值。巴氏 距离的计算公式为：
[0051]
[0052] 将aj，bj用相应的模板图像和候选框直方图〇1\〇27 41\81\1317 42\827沁27替 代，对应计算得到四个距离，取其平均值作为最终相似度，其范围在0到1之间。公式中的η对 应颜色与方向直方图的空间划分数，本实施例中为8,相似度高于预设阈值则匹配成功，反 之匹配失败。最终识别成功，匹配结果见图3。实施例中预处理部分耗时0.043314秒，匹配部 分耗时0.282478秒，总耗时0.3秒左右，满足图相匹配对实时性的要求，且从实施例可见，本 发明方法也同时能够对应尺度以及旋转角度的变化。
【主权项】
1. 一种基于似物性推荐算法的图像匹配方法，其特征是包括预处理部分和检索匹配部 分，预处理部分对模板图像和原始图像分别进行边缘提取，并对模板图像计算其边缘和颜 色的直方图信息，对原始图像计算方向积分图与颜色积分图， 检索匹配部分步骤如下： P1)通过似物性推荐算法，得到原始图像的候选框集合； P2)根据原始图像方向积分图，计算候选框集合中每一个候选框的方向直方图； P3)根据原始图像颜色积分图，计算候选框集合中每一个候选框的颜色直方图； P4)计算各候选框和模板图像的颜色与方向直方图的相似度，相似度达到设定值则匹 配成功。2. 根据权利要求1所述的一种基于似物性推荐算法的图像匹配方法，其特征是预处理 部分步骤为： Y1)对模板图像和原始图像分别进行边缘提取，得到对应的概率图和方向图； Y2)对模板图像计算其边缘和颜色的直方图信息，包括对于颜色空间和边缘方向的任 意划分下的直方图：首先将边缘方向等分为若干份，根据每个边缘点方向，计算整幅模板图 像的边缘直方图；其次将颜色空间中每一维等分为若干份，根据模板图像上每个像素颜色 对应区间，分别计算每一维上的颜色直方图； Y3)计算原始图像的方向积分图与颜色积分图。3. 根据权利要求2所述的一种基于似物性推荐算法的图像匹配方法，其特征是步骤Y3) 的方向积分图与颜色积分图计算时，采用与步骤Y2) -致的空间划分方式。4. 根据权利要求1或2或3所述的一种基于似物性推荐算法的图像匹配方法，其特征是 步骤P4)中利用向量相似性计算方式计量相似度，向量相似性计算方式包括欧式距离、余弦 值和巴氏距离。
【文档编号】G06T7/40GK106056575SQ201610293356
【公开日】2016年10月26日
【申请日】2016年5月5日
【发明人】武港山, 蒋哲翎
【申请人】南京大学