用于图像识别的基于特征的签名的制作方法

专利名称：用于图像识别的基于特征的签名的制作方法
技术领域：
本发明涉及一种表示图像的方法和装置，另外，涉及例如出于搜索或验证的目的 而比较或匹配图像的方法和装置。
背景技术：
本发明涉及对更早公开的共同待决的欧洲专利申请EP 06255239. 3和英国专利 申请GB 0700468. 2,GB 0712388. 8以及GB 0719833. 6的图像识别技术的改进，将这些申请 的全部内容通过引用并入本文。这些更早的共同待决的专利申请中公开的发明和实施方式 的细节类似地适用于本发明和实施方式。EP 06255239. 3、GB 0700468. 2、GB 0712388. 8 以及 GB 0719833. 6 描述的方法和 装置中使用的图像识别技术均从图像提取短的二进制描述符(参见图2)。这些技术解决了 现有技术的很多缺陷，并且具体地，其特征在于·同时减小了特征提取和匹配的计算复杂度， 减小了图像描述符的大小，·增强了对各种图像修改的鲁棒性，以及 对于各种各样的图像修改，在维持99. 8%的检测率的同时，将虚警率降低到百万 分(ppm)之0. 05的水平。这些方法提供了对很多常见图像修改的非常高水平的鲁棒性。然而，这些方法没 有提供对诸如平移和剪切等图像内容的重要部分丢失或被替换的这类图像修改所需水平 的鲁棒性。因此，希望显著改进对涉及图像内容部分丢失的一类图像修改的鲁棒性。

发明内容
根据第一方面，本发明提供了一种如所附权利要求1中定义的导出图像表示的方法。根据第二方面，本发明提供了一种通过比较根据本发明第一方面导出的图像表示 来比较图像的方法，例如，用于图像匹配。本发明的其他方面包括根据本发明第一方面导出的图像表示的使用方法、执行根 据本发明第一和/或第二方面的方法的装置及计算机程序。本发明涉及一种以基于区域的Trace变换描述符描述的少量感兴趣区域为基础 来表示图像的新方法。其还涉及一种图像匹配的新方法。根据本发明的实施方式，从图像中选择具有代表性的小的兴趣点集合或特征点集 合。在该选择过程中使用一些约束，诸如先前选择的特征周围的禁区。利用修改的基于 Trace变换的方法，从各个所选择的兴趣区域提取二进制“特征签名”。所述特征签名用于 刻画所述特征的局部邻域。利用多个局部特征签名及其几何关系来表示图像。根据本发明的实施方式，通过两个阶段的处理执行图像匹配程序，其涉及在应用几何约束之前利用累计Hamming距离快速识别特征点匹配对的候选集，以便提高该方法的 准确率。具体地，由从所述图像中选择的特征点的几何形状提供的信息有助于显著减少虚 警率。所述几何信息还可用于确定图像变换的类别和变换参数。本发明的实施方式被设计为对EP 06255239. 3、GB 0700468. 2、GB0712388. 8以及 GB 0719833. 6描述的图像识别装置及方法的补充。本发明有利地提供了对特定图像修改的 额外的鲁棒性。然而，利用现有技术的处理资源，独立使用本发明的技术也许在搜索速度方 面不能提供与前述在先的共同待决的专利申请中所提出的技术相同的性能。具体地，根据 本发明的实施方式的识别潜在特征对的处理可能比先前提出的方法至少慢一个数量级。尽 管可以独立使用根据本发明的方法以及在先的共同待决的专利申请中的一种或更多种方 法，但优选的是将这些方法结合起来。这样，如以下所述，利用较快方法得到的结果可以传 递到本发明的相对较慢的方法中，以便进一步分析。当联合应用时，速度方面性能改善，且 虚警率和鲁棒性都最大化。根据以下描述和所附权利要求书，本发明的其他特征和优势将更加明显。


现在将参考附图描述本发明的实施方式，在附图中图Ia示出了一幅图像；图Ib示出了图Ia所示图像的缩小版本；图Ic示出了图Ia所示图像的旋转版本；图Id示出了图Ia所示图像的模糊版本；图Ie示出了图Ia所示图像的(左-右)翻转版本；图If示出了图Ia所示图像的严重压缩版本；图Ig示出了图Ia所示图像的裁剪版本；图2示出了一幅图像以及根据现有技术的对所述图像的比特串表示；图3示出了利用基于梯度的特征检测器检测到的兴趣点集的示例；图4示出了特征未被选择的图像边界区域以及基于强度的最终特征集；图5示出了利用Hamming距离从(a)原始图像和(b) (a)的旋转版本找到的匹配 的兴趣点，其中，兴趣点之间的直线长度用于施加几何约束；以及图6是根据本发明的一个实施方式的装置的框图。
具体实施例方式以下将描述用于获取图像表示(具体而言为图像标识符)以及出于对一幅或多幅 图像进行识别、匹配或者验证的目的而使用这样的表示/标识符的各种实施方式。本发明 对于识别图像尤其有用，但并不限于此。在所描述的实施方式中，“图像标识符”(也简称为 “标识符”、“签名，，或“图像签名，，)是图像表示的一个例子，且该术语仅用来表达图像的表 示或者描述符。本领域技术人员将能理解，根据本发明的实施方式的图像识别装置和方法的具体 设计细节以及图像识别中使用的图像标识符的导出由与图像修改类型相关的要求决定，其 对标识符的大小、提取及匹配的复杂度、目标虚警率等应当是鲁棒的。
以下示例示出了一般性设计，其导致对图像的以下修改具有鲁棒性的标识符(非 详尽的列表)·颜色缩减，·模糊，·亮度变化， (左_右&上-下)翻转，·灰度级转换，·直方图均衡，.JPEG 压缩， 噪声，·旋转，·裁剪，·缩放，·平移，·丨顷斜，以及·视角转变。已经发现，所提出的设计通常可以在广泛的图像类别上实现低于百万分(ppm)之 10的低虚警率以及通常高于95. 0%的检测率。图1示出了一幅图像的示例以及所述图像的修改版本。更具体地，图Ia是初始图 像，图Ib是图Ia所示图像的缩小(缩放)版本，图Ic是图Ia所示图像的旋转版本，图Id 是图Ia所示图像的模糊版本，图Ie是图Ia所示图像的翻转版本，图If是图Ia所示图像 的压缩版本，而图Ig是图Ia所示图像的裁剪版本。本发明一种实施方式通过处理与图像对应的信号和/或图像数据而导出图像的 表示，更具体地，导出图像标识符。与EP 06255239. 3,GB 0700468. 2,GB 0712388. 8 以及 GB 0719833. 6—致，在提取
图像标识符的初始阶段，可选地，通过大小调整以及滤波来对所述图像进行预处理。大小调 整的步骤用来在进行处理之前对所述图像进行归一化。滤波的步骤可包括用于去除诸如混 叠之类效应的滤波，其还可以包括区域选择和逐渐缩减(tapering)。在一种实施方式中，将 图像大小调整为192XN或者NX192的分辨率，其中N彡192，并保持此纵横比。在另一种 实施方式中，将所述图像大小调整为192X192的正方形。然后，利用3X3高斯核对所述图 像进行低通滤波。从图像中心提取圆形区域，以便进一步处理。所述预处理步骤是可选的， 可包括以上步骤的任意组合。在接下来的阶段，检测图像中的兴趣点。一种实施方式使用特征检测器基于对 图像梯度的测量来检测图像中的潜在特征及其强度。一种合适的图像梯度特征检测器是 Harris特征检测器。图3示出了将Harris特征检测器施加于图2所示图像的示例结果。 应用一种选择过程来选取代表性特征集。在一种实施方式中，选取多达16个特征。在图像 中特征未被选择的边缘附近设置边界，在本实施方式中，所述边界宽度为16个像素。首先 从所检测到的特征中选择可允许特征中的最强特征。在如下约束下按强度顺序选择随后的 特征如果一个特征位于先前选择的特征周围的禁区(exclusion zone)内，则不选择该特征。在一种实施方式中，使用半径为10个像素的圆形区域作为所述禁区。一旦已经选择了 预定数量的代表性特征(例如，在所述优选实施方式中为16个像素)，或者不再有特征剩 余，则所述选择过程终止。图4示出了从图3中检测到的那些特征中选择的特征集合。既然已经选择了特征(或兴趣)点的位置，优选地，例如利用诸如OpenCV (FindCornerSubpix) 03/01/2008中描述的方法将它们的位置细化到亚像素分辨率 (sub-pixel resolution),其可在互联网上从 http//opencvlibrary. sourceforge. net/ CvReference (参见参考文献[1])处获得。在通过引用并入本文的GB 0719833.6中，公开了一种提取二进制图像签名或者 图像表示的方法。在本发明的一种实施方式中，应用GB0719833.6所述的方法从特征点周 围的区域提取二进制“特征签名”。因而，各个特征签名是与检测到的特征相关联的图像区域的二进制表示。在一种 实施方式中，选择以特征点为中心且半径为32个像素的圆形图像区域，并对所述图像区域 计算二进制签名。优选地，例如利用三次插值以亚像素级的准确率提取所述圆形区域。然 后，利用根据GB0719833. 6所述的方法对所提取的区域进行处理，以导出相应的图像标识 符。以下提供此方法的简要概述。通过在所述图像上将利用d、θ参数化的所有可能的直线进行投影并在这些直线 上应用第一泛函T来对所述图像区域进行Trace变换T (d，θ)。可以根据GB 0700468. 2 中公开的方法对所述Trace变换的结果进行分解，以便减小其在d、θ维度之一或二者中的 分辨率。与EP 06255239. 3和GB0700468. 2所述的方法一样，可以将第二泛函P应用于所 述Trace变换的列，以便给出实数向量(即，一个一维函数)。此第二泛函被称为直径泛函 (diametrical functional)，而所得到的向量被称为圆函数(circus function)。尽管所述优选实施方式中没有使用以下步骤，但仍可将第三泛函(S卩，圆泛函)应 用于所述圆函数，以便给出单个数字。或者，根据GB 0719833. 6所述的方法，可以得到所谓的“带圆(band-circus)，，函 数作为以上讨论的圆函数的替换，通过选择并处理仅来自于所述Trace变换的一部分的 值，将所述Trace变换限制在所述图像的线的子集上。可以通过适当地选择第一、第二和/或第三泛函(Trace泛函、直径泛函以及圆泛 函)来控制所述结果的性质。经由频率表示而从圆函数(或者带圆函数)提取图像区域的二进制标识符。例如， 可以对傅里叶变换的幅度系数来定义函数C(CO)。此函数的一个例子是取相邻系数之差ο(ω) = |F(co) -|Ρ(ω+1) |。可以通过将阈值应用于所得到的向量来提取二进制串，使得/ ’ 、^对 于所有ωS的合适选择包括S = 0和S = mean(c)。然后，图像区域的二进制表示由这些二 进制串值B= {b0, . . . , bj组成。在本发明的一种实施方式中，由于使用了局部图像区域(与在GB0719833.6中 使用整个图像不同)，需要对此里描述的签名提取技术进行一些修改。具体地，根据EP 06255239. 3中公开的方法，利用以下泛函从完全Trace变换的圆函数提取出两个标识符
以及 根据GB 0700468. 2中公开的方法，可以通过利用因子8、16和32分解(或降采样 (sub-sample))Trace变换的距离(d)参数并应用(1)和(2)，从这样得到的圆函数提取另 外的六个“多分辨率”标识符。根据GB 0712388. 8中公开的方法从Trace变换的频带中选择另外的三个函数，并 且根据GB 0719833. 6中公开的方法，从所述迹环函数(trace-annulus function)提取两 个函数并从所述迹圆函数(trace-circular function)提取一个函数。已经知道各个特征标识符总共为112比特，那么，这14个组成标识符中的每一个 均为8比特。将特征点(在预处理后的图像中)的坐标与所述标识符一起存储，作为关于 相应特征/图像区域的几何信息。可选地，可以选择或者导出这112个比特的子集。可以用多种方式表示完整的特征点集合。在所述优选实施方式中，图像描述符 是包含多个信息字段的比特流，第一字段是特征数量。然后，在所述标识符之后，在比特 流中各个特征被表示为特征点坐标(X和y)。可选地，并不存储特征数量，而是采用填充 (padding)方式，设置一个标志来表示未使用的字段。如上所述，图像特征之间的完全匹配过程涉及两个阶段。第一个阶段涉及将来自一个图像的所有特征与来自第二图像的所有特征进行比 较。为了在长度均为N的两个特征签名B1和B2之间执行匹配，采用Hamming距离N(BlfB2) = J^B1IS) B2(3)其中， 是异或(XOR)算子。在一种实施方式中，找到了具有最小Hamming距离H的三个唯一的对，并且两个图 像之间基于特征的累计Hamming距离是三个单独Hamming距离之和。第二步涉及应用几何约束来确定所述图像是真正匹配还是虚假匹配。与Hamming 距离相比，应用几何约束在计算上代价相对较大。为了最小化复杂度，利用所述几何方法仅 比较累计Hamming距离小于预定的潜在匹配阈值的图像对。在一种可能的实施方式中，选 取三个特征点(a、b和c)的集合。利用这三个点，可以使用所述特征之间的线段长度比作 为约束，如图5所示。通过利用标识符中相关联的坐标信息找到该集合的这三个特征点之 间的欧氏距离ab、ac和be来计算线段长度比。找到了两个线段长度比 来自图像A和B的线段长度比之间的距离度量定义为 有利地，图像中所定义的点之间的线段长度比对于诸如旋转、平移和缩放等变换 是不变的，从而以上几何约束适于对经历了这样的几何变换的图像进行匹配。然而，可以根据设计要求而使用其他合适的几何约束。在一种实施方式中，将两个阈值应用于所述距离测量，一个阈值用来限制单个测 量值的幅度，而另一个阈值用来限制距离之和。或者，可以利用累计(和/或成对的)Hamming距离约束来预先选择三个特征点对 的多个候选集。然后，依次将所述几何约束应用于各个候选集(可能例如按照累计Hamming 距离进行了排序)，直到找到了几何匹配并且不再有候选集剩余。如上所述的本发明的图像匹配技术可以与诸如GB 0719833. 6中公开的方法的其 他图像匹配技术相结合。对于包含所有单个标识符的每个图像产生一个描述符。在所述优 选实施方式中，所述标识符比特流包含基于GB 0719833.6的两个标识符以及本发明的描 述符。在基于GB0719833. 6的这两个标识符中，第一个是通过对图像进行用于维持图像纵 横比的预处理而生成，而另一个被处理成正方形。优选地，首先利用GB 0719833. 6的较快算法以非常低的虚警阈值执行所述匹配。 低于该阈值的任何图像对均被视为一个匹配，然后，根据本发明对高于所述阈值(即，不被 GB 0719833. 6认为是一个匹配)的对进行处理。首先，应用累计Hamming距离，高于所述 阈值的三个对的集合被认为是不同的(不匹配)。对低于所述累计Hamming距离阈值的三 个对的集合应用几何约束。如果所述三个对的集合的几何度量低于所述几何度量的阈值水 平，则认为所述图像对是一个匹配；否则，认为它们不同。图6示出了根据一种实施方式的用于执行上述方法的实现本发明的装置。所述实 现涉及为图像数据库230中存储的图像建立标识符数据库240。所述两个数据库230和240 可以是相同的数据库，也可以是单独的数据库。所述装置使得可以搜索从查询图像250中 提取出的标识符260，从而在标识符数据库140中找到匹配。将可能经过了排序的图像列表 返回给用户290或者返回给查询应用。本领域技术人员将理解，可以对上述实施方式进行多种改变和修改。例如，虽然所 述的实施方式是基于特征检测而对导出了图像签名的图像区域进行识别，但是，也可以使 用其他技术来识别代表所述图像的图像区域或者所述图像内部重要的图像区域。并且，尽 管所述实施方式使用基于图像梯度方法的特征检测器，但是，也可以使用很多其他合适的 方法对图像中的兴趣点或区域进行检测。类似地，也可以使用其他技术来选择最佳或所最 强的检测到的特征或兴趣点。此外，可以使用除所述实施方式中使用的关于与三个特征点的集合相关联的线段 长度比的距离度量之外的各种几何约束中的一种或更多种。例如，可以结合距离度量使用 任何数量个特征点。或者，其他几何约束可以基于特征点之间的角度。并且，可以使用仿射 模型来限定所述几何约束。旨在包括落入本发明的精神和范围之内的所有这样的变型、修改和等同方式。参考文献[1]OpenCV Reference Manual, Chapter 1 Image Processing Gradients, Edge and Corners- " FindCornerSubPix " http://opencvlibrary.sourceforge.net/ CvReference
权利要求
一种通过处理对应于图像的信号来导出该图像的表示的方法，该方法包括以下步骤识别所述图像的多个区域，其中，各个区域对于所述图像具有代表性或者有重要意义；以及对于所识别出的各个图像区域导出所述图像区域的至少一部分的函数；并且使用所述函数得到所述图像区域的所述至少一部分的中间表示，以及由所述多个图像区域中的两个或者多个图像区域的中间表示导出所述图像的表示。
2.根据权利要求1所述的方法，该方法包括以下步骤 对于所识别出的各个图像区域导出所述图像区域的函数，其中，所述图像的经过平移、缩放或旋转后的版本的所述函 数是所述图像区域的函数的经过平移或缩放后的版本。
3.根据权利要求1或权利要求2所述的方法，其中，该识别所述图像的多个区域的步骤 包括以下步骤识别所述图像的特征，以及选择与所述图像的识别出的特征相对应的图像区域。
4.根据权利要求3所述的方法，其中，该选择图像区域的步骤包括以下步骤 根据特征强度选择所述图像的多个所识别出的特征，以及确定与所选择的多个所识别出的特征相对应的图像区域。
5.根据权利要求3或权利要求4所述的方法，其中，所述图像区域基于围绕图像特征的 预定图像范围。
6.根据权利要求3、4或5所述的方法，其中，该选择图像区域的步骤包括以下步骤 根据在图像中的位置而选择与所述图像的识别出的特征相对应的多个图像区域。
7.根据权利要求6所述的方法，其中，所选择的多个图像区域大致分布在整个图像上。
8.根据权利要求6或权利要求7所述的方法，其中，各个所选择的图像区域对应于在所 述图像中与所选择的其他图像区域的特征至少分隔开预定距离的特征。
9.根据权利要求3至8中任意一项所述的方法，其中，该识别所述图像的特征的步骤使 用灰度图像梯度法来检测特征。
10.根据前述权利要求中任意一项所述的方法，其中该导出所述图像区域的至少一部分的函数的步骤包括以下步骤沿着所述图像区域上 的直线应用第一泛函；所述方法进一步包括以下步骤对所导出的函数应用第二泛函，以得到所述图像区域的所述至少一部分的中间表示。
11.根据前述权利要求中任意一项所述的方法，其中所述中间表示是一维函数。
12.根据前述权利要求中任意一项所述的方法，其中该从两个或更多个所述图像区域 的所述中间表示导出所述图像的表示的步骤包括以下步骤由所述图像区域的所述中间表示导出各个图像区域的表示，以及 利用图像区域的多个所导出的表示而导出所述图像的表示。
13.根据权利要求12所述的方法，其中，由所述图像区域的所述中间表示导出各个图像区域的表示的步骤包括以下步骤利用所述中间表示的频率表示的多个频率分量处理所述图像区域的所述至少一部分 的所述中间表示。
14.根据前述权利要求中任意一项所述的方法，其中，该导出所述图像的表示的步骤包 括以下步骤对由所选择的多个识别出的图像区域的相应中间表示导出的这些图像区域的表示的 所选择的部分进行组合。
15.根据前述权利要求中任意一项所述的方法，其中，由所述多个图像区域中的两个或 更多个图像区域的所述中间表示导出所述图像的表示的步骤使用预定数量的图像区域的 中间表示，其中，所述预定数量优选地在2至256的范围内。
16.根据前述权利要求中任意一项所述的方法，该方法进一步包括以下步骤将关于各个图像区域的几何信息与所识别出的图像区域的所导出的表示关联起来。
17.一种图像识别方法，该方法包括以下步骤利用前述权利要求中任意一项所述的方法导出所述图像的表示，以及将所述表示与所述图像关联起来。
18.一种图像比较方法，该方法包括以下步骤利用前述权利要求中任意一项所述的 方法导出各个图像的表示。
19.根据权利要求18所述的图像比较方法，该方法包括以下步骤将第一图像的表示所关联的图像区域与第二图像的表示所关联的图像区域进行比较。
20.根据权利要求19所述的方法，该方法包括以下步骤利用第一图像和第二图像的表示来确定所述第一图像的图像区域的表示与所述第二 图像的图像区域的表示之间的Hamming距离，以及如果对应图像区域的表示之间的Hamming距离低于第一预定阈值，则将所述第一图像 和所述第二图像识别为潜在匹配。
21.根据权利要求20所述的方法，该方法包括以下步骤确定所述第一图像及所述第 二图像的多个图像区域的表示的Hamming距离。
22.根据权利要求21所述的方法，该方法进一步包括以下步骤识别所述第一图像和所述第二图像的预定数量的图像区域对，所识别出的对的相应表 示具有低于所述第一预定阈值的所确定的最小Hamming距离。
23.根据权利要求22所述的方法，其中，所识别出的图像区域对中的各个区域是唯一的。
24.根据权利要求21、22或23所述的方法，该方法进一步包括以下步骤利用所识别出的图像区域对的表示的Hamming距离之和确定累计Hamming距离，以及如果所识别出的图像区域对的表示的累计Hamming距离低于第二预定阈值，则将所述 第一图像和所述第二图像识别为潜在匹配。
25.根据权利要求20至24中任一项所述的方法，该方法包括以下步骤对确定为可能匹配的多对图像区域对的或图像的几何信息应用几何约束，以确定所述 图像是否匹配。
26.根据权利要求25所述的方法，其中，该应用几何约束的步骤包括以下步骤确定所述第一图像中的预定数量的图像区域之间的第一距离比；确定所述第二图像中的预定数量的图像区域之间的第二距离比；以及如果所述第一比与所述第二比之差低于第三预定阈值，则确定所述第一图像和所述第 二图像为匹配。
27.根据权利要求26所述的方法，其中，所述预定数量是三个。
28.根据权利要求27所述的方法，其中，该应用几何约束的步骤包括以下步骤对于各个所述第一图像和所述第二图像利用下式计算对应于三个图像区域的点(a、b、c)之间的欧氏距离之比T ab ^ T ab ,、，πL1 =一，和 Z2 以及 acbe利用下式测量所述第一图像和第二图像(A，B)的线段长度比(LnL2)之间的距离c」"-AlcH
29.根据权利要求28所述的方法，其中，所述第三阈值包括针对G1,中的一 个或更多个的阈值。
30.根据权利要求18至权利要求29中任意一项所述的方法，该方法包括以下步骤基 于对表示的比较从所述多个图像中选择匹配图像。
31.利用根据权利要求1至29中任意一项的方法导出的表示的使用，该使用例如是发 送或接收。
32.用于执行根据权利要求1至29中任意一项的方法的装置。
33.根据权利要求30所述的装置，该装置包括控制设备，所述控制设备对执行根据权 利要求1至29中任意一项所述的方法的设备的操作进行控制。
34.根据权利要求31所述的装置，该装置进一步包括用于存储图像和/或图像的表示 的一个或更多个存储单元、显示单元以及图像选择单元，所述存储单元例如是图像数据库 和/或描述符数据库。
35.一种包括指令的计算机存储介质，当所述指令由计算机执行时，实现根据权利要求 1至29中任意一项所述的方法。
全文摘要
描述了一种导出图像表示的方法。所述方法涉及处理对应于所述图像的信号。识别出所述图像中代表该图像的至少一个区域。在一种实施方式中，各个识别出的区域对应于该图像的一个特征。对于各个识别出的图像区域，导出所述图像区域的至少一部分的二维函数并对其进行处理，以便得到所述图像区域的所述至少一部分的中间表示。由所述图像区域中至少一个图像区域的所述中间表示导出所述图像的表示。
文档编号G06K9/46GK101911100SQ200880124438
公开日2010年12月8日 申请日期2008年6月30日 优先权日2008年1月9日
发明者保罗·布拉斯尼特, 米罗斯瓦夫·博贝尔 申请人:三菱电机株式会社