图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及检索与所输入的图像类似的图像的图像处理设 备和图像处理方法。
背景技术：
已经提出了检索类似图像的各种技术。例如，存在如下方 法将图像分割为多个块，利用每一个块的图像特征量即代表 颜色进行图案匹配，从而使用颜色的位置信息来检索类似图像， 例如引用的专利文件l。然而，根据引用的专利文件l公开的方 法需要在进行检索时根据图像总体来计算特征量，因此在例如 从图像内截取指定图像时或者背景颜色改变时的状况下，检索 变得复杂。
因此，提出了使用局部化特征量即局部特征量而不使用图 像总体的特征量来检索类似图像的方法。通过从图像中提取特 征点即局部特征点，这种方法开始。通过根据局部特征点和其 附近的图像信息计算关于局部特征点的特征量即局部特征量， 该方法继续。通过对各个局部特征量进行匹配来进行图像的检 索。
提出了一种方法，其通过将局部特征量定义为由多个不随 着转动变化的元素构成的量，即使当图像转动时，相对于如前 所述这种使用局部特征量的技术能够以高准确度进行检索，例 如，引用的非专利文件l。以类似的方式，还有一种方法，其通 过将局部特征量定义为由多个不随着转动变化的元素构成的 量，使用局部特征量对图像的位置进行匹配，例如引用的专利
文件2。引用的专利文件l、引用的专利文件2和引用的非专利文件l如下引用的专利文4牛1:曰本特开1996 — 249349。 引用的专利文件2:日本特开1997 - 44665。 引用的非专利文件l : C. Schmid and R. Mohr, "Localgray value invariants for image retrieval", IEEE Trans. PAMI.， Vol. 19, No.5, pp. 550-534， 1997。然而，实际上，对于在引用的专利文件2或者引用的非专利 文件1中公开的方法，根据该方法被定义为不随着转动变化的局 部特征量产生变动，变动是由图像转动时出现的噪声引起的。 图IO示出了定义为不随着转动变化的局部特征量的变动的示 例。图10作为散点图示出了在引用的非专利文件1中定义的局部 特征量的变动。该图绘制了当图像从0度转动到90度时以15度为 间隔在同 一点处计算的局部特征量的七个元素。由于在图10中 很明显的局部特征量的变动产生的问题是图像检索的准确性的 劣化。发明内容本发明的目的是提供一种考虑到由对图像进行预定更改而 引起的局部特征量的变动的改进的图像处理设备。根据本发明的一个方面，提供了一种图像处理设备，其包 括提取部，其被配置为从输入图像中提取多个特征点；特征 量计算部，其被配置为对所述提取部提取的每 一 个特征,S计算 特征量；评价部，其被配置为评价输入图像的规定变化对所述 特征量计算部计算的每一个特征量的影响；选择部，用于基于 所述评价部的结果从所述多个特征点中选择至少 一 个特征点， 用来进行图像检索；以及检索部，用于使用所述选择部选择的至少一个特征点在多个存储的图像中检索图像。
根据本发明的另一个方面，提供了一种图像处理方法，其
包括如下步骤从输入图像中提取多个特征点；对所提取的每 一个特征点计算特征量；评价步骤，其评价输入图像的规定变 化对每一个特征量的影响；基于评价结果从所述多个特征点中 选择至少一个特征点，用来进行图像检索；以及检索步骤，其 使用所选择的至少一个特征点在多个存储的图像中检索图像。
从以下(参考附图)对示例性实施例的说明，本发明的其 它特征将变得明显。


图l是示出根据第 一 实施例的图像注册设备的配置示例的框图。
图2是示出根据第 一 实施例的图像检索设备的配置示例的框图。
图3是表示图像注册处理的序列的流程图。
图4示出缩小图像产生单元103产生缩小的图像的处理的示例。
图5是表示图像检索处理的序列的流程图。
图6是示出根据第 一 实施例的计算类似度的序列的流程图。
图7示出高斯(Gaussian)滤波器的示例。
图8示出将图7所示的滤波器旋转了 45度的高斯滤波器的示例。
图9是示出根据第二实施例的图像注册设备的配置示例的框图。
图10示出定义为不随转动变化的局部特征量的变动的示例。
具体实施方式
以下是参考附图对实现本发明的优选实施例的详细说明。 第 一 实施例图l是示出根据第 一实施例的图像注册设备的配置示例的框图。如图l所示，图像注册设备100具有图像输入单元102、缩 小图像产生单元103、局部特征点捐:取单元104、局部特征量计 算单元105和特征量注册单元106。对于图像注册设备IOO，缩小图像产生单元103产生要注册 的图像101的缩小的图像，将其输入到图像输入单元102中，局 部特征点提取单元10 4从缩小的图像中提局部特征点。局部特征 量计算单元105计算局部特征点的局部特征量，特征量注册单元 106将要注册的图像101与这样计算的局部特征量相关联，并且 在图像特征数据库107中注册要注册的图像101和局部特征量。 下文中，更详细地说明在图像注册设备100内执行的图像注册处 理。图像特征数据库107是存储与输入的图像类似的图像的存储 单元。图2是示出根据第 一 实施例的图像检索设备的配置示例的 框图。如图2所示，图像检索设备200包括图像输入单元202、缩 小图像产生单元203、局部特征点提取单元204、局部特征量计 算单元205、局部特征量检查单元206和特征比较单元207。对于图像检索设备200,缩小图像产生单元203产生输入到 图像输入单元2 0 2的查询图像2 01的缩小的图像，局部特征点提 取单元2 0 4从缩小的图像提取局部特征点。局部特征量计算单元 205计算局部特征点的局部特征量，局部特征量检查单元206检 查该局部特征量。将检查的结果传送到特征比较单元207,特征 比较单元207由此从图像特征数据库107检索根据特征比较单元2 0 7的检索结果与查询图像2 0 1类似的图像，并且输出如此检索
的图像作为检索结果208。下文中，更详细地说明在图像检索设 备200内执行的图像才企索处理。 图像注册处理
以下是对注册图像时工作的各个单元的说明。图3是表示图 像注册处理的序列的流程图。在步骤S301中，图l所示的图像 输入单元102读取要注册的图像IOI,在步骤S302中从要注册的 图像101中提取亮度分量。根据如此提取的亮度分量产生亮度分 量图像，并且将如此产生的亮度分量图像传送到缩小图像产生 单元103。将要注册的图像101传送到下文中将说明的特征量注 册单元106。
在步骤S303中，缩小图像产生单元103根据倍率p依次缩小 从图像输入单元102传送到缩小图像产生单元103的亮度分量图 像，产生数量n个缩小的图像，并将缩小的图像传送到局部特征 点提取单元10 4 。假设倍率p和缩小的图像的数量n是预定的。
图4示出缩小图像产生单元103产生缩小的图像的处理的示 例。图4所示的示例是倍率p的幂是2的-(1/4)次方并且缩小的图 像的数量n是9的情况下的示例。在图4中，附图标记401是从图 像输入单元102传送的亮度分量图像。附图标记402是根据倍率p 的幂将亮度分量图像缩小了四倍的缩小的图像。附图标记403 是根据倍率p的幂将亮度分量图像缩小了 8倍的缩小的图像。
在本示例中，缩小的图像402是将从图像输入单元102传送 的亮度分量图像的大小缩小到 一半的图像，缩小的图像403是将 从图像输入单元10 2传送的亮度分量图像的大小缩小到四分之 一的图像。可以使用任何缩小图像的方法，并且假设根据第一 实施例通过利用线性插值的缩小方法来产生缩小的图像。
返回到图3，在步骤S304中，即使从缩小图像产生单元103传送的数量n个缩小图像中的各个缩小的图像进行转动，局部特征点提取单元104也提取局部化的特征点，也就是鲁棒(robust)地提取的局部特征点。在这种情况下，鲁棒局部特征点意为具 有鲁棒性或者耐性的局部特征点，从而当在图像处理中图像转 动时以稳定的方式纟是耳又局部特征点，并且不丢失局部特征点。将如此提取的局部特征点传送到局部特征量计算单元105。根据 第一实施例使用哈利斯算子(Harris Operator)作为根据第一实 施例提取局部特征量的方法。参见C. Harris和M. J. Stephens, "A combined corner and edge detector" , in Alvey Vision Conference, pages 147-152, 1988。图像H的像素，对该像素和该像素附近的8个像素总共9个像素 的像素值进行搜索。提取该像素局部最大的点即在9个像素中像 素值最大的点作为局部特征点。在这种情况下，假设如果该像 素的值小于或者等于阈值，则即使该像素是局部最大的，也不 提取该像素作为局部特征点。像素值是表示各个像素适合某一 位置的程度的值。哈利斯算子特征点提取方法之外的任何特征,#、提取方法都 可以应用于局部特征点提取单元104,只要该方法能够提取局部 特征点即可。在步骤S305中，局部特征量计算单元105计算从局部特征 点提取单元104传送到局部特征量计算单元105的局部特征点的 特征量，即被定义为不随各个图像的转动变化的局部特征量。 将如此提取的局部特征量与坐标信息相关联，并且将其传送到 特征量注册单元106。根据第一实施例使用Local Jet和其导数的 组合作为计算局部特征量的方法。参见J. J. Koenderink和A. J. van Doorn, "Representation of local geometry in the visualsystem", Biological Cybernetics, vol. 55, pp. 367-375, 1987, 更具体地，通过以下方程式(l)计算局部特征量应当指出，由下文中示出的方程式(2)至(7)来定义在方程式 (l)右边使用的符号。在这种情况下，方程式(2)右边的"G(x， y)" 是高斯函数，方程式(2)右边的"I(x， y)"是相对于图像的坐标(x, y)的像素值，"*"是表示巻积的符号。方程式(3)是与在方程式(2) 中定义的变量L的x有关的偏导数，方程式(4)是变量L的y的偏导 数。方程式(5)是与在方程式(3)中定义的变量Lx的y有关的偏导 数，方程式(6)是与在方程式(3)中定义的变量Lx的x有关的偏导 数，方程式(7)是与在方程式(4)中定义的变量Ly的y有关的偏导 数。<formula>formula see original document page 10</formula>砂总且<formula>formula see original document page 10</formula>可以应用例如前述方法的特征量计算方法之外的任何特 征量计算方法，只要该方法能够计算局部特征量即可。在步骤S306中，特征量注册单元106将从局部特征量计算 单元105传送到特征量注册单元106的局部特征量与要注册的图 像101相关联，并且在图像特征数据库107注册该数据。因此， 图像注册处理结束。图像检索处理以下是对在检索图像时工作的各个单元的说明。图5是表示 图像检索处理的序列的流程图。在步骤S501中，图2所示的图 像输入单元202读入查询图像201,在步骤S502中，从查询图像 201中提取亮度分量。根据如此提取的亮度分量产生亮度分量图 像，将如此产生的亮度分量图像传送到缩小图像产生单元203。在步骤S503中，缩小图像产生单元203根据倍率p依次缩小 从图像输入单元202传送到缩小图像产生单元203的亮度分量图 像，产生数量n个缩小的图像，并将缩小的图像传送到局部特征 点提取单元204 。假设倍率p和缩小的图像的数量n是与在图像注 册处理中使用的值相同的值。在步骤S504中，即使从缩小图像产生单元203传送的数量n 个缩小图像中的各个缩小的图像进行转动，局部特征点提取单 元204也提取局部化的特征点，也就是鲁棒地提耳又的局部特征 点。将如此提取的局部特征点传送到局部特征量计算单元205。 与在图像注册处理中使用的方法类似，使用哈利斯算子作为提 取局部特4正量的方法。更具体地，对于通过对哈利斯算子进行运算而获得的输出 图像H的像素，对该像素和该像素附近的8个像素总共9个像素 的像素值进行搜索。提取该像素局部最大的点即在9个像素中像 素值最大的点作为局部特征点。在这种情况下，假设如果该像素的值小于或者等于阈值，则即使该像素是局部最大的，也不 提取该像素作为局部特征点。哈利斯算子特征点提取方法之外的任何特征,泉提取方法都 可以应用于局部特征点提取单元204,只要该方法能够提取局部 特^正点即可。在步骤S505中，局部特征量计算单元205计算乂人局部特征 点提取单元204传送到局部特征量计算单元205的局部特征点的 特征量，即被定义为不随各个图像的转动变化的局部特征量。 将如此提取的局部特征量与坐标信息相关联，并且将其传送到 局部特征量检查单元206。这里使用的计算局部特征量的方法是 与在图像注册处理中^f吏用的相同的方法。换句话il, ^f吏用Local Jet和其导数的组合，方程式(l)用于进行局部特征量的计算。在步骤S506中，局部特征量检查单元206检查从局部特征 量计算单元205传送到局部特征量检查单元206的局部特征量的 各个变动。为了简化下文中的说明，在这种情况下，将从局部 特征量计算单元205传送的局部特征量描述为局部特征量(零 度)。根据第一实施例的检查进行45度转动检查。换句话说，将 局部特征量计算单元105和205在计算局部特征量时所使用的高 斯滤波器预设为转动了 45度的滤波器，即45度转动滤波器，该 45度转动滤波器用于执行检查。在这种情况下，将滤波器转动 4 5度是指对预定滤波器系数进行几何转动变换。图7示出高斯滤波器的示例。图8示出将图7所示的滤波器旋 转了45度的高斯滤波器的示例。转动的是高斯滤波器，而不是 查询图像2 01 。代替查询图像2 01转动高斯滤波器产生低的处理 负荷，这允许快速执行后续检查处理。以下是对根据第 一 实施例的检查处理的详细描述。图8所示的45度转动滤波器用于通过与局部特征量计算单元205在步骤 S505中计算局部特征量相同的方法计算局部特征量(45度)。 最后，对局部特征量(0度)和局部特征量(45度)之间的马哈 拉诺比斯(Mahalanobis )距离进行比较，如果马^合拉诺比斯距 离小于或者等于预定阈值，则视为通过了检查，而将与其不同 的结果视为检查失败。换句话说，仅将通过了检查的局部特征 量传送到特征比较单元207。根据多个局部特征量预先推导出用 来计算马哈拉诺比斯距离的方差-协方差矩阵因此，根据第一实施例，使用转动了的滤波器预先检查局 部特征量的变动程度使得可以仅使用具有小的变动的局部特征 量进行查询，从而趋于以高准确度进行检索。虽然根据第 一 实施例对在检查时滤波器转动的度数是45度 的情况进行了说明并且仅执行了 45度4佥查，但是可以以例如从0 到90度的范围内的t度而不仅仅以45度为单位执行转动检查，假 设t是满足不等式O < t < 90的预定值。还可以通过将滤波器转动以20%的间隔将90度重复划分为 小于或者等于t度而获得度数，而不是以每t度为间隔执行转动 检查，通过依次进行一系列转动检查来进一步减少要检查的特 征点。返回到图5，在步骤S507中，特征比较单元207比较从局部 特征量检查单元206传送到特征比较单元207的局部特征量和在 图像特征数据库107中注册的局部特征量。对在图像特征数据库 107中注册的每一个注册图像执行该比较，并且针对每一个注册 图像计算类似度作为比较的结果。下文中，将说明类似度的计算方法的细节。在步骤S508中，特征比较单元207将如此计算的类似度与作为类似度的计算源的图像相关联，并且产生检索结果列表， 从而特征比较单元2 0 7按照递减的顺序对类似度进行分类。之 后，输出具有高类似度的图像和图像的类似度作为检索结果208。类似度的计算方法以下是对类似度的计算方法的说明。在这种情况下，假设 从局部特征量纟企查单元206传送的局部特征量是Vq,与该局部 特征量相关联的局部特征点是Q,以及与该局部特征量相关联 的坐标是Q(x，， y，)。还假设存在于在图像特征数据库107中注册 的图像R中的局部特征量是Vs,与该局部特征量相关联的局部 特征点是S，以及与该局部特征量相关联的坐标是S(x， y)。图6是根据第一实施例的计算类似度的序列的流程图。通过 投票处理即轮询处理进行类似度的计算。投票数等于类似度。 在步骤S601中，将表示最大投票数的变量VoteMax初始化为零。最大投票数是进行多次投票时所获得的最大投票数。在步骤 S602中，对特征量Vq和Vs之间的距离的所有组合进行计算，产 生最短距离对应点列表。换句话说，提取Vq和Vs的组合即对应 点并且将其注册在最短距离对应点列表中，其中，如此计算的特征量之间的距离小于或者等于阈值T v,也是如此计算的特征 量之间的最短距离。下文中，对于在最短距离对应点列表中注册的对应点k，将 对应点k的局部特征量分别表示为Vq(k)和Vs(k)。将与Vq(k)和 Vs(k)相关联的局部特征点分别表示为Qk和Sk,将与Vq(k)和 Vs(k)相关联的坐标以及索引分别表示为例如Qk(x，k， y，k)和 Sk(xk， yk)。将在步骤S602中产生的最短距离对应点列表中注册 的对应点的组数称为m组。在步骤S603中，表示类似度计算处理的重复次数的变量Count初始化为零。在步骤S604中，对重复次数Count是否超过 了预定最大重复处理次数Rn进行判断。在这种情况下，如果重 复次数Count超过了预定最大重复处理次数Rn,则该处理进行 到步骤S618,输出最大投票数VoteMax，该处理结束。另 一方面，如果在步骤S604中重复次数Count没有超过了预 定最大重复处理次数Rn，则该处理进行到步骤S605，将表示投 票数的变量Vote初始化为零。在步骤S606中，从最短距离对应 点列表中随机提取一对对应点的坐标。在这种情况下，将该坐 标表示为Ql(x，l， y，l), Sl(xl， yl)和Q2(x，2， y，2)， S2(x2, y2)。 在步骤S607中，假设在步骤S606中提取的坐标Ql(x，l， y，l), Sl(xl， yl)和Q2(x'2， y'2), S2(x2, y2)满足方程式(8)所示的变 换，并且求出方程式(8)中的变量a f。应当指出，如图6所示，在步骤S607中，将由变量a d构成 的矩阵表示为"M"，将由变量e f构成的矩阵表示为"T"。<formula>formula see original document page 15</formula>(8)在这种情况下，为了简便，根据第一实施例仅考虑相似变 换。在该情况下，可以将方程式(8)重写为以下的方程式(9):凡 (9)x，l, y，l, xl, yl， x，2， y，2, x2和y2用于表示变量a, b, e和f:<formula>formula see original document page 16</formula>在步骤S608中，为了从最短距离对应点列表选择在步骤 S606中从最短距离对应点列表随机提取的 一 对对应点的坐标 之外的点，将对应点选择变量k初始化为3。在步骤S609中，对 对应点选择变量k是否超过了在最短距离对应点列表中注册的 对应点的组数m进行判断。在这种情况下，如果对应点选择变 量k超过了在最短距离对应点列表中注册的对应点的组数m,则 该处理进行到步骤S615 (将在下文中进行说明)。另 一方面， 如果在步骤S609中判断为对应点选择变量k没有超过在最短距 离对应点列表中注册的对应点的组数m,则该处理进行到步骤 S610。在步骤S610中，提取在步骤S606中乂人最短距离对应点列表 中随机提取的一对对应点Sl(xl， yl)和S2(x2， y2)之外的点。根 据第 一 实施例，将如此提取的点表示为Sk(xk， yk)。在步骤S611中，方程式(9)用于求出点Sk(xk， yk)转换的坐 标Sk,(x，k， y，k)。在步骤S612中，通过欧几里德(Euclidean)距离计算坐标 Sk，(x，k， y，k)和坐标Qk，(x，k, y，k)之间的几何距离，并且对该欧 几里德距离是否小于或者等于阈值Td进行判断。如果欧几里德 距离小于或者等于阈值Td，则该处理进行到步骤S613，将投票数Vote增加l，该处理进行到步骤S614。另一方面，如果欧几里 德距离大于阈值Td,则该处理直接进行到步骤S614。欧几里德 距离小于或者等于阈值Td的特征点是被视为在图像类似的特 征点。在步骤S614中，将对应点选择变量k增加l,该处理进行到 步骤S609，重复该处理直到对应点选择变量k超过了在最短距 离对应点列表中注册的对应点的组数m为止。换句话il,重复 投票，在步骤S606中再次提取一对不同的点，在步骤S607中在 方程式(9)中求出参数变量a, b, e和f,并且执行从步骤S608到 步骤S612的处理。以下是对步骤S 615的说明，其中在步骤S 6 0 9中对应点选择 变量k超过在最短距离对应点列表中注册的对应点的组数m的 情况下执行该处理。在步骤S615中，在投票数"Vote"的值和最 大投票数"VoteMax"的值之间进行比较，如果投票数"Vote"的值 大于最大投票数"VoteMax"的值，则该处理进行到步骤S616 。在步骤S616中，用投票数"Vote"的值代替最大投票数 "VoteMax，，的值，在步骤S617中，将重复次数Count增加1 ，该 处理返回到步-骤S604。另 一方面，如果在步骤S615中投票数"Vote"的值小于或者 等于最大投票数"VoteMax"的值，该处理进行到步骤S617 ，将 重复次数"Count，，增加1 ，该处理返回到步骤S604 。虽然对根据第 一 实施例的类似度计算方法的描述仅考虑了 相似变换，但是可以通过在与各个变换相对应的步骤S607中求 出变换矩阵来响应另 一 种几何变换，例如仿射变换(affine transformation )。例如，假设对于仿射变换，要在步骤S606中 随机选择的对应点的坐标组数是3。在步骤S607中，假设可以 使用方程式(8)而不是方程式(9)，并且可以使用在步骤S606中选择的3个对应点来求出变量a f。虽然对根据第 一 实施例的计算类似度的方法的描述说明在 步骤S618中输出最大投票数"VoteMax"作为类似度的方法，但 是本发明不限于此，也可以计算不同的类似度。换句话说，输 出在步骤S 6 02中产生的在最短距离对应点列表中注册的对应 点的组数m作为类似度。其结果是，可以提高检索的速度，同 时在检索中保持给定的准确度。根据前述部分应当理解，根据第一实施例的图像检索设备 被配置为检查从查询图像计算的局部特征量的变动，并且不使 用具有大的变动的局部特征量，从而可以控制检索准确性的劣 化。第一实施例的变形例虽然局部特征量检查单元206使用转动了的滤波器检查局 部特征量，但是可以在转动图像本身而不转动滤波器之后计算 局部特征量，并且使用如此计算的局部特征量进行检查。根据第一实施例，变形例被配置为检查根据查询图像201 计算的局部特征量的变动，并且不使用具有大的变动的局部特 征量，从而可以控制#全索准确性的劣化。第二实施例以下是参考附图对根据本发明的第二实施例的详细说明。 根据第二实施例，即使在图像的注册处理期间也进行局部特征量的检查。图9是示出根据第二实施例的图像注册设备的配置示例的 框图。如图9所示，在根据第一实施例描述的图像注册设备IOO 的局部特征量计算单元105和特征量注册单元106之间增加局部 特征量检查单元901。局部特征量检查单元901执行与根据第 一实施例的局部特征量检查单元206执行的处理类似的处理。换句话i兌，从在局部 特征量计算单元105中使用的滤波器准备转动了45度的滤波器， 即45度转动滤波器，以计算局部特征量，45度转动滤波器用于 进行检查。以下是对根据第二实施例的具体检查方法的说明。使用45 度转动滤波器，通过与在步骤S 3 0 5中局部特征量计算单元10 5 使用的方法类似的方法计算局部特征量(45度)。最后，对局部 特征量(0度)和局部特征量(45度)之间的马哈拉诺比斯距离 进行比较。如果马哈拉诺比斯距离小于或者等于预定阔值，则 视为通过了检查，而将与其不同的结果视为检查失败。换句话 说，仅将通过了检查的局部特征量传送到特征量注册单元106。滤波器转动的度数不限于45度，可以以例如从0到90度的范 围内的t度而不仅仅以45度为单位执行转动检查，假设t是满足 不等式O < t < 90的预定值。还可以通过将滤波器转动以20%的间隔将90度重复划分为 小于或者等于t度而获得度数，而不是以每t度为间隔执行转动 检查，通过依次进行一系列转动检查，来进一步减少要检查的 特征点。还可以通过转动图像本身而不转动滤波器来执行转动检查。根据第二实施例，图像处理设备被配置为在执行图像注册 处理时检查根据注册图像计算的局部特征量的变动，并且不注 册具有大的变动的局部特征量，从而可以控制4企索准确'性的劣化。变形例虽然对于根据第 一 和第二实施例的检查局部特征量以判断 检查处理成功还是失败的处理中的整个局部特征量，使用同一阈值，但是可以按每个图像改变检查标准。换句话说，如果检 查成功的局部特征量的数量小于或者等于给定数量，则使用预定值r,将r倍当前的阈值设置为新阈值，再次进行检查，重复该处理直到检查成功的特征点的数量大于或者等于给定数量。 通过按照每个图{象改变检查标准，可以通过例如甚至对相 对于转动仅具有大的变动的局部特征量的图像求出局部特征量 来进行检查。另一方面，如果将检查标准设置为规定标准，则 不能根据相对于转动仅具有大的变动的局部特征量的这种图像 求出局部特征量，从而无法检查图像。这里描述了如下方法对于通过对哈利斯算子进行运算而 获得的输出图像H的像素，对该像素和该像素附近的8个像素总 共9个像素的像素值进行搜索，提取该像素局部最大的点即在9 个像素中像素的像素值最大的点作为局部特征点。之后，如果 该像素的值小于或者等于阈值，则即使该像素是局部最大的， 也不提取该像素作为局部特征点。然而，本发明不限于此，可以提取像素的值小于或者等于 阈值的像素作为局部特征点，根据如此提取的全部特征点计算 局部特征量，并且对局部特征量执行检查处理。换句话说，当通过对哈利斯算子进行运算而获得的输出图 像H的像素是局部最大的时，即使当该像素的值小于或者等于 阈值时也提取该像素，根据如此提取的全部特征点计算局部特 征量，并且对局部特征量执行检查处理。因此，如果根据特征 点计算的局部特征量在检查时成功，则使用作为特征点如此提 取的点的局部特征量。另一方面，前述方法不影响作为特征点如此提取的点。换 句话说，局部特征点增加，从而可以进一步提高检索的准确性。虽然说明了用于检查局部特征量的处理的方法，其中仅使说明书第18/20页用检查成功的局部特征量并且排除检查失败的局部特征量，但 是可以不排除检查失败的局部特征量并且响应于检查结果改变 局部特征量的权重。在这种情况下，在计算类似度时使用权重。例如，才艮据下面的方程式(14)来确定局部特征量的权重W:W-l / (l+D) …(14)其中，D是局部特征量和在检查中滤波器转动了 4 5度时的 局部特征量之间的马哈拉诺比斯距离。虽然类似度的计算包括根据第 一 实施例在步骤S613中对 类似度进行计算，但是可以仅考虑例如根据方程式(15)的权重 来计算类似度Vo t e - Vo t e+W …(1 5)虽然例如根据方程式(14)定义了加权计算方法，但是可以 用另一种加权方法来代替，只要该方法增大具有小的变动的局 部特征量的权重并且减小具有大的变动的局部特征量的权重即可。换句话说，通过按照每个局部特征量进行加权来计算类似 度，而不排除局部特征量，从而允许例如对具有相对于转动仅具有大的变动的局部特征量的图像进行检查。虽然根据实施例相对于转动执行检查，但是本发明不限于此，可以相对于另 一个图像处理例如放大或者缩小图像来检查 局部特征量的变动，并且在检查时不使用具有大的变动的局部 特征量。因此，即使在转动图像之外的图像作为检查目标的情 况下，也可以控制检查的准确性的劣化。可以将本发明应用于包括多个设备例如主计算机、接口装置、读取器和打印机的系统，也可以将本发明应用于由单个设 备例如复印机或者传真机构成的系统。应当理解，通过将记录有实现根据实施例的功能的软件程 序代码的记录介质提供给系统或者设备，系统或者设备的计算机即CPU或者MPU加载并执行存储在记录介质上的程序代码， 来达到本发明的目的。在这种情况下，从计算机可读记录介质加载的程序代码本 身实现根据实施例的功能，存储程序代码的记录介质构成本发明。作为4是供程序代码的记录介质，可以使用例如软(floppy) 盘、硬盘驱动、光盘、磁光盘、CD-ROM、 CD-R、磁带、 非易失性存储卡或者ROM。应当理解，除了计算机执行如此加载的程序代码来实现根 据实施例的功能之外，还包括以下情况在计算机上运行的操 作系统或者其它软件根据程序代码的指令执行全部或者部分实 际处理、通过如此执行的处理来实现根据实施例的功能的情况。应当理解，还包括以下情况将从记录介质加载的程序代 码写入包含在安装在计算机内的扩展板或者连接到计算机的扩 展单元中的存储器中。之后，包含在扩展板或者扩展单元中的 CPU或者其它硬件根据程序代码的指令执行全部或者部分实际 处理，通过如此执行的处理来实现根据实施例的功能。本发明的又一个实施例提供一种图像处理设备，其包括 检索单元，其被配置为从存储在存储单元中的存储的图像中检 索与输入的输入图像类似的图像；提取单元，其被配置为从输入图像中提取多个特征点；特征量计算单元，其被配置为对特征点计算特征量；以及评价单元，其被配置为当对输入图像进 行规定变化时评价针对特征点的特征量的变动，其中检索单元根据评价单元进行的评价从多个特征点中选择特征点，并且根 据所选择的特征点的特征量检索与输入图像类似的存储的图像。本发明的又 一 个实施例提供 一 种图像处理方法，其包括如下步骤从存储在存储单元中的存储的图像中检索与输入的输 入图像类似的图像；从输入图像中提取多个特征点；对特征点 计算特征量；以及当对输入图像进行规定变化时评价针对特征 点的特征量的变动；其中，在检索步骤中，根据在评价步骤中 进行的评价从多个特征点中选择特征点，并且根据所选择的特 征点的特征量检索与输入图像类似的存储的图像。虽然参考示例性实施例说明了本发明，但是应当理解，本发明不限于公开的示例性实施例。所附权利要求的范围符合最 宽的解释，以包含全部这种变形、等同结构和功能。
权利要求
1. 一种图像处理设备，包括提取部，其被配置为从输入图像中提取多个特征点；特征量计算部，其被配置为对所述提取部提取的每一个特征点计算特征量；评价部，其被配置为评价所述输入图像的规定变化对所述特征量计算部计算的每一个特征量的影响；选择部，用于基于所述评价部的结果从所述多个特征点中选择至少一个特征点，用来进行图像检索；以及检索部，用于使用所述选择部选择的至少一个特征点在多个存储的图像中检索图像。
2. 根据权利要求l所述的图像处理设备，其特征在于，所 述评价部用于按照每个特征点计算所述特征量的变动量，所述 检索部用于使用具有小于或者等于阈值的变动量的所选择的特 征点来计算评价图像和存储的图像之间的类似度。
3. 根据权利要求l所述的图像处理设备，其特征在于，所 述规定变化是转动所述输入图像的处理。
4. 根据权利要求l所述的图像处理设备，其特征在于，所 述检索部被配置为根据所述类似度输出所述存储的图像作为检 索结果。
5. —种图像处理方法，其包括如下步骤 从输入图像中提取多个特征点；对所提取的每 一 个特征点计算特征量；评价步骤，其评价所述输入图像的规定变化对每一个特征 量的影响；基于评价结果从所述多个特征点中选择至少一个特征点， 用来进行图像检索；以及检索步骤，其使用所选择的至少一个特征点在多个存储的图像中检索图像。
6. 根据权利要求5所述的图像处理方法，其特征在于，所 述评价步骤包括按照每个特征点计算所述特征量的变动量，所述检索步骤包括使用具有小于或者等于阈值的变动量的特征点 来计算评价图像和存储的图像之间的类似度。
7. 根据权利要求5所述的图像处理方法，其特征在于，所述规定变化是转动所述输入图像的处理。
8. 根据权利要求5所述的图像处理方法，其特征在于，所 述检索步骤包括根据所述类似度输出所述存储的图像作为检索结果。
全文摘要
本发明提供一种图像处理设备和图像处理方法。当从存档的存储图像中检索与输入图像类似的图像时，图像处理设备(200)从输入图像中提取多于一个的特征点(S504)，对于如此提取的特征点计算特征量(S505)，并且当将对输入图像施加规定变化时评价特征量的变动(S506)。图像处理设备从根据输入图像如此提取的特征点中选择特征点，并且根据如此选择的特征点的特征量检索(S508)与输入图像类似的存储的图像。
文档编号G06F17/30GK101281537SQ200810090420
公开日2008年10月8日 申请日期2008年4月7日 优先权日2007年4月4日
发明者椎山弘隆, 相马英智, 马养浩一, 高田智美 申请人:佳能株式会社