专利名称：图像检索方法、图像检索程序和图像登记方法
技术领域：
本发明涉及图像检索方法、图像检索程序和图像登记方法，特别地，涉及使用诸如配置有照相机的移动电话等的常见的图像输入装置拍摄的图像作为查询图像的图像检索方法、图像检索程序和图像登记方法。
背景技术：
随着配置有照相机的移动电话的普及，需要一种不仅把照相机用作为简单拍摄图像的设备而且还用作为输入设备的服务。例如，已知通过拍摄杂志、目录等所示的产品而订购产品或者呈现相关信息的服务。为此，需要高速且高精度地识别图像中的物体。发明人提出了利用大型图像数据库(例如参见专利文献1、非专利文献2和3)高速且高精度地识别图像的方法。在本方法中，针对表示图像的局部特性的局部特征应用 PCA-SIFT (例如参见非专利文献1)，使用近似最近邻搜索来比较查询图像的局部特征和图像数据库中的局部特征，并将最接近查询图像的图像确定为识别结果。注意，通常，局部特征表示成向量，PCA-SIFT就是如此。专利文献1和非专利文献2的方法的特征为级联处理， 其中，根据查询图像对近似程度进行适当调整，以提高处理速度。非专利文献3的方法的特征为通过使用标量量化来减少所使用的存储量。引文列表专利文献专利文献1 国际公开W02008/026414非专利文献非专利文献1 :Y. Ke and R. Sukthankar, PCA-SIFT :A More Distinctive Representation For Local Image Descriptors,Proc. Of CVPR 2004,vol. 2,pp. 506-516, 2004。非专利文献2:野口和人，黄瀬浩一，岩村雅一，“近似最近傍探索O多段階化(二 J:易物体Θ高速認識，‘‘画像Θ認識 理解* > *。”勺Λ (MIRU2007)論文集，pp. 111-118， July,2007ο非专利文献3 野口和人，黄瀬浩一，岩村雅一，“局所記述子t二基^ <物体認識 Θ f^ Θ J ^ 'J削減O実験的検討，‘‘画像 認識·理解* >水。”勺K (MIRU2008)論文集，pp. 251-258，July, 2008ο
发明内容
然而，如果将上述方法应用于由配置有照相机的移动电话所拍摄的查询图像，存在不能获得足够的识别率的问题。认为这是因为，由于诸如在配置有照相机的移动电话拍摄目录等的特写图像时出现的模糊或失焦等的劣化，从拍摄到的图像提取出的局部特征改变了。这里，模糊或失焦均使得拍摄对象(被摄体)的轮廓不清楚，虽然它们的起因不同。 模糊是由于拍摄瞬间照相机不静止引起的。失焦是由于被摄体在焦点之外或者照相机分辨率不够引起的。作为改进 上述劣化图像的识别率的方法，有三种可能的方法(1)修复查询图像的劣化；(2)使用相对于图像的劣化稳健的局部特征，以及(3)通过对原始图像施加劣化来生成学习图像。在修复图像的劣化的方法(1)中，需要在识别时执行修复处理，因而处理时间成为问题。至于使用不随劣化改变的局部特征的方法(2)，根据一些技术文献， PCA-SIFT 对于失焦相对稳健(例如参见 K. Mikolajazyk and C. Schmid,"A Performance Evaluation of Local Descriptors"IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. 27，no. 10，pp. 1615-1630，2005)，其中，在后面所述的针对适用于本发明的方法的局部特征的实验也用到了 PCA-SIFT。因而，进一步改进方法(2)是困难的。也就是说，PCA-SIFT和作为PCA-SIFT的基础的SIFT是用于提取表示图像的局部特性的特征点以及与特征点相对应的局部特征的方法。提取过程包括如下过程在以某个速率增大高斯滤波器的规模的情况下将高斯滤波器顺序应用于原始图像以生成平滑的图像(尺度空间)，然后，根据相邻的尺度图像之间的差分图像检测极值，以确定特征点和尺度。因而，认为在提取局部特征的过程中已考虑了对失焦的处理。此外，由于使用尺度空间，PCA-SIFT和 SIFT对于图像尺度的改变是稳健的。考虑到上述情况，发明人致力于用于学习根据原始图像生成的劣化图像的方法。 该方法称为生成型学习，并用于如字符识别等领域(例如，参见石田皓之，高橋友和，井手一郎，目加田慶人，村瀬洋，“手y H青報&利用L· t力j，人力型低品質文字O認識法，“画像 認識·理解* > 求”々 A (MIRU2006)論文集，pp. 180-186，July, 2006)。在利用局部特征的图像识别的领域中，也提出了一种方法，其中，局部区域经过几千种随机转换，学习所获得的局部区域，从而实现高精度(例如，M. Ozuysal, M. Calonder, V. Lepetit, and P. Fua, "Fast Keypoint Recognition using Random Ferns，，，IEEE Transactions on Pattern Analysis and Machine Intelligence.)。然而，在这些文献中，只针对仅包括几千个图像的图像数据库验证了有效性，而没有针对本发明考虑的大型图像数据库验证其有效性。首先，已知使用局部特征的图像识别对部分遮挡和由几何变换引起的变形是稳健的，而且，在各种局部特征中，通过使用尺度空间所提取出的局部特征对失焦和照明条件变化尤其稳健。然而，在使用局部特征的图像识别中，需要存储和处理大量局部特征。因而， 进行的研究主要旨在减少数据量和处理时间。另一方面，在生成型学习中，由于学习模式是从原始图像生成的，要登记到图像数据库中的数据量增加了。也就是说，使用局部特征的图像识别技术的方向和生成型学习的方向不兼容。然而，发明人大胆地尝试结合这两种方法， 并且发现通过容忍处理时间一定程度上的增加，识别率得到极大改进，这是始料未及的。此外，发现如果把用于减少处理时间的非专利文献2的方法和用于减少存储量的非专利文献3的方法相结合，则可以实现高识别率，同时抑制了生成型学习的缺点。有鉴于此，本发明提供了一种图像检索方法，该图像检索方法可以实现高精度的图像检索、即图像识别，特别是在使用由诸如配置有照相机的移动电话等的常见的图像输入设备拍摄的图像作为查询图像的情况下。此外，本发明提供一种用于生成图像检索用的图像数据库的图像登记方法。此外，本发明提供用于通过计算机处理来实现图像检索方法的图像检索程序。
问题解 决方案本发明提供一种通过利用生成型学习来解决如模糊和失焦等问题的方法。具体而言，从要登记的图像生成多个具有模糊或失焦的图像，从生成的图像获得局部特征，从而增加了登记的局部特征存在于查询图像的每个局部特征的附近的概率。这时发生的存储量增加和处理时间增加的问题可以通过组合非专利文献2的级联方法和使用标量量化的非专利文献3的方法而解决。也就是说，本发明提供一种图像检索方法，其包括从拍摄有图像检索对象的查询图像提取至少一个查询特征向量，所述查询特征向量表示所述查询图像的局部特征；访问预先存储了多个参考图像的图像数据库，各参考图像与从该参考图像生成的学习图像以及表示该参考图像和该学习图像的局部特征的参考特征向量相关联地存储；比较步骤，使用近似最近邻搜索来比较所述查询特征向量和与各参考图像相关联地存储的参考特征向量， 以找到近似最接近所述查询特征向量的参考特征向量；以及选择步骤，从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像作为检索结果，其中，通过向各参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成各学习图像，使用尺度空间方法来分别从各参考图像和与该参考图像相对应的各学习图像提取参考特征向量，使用所述尺度空间方法来从所述查询图像提取所述查询特征向量，以及利用计算机执行上述各步骤。另一方面，本发明提供一种用于使计算机执行如下步骤的图像检索程序，所述步骤包括从拍摄有图像检索对象的查询图像提取至少一个查询特征向量，所述查询特征向量表示所述查询图像的局部特征；访问预先存储了多个参考图像的图像数据库，各参考图像与从该参考图像生成的学习图像以及表示该参考图像和该学习图像的局部特征的参考特征向量相关联地存储；使用近似最近邻搜索来比较所述查询特征向量和与各参考图像相关联地存储的参考特征向量，以找到近似最接近所述查询特征向量的参考特征向量；以及从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像作为检索结果，其中，通过向各参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成各学习图像，使用尺度空间方法来分别从各参考图像和与该参考图像相对应的各学习图像提取参考特征向量，以及使用所述尺度空间方法来从所述查询图像提取所述查询特征向量。另一方面，本发明提供一种图像存储方法，用于将参考图像存储到能够存储所述参考图像的图像数据库中，所述图像数据库用于检索与拍摄有图像检索对象的查询图像相匹配的特定参考图像的图像检索，所述图像存储方法包括如下步骤通过向要存储的参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成学习图像；分别从所述参考图像和各学习图像提取至少一个参考特征向量；以及将所述参考特征向量和所述学习图像与相应的参考图像相关联地存储在所述图像数据库中，其中，使用尺度空间方法分别从所述参考图像和各学习图像提取所述参考特征向量，通过以下的处理来执行所述图像检索以与提取所述参考特征向量的方式相同的方式从所述查询图像提取至少一个查询特征向量；使用近似最近邻搜索来比较所述查询特征向量和从所述参考图像及所述学习图像提取的各参考特征向量，以找到近似最接近所述查询特征向量的特定参考特征向量；以及从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像，以及利用计算机执行上述各步骤。发明效果
在本发明的图像检索方法中，通过向每个参考图像施加失焦和/或运动模糊效果来生成学习图像，通过使用尺度空间方法从每个参考图像和对应于参考图像的学习图像提取参考特征向量，而且，通过使用尺度空间方法从查询图像提取查询特征向量。因而，可以实现高精度图像识别，特别是在使用如配置有照相机的移动电话这样的尺寸小重量轻的常见的图像输入设备拍摄的图像作为查询图像的情况下。根据本发明的图像检索程序具有和上述图像检索方法相同的优点。此外，可以利用根据本发明的图像登记方法生成图像检索方法所使用的图像数据库。根据本发明的图像检索方法和图像登记方法的步骤利用例如个人计算机或服务器的CPU来执行。除此之外，还可用例如移动终端或移动电话这样的设备的CPU或微型计算机来执行这些步骤。根据本发明的图像检索程序是本发明的一方面，是使这种CPU或微型计算机执行上述处理的程序。作为从图像提取局部特征的算法，已知有诸如SIFT和PCA-SIFT的一些方法。在下文所述的实施例中使用PCA-SIFT。然而，本发明不限于PCA-SIFT。本发明中，查询图像的特征由从查询图像提取的多个查询特征向量表示。参考图像的特征由从参考图像提取的多个参考特征向量表示。图像检索基于如下处理将每个查询特征向量与参考特征向量进行比较，并找到近似最接近查询特征向量的参考特征向量。预先将参考特征向量和每个参考图像相关联地登记在图像数据库中。本发明的特征方面在于，不仅使用直接从每个参考图像提取的参考特征向量，还使用从通过对每个参考图像施加失焦和/或运动模糊效果并应用尺度空间方法所生成的每个学习图像提取的局部特征，来进行比较。注意，如果简单增加从学习图像提取的参考特征向量，由于用来进行比较的参考特征向量的数量增加，所以图像数据库所需的存储量增加，并且处理时间增加。因而，在优选实施例中，本发明可以与标量量化方法结合，以节约存储量，而且可以与级联方法结合， 以节约处理时间。
图1是示出根据本发明的级联标识单元的结构的图。图2是示出根据本发明的原始图像和从原始图像生成的学习图像的例子的图。图3是示出与由移动电话的照相机拍摄的图像(左)的特征点相对应的每个学习集(右)中的特征点的数量以及对应关系作为表示根据本发明的生成型学习的效果的例子的第一图。图4是示出与由移动电话的照相机拍摄的图像(左)的特征点相对应的每个学习集(右)中的特征点的数量以及对应关系作为表示根据本发明的生成型学习的效果的例子的第二图。图5是示出与由移动电话的照相机拍摄的图像(左)的特征点相对应的每个学习集(右)中的特征点的数量以及对应关系作为表示根据本发明的生成型学习的效果的例子的第三图。
图6是示出根据本发明的登记图像的例子的图。图7是示出在本发明实验中使用学习集C成功识别的查询图像的例子的图。图8是示出本发明在使用级联标识单元的情况下以及未使用级联标识单元的情况下的实验中获得的登记图像的数量和识别率之间的关系的图。图9是示出本发明在进行了标量量化的情况下以及未进行标量量化的情况下的实验中获得的登记图像的数量和识别率之间的关系的图。
具体实施例方式
下面描述本发明的优选实施例。在根据本发明的图像检索方法中，比较步骤可以分别使用与顺序从轻到重的处理负荷相对应的顺序从粗略到精细的多个近似程度，重复查询特征向量和每个参考特征向量的比较；选择步骤可以使比较步骤重复进行比较，直到提供了确定检索结果的基础为止。也就是说，图像检索方法可以与级联方法结合。这样，比较步骤从需要小的处理量的粗略近似程度的级开始进行比较，逐步进行到精细近似程度的级，并在获得确定检索结果的有效基础时的级处结束检索。因而，容易识别的查询图像的比较处理在开始级结束，即，在进行粗略近似的早的级。另一方面，在难以识别的查询图像的比较处理中，与针对容易的查询图像的比较处理相比，该比较处理重复较多的次数之后确定检索结果。因而，在比较重复了与查询图像的识别难度相对应的次数之后结束比较，即，处理时间与难度相对应。这种情况下，与利用针对任何查询图像均勻设置的近似程度所进行的比较的情况相比，大大减小了各种查询图像的比较的平均处理时间。这是由于，如果均勻设置近似程度以获得等同于级联方法的识别性能的识别性能，需要基于最难识别的查询图像来设置近似程度。结果，容易识别的查询图像的近似程度比所需的更精细，针对查询图像进行的比较耗费长的时间。这里，在使用级联方法进行比较的本发明中，如果随着近似级的推进通过使用在前一级获得的近似结果来进行累积比较，则与均勻设置近似程度的情况相比，即使对于最难以识别的查询图像，处理时间也不会大大增加。这种累积比较是可能的(参考非专利文献2)。因而，可以通过引入生成型学习来解决处理时间增加的问题。此外，图像检索方法可进一步包括将每个参考特征向量的向量维度量化成预定位数的标量量化步骤。即，图像检索方法可以和标量量化方法结合。这样，可以减少登记图像所需的存储量，同时与不使用标量量化方法的情况相比几乎维持识别率。因而，可以通过引入生成型学习来解决存储量的增加的问题。此外，标量量化步骤可以将每个向量维度量化成两位或更少位。这是由于下文所述实验证明，即使通过将每个向量维度量化成两位或更少位而大大减少了存储量，识别率也不会大幅度降低。可通过在水平方向和/或垂直方向施加运动模糊效果来生成学习图像。S卩，如果通过使用仅在水平方向和/或垂直方向施加运动模糊效果的图像来生成学习集，则可以获得最大效果，同时与学习图像还包括在倾斜方向上施加了运动模糊效果的图像的情况相比，使由于引入生成型学习而增加的处理时间和存储量保持为最小。上述优选模式可以相互结合。以下参考附图详细描述本发明。注意，以下说明从各方面来讲都是说明性的。不应将以下说明理解为对本发明的限定。首先，描述作为本发明的前提的使用近似最近邻搜索(Approximate Nearest Neighbor Search)的物体识别方法的基本过程。然后描述通过生成型学习生成学习数据。
权利要求
1.一种图像检索方法，包括以下步骤从拍摄有图像检索对象的查询图像提取至少一个查询特征向量，所述查询特征向量表示所述查询图像的局部特征；访问预先存储了多个参考图像的图像数据库，各参考图像与从该参考图像生成的学习图像以及表示该参考图像和该学习图像的局部特征的参考特征向量相关联地存储；比较步骤，使用近似最近邻搜索来比较所述查询特征向量和与各参考图像相关联地存储的参考特征向量，以找到近似最接近所述查询特征向量的参考特征向量；以及选择步骤，从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像作为检索结果，其中，通过向各参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成各学习图像，使用尺度空间方法来分别从各参考图像和与该参考图像相对应的各学习图像提取参考特征向量，使用所述尺度空间方法来从所述查询图像提取所述查询特征向量，以及利用计算机执行上述各步骤。
2.根据权利要求1所述的图像检索方法，其特征在于，所述比较步骤分别使用与顺序从轻到重的处理负荷相对应的顺序从粗略到精细的多个近似程度，重复所述查询特征向量与各参考特征向量的比较，以及所述选择步骤使所述比较步骤重复，以执行比较直到提供了确定检索结果的基础为止。
3.根据权利要求1或2所述的图像检索方法，其特征在于，还包括标量量化步骤，所述标量量化步骤用于将各参考特征向量的向量维度量化成预定的位数。
4.根据权利要求3所述的图像检索方法，其特征在于，所述标量量化步骤将各向量维度量化成2位或更少位数。
5.根据权利要求1至4中任一项所述的图像检索方法，其特征在于，通过在水平方向和/或垂直方向上施加所述运动模糊效果来生成各学习图像。
6.一种图像存储方法，用于将参考图像存储到能够存储所述参考图像的图像数据库中，所述图像数据库用于检索与拍摄有图像检索对象的查询图像相匹配的特定参考图像的图像检索，所述图像存储方法包括如下步骤通过向要存储的参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成学习图像；分别从所述参考图像和各学习图像提取至少一个参考特征向量；以及将所述参考特征向量和所述学习图像与相应的参考图像相关联地存储在所述图像数据库中，其中，使用尺度空间方法来分别从所述参考图像和各学习图像提取所述参考特征向量，通过以下步骤来执行所述图像检索以与提取所述参考特征向量的方式相同的方式从所述查询图像提取至少一个查询特征向量；使用近似最近邻搜索来比较所述查询特征向量和从所述参考图像及所述学习图像提取的各参考特征向量，以找到近似最接近所述查询特征向量的特定参考特征向量；以及从所述参考图像中选择与所找到的参考特征向量相关联地存储的参考图像，以及利用计算机执行上述各步骤。
7. 一种用于使计算机执行如下步骤的图像检索程序，所述步骤包括 从拍摄有图像检索对象的查询图像提取至少一个查询特征向量，所述查询特征向量表示所述查询图像的局部特征；访问预先存储了多个参考图像的图像数据库，各参考图像与从该参考图像生成的学习图像以及表示该参考图像和该学习图像的局部特征的参考特征向量相关联地存储；使用近似最近邻搜索来比较所述查询特征向量和与各参考图像相关联地存储的参考特征向量，以找到近似最接近所述查询特征向量的参考特征向量；以及从所述多个参考图像中选择与所找到的参考特征向量相关联地存储的参考图像作为检索结果，其中，通过向各参考图像施加在拍摄所述图像检索对象时可能出现的失焦和/或运动模糊效果来生成各学习图像，使用尺度空间方法来分别从各参考图像和与该参考图像相对应的各学习图像提取参考特征向量，以及使用所述尺度空间方法来从所述查询图像提取所述查询特征向量。
全文摘要
一种图像检索方法，包括以下步骤从拍摄有待检索对象的查询图像提取表示查询图像的局部特征的至少一个查询特征向量；访问图像数据库，多个参考图像、从各参考图像生成的学习图像以及表示参考图像和学习图像的局部特征的多个参考特征向量彼此关联地预先存储在该图像数据库中；使用近似最近邻搜索匹配查询特征向量和与各参考图像关联的参考特征向量，并找到近似最接近查询特征向量的参考特征向量；以及选择与所找到的各参考特征向量关联的参考图像作为检索结果，其中通过对各参考图像进行施加在拍摄待检索对象的图像时可能出现的模糊和/或变化的图像处理来生成学习图像；使用尺度空间技术分别从参考图像和对应于参考图像的学习图像提取各参考特征向量；使用尺度空间技术从查询图像提取查询特征向量；以及用计算机执行上述各步骤。
文档编号G06T1/00GK102422319SQ20108001995
公开日2012年4月18日 申请日期2010年3月3日 优先权日2009年3月4日
发明者古桥幸人, 岩村雅一, 峯泰治, 野口和人, 黄濑浩一 申请人:公立大学法人大阪府立大学, 奥林巴斯株式会社