专利名称：图像数据库编辑方法、图像数据库编辑程序和图像检索方法
技术领域：
本发明涉及图像数据库编辑方法、图像数据库编辑程序和图像检索方法。更具体地，本发明涉及用于利用局部特征进行特定物体识别的图像数据库的编辑方法、用于使计算机执行该编辑方法的程序和利用该图像数据库的图像检索方法。
背景技术：
特定物体识别是在其它图像的物体中确定与被拍摄为图像的物体相同的物体的处理。如这里所使用的，该处理还称为图像识别。例如，该处理可以用于检测部件的过量或不足、检测假冒品等、或者替代条形码处理，因而具有高实用性。这里，“被拍摄为图像的物体”意为图像中所包括的作为查询的样例(检索目标)，并且“在其它图像的物体中确定与被拍摄为图像的物体相同的物体的处理”还理解为从已预先登记多个图像的图像数据库中检索包括相同样例的图像的处理，即图像检索处理。利用局部特征的方法被公知地作为特定物体识别方法之一。在利用局部特征的方法中，利用通过预定过程从图像提取出的局部特征来表示图像，并且将局部特征与从其它图像提取出的局部特征进行比较或匹配，从而进行辨认(识别)。例如，在SIFT(尺度不变特征变换)(例如见非专利文献1)和PCA-SIFT (主成分分析-SIFT)(例如见非专利文献2) 中利用局部特征。将该局部特征表示为多维向量，因此，该局部特征也称为特征向量。上述方法具有以下优点由于基于图像的局部特征提取多个特征向量，因而即使当包括在查询图像中的样例和/或包括在图像数据库所登记的图像中的样例存在遮挡或变化时，也能够以高精度进行识别。与本发明相关的其它文献包括非专利文献3、4和5。稍后将说明本发明与各文献之间的具体关联。引用列表非专利文献非专利文献 1 :D. G. Lowe,"Distinctive image features from scale-invariant keypoints，，，Internal Journal of Computer Vision, 60, 2, pp. 91-110, 2004。非专禾Ij文献 2:Y.Ke，and R. Sukthankar, "PCA-SIFT :A more distinctive representation for local image descriptors，，，Proc. CVPR' 04, vol. 2, pp. 506-513, 2004。非专利文献 3 :Noguchi, Kise, and Iwamura "Experimental Study of Memory Reduction for Object Recognition based on Local Descriptors，，，Collection of papers in Meeting on image recognition and understanding(MIRU 2008), OS 10-3, pp.251-258,2008o非专利文献 4 :D. Nister and H. Stewenius, "Scalable Recognition with a Vocabulary Tree", Proc. CVPR 2006，pp.775-781，2006。
# 专禾I」JC ^ 5 :S. Arya, D. Mount, R. Silverman and Α. Y. ffu,"An optimal algorithm for approximate nearest neighbor searching", Journal of the ACM, vol. 45，no. 6，pp.891—923，1998。
发明内容
发明要解决的技术问题如果图像具有VGA尺寸，则从一个图像提取出的局部特征的数量通常是约几千或者有时是几万。因此，在要识别的图像的尺寸或数量大的情况下，用于比较图像的局部特征所需的处理时间和用于存储局部特征所需的存储器量成为问题。为了解决上述问题，已提出了减少用于存储各局部特征所需的存储器量的方案 (见非专利文献幻。具体地，进行用以减少表示各特征向量的维数值的多值数据的位数的标量量化，以减少用于将各局部特征登记入图像数据库所需的存储器量，从而减少整个图像数据库所需的存储器量。该方法具有以下优点通过预先调查各特征向量的维数值的分布，能够以相对容易的方式进行标量量化。同时，还提出了向量量化的概念。作为向量量化的方法之一，D. Nister等已提出了利用称为词汇树的树结构的方法(例如见非专利文献 4)。然而，在该方法中，需要增加树结构的高度以维持高识别率。因此，存在这样的问题不能期望存储器量减少的充分效果。本发明正是考虑到上述背景而做出，并且本发明提供一种用于在利用从图像提取出的局部特征通过近邻搜索的方式进行物体识别的方法中减少用于物体识别的图像数据库所需的存储器量而不大幅降低物体识别的识别率的方法；以及提供用于使计算机执行该方法的程序。另外，本发明提供用于利用基于上述方法所编辑的图像数据库来检索图像的方法。技术方案本发明提供了一种图像数据库编辑方法，用于编辑用以存储要与查询图像进行比较的参考图像的图像数据库，并且所述图像数据库用于物体识别，所述图像数据库编辑方法包括提取步骤，用于从要存储在所述图像数据库中的参考图像提取表示不同位置的局部特征的多个参考特征向量，其中，各所述参考特征向量具有向量长度和向量方向；聚类步骤，用于形成各自包括不同的特征向量的多个簇；选择步骤，用于从各所述簇选择特征向量作为各所述簇的代表向量；以及存储步骤，用于将所述代表向量与所述参考图像相关联地存储在所述图像数据库中，其中所述聚类步骤形成各所述簇以使得表示所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；所述选择步骤对具有长向量长度的任一参考特征向量给予优先级，以选择所述代表向量；通过以与提取所述参考特征向量相同的方式从所述查询图像生成至少一个查询特征向量、并且在所述查询特征向量和所述代表向量之间采取近邻搜索来进行所述比较；以及通过计算机来执行各上述步骤。在其它方面，本发明提供了一种图像数据库编辑程序，用于使计算机执行对图像数据库的编辑，所述图像数据库存储要与查询图像进行比较的参考图像并且用于物体识别，所述图像数据库编辑程序包括提取步骤，用于从要存储在所述图像数据库中的参考图像提取表示不同位置的局部特征的多个参考特征向量，其中，各所述参考特征向量具有向量长度和向量方向；聚类步骤，用于形成各自包括不同的特征向量的多个簇；选择步骤，用于从各所述簇选择特征向量作为各所述簇的代表向量；以及存储步骤，用于将所述代表向量与所述参考图像相关联地存储在所述图像数据库中，其中所述聚类步骤形成各所述簇以使得表示所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；所述选择步骤对具有长向量长度的任一参考特征向量给予优先级，以选择所述代表向量；以及通过以与提取所述参考特征向量相同的方式从所述查询图像生成至少一个查询特征向量、并且在所述查询特征向量和所述代表向量之间采取近邻搜索来进行所述比较。另外，作为与上述图像数据库编辑方法相关联的方法，本发明提供了一种图像检索方法，用于从图像数据库中检索与查询图像相对应的特定的参考图像，所述图像数据库预先存储有要与所述查询图像进行比较的多个参考图像，并且所述图像数据库用于图像检索，各所述参考图像与从各所述参考图像提取出的代表向量相关联地存储，所述图像检索方法包括提取步骤，用于提取表示所述查询图像的局部特征并且具有向量长度和向量方向的至少一个查询特征向量；比较步骤，用于通过在所述查询特征向量和与各所述参考图像相关的所述代表向量之间采取近邻搜索，来比较所述查询特征向量和所述代表向量，其中经由如下的过程来获得所述代表向量，该过程包括以与提取所述查询特征向量相同的方式从各所述参考图像提取多个参考特征向量；形成各自包括所述参考特征向量的多个簇，以使得表示各所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；从各所述簇选择所述代表向量，其中，通过对具有长向量长度的任一参考特征向量给予优先级来选择所述代表向量；以及通过计算机来执行各上述步骤。注意，从查询图像生成查询特征向量的过程与提取参考特征向量的过程相同。发明的效果在根据本发明的编辑图像数据库的方法中，形成各个簇以使得表示参考图像上位置靠近的局部特征的参考特征向量属于同一簇；对具有长向量长度的任一参考特征向量给予优先级，以从各个簇选择预定数量的代表向量；并且在代表向量和查询特征向量之间进行比较。因此，与不选择代表向量的情况相比，可以节省用于将特征向量登记入图像数据库所需的存储器量。另外，登记从各个簇选择的代表向量，即以在图像的整个区域上大致均勻的方式进行登记，而不仅从图像的部分区域取特征向量。因此，即使当图像中包括的样例不均勻或者在拍摄图像时存在由几何变换引起的失真的情况下，也可以进行鲁棒的识别。根据本发明的图像数据库编辑程序与上述的图像数据库编辑方法具有相同的优点ο
图1是用于说明作为近似最近邻搜索的已知方法的ANN的概念的图。在本发明的实施例中采用ANN作为近似最近邻搜索的方法。图2(a) 2(c)示出在本发明的实验中在图像数据库中所登记的图像的例子。图 2(a)示出通过利用谷歌图片搜索所收集的图像的例子。图2(b)示出在PCA-SIFT的Web站点上发表的图像的例子。图2(c)示出在作为照片分享网站的“flickr”上所收集的图像的例子。图3(a) 3(d)示出在本发明的实验中用作查询图像的图像示例。图3(a)、3(b) 和3(c)分别示出通过以90°、75°和60°的拍摄角度拍摄样例的照片所获得的图像。图3(d)示出通过拍摄样例的照片的一部分所获得的图像的例子。图4是示出本发明的实验的结果的图。该图示出对图3(a) 3 (d)所示的查询图像的识别率以及识别率的平均识别率。
具体实施例方式以下将说明本发明的优选实施例。聚类步骤可以形成预定数量的簇。即使当样例在图像中分布不均勻或拍摄图像时存在由几何变换引起的失真时，如果代表向量在图像的整个区域上以大致均勻的方式分布，则也可以进行鲁棒的识别。要生成的簇的数量越大，代表向量分布得越均勻。如果预先例如通过实验确定使得识别足够鲁棒的簇的数量，并且如果聚类步骤形成该预定数量的簇，则可以进行足够鲁棒的识别。此外，选择步骤可以从每个簇确定一个代表向量。另外，聚类步骤可以利用k_均值聚类来形成簇。因而，可以通过k_均值聚类对特征向量聚类以使得代表向量在图像的整个区域上均勻分布。可以将上述的优选模式彼此结合。以下将参考附图更详细地说明本发明。注意，以下描述在所有方面是说明性的。以下描述不应当理解为对本发明的限制。本发明的特征方面是从对局部特征进行筛选的视角来考虑减少用于图像识别的图像数据库的存储器量，并且提供用于实现该减少的方法。更具体地，考虑到特征向量的向量长度(尺度)和图像空间中特征向量分布的均勻性，对局部特征进行筛选。根据以下实施例和实验，即使所使用的图像数据库的存储器量减少到不筛选局部特征的情况下所使用的图像数据库的存储器量的约10%，也获得了 98%的识别率。以此方式，证实了本发明的有效性。这里，在说明根据本发明的用于减少存储器量的方法之前，将先说明在特定物体识别中进行的利用标量量化的传统存储器量减少方法和相应的图像识别处理。利用标量量化的传统存储器量减少方法通过与本发明的方法不同的方案来减少图像数据库的存储器量。传统存储器量减少方法可以与本发明的方法结合，并且它们的结合是有效的。非专利文献3提出了利用标量量化以减少特定物体识别所需的存储器量的方案。 在此方案中，表示各局部特征的特征向量的各维度可以取的值限于离散值，以实现存储器量的减少。即，各个维度的值限于具有预定位长度的值。尽管在图像数据库中登记的局部特征的数量不变，但用于存储各局部特征所需的存储器量减少。因此，图像数据库所需的整个存储器量减少。特征向量的提取在本实施例中，通过使用PCA-SIFT从参考图像和查询图像提取局部特征(特征向
量)O非专利文献3记载了即使用2位表示利用PCA-SIFT所获得的特征向量的各维度， 图像识别中的识别率也几乎不变。如果将通过利用PCA-SIFT所提取的特征向量的各维度的值表示为短型整数，则用16位表示该值。因此，如果经由标量量化将特征向量的各维度减少为2位，则一个特征向量所需的存储器量成为原存储器量的约1/8。尽管图像数据库的存储器量还包括在用于存储各特征向量的存储器量之外所需的存储器量，但非专利文献3 记载了即使考虑到这样的存储器量、也可以将图像数据库的存储器量减少到原存储器量的约 1/3。杳询特征向量与参考特征向量之间的比较通过将查询特征向量和参考特征向量彼此比较来进行图像提取。在比较处理中， 计算从查询图像所提取的各查询特征向量与在图像数据库中登记的各参考特征向量之间的距离，并且确定作为查询特征向量的近邻的参考特征向量。然后，获得与所确定的参考特征向量相关联的图像ID。作为识别结果的参考图像的确定基于比较的结果进行确定图像识别结果的处理。在此处理中，投票给在比较处理中所获得的与查询特征向量相对应的图像ID，然后将得票最多的图像ID所表示的参考图像确定为识别结果。作为标量量化的结果，距离计算的精度劣化。尽管距离计算的精度劣化但识别率几乎不变的原因之一是在投票中根据少数服从多数规则(rule of majority)去除了错误的图像ID。糊輸紐■白储·ΜΦ诚本发明人关注于特征向量的筛选，作为通过与利用标量量化的上述方法不同的方案来减少图像数据库的存储器量的方法。筛选的方针在通过筛选参考局部特征来减少存储器量的方法中，也利用PCA-SIFT提取局部特征。 从参考图像所提取的局部特征的数量根据参考图像的内容而不同。在利用未进行局部特征筛选而处于无减少状态的图像数据库的情况下，将从图像提取的所有局部特征登记入图像数据库。因此，要登记的局部特征的数量在参考图像之间差异大。如果参考图像包括大量的局部特征，则有时从参考图像的特定部分提取了大量的相似局部特征。不必将所有相似局部特征登记入图像数据库。这是因为由于相似性、这些相似局部特征对识别率的提高将不会有很大贡献。因此，对每一个图像，将要登记入图像数据库的局部特征的最大数量限制为R，从而防止用于存储参考特征向量所需的存储器量增加。如果所提取的参考特征向量的数量不超过R，则将所有提取出的局部特征登记入图像数据库。如果所提取的参考特征向量的数量超过R，则基于以下思想来选择要登记的局部特征。體在本发明中，优选选择对拍摄角度的变化具有相对鲁棒的抵抗性的长向量长度的特征向量并且将其登记入图像数据库。整个检索对象包括在要作为识别结果的参考图像和相应的查询图像中的可能性不低。然而，如果长向量长度的特征向量主要包括在参考图像或查询图像的部分区域中，则包括在除这些部分区域以外的区域中的特征向量成为噪声， 并且作为结果，变得难以检索与查询图像相对应的参考图像。为了应对检索对象图像中的这种不均勻呈现，针对在已提取了参考特征向量的参考图像中表示参考特征向量的位置的坐标值，进行最大聚类数量为R的k-均值聚类。
_ 代廉影口 Wiff AMimm ) 接着，优选从通过k_均值聚类所获得的各个簇包括的参考特征向量中选择具有最大向量长度的参考特征向量。将所选择的特征向量登记入图像数据库。即，仅将代表各个簇的代表向量登记入图像数据库。经由上述过程，以大致均勻的方式从参考图像选择参考特征向量，而没有不均勻地选择参考特征向量。因此，即使参考图像中仅包括要提取的物体的一部分，识别出该物体的可能性也可以提高。&比箱Φ # ffl酬以■折傭^t白愤去ANN(近似最近邻搜索)(例如见非专利文献幻可以用于查询特征向量和参考特征向量(或代表向量)之间的比较。ANN是通过利用树结构以高速进行近似最近邻搜索的方法。尽管由于近似而降低了向量比较的精度，但可以减少检索所用的处理时间。图1示出根据ANN的近似最近邻搜索的概念。注意，出于简化的目的，仅示出与说明有关的单元。将参考特征向量登记入图像数据库，以使参考特征向量划分为多个单元并且形成树结构。这里，q表示查询图像的查询特征向量，并且Pl P6表示参考特征向量。 另外，假定当前已发现作为近邻向量的pl。r是查询特征向量q和参考特征向量pi之间的距离。在执行最近邻搜索的情况下，由于在这些单元中可能存在作为比Pl更近的相邻向量的参考特征向量、即可能存在到q的距离小于r的参考特征向量，因而通过用实线表示的超球所重叠的单元是检索的对象。另一方面，在执行近似最近邻搜索的情况下，设置通过对作为到Pl的距离的距离r应用容许误差ε所定义的超球，并且仅通过所设置的超球而重叠的单元是检索的对象。表达式1r/(l+ ε )在此情况下，尽管可能不能发现作为最近邻的参考特征向量(图1中的p3)，但要检索的单元的数量减少，从而减少了检索时间。在本发明的方法中，由于局部特征的减少，因此有可能不存在与查询特征向量相对应的最近邻参考特征向量(要作为答案的参考特征向量)。因此，仅当作为ANN的比较结果彼此关联的查询特征向量和参考特征向量之间的距离d小于预定阈值t时，给相应的图像投票。麵参考图像和图像数据库进行了用于证实筛选局部特征的有效性的实验。在实验中使用登记有100，000个参考图像的图像数据库。100，000个参考图像的图像数据库包括三个数据集A、B和C。数据集A包括通过利用谷歌图片搜索收集的3100个图像。在图像收集中使用的搜索关键词包括“海报”、“杂志”和“封面”等。数据集B包括在PCA-SIFT站点上发表的18，500个图像。数据集C包括通过利用“动物”、“生日”、“食物”和“日本”等标签在作为照片分享站点的“flickr”上收集的78，400个图像。数据集C主要包括物体、自然和人物等的照片。图2示出经由上述过程所收集的参考图像的例子。注意，在收集参考图像时，排除了尺寸等于或小于600X600像素的图像，并且减小参考图像的尺寸以使得参考图像的纵向侧等于或小于640像素。参考图像的尺寸几乎等于VGA尺寸。然后，通过利用(http://www.cs. emu. edu/yke/pcasift/ 上提供的)PCA-SIFT 从参考图像提取局部特征。所提取的局部特征的总数量是1.82X 108。从作为上述图像数据库的子集的10，000个参考图像的数据库中提取的局部特征的总数量是2. 07X 107。然后，出于比较的目的，将根据非专利文献4的利用向量量化的传统存储器量减少方法、以及根据本发明的利用局部特征筛选的存储器量减少方法分别应用至图像数据库，从而编辑共四个图像数据库。利用向量量化的存储器量减少方法这里，将简要说明利用向量量化的传统存储器量减少方法。在向量量化中，对分布在特征空间的特定区域中的特征向量分组。因此，需要定义一些用于对特征向量分组的方法。在本说明书中，如下对特征向量分组。首先，通过利用用于生成kd_树的标准kd_树分离规则来分割特征空间。在此方法中，选择特征空间中表示最大方差的维度，并且在分布在所选择的维度上的点的坐标的中值处分割特征空间。设置要包括在分割后的各特征空间中的特征向量的最大数量(桶大小)b。分割特征空间直到在分割后的各特征空间中所包括的特征向量的数量等于或小于b为止。然后，计算分布在分割后的各特征空间中的特征向量的重心，并且用重心向量来替换分割后的特征空间中的特征向量。将重心向量登记入数据库，并且将已被替换的特征向量所附带的图像ID附加至各重心向量，从而进行向量量化。重心向量与向量量化中的码字相对应，并且重心向量经常称为视觉词(visual word) 0实验参数用于通过利用向量量化的方法编辑图像数据库的参数b的值是1、2、3、5、10和20。另一方面，借助筛选局部特征的存储器量减少方法来编辑图像数据库所使用的参数R的值是300、200、100、75和50。表1示出与各R值相对应的、在100，000个参考图像的图像数据库中所登记的局部特征的数量。表 1数据库中登记的局部特征的数量(筛选)
权利要求
1.一种图像数据库编辑方法，用于编辑用以存储要与查询图像进行比较的参考图像的图像数据库，并且所述图像数据库用于物体识别，所述图像数据库编辑方法包括提取步骤，用于从要存储在所述图像数据库中的参考图像提取表示不同位置的局部特征的多个参考特征向量，其中，各所述参考特征向量具有向量长度和向量方向； 聚类步骤，用于形成各自包括不同的特征向量的多个簇； 选择步骤，用于从各所述簇选择特征向量作为各所述簇的代表向量；以及存储步骤，用于将所述代表向量与所述参考图像相关联地存储在所述图像数据库中， 其中所述聚类步骤形成各所述簇以使得表示所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；所述选择步骤对具有长向量长度的任一参考特征向量给予优先级，以选择所述代表向量；通过以与提取所述参考特征向量相同的方式从所述查询图像生成至少一个查询特征向量、并且在所述查询特征向量和所述代表向量之间采取近邻搜索来进行所述比较；以及通过计算机来执行各上述步骤。
2.根据权利要求1所述的图像数据库编辑方法，其特征在于 所述聚类步骤形成预定数量的簇。
3.根据权利要求1或2所述的图像数据库编辑方法，其特征在于 所述选择步骤从每个所述簇确定一个代表向量。
4.根据权利要求1 3中任一项所述的图像数据库编辑方法，其特征在于 所述聚类步骤利用k-均值聚类来形成所述簇。
5.一种图像检索方法，用于从图像数据库中检索与查询图像相对应的特定参考图像， 所述图像数据库预先存储有要与所述查询图像进行比较的多个参考图像，并且所述图像数据库用于图像检索，各所述参考图像与从各所述参考图像提取出的代表向量相关联地存储，所述图像检索方法包括提取步骤，用于提取表示所述查询图像的局部特征并且具有向量长度和向量方向的至少一个查询特征向量；比较步骤，用于通过在所述查询特征向量和与各所述参考图像相关的所述代表向量之间采取近邻搜索，来比较所述查询特征向量和所述代表向量，其中经由如下的过程来获得所述代表向量，该过程包括以与提取所述查询特征向量相同的方式从各所述参考图像提取多个参考特征向量；形成各自包括所述参考特征向量的多个簇，以使得表示各所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；从各所述簇选择所述代表向量，其中，通过对具有长向量长度的任一参考特征向量给予优先级来选择所述代表向量；以及通过计算机来执行各上述步骤。
6.一种图像数据库编辑程序，用于使计算机执行对图像数据库的编辑，所述图像数据库存储要与查询图像进行比较的参考图像并且用于物体识别，所述图像数据库编辑程序包括提取步骤，用于从要存储在所述图像数据库中的参考图像提取表示不同位置的局部特征的多个参考特征向量，其中，各所述参考特征向量具有向量长度和向量方向； 聚类步骤，用于形成各自包括不同的特征向量的多个簇； 选择步骤，用于从各所述簇选择特征向量作为各所述簇的代表向量；以及存储步骤，用于将所述代表向量与所述参考图像相关联地存储在所述图像数据库中， 其中所述聚类步骤形成各所述簇以使得表示所述参考图像上位置靠近的局部特征的参考特征向量属于相同的簇；所述选择步骤对具有长向量长度的任一参考特征向量给予优先级，以选择所述代表向量；以及通过以与提取所述参考特征向量相同的方式从所述查询图像生成至少一个查询特征向量、并且在所述查询特征向量和所述代表向量之间采取近邻搜索来进行所述比较。
全文摘要
一种图像数据库创建方法，包括提取步骤，从将与用于物体识别的检索查询图像进行比较的参考图像提取参考特征向量，其中，参考特征向量与参考图像不同位置的局部特征相对应并将各局部特征的位置和特性表示为向量位置、向量长度和向量方向；聚类步骤，创建包含不同参考特征向量的多个簇以使得各参考向量属于多个簇中的任一；选择步骤，从各个簇的参考特征向量选择该簇的代表向量；以及将代表向量与参考图像相关联并相关联地登记入用于物体识别的图像数据库的步骤，其中，在聚类步骤中创建各个簇以使得在邻近向量位置的参考特征向量属于相同的簇，在选择步骤中对具有长向量长度的参考特征向量给予优先级以选择代表向量，以及通过从检索查询图像生成至少一个查询特征向量、并在查询特征向量和代表向量之间应用局部搜索来对检索查询图像和参考图像进行相互比较，并通过计算机来执行各上述步骤。
文档编号G06T7/00GK102341824SQ20108001038
公开日2012年2月1日 申请日期2010年3月3日 优先权日2009年3月4日
发明者古桥幸人, 峯泰治, 本道贵行, 黄濑浩一 申请人:公立大学法人大阪府立大学, 奥林巴斯株式会社