图像检索装置、图像检索方法、程序以及计算机可读取的存储介质的制作方法

图像检索装置、图像检索方法、程序以及计算机可读取的存储介质的制作方法
【专利摘要】在成为检索对象的图像具有的局部的特征的数目与查询图像具有的局部的特征的数目大不相同的情况下，抑制成为该检索对象的图像被选择的可能性。图像检索装置取得分别表示成为查询的图像的局部的特征的多个查询特征量；从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择对应于所述各查询特征量的图像特征量，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示各图像的局部的特征；基于对应于所述多个查询特征量而选择出的图像特征量，关于成为检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分；基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像。
【专利说明】图像检索装置、图像检索方法、程序以及计算机可读取的存储介质

【技术领域】
[0001]本发明涉及图像检索装置、图像检索方法、程序以及计算机可读取的存储介质。

【背景技术】
[0002]由于网络技术等的发达，庞大的量的图像文件被管理。存在以下图像检索技术:从该大量的图像之中，选出类似于成为查询(query)的图像(查询图像)的图像。作为图像检索技术之一，使用表示图像的局部的特征的局部特征量，此外，为了从大量的图像中以短的响应时间检索类似图像，在一般的方法中简略地计算表示与查询图像的类似的程度的得分(score)。
[0003]上述的方法之一被称为BoF (Bag of Features)法。该方法应用了被称为BoW(Bagof Words)法的文档检索的方法。在BoF法中，使得从成为检索对象的图像中提取的局部特征量(以下写做“图像特征量”)的每一个与相当于BoW法中的单词的Visual Word对应而存储。并且，在进行检索时从成为查询的图像中提取多个局部特征量(以下记为“查询特征量”)，取得与该局部特征量的每一个对应的Visual Word。并且,将该Visual Word的出现频度统计地进行处理，从而生成表示查询图像与成为检索对象的图像的类似的程度的得分，检索类似的图像。
[0004]在专利文献I中，公开了使用Visual Word来检索图像的方法的概要，以及使得从图像中提取的图像特征量矢量与从关联于该图像的文章中提取的媒体(media)特征量矢量结合而检索图像的技术。
[0005]在专利文献2中，记载了决定类似于查询图像的城市景观图像的技术。在该技术中，在查询图像和城市景观图像的其中一个之间，基于几何约束条件而取得局部特征量的对应关系。基于该对应关系来决定成为检索结果的图像。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:特开2011 - 103082号公报
[0009]专利文献2:特开2011 — 113197号公报


【发明内容】

[0010]发明要解决的课题
[0011]在BoF法中，一般来说，将与查询特征量接近的图像特征量的出现频度通过TF/IDF进行统计处理，从而检索类似的图像。于是，在成为检索对象的图像中与某查询特征量接近的特征量的出现频度(TF)高，且该出现频度为IDF的项没有充分地发挥作用的程度的情况下，导致成为该图像的类似的尺度的得分变高。例如，若检索与包含一个星标记的土耳其国旗类似的图像，则存在大量包含星标记的美国星条旗的图像而不是包含土耳其国旗的图像作为检索结果而输出的情况。
[0012]本发明是鉴于上述课题而完成的，其目的在于，提供在从查询图像中提取的局部特征量的数目与成为接近于该局部特征量的检索对象的图像的局部特征量的数目不同的情况下，抑制这样的图像作为类似的图像而被检索的现象，提高检索的精度的技术。
[0013]用于解决课题的手段
[0014]为了解决上述课题，本发明所涉及的图像检索装置的特征在于，包括:查询特征量取得部件，取得分别表示成为查询的图像的局部的特征的多个查询特征量；图像特征量选择部件，从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择与所述多个查询特征量的每一个对应的图像特征量，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示成为检索对象的各图像的局部的特征；得分生成部件，基于对应于所述多个查询特征量而选择出的图像特征量，关于成为所述检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分；以及图像选择部件，基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像。
[0015]此外，本发明所涉及的程序使计算机作为以下部件而发挥作用:查询特征量取得部件，取得分别表示成为查询的图像的局部的特征的多个查询特征量；图像特征量选择部件，从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择与所述多个查询特征量的每一个对应的图像特征量，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示各图像的局部的特征；得分生成部件，基于对应于所述多个查询特征量而选择出的图像特征量，关于成为所述检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分；以及图像选择部件，基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像。
[0016]此外，本发明所涉及的图像检索方法的特征在于，包括:取得分别表示成为查询的图像的局部的特征的多个查询特征量的步骤；从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择与所述多个查询特征量的每一个对应的图像特征量的步骤，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示各图像的局部的特征；基于对应于所述多个查询特征量而选择出的图像特征量，关于成为所述检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分的步骤；以及基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像的步骤。
[0017]此外，本发明所涉及的计算机能够读取的存储介质存储用于使计算机作为以下部件而发挥作用的程序:查询特征量取得部件，取得分别表示成为查询的图像的局部的特征的多个查询特征量；图像特征量选择部件，从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择与所述多个查询特征量的每一个对应的图像特征量，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示各图像的局部的特征；得分生成部件，基于对应于所述多个查询特征量而选择出的图像特征量，关于成为所述检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分；以及图像选择部件，基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像。
[0018]根据本发明，在相对于从查询图像中提取的局部特征量，成为与该局部特征量接近的检索对象的图像的局部特征量多的情况下，能够抑制成为该检索对象的图像被检索为类似的图像的现象。
[0019]也可以是在本发明的一个方式中，图像检索装置还包括:簇选择部件，从表示成为所述检索对象的多个图像的特征的多个图像特征量被分类的多个簇之中，选择与所述多个查询特征量的每一个对应的簇，所述图像特征量选择部件从被分类为与所述多个查询特征量的每一个对应的簇的多个图像特征量中，选择对应于该查询特征量的图像特征量。
[0020]根据本方式，能够提高图像的检索速度。
[0021]也可以是在本发明的一个方式中，所述簇选择部件基于分别代表所述多个簇的多个代表特征量与所述查询特征量的距离，选择对应于所述查询特征量的簇，所述图像特征量选择部件基于所述多个查询特征量与属于对应于所述查询特征量的簇的图像特征量的距离，从被分类为所述选择的簇的多个图像特征量中，选择与所述多个查询特征量的每一个对应的图像特征量。
[0022]也可以是在本发明的一个方式中，所述图像特征量选择部件以对所述多个查询特征量的任一个选择的图像特征量与对其他查询特征量选择的图像特征量不重复的方式，选择与所述多个查询特征量的每一个对应的图像特征量。
[0023]根据本方式，在相对于成为检索对象的图像的局部特征量，与该局部特征量接近的查询图像的局部特征量多的情况下，可抑制成为该检索对象的图像被检索为类似的图像的现象。
[0024]也可以是在本发明的一个方式中，所述图像特征量选择部件将满足以下条件的全部图像特征量选择为对应于该查询特征量的图像特征量:从属于与所述查询特征量的每一个对应的簇的多个图像特征量中选择的图像特征量的数目对于成为所述检索对象的每个图像成为一个，且对所述多个查询特征量的任一个选择的图像特征量与对其他查询特征量选择的图像特征量不重复。
[0025]也可以是在本发明的一个方式中，图像检索装置还包括:图像特征量提取部件，从成为所述检索对象的图像的每一个中，提取图像特征量；以及簇生成部件，生成所述提取到的图像特征量的至少一部分被分类的所述多个簇，所述簇生成部件以属于某簇的图像特征量之中与成为所述检索对象的多个图像的其中一个对应的图像特征量的数目不超过规定的值的方式，生成所述多个簇。
[0026]根据本方式，能够更高速地进行图像的检索。

【专利附图】

【附图说明】
[0027]图1是表示第一实施方式所涉及的图像检索系统的结构的一例的图。
[0028]图2是表示第一实施方式所涉及的图像检索装置的结构的一例的图。
[0029]图3是表示并行计算装置的结构的一例的图。
[0030]图4是表示第一实施方式所涉及的图像检索装置的功能的功能框图。
[0031]图5是表示第一实施方式所涉及的索引生成部的功能结构的功能框图。
[0032]图6是表示成为检索对象的图像的一例的图。
[0033]图7是表示从图像中提取的图像特征矢量的概念的图。
[0034]图8是表不代表矢量的树结构的一例的图。
[0035]图9是表示第一实施方式所涉及的图像检索部的功能结构的功能框图。
[0036]图10是表示第一实施方式所涉及的图像检索部的处理的概略的处理流程的一例的图。
[0037]图11是表示装置内存储器中的数据配置的一例的图。
[0038]图12是表示装置内存储器中的代表矢量的配置的一例的图。
[0039]图13是表示输入成为查询的图像的画面的一例的图。
[0040]图14是表示距离计算的处理流程的一例的图。
[0041]图15是表示从查询图像中提取的查询特征矢量与从成为检索对象的多个图像中提取的图像特征矢量之间的对应的一例的图。
[0042]图16是表示图像特征矢量选择部的处理流程的一例的图。
[0043]图17是表示对查询特征矢量选择图像特征矢量的情况的例子的图。
[0044]图18是表示查询图像中的局部的特征与成为检索对象的图像中的局部的特征之间的对应的一例的图。
[0045]图19是表示查询图像中的局部的特征与成为检索对象的图像中的局部的特征之间的对应的比较例的图。
[0046]图20是表示查询特征矢量与图像特征矢量的距离的偏差的一例的图。
[0047]图21是表示对对应于查询特征矢量的图像进行统计处理的结果的一例的图。
[0048]图22是表示簇图像特征量存储部中存储的数据的一例的图。
[0049]图23是表示第二实施方式所涉及的图像检索部的功能结构的功能框图。
[0050]图24是示出表示第二实施方式所涉及的图像检索部的处理的概要的处理流程的一例的图。
[0051]图25是说明第3个图像特征簇中的图像特征矢量的分布和基于查询特征矢量的选择的图。
[0052]图26是表示为了生成图像得分而使用的转置矩阵的一例的图。
[0053]图27是示出表示第三实施方式所涉及的图像检索部的处理的概要的处理流程的一例的图。

【具体实施方式】
[0054]以下，基于【专利附图】

【附图说明】本发明的实施方式。对所出现的结构要素之中具有相同功能的结构要素赋予相同的符号，省略其说明。
[0055][第一实施方式]
[0056]图1是表示本发明的第一实施方式所涉及的图像检索系统的结构的一例的图。图像检索系统包含图像检索装置l、Web服务器2、客户端装置3。Web服务器2例如是Web服务器程序工作的服务器硬件，客户端装置3例如是Web浏览器的程序工作的个人计算机或智能手机。图像检索系统进行图像检索时的工作的概要如以下。首先，Web服务器2经由互联网等网络从客户端装置3取得成为用于图像检索的查询的图像(以下，记述为“查询图像”)，将该查询图像输入至图像检索装置I。接着，图像检索装置I检索类似于所输入的图像的一个或多个图像，输出至Web服务器2。Web服务器2输出使客户端装置3显示图像检索装置I检索到的图像的数据。
[0057]图2是表示第一实施方式所涉及的图像检索装置I的结构的一例的图。图像检索装置I包含CPU11、存储部12、通信部13、并行计算装置14、以及总线15。
[0058]CPUll按照存储部12中存储的程序而工作。此外，CPUll控制通信部13、并行计算装置14。另外，上述程序也可以是经由互联网等网络而被提供的程序，也可以是被存储在DVD - ROM或USB存储器等能够通过计算机读取的信息存储介质中而提供的程序。
[0059]存储部12由RAM、ROM等存储器元件和硬盘驱动等构成。存储部12存储上述程序。此外，存储部12存储从各部输入的信息和运算结果。
[0060]通信部13是实现与Web服务器2等的其他装置进行通信的功能的部件，例如由网卡那样的通信部件构成。网卡包含通信用的集成电路和通信端子。通信部13基于CPUll的控制，将从其他装置接收到的信息输入至CPUll和存储部12，向其他装置发送信息。
[0061]总线15构成与在CPU11、存储部12、通信部13以及并行计算装置14之间交换数据的路径。例如，CPU11、存储部12与并行计算装置14经由总线15中的扩展总线而连接。
[0062]并行计算装置14是擅长通过并行计算来大量进行同种的计算的硬件。并行计算装置14例如是GPU (图形处理单元,Graphics Processing Unit)。图3是表示并行计算装置14的结构的一例的图。并行计算装置14包含多个并行执行部40、装置内存储器45。此夕卜，各并行执行部40包含多个处理器41、命令单元42、高速存储器43。
[0063]多个处理器41的每一个进行浮动小数点计算、以及与装置内存储器45和高速存储器43之间的数据的读入和写入等的处理。命令单元42基于装置内存储器45等中存储的程序，使得包含该命令单元42的并行执行部40中包含的多个处理器41进行处理。某并行执行部40中包含的多个处理器41根据来自该并行执行部40中包含的一个命令单元42的指示而处理相同的命令。这样，由于能够将多个处理器41以一个命令单元42来控制，所以能够抑制命令单元42的电路的规模的增加。相比于CPUlI，能够增加并行计算装置14中包含的处理器41的数目，在后述那样的特定的计算处理中，比使用多个独立性高的处理器的情况更容易进行高速化。
[0064]装置内存储器45由DRAM构成，该DRAM能够比存储部12中使用的RAM更高速地进行存取。装置内存储器45经由总线15而连接到CPUll和存储部12。另外，并行计算装置14还具有通过DMA转发而在装置内存储器45和存储部12之间转发数据的电路。高速存储器43由能够比装置内存储器45更高速地进行存取的SRAM等构成。处理器41对高速存储器43进行存取时的等待时间(latency)与处理器41对其内部寄存器进行存取时的等待时间基本不变。在此，装置内存储器45和高速存储器43都是能够从多个处理器41公共地进行存取的公共存储器。
[0065]图4是表示第一实施方式所涉及的图像检索装置I的功能的功能框图。图像检索装置I在功能上包含索引生成部51、以及图像检索部52。这些功能通过CPUll执行存储部12中存储的程序，控制通信部13和并行计算装置14，并且并行计算装置14执行面向该并行计算装置14的程序而实现。
[0066][索引的生成]
[0067]以下，说明将图像特征矢量22分类为簇，生成索引的处理。
[0068]索引生成部51根据成为检索对象的多个图像，生成在图像检索时使用的图像特征矢量22、和使得该图像特征矢量22的选择变得容易的索引。图像检索部52使用索引和图像特征矢量22，检索类似于查询图像的图像。
[0069]图5是表示索引生成部51的功能结构的功能框图。索引生成部51在功能上包含图像特征矢量提取部61、簇生成部62。簇生成部62生成成为簇的索引的代表矢量的树结构，在树结构代表矢量存储部72中存储与索引关联的信息。此外，簇矢量存储部71存储属于成为该树结构的叶的簇(代表矢量代表的簇)的图像特征矢量22的信息。簇矢量存储部71、树结构代表矢量存储部72具体而言由存储部12构成。
[0070]图像特征矢量提取部61主要通过CPU11、存储部12、以及并行计算装置14来实现。图像特征矢量提取部61从存储部12中存储的、成为检索对象的多个图像的每一个中，提取一个或多个图像特征矢量22。此外，图像特征矢量提取部61将所提取到的图像特征矢量22与提取到该图像特征矢量22的图像建立关联而存储至存储部12。
[0071]图6是表不成为检索对象的图像的一例的图。图7是表不从图像中提取的图像特征矢量22的概念的图。从图像中提取的图像特征矢量22的每一个是表示该图像的局部的特征的局部特征量。图像特征矢量22的每一个例如是具有128个要素(维)的矢量。为了从图像中提取图像特征矢量22,也可以使用SIFT (尺度不变特征转换,Scale-1nvariantFeature transform)、SURF(加速鲁棒特征，Speeded Up Robust Features)等的公知的方法。图像特征矢量22的每一个具有的要素的数目也可以根据从图像提取的方法等而变化。此外，从一个图像中提取的图像特征矢量22的数目也可以是预先决定的数目(例如300)，从单纯的图像中提取的图像特征矢量22的数目也可以比该预先决定的数目少。
[0072]簇生成部62主要通过CPU11、存储部12以及并行计算装置14来实现。簇生成部62通过聚类，将由图像特征矢量提取部61提取到的多个图像特征矢量22的至少一部分分类为多个簇。换言之，生成所提取到的图像特征矢量22的至少一部分被分类的多个簇。此夕卜，生成代表这些簇的每一个的代表矢量。图像特征矢量22被分类的簇也可以是多级。对应于此，分类为簇的处理不限于I级的处理，也可以是多级的处理。以下，说明通过递归调用该多级的处理而实现的处理的例子。另外，在具体的例子中进行2级的处理，在第I级中将由图像特征矢量提取部61提取到的多个图像特征矢量22分类为1024个簇，进而在第2级中将该1024个簇的每一个分类为512个簇。
[0073]在簇生成部62的各级的处理中，通过聚类而将被给予的多个图像特征矢量22分类为被给予的个数的簇，生成多个簇，进而生成该生成的簇的代表矢量，将所生成的代表矢量作为该级的代表矢量而存储至树结构代表矢量存储部72。在处理中的级不是最下级的情况下，簇生成部62将属于处理中的级中生成的簇的每一个的多个图像特征矢量22作为输入信息，递归调用下一级的处理。代表矢量例如是属于该被分类的簇的图像特征矢量22的重心，是代表该簇的矢量。此外，簇生成部62按最下级的处理中生成的每个簇，将属于该簇的图像特征矢量22存储至簇矢量存储部71。
[0074]在上述的例子的情况下，在第I级的处理中，簇生成部62将被给予的图像特征矢量22分类为1024个簇，生成该被分类的第I级的各簇的代表矢量，将所生成的第I级的代表矢量存储至树结构代表矢量存储部72。在第2级的处理中，簇生成部62将属于第I级中生成的1024个簇的每一个的多个图像特征矢量22作为输入信息，进而分类为512个簇，生成该被分类的第2级的各簇的代表矢量，将所生成的下位的级的代表矢量存储至树结构代表矢量存储部72。若生成全部第2级的簇，则该第2级的簇的总数成为(1024X512)个。进而簇生成部62按照第2级中生成的每个簇，将属于该簇的图像特征矢量22存储至簇矢量存储部71。以下，为了易于说明，将代表第I级的簇的代表矢量记为上位代表矢量，将代表最下级(在上述的例子中为第2级)的簇的代表矢量记为代表特征矢量。此外，将最终生成的簇(在上述的例子中为第2级的簇)也记为图像特征簇。
[0075]在将图像特征矢量22分类为簇时，使用k - means法等的公知的聚类方法即可。簇的数目由于与后述的图像检索部52的处理的关系，优选2的幂，但也可以不是2的幂。此夕卜，若分类全部图像中包含的图像特征矢量22，则多个图像特征矢量22属于各自的图像特征簇。通过2级地进行簇生成部62的递归处理，能够在树结构代表矢量存储部72中存储2层的信息。另外，图像特征矢量提取部61和簇生成部62的计算也可以不使用并行计算装置14而进行。但是优选这些计算使用并行计算装置14。这是因为根据比较实验，在使用并行计算装置14的情况下的计算速度成为不使用的情况的20至200倍。
[0076]图8是表示代表矢量的树结构的一例的图。在簇生成部62进行上述的2级的处理的情况下，与2级的簇对应的2级的代表矢量构成树结构。上位代表矢量的数目为1024个，上位代表矢量的每一个成为512个代表特征矢量的父。在这样使用基于多级的簇的树结构的情况下，图像检索部52能够利用与该树结构相应的代表矢量中存在父子关系的情况而进行检索。
[0077][检索图像的处理]
[0078]图9是表示图像检索部52的功能结构的功能框图。图像检索部52在功能上包含代表矢量转发部81、查询特征矢量取得部82、上位代表矢量距离计算部83、代表簇选择部
84、代表特征矢量距离计算部85、图像特征簇选择部86、图像特征矢量转发部87、图像特征矢量距离计算部88、图像特征矢量选择部89、图像得分生成部90、以及检索结果图像选择部91。
[0079]图10是表示第一实施方式所涉及的图像检索部52的处理的概要的图。以下，按照图10所示的处理流程，说明图像检索部52中包含的各功能。
[0080][并行计算装置的初始化]
[0081]代表矢量转发部81主要通过并行计算装置14、存储部12来实现。代表矢量转发部81作为初始化并行计算装置14的处理(步骤S101)，将树结构代表矢量存储部72中存储的、多个上位代表矢量以及多个代表特征矢量，转发至能够从多个处理器41公共地进行存取的装置内存储器45。
[0082]在代表矢量转发部81将上述数据从存储部12转发至装置内存储器45时，使用并行计算装置14和总线15的DMA(直接存储器存取，Direct Memory Access)功能。
[0083]图11是表示装置内存储器45中的数据配置的一例的图。在装置内存储器45中，设置存储代表特征矢量的区域、存储上位代表矢量的区域、存储一个图像特征簇中包含的图像特征矢量22的区域。代表矢量转发部81将存储部12中存储的多个代表矢量的信息存储至预先分配的装置内存储器45的存储器区域。向存储图像特征簇的区域的数据的存储在后面叙述。
[0084]在此，若设为代表特征矢量的要素数为128维，代表特征矢量的数目为与图像特征簇的数目相同的(1024X512)个，各要素为I字节的整数型，则该多个代表特征矢量的全部数据量成为(1024X512X128)字节(B)、即64MB。此外，此时，由于多个上位代表矢量的数目为1024，所以同样地，多个上位代表矢量的数据量成为(1024 X 128)字节、即128KB。若例如被搭载在现行的GPU的装置内存储器45的存储器容量为IGB左右，且装置内存储器45的容量也为1GB，则多个代表矢量的数据量比装置内存储器45的容量小。
[0085]另一方面，若设为图像的数目为100万，从一个图像中提取的图像特征矢量22的数目为300，则多个图像特征簇中包含的图像特征矢量22的数据量成为(100万X300X128)字节、即约36GB，不能存储至装置内存储器45。另一方面，由于每一个图像特征簇的平均的图像特征矢量22的数目为(100万X300+(1024X512))、即约600，所以数据量为75KB左右。即使通过聚类而图像特征簇中包含的图像特征矢量22的数目稍微变动，多个代表特征矢量的数据量、多个上位代表矢量的数据量、一个图像特征簇中包含的图像特征矢量22的数据量之和也比装置内存储器45的容量小。
[0086]图12是表示装置内存储器45中的代表矢量的配置的一例的图。装置内存储器45中存储的代表矢量的各要素的大小为4字节，按要素的顺序排列。此外，某代表矢量的数据的开头地址成为能够从装置内存储器45—并读出的数据的字节数(例如32或64)的倍数。该数据结构是用于在后述的距离计算的处理中，将装置内存储器45中存储的数据一并读入多个处理器41的数据结构。即使代表矢量的各要素的大小为I字节，为了一并读入，代表矢量转发部81也对装置内存储器45转发将各要素的大小变换为4字节后的数据。另夕卜，上位代表矢量、一个图像特征簇内的图像特征矢量22也以同样的数据结构而存储至装置内存储器45。装置内存储器45内的多个代表特征矢量、多个上位代表矢量、以及一个图像特征簇中包含的图像特征矢量22的数据量成为4倍，但在该例中，这些数据量之和比装置内存储器45的容量小的点不变。在本实施方式中，调整图像特征簇或代表矢量的数目，以使至少装置内存储器45内的多个代表特征矢量、以及多个上位代表矢量的数据量之和收纳于装置内存储器45的容量即可。
[0087][查询特征矢量的取得]
[0088]查询特征矢量取得部82主要通过CPUl1、存储部12、以及并行计算装置14来实现。查询特征矢量取得部82在并行计算装置14的初始化之后，从查询图像中取得一个或多个查询特征矢量(步骤S102)。此外，查询特征矢量取得部82将从查询图像中提取的一个或多个查询特征矢量存储至作为公共存储器的装置内存储器45。
[0089]查询特征矢量取得部82首先从客户端装置3经由Web服务器2取得查询图像。图13是表示输入查询图像的画面的一例的图。客户端装置3通过Web服务器2所生成的数据来显示本画面。查询图像也可以通过用户上传客户端装置3内的图像文件而取得，也可以通过发送某些Web页面中显示的图像的URL而取得，也可以通过从照片共享服务等中存储的图像中选择查询图像而取得。接着，查询特征矢量取得部82从Web服务器2取得所取得的查询图像，从该查询图像中提取并取得一个或多个查询特征矢量。查询特征矢量使用与图像特征矢量提取部61提取图像特征矢量22的方法相同的方法而生成。接着，查询特征矢量取得部82将查询特征矢量存储至装置内存储器45。在此，也可以是CPUl I提取查询特征矢量，并行计算装置14将查询特征矢量加载至装置内存储器45，也可以是将查询图像加载至并行计算装置14，并行计算装置14提取查询特征矢量而存储至装置内存储器45。
[0090][图像特征簇的选择]
[0091]接着，图像检索部52选择与多个查询特征矢量的每一个对应的图像特征簇(步骤S103)。该处理由上位代表矢量距离计算部83、代表簇选择部84、代表特征矢量距离计算部
85、以及图像特征簇选择部86进行。
[0092]上位代表矢量距离计算部83以并行计算装置14为中心而实现。上位代表矢量距离计算部83使用多个并行的处理器41，计算多个上位代表矢量的每一个与查询特征矢量的距离。以下，说明上位代表矢量距离计算部83中的距离计算的细节。另外，上位代表矢量距离计算部83、代表簇选择部84、代表特征矢量距离计算部85、图像特征簇选择部86、图像特征矢量距离计算部88、以及图像特征矢量选择部89的处理关于从查询图像中提取到的查询特征矢量的每一个而进行。
[0093]图14是表示距离计算的处理流程的一例的图。首先，上位代表矢量距离计算部83将查询特征矢量从装置内存储器45加载到进行距离计算的并行执行部40的高速存储器43(步骤S201)。接着，将成为计算对象的矢量(在此为上位代表矢量)的各要素从装置内存储器45加载到进行该要素的计算的处理器41的寄存器(步骤S202)。此时，多个处理器41从装置内存储器45 —并读入计算对象矢量的数据。由于成为计算对象的矢量的数据通过代表矢量转发部81等预先以能够进行该一并的读入的方式被存储至装置内存储器45，所以多个处理器41能够进行该读入。接着，上位代表矢量距离计算部83对寄存器中存储的成为计算对象的矢量的要素、和对应于该要素的查询特征矢量的要素进行减法，进而将该减法结果平方(步骤S203)。在距离计算中，也可以代替将减法结果平方而使用利用减法结果的绝对值等的其他距离函数。距离函数所使用的距离不限于如步骤S203那样的欧几里得(Euclid)距离(L2),也可以是余弦(Cosine)、曼哈顿(Manhattan)距离(LI)等。
[0094]接着，合计关于成为计算对象的矢量的各要素的步骤S103的计算结果(步骤S204)。并且，上位代表矢量距离计算部83将合计结果存储至装置内存储器45 (步骤S205)。另外，若某并行执行部40中包含的、执行相同的命令的处理器41的数目比查询特征矢量或成为计算对象的矢量的要素的数目少，则步骤S202至步骤S204的处理配合处理器41的数目而被分割，多次被执行。此外，在存在多个并行执行部40的情况下，上位代表矢量距离计算部83使其他的并行执行部40关于其他的成为计算对象的矢量执行步骤S201至S205的处理。此外，关于从查询图像中提取到的其他查询特征矢量，也可以并行地进行计算。通过这样，查询特征矢量与其他多个计算对象的矢量的距离计算配合GPU那样的并行计算装置14的并行计算能力而并行地被计算。由该距离计算的处理内容可知，被适当地配置在装置内存储器45中的多个矢量与查询特征矢量的距离计算与GPU那样的硬件兼容性高，非常高速地被处理。
[0095]代表簇选择部84以并行计算装置14为中心而实现。代表簇选择部84基于上位代表矢量距离计算部83中计算出的查询特征矢量与多个上位代表矢量的每一个的距离，从多个代表特征矢量的集合中选择一个集合。更详细地说，例如选择成为与查询特征矢量的距离最短的上位代表矢量的子的多个代表特征矢量的集合。该代表特征矢量的集合的每一个对应于第I级的簇(代表簇)。代表特征矢量的集合的选择也相当于与此对应的代表簇的选择。另外，能够看作上位代表矢量的每一个代表多个代表特征矢量。更具体而言，代表簇选择部84通过计算存储该代表矢量的集合的存储器内的区域的开头地址来选择该集合。例如，若成为某上位代表矢量的子的代表特征矢量的数目与上位代表矢量无关而为一定，则若知道距离最短的上位代表矢量是第几个，则能够以乘法等单纯的计算来求得开头地址。这样，不使用需要分支或追加的存储器存取的运算即可，所以能够进行将GPU那样的硬件的性能更活用的处理。
[0096]代表特征矢量距离计算部85以并行计算装置14为中心而实现。代表特征矢量距离计算部85使用多个并行的处理器41计算多个代表特征矢量的至少一部分的每一个与查询特征矢量的距离。在此，成为计算对象的代表特征矢量是属于由代表簇选择部84选择出的集合的代表特征矢量。代表特征矢量距离计算部85与上位代表矢量距离计算部83计算距离相同地，按照图14的流程计算距离。其中，计算对象矢量是上述的代表特征矢量。与上位代表矢量距离计算部83相同地，该处理内容与GPU那样的硬件兼容性高，非常高速地被处理。
[0097]图像特征簇选择部86以并行计算装置14为中心而实现。图像特征簇选择部86基于由代表特征矢量距离计算部85计算出的查询特征矢量与多个代表特征矢量的每一个的距离，从多个图像特征簇中选择图像特征簇。更详细地说，例如选择与查询特征矢量的距离最短的代表特征矢量代表的图像特征簇。
[0098]另外，在本实施方式中，如上位代表矢量和代表特征矢量那样，代表矢量成为2级的树结构的结构，但也可以是不设置上位代表矢量的I级的结构。此时，不需要上位代表矢量距离计算部83以及代表簇选择部84的处理，代表特征矢量距离计算部85关于全部代表特征矢量进行距离计算。此外，也可以是3级以上的结构。
[0099][图像特征矢量的选择]
[0100]在选择出图像特征簇后，图像检索部52计算多个查询特征矢量的每一个与属于所选择出的图像特征簇的图像特征矢量22的距离，基于该距离选择与该查询特征矢量对应的一个或多个图像特征矢量22 (步骤S104)。该处理由图像特征矢量转发部87、图像特征矢量距离计算部88、以及图像特征矢量选择部89进行。
[0101]图像特征矢量转发部87以存储部12以及并行计算装置14为中心而实现。图像特征矢量转发部87将属于由图像特征簇选择部86选择出的图像特征簇的多个图像特征矢量22，从簇矢量存储部71转发至能够从多个处理器41公共地进行存取的装置内存储器45。图像特征矢量转发部87与代表矢量转发部81转发代表特征矢量等相同地，配置图像特征矢量22的数据，以便将装置内存储器45中存储的数据一并读入多个处理器41。
[0102]图像特征矢量距离计算部88以并行计算装置14为中心而实现。图像特征矢量距离计算部88使用多个并行的处理器41，计算多个图像特征矢量22的每一个与查询特征矢量的距离。在此，用于计算的图像特征矢量22是属于由图像特征簇选择部86选择出的图像特征簇的图像特征矢量22。该数据通过图像特征矢量转发部87被转发至装置内存储器45。图像特征矢量距离计算部88与上位代表矢量距离计算部83计算距离相同地，关于查询特征矢量的每一个，按照图14的流程而计算距离。其中，计算对象矢量是图像特征矢量22。与上位代表矢量距离计算部83相同，该处理内容与GPU那样的硬件兼容性高，非常高速地被处理。
[0103]图像特征矢量选择部89以并行计算装置14为中心而实现。图像特征矢量选择部89基于多个查询特征矢量与属于所选择出的图像特征簇的多个图像特征矢量22的接近度，选择与多个查询特征矢量的每一个对应的多个图像特征矢量22。作为接近度，在该例中使用距离。在此，图像特征矢量选择部89选择满足以下的条件的多个图像特征矢量22。该条件是对于某查询特征量，对成为检索对象的多个图像的每一个选择一个图像特征矢量22。通过该条件，防止从某一个图像中提取到的多个图像特征矢量22对应于一个查询特征矢量。
[0104]图15是表示从查询图像中提取的查询特征矢量与从成为检索对象的多个图像中提取的图像特征矢量22之间的对应的一例的图。处于图15的左侧的一个矩形表示查询图像，在其中的X标记表示从该查询图像中提取到的查询特征矢量。在图15的右侧在上下方向上排列的矩形分别表示成为检索对象的图像，在该矩形的各自之中的X标记表示从该图像中提取的图像特征矢量22。如图15所示，在某查询图像和成为检索对象的图像之中的一个之间，一个查询特征矢量仅对应于一个图像特征矢量22。另一方面，对于该查询特征矢量，可存在从成为检索对象的其他图像中提取的图像特征矢量22。当然，还可存在不包含对应于该查询特征矢量的图像特征矢量22图像，所以对应于某查询特征矢量而从某一个图像中提取的图像特征矢量22的数目成为I或者O。
[0105]图16是表示图像特征矢量选择部89的处理流程的一例的图。图像特征矢量选择部89对每个查询特征矢量进行如图16所示的处理。此外，后述的已选择特征列表在对于某查询图像的全部查询特征矢量之间公共使用，已选择特征列表在对第I个查询特征矢量开始处理前被初始化。以下说明关于某查询特征矢量的处理。
[0106]首先，图像特征矢量选择部89从属于所选择出的簇的图像特征矢量22中，取得与查询特征矢量的距离比预先决定的阈值小的图像特征矢量，通过距离拣选(sort)这些图像特征矢量(步骤S301)。
[0107]图17是表示对查询特征矢量选择图像特征矢量22的情况下的例子的图。本图的实线的圆表示所选择出的簇，处于该圆的中心的黑点表示该簇的代表矢量241 (准确地说为矢量的坐标)，白点表示该簇中包含的图像特征矢量22。加号记号表示查询特征矢量。在图17的例子中，对应于查询特征矢量321而取得并拣选离查询特征矢量321的距离成为阈值的范围内的、处于以查询特征矢量321的白点为中心的虚线内的图像特征矢量221、223。此外，对于查询特征矢量322，取得并拣选图像特征矢量222、223。在此，能够通过使阈值变化，从而控制检索精度。具体而言，阈值越小则能够将少数的图像特征矢量22作为检索结果而输出，阈值越大则能够将宽范围的图像特征矢量22作为检索结果而输出。另外，在将阈值设为最大的情况下，选择簇中包含的全部图像特征矢量。另外，也可以按距离近的顺序而不是距离是否处于范围内来取得预先决定的数目的查询特征矢量。另外，在图17中，为了易于理解，使用2维附图图示了簇的代表矢量、该簇中包含的图像特征矢量、以及查询特征矢量，但实际上，这些矢量不是2维而是128维。
[0108]接着，图像特征矢量选择部89清除并初始化属于已选择图像列表的图像(步骤S302)。接着，将所拣选出的图像特征矢量22之中的第I个图像特征矢量22作为处理对象而取得(步骤S303)。并且，在该处理对象的图像特征矢量22没有从处于已选择图像列表的图像中被提取(步骤S304的“否”)，且在已选择特征列表中不存在(步骤S305的“否”)的情况下，将成为处理对象的图像特征矢量22选择为对应于该查询特征矢量的图像特征矢量(步骤S306)。并且，将所选择出的图像特征矢量22追加到已选择特征列表(步骤S307)，此外，将提取到所选择出的图像特征矢量22的图像追加到已选择图像列表(步骤S308)。处理对象的图像特征矢量22从处于已选择图像列表的图像中被提取(步骤S304的“是”)，或者，在已选择特征列表中存在(步骤S305的“是”)的情况下，跳过步骤S306至步骤S308的处理。
[0109]并且，若成为处理对象的图像特征矢量22是最后的图像特征矢量22(步骤S309的“是”)，则对于该查询特征矢量的处理结束，若成为处理对象的图像特征矢量22不是最后的图像特征矢量22(步骤S309的“否”)，则将下一个图像特征矢量22作为处理对象而取得(步骤S310)，从步骤S304起重复。
[0110]通过步骤S304等的处理，抑制对于某查询特征矢量选择从一个图像提取到的多个图像特征矢量22的现象。通过步骤S305等的处理，抑制例如图17中的图像特征矢量223通过多个查询特征矢量多次被选择的现象。换言之，对某查询特征矢量选择的图像特征矢量22与对其他查询特征矢量选择的图像特征矢量22不重复。其结果，从查询图像中提取的查询特征矢量与从成为检索对象的图像的其中一个中提取到的图像特征矢量22之中所选择的图像特征矢量以I对I的方式对应。
[0111]图18是表示查询图像中的局部的特征(对应于查询特征矢量)与成为检索对象的图像中的局部的特征(对应于图像特征矢量22)之间的对应的一例的图。在图18之中上侧的矩形表示查询图像，下侧的矩形表示成为检索对象的图像。这些图像中包含的多个三角形表示相互类似的局部的特征。像这样，查询图像中的局部的特征与成为检索对象的图像中的局部的特征以I对I的方式对应。
[0112]图19是表示查询图像中的局部的特征与成为检索对象的图像中的局部的特征之间的对应的比较例的图。本图是在不进行步骤S304以及S305的处理的情况下的例子。此时，成为多对多的对应关系，导致所选择的图像特征矢量22的数目飞跃性地增大。
[0113]比较图18和图19也可知，通过上述的处理，能够防止在查询图像和成为检索对象的图像之一中，局部的特征量的数目不同的图像提取比数目相同的图像更多的图像特征矢量22。由此，通过后述的得分生成处理，能够抑制成为检索对象的图像具有的局部的特征的数目与查询图像具有的局部的特征的数目大不相同的图像被选择为检索结果的可能性。
[0114][每个图像的得分的生成]
[0115]若图像特征矢量22被选择，则图像检索部52中包含的图像得分生成部90按成为检索对象的每个图像生成得分(步骤S105)。图像得分生成部90以并行计算装置14为中心而实现。图像得分生成部90关于多个图像的每一个，基于表示该图像的特征且所选择出的多个图像特征矢量22与对应于该选择出的图像特征矢量22的查询特征矢量的接近度来计算得分要素，进而基于该得分要素的合计，生成该图像的图像得分。
[0116]图像得分生成部90使用以下的式，关于所选择出的图像特征矢量22的每一个，计算得分要素Se。
[0117][数I]


1
[0118]货二;........77:.....JTl

+ 0)
[0119]在此，dist是图像特征矢量22与对应于该图像特征矢量22的查询特征矢量的距离，In表示自然对数，e表示自然对数的底。由此，具有对应的查询特征矢量的图像特征矢量22的得分要素se根据距离而发生变化。接着，图像得分生成部90关于图像的每一个，使用从该图像中提取的、图像特征矢量选择部89选择出的图像特征矢量22的得分要素s的合计，如以下的式那样计算图像得分Si。
[0120][数2]
y]se
[0121]
4kn
[0122]在此，kn是从该图像中提取到的图像特征矢量22的数目。由这些式生成的图像得分Si关于图像的每一个，成为不仅考虑图像特征矢量22被选择的频度，还考虑了查询特征矢量的每一个与对应的图像特征矢量22的接近度的得分，所以能够进一步提高检索精度。
[0123]图20是表示查询特征矢量与图像特征矢量22的距离的偏差的一例的图。例如，如本图那样，在查询特征矢量324与对应而选择的图像特征矢量224接近，查询特征矢量325与对应而选择的图像特征矢量225接近的情况下，以往以相同的权重计算得分，但通过上述的处理，计算反映了这样的差异的得分，能够进行更反映了局部的特征的类似性的检索。
[0124][图像的选择]
[0125]若图像得分被生成，则图像检索部52中包含的检索结果图像选择部91选择成为检索结果的图像(步骤S106)。检索结果图像选择部91以并行计算装置14为中心而实现。检索结果图像选择部91基于图像得分生成部90计算出的图像得分，选择成为检索对象的多个图像之中的至少一个作为检索结果。具体而言，将图像得分根据其值而降序排序，从其图像得分高的图像中选择几个，或选择图像得分比规定的值高的图像。
[0126]图21是表示图像得分的排序结果的一例的图。如本图所示，在将包含一个星标记的土耳其国旗设为查询图像的情况下，抑制对于包含大量星标记的美国星条旗的图像的图像得分上升的现象。若检索结果图像选择部91选择图像，则向Web服务器2输出所选择出的图像的信息。Web服务器2输出使客户端装置3显示检索结果的图像的信息。
[0127]另外，上位代表矢量距离计算部83至图像特征矢量距离计算部88的处理与GPU等的进行并行计算的硬件的兼容性高，能够完全活用GPU的并行计算能力。此外，这以后的处理也能够在一定程度上进行并行处理，能够通过还使用CPUll而更高速地进行处理。因此，能够充分具有基于GPU的处理时间的缩短效果。此外，也可以使CPUll执行这些处理之中的一部分。
[0128][第二实施方式]
[0129]本发明的第二实施方式所涉及的图像检索系统与第一实施方式不同，在选择了图像特征簇后不判断图像特征矢量22与查询特征矢量的距离。该方法是与BoF法一部分类似的检索方法。以下，以与第一实施方式的不同点为中心进行说明。另外，构成图1所示的图像检索系统的设备的结构、图像检索装置I具有索引生成部51以及图像检索部52的点与第一实施方式相同。
[0130][索引的生成]
[0131]与第一实施方式相同，索引生成部51包含图像特征矢量提取部61、簇生成部62。图像特征矢量提取部61从成为检索对象的多个图像的每一个中提取多个图像特征矢量22。簇生成部62将该提取到的图像特征矢量22分类为多个图像特征簇。此外，簇生成部62将这些图像特征簇的代表矢量存储至代表矢量存储部172，将与属于图像特征簇的图像特征矢量22相关的信息存储至簇图像特征量存储部171。至图像特征簇的分类使用与第一实施方式相同的方法即可。其中，簇生成部62在簇图像特征量存储部171中，代替图像特征矢量22的各要素而存储相当于该图像特征矢量22的索引的信息，更具体而言存储提取到该图像特征矢量的图像的识别信息。簇图像特征量存储部171、代表矢量存储部172具体而言由存储部12构成。
[0132]图22是表示簇图像特征量存储部171中存储的数据的一例的图。在簇图像特征量存储部171中，存储了将作为图像特征簇的识别信息的簇序号和作为图像的识别信息的图像序号设为要素的多个记录。在此，一个记录对应于一个图像特征矢量22。在从某图像提取到的多个图像特征矢量在相同的图像特征簇中存在的情况下，具有相同的簇序号和图像序号的记录的数目成为该图像特征矢量22的数目。
[0133][检索图像的处理]
[0134]图23是表示第二实施方式所涉及的图像检索部52的功能结构的功能框图。图像检索部52在功能上包含查询特征矢量取得部181、图像特征簇选择部182、图像特征矢量选择部183、图像得分生成部184、以及检索结果图像选择部185。
[0135]图24是表示第二实施方式所涉及的图像检索部52的处理的概要的图。以下，按照图24所示的处理流程，说明图像检索部52中包含的各功能。
[0136][查询特征矢量的取得]
[0137]查询特征矢量取得部181主要通过CPU11、存储部12、以及并行计算装置14来实现。首先，查询特征矢量取得部181从查询图像中取得一个或多个查询特征矢量(步骤S1101)。该处理是与第一实施方式中的查询特征矢量取得部82相同的处理。
[0138][图像特征簇的选择]
[0139]图像特征簇选择部182主要通过CPU11、存储部12、以及并行计算装置14来实现。若查询特征矢量被取得，则图像特征簇选择部182选择分别对应于多个查询特征矢量的多个图像特征簇(步骤S1102)。更具体而言，关于查询特征矢量的每一个，选择具有与该查询特征矢量最接近的代表矢量的图像特征簇。作为更详细的计算方法，也可以使用CPUll进行距离计算，也可以如第一实施方式所示那样，使用并行计算装置14和代表矢量的树结构来选择图像特征簇。另外，也可以认为所选择出的图像特征簇相当于BoF法中的VisualWord。
[0140][图像特征矢量的选择]
[0141]图像特征矢量选择部183以CPUll以及存储部12为中心而实现。图像特征矢量选择部183从属于对查询特征矢量的每一个所选择出的图像特征簇的图像特征矢量22中，选择对应于该查询特征矢量的图像特征矢量22(步骤S1103)。在此，图像特征矢量选择部89选择满足以下的条件的多个图像特征矢量22。一个条件是，关于成为检索对象的多个图像的每一个，从该图像提取到的多个图像特征矢量22之中，对应于某一个查询特征矢量而选择出的图像特征矢量22的数目成为I。另一个条件是，对任一个查询特征矢量选择的图像特征矢量22、与对其他查询特征矢量选择的图像特征矢量22不重复。图像特征矢量选择部183关于查询特征矢量的每一个，将满足上述的条件的全部图像特征矢量22选择为对应于该查询特征矢量的图像特征矢量22。
[0142]作为具体的处理方法，例如在第一实施方式中由图16说明的处理之中，将步骤S301的处理变更为取得对应于查询特征矢量而选择出的图像特征簇中包含的全部图像特征矢量22即可。另外，在本实施方式中在簇图像特征量存储部171中不存储图像特征矢量22本身，不进行距离计算和基于距离的拣选。
[0143]图25是说明第3个图像特征簇中的图像特征矢量22的分布和基于查询特征矢量的选择的图。图25表示某图像特征簇(在此是簇序号为3的图像特征簇)中的每个图像的图像特征矢量22的数目。图25中横轴是图像序号，纵轴是图像特征矢量22的数目。在通过某查询特征矢量而第I次簇序号3的图像特征簇被选择出的情况下，从图像序号3、4、
5、7、16的图像中提取到的图像特征矢量22分别被逐个地选择。此外，在通过其他查询特征矢量第2次簇序号3的图像特征簇被选择出的情况下，从剩余的图像特征矢量22之中，从图像序号4、16的图像中提取到的图像特征矢量22分别被逐个地选择。
[0144][每个图像的得分的生成]
[0145]图像得分生成部184以CPUll以及存储部12为中心而实现。图像得分生成部184关于多个图像的至少一部分的每一个，基于该图像中的所选择出的图像特征矢量22的出现频度而生成该图像的图像得分(步骤S1104)。例如，图像得分生成部184按每个图像，对从该图像中被提取且与查询特征矢量对应而选择出的图像特征矢量22的数目进行计数，生成图像得分。
[0146][图像的选择]
[0147]检索结果图像选择部185以CPUll以及存储部12为中心而实现。检索结果图像选择部185选择成为检索结果的图像(步骤S1105)。具体而言，检索结果图像选择部185与第一实施方式中的检索结果图像选择部91相同地，基于图像得分而将成为检索对象的多个图像之中的至少一个选择为检索结果。
[0148]如上述那样，产生以下效果:即使在选择了图像特征簇后不计算图像特征矢量22与查询特征矢量的距离，也使得从查询图像中提取的查询特征矢量、与从成为检索对象的图像的其中一个中提取到的图像特征矢量22之中所选择出的图像特征矢量22以I对I的方式对应，抑制成为检索对象的图像具有的局部的特征的数目与查询图像具有的局部的特征的数目大不相同的图像被选择为检索结果的可能性。
[0149][第三实施方式]
[0150]本发明的第三实施方式所涉及的图像检索系统与第二实施方式相同，在选择了图像特征簇后不判断图像特征矢量22与查询特征矢量的距离。在本实施方式中使用BoF法中使用的已有的全文检索引擎且得到与第二实施方式相同的效果。以下，以与第二实施方式的不同点为中心进行说明。另外，构成图1所示的图像检索系统的设备的结构、图2和图23所示的功能结构与第二实施方式相同。
[0151][索引的生成]
[0152]在第三实施方式中，簇生成部62将BoF法中一般使用的转置矩阵存储至簇图像特征量存储部171。BoF法中的转置矩阵是由对应于图像的列和对应于Visual Word的行构成的矩阵。在本实施方式中，将确定矩阵的行的字符串称为视觉单词识别符。在此，视觉单词识别符是对相当于Visual Word的图像特征簇的识别号附加了表示关于该图像特征簇提取到对应于某图像的图像特征矢量22的位次的信息的识别符。
[0153]图26是表示为了生成图像得分而使用的转置矩阵的一例的图。没有连字符(hyphen)的视觉单词识别符与图像特征簇的簇序号相同。在基于该视觉单词的行和某图像序号的列而决定的单元有“I”的情况下，表示存在从该图像序号所示的图像中被提取，且属于该图像特征簇的第I个图像特征矢量22。此外，关于有连字符的视觉单词识别符，连字符之前的序号表示图像特征簇的簇序号，连字符之后的序号表示图像中的图像特征矢量22的顺序序号。例如，在由视觉单词识别符为“3 - 2”的行和图像序号“4”的列决定的单元中有“I”的情况下，表示在第3个图像特征簇中，关于第4个图像存在第2个图像特征矢量
22。存在该“I”的单元相当于图像特征矢量22。当然，视觉单词识别符的表现中也可以不使用连字符。只要能够识别属于相同的簇且从相同的图像中提取的图像特征矢量22则视觉单词识别符也可以是任意表现。
[0154]此外，视觉单词识别符“3 - many”的“many”表示预先决定的簇内阈值(在此为3)以后的顺序序号。在由视觉单词识别符为“3 — many”的行和图像序号“4”的列而决定的单元中存在“I”的情况下，表示在第3个图像特征簇中存在规定的位次(第3个)以后的图像特征矢量22。在本实施方式中使得“3 — 4”以后的视觉单词不存在。这表示删除关于第4个以后的图像特征矢量22的信息。进一步说，与以下情况等价:属于某图像特征簇的图像特征矢量22之中与成为检索对象的多个图像的其中一个对应的图像特征量的数目不超过该簇内阈值。簇生成部62将属于某图像特征簇，且与成为检索对象的多个图像的其中一个对应的图像特征矢量22之中超过簇内阈值的图像特征矢量从图像特征簇中删除，将其结果存储至簇图像特征量存储部171。
[0155][检索图像的处理]
[0156]图27是表示第三实施方式所涉及的图像检索部52的处理的概要的图。以下，按照图27所示的处理流程，主要说明与第二实施方式的不同点。
[0157]首先，查询特征矢量取得部181从查询图像中取得一个或多个查询特征矢量(步骤S2101)。接着，图像特征簇选择部182选择分别对应于多个查询特征矢量的多个图像特征簇(步骤S2102)。由于这些处理与第二实施方式相同所以省略说明。
[0158]接着，图像特征矢量选择部183基于所选择出的图像特征簇的簇序号和选择出该图像特征簇的位次，生成视觉单词识别符(步骤S2103)。该生成规则与转置矩阵中的视觉单词识别符的生成规则相同。具体而言，在选择出图像特征簇的位次为I的情况下将图像特征簇的簇序号设为视觉单词识别符，从该位次为2至(特征阈值一 I)为止，将对簇序号附加了连字符和位次后的识别符设为视觉单词识别符，在该位次为特征阈值的情况下，将对簇序号附加了 “一 many”的识别符设为视觉单词识别符。
[0159]接着，图像特征矢量选择部183使用转置矩阵，选择对应于视觉单词识别符的图像特征矢量22(步骤S2104)。具体而言，图像特征矢量22的选择通过取得有“I”的单元和该单元的图像序号而进行。此外，图像特征矢量选择部183使用所选择出的图像序号以及单元的数值，生成图像的得分(步骤S2105)。并且，基于该得分，选择成为检索结果的图像(步骤 S2106)。
[0160]步骤S2104至步骤S2106的处理也可以通过公知的全文检索引擎来处理。作为该处理引擎的例子，有“Solr”。通过生成上述的转置矩阵，对某查询特征矢量从某图像中选择的单元的值被限定为I。由此，能够使得从查询图像中提取的查询特征矢量、与关于某图像选择的图像特征矢量22以I对I的方式对应。因此，产生以下效果:抑制成为检索对象的图像具有的局部的特征的数目、与查询图像具有的局部的特征的数目大不相同的图像被选择为检索结果的可能性。
[0161]标号说明
[0162]I图像检索装置，2 Web服务器，3客户端装置，11 CPU、12存储部，13通信部，14并行计算装置，15总线，22、221、222、223、224、225图像特征矢量，40并行执行部，41处理器，42命令单元，43高速存储器，45装置内存储器，51索引生成部，52图像检索部，61图像特征矢量提取部，62簇生成部，71簇矢量存储部，72树结构代表矢量存储部，81代表矢量转发部，82、181查询特征矢量取得部，83上位代表矢量距离计算部，84代表簇选择部，85代表特征矢量距离计算部，86、182图像特征簇选择部，87图像特征矢量转发部，88图像特征矢量距离计算部，89、183图像特征矢量选择部，90、184图像得分生成部，91、185检索结果图像选择部，171簇图像特征量存储部，172代表矢量存储部，241代表矢量，321、322、324、325查询特征矢量。
【权利要求】
1.一种图像检索装置，其特征在于，包括: 查询特征量取得部件，取得分别表示成为查询的图像的局部的特征的多个查询特征量; 图像特征量选择部件，从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择与所述多个查询特征量的每一个对应的图像特征量，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示各图像的局部的特征； 得分生成部件，基于对应于所述多个查询特征量而选择出的图像特征量，关于成为所述检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分；以及图像选择部件，基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像。
2.如权利要求1所述的图像检索装置，其特征在于，还包括: 簇选择部件，从表示成为所述检索对象的多个图像的特征的多个图像特征量被分类的多个簇之中，选择与所述多个查询特征量的每一个对应的簇， 所述图像特征量选择部件从被分类为与所述多个查询特征量的每一个对应的簇的多个图像特征量中，选择对应于该查询特征量的图像特征量。
3.如权利要求2所述的图像检索装置，其特征在于， 所述簇选择部件基于分别代表所述多个簇的多个代表特征量与所述查询特征量的距离,选择对应于所述查询特征量的簇， 所述图像特征量选择部件基于所述多个查询特征量与属于对应于所述查询特征量的簇的图像特征量的距离，从被分类为所述选择的簇的多个图像特征量中，选择与所述多个查询特征量的每一个对应的图像特征量。
4.如权利要求1至3的任一项所述的图像检索装置，其特征在于， 所述图像特征量选择部件以对所述多个查询特征量的任一个选择的图像特征量与对其他查询特征量选择的图像特征量不重复的方式，选择与所述多个查询特征量的每一个对应的图像特征量。
5.如权利要求2所述的图像检索装置，其特征在于， 所述图像特征量选择部件将满足以下条件的全部图像特征量选择为对应于该查询特征量的图像特征量:从属于与所述查询特征量的每一个对应的簇的多个图像特征量中选择的图像特征量的数目对于成为所述检索对象的每个图像成为一个，且对所述多个查询特征量的任一个选择的图像特征量与对其他查询特征量选择的图像特征量不重复。
6.如权利要求5所述的图像检索装置，其特征在于，还包括: 图像特征量提取部件，从成为所述检索对象的图像的每一个中，提取图像特征量；以及簇生成部件，生成所述提取到的图像特征量的至少一部分被分类的所述多个簇，所述簇生成部件以属于某簇的图像特征量之中与成为所述检索对象的多个图像的其中一个对应的图像特征量的数目不超过规定的值的方式，生成所述多个簇。
7.一种程序，使计算机作为以下部件而发挥作用: 查询特征量取得部件，取得分别表示成为查询的图像的局部的特征的多个查询特征量; 图像特征量选择部件，从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择与所述多个查询特征量的每一个对应的图像特征量，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示各图像的局部的特征； 得分生成部件，基于对应于所述多个查询特征量而选择出的图像特征量，关于成为所述检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分；以及图像选择部件，基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像。
8.一种图像检索方法，其特征在于，包括: 取得分别表示成为查询的图像的局部的特征的多个查询特征量的步骤； 从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择与所述多个查询特征量的每一个对应的图像特征量的步骤，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示各图像的局部的特征； 基于对应于所述多个查询特征量而选择出的图像特征量，关于成为所述检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分的步骤；以及 基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像的步骤。
9.一种计算机可读取的信息存储介质，存储用于使计算机作为以下部件而发挥作用的程序: 查询特征量取得部件，取得分别表示成为查询的图像的局部的特征的多个查询特征量; 图像特征量选择部件，从图像特征量中，对于所述多个查询特征量之中的一个，以对成为检索对象的每个图像各选择一个图像特征量的方式，选择与所述多个查询特征量的每一个对应的图像特征量，其中，所述图像特征量按成为所述检索对象的多个图像的每一个而预先存储至存储部件，且表示各图像的局部的特征； 得分生成部件，基于对应于所述多个查询特征量而选择出的图像特征量，关于成为所述检索对象的多个图像分别生成表示与成为所述查询的图像类似的程度的得分；以及图像选择部件，基于关于所述图像而生成的得分，从成为所述检索对象的多个图像中选择至少一个图像。
【文档编号】G06T1/00GK104246765SQ201380018009
【公开日】2014年12月24日 申请日期:2013年3月29日 优先权日:2012年3月29日
【发明者】A.赛瓦希尔, 鸟居顺次 申请人:乐天株式会社