图像检索方法、图像检索系统以及信息记录介质的制作方法
【技术领域】
[0001 ]本发明涉及相似图像检索技术。
【背景技术】
[0002] 随着IT基础设施的发展，大量的多媒体数据(文本、影像/图像、语音、各种日志数 据等)被存储在大规模的存储器中。为了从存储的大量的数据高效地提取信息，针对各种媒 体数据，提出了各种信息提取/检索技术，而且已经实用化。
[0003] 作为对图像的信息提取的例，正在研究识别图像内的目标(object)并输出其名称 的图像识别技术。在这样的图像识别技术中，事先准备登记有大量的图像和说明该图像的 标签的"辞典"，并调查新输入的图像的特征与辞典内的哪一图像一致，由此推定针对被输 入的图像的标签。另外，还使用如下方法，在该方法中，不是与辞典内的所有图像进行对照， 而是将辞典内的图像和标签作为学习数据进行机械学习，并使用所生成的标识器来推定标 签。无论哪一方法，都需要准备图像和标签组成的大量的对(pair)，发生手动作业。若识别 对象变多，则制作辞典的人的成本增大，因此需要高效的辞典制作方法。
[0004] 作为接近图像识别技术的技术，已知相似图像检索技术。相似图像检索是从数据 库检索与被供给的图像的特征接近的图像并按照相似度顺序排列后输出的技术。在图像识 别用的辞典制作中，如果能够对相似的脸部统一赋予标签，则能够高效地制作辞典。另外， 通过将赋予完标签的多个图像作为查询（query)进行相似图像检索，能够一次取得多彩的 图像，能够进一步提高作业效率。相反，在查询集中包含不适于相似图像的图像的情况下， 在检索结果中包含噪声的可能性变高，存在作业效率反而下降的危险性。为此，需要提高查 询集的品质的技术。
[0005] 作为在供给很多查询时向查询反馈检索结果的方法，在专利文献1中公开了如下 方法:从被输入的动画截取多个镜头(shot)，由此将所提取的特征量作为查询来检索动画。 由用户评价检索结果，并仅选择包含在适合的动画中的高相似度镜头，由此，通过将选择的 镜头的特征追加到检索查询特征来更新检索查询特征。其结果，能够减少伴随着不需要的 镜头的错误检索。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1:日本特开2008-242965号
【发明内容】
[0009] 发明所要解决的课题
[0010] 专利文献1虽然在内部使用多个镜头来进行检索，但是其目的最终是以动画单位 得到相似性高的检索结果，因此不适合于如辞典制作的用途那样收集多彩的变分 (variation)图像的目的。另外，判定查询的重要度时需要由用户进行评价，这不是提高用 户作业的效率的方法。
[0011] 本发明是鉴于如上所述的问题而提出的，其目的在于提供一种图像检索技术，其 能够使用很多查询来进行高精度的相似图像检索。另外，是为此将检索结果反馈至查询集 的方法。
[0012] 用于解决课题的手段
[0013] 为了解决上述课题，例如采用专利请求范围中记载的结构。本申请包括解决上述 课题的多个手段，列举其一例，是一种图像检索系统，存储部，其存储有从成为检索对象的 图像提取的检索用图像特征量;输入部，其将多个图像作为查询图像来输入;提取部，其从 所述查询图像提取图像特征量;检索部，其利用所述图像特征量，对所述存储部内的所述检 索用图像特征量进行检索；显示部，其显示提取了与所述图像特征量相似的所述检索用图 像特征量的源图像来作为检索结果；以及判定部，其基于所述检索结果，判定所述查询图像 的重要度。
[0014] 或者，是一种图像检索方法，其特征在于，包括:存储步骤，存储从成为检索对象的 图像提取的检索用图像特征量;输入步骤，将多个图像作为查询图像来输入;提取步骤，从 所述查询图像提取图像特征量;检索步骤，利用所述图像特征量，对所述检索用图像特征量 进行检索；显示步骤;显示提取了与所述图像特征量相似的所述检索用图像特征量的源图 像来作为检索结果；以及判定步骤，基于所述检索结果，判定所述查询图像的重要度。
[0015] 发明的效果
[0016] 根据本发明的图像检索装置，对被输入的很多查询进行分组，并针对按照重要度 排列的每一群组，能够得到相似图像检索结果。除此之外的课题、结构以及效果将通过以下 的实施方式的说明变得更清楚。
【附图说明】
[0017] 图1是实施方式1的图像检索系统100的结构图。
[0018] 图2是示出图像数据库108的结构和数据例的图。
[0019] 图3是用于对检索查询生成部109的图像特征量提取处理进行说明的图。
[0020] 图4是用于说明用于相似图像检索部110的相似图像检索的聚类(clustering)的 图。
[0021] 图5是用于说明相似图像检索部110的使用聚类的相似矢量检索的图。
[0022] 图6是用于说明图像检索装置105使用相似图像检索的结果将查询分类成群组的 处理的图。
[0023] 图7是用于说明图像检索装置105使用相似图像检索的结果将查询分类成群组的 处理的流程图。
[0024] 图8是用于说明将图像检索装置105应用于图像的标签赋予工具并向查询集反馈 的情形的图。
[0025] 图9是用于说明在应用了图像检索装置105的图像的标签赋予工具中向查询集反 馈的处理过程的流程图。
[0026] 图10是示出应用了图像检索装置105的图像的标签赋予工具的操作画面的结构例 的图。
[0027] 图11是用于说明在应用了图像检索装置105的图像的标签赋予工具中向查询集反 馈的处理中的各功能部之间的处理时序的图。
[0028] 图12是用于说明利用图像检索装置105的影像分析的图。
[0029] 图13是用于说明利用图像检索装置105的影像分析的处理过程的流程图。
[0030] 图14是用于说明利用图像检索装置105的部分相似图像检索的图。
[0031] 图15是用于说明利用图像检索装置105的部分相似图像检索的处理过程的流程 图。
[0032]图16是实施方式4的内容云系统1600的概略图。
【具体实施方式】
[0033] 实施例1 [0034]〈系统结构〉
[0035]图1是本发明的实施方式1的图像检索系统100的结构图。图像检索系统100的目的 在于，对于用户输入的多个查询图像形成查询的群组，并按照每一群组汇总检索结果来提 高检索查询的品质。
[0036]图像检索系统100具有图像/影像存储装置101、输入装置102、显示装置103、数据 存储装置104、图像检索装置105。另外，虽然在图1中未图示，但是也可以具有摄像头，以便 能够将拍摄的图像直接输入。
[0037] 图像/影像存储装置101是保存图像数据、影像(运动图像)数据的存储介质，能够 使用内置于计算机的硬盘驱动器和NAS (Network Attached Storage:网络连接存储）、SAN (Storage Area Network:存储区域网络)等通过网络连接的存储系统来构成。另外，也可以 是例如暂时保存从摄像头持续输入的影像数据的高速缓冲存储器。
[0038] 输入装置102是鼠标、键盘、触摸装置等用于将用户的操作传递至图像检索装置 105的输入接口。显示装置103是液晶显示器等输出接口，为了图像检索装置105的检索结果 的显示、与用户的对话操作等而使用。数据存储装置104是记录图像检索装置105的检索结 果的存储器，为了在上位的应用程序中利用检索结果而使用。检索结果可以是通过检索得 到的图像数据，也可以是对图像数据赋予的标签。
[0039]图像检索装置105使用被供给的多个查询图像来进行相似图像检索，并按照在检 索过程中得到的数据分布信息对查询进行分组，判定群组的重要度，并根据该重要度排列 群组，按照每一群组输出检索结果。作为检索查询，可以直接供给图像数据，也可以从数据 库取得符合指定条件的图像并将其作为查询。另外，具有如下功能:根据被分组的检索结果 和检索查询的关系性，确定成为不理想的检索结果的要因的查询的群组，并将相应的查询 从检索查询中除去。查询的个数只要为一个以上即可，但在供给了数十到数百个查询而用 户难以确认所有的查询的状况下，本发明比较有效。图像检索装置105具有图像输入部106、 用户操作输入部107、图像数据库108、检索查询生成部109、相似图像检索部110、查询分类 部111、查询群组重要度判定部112、检索结果生成部113以及数据输出部114。
[0040]图像输入部106从图像/影像存储装置101读取图像/影像数据，并转换为在图像检 索装置105内部使用的数据形式。此时，影像数据被分解为多个帧。被读入的数据，在用户向 图像数据库105登记数据时被发送至图像数据库105,在进行检索处理时被发送至检索查询 生成部109。
[0041] 用户操作输入部107检测用户对输入装置102的操作，并将其信号传送至检索查询 生成部109、检索结果生成部113,控制各部的处理的执行或者变更用于处理的参数。
[0042] 图像数据库108是保存图像数据和其特征量、标签的数据库。特征量是基于图像的 外观的相似性来进行检索时必要的数据。在此所说的标签是指为了以指定的条件筛选图像 而使用的数据。例如，是图像中的人物的名字、拍摄日期时间、场景（scene)分类(室内/室 外、白天/夜间等）。根据需要，一个图像也可以具有多个标签。在来自图像输入部106的数据 登记时、在来自检索查询生成部109和相似图像检索部110的检索时和来自检索结果生成部 113的数据更新时发生向图像数据库108的存取。关于图像数据库108的结构，后面通过图2 进行详细说明。
[0043] 检索查询生成部109生成相似图像检索所需要的图像特征量。图像特征量是表示 图像的外观的特征的数值信息，用固定长度的矢量表示。关于细节，后面通过图3进行说明。 向图像检索装置105输入1张以