图像处理装置、图像处理方法、搜索装置以及搜索方法与流程

本发明总体上涉及图像处理装置、图像处理方法、搜索装置以及搜索方法，特别涉及一种用于图像搜索的技术。

背景技术：

近年来，提出了从大量的图像当中搜索示出特定对象的图像的图像搜索系统。在这样的图像搜索系统中，对特定人物的搜索尤其有用。能够想到各种可能的搜索关键字，例如，能够使用人物穿着的服装的颜色作为搜索关键字。在这种情况下，通过使用预先准备的表将图像中包含的颜色预先转换成颜色名称，并且能够通过使用颜色图表或颜色名称来指定搜索关键字。

在照相机在不同的环境下拍摄大量的图像的情况下，依据照相机安装环境(诸如照明和室内/室外环境)的差异，在给定环境下能够被识别为“黄色”的颜色在具有低色温的照明环境下可能显现“橙色”。在具有较高色温的照明下，前述颜色可能显现“黄绿色”。换句话说，可能以不同的rgb值记录相同对象的颜色。当颜色的rgb值超过代表给定颜色名称的rgb值的范围时，颜色被转换为不同的颜色名称，因此可能造成搜索遗漏。

日本特开2008-225887号公报公开了一种技术，该技术用于识别由照相机所拍摄的图像中存在的目标，从识别的目标去除摄像环境下的光源的影响，并且将目标转换成标准光源下的颜色信息。

然而，在诸如钠灯等的、显色性能差的环境光下，日本特开2008-225887号公报中公开的方法不一定能够以精确的方式将颜色转换成标准光源下的颜色。当在这种状态下将颜色转换成颜色名称时，颜色可能不会被转换成正确的颜色名称，导致当用该颜色名称实施搜索时可能会从搜索中遗漏颜色的可能性。

技术实现要素：

鉴于这样的问题做出了本发明，并且本发明提供一种用于通过使用期望的颜色名称使得能够搜索在不同的摄像环境下所拍摄的图像的对象的技术。

根据本发明的第一方面，提供了一种图像处理装置，所述图像处理装置包括：获取单元，其被构造为获取拍摄图像，该拍摄图像通过对以能够导出代表颜色图表中包括的颜色的颜色信息的方式布置有颜色图表的面进行拍摄而获得；导出单元，其被构造为从拍摄图像导出颜色信息；提取单元，其被构造为提取拍摄图像中包含的颜色图表的颜色；以及登记单元，其被构造为将由所述导出单元导出的颜色信息和由所述提取单元提取的颜色彼此相关联地登记。

根据本发明的第二方面，提供了一种搜索装置，其用于搜索由图像处理装置登记的图像，所述图像处理装置具有：获取单元，其被构造为获取拍摄图像，该拍摄图像通过对以能够导出代表颜色图表中包括的颜色的颜色信息的方式布置有颜色图表的面进行拍摄而获得；导出单元，其被构造为从拍摄图像导出颜色信息；提取单元，其被构造为提取拍摄图像中包含的颜色图表的颜色；登记单元，其被构造为将由所述导出单元导出的颜色信息和由所述提取单元提取的颜色彼此相关联地登记；第二获取单元，其被构造为获取对象的图像；第二提取单元，其被构造为提取由所述第二获取单元获取的图像中包含的对象的颜色；以及第二登记单元，其被构造为将由所述第二获取单元获取的图像和由所述第二提取单元提取的颜色彼此相关联地登记，所述搜索装置包括：搜索单元，其被构造为搜索由所述第二登记单元与如下颜色相关联地登记的图像，该颜色是由所述第二登记单元登记的颜色当中的、并且由所述登记单元与该颜色相关联地登记的颜色信息与作为查询输入的颜色信息匹配的颜色；以及被构造为输出由所述搜索单元进行的搜索的结果的单元。

根据本发明的第三方面，提供了一种图像处理方法，所述图像处理方法包括：获取拍摄图像，该拍摄图像通过对以能够导出代表颜色图表中包括的颜色的颜色信息的方式布置有颜色图表的面进行拍摄而获得；从拍摄图像导出颜色信息；提取拍摄图像中包含的颜色图表的颜色；以及将所导出的颜色信息和所提取的颜色彼此相关联地登记。

根据本发明的第四方面，提供了一种搜索方法，其用于搜索通过图像处理方法登记的图像，所述图像处理方法具有：获取拍摄图像，该拍摄图像通过对以能够导出代表颜色图表中包括的颜色的颜色信息的方式布置有颜色图表的面进行拍摄而获得；从拍摄图像导出颜色信息；提取拍摄图像中包含的颜色图表的颜色；以及将所导出的颜色信息和所提取的颜色彼此相关联地登记；获取对象的图像；提取所获取的图像中包含的对象的颜色；以及将所获取的图像和所提取的颜色彼此相关联地登记，所述搜索方法包括：搜索与如下颜色相关联地登记的图像，该颜色是所登记的颜色当中的、并且与颜色相关联地登记的颜色信息与作为查询输入的颜色信息匹配的颜色；以及输出搜索的结果。

通过以下(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出系统的示例性构造的框图。

图2a至图2d是由图像处理装置100进行的处理的流程图。

图3a是示出片材的示例的图。

图3b是示出颜色名称表的示例性构造的图。

图4是示出系统的示例性构造的框图。

图5a和图5b是由图像处理装置400进行的处理的流程图。

图6是示出计算机装置的示例性硬件构造的框图。

具体实施方式

在下文中，将参照附图描述本发明的实施例。下面描述的实施例旨在说明具体实现本发明的情况的示例，并且旨在代表权利要求中描述的构造的具体示例。

第一实施例

首先，将使用图1中所示的框图来描述根据本实施例的系统的示例性构造。如图1中所示，根据本实施例的系统包括n(n是2以上的整数)个照相机1011，1012，...，101n以及图像处理装置100。照相机1011，1012，...，101n和图像处理装置100经由诸如lan或互联网等的网络连接，并且被构造为能够彼此进行数据通信。注意，网络可以是无线网络或有线网络，或者可以是无线网络和有线网络的组合。

首先，将描述照相机1011，1012，...，101n。照相机1011，1012，...，101n安装在彼此不同的位置处，并且以所设置的或所控制的姿势拍摄静止图像或运动图像。注意，照相机1011，1012，...，101n的安装布局不限于任何特定的安装布局。例如，照相机中的一些可以集体地安装在同一区域中，例如使得照相机1011，1012，...，101n中的一些安装在房间a中，而其他照相机安装在房间b中。由照相机1011，1012，...，101n中的各个拍摄的拍摄图像被输入到图像处理装置100中。如果照相机1011，1012，...，101n中的各个用于拍摄静止图像，则拍摄图像是静止图像自身。如果照相机1011，1012，...，101n中的各个用于拍摄运动图像，则拍摄图像是构成运动图像的各个帧的图像。

接下来，将描述图像处理装置100。图像处理装置100具有基于从照相机1011，1012，...，101n中的各个获取的拍摄图像，生成用于使得能够使用颜色名称作为查询进行图像搜索的各种类型的信息的功能。此外，图像处理装置100具有从由照相机1011，1012，...，101n中的各个获取的拍摄图像中剪辑和登记作为搜索目标的对象的图像的功能。此外，图像处理装置100具有基于作为查询而输入的颜色名称进行从登记的对象图像当中搜索期望图像的图像搜索处理，并输出结果的功能。

这里，为了操作上述的系统，首先需要将照相机1011，1012，...，101n中的各个安装在规定的安装位置处。然后，在照相机1011，1012，...，101n中的各个被安装在了规定的位置处之后，图像处理装置100将照相机1011，1012，...，101n划分成照相机组，在照相机组中的各个中，照相机拍摄类似的颜色信息。将根据图2a中所示的流程图来描述由图像处理装置100针对该划分而进行的处理。

照相机1011，1012，...，101n在规定的时间段中以规定的时间间隔进行摄像，并且输出拍摄图像。例如，照相机1011，1012，...，101n中的各个在24小时内每5分钟进行摄像，并且输出拍摄图像。在步骤s201，标识符生成单元1041获取分别从照相机1011，1012，...，101n输出的拍摄图像。然后，标识符生成单元1041针对各个照相机创建从照相机获取的各个拍摄图像的rgb直方图的平均rgb直方图。例如，在创建从照相机1011获取的各个拍摄图像的rgb直方图的平均rgb直方图的情况下，标识符生成单元1041进行以下处理。

在从照相机1011获取拍摄图像时，标识符生成单元1041首先针对作为目标的拍摄图像的所有图像区域，创建代表颜色分量r、g和b的像素值的出现频率的直方图(rgb直方图)。rgb直方图代表在像素值能够取的范围(例如，0至255)内r分量的像素值、g分量的像素值以及b分量的像素值的出现次数，并且例如，位数是16。标识符生成单元1041针对所获取的拍摄图像中的各个创建这样的rgb直方图。然后，在创建在规定的时间段中获取的各个拍摄图像的rgb直方图之后，标识符生成单元1041使用rgb直方图来创建代表在规定的时间段期间颜色分量r、g和b中的各个的像素值的出现频率的平均值的直方图。由此创建的直方图是照相机1011的平均rgb直方图。通过以相同的方式针对照相机1012，...，101n进行创建这样的平均rgb直方图的处理，来针对照相机1011，1012，...，101n中的各个创建平均rgb直方图。

在步骤s202，标识符生成单元1041确定是否针对照相机1011，1012，...，101n中的各个创建了平均rgb直方图。如果作为该确定的结果，确定针对照相机1011，1012，...，101n中的各个创建了平均rgb直方图，则处理进行到步骤s203。另一方面，如果在照相机1011，1012，...，101n当中有未创建平均rgb直方图的任何照相机剩余，则处理返回到步骤s201，在步骤s201，针对尚未创建平均rgb直方图的照相机创建平均rgb直方图。

注意，平均rgb直方图是各个rgb直方图的统计信息的示例，并且各个rgb直方图的统计信息不限于平均rgb直方图。

在步骤s203，标识符生成单元1041基于平均rgb直方图将照相机1011，1012，...，101n划分成多个组。具体而言，通过使用针对照相机1011，1012，...，101n中的各个创建的平均rgb直方图，标识符生成单元1041将照相机1011，1012，...，101n划分成照相机组，各个照相机组中的照相机获得了类似的平均rgb直方图。对于组划分的方法，能够使用诸如均值移位法和k均值法等的各种方法。

这里，照相机1011，1012，...，101n中的各个不仅输出拍摄图像，还输出对照相机唯一的标识信息(照相机id)。因此，在步骤s204，标识符生成单元1041针对各个划分的组发布对该组唯一的标识信息(组id)，并且将组id和属于该组id的照相机的照相机id彼此相关联地管理。

接下来，参照图2b的流程图，将给出如下处理的描述：基于在彼此不同的摄像环境下进行摄像目标的摄像时获得的拍摄图像，将摄像目标的颜色名称和各个拍摄图像中的摄像目标的颜色彼此相关联地登记。图2b的流程图示出了针对一组进行的处理。实际上，将针对各个组进行根据图2b的流程图的处理。

首先，从上述的多个组当中选择一个未选择的组作为所选择的组。此外，从属于所选择的组的一个或更多个照相机当中选择一个照相机作为所选择的照相机(所选择的摄像设备)。可以通过用户操作操作单元(未示出)来进行这些选择。作为选择，创建单元1042可以按预定顺序选择组，并且从属于所选择的组的照相机当中，选择按基于照相机id的顺序的位置是预定位置的照相机，作为所选择的照相机。

对于选择所选择的照相机的方法，例如，当属于所选择的组的照相机的数量为1时，选择该一个照相机作为所选择的照相机。当属于所选择的组的照相机的数量是多个时，用户可以从多个照相机当中选择在能够容易地拍摄稍后将描述的片材的图像的位置处安装的照相机。作为选择，用户可以选择在能够容易地反映稍后将描述的照明环境的变化的位置处安装的照相机。

在步骤s205，创建单元1042操作所选择的照相机以拍摄打印有颜色图表的片材的图像，并且获取由所选择的照相机拍摄的片材的拍摄图像。图3a示出了由所选择的照相机拍摄其图像的片材的示例。光谱反射率分布已知的颜色的补片布置在片材上，并且布置在同一列的补片对应于相同的颜色名称。例如，左端的列中的补片例如在亮度和/或饱和度方面不同，但是都与颜色名称“黑色”相关联，因此，将字符串“黑色”打印在左端的补片列正上方。注意，代表颜色名称的字符串的打印位置不限于补片列正上方的位置。可以使用另一对象代替字符串。在这种情况下，必须已知对象与颜色名称之间的关系。在图3a中，假设颜色名称被分类成如在以下文献中所述的11种颜色(黑色、蓝色、棕色、灰色、绿色、橙色、粉色、紫色、红色、白色和黄色)。

j.vandeweijer,c.schmid,j.verbeek,andd.larlus,learningcolornamesforreal-worldapplications,ieeetransinip,2009。

然而，颜色名称不限于这些，并且还能够使用在jis中规定的系统颜色名称、常用的颜色名称等。

返回参照图2b，接下来，在步骤s206，创建单元1042对拍摄图像进行图像识别处理，以指定在拍摄图像中示出的片材中的补片的区域以及代表颜色名称的字符串(或可以是除字符串以外的对象)的区域。当在指定的区域中存在失真时，通过投影变换来校正失真。注意，在片材上打印代表颜色名称的字符串的区域的位置，以及打印与颜色名称相对应的补片的区域的位置，被预先登记在图像处理装置100中作为已知信息。也就是说，在片材上打印各个颜色名称的字符串的位置，以及在片材上打印与各个颜色名称相对应的补片的位置，被预先登记在图像处理装置100中作为已知信息。因此，在通过对拍摄图像进行的图像识别处理来指定片材的区域时，创建单元1042基于片材的区域通过使用上述的已知信息来指定代表颜色名称的字符串的区域(字符串区域)以及补片的区域(补片区域)。然后，创建单元1042通过对指定的字符串区域进行的识别处理，来从字符串区域识别代表颜色名称的字符串，并且提取指定的补片区域中的颜色(rgb值)(或换句话说，拍摄图像上的补片的颜色)。然后，创建单元1042将所识别的代表颜色名称的字符串与布放在字符串正下方的补片的各个颜色相关联地登记。在本实施例中，所识别的字符串被登记在如图3b中所示的表(颜色名称表)中。在图3b中所示的颜色名称表中，在左端的列中预先登记r＝0至255，在从左端起的第二列中预先登记g＝0至255，在从左端起的第三列中预先登记b＝0至255。

在从拍摄图像提取补片的rgb值时，创建单元1042指定与图3b中所示的颜色名称表中的rgb值相对应的行。然后，创建单元1042在所指定的行的右端登记从与补片相同的列中的字符串区域识别的字符串(颜色名称的字符串)。在图3b中所示的示例中，字符串“黑色”被登记在行(r，g，b)＝(1，0，0)的右端。这意味着rgb值为(1，0，0)的补片被打印在与片材上的字符串“黑色”相同的列中。

通过使用这样的颜色名称表，能够将在片材上示出为字符串的“补片颜色名称”与拍摄图像上的补片的颜色相互关联地管理。然而，颜色名称表的构造不限于图3b中所示的构造，只要能够达到同样的目的即可。

注意，当利用稀疏化(thinned)的rgb值来创建颜色名称表时，例如，当在颜色名称表中r、g、b被登记为0，15，31，...，255时，可能不存在与从拍摄图像提取的补片的rgb值相对应的行。在这种情况下，可以从颜色名称表中登记的rgb值当中，指定位于在颜色空间上距补片的rgb值最靠近的距离处的rgb值，并且可以将从与补片相同的列中的字符串区域识别的字符串(颜色名称的字符串)登记在所指定的rgb值的行的右端处。注意，能够将多个颜色名称登记在颜色名称表的右端的列处。也就是说，能够针对同一rgb值登记多个颜色名称。

返回参照图2b，接下来，如果在所有预设摄像环境下完成了摄像，则处理经由步骤s207进行到步骤s208。另一方面，如果有未完成摄像的任何摄像环境剩余，则处理返回到步骤s205，以在该摄像环境下进行摄像。

在本实施例中，在彼此不同的摄像环境下进行片材的摄像。例如，可以在规定的时间段中以规定的时间间隔对片材进行摄像，或者所选择的照相机可以在每次用户通过操作操作单元(未示出)输入摄像指令时对片材进行摄像。因此，从所选择的照相机输出通过在彼此不同的摄像环境下对片材进行摄像而获得的拍摄图像，并且创建单元1042基于拍摄图像创建颜色名称表。

这里，照明环境被用作摄像环境的示例。因此，在本实施例中，每次照明环境改变时进行步骤s205和s206的处理。照明环境的改变是指在没有窗户的房间或建筑物中进行的摄像的情况下由照明的on/off(开/关)、照明设备的更换等造成的改变，以及在有窗户的房间或建筑物中或者室外进行的摄像的情况下随天气或时间等的改变。

在规定的时间段中以规定的时间间隔进行片材的摄像的情况下，每次进行摄像时，不需要进行步骤s205和s206的处理，并且如果拍摄图像的rgb直方图的改变大于或等于阈值，则可以进行步骤s205和s206的处理。

在步骤s208，创建单元1042搜索在颜色名称表中没有登记对应颜色名称的字符串的rgb值，作为未关联的rgb值。然后，创建单元1042将位于在rgb空间上最靠近的欧几里德距离处的rgb值(仅登记了对应颜色名称的那些rgb值)指定为未关联的rgb值。然后，创建单元1042将与指定的rgb值相关联地登记的颜色名称的字符串，登记为代表与颜色名称表中的未关联的rgb值相对应的颜色名称的字符串。通过这样的颜色名称表校正处理，能够与颜色名称表中登记的所有rgb值相关联地登记代表颜色名称的字符串。

在步骤s209，创建单元1042将通过上述处理创建的颜色名称表与所选择的组的组id(也可以是所选择的照相机的照相机id)相关联地登记。

以这种方式，根据本实施例，针对各个组创建颜色名称表，因此与针对各个照相机创建颜色名称表的情况相比，能够减少时间和劳动。当然，能够针对一个组创建两个或更多个颜色名称表。

接下来，将给出如下的处理的描述：通过在针对各个组创建并登记颜色名称表之后使用照相机开始摄像，根据从照相机1011，1012，...，101n获取的拍摄图像，来创建用作搜索目标的图像组和元数据。在本实施例中，从拍摄图像提取人物的区域(人物区域)，然后从人物区域提取上衣的区域和下衣的区域，并且识别上衣区域的颜色和下衣区域的颜色并将其转换成颜色名称。然后，将已经转换的上衣区域的颜色名称和下衣区域的颜色名称与人物区域中的图像相关联地登记在数据库105中，作为人物区域中的图像的元数据。将参照图2c中所示的流程图来描述这种登记处理。

在步骤s210中，区域提取单元103从照相机1011，1012，...，101n中的各个获取拍摄图像。针对从照相机1011，1012，...，101n中的各个获取的拍摄图像进行从步骤s211至s214的一系列处理。

在步骤s211，区域提取单元103从所获取的拍摄图像提取人物区域。用于从图像提取人物区域的方法不限于任何特定的方法，并且各种方法是可用的。例如，如下的方法是可用的：从图像中检测人物的脸部，并且通过根据检测到的脸部的位置的估计来提取人物区域。对于脸部检测，在以下文献中描述的方法是可用的。

violaandjones.rapidobjectdetectionusingaboostedcascadeofsimplefeatures.proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition(2001)

当脸部图像的搜索目标被限制为具有相对良好的图像质量的图像时，能够通过将脸部检测范围限制到大于或等于预定大小的范围来提高处理的效率。接下来，在将脸部的矩形区域的左上坐标固定的情况下，将脸部的矩形形状的高度乘以常数，并且将结果用作人物区域。

接下来，在步骤s212，特征提取单元1043从人物区域提取上衣区域和下衣区域，并且确定上衣区域中的各个rgb分量的平均像素值和下衣区域中的各个rgb分量的平均像素值。更具体地，首先，从人物区域去除脸部区域，并且将剩余区域等分成上部区域和下部区域。然后，确定属于在距等分的两个区域中的一个区域的中心点具有预定半径的圆形区域中包括的区域的、像素的各个rgb的平均像素值。对于等分的两个区域中的另一个区域，也以相同的方式确定各个rgb分量的平均像素值。

在步骤s213，颜色名称转换单元1044通过参照上述的颜色名称表，指定与上衣区域的各个rgb分量的平均像素值相对应的颜色名称和与下衣区域的各个rgb分量的平均像素值相对应的颜色名称。此时参照的颜色名称表是与如下的组的组id相关联地登记的颜色名称表，该组是对从中提取上衣区域和下衣区域的拍摄图像进行了摄像的照相机所属的组(与照相机的照相机id相关联的组id的组)。

也就是说，假设(r，g，b)代表上衣区域(下衣区域)的各rgb分量的平均像素值，指定在(r，g，b)被登记在颜色名称表中所在的行的右端处登记的颜色名称(如果登记了两个或更多个颜色名称，则为两个或更多个颜色名称)。注意，如果在颜色名称表中没有找到与平均像素值匹配的rgb值，则指定在颜色空间上距平均像素值的欧几里德距离最小的rgb值(包括在颜色名称表中)，并且指定登记在所指定的rgb值的行的右端处的颜色名称。

在步骤s214，颜色名称转换单元1044将在步骤s211中提取的人物区域中的图像(人物图像)与在步骤s213指定的上衣区域的颜色名称和下衣区域的颜色名称(元数据)彼此相关联地登记在数据库105中。注意，除了上衣区域的颜色名称和下衣区域的颜色名称以外，元数据还可以包含附加信息。例如，可以使用对从中提取了人物区域的拍摄图像进行摄像的照相机的照相机id、拍摄图像的拍摄日期和时间、照相机的安装位置等作为附加信息。

接下来，参照图2d，将给出如下的处理的描述：当用户输入了上衣的颜色名称和下衣的颜色名称作为查询时，搜索具有分别与作为查询输入的上衣的颜色名称和下衣的颜色名称匹配的上衣的颜色名称和下衣的颜色名称的人物图像，并且输出该人物图像。

由于用户操作操作单元(未示出)以输入要搜索的人物的上衣的颜色名称和下衣的颜色名称作为查询(搜索关键字)，所以图像搜索单元106在步骤s215获取输入的上衣的颜色名称和下衣的颜色名称作为查询。注意，在使用图3a中所示的片材作为上述的片材的情况下，在颜色名称表中仅登记片材中包括的11种颜色的任何颜色名称，并且因此，由用户输入的颜色名称也是11种颜色的任何颜色名称。上衣的颜色名称或下衣的颜色名称不限于一个，并且可以输入多个颜色名称。

注意，除了上衣的颜色名称和下衣的颜色名称以外，用户还可以输入用于限定搜索范围的信息。这些信息的示例包括照相机id、照相机的安装位置以及摄像日期和时间(或摄像日期和时间的范围)。因此，当用户输入了这种限定搜索范围的信息时，图像搜索单元106也获取输入的信息。

接下来，在步骤s216，图像搜索单元106在数据库105中搜索与由图像搜索单元106在步骤s215获取的信息匹配的元数据，并且指定与搜索的元数据相关联地登记在数据库105中的人物图像。

例如，当输入了上衣颜色名称＝a并且下衣颜色名称＝b作为查询时，图像搜索单元106搜索包含上衣颜色名称＝a并且下衣颜色名称＝b的元数据。当输入上衣颜色名称＝a作为查询时(当未输入下衣的颜色名称作为查询时)，图像搜索单元106搜索包含上衣颜色名称＝a的元数据。当输入了下衣颜色名称＝b作为查询时(当未输入上衣的颜色名称作为查询时)，图像搜索单元106搜索包含下衣颜色名称＝b的元数据。当用户还输入了摄像日期和时间(或其范围)作为用于限定搜索范围的信息时，图像搜索单元106从与查询匹配的元数据当中，搜索包含所输入的摄像日期和时间或所输入的摄像日期和时间的范围内的摄像日期和时间的元数据。然后，图像搜索单元106指定与由此搜索的元数据相关联地登记在数据库105中的人物图像。

在步骤s217，图像搜索单元106确定是否针对数据库105中登记的所有人物图像进行了步骤s216的图像搜索。如这里所使用的，“数据库105中登记的所有人物图像”是指根据由照相机1011，1012，...，101n在当前时间与比当前时间早预定时间的时间之间拍摄的拍摄图像生成的人物图像。当然，数据库105中登记的人物图像的哪个集合要被用作搜索目标不限于任何具体情况。对于搜索的顺序，例如，搜索目标的顺序可以被设置为使得首先使用根据由照相机1011拍摄的拍摄图像生成的人物图像作为搜索目标，并且随后使用根据由照相机1012拍摄的拍摄图像生成的人物图像作为搜索目标。

然后，如果针对数据库105中登记的所有人物图像进行了步骤s216的图像搜索，则处理进行到步骤s218。另一方面，如果在数据库105中登记的所有人物图像当中，有尚未进行步骤s216的图像搜索的任何人物图像剩余，则处理返回到步骤s216，以使用人物图像作为搜索目标。

在步骤s218，输出单元107输出由图像搜索单元106进行的搜索的结果。搜索结果的输出目的地和输出形式不限于任何特定的输出目的地或任何特定的输出形式。例如，可以将搜索结果输出到直接或间接连接到图像处理装置100的显示设备，或者可以经由网络发送到外部装置。在显示搜索结果的情况下，可以显示根据例如摄像日期和时间分类的人物图像。不仅可以将人物图像，而且可以将其他信息(例如摄像日期和时间)添加到显示的信息。

变型例

虽然本实施例取输入上衣的颜色名称和下衣的颜色名称作为查询的情况为例描述了图像搜索处理，但是作为查询输入的内容不限于上衣的颜色名称和下衣的颜色名称。也就是说，作为查询输入的内容可以是其他目标对象(例如人物佩戴的帽子或人物携带的东西)的颜色名称。在这种情况下，需要将目标对象的图像和通过使用颜色名称表根据图像中包含的目标对象的rgb值导出的颜色名称彼此相关联地(可以根据需要关联其他信息)登记在数据库105中。

在本实施例中，作为片材的构造，使用图3a中所示的片材，或者换句话说，使用打印有颜色名称和与颜色名称相关联的颜色的补片的片材。然而，片材的构造不限于图3a中所示的构造，只要能够从片材的图像提取颜色名称和颜色即可。例如，能够使用打印有预先设置了在标准光源下什么区域对应于什么颜色名称的颜色环的片材(这种对应关系被预先登记在图像处理装置100中)。在拍摄这种片材的图像的情况下，当从拍摄图像提取颜色的区域并且获取该区域中的rgb值时，能够与对应于该区域的位置的颜色名称相关联地登记rgb值。也能够使用打印有用补片的颜色填充代表补片的颜色名称的字符的字符对象的片材。在使用这种片材的情况下，识别由字符对象代表的字符及其颜色，并且将所识别的字符登记为与所识别的颜色相对应的颜色名称。虽然本实施例使用rgb作为颜色分量，但是能够使用诸如ycc等的其他颜色分量。

虽然本实施例使用颜色名称作为颜色分类的类别，但是能够使用任何其他信息，只要能够将颜色分类即可。例如，能够使用孟塞尔(munsell)颜色系统的符号，或者可以根据应用来任意地分类颜色并且通过分别对其分配符号来管理颜色。颜色分类的类别可以作为字符或图像呈现给用户，或者可以在颜色图表中呈现相关类别的代表颜色(例如，rgb颜色空间上的类别的质心)。

虽然在本实施例中创建如图3a中所示的将rgb值和颜色名称相关联的颜色名称表，但是能够使用其他方法来将rgb值与颜色名称相关联。例如，可以定义用于将rgb值与颜色名称相关联的功能，或者可以通过使用机器学习来创建将rgb值与颜色名称相关联的字典。

代替打印有补片的颜色名称和颜色的片材，可以使用显示补片的颜色名称和颜色的显示屏幕。在这种情况下，拍摄显示屏幕的图像而不是拍摄片材的图像。也就是说，只要能够获得包含补片的颜色名称和颜色的拍摄图像，用于向照相机呈现补片的颜色名称和颜色的方法就不限于任何特定的方法。

第二实施例

以下描述集中在与第一实施例的不同之处，并且本实施例的构造的其余部分与第一实施例的相同，除非另有具体说明。首先，将参照图4中所示的框图来描述根据本实施例的系统的示例性构造。在图4中，与图1中所示的功能单元相同的功能单元由相同的附图标记来表示，并且省略了功能单元的描述。

同样在本实施例中，在照相机1011，1012，...，101n中的各个被安装在规定的位置处之后，图像处理装置400将照相机1011，1012，...，101n划分成照相机组，该各个照相机组中的照相机拍摄类似颜色信息。这里，在第一实施例中，照相机1011，1012，...，101n在规定的时间段中以规定的时间间隔进行摄像，并且输出拍摄图像。然而，在本实施例中，照相机1011，1012，...，101n中的各个仅进行一次摄像。因此，在本实施例中，标识符生成单元1041创建由各个照相机拍摄的拍摄图像的rgb直方图，并且基于各个照相机的拍摄图像的rgb直方图，将照相机1011，1012，...，101n划分成多个组。除了在本实施例中使用各个照相机的rgb直方图，而在第一实施例中使用各个照相机的平均rgb直方图以外，该组划分的方法与第一实施例的相同。然后，如同在第一实施例中，标识符生成单元1041针对各个划分的组发布组id，并且将组id和属于具有该组id的组的照相机的照相机id彼此相关联地管理。

接下来，以与第一实施例中相同的方式来针对各个组创建颜色名称表。此外，在本实施例中，针对属于关注组的各个照相机，复制针对关注组创建的颜色名称表，并且将照相机的照相机id和复制的颜色名称表之一彼此相关联地登记在颜色名称表数据库410中。因此，在颜色名称表数据库410中，与各个照相机的照相机id相关联地登记颜色名称表，并且将属于同一组的照相机的照相机id与针对该组创建的颜色名称表相关联。

接下来，参照图5a中所示的流程图，将给出如下的处理的描述：通过使用照相机1011，1012，...，101n开始摄像，根据从这些照相机获取的拍摄图像来创建人物图像组和元数据。在图5a中，步骤s510至s512与图2c中的步骤s210至s212相同，因此，省略了对这些步骤的描述。

在步骤s513，区域提取单元103将人物图像、拍摄了从中提取了人物图像的拍摄图像的照相机的照相机id、以及上衣的区域和下衣的区域中的各个rgb分量的平均像素值，彼此相关联地登记在数据库405中。

接下来，将参照图5b描述根据本实施例的图像搜索处理，图5b示出了该处理的流程图。在本实施例中，在直接或间接连接到图像处理装置400的显示屏幕上显示代表各种颜色名称(这里为上述的11种颜色)中的各个的颜色(例如，rgb颜色空间上的与颜色名称相对应的rgb值的质心)。例如，在显示屏幕上显示分别与上述的11种颜色相对应的代表色的补片的列表。用户从列表中显示的颜色当中指定上衣的颜色和下衣的颜色，并且颜色指定的方法不限于任何特定的指定方法。例如，当显示屏幕是触摸面板屏幕时，用户可以通过使用他或她自己的手指或指点器来触摸期望的颜色的显示位置，或者可以通过使用诸如鼠标等的用户界面将光标移动到显示位置并且在该位置输入确定指令。

显示屏幕上的颜色的显示位置和与颜色相对应的颜色名称彼此相关联。因此，在步骤s514，当用户以上述的方式指定上衣颜色和下衣颜色时，图像搜索单元406获取与所指定的位置相对应的颜色名称。因此，能够获取与由用户指定的上衣颜色和下衣颜色相对应的颜色名称作为查询。

在步骤s515，图像搜索单元406针对数据库405中登记的各个人物图像进行以下处理。首先，图像搜索单元406从颜色名称表数据库410获取对应于与人物图像相关联的照相机id的颜色名称表。然后，接下来，图像搜索单元406在所获取的颜色名称表中获取对应于与人物图像相关联的“上衣的区域和下衣的区域中的各个区域中的各个rgb分量的平均像素值”的颜色名称。因此，能够获取人物图像中的上衣的颜色名称和下衣的颜色名称。

在步骤s516，图像搜索单元406通过使用在步骤s514获取的颜色名称，以及在步骤s515获取的各个人物图像中的上衣的颜色名称和下衣的颜色名称，进行与上述的步骤s216相同的图像搜索处理。

在步骤s517，与上述的步骤s217相同，图像搜索单元406确定是否针对数据库405中登记的所有人物图像进行了步骤s516的图像搜索。然后，如果针对数据库405中登记的所有人物图像进行了步骤s516的图像搜索，则处理进行到步骤s518。另一方面，如果在数据库405中登记的所有人物图像当中，有尚未进行步骤s516的图像搜索的任何人物图像剩余，则处理返回到步骤s516，以使用人物图像作为搜索目标。在步骤s518，与上述的步骤s218相同，输出单元107输出由图像搜索单元406进行的搜索的结果。

这里，假设用户确定了在作为由输出单元107输出的搜索结果的人物图像中包含具有与输入的查询不匹配的上衣颜色和/或下衣颜色的人物图像。在这种情况下，本实施例提供了一种如下的构造：在将与人物图像相对应的平均像素值转换成颜色名称时使用的颜色名称表中，将上衣颜色名称和/或下衣颜色名称修改成期望的颜色名称。例如，在用户当通过输入颜色进行搜索以搜索期望的图像时在搜索结果中没有找到命中，但是当通过输入另一颜色进行搜索时找到了期望的图像的情况下，这样的构造也是有效的。

如果用户确定在由输出单元107输出的人物图像中包含具有与输入的查询不匹配的上衣颜色和/或下衣颜色的人物图像(不符合要求的图像)，则用户能够指定该不符合要求的图像。用于指定不符合要求的图像的方法不限于任何特定的指定方法，并且能够使用例如与用于上述的颜色指定的方法相同的指定方法。如果通过用户操作指定了不符合要求的图像，则处理经由步骤s519进行到步骤s520。如果未由用户操作指定不符合要求的图像，则处理经由步骤s519结束。

除了不符合要求的图像以外，用户将期望的颜色名称指定为具有与不符合要求的图像相关联的上衣区域中的平均像素值的颜色名称和/或将期望的颜色名称指定为具有与不符合要求的图像相关联的下衣区域的平均像素值的颜色名称。也就是说，如果用户确定上衣的颜色与输入的查询不匹配，则用户将期望的颜色名称指定为具有上衣的区域中的平均像素值的颜色名称。如果用户确定下衣的颜色与输入的查询不匹配，则用户将期望的颜色名称指定为具有下衣的区域中的平均像素值的颜色名称。用于指定此时使用的颜色名称的方法不限于任何特定的指定方法，并且能够使用例如与用于上述的颜色指定的方法相同的指定方法。例如，从上述的11种颜色中指定颜色名称。此时，可以通过在显示屏幕上显示11种颜色和11种颜色的颜色名称来指定颜色名称。作为选择，可以在显示屏幕上显示由与不符合要求的图像相对应的平均像素值限定的颜色。这使得用户能够在检查与不符合要求的图像相关联的平均像素值的同时指定期望的颜色名称。作为选择，可以显示用户最近搜索的颜色名称的历史，以帮助对颜色名称的输入。如果没有对颜色名称的输入，则不进行颜色名称的改变。

在步骤s520，输入单元408获取由用户指定的颜色名称(上衣颜色名称和/或下衣颜色名称)。在步骤s521，输入单元408获取与不符合要求的图像相关联的照相机id和平均像素值。

在步骤s522，修改单元409获取与在步骤s521获取的照相机id相关联地登记在颜色名称表数据库410中的颜色名称表。然后，修改单元409在获取的颜色名称表中登记在步骤s520获取的颜色名称作为与在步骤s521获取的平均像素值相对应的颜色名称。

例如，假设作为用户确定上衣的颜色与输入的查询不匹配的结果，将期望的颜色名称指定为在上衣的区域中的平均像素值的颜色名称。此时，修改单元409在获取的颜色名称表中登记在步骤s520获取的颜色名称，作为与在步骤s521获取的上衣的区域的平均像素值相对应的颜色名称。还假设作为用户确定下衣的颜色与输入的查询不匹配的结果，将期望的颜色名称指定为具有下衣的区域中的平均像素值的颜色名称。此时，修改单元409在获取的颜色名称表中登记在步骤s520获取的颜色名称，作为与在步骤s521获取的下衣的区域中的平均像素值相对应的颜色名称。

注意，如果在颜色名称表中未登记在步骤s521中获取的平均像素值，则指定位于在颜色空间上距前述的平均像素值最靠近的距离处的rgb值，并且登记在步骤s520获取的颜色名称作为与指定的rgb值相对应的颜色名称。在该登记处理中，在颜色名称表中，将已经作为与在步骤s521获取的平均像素值相对应的颜色名称而登记的颜色名称更新为在步骤s520获取的颜色名称。

以这种方式，根据本实施例，在安装照相机期间对rgb直方图的获取仅进行一次，从而，能够减少在安装照相机期间对照相机进行分组的时间和劳动。根据本实施例，能够针对各个照相机修改颜色名称表，因此，能够创建对各个照相机自定义的颜色名称表，从而防止搜索精确度的降低并且提高搜索精确度。

变型例

虽然在本实施例中针对各个照相机修改颜色名称表，但也可以以相同的方式修改照相机所属的组。例如，假设与不符合要求的图像相对应的照相机id为“a”。此时，与照相机id＝a相关联的颜色名称表的修改也以相同的方式应用到与照相机id＝a相关联的组id所关联的、其他照相机id＝b，c，...相关联的颜色名称表。

注意，可以适当地组合上述的实施例和变型例中的一些或全部。例如，在第二实施例中，可以以与第一实施例中相同的方式来进行用于颜色名称表的修改处理的构造。也就是说，可以将第二实施例中的颜色名称表的修改处理的构造添加到第一实施例的构造(在这种情况下，需要与第一实施例协调地适当地修改颜色名称表的修改处理)。

被描述为包括在图1和图4中的图像处理装置中的功能单元可以不一定置于一个图像处理装置中，并且可以分布在两个或更多个装置上。例如，在图1中所示的构造中，可以由一个装置来实现标识符生成单元1041、创建单元1042、特征提取单元1043和颜色名称转换单元1044，并且可以由两个或更多个装置来实现区域提取单元103、数据库105、图像搜索单元106和输出单元107。在图4的情况下，可以由一个装置来实现标识符生成单元1041、创建单元1042、特征提取单元1043、颜色名称转换单元1044、修改单元409和输入单元408，并且可以由两个或更多个装置来实现剩余的功能单元。

进行根据图2a至图2c中所示的流程图的处理(根据图5a中所示的流程图的处理)的装置以及进行根据图2d中所示的流程图的处理(根据图5b中所示的流程图的处理)的装置可以是分开的装置。

在任何情况下，图像处理装置100和400中的各个被描述为具有以下构造的图像处理装置的示例，并且能够使用任何构造，只要其得到以下构造即可。也就是说，获取通过对以能够导出代表颜色图表中包括的颜色的颜色信息的方式布置有颜色图表的面的图像进行摄像而获得的拍摄图像，从拍摄图像中导出颜色信息，并且提取在拍摄图像中包含的颜色图表的颜色。然后，将所导出的颜色信息和所提取的颜色彼此关联地登记。

因此，例如，图像处理装置不限于从照相机直接获取拍摄图像的构造，并且能够采用如下的构造：将从照相机输出的拍摄图像存储在存储设备中，并且图像处理装置通过从存储设备读出拍摄图像来获取拍摄图像。

第三实施例

图1和图4中所示的功能单元可以用硬件来构造，但是可以部分地用软件来构造。例如，在图1的情况下，区域提取单元103、标识符生成单元1041、创建单元1042、特征提取单元1043、颜色名称转换单元1044、图像搜索单元106和输出单元107可以用软件来构造。在图4的情况下，区域提取单元103、标识符生成单元1041、创建单元1042、特征提取单元1043、颜色名称转换单元1044、修改单元409、输入单元408、图像搜索单元406和输出单元107可以用软件来构造。在这种情况下，能够执行这种软件的任何计算机装置都能够应用到图像处理装置100/400。将参照图6中所示的框图来描述能够应用到图像处理装置100/400的计算机装置的示例性硬件构造。注意，图6中所示的硬件构造仅仅是能够应用到图像处理装置100/400的计算机装置的硬件构造的示例。

通过使用ram610中存储的计算机程序和数据执行处理，cpu601进行计算机装置的整体操作控制，并且执行或控制如由图像处理装置100/400执行的上述的处理。

ram610具有用于存储从存储设备602加载的计算机程序和数据的区域。此外，ram610具有用于存储经由i/f(接口)620从照相机1011，1012，...，101n接收到的拍摄图像和照相机id的区域。另外，ram610具有由cpu601用来执行或控制各种处理的工作区域。以这种方式，ram610能够根据需要提供各种区域。

存储设备602是以硬盘驱动设备为代表的大容量信息存储设备。os(操作系统)和用于使cpu601执行或控制如由图像处理装置100/400执行的上述的处理的计算机程序和数据被保存在存储设备602中。计算机程序包括用于使cpu601实现区域提取单元103、标识符生成单元1041、创建单元1042、特征提取单元1043、颜色名称转换单元1044、图像搜索单元106和输出单元107的功能的计算机程序。作为选择，计算机程序包括用于使cpu601实现区域提取单元103、标识符生成单元1041、创建单元1042、特征提取单元1043、颜色名称转换单元1044、修改单元409、输入单元408、图像搜索单元406和输出单元107的功能的计算机程序。存储设备602中保存的数据包括在上面的描述中作为已知信息描述的信息和在上面的描述中作为管理目标(登记目标)描述的信息。在存储设备602中创建上面描述的数据库105、数据库405和颜色名称表数据库410。依据cpu601的控制，存储设备602中保存的计算机程序和数据根据需要被加载到ram610上，并且被用作cpu601的处理目标。

上述的照相机1011，1012，...，101n连接到i/f620，并且本实施例的计算机装置经由i/f620进行照相机1011，1012，...，101n之间的数据通信。

输入设备603用诸如鼠标和键盘等的用户界面来构造，并且使得能够通过被用户操作而将各种指令输入到cpu601。例如，能够通过用户操作输入设备603来实现在上面的描述中的各个用户操作。

输出设备604用crt、液晶屏等来构造，并且能够通过使用图像、字符等来显示由cpu601执行的处理的结果。例如，输出设备604能够显示用于上述的各种用户操作、搜索结果等的gui(图形用户界面)。作为选择，输入设备603和输出设备604可以彼此一体化以形成触摸面板屏幕。cpu601、ram610、存储设备602、i/f620、输入设备603和输出设备604中的所有都连接到总线605。

其他实施例。

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)tm)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。