专利名称：图像检索系统、程序和方法及图像分类系统、程序和方法
技术领域：
本发明涉及从多个图像中检索与检索关键字图像相符的图像或对多个图像进行分类的系统、程序以及方法，尤其涉及一种适合获得符合利用者的希望的检索结果或分类结果的图像检索系统、图像分类系统、图像检索程序及图像分类程序、以及图像检索方法及图像分类方法。
背景技术：
专利文献1特开2001-52175号公报以往，作为一种根据给出的检索关键字图像来从多个检索对象图像中检索与检索关键字图像类似的图像的技术，例如，有专利文献1中公开的图像检索装置。
专利文献1记载的图像检索装置具有特征向量抽出部其从获得的对象图像数据或参照图像数据中抽出多个特征量，生成特征向量；参照向量群处理部其针对获得的多个参照图像数据，对各参照图像数据，将特征向量抽出部抽出的特征向量和该参照图像的地址信息综合起来，构成参照向量；生成参照向量群；类似度计算部其计算由特征向量抽出部从获得的对象图像数据中抽出的特征向量与从参照向量群选择的参照图像数据的特征向量的类似度；类似度判断部其将计算出的类似度与指定基准进行比较；和取出部其从参照向量群取出判断为类似的图像的地址信息。
在此，作为图像的特征量，使用了颜色、花纹(texture)、结构特征、时间特征。通过不透明度柱状图、并发关联矩阵、差分统计量等的计算，求得关于花纹的特征量；此外，通过拉普拉斯滤波器的卷积积分及霍夫变换等，求得关于边缘、线、轮廓等结构特征的特征量；进而，通过变换成RGB空间、HSV空间或频谱等，求得关于颜色的特征量；通过计算光流或进行小波变换，求得关于时间特征的特征量。
因为类似的概念很大程度上依赖于人的主观，所以，有时对某个人而言感觉是类似的图像，对于其他人而言却感觉不类似。因此，在进行图像的类似检索时，如何定义类似的概念是很重要的。
如果就图像的整体及部分进行讨论，那么，对于检索关键字图像，例如，存在整体上类似但特征部分不类似的图像、或反之特征部分类似但整体上不类似的图像，对于这些图像，需要分别正确地评价类似度。在利用者看图像时，利用者注目于图像中的特征部分(如果是以花为主体拍摄的图像，则是花的部分)。因此，应该感觉到特征部分类似但整体上不类似的图像比整体上类似但特征部分不类似的图像更类似。因此，与采用整个图像来评价类似度相比，采用重视图像中的特征部分的类似度而轻视不是特征的部分的类似度方式来评价图像的类似度，更符合实际情况。
但是，由于专利文献1记载的图像检索装置从图像数据整体抽出多个特征量，生成特征向量，根据生成的特征向量，进行图像的类似检索，所以，没有考虑利用者所注目的地方来评价图像的类似度。因此，存在如下问题无法在检索结果中充分反映利用者的主观，很难得到符合利用者的希望的检索结果。
可以想到，这种情况不限于进行图像的类似检索的情况，根据类似度对多个图像进行分类的情况下也存在同样的问题。
发明内容
因此，本发明是鉴于现有技术中存在的未解决的课题而提出的，其目的在于提供一种适合得到符合利用者的希望的检索结果或分类结果的图像检索系统、图像分类系统、图像检索程序及图像分类程序、以及图像检索方法及图像分类方法。
为了达成上述目的，发明1的图像检索系统是一种根据给出的检索关键字图像来从多个检索对象图像中检索与上述检索关键字图像相符的图像的图像检索系统，其特征在于针对上述检索关键字图像及上述各检索对象图像，从该图像中抽出引人注目区域，根据抽出的引人注目区域，生成表示该图像的特征的特征向量，根据生成的特征向量，从上述多个检索对象图像中检索与上述检索关键字图像相符的图像。
根据这样的结构，在给出检索关键字图像时，从检索关键字图像中抽出引人注目区域，根据抽出的引人注目区域，生成表示检索关键字图像的特征的特征向量。此外，同样地，对各检索对象图像，从该检索对象图像中抽出引人注目区域，根据抽出的引人注目区域，生成表示该检索对象图像的特征的特征向量。然后，根据生成的特征向量，从多个检索对象图像中检索与检索关键字图像相符的图像。
由此，因为考虑利用者所注目的地方来进行检索，所以，利用者的主观容易反映到检索结果中。因此，与过去相比，可以获得如下效果可以得到比较符合利用者的希望的检索结果。
这里，引人注目区域指的是在检索关键字图像或检索对象图像中，利用者所注目的区域。以下，在发明2的图像检索系统、发明8及9的图像分类系统、发明14的图像检索程序、发明15的图像分类程序、发明16的图像检索方法、以及发明17的图像分类方法中，与此相同。
此外，本系统可以作为单一装置、终端及其他机器来实现，也可以作为将多个装置、终端及其他机器连接成可以通信的网络系统来实现。在后者的情况下，各结构要素只要分别进行可通信地连接，本系统可以属于多个机器中的任何一个。以下，在发明2的图像检索系统、以及发明8及9的图像分类系统中，与此相同。
进而，发明2的图像检索系统是一种根据给出的检索关键字图像来从多个检索对象图像中检索与上述检索关键字图像相符的图像的图像检索系统，其特征在于具有检索对象图像存储装置，其用于存储上述多个检索对象图像；检索关键字图像输入装置，其输入上述检索关键字图像；引人注目区域抽出装置，其针对上述检索关键字图像输入装置输入的检索关键字图像及上述检索对象图像存储装置的各检索对象图像，从该图像中抽出引人注目区域；特征向量生成装置，其针对上述检索关键字图像及上述各检索对象图像，根据上述引人注目区域抽出装置抽出的引人注目区域，生成表示该图像的特征的特征向量；和图像检索装置，其根据上述特征向量生成装置生成的特征向量，从上述检索对象图像存储装置中检索与上述检索关键字图像相符的图像。
根据这样的结构，在从检索关键字图像输入装置输入检索关键字图像时，由引人注目区域抽出装置从输入的检索关键字图像中抽出引人注目区域，由特征向量生成装置根据抽出的引人注目区域，生成表示检索关键字图像的特征的特征向量。此外，同样地，对检索对象图像存储装置的各检索对象图像，由引人注目区域抽出装置从该检索对象图像抽出引人注目区域，由特征向量生成装置根据抽出的引人注目区域，生成表示该检索对象图像的特征的特征向量。然后，由图像检索装置根据生成的特征向量，从检索对象图像存储装置中检索与检索关键字图像相符的图像。
由此，因为考虑利用者所注目的地方来进行检索，所以，利用者的主观容易反映到检索结果中。因此，与过去相比，可以获得如下效果可以得到符合利用者的希望的检索结果。
在此，引人注目区域抽出装置只要针对检索关键字图像及各检索对象图像，从该图像抽出引人注目区域就可以。例如，可以根据检索关键字图像或检索对象图像，计算吸引度(誘目度)，根据计算出的吸引度，抽出引人注目区域。以下，在发明9的图像分类系统、发明14的图像检索程序及发明15的图像分类程序中，与此相同。
此外，检索关键字图像输入装置只要能够输入检索关键字图像，可以采用任何结构，例如，既可以将从检索对象图像存储装置中选择的检索对象图像作为检索关键字图像进行输入，也可以从图像存储介质、网络或其他图像存储介质输入检索关键字图像。以下，在发明9的图像分类系统、发明14的图像检索程序及发明15的图像分类程序中，与此相同。
此外，检索对象图像存储装置是使用任何方法且在任何时间存储检索对象图像的装置，既可以是预先存储了检索对象图像的装置，也可以是不预先存储检索对象图像，而是在本系统运行时根据外部的输入等存储检索对象图像的装置。
进而，发明3的图像检索系统的特征在于在发明2的图像检索系统中，还具有面部信息判断装置，该面部信息判断装置针对上述检索关键字图像及上述各检索对象图像，判断该图像中包含的人物图像的面部信息，上述特征向量生成装置针对上述检索关键字图像及上述各检索对象图像，根据上述面部信息判断装置判断出的面部信息，生成表示该图像的特征的特征向量。
根据这样的结构，由面部信息判断装置判断检索关键字中包含的人物图像的面部信息，由特征向量生成装置根据判断出的面部信息，生成表示检索关键字图像的特征的特征向量。此外，同样地，对各检索对象图像，由面部信息判断装置判断该检索对象图像中包含的人物图像的面部信息，由特征向量生成装置根据判断出的面部信息，生成表示该检索对象图像的特征的特征向量。
由此，因为考虑人物图像的面部信息来进行检索，所以，也可以获得如下效果可以得到与检索关键字图像中包含的人物图像的面部相符的检索结果。
进而，发明4的图像检索系统的特征在于在发明2及3中任何一项的图像检索系统中，还具有类似度判断装置，该类似度判断装置对上述各检索对象图像，判断该检索对象图像中包含的人物图像的面部与上述检索关键字图像中包含的人物图像的面部的类似度，上述特征向量生成装置针对上述检索关键字图像及上述各检索对象图像，根据上述类似度判断装置的判断结果，生成表示该图像的特征的特征向量。
根据这样的结构，由类似度判断装置对各检索对象图像，判断该检索对象图像中包含的人物图像的面部与检索关键字图像中包含的人物图像的面部的类似度，由特征向量生成装置根据该判断结果，生成表示检索关键字图像的特征的特征向量及表示各检索对象图像的特征的特征向量。
由此，因为考虑人物图像的面部之间的类似度来进行检索，所以，也可以获得如下效果可以得到与检索关键字图像中包含的人物图像的面部类似的检索结果。
进而，发明5的图像检索系统的特征在于在发明2至4中任何一项的图像检索系统中，上述图像检索装置从上述检索对象图像存储装置中检索出与上述检索关键字图像的特征向量之间的向量间距离最小的特征向量所对应的检索对象图像。
根据这样的结构，由图像检索装置从检索对象图像存储装置中检索出与检索关键字图像的特征向量之间的向量间距离最小的特征向量所对应的检索对象图像。
由此，也可以获得如下效果可以得到被认为最符合利用者的希望的检索结果。
进而，发明6的图像检索系统的特征在于在发明2至4中任何一项的图像检索系统中，上述图像检索装置根据上述检索对象图像的特征向量之间的向量间距离，将上述各检索对象图像分类为多个组，从上述检索对象图像存储装置中检索出上述多个组之中的上述检索关键字图像所属的组的全部检索对象图像。
根据这样的结构，由图像检索装置根据检索对象图像的特征向量之间的向量间距离，将各检索对象图像分类为多个组，从检索对象图像存储装置中检索出上述多个组之中的检索关键字图像所属的组的全部检索对象图像。
由此，可以获得如下效果可以得到被认为最符合利用者的希望的几个检索结果。
进而，发明7的图像检索系统的特征在于在发明2至6中任何一项的图像检索系统中，上述特征向量生成装置在上述检索关键字图像与上述检索对象图像的纵横比或上述检索对象图像之间的纵横比不同时，将纵横比不同的第1图像及第2图像重叠在一起，针对第1图像之中的重复区域生成上述第1图像的特征向量，针对上述第2图像之中的重复区域生成上述第2图像的特征向量。
根据这样的结构，在检索关键字图像与检索对象图像的纵横比或检索对象图像之间的纵横比不同时，由特征向量生成装置将纵横比不同的第1图像及第2图像重叠在一起，针对第1图像之中的重复区域生成上述第1图像的特征向量，针对上述第2图像之中的重复区域生成上述第2图像的特征向量。
由此，因为即使是纵横比不同的图像之间，也可以比较正确地判断是否类似，所以，也可以获得如下效果可以得到更符合利用者的希望的检索结果。
另一方面，为了达成上述目的，发明8的图像分类系统是一种对多个分类对象图像进行分类的图像分类系统，其特征在于对上述各分类对象图像，从该分类对象图像中抽出引人注目区域，根据抽出的引人注目区域，生成表示该分类对象图像的特征的特征向量，根据生成的特征向量，将上述各分类对象图像分类为多个组。
根据这样的结构，对各分类对象图像，从该分类对象图像中抽出引人注目区域，根据抽出的引人注目区域，生成表示该分类对象图像的特征的特征向量。然后，根据生成的特征向量，将各分类对象图像分类为多个组。
由此，因为考虑利用者注目的地方来进行检索，所以，利用者的主观容易反映到检索结果中。因此，与过去相比，可以获得如下效果可以得到比较符合利用者的希望的分类结果。
进而，发明9的图像分类系统是一种对多个分类对象图像进行分类的图像分类系统，其特征在于具有分类对象图像存储装置，其用于存储上述多个分类对象图像；引人注目区域抽出装置，其对上述分类对象图像存储装置的各分类对象图像，从该分类对象图像中抽出引人注目区域；特征向量生成装置，其根据上述引人注目区域抽出装置抽出的引人注目区域，对上述各分类对象图像生成表示该分类对象图像的特征的特征向量；和图像分类装置，其根据上述特征向量生成装置生成的特征向量，将上述各分类对象图像分类为多个组。
根据这样的结构，对分类对象图像存储装置的各分类对象图像，由引人注目区域抽出装置从该分类对象图像中抽出引人注目区域，由特征向量生成装置根据抽出的引人注目区域，生成表示该分类对象图像的特征的特征向量。然后，由图像分类装置根据生成的特征向量，将各分类对象图像分类为多个组。
由此，因为考虑利用者所注目的地方来进行分类，所以，利用者的主观容易反映到分类结果中。因此，与过去相比，可以获得如下效果可以得到比较符合利用者的希望的分类结果。
在此，分类对象图像存储装置是使用任何方法且在任何时间存储分类对象图像的装置，既可以是预先存储了分类对象图像的装置，也可以是不预先存储分类对象图像，而是在本系统运行时根据外部的输入等存储分类对象图像的装置。
进而，发明10的图像分类系统的特征在于在发明9的图像分类系统中，还具有面部信息判断装置，该面部信息判断装置对上述各分类对象图像，判断该分类对象图像中包含的人物图像的面部信息，上述特征向量生成装置根据上述面部信息判断装置判断出的面部信息，对上述各分类对象图像，生成表示该分类对象图像的特征的特征向量。
根据这样的结构，对各分类对象图像，由面部信息判断装置判断该分类对象图像中包含的人物图像的面部信息，由特征向量生成装置根据判断出的面部信息，生成表示该分类对象图像的特征的特征向量。
由此，因为考虑人物图像的面部信息来进行分类，所以，也可以获得如下效果可以得到与人物图像的面部相符的图像都属于同一组的分类结果。
进而，发明11的图像分类系统的特征在于在发明9及10中任何一项的图像分类系统中，还具有类似度判断装置，该类似度判断装置对上述各分类对象图像，判断该分类对象图像中包含的人物图像的面部与特定图像中包含的人物图像的面部的类似度，上述特征向量生成装置根据上述类似度判断装置的判断结果，对上述各分类对象图像，生成表示该分类对象图像的特征的特征向量。
根据这样的结构，对各分类对象图像，由类似度判断装置判断该分类对象图像中包含的人物图像的面部与特定图像中包含的人物图像的面部的类似度，由特征向量生成装置根据该判断结果，生成表示该分类对象图像的特征的特征向量。
由此，因为考虑人物图像的面部之间的类似度来进行分类，所以，也可以获得如下效果可以得到人物图像的面部类似的图像都属于同一组的分类结果。
进而，发明12的图像分类系统的特征在于在发明9至11中任何一项的图像分类系统中，上述图像分类装置根据上述分类对象图像的特征向量之间的向量间距离，将上述各分类对象图像分类为多个组，对上述各组，从上述分类对象图像存储装置中检索出指定数量的分类对象图像。
根据这样的结构，由图像分类装置根据分类对象图像的特征向量之间的向量间距离，将各分类对象图像分类为多个组，对各组，从分类对象图像存储装置中检索出指定数量的分类对象图像。
由此，因为从不同组中检索出指定数量的分类对象图像，所以，也可以获得如下效果可以得到多样化的检索结果。
进而，发明13的图像分类系统其特征在于在发明9至12中任何一项的图像分类系统中，上述特征向量生成装置在上述分类对象图像之间的纵横比不同时，将纵横比不同的第1图像及第2图像重叠在一起，针对第1图像之中的重复区域生成上述第1图像的特征向量，针对上述第2图像之中的重复区域生成上述第2图像的特征向量。
根据这样的结构，在分类对象图像之间的纵横比不同时，由特征向量生成装置将纵横比不同的第1图像及第2图像重叠在一起，针对第1图像之中的重复区域生成第1图像的特征向量，针对第2图像之中的重复区域生成第2图像的特征向量。
由此，因为即使是纵横比不同的图像之间，也可以比较正确地判断是否类似，所以，也可以获得如下效果可以得到更符合利用者的希望的分类结果。
另一方面，为了达成上述目的，发明14的图像检索程序是一种图像检索程序，其根据给出的检索关键字图像，从多个检索对象图像中检索与上述检索关键字图像相符的图像，其特征在于使可以利用用于存储上述多个检索对象图像的检索对象图像存储装置和用于输入上述检索关键字图像的检索关键字图像输入装置的计算机，执行作为以下装置所实现的处理引人注目区域抽出装置，其针对上述检索关键字图像输入装置输入的检索关键字图像及上述检索对象图像存储装置的各检索对象图像，从该图像中抽出引人注目区域；特征向量生成装置，其针对上述检索关键字图像及上述各检索对象图像，根据上述引人注目区域抽出装置抽出的引人注目区域，生成表示该图像的特征的特征向量；和图像检索装置，其根据上述特征向量生成装置生成的特征向量，从上述检索对象图像存储装置中检索与上述检索关键字图像相符的图像。
根据这样的结构，在通过计算机读取程序，由计算机根据读取的程序来执行处理时，可以得到与发明2的图像检索系统同等的作用及效果。
另一方面，为了达成上述目的，发明15的图像分类程序是一种图像分类程序，其对多个分类对象图像进行分类，其特征在于使可以利用用于存储上述多个分类对象图像的分类对象图像存储装置的计算机，执行作为以下装置所实现的处理引人注目区域抽出装置，其对上述分类对象图像存储装置的各分类对象图像，从该分类对象图像中抽出引人注目区域；特征向量生成装置，其根据上述引人注目区域抽出装置抽出的引人注目区域，对上述各分类对象图像，生成表示该分类对象图像的特征的特征向量；和图像分类装置，其根据上述特征向量生成装置生成的特征向量，将上述各分类对象图像分类为多个组。
根据这样的结构，在通过计算机读取程序，由根据读取的程序来执行处理时，可以得到与发明9的图像分类系统同等的作用及效果。
另一方面，为了达成上述目的，发明16的图像检索方法是一种图像检索方法，根据给出的检索关键字图像，从存储有多个检索对象图像的检索对象图像存储装置中检索与上述检索关键字图像相符的图像，其特征在于包括以下步骤检索关键字图像输入步骤输入上述检索关键字图像；第1引人注目区域抽出步骤从上述检索关键字图像输入步骤中输入的检索关键字图像中抽出引人注目区域；第1特征向量生成步骤根据上述第1引人注目区域抽出步骤中抽出的引人注目区域，生成表示上述检索关键字图像的特征的特征向量；第2引人注目区域抽出步骤从上述检索对象图像抽出引人注目区域；第2特征向量生成步骤根据上述第2引人注目区域抽出步骤中抽出的引人注目区域，生成表示上述检索对象图像的特征的特征向量；重复步骤对上述检索对象图像存储装置的各检索对象图像，重复进行上述第2引人注目区域抽出步骤及上述第2特征向量生成步骤；和图像检索步骤根据上述第1特征向量生成步骤及第2特征向量生成步骤中生成的特征向量，从上述检索对象图像存储装置中检索与上述检索关键字图像相符的图像。
由此，可以获得与发明2的图像检索系统同等的效果。在此，引人注目区域抽出步骤只要针对检索关键字图像及各检索对象图像，从该图像抽出引人注目区域就可以。例如，可以根据检索关键字图像或检索对象图像，计算吸引度，根据计算出的吸引度，抽出引人注目区域。以下，在发明17的图像分类方法中，与此相同。
此外，检索关键字图像输入步骤只要能输入检索关键字图像，可以采用任何方法，例如，可以将从检索对象图像存储装置中选择的检索对象图像作为检索关键字图像进行输入，也可以从图像存储介质、网络或其他图像存储介质输入检索关键字图像。
另一方面，为了达成上述目的，发明17的图像分类方法是一种对多个分类对象图像进行分类的图像分类方法，其特征在于包括以下步骤引人注目区域抽出步骤从上述分类对象图像中抽出引人注目区域；特征向量生成步骤根据上述引人注目区域抽出步骤中抽出的引人注目区域，生成表示上述分类对象图像的特征的特征向量；重复步骤对上述各分类对象图像，重复进行上述引人注目区域抽出步骤及上述特征向量生成步骤；和图像分类步骤根据上述特征向量生成步骤中生成的特征向量，将上述各分类对象图像分类为多个组。
由此，可以得到与发明9的图像分类系统同等的效果。
图1是表示本发明所涉及的图像检索装置100的结构的功能框图。
图2是表示计算机200的结构的框图。
图3是表示图像检索处理的流程图。
图4是表示纵向的检索对象图像的一例的图。
图5是表示横向的检索对象图像的一例的图。
图6是表示将n个特征向量V分组为2组(cluster)的情况的图。
图7是表示显示出检索结果的显示画面的图。
图8是表示将纵横比不同的检索对象图像A、B重叠在一起的情况的图。
符号说明100图像检索装置；200计算机；10检索对象图像登录DB；12检索关键字图像指定部；14检索关键字图像读出部；16引人注目区域抽出部；18面部图像处理部；20特征向量生成部；22检索条件指定部；24图像检索部；26显示形式指定部；28图像显示部；34面部区域判断部；36面部信息判断部；38类似度判断部；50CPU；52ROM；54RAM；58I/F；60输入装置；64显示装置。
具体实施例方式
以下，参照附图，就本发明的实施方式进行说明。图1至图7是示出本发明所涉及的图像检索系统、图像分类系统、图像检索程序及图像分类程序、以及图像检索方法及图像分类方法的实施方式的图。
本实施方式考虑利用者所注目的地方，在进行图像的类似检索时，应用本发明所涉及的图像检索系统、图像分类系统、图像检索程序及图像分类程序、以及图像检索方法及图像分类方法。
在本实施方式中，作为图像中利用者所注目的地方(以下称为引人注目区域)的抽出基准，使用“吸引度”的概念。吸引度的计算方法具体地记载在例如“特开2001-126070号公报(引人注目区域抽出装置及使用了该装置的自动构图决定装置)”中。
简单地说明吸引度。
为了抽出引人注目区域，根据原图像的物理特征评价吸引度。在此，吸引度是指与人的主观相符的参数。引人注目区域的抽出是从评价结果中抽出最显著的区域作为引人注目区域。即，在评价引人注目区域时，因为根据物理特征来进行与人的主观相符的评价，所以，可以抽出与人主观相符的引人注目区域。
例如，物理特征包含颜色的差异度时，可以根据各区域的颜色不同，评价吸引度。
此外，因为物理特征除了颜色的差异度，还包含形状的差异度、面积的差异度及花纹(图案)的差异度，所以，只要根据该4个差异度的至少1个差异度来评价吸引度，就可以根据原图像的特征，正确地评价吸引度。
此外，如果对颜色的3要素(色相、纯度、明度)也进行评价，则可以将接近人主观认为显著的颜色(红色)的区域评价为最显著区域。进而，如果对空间频率或原图像中的各区域的面积也进行评价，则可以对最显著区域的评价进行更正确地判断。
此外，吸引度的评价按如下步骤进行。
(1)最初对原图像进行区域分割。此时，将原图像分割成图区域和画区域。区域分割的方法可应用1997IEEE中的W.Y.Ma及B.S.Manjunath等在“Edge FlowA Framework of Boundary Detection and ImageSegmentation”中记载的基于“edge flow”的边界检测方法。
(2)其次，抽出分割后的图区域，评价区域的吸引度。
吸引度的评价大致如下进行。
最初求得各区域的差异性吸引度。此时，分别求得颜色的差异度、花纹的差异度、形状的差异度及面积的差异度，分别赋予加权系数，进行线性组合，求得各区域的差异性吸引度。
其次，求得各区域的特征吸引度。此时，求得颜色的吸引度、空间频率的吸引度、面积的吸引度，分别赋予加权系数，进行线性组合，求得各区域的特征吸引度。
然后，将各区域的差异性吸引度与特征吸引度相加，求得特征量综合值，通过指定的β函数评价特征量综合值，计算吸引度。
(3)此外，根据原图像生成评价吸引度的模式图。
下面，参照图1，就本发明所涉及的图像检索装置100的结构进行说明。
图1是表示本发明所涉及的图像检索装置100的结构的功能框图。
图像检索装置100如图1所示，其由如下部分构成检索对象图像登录数据库(以下，将数据库略称为DB。)10，其登录了多个检索对象图像；检索关键字图像指定部12，其指定检索关键字图像；和检索关键字图像读出部14，其将检索关键字图像指定部12指定的检索对象图像作为检索关键字图像，从检索对象图像登录DB10中读出。还具有引人注目区域抽出部16，其针对检索关键字图像读出部14读出的检索关键字图像及检索对象图像登录DB10的各检索对象图像，从该图像中抽出引人注目区域；面部图像处理部18，其针对检索关键字图像读出部14读出的检索关键字图像及检索对象图像DB10的各检索对象图像，判断面部信息及类似度；和特征向量生成部20，其根据引人注目区域抽出部16抽出的引人注目区域及面部图像处理部18的判断结果，生成表示图像的特征的特征向量。还具有检索条件指定部22，其指定检索条件；图像检索部24，其根据检索条件指定部22指定的检索条件及特征向量生成部20生成的特征向量，从检索对象图像登录DB10中检索图像；显示形式指定部26，其指定检索结果的显示形式；和图像显示部28，其用显示形式指定部26指定的显示形式来显示检索结果的图像。
面部图像处理部18具有面部区域判断部34、面部信息判断部36和类似度判断部38，其中，面部区域判断部34针对检索关键字图像读出部14读出的检索关键字图像及检索对象图像登录DB10的各检索对象图像，判断该图像中是否包含相当于人物图像的面部的区域(以下称为面部区域)；面部信息判断部36根据面部区域判断部34的判断结果，判断图像中包含的人物图像的面部的方向、大小及重心位置；类似度判断部38根据面部区域判断部34的判断结果，对各检索对象图像，判断该检索对象图像中包含的人物图像的面部与检索关键字图像中包含的人物图像的面部的类似度。
具体来说，如图2所示，图像检索装置100可以作为计算机200及由其运行的程序来实现。参照图2，就计算机200的结构进行说明。
图2是表示计算机200的结构的框图。
如图2所示，计算机200由以下装置构成CPU50，其根据控制程序，控制运算及系统整体；ROM52，其在指定区域中预先存储CPU50的控制程序等；RAM54，其用于存储从ROM52等读出的数据及CPU50的运算过程中所需的运算结果；和I/F58，其向外部装置传送数据的输入输出。这些装置利用作为用于传输数据的信号线的总线59以相互可以进行数据接收和发送的状态连接在一起。
在I/F58上，作为外部装置，连接了以下装置检索对象图像登录DB10；输入装置60，其作为人机接口由可以进行数据输入的键盘及鼠标等构成；和显示装置64，其根据图像信号，显示画面。
CPU50由微处理单元(MPU)等构成，其启动ROM52的指定区域中存储的指定程序，根据该程序，执行图3的流程图所示的图像检索处理。
图3是表示图像检索处理的流程图。
图像检索处理是一种从输入装置60接受检索请求的输入并执行的处理，在CPU50中执行时，如图3所示，首先，转移到步骤S100。
在步骤S100中，输入检索条件的指定。作为检索条件，可以指定以下检索模式类似图像检索模式，其从检索对象图像登录DB10中检索与检索关键字图像最类似的图像；类似图像群检索模式，其从检索对象图像登录DB10中检索与检索关键字图像类似的多个图像；和多样性检索模式，从检索对象图像登录DB10中检索性质不同的多个图像。
接着，转移到步骤S102，输入显示形式的指定。作为显示形式，可以指定以下显示模式放大显示模式，其将符合检索条件的图像放大显示，将不符合检索条件的图像缩小显示；和清晰(鲜明)显示模式，其将符合检索条件的图像清晰显示，将不符合检索条件的图像模糊显示。
接着，转移到步骤S104，从检索对象图像登录DB10中指定检索关键字图像。另外，作为检索条件指定了多样性检索模式时，不需要检索关键字图像的指定。以下，针对包含检索关键字图像的全部检索对象图像进行步骤S106～S126及步骤S134的处理。
接着，转移到步骤S106，从检索对象图像登录DB10中读出开头的检索对象图像，转移到步骤S108。
在步骤S108中，根据读出的检索对象图像，计算吸引度，根据计算出的吸引度，抽出引人注目区域。引人注目区域的抽出按照上述方法进行。因为有时吸引度的绝对值受检索对象图像的影响，所以，为了同等评价全部检索对象图像，将吸引度标准化，将引人注目区域的引人注目程度划分为指定级(例如，10级)。以下，将针对构成检索对象图像的各像素计算出的吸引度作为e’xyox、y表示检索对像图像中的像素的X坐标及Y坐标。
图4是表示纵向的检索对象图像的一例的图。
在图4(a)的例中，摄影方向为纵向，右下配置了花的图像。此时，在计算引人注目区域时，例如，如图4(b)所示，将花的图像之中的花的部分及其近旁的区域作为引人注目程度最高的引人注目区域A抽出，将花的图像之中的茎及叶的部分及其近旁的区域作为引人注目程度第2高的引人注目区域B抽出。其他区域作为引人注目程度低的区域C抽出。
图5是表示横向的检索对象图像的一例的图。
在图5(a)的例中，摄影方向为横向，右下配置了花的图像。此时，在计算引人注目区域时，例如，如图5(b)所示，将花的图像之中的花的部分及其近旁的区域作为引人注目程度最高的引人注目区域A抽出，将花的图像之中的茎及叶的部分及其近旁的区域作为引人注目程度第2高的引人注目区域B抽出。其他区域作为引人注目程度低的区域C抽出。由此，可以知道用同样的引人注目程度抽出了与图4的检索对象图像几乎同样的区域。
接着，转移到步骤S110，判断读出的检索对象图像中是否包含面部区域，转移到步骤S118。
在步骤S118中，根据步骤S110的判断结果，判断检索对象图像中包含的人物图像的面部的方向、大小及重心位置。具体来说，假设检索对象图像内包含多个面部区域，将它们作为检测面部区域群时，分别计算检测面部区域群在检索对象图像内占据的面积的总和f1；检测面部区域群在检索对象图像面内占据的面积的平均值f2；检测面部区域群在检索对象图像内占据的面积的方差f3；表示检测面部区域群的各面部在水平方向朝向正面的程度的水平方向正面朝向程度的平均值f4(-π/2～π/2)；检测面部区域群的各面部的水平方向正面朝向程度的方差f5；表示检测面部区域群的各面部在垂直方向朝向正面的程度的垂直方向正面朝向程度的平均值f6(-π/2～π/2)；检测面部区域群的各面部的垂直方向正面朝向程度的方差f7；检测面部区域群的各重心位置的平均值f8；及检测面部区域群的各重心位置的方差f9。在检索对象图像内只包含1个面部区域时，f1及f2计算该面部区域的面积；f4及f6计算该面部区域的水平方向正面朝向程度及垂直方向正面朝向程度。另外，检测面部区域的面部以正面为基准倾斜于水平方向的程度越大，水平方向正面朝向程度的值越小，检测面部区域的面部以正面为基准倾斜于垂直方向的程度越大，垂直方向正面朝向程度的越变小。以下，除了特别区别的情况，将水平方向正面朝向程度及垂直方向正面朝向程度总称为正面朝向程度。此外，面部区域的面积通过用检索对象图像的大小进行标准化来算出。
接着，转移到步骤S120，判断检索对象图像中包含的人物图像的面部与检索关键字图像中包含的人物图像的面部的类似度。例如，在检索关键字图像中包含被拍摄体A、B、C的人物图像时，对检索对象图像中包含的各面部区域，分别判断与被拍摄体A的面部区域的面部的类似度；与被拍摄体B的面部区域的面部的类似度；以及与被拍摄体C的面部区域的面部的类似度。另外，作为检索条件，指定了多样性检索时，因为不存在检索关键字图像，所以，对检索对象图像中包含的人物图像的面部与预先设定的特定图像中包含的人物图像的面部的类似度进行判断。
接着，转移到步骤S124，根据步骤S108抽出的引人注目区域及步骤S118、S120的判断结果，生成检索对象图像的特征向量V。特征向量V大致由以下要素群构成与引人注目区域的吸引度对应的第1要素群；与面部信息f1～f9对应的第2要素群；和与类似度对应的第3要素群。
特征向量V的第1要素群将检索对象图像分割为多个区域(例如，水平方向N个及垂直方向M个矩形区域)，根据下述公式(1)，对各分割区域计算该分割区域(i，j)的吸引度的平均值eij，根据吸引度的平均值eij进行决定。分割区域(i，j)在检索对象图像中表示水平方向第i(i＝1～N)个、垂直方向第j(j＝1～M)个区域。
eij=Σn=xi-sn=xi+sΣm=yi-sm=yi+se′nm···(1)]]>上述公式(1)在各分割区域是由2s×2s的像素构成的正方形区域时，计算分割区域(i，j)的吸引度的平均值eij。在上述公式(1)中，xi是分割区域(i，j)的中心点的x坐标，xj是分割区域(i，j)的中心点的y坐标。
因此，特征向量V的第1要素群是根据下述公式(2)，在各分割区域的吸引度的平均值eij上分别乘以独立的系数Eij，将它们作为各要素进行罗列而得到的。将检索对象图像分割为水平方向N个及垂直方向M个区域时，特征向量V的第1要素群由N×M个要素构成。(E11·e11，E12·e12，…，Eij·eij，…ENM·eNM) …(2)特征向量V的第2要素群是根据下述公式(3)，在步骤S118判断出的面部信息f1～f9上分别乘以独立的系数F1～F9，将它们作为各要素进行罗列而成的。
(F1·f1，F2·f2，…，F9·f9)…(3)特征向量V的第3要素群是根据下述公式(4)，在步骤S120判断出的类似度pk上分别乘以独立的系数Pk，将它们作为各要素进行罗列而成的。例如，在检索关键字图像中包含了K个人物图像时，对检索对象图像中包含的各面部区域，计算与检索关键字图像中包含的面部区域k(k＝1～K)的面部的类似度。此时，在与面部区域k的面部类似(类似度为大于等于指定值时)时，设pk＝1，在与面部区域k的面部不类似(类似度小于指定值时)时，设pk＝0。
(P1·p1，P2·p2，…，Pk·pk，…Pk·pk) …(4)根据以上所述，特征向量V是通过下述公式(5)作为罗列第1要素群、第2要素群及第3要素群的各要素来表示的。
V＝(E11·e11，E12·e12，…，ENM·eNM，F1·f1，F2·f2，…，F9·f9，P1·p1，P2·p2，…，Pk·pk) …(5)接着，转移到步骤S126，针对检索对象图像登录DB10的全部检索对象图像，判断步骤S108～S124的处理是否结束，在判断为对全部检索对象图像结束了处理时(“是”)，转移到步骤S128。
在步骤S128中，根据检索对象图像的特征向量之间的向量间距离，将各检索对象图像分组为多个组。分组可以例如根据以往的K-平均法来进行。在K-平均法中，作为第1处理，适当选择K个特征向量V，将选择的特征向量Vk(k＝1～K)分别作为组k的中心位置。将组k的中心位置作为mk。接着，作为第2处理，根据下述公式(6)，计算特征向量Vi(i＝1～N，N是检索对象图像的总数)与组k的中心位置mk的向量间距离，将特征向量Vi归属于计算出的向量间距离最小的组k。下述公式(6)计算特征向量VA与特征向量VB之间的向量间距离。
S＝|VA-VB|…(6)接着，作为第3处理，用属于组k的特征向量Vi的平均值置换组k的中心位置mk。接着，作为第4处理，在i＜N时，将i加“1”，进行第2处理及第3处理。然后，作为第5处理，在第3处理中变更前后的mk有变化时，使i＝1，进行第2处理及第3处理。在第3处理中变更前后的mk没有变化时，或进行了大于等于一定次数的重复处理时，结束处理，决定组k的中心位置mk及属于其的特征向量Vi。
图6是表示将n个特征向量V分组为2组的情况的图。
在图6的例中，特征向量V1、V2、V3、Vn属于中心位置m1的组，特征向量V4、V5、V6、Vn-1属于中心位置m2的组。
接着，转移到步骤S130，根据指定的检索条件，从检索对象图像登录DB10中检索图像。作为检索条件，在指定了类似图像检索模式时，从检索对象图像登录DB10中检索出与检索关键字图像的特征向量V之间的向量间距离最小的特征向量V所对应的检索对象图像。作为检索条件，在指定了类似图像群检索模式时，从检索对象图像登录DB10中检索出多个组之中的检索关键字图像所属的组的全部检索对象图像。作为检索条件，在指定了多样性检索模式时，从检索对象图像登录DB10中对每个组检索出指定数量的检索对象图像。
接着，转移到步骤S132，用指定的显示形式将检索出的检索对象图像显示到显示装置64上，结束一连串的处理，返回到原来的处理。
图7是表示显示了检索结果的显示画面的图。
图7的例是用放大显示模式及清晰显示模式显示了检索对象图像1～n的情况，因为图像1、2、3、n是作为检索结果检索出来的图像，所以，放大且清晰地进行了显示，与此相对，其他图像4、5、6、n-1被缩小且被模糊地显示着。
另一方面，在步骤S126判断为对检索对象图像登录DB10的全部检索对象图像，步骤S108～S124的处理没有结束时(“否”)，转移到步骤S134，从检索对象图像登录DB10中读入下面的检索对象图像，转移到步骤S108。
下面，就本实施方式的动作进行说明。
首先，就根据类似图像检索模式进行图像的类似检索的情况进行说明。
在根据类似图像检索模式进行图像的类似检索时，利用者输入检索请求，作为检索模式，指定类似图像检索模式，同时，指定检索关键字图像。此外，同时指定显示形式。
在图像检索装置100中，在指定类似图像检索模式及检索关键字图像后，通过步骤S106～S110，从检索对象图像登录DB10中读出开头的检索对象图像，从读出的检索对象图像中抽出引人注目区域，同时，判断检索对象图像中是否包含面部区域。接着，通过步骤S118、S120，根据步骤S110的判断结果，判断检索对象中包含的人物图像的面部的方向、大小及重心位置，判断检索对象图像中包含的人物图像的面部与检索关键字图像中包含的人物图像的面部的类似度。在检索对象图像中包含了多个被拍摄体的人物图像时，通过重复步骤S110～S120，对各面部区域，进行面部信息及类似度的判断。
接着，在对检索对象图像的全部面部区域进行了面部信息及类似度的判断之后，通过步骤S124，根据抽出的引人注目区域以及判断出的面部信息及类似度，生成检索对象图像的特征向量V。
在对检索对象图像登录DB10的全部检索对象图像进行了这样的处理时，通过步骤S128、S130，由于根据检索对象图像的特征向量V之间的向量间距离，将各检索对象图像分组为多个组，并指定了类似图像检索模式，所以，从检索对象图像登录DB10中检索出与检索关键字图像的特征向量V之间的向量间距离最小的特征向量V所对应的检索对象图像。然后，通过步骤S132，把检索出来的检索对象图像用指定的显示形式进行显示。
其次，就根据类似图像群检索模式进行图像的类似检索的情况进行说明。
在根据类似图像群检索模式进行图像的类似检索时，利用者输入检索请求，作为检索模式，指定类似图像群检索模式，同时，指定检索关键字图像。此外，同时指定显示形式。
到将各检索对象图像分组为止，与类似图像检索模式中进行的类似检索的情况相同。在图像检索装置100中，在对各检索对象图像进行了分组时，通过步骤S130，由于指定了类似图像群检索模式，所以，从检索对象图像登录DB10中检索出多个组中的检索关键字图像所属的组的全部检索对象图像。然后，通过步骤S132，把检索出来的检索对象图像用指定的显示形式进行显示。
其次，就根据多样性检索模式进行图像的类似检索的情况进行说明。
在根据多样性检索模式进行图像的类似检索时，利用者输入检索请求，作为检索模式，指定多样性检索模式。此外，同时指定显示形式。
到对各检索对象图像进行分组为止，与类似图像检索模式中进行的类似检索的情况相同。在图像检索装置100中，在对各检索对象图像进行了分组时，通过步骤S130，由于指定了多样性检索模式，所以，从检索对象图像登录DB10中对各组检索出指定数量的检索对象图像。然后，通过步骤S132，把检索出来的检索对象图像用指定的显示形式进行显示。
这样，在本实施方式中，针对检索关键字图像及各检索对象图像，从该图像中抽出引人注目区域，针对检索关键字图像及各检索对象图像，根据抽出的引人注目区域，生成该图像的特征向量V，根据生成的特征向量V，从检索对象图像登录DB10中检索与检索关键字图像相符的图像。
由此，因为考虑利用者注目的地方来进行检索，所以，利用者的主观容易反映到检索结果中。因此，与过去相比，可以得到与利用者的希望比较相符的检索结果。
进而，在本实施方式中，针对检索关键字图像及各检索对象图像，判断该图像中包含的人物图像的面部的方向、大小及重心位置，针对检索关键字图像及各检索对象图像，根据判断出的面部的方向、大小或重心位置，生成该图像的特征向量V。
由此，因为考虑人物图像的面部的方向、大小或重心位置来进行检索，所以，可以得到与检索关键字图像中包含的人物图像的面部相符的检索结果。
进而，在本实施方式中，对各检索对象图像，判断该检索对象图像中包含的人物图像的面部与检索关键字图像中包含的人物图像的面部的类似度，针对检索关键字图像及各检索对象图像，根据判断出的类似度，生成该图像的特征向量V。
由此，因为考虑人物图像的面部之间的类似度来进行检索，所以，可以得到与检索关键字图像中包含的人物图像的面部类似的检索结果。
进而，在本实施方式中，从检索对象图像登录DB10中检索出与检索关键字图像的特征向量V之间的向量间距离最小的特征向量V所对应的检索对象图像。
由此，可以得到被认为最符合利用者的希望的检索结果。
进而，在本实施方式中，根据检索对象图像的特征向量V之间的向量间距离，将各检索对象图像分类为多个组，从检索对象图像登录DB10中检索出多个组中的检索关键字图像所属的组的全部检索对象图像。
由此，可以得到被认为符合利用者的希望的几个检索结果。
进而，在本实施方式中，根据检索对象图像的特征向量V之间的向量间距离，将各检索对象图像分类为多个组，从检索对象图像登录DB10中对各组检索出指定数量的检索对象图像。
由此，因为从不同的组检索出指定数量的检索对象图像，所以，可以得到多样的检索结果。
在上述实施方式中，检索对象图像对应于发明8至12、15或17的分类对象图像，检索对象图像登录DB10对应于发明2、5、6、14或16的检索对象图像存储装置或发明9、12或15的分类对象图像存储装置。此外，步骤S104及检索关键字图像指定部12对应于发明2或14的检索关键字图像输入装置或发明16的检索关键字图像输入步骤，步骤S108及引人注目区域抽出部16对应于发明2、9、14或15的引人注目区域抽出装置、发明17的引人注目区域抽出步骤、发明16的第1引人注目区域抽出步骤或发明16的第2引人注目区域抽出步骤。
此外，在上述实施方式中，步骤S118及面部信息判断部36对应于发明3或10的面部信息判断装置，步骤S120及类似度判断部38对应于发明4或11的类似度判断装置，步骤S124及特征向量生成部20对应于发明2至4、9至11、14或15的特征向量生成装置、发明16的第2特征向量生成步骤或发明16的第1特征向量生成步骤。此外，步骤S128、S130及图像检索部24对应于发明2、5、6或14的图像检索装置、发明9、12或15的图像分类装置、发明16的图像检索步骤或发明17的图像分类步骤。
另外，在上述实施方式中，没有对检索对象图像的纵横比进行特别说明，但在检索对象图像的纵横比不同时，如下判断图像是否类似。
图8是表示将纵横比不同的检索对象图像A、B重叠在一起的情况的图。
在判断纵横比不同的检索对象图像A、B是否类似时，如图8所示，将检索对象图像A、B重叠，针对检索对象图像A之中的重复区域，生成检索对象图像A的特征向量VA，针对检索对象图像B之中的重复区域，生成检索对象图像B的特征向量VB，根据生成的特征向量VA、VB，判断检索对象图像A、B是否类似。
此时，也可以进而以使重复区域有所不同的方式改变检索对象图像A、B的重叠方法，将检索对象图像A、B重叠，将对各组合计算出的检索对象图像A的特征向量VAi(i＝1～N，N是组合总数)的平均值作为检索对象图像A的特征向量VA来生成，将对各组合计算出的检索对象图像B的特征向量VBi的平均值作为检索对象图像B的特征向量VB来生成。
由此，因为即使是对纵横比不同的检索对象图像之间，也可以比较正确地判断是否类似，所以，可以得到进一步符合利用者的希望的检索结果。
此时，步骤S124及特征向量生成部20对应于发明7或13的特征向量生成装置。
此外，在上述实施方式中，根据上述公式(2)，在各分割区域的吸引度的平均值eij上分别乘以独立的系数Eij，将这些作为各要素进行罗列，来生成特征向量V的第1要素群，但是，不限于此，在引人注目区域的计算中使用吸引度时，因为在分割的区域中吸引度是一定的，所以，在步骤S108中，也可以如下生成。首先，从检索对象图像中按照吸引度从高到低的顺序选择H个引人注目区域。接着，根据下述公式(7)，在引人注目区域h(h＝1～H)的水平方向的中心坐标xh上乘以系数X，在引人注目区域h的垂直方向的中心坐标yh上乘以系数Y。此外，在引人注目区域h的吸引度eh上乘以系数E，在引人注目区域h的面积sh上乘以系数S。然后，将这些Xxh、Yyh、Eeh、Ssh作为各要素进行罗列，来生成作为特征向量V的第1要素群。(X·x1，Y·y1，E·e1，S·s1，…X·xh，Y·yh，E·eh，S·sh，…X·xH，Y·yH，E·eH，S·sH)…(7)此时，抽出的引人注目区域的个数h不满足指定数(例如，10个)时，将特征向量V的第1要素群都设为“0”。
此外，在上述实施方式中，对在执行图3的流程图所示的处理时，对执行预先存储在ROM52中的控制程序的情况进行了说明，但是，不限于此，也可以将该程序从存储了表示这些步骤的程序的存储介质读入到RAM54，进行运行。
在此，存储介质指的是RAM、ROM等半导体存储介质；FD、HD等磁存储型存储介质；CD、CDV、LD、DVD等光学读取方式存储介质；MO等磁存储型/光学读取方式存储介质，与电子、磁、光学等读取方法无关，只要是计算机可以读取的存储介质，包含所有存储介质。
此外，在上述实施方式中，将本发明所涉及的图像检索系统、图像分类系统、图像检索程序及图像分类程序、以及图像检索方法及图像分类方法应用于考虑利用者注目的地方来进行图像的类似检索的情况，但是，不限于此，在不脱离本发明的主旨的范围内，也可以应用于其他情况。例如，可以应用于对图像进行分类的情况。
权利要求
1.一种图像检索系统，根据给出的检索关键字图像，从多个检索对象图像中检索与所述检索关键字图像相符的图像，其特征在于针对所述检索关键字图像及所述各检索对象图像，从该图像中抽出引人注目区域，根据抽出的引人注目区域，生成表示该图像的特征的特征向量，根据生成的特征向量，从所述多个检索对象图像中检索与所述检索关键字图像相符的图像。
2.一种图像检索系统，根据给出的检索关键字图像，从多个检索对象图像中检索与所述检索关键字图像相符的图像，其特征在于具有检索对象图像存储装置，其用于存储所述多个检索对象图像；检索关键字图像输入装置，其输入所述检索关键字图像；引人注目区域抽出装置，其针对所述检索关键字图像输入装置输入的检索关键字图像及所述检索对象图像存储装置的各检索对象图像，从该图像中抽出引人注目区域；特征向量生成装置，其针对所述检索关键字图像及所述各检索对象图像，根据所述引人注目区域抽出装置抽出的引人注目区域，生成表示该图像的特征的特征向量；图像检索装置，其根据所述特征向量生成装置生成的特征向量，从所述检索对象图像存储装置中检索与所述检索关键字图像相符的图像。
3.如权利要求2所述的图像检索系统，其特征在于还具有面部信息判断装置，该面部信息判断装置针对所述检索关键字图像及所述各检索对象图像，判断该图像中包含的人物图像的面部信息，所述特征向量生成装置针对所述检索关键字图像及所述各检索对象图像，根据所述面部信息判断装置判断出的面部信息，生成表示该图像的特征的特征向量。
4.如权利要求2及3中任何一项所述的图像检索系统，其特征在于还具有类似度判断装置，该类似度判断装置对所述各检索对象图像，判断该检索对象图像中包含的人物图像的面部与所述检索关键字图像中包含的人物图像的面部的类似度，所述特征向量生成装置针对所述检索关键字图像及所述各检索对象图像，根据所述类似度判断装置的判断结果，生成表示该图像的特征的特征向量。
5.如权利要求2至4中任何一项所述的图像检索系统，其特征在于所述图像检索装置从所述检索对象图像存储装置中检索出与所述检索关键字图像的特征向量之间的向量间距离最小的特征向量所对应的检索对象图像。
6.如权利要求2至4中任何一项所述的图像检索系统，其特征在于所述图像检索装置根据所述检索对象图像的特征向量之间的向量间距离，将所述各检索对象图像分类为多个组，从所述检索对象图像存储装置中检索出所述多个组之中的所述检索关键字图像所属的组的全部检索对象图像。
7.如权利要求2至6中任何一项所述的图像检索系统，其特征在于所述特征向量生成装置在所述检索关键字图像与所述检索对象图像的纵横比或所述检索对象图像之间的纵横比不同时，将纵横比不同的第1图像及第2图像重叠在一起，针对第1图像之中的重复区域生成所述第1图像的特征向量，针对所述第2图像之中的重复区域生成所述第2图像的特征向量。
8.一种图像分类系统，对多个分类对象图像进行分类，其特征在于对所述各分类对象图像，从该分类对象图像中抽出引人注目区域，根据抽出的引人注目区域，生成表示该分类对象图像的特征的特征向量，根据生成的特征向量，将所述各分类对象图像分类为多个组。
9.一种图像分类系统，对多个分类对象图像进行分类，其特征在于具有分类对象图像存储装置，其用于存储所述多个分类对象图像；引人注目区域抽出装置，其对所述分类对象图像存储装置的各分类对象图像，从该分类对象图像中抽出引人注目区域；特征向量生成装置，其根据所述引人注目区域抽出装置抽出的引人注目区域，对所述各分类对象图像生成表示该分类对象图像的特征的特征向量；图像分类装置，其根据所述特征向量生成装置生成的特征向量，将所述各分类对象图像分类为多个组。
10.如权利要求9所述的图像分类系统，其特征在于还具有面部信息判断装置，该面部信息判断装置对所述各分类对象图像，判断该分类对象图像中包含的人物图像的面部信息，所述特征向量生成装置根据所述面部信息判断装置判断出的面部信息，对所述各分类对象图像，生成表示该分类对象图像的特征的特征向量。
11.如权利要求9及10中任何一项所述的图像分类系统，其特征在于还具有类似度判断装置，该类似度判断装置对所述各分类对象图像，判断该分类对象图像中包含的人物图像的面部与特定图像中包含的人物图像的面部的类似度，所述特征向量生成装置根据所述类似度判断装置的判断结果，对所述各分类对象图像，生成表示该分类对象图像的特征的特征向量。
12.如权利要求9至11中任何一项所述的图像分类系统，其特征在于所述图像分类装置根据所述分类对象图像的特征向量之间的向量间距离，将所述各分类对象图像分类为多个组，对所述各组，从所述分类对象图像存储装置中检索出指定数量的分类对象图像。
13.如权利要求9至12中任何一项所述的图像分类系统，其特征在于所述特征向量生成装置在所述分类对象图像之间的纵横比不同时，将纵横比不同的第1图像及第2图像重叠在一起，针对第1图像之中的重复区域生成所述第1图像的特征向量，针对所述第2图像之中的重复区域生成所述第2图像的特征向量。
14.一种图像检索程序，根据给出的检索关键字图像，从多个检索对象图像中检索与所述检索关键字图像相符的图像，其特征在于使可以利用用于存储所述多个检索对象图像的检索对象图像存储装置和用于输入所述检索关键字图像的检索关键字图像输入装置的计算机，执行作为以下装置所实现的处理引人注目区域抽出装置，其针对所述检索关键字图像输入装置输入的检索关键字图像及所述检索对象图像存储装置的各检索对象图像，从该图像中抽出引人注目区域；特征向量生成装置，其针对所述检索关键字图像及所述各检索对象图像，根据所述引人注目区域抽出装置抽出的引人注目区域，生成表示该图像的特征的特征向量；和图像检索装置，其根据所述特征向量生成装置生成的特征向量，从所述检索对象图像存储装置中检索与所述检索关键字图像相符的图像。
15.一种图像分类程序，对多个分类对象图像进行分类，其特征在于使可以利用用于存储所述多个分类对象图像的分类对象图像存储装置的计算机，执行作为以下装置所实现的处理引人注目区域抽出装置，其对所述分类对象图像存储装置的各分类对象图像，从该分类对象图像中抽出引人注目区域；特征向量生成装置，其根据所述引人注目区域抽出装置抽出的引人注目区域，对所述各分类对象图像，生成表示该分类对象图像的特征的特征向量；和图像分类装置，其根据所述特征向量生成装置生成的特征向量，将所述各分类对象图像分类为多个组。
16.一种图像检索方法，根据给出的检索关键字图像，从存储有多个检索对象图像的检索对象图像存储装置中检索与所述检索关键字图像相符的图像，其特征在于包括以下步骤检索关键字图像输入步骤输入所述检索关键字图像；第1引人注目区域抽出步骤从所述检索关键字图像输入步骤中输入的检索关键字图像中抽出引人注目区域；第1特征向量生成步骤根据所述第1引人注目区域抽出步骤中抽出的引人注目区域，生成表示所述检索关键字图像的特征的特征向量；第2引人注目区域抽出步骤从所述检索对象图像抽出引人注目区域；第2特征向量生成步骤根据所述第2引人注目区域抽出步骤中抽出的引人注目区域，生成表示所述检索对象图像的特征的特征向量；重复步骤对所述检索对象图像存储装置的各检索对象图像，重复进行所述第2引人注目区域抽出步骤及所述第2特征向量生成步骤；和图像检索步骤根据所述第1特征向量生成步骤及第2特征向量生成步骤中生成的特征向量，从所述检索对象图像存储装置中检索与所述检索关键字图像相符的图像。
17.一种图像分类方法，对多个分类对象图像进行分类，其特征在于包括以下步骤引人注目区域抽出步骤从所述分类对象图像中抽出引人注目区域；特征向量生成步骤根据所述引人注目区域抽出步骤中抽出的引人注目区域，生成表示所述分类对象图像的特征的特征向量；重复步骤对所述各分类对象图像，重复进行所述引人注目区域抽出步骤及所述特征向量生成步骤；和图像分类步骤根据所述特征向量生成步骤中生成的特征向量，将所述各分类对象图像分类为多个组。
全文摘要
提供一种适合于得到与利用者的希望相符的检索结果或分类结果的图像检索系统。针对检索关键字图像及各检索对象图像，从该图像中抽出引人注目区域，根据抽出的引人注目区域，生成该图像的特征向量V。然后，根据生成的特征向量V，从检索对象图像登录DB10中检索与检索关键字图像类似的图像。
文档编号G06T7/00GK1573742SQ20041004554
公开日2005年2月2日 申请日期2004年5月28日 优先权日2003年5月30日
发明者长野敏则, 日向崇 申请人:精工爱普生株式会社