专利名称：图像处理装置、方法和程序的制作方法
技术领域：
本发明涉及一种图像处理装置、图像处理方法和程序，更具体地讲，涉及一种将图像与能够使检索简化的信息相关联的图像处理装置、图像处理方法和程序。
背景技术：
已经提出了很多用于检测包含于图像中的人脸区域(面部图像元素)的方法。另外，在例如Nikkei Business Publications，Inc.于2004年6月21日出版的Nikkei Electronics中第114～123页“kao，teroppukara kansei made soudouin de 1000 jikan wo shiboru”(“Define 1,000Hours on the Basis of All Elements，Such as Faces，Subtitles，andShouts”)中，已经提出了多方面的用途，例如检测使用监视照相机的人和检测运动图像中的场景。
然而，这些用途针对有限的事务，并没有提出在日常生活中的用途，例如个人生活或者家庭生活。
在这种情况下，所谓的数码照相机已经被广泛使用，并且便携式电话装置中也提供了拍摄静止图像的功能。因此，日常生活中拍摄静止图像(照片)的机会不断增加。
管理日常生活中拍摄的静止图像是非常麻烦的。因此，拍摄静止图像的使用者将费时费力地分类这些静止图像。比如，用户使静止图像在所谓的日历显示基础上按照附加到各个静止图像上的日期来显示，为各个静止图像添加他们自己输入的文本注释，或者将静止图像存储到他们自己预先确定的相应文件夹中。
为了像相册一样观看静止图像或者类似地按照年月日顺序观看拍摄的静止图像，用户有必要执行这样的处理。
当从大量静止图像(照片)中只提取包括面部的静止图像时，用户顺序地打开文件夹以找到存储期望静止图像的文件夹，打开上述文件夹中存储的静止图像，然后检查静止图像的内容。在这种情形下，为了找到存储期望静止图像的文件夹，用户有必要按照顺序执行麻烦的操作(按照正确的顺序打开正确的文件夹)。
提出了一种为了执行适当的拍摄而控制拍摄以便拍摄时检测出脸部的技术。然而，没有提出过增加标签以指示包含于拍摄的静止图像(照片)中面部的数量以及使用该标签来检索一组照片。
发明内容
如上所述，需要大量的时间和精力来分类和管理静止图像(照片)。除此之外，除非花费这样的时间和精力，否则很难从众多静止图像中找到期望的静止图像。
希望用较少的时间和精力来简单地检索出期望的图像。
根据本发明的实施例的图像处理装置、图像处理方法和程序包括用于检测包含于图像中的面部图像元素(即一个或多个面部的图像元素)的数量的检测装置/步骤；以及用于将该图像与检测出的面部图像元素数量相关联的关联装置/步骤。
根据本发明的实施例，检测包含于图像中的面部图像元素(即一个或多个面部的图像元素)的数量，并将该图像与检测出的面部图像元素数量相关联。
检测装置可进一步检测各个面部图像元素的大小。关联装置可将图像与检测出的面部图像元素的数量和检测出的各个面部图像元素的大小相关联。
检测装置可进一步检测各个面部图像元素的位置。关联装置可将图像与检测到的面部图像元素的数量和检测到的各个面部图像元素的位置相关联。
检测装置可进一步检测各个面部图像元素的面部朝向。关联装置可将图像与检测到的面部图像元素的数量和检测到的各个面部图像元素的面部朝向相关联。
所述的图像处理装置可进一步包括生成装置，用于根据包含于图像中的面部图像元素的数量和预先存储的基准值，生成表示图像类别的标签。关联装置可以将图像和标签相关联。
所述的图像处理装置可进一步包括检索装置，用于根据与图像相关联的标签来检索图像；以及显示控制装置，用于控制所找到的图像的显示。
检索装置可以检索出与用户所选图标指定的标签相类似的标签所关联的图像。
检索装置可以检索出与用户所选图像所关联的标签相类似的标签所关联的图像。
所述的图像处理装置可以进一步包括检索装置，用于检索包括至少一个面部图像元素的图像，面部图像元素的数量与预先存储的多个基准值中由用户所选图标指定的基准值相对应；以及显示装置，用于控制所找到的图像的显示。
检索装置可以检索出包括至少一个面部图像元素的图像，面部图像元素的数量处在基于图标指定的基准值的预定范围内。
所述的图像处理装置可进一步包括检索装置，用于检索包括至少一个面部图像元素的图像；以及显示控制装置，用于控制所找到的图像的显示。检测装置可以检测出包含于用户所选图像中的面部图像元素的数量。包含于所找到图像中的面部图像元素的数量可相当于包含在所选图像中的面部图像元素的数量。
检索装置可以检索出包括至少一个面部图像元素的图像，面部图像元素的数量处在基于包含于所选图像中的面部图像元素数量的预定范围内。
如上所述，图像可以同信息相关联。
而且，能够用更少的时间和精力容易地检索出期望的图像。
图1示出了根据本发明实施例的图像处理装置的结构实例的方框图；图2示出了用于检测面部和加标签的功能的结构的方框图；图3示出了加标签处理的流程图；图4示出了检测面部区域的处理的流程图；
图5为说明面部检测的示图；图6为说明面部检测信息的存储的示图；图7为说明面部检测信息的存储的示图；图8示出了样板的实例；图9示出了图像检索功能的结构的方框图；图10示出了检索处理的实例的流程图；图11示出了检索图像的显示实例；图12示出了标签图标的实例；图13示出了所找到图像的列表的显示实例；图14示出了检索处理的另一实例的流程图；图15示出了检索处理的另一实例的流程图；以及图16示出了检索处理的另一实例的流程图。
具体实施例方式
在描述本发明的优选实施例之前，下面将论讨本发明的特征和优选实施例的说明所描述的实施例之间的对应关系。该说明意在确保支持本发明的实施例都已经在优选实施例的说明中进行了描述。因而，即使优选实施例说明中描述的实施例没有作为涉及对应于本发明一个特征的实施例在这里说明，也不意味着该实施例不涉及本发明的这个特征。相反地，即使本文中说明了涉及对应于本发明一个特征的实施例，也不意味着该实施例不涉及本发明的其他特征。
根据本发明实施例的图像处理装置包括检测装置(例如，图2中所示的面部检测引擎32)，用于检测包含于图像中的面部图像元素(即一个或多个面部的图像元素)的数量；以及关联装置(例如，图2中所示的面部信息数据库33)，用于将图像与检测到的面部图像元素的数量相关联。
该图像处理装置进一步包括生成装置(例如，图2中所示的加标签单元34)，用于根据包含于图像中的面部图像元素数量和预先存储的基准值来生成表示图像类别的标签。关联装置将图像和标签相关联。
该图像处理装置进一步包括检索装置(例如，图9中所示的检索引擎82)，用于根据与图像相关联的标签来检索图像；以及显示控制装置(例如，图9中所示的显示控制器83)，用于控制所找到的图像的显示。
该图像处理装置进一步包括检索装置(例如，图9中所示的检索引擎82)，用于检索包括至少一个面部图像元素的图像，面部图像元素的数量与预先存储的多个基准值中由用户所选图标所指定的基准值相对应；以及显示控制装置(例如，图9中所示的显示控制器83)，用于控制所找到的图像的显示。
根据本发明实施例的图像处理方法和程序包括检测包含于图像中的面部图像元素(即一个或多个面部的图像元素)的数量的步骤(例如，图3中所示的步骤S11)；以及将图像和检测到的面部图像元素数量相关联的步骤(例如，图3中所示的步骤S13)。
本发明可应用于处理图像的装置，例如个人计算机、数码照相机、便携式终端设备或者便携式电话。
图1示出了根据本发明实施例的图像处理装置的结构实例的方框图，该装置为个人计算机。中央处理器(CPU)11按照存储在只读存储器(ROM)12或者存储单元18中的程序执行各种类型的处理。由CPU 11执行的程序和数据恰当地存储在随机存储器(RAM)13中。CPU 11、ROM 12和RAM 13经过总线14彼此相连。
在Nikkei Business Publications，Inc.于2005年2月28日出版的《Nikkei Electronics》中的第89～117页，“Cell Tanjou”(“单元的诞生”)中描述的单元(Cell)可被用作CPU 11。
输入/输出接口15经由总线14同CPU 11连接。输入单元16(包括键盘、鼠标、麦克风、数码相机等)和输出单元17(包括显示器、扬声器等)同输入/输出接口15连接。CPU 11按照从输入单元16输入的指令执行各种类型的处理。CPU 11将处理结果输出到输出单元17。
与输入/输出接口15连接的存储单元18举例来说是硬盘。存储单元18存储CPU 11执行的程序和各种数据。通信单元19经由诸如因特网或局域网的网络与外部装置通信。
程序可以经由通信单元19获得，可以存储在存储单元18中。
当安装了移动介质21，诸如磁盘、光盘、磁光盘或者半导体存储器，连接到输入/输出接口15上的驱动器20驱动移动介质21，并获取记录在移动介质21上的程序和数据。必要的时候，所获得的程序和数据传送并存储于存储单元18中。
图2示出了用于检测面部和加标签的功能的结构的方框图。该功能在图像处理装置，即执行程序的个人计算机中实现。图2中所示的图像处理装置包括文件系统31、面部检测引擎32、面部信息数据库33、加标签单元34和样板数据库35。
图像文件41存储在文件系统31中。输入单元16即数码照相机拍摄的静止图像(数据)，或者外部装置拍摄的静止图像(数据)存储在图像文件41中。文件系统31将其中存储的图像文件41提供给面部检测引擎32。
例如，文件系统31对数据作为文件存入存储单元18(即硬盘)进行管理。文件系统31使存储单元18将数据存储为文件，并读取存储在存储单元18中的文件。
图像文件41存储预定格式的图像数据，诸如位图格式、联合图像专家组(JPEG)格式、JPEG2000格式、可交换图像文件格式(GIF)或者标签图像文件格式(TIFF)。
面部检测引擎32检测包含于一个图像中的面部图像元素的数量，即一个或多个面部的图像元素。例如，面部检测引擎32检测包含于存储在从外部装置提供的图像文件41中或者存储在从文件系统31提供的图像文件41中的一个图像中的面部图像元素的数量。面部检测引擎32将包括检测到的面部图像元素的数量的面部检测信息提供给面部信息数据库33。
面部信息数据库33将各个图像与检测出的面部图像元素的数量相关联。例如，面部信息数据库33将各个图像与表示检测出的面部图像元素的数量的面部检测信息相关联地存储。
面部信息数据库33使面部检测信息存储在存储单元18中。
加标签单元34根据包含于图像中的面部图像元素的数量和预先存储的基准值来生成表示图像类别的标签。例如，根据存储在面部信息数据库33中的面部检测信息和存储在样板数据库35中的样板，加标签单元34生成表示图像的类别(属性)的标签，例如“人像”、“双人照”、“集体照”或者“风景照”。标签表明图像中的主要对象是人。
用样板作图像分类标准的样板预先存储在样板数据库35中。实际应用中，样板数据库35使样板存储在存储单元18中。
由加标签单元34生成并表示各个图像的类别的标签存储在面部信息数据库33中，使得该标签和相应的图像相关联。
图3为加标签处理的流程图。在步骤S11中，面部检测引擎32打开图像文件41，输入图像，并检测输入图像中的面部区域(面部图像元素)。
下面参照图4所示的流程图描述检测面部区域的处理。
在步骤S31中，面部检测引擎32设置要检测的区域的初始大小。在步骤S32中，面部检测引擎32设定该区域在输入图像中的初始位置。
在步骤S33中，面部检测引擎32获取属于该区域的像素的像素值。在步骤S34中，面部检测引擎32判定得到了其像素值的区域是否为面部区域。
换言之，在步骤S34中，面部检测引擎32检测得到其像素值的区域中的面部图像元素。
例如，如图5所示，在步骤S34中，输入存储了JPEG图像数据的图像文件41的面部检测引擎32，根据所获的像素值是否表示处于对应于人类皮肤颜色的预定颜色范围内的颜色来判定得到其像素值的区域是否为面部区域。
如果在步骤S34中，确定得到其像素值的区域为面部区域，则处理进至步骤S35。在步骤S35中，面部检测引擎32输出表示面部区域(已获得其像素值的区域)的位置、面部大小和面部朝向的元数据。然后，处理进至步骤S36。
例如，在步骤S35中，当整个图像的垂直尺寸和水平尺寸设置为1时，面部检测引擎32检测面部区域中心处的垂直和水平位置值(用相对坐标表示)，作为面部在图像中的位置，并输出表示检测到的位置的元数据。
此外，例如，在步骤S35中，当整个图像的垂直尺寸和水平尺寸设置为1时，面部检测引擎32检测图像中面部的大小，包括面部区域的高度和宽度，用相对坐标表示，然后输出表示检测到的面部大小的元数据。
此外，例如，在步骤S35中，面部检测引擎32判定具有预先定义的假定面部朝向的多个图案(pattern)中的一个图案是否与面部区域的图像元素一致，并输出表示面部朝向的元数据，即表示与面部区域的图像元素一致的图案所对应的朝向的元数据。例如，面部朝向由与面部区域的图像元素一致的图案的指数(index)表示。
例如，在步骤S35中，面部检测引擎32将表示面部区域的位置、面部大小和面部朝向的元数据输出至由面部检测引擎32控制的RAM 13上的存储区域。在这种情形下，可存储表示面部区域的位置、面部大小和面部朝向的元数据。
如果在步骤S34中确定获得了像素值的区域不是面部区域，那么处理跳至步骤S36。
在步骤S36中，面部检测引擎32判定整个图像是否在所设大小的基础上进行了检测。如果在步骤S36中确定没有检测整个图像，处理前进至步骤S37。在步骤S37中，面部检测引擎32在图像内移动区域。然后，处理返回至步骤S33，重复上述处理。
例如，在步骤S37中，面部检测引擎32按预先设置的像素数，以光栅扫描顺序在图像内移动区域。在本例中，面部检测引擎32能以根据区域大小而确定的像素数量(例如，相当于区域高度和宽度的10％的像素数量)来移动区域。
这样，区域在图像内按顺序移动，并判断该区域是否是面部区域。换言之，区域在图像内按顺序移动，并检测区域中的面部图像元素。
如果在步骤S36中确定检测了整个图像，则处理前进至步骤S38。在步骤S38中，面部检测引擎32判定是否检测了所有预设大小的区域。
如果在步骤S38中确定没有检测所有预设大小的区域，那么处理前进至步骤S39。在步骤S39中，面部检测引擎32设置另外的区域大小。然后，处理返回至步骤S32，重复上述处理。
本例中，在步骤S32～S37中，要判定不同于先前处理中的区域的区域是否为面部区域。
如果在步骤S38中确定检测了所有预设大小的区域，那么处理前进至步骤S40。在步骤S40中，面部检测引擎32输出表示包含于存储在图像文件41中的整个图像中的面部图像元素的数量和各个面部图像元素的属性的面部检测信息51，诸如位置、大小和朝向。然后，处理结束。
如上所述，只要图像中区域的位置和大小改变，就要判定该区域是否为面部区域。因而，面部检测引擎32检测存储在图像文件41中的整个图像中面部图像元素的数量，并检测每个面部图像元素的位置、大小和朝向。
回到图3，在步骤S12中，面部信息数据库33获得从面部检测引擎32输出的面部检测信息51。在步骤S13中，面部信息数据库33将图像和面部检测信息51彼此关联地存储。
本例中，例如，图5所示，面部信息数据库33生成包括面部检测信息51的元数据文件52，并独立于图像文件41存储元数据文件52。
如图6所示，元数据文件52存储有表示面部图像元素的数量和各个面部图像元素的属性(诸如位置、大小、朝向)的面部检测元信息(面部检测信息51)、和其他的元信息。元数据文件52通过面部信息数据库33与存储有图像Exif信息和图像数据的图像文件41相关联。或者，通过向元数据文件52提供与图像文件41关联的文件名，使元数据文件52和图像文件41相关联(例如，元数据文件52文件名的点号之前的部分等于图像文件41文件名的点号之前的部分，并且元数据文件52的扩展名不同于图像文件41的扩展名)。
如图5和图7所示，表示面部图像元素的数量和各个面部图像元素的属性(诸如位置、大小和朝向)的面部检测元信息(面部检测信息51)可以作为图像Exif信息存储在图像文件41中。
回到图3，在步骤S14中，加标签单元34从样板数据库35中读取样板，并把读出的样板与面部检测信息51做比较。
图8示出了存储在样板数据库35中的样板实例。
主要对象为人的照片一般称为“人像”。通常，在人像中，拍摄的是相对于整个屏幕的尺寸来说具有较大尺寸的单个面部。如果面部位于图像的中心，比如上半身的照片，则可以认为图像的主题很明显是人。
如图8所示，名为“人像”的样板存储在样板数据库35中，该样板表示面部图像元素数量为1，并且面部位于图像的中心、面部大小大、面向前。
这里，如果面部位于图像中心偏左或偏右的位置，那么可以认为图像为纪念照，其中还拍摄了位于图像中心的物体。
如果检测到相对于竖长画面来说位于图像中心靠上部分的小尺寸面部，那么可以认为拍摄的是人的全身像。
主要对象为两个人的照片一般称为“双人照”。
如图8所示，名为“双人照”的样板存储在样板数据库35中，该样板表示面部图像元素数量为2或3，各个面部位于图像中心附近、尺寸大或中等、面向前或者彼此面对。
如果检测到图像中基本一样大小且相离很近的多个面部区域，那么可以认为拍摄的是包含三个或者更少人的小组像。尽管图8中没有示出，但是名为“小组像”的样板存储在样板数据库35中，该样板表示面部图像元素数量为3～7，每个面部彼此相离很近、尺寸中等或小、面向前。
主要对象为一群人的照片一般称为“集体照”。如果基本一样大小的多个面部纵向或横向地以预定空间间隔排列在大范围之内，那么可以认为该图像是在团体旅行等情况下拍摄的集体照。
事件中拍摄的集体照总是能唤起对事件的回忆。例如，通过在拍摄时间的分配的基础上指定事件中的集体照，在图像分类中赋给集体照高优先级是有益处的。
如图8所示，名为“集体照”的样板存储在样板数据库35中，该样板表示面部图像元素数量为8～13，每个面部位于图像中心上部并且横向分布、尺寸小、面向前。
此外，主要对象为风景或者非人物的照片一般称为“风景照”。如果没有检测到面部图像元素，如果面部图像元素很分散，或者如果面部图像元素位于图像的边缘，那么可以认为图像的主要对象不是人。
如图8所示，名为“风景照”的样板存储在样板数据库35中，该样板表示面部图像元素数量为0。对于名为“风景照”的样板，不依赖面部的大小和朝向来统计面部的数量。
此外，对于名为“风景照”的样板，面部的位置没有限制。此外，不计算小尺寸的面部数量，并且不计算位于一旁的面部数量。
如上所述，例如，在步骤S14中，加标签单元34从样板数据库35中读取图8所示的样板，并将该样板同面部检测信息51比较。
在步骤S14中，加标签单元34可以将部分样板同部分面部检测信息51比较。或者，在步骤S14中，加标签单元34可以将整个样板同整个面部检测信息51比较。例如，加标签单元34可以将由样板指出的面部数量同面部检测信息51中的面部数量比较。或者，例如，加标签单元34可以将样板表示的面部数量、每个面部的位置、大小、朝向同面部检测信息51中的面部数量、每个面部的位置、大小、朝向比较。
此外，可以准备好表明各种照相技术理论的结合的样板。
在步骤S15中，加标签单元34在面部信息数据库33中注册与样板匹配的标签。然后，处理结束。
例如，如果包含在面部检测信息51中的面部数量为1，由于“人像”样板表示的面部数量为1，那么同面部检测信息51相关联的图像在与表示“人像”的标签相关联的情况下注册(存储)于面部信息数据库33中。
例如，如果面部检测信息51指出面部数量为2，各个面部位于图像中心附近、尺寸为中等、面向前，由于“双人照”样板表示面部图像元素数量为2或3，每个面部位于图像中心附近、尺寸为大或中等、面向前或者彼此面对，那么同面部检测信息51相关联的图像在与表示“双人照”的标签相关联的情况下注册于面部信息数据库33中。
如上所述，指明每个图像的类别的标签，诸如指明“人像”、“双人照”、“集体照”或者“风景照”的标签，同各个图像相关联，并注册于面部信息数据库33中。
标签存储在元数据文件52中或者作为图像Exif信息存入图像文件41中。
可以设置样板为所谓的默认值。或者，用户可以更改样板。在这种情况下，当样板改变时，通过执行处理中的步骤S14和S15，可以根据改变的样板更改与每个图像关联的标签。也就是，同图像相关联的标签会动态地改变。
图9示出了由图像处理装置(即执行程序的个人计算机)实施的图像检索功能的结构方框图。图9中所示的图像处理装置包括文件系统31、面部检测引擎32、面部信息数据库33、样板数据库35、检索条件获取单元81、检索引擎82和显示控制器83。
显然，该图像处理装置可以包括加标签单元34，并具有将图2所示的结构和图9所示的结构结合起来的结构。
指明包含于整个图像中的面部图像元素数量和每个面部图像元素的属性，比如位置、大小、朝向的元数据文件52和表示图像的类别并与图像相关联的标签存储在面部信息数据库33中。
检索条件获取单元81根据从输入单元16(包括用户操作的键盘、鼠标等)接收到的信号，获取检索图像的检索条件。
检索条件获取单元81包括余量增加器(margin adder)91。余量增加器91给所得的检索条件增加一个余量。也就是，余量增加器给用作基准值的所得检索条件增加一个余量，并生成具有预定范围(宽度)的检索条件。增加这样的一个余量使得检索条件能够有预定的范围。
检索条件获取单元81将所得的检索条件提供给检索引擎82。
检索引擎82在由检索条件获取单元81提供的检索条件的基础上检索存储于文件系统31中的图像文件41。检索引擎82将所得图像文件41提供给显示控制器83。
显示控制器83根据存储在由检索引擎82提供的图像文件41中的图像数据，使图像在作为显示器的输出单元17上显示。
图10为检索处理实例的流程图。在步骤S51中，根据从输入单元16(包括用户操作的键盘、鼠标等)接收到的信号，检索条件获取单元81选择一个显示在输出单元17上的标签图标。
图11示出了用于检索的图形用户界面(GUI)图像的显示实例。GUI图像在输出单元17上显示。在输出单元17的屏幕的右部提供了缩略图显示区121。对应于存储在要检索的图像文件41中的图像数据的缩略图或者对应于存储在所找到的图像文件41中的图像数据的缩略图在缩略图显示区121中显示。在图11所示的缩略图显示区121中，缩略图排列成五行。当用户操作置于缩略图显示区121右边的滚动条时，缩略像垂直滚动。
在输出单元17的屏幕的左部提供了检索工具显示区122。检索工具显示区122包括图像检索使用的各种工具。选中的图像在图11中所示的检索工具显示区122的上部显示，这样使得它比各个缩略图相对大些。在检索工具显示区122的上部显示图像中，显示了表示检测面部区域的方框。
标签图标置于图11所示检索工具显示区122的下部。各个标签图标是用户用来选择标签作为检索条件的图标。
图12示出了各种标签图标的实例。标签图标141-1是用户用来选择对应于“人像”的标签作为检索条件的图标。标签图标141-2是用户用来选择对应于“双人照”的标签作为检索条件的图标。标签图标141-3是用户用来选择对应于“小组照”的标签作为检索条件的图标。标签图标141-4是用户用来选择对应于“集体照”的标签作为检索条件的图标。
在下文中，如果没必要区别图标141-1～141-4，则各个标签图标统称为标签图标141。
在步骤S51中，当用户根据输入至输入单元16(包括键盘、鼠标等)的操作选择任一标签图标141时，指出对应于所选标签图标141的标签的检索条件被提供给检索引擎82。例如，当用户选择标签图标141-1时，检索条件获取单元81向检索引擎82提供表示对应于“人像”的标签的检索条件。例如，当用户选择标签图标141-3时，检索条件获取单元81向检索引擎82提供表示对应于“小组照”的标签的检索条件。
在步骤S52中，检索引擎82根据与图像相关联的标签(即检索条件)检索图像。标签在检索中作为关键字使用。
换言之，例如，检索引擎82从存储在面部信息数据库33的标签中检索与作为关键字的标签相对应的标签。检索引擎82在文件系统31中检索与所得标签相关联的图像文件41，所述标签与作为关键字的标签相对应。检索引擎82从文件系统31中读取所找到的图像文件41，并将读出的图像文件41提供给显示控制器83。
在步骤S52中，检索引擎82根据与图像相关联的标签(即检索条件，并被用作关键字)，可以从预定范围内的图像中，例如，从存储在预设文件夹或目录中或者存储在用户选择的文件夹或目录中的图像中检索期望的图像。
在步骤S53中，根据存储在由检索引擎82提供的图像文件41中的图像数据，显示控制器83使图像列表显示在输出单元17上。然后，处理结束。
在这种情况下，显示控制器83可以按照图像Exif信息中描述的数据等分类图像，经过分类的图像的列表可以显示在输出单元17上。
图13示出了缩略图显示区121中显示的所得图像列表的实例。如果用户在步骤S51中选择标签图标141-3，那么提供给检索引擎82检索条件，即表示对应于“小组照”的标签。然后，在步骤S52中，从文件系统中检索与对应于“小组照”的标签相关联的图像文件41。
因而，在步骤S53中，图像的列表显示在输出单元17上。如图13所示，与对应“小组照”的标签相关联的图像，即，比如面部数量为3～7、面部彼此靠近、每个面部的尺寸为中等或小，以及面向前的图像显示在缩略图显示区121中。在图13所示的例子中，找到三个与对应于“小组照”的标签相关联的图像文件41。因而，在缩略图显示区121中显示与三个图像文件41相对应的三个缩略图。
如上所述，可以用更少的时间和精力容易地检索出期望的图像。
图14示出了另一检索处理实例的流程图。在步骤S71中，检索条件获取单元81根据从输入单元16(包括用户操作的键盘、鼠标等)接收到的信号选择图像。例如，在步骤S71中，检索条件获取单元81根据输入单元16接收到的信号，从显示在缩略图显示区121中的缩略图中选择对应于被双击缩略图的图像。
在步骤S72中，检索条件获取单元81从面部信息数据库33中获取附在所选图像上的标签。也就是，在步骤S72中，检索条件获取单元81从存储在面部信息数据库33的标签中获取同所选图像相关联的标签。
步骤S73和S74中的处理类似于图10中所示的步骤S52和S53的处理。因而，省略描述步骤S73和S74的处理。
如上文所述，通过仅仅选择图像，就可以简单地检索出与类似于所选图像标签的标签相关联的图像。
图15示出了另一检索处理实例的流程图。在步骤S91中，检索条件获取单元81根据从输入单元16(包括用户操作的键盘、鼠标等)接收到的信号选择显示在输出单元17上的样板图标。样板图标是用户用来选择作为检索条件的样板的图标。
在步骤S92中，检索条件获取单元81从样板数据库35中获取信息，诸如面部数量、每个面部的位置、大小和朝向，它们作为条件描述在对应于所选样板图标的样板中。例如，当图8所示的样板存储在样板数据库35中时，在步骤S91中，选择样板名为“人像”的样板的样板图标。在这种情况下，在步骤S92中，检索条件获取单元81获取对应于样板名为“人像”的样板的信息，该信息指明面部数量(面部图像元素)为1，面部位于图像中心，面部尺寸为大以及面部朝向前方。
此外，例如，当图8所示的样板存储在样板数据库35中时，在步骤S91中，选择样板名为“集体照”的样板的样板图标。在这种情况下，在步骤S92中，检索条件获取单元81获取对应于样板名为“集体照”的样板的信息，该信息指明面部数量(面部图像元素)为8～13，面部位于图像的上半部分，面部横向展开，面部尺寸为小以及面部朝向前方。
在步骤S93中，余量增加器91给所得的信息增加一个余量，并设置指明检索范围的面部信息关键字。例如，在步骤S92中，如果获得与样板名为“双人照”的样板相对应的信息，该信息指明面部数量(面部图像元素)为2或3，面部位于图像中心附近，面部尺寸为大或中等以及面部朝向前方或者彼此相对，余量增加器91给面部数量增加余量“+1”。因而，余量增加器91设置指明面部数量(面部图像元素)为2～4、面部位于图像中心附近、面部尺寸为大或中等以及面部朝向前方或者彼此相对的面部信息关键字。
例如，余量增加器91可以给面部数增加余量“-1”。因而，余量增加器91设置指明面部数量(面部图像元素)为1～3、面部位于图像中心附近、面部尺寸为大或中等以及面部朝向前方或者彼此相对的面部信息关键字。
不一定给面部(面部图像元素)数量增加余量。也可以给位置、大小或者面部朝向增加余量。换句话说，可以给面部数量(面部图像元素)、每个面部的位置、大小和面部朝向增加余量。
在步骤S94中，检索引擎82根据所设的面部信息关键字检索图像。例如，检索引擎82从面部信息数据库33中检索元数据文件52，其中存储了与面部信息关键字相对应的面部检测元信息。然后，检索引擎82从文件系统31中检索与找到的元数据文件52相关联的图像文件41。检索引擎82从文件系统31中读取找到的图像文件41，并将读取的图像文件41提供给显示控制器83。
例如，当检索引擎82在指明面部数量(面部图像元素)为2～4、面部位于图像中心附近、面部尺寸为大或中等以及面部朝向前方或者彼此相对的面部信息关键字的基础上检索图像时，从文件系统31中检索面部数量(面部图像元素)为2～4、面部位于图像中心附近、面部尺寸为大或中等以及面部朝向前方或者彼此相对的图像，并将找到的图像提供给显示控制器83。
在步骤S95中，根据存储在由检索引擎82提供的图像文件41中的图像数据，显示控制器83使图像列表显示在输出单元17上。然后，处理结束。
如上文所述，即使标签不与图像关联，也可以根据样板用更少的时间和精力容易地检索出期望的图像。
图16示出了另一检索处理实例的流程图。在步骤S121中，检索条件获取单元81根据从输入单元16(包括用户操作的键盘、鼠标等)接收到的信号选择图像。举例来说，在步骤S121中，检索条件获取单元81根据输入单元16接收到的信号，从显示在缩略图显示区121中的缩略图中选择被双击的缩略图所对应的图像。
在步骤S122中，检索条件获取单元81从所选图像中获取面部数量、每个面部的位置、大小和面部朝向。例如，在步骤S122中，检索条件获取单元81从面部信息数据库33中读取同所选图像相关联的元数据文件52。然后，检索条件获取单元81获取由包含于所读出的元数据文件52中的面部检测信息指明的面部数量、每个面部的位置、大小和面部朝向。
面部检测引擎32可以通过检测包含于所选图像中的面部数量、每个面部的位置、大小和面部朝向，来获取面部数量、每个面部的位置、大小和面部朝向。
步骤S123和S125中的处理类似于图15中所示的步骤S93和S95的处理。因而，省略描述步骤S123和S125的处理。
如上文所述，即使标签不同图像关联，也可以在显示图像的基础上用更少的时间和精力容易地检索出期望的图像。
如上文所述，仅仅通过选择图标，就可以通过图像处理装置的内部处理筛选出需要的图像。因而，能够检索出用户想要察看的图像。此外，仅通过选择用户当前正在查看的图片，就可以在把所选图像的属性作为关键值的基础上检索图像。进一步筛选找到的图片并显示在屏幕上。
使用通过检测面部图像元素获得的元信息，可以推定图像的主要对象和拍摄目的，并根据推定的主要对象和拍摄目的为图像执行添加标签。在添加标签的基础上，可以容易地检索图像。
此外，根据加标签，可以提出更高性能的应用。例如，通过结合加标签和拍摄或元信息的时间顺序，诸如由全球定位系统(GPS)提供的位置信息，长时间积累的图像(照片)可以自动按照人物或者特殊图像(照片)进行分类，比如双人照，可以同他人分享。此外，能够提供更高性能的应用，诸如旅行等情况中的重要场景胶片(纪念照)的摘要幻灯片展示，其中可以有效地利用用户所拥有的照片和图像内容。
如上所述，当从图像中检测到的信息与图像相关联时，图像可以与该信息相关联。此外，当检测包含于图像中的面部图像元素的数量，即一个或多个面部图像元素，并且图像与检测到的面部图像元素数量相关联时，可以用更少的时间和精力容易地检索出期望的图像。
上述系列的处理可以由硬件或软件执行。如果上述系列处理由软件执行，那么构成软件的程序可从程序存储介质安装到安装在专用硬件中的计算机上，或者，例如，安装在能够通过安装各种程序实现各种功能的通用个人计算机中。
安装在计算机上并存储有计算机可执行程序的程序存储介质包括，例如，移动介质21，即封装介质，诸如磁盘(例如，软盘)、光盘(例如，只读光盘存储器(CD-ROM)或者数字化视频光盘(DVD))、磁光盘(例如，迷你盘(MD))、或者半导体存储器，程序临时或永久存储其中的ROM 12，以及形成存储单元18的硬盘，如图1所示。必要时，程序通过有线或无线通信介质，经由通信单元19(即接口，诸如路由器或者调制解调器)存储在程序存储介质中，诸如局域网、因特网或者数字卫星广播。
在本说明书中，定义存储在程序存储介质中的程序的步骤没有必要按照所写顺序执行。所述步骤可以不按顺序并行或者独立执行。
此外，在本说明书中，术语“系统”指的是由多个装置组成的整个设备。
此外，本发明的实施例不受前文所述实施例的限制。在不脱离本发明要旨的情况下可以对本发明进行各种更改。
对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
权利要求
1.一种图像处理装置，包括检测装置，用于检测包含于图像中的面部图像元素的数量，即一个或多个面部的图像元素；以及关联装置，用于将所述图像与检测出的所述面部图像元素的数量相关联。
2.根据权利要求1所述的图像处理装置，其中所述检测装置进一步检测每一个所述面部图像元素的大小；以及所述关联装置将所述图像与检测出的所述面部图像元素的数量以及检测出的每一个所述面部图像元素的大小相关联。
3.根据权利要求1所述的图像处理装置，其中所述检测装置进一步检测每一个所述面部图像元素的位置；以及所述关联装置将所述图像与检测出的所述面部图像元素的数量以及检测出的每一个所述面部图像元素的位置相关联。
4.根据权利要求1所述的图像处理装置，其中所述检测装置进一步检测每一个所述面部图像元素的面部朝向；以及所述关联装置将所述图像与检测出的所述面部图像元素的数量以及检测出的每一个所述面部图像元素的面部朝向相关联。
5.根据权利要求1所述的图像处理装置，进一步包括生成装置，用于根据包含于所述图像中的所述面部图像元素的数量和预先存储的基准值生成表示所述图像的类别的标签，其中所述关联装置将所述图像与所述标签相关联。
6.根据权利要求5所述的图像处理装置，进一步包括检索装置，用于根据与所述图像相关联的所述标签检索所述图像；以及显示控制装置，用于控制所找到的图像的显示。
7.根据权利要求6所述的图像处理装置，其中，所述检索装置检索与由用户所选图标指定的标签相类似的标签所关联的图像。
8.根据权利要求6所述的图像处理装置，其中，所述检索装置检索与用户所选图像所关联的标签相类似的标签所关联的图像。
9.根据权利要求1所述的图像处理装置，进一步包括检索装置，用于检索包括至少一个面部图像元素的图像，所述面部图像元素的数量与预先存储的多个基准值中由用户所选图标指定的基准值相对应；以及显示控制装置，用于控制所找到的图像的显示。
10.根据权利要求9所述的图像处理装置，其中，所述检索装置检索包括所述至少一个面部图像元素的图像，所述面部图像元素的数量处在基于所述图标指定的基准值的预定范围内。
11.根据权利要求1所述的图像处理装置，进一步包括检索装置，用于检索包括至少一个面部图像元素的图像；以及显示控制装置，用于控制所找到的图像的显示，其中，所述检测装置检测包含于用户所选图像中的面部图像元素的数量，并且其中，包含于所找到的图像中的面部图像元素的数量与包含于选中图像中的面部图像元素的数量相对应。
12.根据权利要求11所述的图像处理装置，其中，所述检索装置检索包括所述至少一个面部图像元素的图像，所述面部图像元素的数量处在基于包含于选中图像中的面部图像元素的数量的预定范围内。
13.一种图像处理方法，包括以下步骤检测包含于图像中的面部图像元素的数量，即一个或多个面部图像元素；以及将所述图像与检测出的面部图像元素的数量相关联。
14.一种使计算机执行包括以下步骤的处理的程序检测包含于图像中的面部图像元素的数量，即一个或多个面部图像元素；以及将所述图像与检测出的面部图像元素数量相关联。
15.一种图像处理装置，包括检测单元，用于检测包含于图像中的面部图像元素的数量，即一个或多个面部图像元素；以及关联单元，用于将所述图像与检测出的面部图像元素的数量相关联。
全文摘要
本发明提供了一种图像处理装置，包括检测装置，用于检测包含于图像中的面部图像元素的数量，即一个或多个面部图像元素；以及关联装置，用于将该图像与检测出的面部图像元素的数量相关联。
文档编号G06K9/00GK1908936SQ20061010424
公开日2007年2月7日 申请日期2006年8月7日 优先权日2005年8月5日
发明者福田岳士, 儿岛环 申请人:索尼株式会社