信息处理装置、信息处理方法和程序的制作方法

专利名称：信息处理装置、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理装置、信息处理方法和程序。更具体地，本发明涉及适于这样 的情况的信息处理装置、信息处理方法和程序，其中，在搜索大量存储的图像以选择展示被 估计与作为搜索准则给出的关键(key)图像中展示的人类被摄体相关的人的图像之后，执 行幻灯片展示。
背景技术：
多数现有数字照相机具有“幻灯片展示”功能。幻灯片展示功能的使用使得可以 以例如拍摄的顺序或以随机顺序再现和显示被拾取并存储的图像(例如，参见日本未审专 利申请公开 No. 2005-110088)。

发明内容
当使用现有幻灯片展示功能显示大量存储的图像时，因为存在如此多的图像，所 以花费长时间来完成观看所有这样存储的图像。可通过在搜索大量拾取的图像以选择满足 特定准则的图像之后执行幻灯片展示来避免该问题。期望搜索大量存储的图像并选择与作为搜索准则给出的关键图像中的被摄体相 关的图像。根据本发明实施例的一种信息处理装置，搜索多个登记图像以选择满足搜索准则 的图像。所述信息处理装置包括估计部件和选择部件。所述估计部件根据被摄体在相同图 像中一起被展示的频率，估计登记图像中展示的被摄体所属的组。所述选择部件在已估计 所述被摄体所属的组的情况下，从多个登记图像中选择展示被估计属于与作为搜索准则给 出的关键图像中展示的被摄体相同组的被摄体的图像。根据本发明实施例的信息处理装置还可包括计算部件，用于根据通过图像分析 部件的分析的结果，计算登记图像的评估值。所述选择部件可以以评估值的顺序，从多个登 记图像中选择展示被估计属于与关键图像中展示的被摄体相同组的被摄体的图像。所述计算部件可以根据登记图像的构图以及通过图像分析部件的分析结果，计算 登记图像的评估值。根据本发明实施例的信息处理装置还可包括成像部件，用于拾取登记图像和关 键图像中的至少一个。根据本发明实施例的一种信息处理方法，用于信息处理装置中，所述信息处理装 置搜索多个登记图像以选择满足搜索准则的图像。所述信息处理方法包括以下步骤根据 被摄体在相同图像中一起被展示的频率，估计登记图像中展示的被摄体所属的组；以及在 已估计所述被摄体所属的组的情况下，从多个登记图像中选择展示被估计属于与作为搜索 准则给出的关键图像中展示的被摄体相同组的被摄体的图像。根据本发明实施例的程序控制信息处理装置，所述信息处理装置搜索多个登记图 像以选择满足搜索准则的图像。所述程序使得所述信息处理装置中包括的计算机执行包括以下步骤的处理根据被摄体在相同图像中一起被展示的频率，估计登记图像中展示的被 摄体所属的组；以及在已估计所述被摄体所属的组的情况下，从多个登记图像中选择展示 被估计属于与作为搜索准则给出的关键图像中展示的被摄体相同组的被摄体的图像。根据本发明实施例的一种信息处理方法，包括使得信息处理装置执行以下步骤 提取登记图像中展示的人的面部的特征量；根据特征量的相似度，将从多个登记图像提取 的特征量分类为对其分配人ID的簇(cluster)；将对特征量所分类为的簇分配的人ID与 登记图像中展示的人的面部相关联；并且根据人在相同登记图像中一起被展示的频率，估 计登记图像中展示的人所属的组。此外，本发明实施例包括使得信息处理装置执行以下步 骤提取作为搜索准则给出的关键图像中展示的人的面部的特征量；根据面部特征量的相 似度，将从关键图像提取的面部特征量分类为对其分配人ID的簇；将对特征量所分类为的 簇分配的人ID与关键图像中展示的人的面部相关联；以及选择展示估计属于与关键图像 中展示的人相同组的人的图像。根据本发明另一实施例的一种信息处理装置，搜索多个登记图像以选择满足搜索 准则的图像。所述信息处理装置包括图像分析部件、分类部件、关联部件和选择部件。所述 图像分析部件提取包括图像中展示的人的面部表情的特征量。分类部件根据面部特征量的 相似度，将从图像提取的面部特征量分类为对其分配人ID的簇。关联部件将对特征量分类 为的簇分配的人ID与图像中展示的人的面部相关联。选择部件从展示对其分配人ID的人 的面部的多个分析的登记图像，选择展示作为搜索准则给出的关键图像中展示的、具有与 关键图像中展示的人的面部表情相似的面部表情的人的图像。根据本发明另一实施例的信息处理装置还可包括计算部件，用于根据通过图像 分析部件的分析结果，计算登记图像的评估值。选择部件可以以评估值的顺序，从多个登记 图像选择展示关键图像中展示的、具有与关键图像中展示的人的面部表情相似的面部表情 的人的图像。所述计算部件可以根据登记图像的构图以及通过图像分析部件的分析结果，计算 登记图像的评估值。根据本发明实施例的信息处理装置还可包括成像部件，用于拾取登记图像和关 键图像的至少一个。根据本发明实施例的一种信息处理方法，用于信息处理装置中，所述信息处理装 置搜索多个登记图像以选择满足搜索准则的图像。所述信息处理方法包括以下步骤提取 包括多个登记图像中展示的人的面部表情的特征量；根据面部特征量的相似度，将从登记 图像提取的面部特征量分类为对其分配人ID的簇；将对特征量所分类为的簇分配的人ID 与登记图像中展示的人的面部相关联；提取包括作为搜索准则给出的关键图像中展示的人 的面部表情的特征量；根据面部特征量的相似度，将从关键图像提取的面部特征量分类为 对其分配人ID的簇；将对特征量所分类为的簇分配的人ID与关键图像中展示的人的面部 相关联；以及选择展示关键图像中展示的、具有与关键图像中展示的人的面部表情相似的 面部表情的人的图像。根据本发明实施例的程序控制信息处理装置，所述信息处理装置搜索多个登记图 像以选择满足搜索准则的图像。所述程序使得所述信息处理装置中包括的计算机执行包括 以下步骤的处理提取包括多个登记图像中展示的人的面部表情的特征量；根据面部特征量的相似度，将从登记图像提取的面部特征量分类为对其分配人ID的簇；将对特征量所分 类为的簇分配的人ID与登记图像中展示的人的面部相关联；提取包括作为搜索准则给出 的关键图像中展示的人的面部表情的特征量；根据面部特征量的相似度，将从关键图像提 取的面部特征量分类为对其分配人ID的簇；将对特征量所分类为的簇分配的人ID与关键 图像中展示的人的面部相关联；以及选择展示关键图像中展示的、具有与关键图像中展示 的人的面部表情相似的面部表情的人的图像。根据本发明另一实施例的一种信息处理方法，包括使得信息处理装置执行以下步 骤提取包括多个登记图像中展示的人的面部表情的特征量；根据面部特征量的相似度， 将从登记图像提取的面部特征量分类为对其分配人ID的簇；将对特征量所分类为的簇分 配的人ID与登记图像中展示的人的面部相关联。此外，本发明实施例包括使得信息处理 装置执行以下步骤提取包括作为搜索准则给出的关键图像中展示的人的面部表情的特征 量；根据面部特征量的相似度，将从关键图像提取的面部特征量分类为对其分配人ID的 簇；将对特征量所分类为的簇分配的人ID与关键图像中展示的人的面部相关联；以及选择 展示关键图像中展示的、具有与关键图像中展示的人的面部表情相似的面部表情的人的图 像。根据本发明实施例，可以从大量存储的图像中选择展示被估计与作为搜索准则给 出的关键图像中的人类被摄体相关的人的图像。根据本发明另一实施例，可以从大量存储的图像中选择展示作为搜索准则给出的 关键图像中展示的、具有与关键图像中展示的人类被摄体的面部表情相似的面部表情的人 类被摄体的图像。


图1是图示应用本发明实施例的数字照相机的配置示例的框图
图2图示通过控制单元实现的功能块的配置示例；
图3A到3C图示面部尺寸提取条件；
图4图示面部位置提取条件；
图5图示数据库的配置示例；
图6是图示登记处理的流程图7是图示整个评估值计算处理的流程图8是图示再现处理的流程图；以及
图9是图示计算机的配置示例的框图。
具体实施例方式现在，将以下面的顺序参照附图详细描述用于执行本发明的最佳模式(以下称为 实施例)1.实施例的概要2.实施例3.另一实施例4.修改示例
<1.实施例的概要>其中通过数字照相机体现本发明的实施例对拾取并存储的图像执行登记处理，以 创建数据库。接下来，该实施例拾取并分析作为搜索准则给出的关键图像，将数据库与关键 图像分析的结果比较，并搜索拾取和存储的图像以选择与关键图像中的人类被摄体相关的 图像，或选择展示关键图像中的人类被摄体的图像，其具有与关键图像中的人类被摄体的 面部表情相似的面部表情。例如，该实施例然后可以用选择的图像执行幻灯片展示。其中通过计算机体现本发明的另一实施例对大量输入图像执行登记处理以创建 数据库。接下来，该另一实施例分析作为搜索准则给出的关键图像，将数据库与关键图像分 析的结果比较，并搜索大量输入图像以选择与关键图像中的人类被摄体相关的图像，或选 择展示关键图像中的人类被摄体的图像，其具有与关键图像中的人类被摄体的面部表情相 似的面部表情。例如，该实施例然后可以用选择的图像执行幻灯片展示。<2.实施例 >[数字照相机的配置示例]图1示出根据本发明实施例的数字照相机的配置示例。数字照相机10包括控制 单元11、存储器12、操作输入单元13、位置信息获取单元14、总线15、成像单元16、图像处 理单元17、编码/解码单元18、记录单元19和显示单元20。控制单元11根据由用户操作定义并从操作输入单元13输入的操作信号，控制数 字照相机10的各单元。此外，控制单元11执行存储器12中记录的控制程序以实现图2所 示的功能块，并且例如执行后面描述的登记处理。控制程序预先记录在存储器12中。存储器12还保持例如后面描述的被摄体数据 库38 (图5)和登记处理的结果。操作输入单元13包括如数字照相机10的外壳上的按钮的用户接口、以及附到显 示单元20的触摸面板。操作输入单元13根据用户操作生成操作信号，并将生成的操作信 号输出到控制单元11。位置信息获取单元14在成像的定时接收并分析GPS (全球定位系统)信号，以获 取指示成像的日期和时间(年、月、目和时间)以及位置(纬度、经度、海拔)的信息。获取 的指示成像的日期、时间和位置的信息用作exif信息，其与拾取的图像相关联地记录。从 控制单元11中内置的时钟导出的时间信息可以用作成像的日期和时间。成像单元16包括透镜和(XD、CM0S或其他光电转换元件。通过透镜入射的被摄体 的光学图像通过光电转换元件转换为图像信号，并输出到图像处理单元17。图像处理单元17对从成像单元16输入的图像信号执行预定图像处理，并将处理 的图像信号输出到编码/解码单元18。图像处理单元17还例如通过减少成像时从成像单 元16输入的、或再现时从编码/解码单元18输入的图像信号的像素数，生成用于显示的图 像信号，并将生成的图像信号输出到显示单元20。在成像时，编码/解码单元18通过JPEG或其他方法编码从图像处理单元17输入 的图像信号，并将得到的图像信号输出到记录单元19。在再现时，编码/解码单元18解码 从记录单元19输入的编码图像信号，并将得到的解码图像信号输出到图像处理单元17。在成像时，记录单元19接收从编码/解码单元18输入的编码图像信号，并将接收 的编码图像信号记录到记录介质中(未展示)。记录单元19还在记录介质上记录与编码图像信号相关联的exif信息。在再现时，记录单元19读取记录介质上记录的编码图像信号， 并将读取的编码图像信号输出到编码/解码单元18。显示单元20包括液晶显示器等，并显示从图像处理单元17输入的图像信号的图像。图2图示当控制单元11执行控制程序时实现的功能块的配置示例。功能块操作 来执行后面描述的登记处理和再现处理。然而，替代地，图2所示的功能块可通过如IC芯 片的硬件形成。图像分析单元31包括面部检测单元41、构图检测单元42和特征量提取单元43。 图像分析单元31在登记处理时分析作为处理目标拾取和记录在记录介质上的图像，或在 再现处理时分析作为处理目标的作为搜索准则给出的关键图像，并将分析的结果输出到随 后的单元，即，评估值计算单元32、分簇处理单元33和组估计单元34。更具体地，面部检测单元41检测处理目标图像中的人的面部。根据检测的面部的 数量，构图检测单元42估计处理目标图像中的人类被摄体的数量，并且例如将人类被摄体 的数量分类为一人、两人、三到五人、少于十人、或十人或更多人的人数类型。构图检测单元 42还将处理目标图像分类为肖像型或风景型，并将其分类为面部图像、上身图像或全身图 像的构图类型。特征量提取单元43检查从处理目标图像检测的面部，并提取满足面部尺寸提取 条件和面部位置提取条件的面部的特征量。根据提取的特征量，特征量提取单元43还估计 检测的面部的面部表情(大笑、微笑、直视、看向相机、哭泣、斜视、闭眼、张嘴等)和人类被 摄体的年龄和性别。对于由构图检测单元42产生的分类结果的每个组合，预先定义面部尺 寸提取条件和面部位置提取条件。图3A到3C图示对于特征量提取单元43的面部尺寸提取条件。图3A到3C中示 出的图像中的圆圈表示检测的面部。图3A示出人数类型为一人，并且拾取风景类型、全身图像的情况。在此示例中，假 设当图像的高度为1. 0时，面部的高度为0. 1或更大，但小于0. 2。该范围外的面部被排除 (将不经历特征量提取)。图:3B示出其中人数类型为一人，并且拾取风景类型、上半身图像 的情况。在此示例中，假设当图像的高度为1. 0时，面部的高度为0. 2或更大，但小于0. 4。 该范围外的面部被排除。图3C示出人数类型为一人，并且拾取风景类型、面部图像的情况。 在此示例中，假设当图像的高度为1. 0时，面部的高度为0. 4或更大。该范围外的面部被排 除。在人数类型为三到五人、并且拾取风景类型、上半身图像的情况下，假设当图像的 高度为ι. O时，每个面部的高度为0. 2或更大，但小于0. 4。在人数类型为三到五人、并且拾 取风景类型、全身图像的情况下，假设当图像的高度为1. 0时，每个面部的高度为0. 1或更 大，但小于0.2。在人数类型为十人或更多、并且拾取风景类型图像的情况下，假设当图像的 高度为1.0时，每个面部的高度为0. 05或更大，但小于0.3。图4图示特征量提取单元43的面部位置提取条件。图4中示出的图像中的圆圈 表示检测的面部。图4图示在人数类型为三到五人、并且拾取风景类型、上半身图像的情况的提取 条件。在此示例中，假设当图像高度为1.0时，排除上侧0. 1部分和下侧0. 15部分，并且当
9图像宽度为1. 0时，排除左侧0. 1部分和右侧0. 1部分。上述排除区域内检测的面部被排除。上述提取条件仅是示例。指示面部高度和例外区域的值不限于上述那些。返回图2，评估值计算单元32根据通过图像分析单元31的分析结果，对处理目标 图像执行计算，以获得评估构图和面部表情的整体评估值，并将计算结果输出到数据库管 理单元35。将参照图7详细描述整体评估值的计算。分簇处理单元33参照由数据库管理单元35管理的相同人簇71，根据面部特征量 的相似度，将每个处理目标图像中检测的面部特征量分类为相同人的簇，并将分类结果输 出到数据库管理单元35。这确保各种图像中展示的相似面部分类为相同簇(对其分配人 ID的相同人簇)。这还确保人ID可分配到各种图像中检测的面部。组估计单元34参照由数据库管理单元35管理的拍摄人对应表格72，以根据相同 图像中多个人一起展示的频率(高频率、中频率或低频率)来分组每个人。此外，根据每个 人的频率和估计的性别和年龄，组估计单元34估计每个人所属的组簇，并将估计结果输出 到数据库管理单元35。每个组簇例如分类为家庭(包括父母和孩子、夫妻和兄弟姐妹)、朋 友的组、或具有相同爱好或参与相同生意的人的组。更具体地，例如根据下面的分组准则估计组。父母和孩子的组当以高频率和不同年龄一起展示拍摄的人时。夫妻当以高频率、不同性别和年龄相对稍微不同一起展示拍摄的人时。兄弟姐妹的组当以高频率、年轻和年龄相对稍微不同一起展示拍摄的人时。朋友的组当以中频率、性别相同、和年龄相对稍微不同一起展示拍摄的人时。具有相同爱好的人的组当以中频率、数量相对大、并且年龄相对稍微不同一起展 示拍摄的人时。参与相同生意的人的组当以中频率、数量相对大、成年人和年龄分布广一起展示 拍摄的人时。如果以低频率一起展示拍摄的人，则从分组中排除他们，因为他们被判断为彼此 不相关，并且偶然在相同图像中展示在一起。数据库管理单元35管理表示通过分簇处理单元33的分类结果的相同人簇71 (图 5)。数据库管理单元35还根据相同人簇71和从评估值计算单元32输入的每个图像的整 体评估值，生成并管理拍摄人对应表格72(图幻。此外，数据库管理单元35管理表示通过 组估计单元34的评估结果的组簇73 (图5)。图5图示由数据库管理单元35管理的相同人簇71、拍摄人对应表格72和组簇73 的配置示例。相同人簇71的每个具有相似特征量的集合(从各种图像检测的面部的特征量)。 将人ID分配到每个相同人簇。因此，对从各种图像检测的面部的特征量所分类为的相同人 簇分配的人ID可用作具有该面部的人的人ID。一个或多个检测的面部的特征量(包括面部表情、估计的年龄和性别)和相关联 的人ID与各种图像相关联地记录在拍摄人对应表格72中。此外，评估构图和面部表情的 整体评估值与各种图像相关联地记录在拍摄人对应表格72中。因此，例如，当按人ID搜索 拍摄人对应表格72时，可标识展示与人ID相关联的人的图像。此外，当按特征量中包括的特定面部表情搜索拍摄人对应表格72时，可标识展示具有该面部表情的面部的图像。每个组簇73具有估计属于相同组的人的人ID的集合。指示特定组(家庭、朋友 的组、具有相同爱好的人的组、参与相同生意中的人的组等)的类型的信息附到每个组簇。 因此，当按人ID搜索组簇73时，可标识与人ID相关联的人的组和组的类型。此外，可获取 组中的其他人的人ID。回到图2，图像列表生成单元36参照由数据库管理单元35管理的相同人簇71、拍 摄人对应表格72和组簇73，找到与关键图像相关联的图像，生成这样的图像的列表，并将 图像列表输出到再现控制单元37。再现控制单元37接收输入列表，并例如根据输入图像列 表操作以执行幻灯片展示。[操作的描述]现在将描述数字照相机10的操作。首先，下面将描述登记处理。图6是图示登记处理的流程图。假设在数字照相机10的记录介质上已经存储展示一个或多个人的多个图像(以 下称为登记图像)。当用户执行预先定义的操作时，登记处理开始。在步骤Si，图像分析单元31将多个存储的登记图像之一顺序指定为处理目标。面 部检测单元41从指定为处理目标的登记图像中检测人的面部。根据检测的面部的数量，构 图检测单元42标识指定为处理目标的登记图像的人数类型和构图类型。在步骤S2，特征量提取单元43排除根据标识的人数类型和构图类型确定的、不满 足面部尺寸提取条件和面部位置提取条件的检测的面部。在步骤S3，特征量提取单元43提 取没有排除的每个剩余面部的特征量。根据提取的特征量，特征量提取单元43估计检测的 面部的面部表情以及相关人的年龄和性别。替代地，可以在拾取图像时执行步骤Sl到S3。在步骤S4,分簇处理单元33参照由数据库管理单元35管理的相同人簇71，根据 面部特征量的相似度，将在处理目标登记图像中检测的面部特征量分类为相同人簇，并将 分类结果输出到数据库管理单元35。数据库管理单元35管理表示通过分簇处理单元33的 分类结果的相同人簇71。在步骤S5，评估值计算单元32根据通过图像分析单元31的分析结果，计算处理 目标登记图像的整体评估值，并将计算结果输出到数据库管理单元35。数据库管理单元35 根据相同人簇71和从评估值计算单元32输入的每个图像的整体评估值，生成并管理拍摄 人对应表格72。图7是详细图示在步骤S5执行的整体评估值计算处理的流程图。在步骤S11，评估值计算单元32计算登记图像的构图评估值。换句话说，在根据 登记图像中展示的人数(从其提取特征量的面部的数量)定义的条件下，评估值计算单元 32根据面部的尺寸、每个面部的中心(重心)位置的垂直和水平离差(dispersion)、相邻 面部之间的距离、相邻面部之间的尺寸的相似度、以及相邻面部之间的高度差的相似度，给 出特定分数。更具体地，关于面部的尺寸，当所有目标人的面部尺寸在根据拍摄人数的条件下 定义的范围内时，评估值计算单元32给出预定分数。关于每个面部的中心位置的垂直离 差，当离差不大于根据拍摄人数的条件下定义的阈值时，评估值计算单元32给出预定分数。关于每个面部的中心位置的水平离差，当存在左/右对称时，评估值计算单元32给出 预定分数。关于相邻面部之间的距离，评估值计算单元32参照面部尺寸确定相邻面部之间 的距离，并给出随着距离的减小而增加的分数。关于相邻面部之间的尺寸的相似度，当相邻面部之间的尺寸的差小时，评估值计 算单元32给出预定分数，因为在此情况下，相邻面部被判断为处于距相机相同距离处。然 而，当成年人的面部邻近儿童的面部时，其尺寸不同。因此，考虑这样的面部尺寸差。关于 相邻面部之间的高度差的相似度，当相邻面部处于相同高度时，评估值计算单元32给出预 定分数。评估值计算单元32将如上所述给出的分数乘以各自的预定加权因子，并将得到 的值相加以计算构图评估值。在步骤S12，评估值计算单元32计算登记图像的面部表情评估值。更具体地，评估 值计算单元32根据登记图像中展示的面部(从其提取特征量的面部)的好的面部表情属 性(例如，大笑、直视和看向相机)的数量，给出特定分数，确定面部的平均值，并将平均值 乘以预定加权因子以计算面部表情评估值。在步骤S13，评估值计算单元32将构图评估值和面部表情评估值乘以各自的预定 加权因子，并将得到的值相加以计算整体评估值。在如上所述计算登记图像的整体评估值之后，处理进行到步骤S6，其在图6中示
出ο在步骤S6，图像分析单元31分析所有存储的登记图像是否指定为处理目标。如果 不是所有存储的登记图像指定为处理目标，则处理返回到步骤Sl以便重复步骤Sl以及此 后的处理。如果步骤S6获得的判断结果指示所有存储的登记图像指定为处理目标，则处理 进行到步骤S7。在步骤S7，组估计单元34参照由数据库管理单元35管理的拍摄人对应表格72， 并根据在相同图像中各人一起被展示的频率，将多个人分组。此外，组估计单元34检查各 人的频率和估计的性别和年龄，估计每个人所属的组簇，并将估计结果输出到数据库管理 单元35。数据库管理单元35管理表示通过组估计单元34的估计结果的组簇73。现在，登 记处理完成。接下来，将描述再现处理。图8是图示再现处理的流程图。基于已经对包括展示关键图像中的人类被摄体的图像的多个登记图像执行登记 处理，并且由数据库管理单元35管理相同人簇71、拍摄人对应表格72和组簇73的假设，执 行再现处理。当用户执行预定义操作时，再现处理开始。在步骤S21，图像列表生成单元36根据用户操作定义选择标准。选择标准是用于 从多个登记图像选择图像的标准。可通过指定成像时段、在展示相关人的图像和展示相似 面部表情的图像之间挑选、以及挑选目标人、相关人、或目标人和相关人的组合，定义选择 标准。例如，可通过选择从今天起的日、周、月、或年来指定成像时段。在展示相关人的图 像和展示相似面部表情的图像之间挑选使得可以根据整体评估值选择相关人图像，即与关 键图像中的人相关的人(包括目标人)的图像，或根据面部表情评估值选择展示关键图像 中的人的相似面部表情的图像。挑选目标人、相关人、或目标人和相关人的组合使得可以主要选择展示关键图像中的目标人的图像，主要选择展示与关键图像中的人相关的人(排除 目标人)的图像，或选择上述两种图像的组合，其大约一半展示关键图像中的人，而剩余一 半展示与关键图像中的人相关的人。此外，图像列表生成单元36根据用户操作定义再现序列。再现序列可定义为以成 像日期和时间的顺序、以整体评估值的顺序、以彻底分散成像日期和时间的顺序或以随机 顺序，再现选择的图像。每当要执行再现处理时，用户可定义选择标准和再现序列。然而，替代地，用户可 挑选使用之前的设置或随机设置。在步骤S22，提示用户拾取关键图像。当用户响应于这样的提示拾取任意人类被摄 体的图像时，图像作为关键图像进入图像分析单元31。可替代地，用户可从存储的图像选择 关键图像，而不是当场拾取关键图像。关键图像的数量不限于一。用户可使用一个或多个 关键图像。在步骤S23，图像分析单元31的面部检测单元41从关键图像检测人的面部。特征 量提取单元43提取检测的面部的特征量，估计人的面部表情、年龄和性别，并将估计结果 输出到分簇处理单元33。在步骤S24，分簇处理单元33参照由数据库管理单元35管理的相同人簇71，根据 与关键图像中检测的面部特征量的相似度，选择相同人簇，识别分配到选择的相同人簇的 人ID，并向图像列表生成单元36通知人ID。在步骤S25，图像列表生成单元36检查是否选择展示相关人的图像或展示相似面 部表情的图像以定义步骤S21中的选择标准。如果选择展示相关人的图像，则图像列表生 成单元36进行到步骤S26。在步骤S26，图像列表生成单元36参照由数据库管理单元35管理的组簇73，识别 关于关键图像中的人标识的人ID所属的组簇，并获取构成标识的组簇的人ID (属于关键图 像中的人所属的簇的人的人ID，包括与关键图像中的人相关联的人ID)。在步骤S27，图像列表生成单元36参照由数据库管理单元35管理的拍摄人对应表 格72，并提取展示具有获取的人ID的人的登记图像。因此，提取了展示与关键图像中的人 相关的人的登记图像。此外，图像列表生成单元36通过根据在步骤S21定义的选择标准， 选择具有相对大的整体评估值的预定数量的提取登记图像，生成图像列表。另一方面，如果在步骤S25的检查结果指示选择了展示相似面部表情的图像，则 图像列表生成单元36进行到步骤S28。在步骤S28，图像列表生成单元36参照由数据库管理单元35管理的拍摄人对应表 格72，并提取展示具有相似面部表情的、关键图像中的人的登记图像。当面部特征量的面部 表情相关分量被认为是多维矢量时，可通过选择具有等于或小于预定阈值的差(欧几里德 距离)的登记图像，提取展示相似面部表情的登记图像。此外，图像列表生成单元36通过 根据步骤S21定义的选择标准，选择具有相对大的整体评估值的预定数量的提取的登记图 像，生成图像列表。在步骤S^，再现控制单元37以步骤S21定义的再现序列，再现由图像列表生成单 元36生成的图像列表中的登记图像。现在，再现处理完成。根据上述再现处理，可以选择展示与关键图像中的人紧密相关的人(包括关键图像中的人)的登记图像，或选择展示具有相同面部表情的、关键图像中的人的登记图像。此 外，例如选择的登记图像可用于执行幻灯片展示。如上所述，基于登记图像包括展示关键图像中的人类被摄体的图像的假设，执行 再现处理。然而，这样的假设不是前提条件。更具体地，即使当在登记图像中没有展示关键 图像中的人类被摄体时，为列表目的，也选择展示与关键图像中的人类被摄体相似的人的 登记图像(不仅是关键图像中的人类被摄体的父母、儿女、兄弟姐妹，而且是遗传不相关的 人)。因此，可生成感兴趣的图像。根据登记处理和再现处理，可以通过拾取要在幻灯片展示中作为目标人的图像作 为关键图像，例如不仅选择和呈现目标人的适当图像，而且选择和呈现他的/她的家庭成 员的适当图像。替代地，可以选择和呈现展示与关键图像中展示的面部表情相似的面部表 情的图像。<3.另一实施例〉[计算机的配置示例]在前面描述数字照相机10的实施例中，通过数字照相机10拾取的图像用作登记 图像和关键图像。在描述计算机的另一实施例中，计算机对多个输入图像执行登记处理，并 根据从外部输入的关键图像执行再现处理。图9图示根据另一实施例的计算机的配置示例。在计算机100中，CPU(中央处理 单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103通过总线104互连。总线104还连接到输入/输出接口 105。输入/输出接口 105连接到输入单元 106，其例如包括键盘、鼠标和麦克风；输出单元107，其例如包括显示器和扬声器；存储单 元108，其例如包括硬盘和非易失性存储器；通信总线109，其例如包括网络接口 ；以及驱动 器110，其驱动如磁盘、光盘、磁光盘或半导体存储器的可移除介质111。在如上所述配置的计算机中，CPU 101通过经由输入/输出接口 105和总线104， 将存储单元108中存储的程序加载到RAM 103中，并执行加载的程序，执行上述登记处理和 再现处理。要由计算机执行的程序可按本说明书中描述的序列执行时间序列处理，或以并行 方式或在如当调用时的适当定时执行处理。<4.修改示例〉本发明实施例不限于上述配置。可进行各种修改而不背离本发明的精神和范围。 此外，可如下所述扩展本发明实施例。本发明实施例不仅可应用到要选择要以幻灯片展示显示的图像的情况，而且可应 用到要选择要包括在相册中的图像的情况。本发明实施例还可应用到通过使用关键图像作为搜索准则搜索图像的情况。当多个图像用作关键图像时，可通过允许用户挑选从各个关键图像导出的选择结 果的逻辑和或逻辑积，编译图像列表。例如，这使得可能选择同时展示关键图像中展示的所 有人的登记图像，或选择逐个展示在关键图像中展示的所有人的登记图像。当人的图像被拾取和用作关键图像时，当为了回顾目的显示关键图像时，可从存 储的图像选择并显示展示与关键图像中展示的面部表情相似的面部表情的图像。拾取关键图像的定时可由相机而不是用户操作确定。更具体地，当在取景器图像区域中检测人类被摄体时，可拾取关键图像，以便选择和显示与检测的人类被摄体相关的 图像或展示与关键图像中展示的面部表情相似的面部表情的图像。风景可用作关键图像。这使得例如可以选择展示与关键图像中展示的山相似的山 的图像，或选择展示与关键图像中展示的海岸相似的海岸的图像。本申请包含涉及于2009年11月18日向日本专利局提交的日本优先权专利申请 JP 2009-262513中公开的主题，在此通过引用并入其全部内容。本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、 子组合和更改，只要它们在权利要求或其等效物的范围内。
权利要求
1.一种信息处理装置，其搜索多个登记图像以选择满足搜索准则的图像，所述信息处 理装置包括估计部件，用于根据被摄体在相同图像中一起被展示的频率，估计登记图像中展示的 被摄体所属的组；以及选择部件，用于在已估计所述被摄体所属的组的情况下，从多个登记图像选择展示被 估计属于与作为搜索准则给出的关键图像中展示的被摄体相同组的被摄体的图像。
2.如权利要求1所述的信息处理装置，还包括图像分析部件，用于提取图像中展示的被摄体的一部分的特征量；分类部件，用于根据特征量的相似度，将从图像提取的特征量分类为对其分配ID的 簇；以及关联部件，用于将对特征量所分类为的簇分配的ID与图像中展示的被摄体的一部分 相关联。
3.如权利要求2所述的信息处理装置，还包括计算部件，用于根据通过图像分析部件的分析的结果，计算登记图像的评估值；其中所述选择部件以评估值的顺序，从多个登记图像选择展示被估计属于与关键图像 中展示的被摄体相同组的被摄体的图像。
4.如权利要求3所述的信息处理装置，其中，所述计算部件根据登记图像的构图以及 通过图像分析部件的分析结果，计算登记图像的评估值。
5.如权利要求3所述的信息处理装置，还包括成像部件，用于拾取登记图像和关键图像中的至少一个。
6.如权利要求2所述的信息处理装置，其中，所述被摄体是人，并且所述被摄体的一部 分是人的面部。
7.一种信息处理方法，用于信息处理装置中，所述信息处理装置搜索多个登记图像以 选择满足搜索准则的图像，所述方法包括以下步骤根据被摄体在相同登记图像中一起被展示的频率，估计登记图像中展示的被摄体所属 的组；以及在已估计所述被摄体所属的组的情况下，从多个登记图像选择展示被估计属于与作为 搜索准则给出的关键图像中展示的被摄体相同组的被摄体的图像。
8.—种控制信息处理装置的程序，所述信息处理装置搜索多个登记图像以选择满足 搜索准则的图像，所述程序使得所述信息处理装置中包括的计算机执行包括以下步骤的处 理根据被摄体在相同图像中一起被展示的频率，估计登记图像中展示的被摄体所属的 组；以及在已估计所述被摄体所属的组的情况下，从多个登记图像选择展示被估计属于与作为 搜索准则给出的关键图像中展示的被摄体相同组的被摄体的图像。
9.一种信息处理装置，其搜索多个登记图像以选择满足搜索准则的图像，所述信息处 理装置包括图像分析部件，用于提取包括图像中展示的人的面部表情的特征量；分类部件，用于根据面部特征量的相似度，将从图像提取的面部特征量分类为对其分配人ID的簇；关联部件，用于将对特征量所分类为的簇分配的人ID与图像中展示的人的面部相关 联；以及选择部件，用于从展示对其分配人ID的人的面部的多个分析的登记图像，选择展示作 为搜索准则的关键图像中展示的、具有与关键图像中展示的人的面部表情相似的面部表情 的人的图像。
10.如权利要求9所述的信息处理装置，还包括计算部件，用于根据通过图像分析部件的分析结果，计算登记图像的评估值； 其中所述选择部件以评估值的顺序，从多个登记图像选择展示关键图像中展示的、具 有与关键图像中展示的人的面部表情相似的面部表情的人的图像。
11.如权利要求10所述的信息处理装置，其中所述计算部件根据登记图像的构图以及 通过图像分析部件的分析结果，计算登记图像的评估值。
12.如权利要求10所述的信息处理装置，还包括 成像部件，用于拾取登记图像和关键图像的至少一个。
13.一种信息处理方法，用于信息处理装置中，所述信息处理装置搜索多个登记图像以 选择满足搜索准则的图像，所述信息处理方法包括以下步骤提取包括多个登记图像中展示的人的面部表情的特征量；根据面部特征量的相似度，将从登记图像提取的面部特征量分类为对其分配人ID的簇；将对特征量所分类为的簇分配的人ID与登记图像中展示的人的面部相关联； 提取包括作为搜索准则给出的关键图像中展示的人的面部表情的特征量； 根据面部特征量的相似度，将从关键图像提取的面部特征量分类为对其分配人ID的簇；将对特征量所分类为的簇分配的人ID与关键图像中展示的人的面部相关联；以及 选择展示关键图像中展示的、具有与关键图像中展示的人的面部表情相似的面部表情 的人的图像。
14.一种控制信息处理装置的程序，所述信息处理装置搜索多个登记图像以选择满足 搜索准则的图像，并且所述程序使得所述信息处理装置中包括的计算机执行包括以下步骤 的处理提取包括多个登记图像中展示的人的面部表情的特征量；根据面部特征量的相似度，将从登记图像提取的面部特征量分类为对其分配人ID的簇；将对特征量所分类为的簇分配的人ID与登记图像中展示的人的面部相关联； 提取包括作为搜索准则给出的关键图像中展示的人的面部表情的特征量； 根据面部特征量的相似度，将从关键图像提取的面部特征量分类为对其分配人ID的簇；将对特征量所分类为的簇分配的人ID与关键图像中展示的人的面部相关联；以及 选择展示关键图像中展示的、具有与关键图像中展示的人的面部表情相似的面部表情 的人的图像。
15.一种信息处理装置，其搜索多个登记图像以选择满足搜索准则的图像，所述信息处 理装置包括图像分析单元，提取图像中展示的人的面部的特征量；分类单元，根据面部特征量的相似度，将从图像提取的面部特征量分类为对其分配人 ID的簇；关联单元，将对特征量所分类为的簇分配的人ID与图像中展示的人的面部相关联； 估计单元，根据该人在相同图像中一起被展示的频率，估计登记图像中展示的人所属 的组；以及选择单元，在估计该人所属的组的情况下，从展示对其分配人ID的人的面部的多个分 析的登记图像，选择展示被估计属于与作为搜索准则给出的关键图像中展示的人相同组的 人的图像。
16.一种信息处理装置，其搜索多个登记图像以选择满足搜索准则的图像，所述信息处 理装置包括图像分析单元，提取包括图像中展示的人的面部表情的特征量； 分类单元，根据面部特征量的相似度，将从图像提取的面部特征量分类为对其分配人 ID的簇；关联单元，将对所特征量分类为的簇分配的人ID与图像中展示的人的面部相关联；以及选择单元，从展示对其分配人ID的人的面部的多个登记图像，选择展示作为搜索准 则的关键图像中展示的、具有与关键图像中展示的人的面部表情相似的面部表情的人的图像。
全文摘要
一种信息处理装置，包括估计单元，根据相同图像中一起展示被摄体的频率，估计登记图像中展示的被摄体所属的组；以及选择单元，在估计所述被摄体所属的组的情况下，从多个登记图像选择展示被估计属于与作为搜索准则给出的关键图像中展示的被摄体相同组的被摄体的图像。
文档编号G06K9/00GK102065218SQ20101054417
公开日2011年5月18日 申请日期2010年11月11日 优先权日2009年11月18日
发明者佐佐哲 申请人:索尼公司