专利名称：图像处理设备、成像装置、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备，特别是涉及能够检测内容中的脸部的 图像处理设备。本发明还涉及具备这样的图像处理设备的成像装置。 而且，本发明涉及在各图像处理设备和成像装置中使用的图像处理方 法。而且，本发明涉及使计算机执行这样的图像处理方法的程序。
背景技术：
人们已经提出使用元数据来便利各种操作的技术。这里，静止图 像或视频等内容数据与其附带的元数据相关联，并且在使用之前存储 在存储器中。近年来，存在用于检测静止图像或视频等内容数据中包 含的人物的脸部的技术。另外，有人提出用于将与所检测的脸部有关 的信息作为元数据登记的技术。
例如，在被提出的元数据登记方法中，在所拍摄的图像中检测脸 部。将包含该脸部的矩形区域与该脸部的对应的人名等个人信息相组
合，然后作为元数据以XML格式存储。接着，通过将元数据写入图 像文件的一部分来登记该元数据(例如参照日本未审查专利申请公开 No. 2004 - 336466 (图2 ))。
发明内容
根据上述提出的方法，例如在观看具有元数据的图像文件时对所 关心的脸部的点击使用户可以参照与该脸部对应的登记元数据来执 行任何操作。
这里，可以使用通过上述方法登记的元数据来搜索多个内容，以 找到包含特定脸部的内容。但是，在这种情况下，元数据被写入每个内容。从而，需要逐个地重复打开和关闭内容以读出要用于搜索操作 的期望元数据。检测和验证每个元数据是很耗费时间的，导致包含特 定脸部的内容的检索时间变长。由于这个原因，包含特定脸部的内容 的检索时间增加。
近年来，提出了用于识别脸部以确定图像中的人物的脸部是否对 应于特定人物的脸部(特定脸部)的技术。而且，近年来，提出了另 一种能够以用户几乎意识不到等待时间的高速度执行脸部识别处理 的脸部识别技术。能够以高速度识别脸部的图像处理设备可以用于搜 索多个内容以找到包含特定脸部的内容。但是，在这种情况下，需要 逐个地重复打开和关闭各个内容以执行脸部识别处理。因此，这样的 处理需要很多时间来读出内容和执行脸部识别处理，导致检索包含特 定脸部的内容的时间增加。因此，用户4艮难在短时间内拾取和4吏用包 含特定脸部的内容。
因此希望快速地拾取和使用包含特定脸部的内容。
本发明的第一实施方式是一种图像处理设备，包括如下构成的存 储单元、脸部检测单元、脸部识別单元和控制单元。存储单元用于存 储内容管理文件，该内容管理文件存储用于管理内容的文件条目和用 于管理作为特定人物的脸部的特定脸部的特定脸部条目。这里，所述 文件条目和所述特定脸部条目都是具有分级结构的分级条目。脸部检 测单元用于检测包含在内容中的脸部。脸部识别单元用于通过对特定 脸部与所检测的脸部进行比较，确定所检测的脸部是否是特定脸部。 控制单元用于当所检测的脸部被识别为特定脸部时，执行将特定脸部 条目与文件条目相关联的控制。本实施方式还包括在该信息处理设备 中执行的处理和用于使计算机执行这样的处理的程序。因此，可以对 任何所检测的脸部与特定脸部进行比较，确定所检测的脸部是否对应 于特定脸部。控制单元当所检测的脸部对应于特定脸部时，执行将所 检测的脸部的文件条目与特定脸部条目相关联的控制。
在第一实施方式中，内容管理文件可以存储特征量条目，所述特 征量条目是分级条目，包含特定脸部的特征量，并且与特定脸部条目的层次的下层(也简称为下层)链接。另外，图像处理设备还可以包 括特征量提取器，用于提取所检测的脸部的特征量。从而，脸部识别 单元通过对包含在特征量条目中的特征量与所提取的特征量进行比 较，确定所检测的脸部是否是特定脸部。因此可以提取所检测的脸部 的特征量，对所检测的脸部的特征量与包含在特征量条目中的特征量 进行比较，确定所检测的脸部是否对应于特定脸部。
在第一实施方式中，内容管理文件存储元数据条目，所述元数据 条目是包含与所检测的脸部对应的脸部数据的分级条目，并且链接到 文件条目的下层。当所检测的脸部被识别为特定脸部时，控制单元可 以在包含在元数据条目中的脸部数据中存储所提取的特征量。因此， 当所检测的脸部被识别为特定脸部时，可以在包含在元数据条目中的 脸部数据中存储所提取的特征量。
另外，在第一实施方式中，特定脸部条目存储用于识别特定人物 的特定人物识别符。内容管理文件存储元数据条目，所述元数据条目 是包含与所检测的脸部对应的脸部数据的分级条目，并且链接到文件 条目的下层。当所检测的脸部被识别为特定脸部时，控制单元可以在 包含在元数据条目中的脸部数据中存储特定人物识别符。因此，当所 检测的脸部被识别为特定脸部时，可以在包含在元数据条目中的脸部 数据中存储特定人物识别符。
而且，在第一实施方式中，每个分级条目可以设置有用于识别分 级条目的条目识别符。当所检测的脸部被识别为特定脸部时，控制单 元可以通过在特定脸部条目中存储文件条目的条目识别符，而将特定 脸部条目与文件条目相关联。因此，当所检测的脸部被识别为特定脸 部时，可以在特定脸部条目中存储文件条目的条目识别符。
在该实施方式中，内容管理文件可以存储包含特定脸部的至少一 部分的特定脸部图像，特定脸部条目可以存储特定脸部图像在内容管 理文件上的存储位置。因此，当所检测的脸部被识别为特定脸部时， 可以执行将文件条目与特定脸部图像相关联的控制。
而且，本发明的第二实施方式是一种图像处理设备，包括如下结构的内容存储单元、内容管理文件存储单元、操作输入接收器、选择 器、提取器和显示器。内容存储单元用于存储内容。内容管理文件存 储单元用于存储内容管理文件。内容管理文件具有分级结构，并且存 储各个分级条目，该各个分级条目设置有用于识别对应的分级条目的 各个条目识别符。内容管理文件存储文件条目、特定脸部条目和特定 脸部图像。文件条目是用于管理内容的分级条目。特定脸部条目作为 用于管理作为特定人物的脸部的特定脸部的分级条目，并且用于存储 与内容存储单元所存储的内容中的、包含特定脸部的内容相对应的文 件条目的条目识别符。特定脸部图像作为包含特定脸部的至少一部分 并且与特定脸部条目相关联的图像。操作输入接收器用于接收选择操 作，该选择操作用于从当前存储在内容管理文件中的特定脸部图像中 选择期望的特定脸部图像。选择器用于从当前存储在内容管理文件中 的特定脸部条目中选择与所选择的特定脸部图像对应的特定脸部条 目。提取器用于从存储在内容存储单元中的内容中提取与当前存储在 所选择的特定脸部条目中的条目识别符对应的内容。显示器用于显示 所提取的内容。本实施方式还包括在上述图像处理设备中执行的处理 方法和使计算机执行该处理方法的程序。因此，可以从特定脸部图像 中选择期望的特定脸部图像，然后从特定脸部条目中选择与所选择的 特定脸部图像对应的特定脸部条目。另外，可以从内容中提取与当前 存储在所选择的特定脸部条目中的条目识别符对应的内容，并显示所 提取的内容。
本发明的第三实施方式是一种成像装置，包括如下结构的存储单 元、成像单元、脸部检测单元、脸部识别单元和控制单元。存储单元 用于存储内容管理文件，该内容管理文件存储用于管理拍摄视频的文 件条目和用于管理作为特定人物的脸部的特定脸部的特定脸部条目，
目。成像单元用于拍摄对象的图像以生成拍摄视频。脸部检测单元用 于检测包含在拍摄视频中的脸部。脸部识别单元用于通过对特定脸部 和所检测的脸部进行比较，确定所检测的脸部是否是特定脸部。控制单元用于当所检测的脸部被识别为特定脸部时，执行将特定脸部条目 与文件条目相关联的控制。本实施方式还包括在该成像装置中执行的 处理方法和用于使计算机执行这样的处理方法的程序。因此，可以通 过对特定脸部和所检测的脸部进行比较，确定所检测的脸部是否是特 定脸部，然后，当所检测的脸部被识别为特定脸部时，执行将特定脸 部条目与文件条目相关联的控制。
因此，本发明的任意实施方式都有利地用于快速拾取和使用包含 特定脸部的内容。
图l是示出本发明的实施方式的成像装置的示例性结构的框图。
图2是示意性地示出在本发明的实施方式的文件系统上登记的 实际文件的文件结构的图。
图3是示出由本发明的实施方式的属性文件管理的文件夹和文 件的分级结构的例子的图。
图4是示出本发明的实施方式的属性文件、视频内容文件和特定 人物之间的关系的示意图。
图5是示意性地示出本发明的实施方式的存储在缩略图文件中 的各图像、视频内容文件和人物之间的关系的图。
图6是示出本发明的实施方式的对存储在缩略图文件中的登记 脸部图像进行登记的方法的示意图。
图7是示出本发明的实施方式的存储在存储介质中的视频内容 文件与登记脸部图像之间的关系的示意图。
图8是示出本发明的实施方式的属性文件和缩略图文件与视频 内容文件之间的关系的示意图。
图9是示出本发明的实施方式的构成内容管理文件的属性文件 和缩略图文件之间的关系的示意图。
图10是示意性地示出视频文件夹条目之间的父子关系、日期文 件夹条目之间的父子关系、视频文件条目之间的父子关系和元数据条目之间的父子关系以及出现登记脸部列表的对应关系的图。
图11是示意性地示出各个登记脸部文件夹条目的条目列表之间 的父子关系、登记脸部条目的条目列表和元数据条目的条目列表之间 的父子关系、以及出现登记脸部内容列表(即出现登记脸部的内容的 列表)与视频文件条目的对应关系的图。
图12是示意性地示出本发明的实施方式的属性文件的基本结构的图。
图13是示意性地示出本发明的实施方式的属性文件的整体结构的图。
图14是示意性地示出元数据条目的内部结构的图。
图15示出要存储在标题(header)部分中的信息的概要。
图16是示意性地示出脸部数据部分中存储的脸部数据的图。
图17示出标题部分的脸部数据结构标志的数据结构。
图18示出脸部数据结构标志中存储的位与脸部数据部分中存储
的脸部数据之间的关系。
图19示出脸部数据结构标志中存储的位与脸部数据部分中存储
的脸部数据之间的关系。
图20示出脸部数据结构标志中存储的位与脸部数据部分中存储
的脸部数据之间的关系。
图21示出脸部数据结构标志中存储的位与脸部数据部分中存储
的脸部数据之间的关系。图22示出脸部数据结构标志中存储的位与脸部数据部分中存储
的脸部数据之间的关系。
图23是示出本发明的一个实施方式的成像装置的框图。
图24是示意性地示出本发明的实施方式的识别拍摄图像中的脸
部的处理和将该拍摄图像中的脸部作为登记脸部图像登记的处理中
的一系列步骤的图。
图25示出从包括在视频内容文件中的帧检测的脸部与存储在脸
部数据部分中的脸部数据的关系。图26是示出本发明的实施方式的成像装置的与其重放功能有关 的示例性结构的框图。
图27是示意性地示出登记脸部条目、视频文件条目、元数据条 目、缩略图文件和视频内容文件之间的关系的图。
图28示出本发明的实施方式的使用内容管理文件的应用的例子。
图29示出本发明的实施方式的使用内容管理文件的应用的例子。
图30示出本发明的实施方式的使用内容管理文件的应用的例子。
图31示出本发明的实施方式的使用内容管理文件的应用的例子。
图32是示出本发明的实施方式的成像装置对要登记的脸部进行 登记的处理的流程图。
图33是示出本发明的实施方式的成像装置进行的内容管理文件 的记录处理的流程图。
图34是本发明的实施方式的成像装置播放视频内容文件的过程 的流程图。
图35是本发明的实施方式的成像装置播放视频内容文件的过程 的流程图。
图36是本发明的实施方式的成像装置播放视频内容文件的过程 的流程图。
图37示出本实施方式的图像处理系统的系统结构。
具体实施例方式
以下参照附图详细"i兌明本发明的实施方式。
图1是示出本发明的一个实施方式的成像装置100的示例性结构 的框图。成像装置100包括相机部分110、相机数字信号处理器(DSP ) 120和同步动态随机存取存储器(SDRAM) 121。成《象装置100还包括控制器130、操作单元140和介质接口 (I/F) 150。成像装置100 还包括液晶显示器(LCD)控制器171、外部接口 (I/F) 172、通信 接口 (I/F) 173和LCD 180。成像装置100可以是便携式摄像机 (camcorder )。这里，"便携式摄像机"一词来源于"相机(camera )，， 和"录像机(recorder)"。便携式摄像机通过图像分析提取所拍摄的 对象的图像的特征量，并且使用所提取的特征量进行各种图像处理。
相机部分110包括光学单元111、电荷耦合器件(CCD) 112、 预处理单元113、光学单元驱动器114、 CCD驱动器115和定时生成 器116。光学单元lll包括集中来自拍摄对象的光的多个透镜、聚焦 机构、快门机构、光圏机构等。光学单元111经由这些透镜和快门机 构向CCD 112输出从对象入射的光。
CCD112响应于来自CCD驱动器115的驱动信号而操作，从光 学单元111取入来自对象的入射光。响应于来自定时生成器116的定 时信号，CCD 112以光电方式将入射光转换成电信号。所生成的电信 号(图像信息)然后被输出到预处理单元113。可以将CCD112替换 为互补金属氧化物半导体(CMOS)传感器等光电转换器(图像传感 器)。
预处理单元113对从CCD 112输出的电信号进行各种信号处理， 向相机DSP 120生成数字图像数据。换言之，为了将信噪(S/N)比 保持在优良水平，预处理单元113对作为从CCD 112提供的图像信息 的电信号执行相关双采样(CDS)处理。预处理单元113还对电信号 执行自动增益控制(AGC)处理，由此控制增益。而且，预处理单元 113对电信号执行模拟-数字转换(A/D )处理，以生成数字信号(数 字图像数据)。
光学单元驱动器114在控制器130的控制下生成用于操作光学单 元111的驱动信号，然后将所生成的驱动信号提供给光学单元111。 可以响应于来自光学单元驱动器114的驱动信号来控制光学单元111 的聚焦机构、快门机构和光圏机构。CCD驱动器115响应于来自定时 生成器116的定时信号而生成用于操作CCD 112的驱动信号，然后将生成的驱动信号提供给CCD 112。
定时生成器116在控制器130的控制下生成用于提供预定定时的 定时信号，然后将生成的定时信号提供给CCD 112和CCD驱动器 115。
相机DSP 120与SDRAM 121连接，对从预处理单元113输出的 数字图像数据执行各种相机信号处理。相机信号处理例如可以是自动 聚焦(AF)处理、自动曝光(AE)处理或自动白平衡(AWB)处理。 利用联合图像专家组(JPEG)或JPEG 2000等预定的编码方式，对 进行了上述相机信号处理的图像数据进行编码。然后将编码图像数据 经由系统总线135和介质I/F 150提供给存储介质160，然后作为文件 存储在存储介质160中。相机DSP 120对经由介质I/F 150从存储介 质160读出的編码图像数据进行解码，然后经由系统总线135将该解 码图像数据提供给LCD控制器171。相机DSP 120检测从预处理单 元113和存储介质160之一提供的图像数据中包含的脸部，然后将包 含所检测的脸部的脸部图像正规化，以生成正规化脸部图像。接着， 相机DSP 120向控制器130输出与所检测的脸部有关的脸部检测信息 和正规化脸部图像。
控制器130包括中央处理单元(CPU) 131、随机存取存储器 (RAM) 132、闪速只读存储器(ROM) 133和计时器134。另外， CPU 131、 RAM 132、闪速ROM 133和计时器134经由系统总线135 彼此连接。控制器130可以是通用的内置微型计算机或专用的大规模 集成电路(LSI)。
CPU 131根据存储在闪速ROM 133等中的各种程序来执行各个 处理。RAM 132用作工作区以临时存储由CPU 131执行的各处理的 中间结果。
闪速ROM 133存储由CPU 131执行的各种程序、以及CPU 131 在各处理中所需的数据等。
计时器134向CPU 131给出当前日期、当前星期和当前时刻。 计时器134还向CPU 131给出图像拍摄日期和时间。操作单元140用于接收由用户输入的操作内容，并且生成对应于 所接收的操作内容的控制信号，然后向CPU131输出该控制信号。
操作单元140可以包括成像装置100上的操作部件，例如用于登 记脸部记录模式的设定/解除按钮、登记按钮、用于视频存储模式的设 定/解除按钮和记录按钮。另外，操作单元140还可以包括用于静止图 像存储模式的设定/解除按钮、快门按钮、用于重放模式的设定/解除 按钮、重放按钮等。而且，操作单元140例如可以如图28~图31所 示由触摸面板构成。用于登记脸部记录模式的设定/解除按钮是用于进 行登记脸部记录模式的设定或解除的按钮。该模式可以登记在识别从 预处理单元113或存储介质160输出的图像数据中的脸部的处理中使 用的特定人物的脸部(特定脸部)。登记按钮是在登记脸部记录模式 下一边拍摄图像一边登记脸部(脸部图像)时按下的按钮。用于视频 存储模式的设定/解除按钮是用于进行可以存储视频的视频存储模式 的设定或解除的按钮。记录按钮是在设定了视频存储模式的情况下当 开始或结束视频记录时按下的按钮。用于静止图像存储模式的设定/ 解除按钮是用于进行可以存储静止图像的静止图像存储模式的设定 或解除的按钮。快门按钮是在静止图像存储模式下在存储正在成像的 图像(静止图像)时按下的按钮。用于重放模式的设定/解除按钮是用 于进行可以重放存储介质160中存储的内容文件或者从外部设备获取 的内容文件的重放模式的设定或解除的按钮。重放按钮是在设定了重
放模式的情况下在开始或结束视频的重放时按下的按钮。
介质I/F 150是用于存储介质160和控制单元130之间的各种图
像数据和其它信息的发送和接收的接口 。
存储介质160是存储与相机DSP 120生成的图像数据相对应的 内容文件的存储介质。另外，存储介质160还用于存储从外部个人计 算机(PC)(未示出)向成像装置IOO输出的图像数据。而且，存储 介质160用于存储与成像装置IOO通过网络获取的图像数据相对应的 各种信息。这里，存储介质160可以安装在成像装置100中，或者可 以可拆卸地连接在成像装置IOO上。另外，可用于本实施方式的存储介质160的例子包括存储卡、光存储介质、磁盘和硬盘驱动器(HDD)。 这里，光存储介质例如可以是可记录数字通用盘(DVD)、可记录高 密度盘(CD)和蓝光盘(Blue-ray Disc,注册商标)。
LCD控制器171用于生成图像信号并将所生成的图像信号提供 给LCD 180。这里，该图像信号用于在LCD 180上显示从相机DSP 120 输出的图像。
外部I/F 172是用于PC等外部设备(未示出)与成像装置100 之间的各种数据的发送和接收的接口。例如，成像装置100可以通过 外部I/F 172连接PC，以便从PC接收图像数据和在存储介质160中 存储所输入的图像数据。另外，成像装置IOO可以将该图像数据从存 储介质160提供给PC。
通信I/F 173是由网络接口卡(NIC)等构成、连接到互联网等 网络从而进行各种图像数据和其它信息的发送和接收的接口。而且， 通信I/F 173可以是依照预定标准的有线接口。例如，该标准可以是 电气电子工程师学会(IEEE) 1394或通用串行总线(USB)。可替 代地，通信I/F 173可以是依照IEEE 802.11a、 IEEE 802.11b、 IEEE 802.11g或蓝牙(注册商标)标准的无线接口。换言之，通信I/F173
可以是有线或无线的任何接口。
LCD 180用于显示与LCD控制器171生成的图^象信号相对应的 图像。例如，在LCD 180上显示与存储在存储介质160中的视频内容 文件对应的视频。后面将参照图28 ~图31详细说明显示的例子。
如上所述，成像装置100在存储介质160中存储通过对拍摄对象 进行成像而得到的图像或视频。另外，成像装置IOO读出存储在存储 介质160中的图^f象或视频，并在LCD 180上显示该图<象或#见频。而且， 成像装置100可以在存储介质160中存储从外部PC输出的图像数据、 通过网络获取的图像数据等。另外，从外部PC等获取并且存储在存 储介质160中的图像数据等可以被读出并显示在LCD 180上。
以下参照
存储在存储介质160中的实际文件。
图2是示意性地示出在本发明的实施方式的文件系统上登记的实际文件的文件结构的图。在本实施方式中，视频内容文件或静止图 像内容文件、与这些内容文件相关的脸部元数据、以及登记脸部信息 以不同于实际目录的分级结构的分级条目管理。具体地说，存储介质
160除了视频或静止图像内容文件外，还存储用于管理这些文件、脸 部元数据和登记脸部信息的内容管理文件340。这里，登记脸部信息 是登记在成像装置100中的特定人物的脸部(特定脸部)的信息，包 括图9所示的登记脸部管理信息、登记脸部属性信息等。该信息被存 储在内容管理文件340中。在本发明的实施方式中，登记脸部信息被 存储在内容管理文件340中的特定脸部被称为登记脸部。
根目录300包括视频内容文件夹310、静止图4象内容文件夹320 和内容管理文件夹330。
视频内容文件夹310包括由成4象装置100生成的视频内容文件 311和312。换言之，在本实施方式中，-f见频内容文件311和312属 于碎见频内容文件夹310。
静止图像内容文件夹320包括作为由成像装置100生成的静止图 像数据的静止图像内容文件321和322。换言之，在本实施方式中， 静止图像内容文件321和322属于静止图像内容文件夹320。
内容管理文件夹330包括内容管理文件340。内容管理文件340 通过分级条目管理属于视频内容文件夹310和静止图像内容文件夹 320中的每一个的内容文件。内容管理文件夹330由属性文件400和 缩略图文件500构成。属性文件400存储用于管理各内容文件的文件 条目和元数据条目、用于管理登记脸部信息的登记脸部条目和元数据 条目等。缩略图文件500存储各内容文件的代表性缩略图像和包含登 记脸部的登记脸部图像。后面将参照图3~图11详细说明属性文件 400和缩略图文件500。
属于视频内容文件夹310的各视频内容文件和属于静止图像内 容文件夹320的各静止图像内容文件对用户是可见的。换言之，用户 可以在LCD 180上显示与用户的操作输入所指定的每个内容文件相 对应的图像。这种情况下，例如，该图像可以是代表内容文件的图标。另一方面，内容管理文件340对用户是不可见的，从而内容管理文件 340的内容不会,皮用户修改。例如通过设定使文件系统的内容管理文 件夹330不可见的标志，来将内容管理文件340的内容设定为对用户 不可见。当成像装置100识别出该成像装置100经由通用串行总线 (USB)接口与个人计算机(PC)连接(大容量存储器连接)时，可 以将该标志设定为有效。这种情况下，例如当成像装置识别出该连接 时(即，当从PC接收到已经正确建立连接的信号时)，使上述标志 有效。以下参照附图详细说明属性文件400的条目结构。
图3是示出由本发明的实施方式的属性文件400管理的文件夹和 文件的分级结构的例子的图。
属性文件400管理存储介质160中存储的视频文件和静止图像内 容文件。属性文件400按照应用柔性地管理文件。例如，属性文件400 可以按照由成像装置IOO记录的日期和时间来管理各个视频或静止图 像内容文件。另外，各个视频或静止图像内容文件可以按照其类型来 管理。
在本实施方式中，说明用于按照记录日期和时间来分类管理各视 频内容文件并且将包含登记脸部的视频内容文件与登记脸部相关联 地管理文件的管理方法的例子。在图3中，各条目具有用于识别自身 的各自的编号。在以下说明中，条目编号将附带"#"。后面将参照图 12和图13详细"i兌明条目编号的细节。
根条目405位于分级条目结构的所有其它条目之上。在该例子 中，视频文件夹条目(#1) 410、静止图像文件夹条目(#3) 450和 登记脸部文件夹条目(#5)460属于根条目405。另外，简档条目(# 150) 406集中地存储各文件条目的编解码器信息(例如编码格式、图 像大小和位速率)。简档条目(# 150) 406的细节将参照图12C后 述。
视频文件夹条目(#1) 410在下层管理用于视频的日期文件夹 条目。在该例子中，日期文件夹条目(#35) 420、 (#51) 430和(# 67) 440属于视频文件夹条目(#1) 410。静止图像文件夹条目(#3) 450在下层管理用于静止图像的日 期文件夹条目。在本发明的实施方式中，条目的说明将集中于用于视 频的各条目，用于静止图像的各条目的说明将部分省略。
日期文件夹条目(# 35 ) 420、 ( # 51 ) 430和(# 67 ) 440是用 于通过日期来分类管理视频内容文件的条目，并且在下层管理分类后 的视频内容文件。在该例子中，日期文件夹条目(#35) 420管理在 "5/5/2008"记录的视频内容文件。视频文件条目(#37) 421和视频文 件条目(#44) 423都属于日期文件夹条目(#35) 420。另外，日期 文件夹条目(#51 ) 430管理在"6/14/2008"记录的视频内容文件。视 频文件条目(#53) 431和视频文件条目(#60) 433都属于日期文 件夹条目(# 51 ) 430。而且，日期文件夹条目(#67 ) 440管理在 "7/19/2008"记录的视频内容文件。视频文件条目(#69) 441属于日 期文件夹条目(#67) 440。以下将参照图8详细说明文件夹条目的 细节。
视频文件条目(#37) 421、 (#44) 423、 (#53 ) 431、 (# 60) 433和(#69) 441分别存储内容管理信息和内容属性信息以管 理视频内容文件。另外，每个一见频文件条目与元数据条目链接，元数 据条目存储与对应的视频内容文件相关联的元数据。后面将参照图4 详细说明视频文件条目与视频内容文件的关系。另外，后面将参照图 8详细说明内容管理信息、内容属性信息等的文件条目的细节。
元数据条目(#40) 422、 ( #47) 424、 ( # 56 ) 432、 ( # 63 ) 434和(#72) 442中的每一个存储与由链接在其上的视频文件条目 管理的视频内容文件相关联的元数据。在该例子中，属于对应的视频 文件条目的每个元数据条目中包含从视频内容文件提取的脸部数据。 脸部数据包含与从视频内容文件提取的脸部有关的各种数据。如图16 所示，例如，脸部数据包括脸部检测时刻信息、基本脸部信息、脸部 得分和笑脸得分的数据。元数据条目将参照图8~图14详细说明。
登记脸部文件夹条目(#5) 460在分级结构的下层管理用于管 理登记脸部的登记脸部条目。在该例子中，登记脸部条目(#7)461、(# 14) 463、 ( #21 ) 465和(#28) 467属于登记脸部文件夹条目 (#5) 460。登记脸部条目(#7) 461、 ( #14) 463、 ( #21) 465 和(#28) 467是分别管理登记脸部的条目。这些登记脸部条目中的 每一个包括出现登记脸部的内容的列表，并且还包括登记脸部的属性 信息。登记脸部条目与特定人物的关系将参照图4详细说明。另外， 本发明的实施方式的登记脸部条目的细节将参照图9详细说明。
元数据条目(# 10 ) 462、 ( # 17 ) 464、 ( # 24 ) 466和(# 31) 468中的每一个存储与由链接在其上的登记脸部条目管理的登记脸部 相关联的元数据。在该例子中，元数据存储从包含登记脸部的登记脸 部图像提取的特征量。这里，特征量是用于确定从内容数据检测的脸 部是否对应于登记脸部的识别信息。换言之，例如，特征量是表示用 于识别眼睛、鼻子、嘴、眼眉及其形状等脸部的位置关系的脸部图像 的特征和属性的数据。特征量可以根据颜色、亮度等的水平来提取。 本发明的实施方式的元数据条目的细节将参照图9~图14详细说明。 图4是示出本发明的实施方式的属性文件400、视频内容文件和 特定人物之间的关系的示意图。这里，视频文件条目(#37)421、 (#44 ) 423、 ( #53 ) 431、 ( # 60 ) 433和(# 69 ) 441以及登记 脸部条目(#7) 461、 ( #14) 463、 ( #21) 465和(#28) 467与 图3所示的相同。在本实施方式中，将ICHIRO KODA 521、 GORO OTOGUCHI 522 、 HANAKO YAMAKAWA 523和YOSHIMI ICHIYA 524作为脸部被登记在成像装置100中的特定人物的例子来 进行说明。
视频内容文件311 ~ 315由成像装置100拍摄并存储在存储介质 160中。另外，这些视频内容文件311~315属于视频内容文件夹310。 在图4中，视频内容文件311~315与视频文件条目(#37)421、 ( # 44) 423、 ( #53) 431、 ( # 60 ) 433和(# 69 ) 441之间的对应关 系由连接对应要素的虛线箭头表示。
4个人物ICHIRO KODA 521、 GORO OTOGUCHI 522、 HANAKO YAMAKAWA 523和YOSHIMI ICHIYA 524(以下将这些人物分别简称为人物521 ~ 524 )是脸部分别在登记脸部条目461 、463、 465和467中登记和管理的特定人物。另外，人物521~ 524的各脸部 图像的特征量存储在图3中的元数据条目(# 10) 462、 (# 17) 464、 (#24) 466和(#31 ) 468中。在图4中，人物521 ~ 524与登记脸 部条目(#7) 461、 ( # 14) 463、 ( #21 ) 465和(#28) 467之间 的对应关系由连接对应要素的虚线箭头表示。
图5是示意性地示出本发明的实施方式的存储在缩略图文件500 中的各图像、视频内容文件和人物之间的关系的图。图5所示的人物 521 ~ 524和视频内容文件311 ~ 315与图4所示的相同。
缩略图文件500存储作为各内容文件的代表性图像的代表性缩 略图像、以及分别至少包含特定人物的脸部的一部分的登记脸部图 像。代表性缩略图像可以是从视频内容文件中提取的至少 一 个图像。 例如，与视频内容文件的第一帧对应的图像被作为代表性缩略图像提 取。
例如，如图5所示，脸部图^象511~514作为人物521~ 524的登 记脸部图像被存储在缩略图文件500中。另外，代表性缩略图像501~ 506作为视频内容文件311 ~ 315的代表性图像被存储在缩略图文件 500中。而且，对登记脸部图像进行登记的方法将参照图6和图24详 细说明。
图6是示出本发明的实施方式的对存储在缩略图文件500中的登 记脸部图像进行登记的方法的示意图。图6所示的例子是在成像装置 100处于登记脸部记录模式时对登记脸部图像进行登记的方法。
图6A示出在成像装置100处于登记脸部记录模式时显示在LCD 180上的包含辅助图像531的模板图像530。辅助图像531用于在拍 摄图像以进行登记时，便于将作为成像对象的人物的脸部定位在拍摄 图^象的适当位置处。例如，如图6B所示，LCD 180在登记脸部记录 模式下显示辅助图像531。然后，LCD 180在其上显示辅助图像531 的同时，显示由相机DSP 120生成的拍摄图像(所谓的直通图像 (through image ))。这里，如图6B所示，用户可以在显示在LCD180上的辅助图像 531与拍摄图像中的脸部(要登记的脸部)的轮廓基本一致时按下登 记按钮。在图6B中，示出了拍摄HANAKO YAMAKAWA 523的图 像的情况。这样，当如上所述按下了登记按钮时，由相机DSP120生 成的拍摄图像的预定区域内的图像作为登记脸部图像记录在缩略图 文件500中。在图6C中，示出HANAKO YAMAKAWA 523的图像 作为要存储在缩略图文件500中的登记脸部图像而被拍摄的情况。除 了在缩略图文件500中存储登记脸部图像外，还在登记脸部文件夹条 目(#5) 460的下层的登记脸部条目中存储登记脸部管理信息和登记 脸部属性信息(图9所示)。而且，从登记脸部图像中提取脸部的特 征量，然后将所提取的特征量存储在链接到登记脸部条目的下层的元 数据条目中。例如，如图5所示，将HANAKO YAMAKAWA 523的 登记脸部图像513存储在缩略图文件500中。另外，在登记脸部条目
(# 21 ) 465 (图4所示)中存储HANAKO YAMAKAWA 523的登 记脸部图像513的登记脸部管理信息和登记脸部属性信息。另外，在 元数据条目(# 24 ) 466 (图3所示)中存储HANAKO YAMAKAWA 523的登记脸部图《象513的特征量。而且，登记脸部图像的特征量的 提取将参照图24进行说明。可替代地，登记脸部图像可以在参照眼 睛进行正规化后存储在缩略图文件500中。
图7是示出本发明的实施方式的存储在存储介质160中的视频内 容文件311 ~ 315与登记脸部图像511 ~ 514之间的关系的示意图。在 图7中，浮见频内容文件311~315中的每一个通常用矩形表示。在该 矩形中以规则的间隔配置对应于帧的图像。另外，在各个矩形的左角 配置对应于开头帧的图像，即代表性缩略图像501 506。例如，在表 示视频内容文件311的矩形中，对应于规则间隔的帧的代表性缩略图 像501和图像541 ~ 544沿着成像时间序列排列。在该例子中，代表 性缩略图像501和图像541、 542都包含登记脸部图像511的脸部
(ICHIRO KODA)。
另外，例如，构成视频内容文件312的代表性缩略图像502和图像545~548都包含登记脸部图像511的脸部(ICHIRO KODA)。 同样，图像546 ~ 548都包含登记脸部图像513的脸部(HANAKO YAMAKAWA)。图像548包含登记脸部图像514的脸部(YOSHIMI ICHIYA)。因此，在图7中，构成对应的视频内容文件311~315的 图像被表示成，包含各个登记脸部图像511~514的脸部的图像用与 对应的登记脸部图像511 ~ 514连接的线表示。
这里，在视频内容文件的每个帧中检测到的脸部的脸部数据被依 次存储在与对应于该视频内容文件的视频文件条目的下层连接的元 数据条目中。另外，根据从各个检测出的脸部提取的特征量来依次识 别脸部。然后，当检测出的脸部被识别为登记脸部时，将视频文件条 目的条目编号存储在对应于该登记脸部的登记脸部条目中。在本发明 的实施方式中，还将说明对应于登记脸部的个人识别ID被包括在脸 部数据中并且被存储在元数据条目中的例子。而且，这些存储过程将 参照图10和图ll说明。
以下参照
内容管理文件340与内容文件之间的关系。
图8是示出本发明实施方式的构成内容管理文件340的属性文件 400和缩略图文件500与属于视频内容文件夹310的视频内容文件 311~315之间的关系的示意图。这里，主要说明图3所示的日期文件 夹条目(#35) 420、 ^L频文件条目(#44) 423、元数据条目(# 47 ) 424、代表性缩略图像502和^见频内容文件312之间的对应关系。缩 略图文件500中的代表性缩略图像501 ~ 505和视频内容文件夹310 中的^L频内容文件311 315与图5所示的相同，省略对其的"^兑明。
曰期文件夹条目(#35) 420管理实际内容文件的日期。日期文 件夹条目(#35)420包含"条目类型"、"父条目列表"、"父条目类型"、 "子条目列表"、"子条目类型"、"槽(slot)有效标志"、"槽链"等。 各条目编码识别对应的条目。例如，日期文件夹条目420被分配了条 目编号"#3"。分配条目编号的方法将参照图12和图13后述。
"条目类型"表示条目的类型。取决于各条目的类型，条目类型可 以是"视频文件夹条目"、"静止图像文件夹条目"、"日期文件夹条目"、"视频文件条目"、"元数据条目"、"登记脸部文件夹条目"和"登记脸 部条目"等中的一个。例如，"日期文件夹条目"被存储在日期文件夹
条目(#35) 420的"条目类型"中。
"父条目列表"包含与作为对应的条目所属的层次的上层(也简称 为上层)的父条目相对应的条目编号。例如，存储"#1"作为日期文 件夹条目(#35) 420的"父条目列表"。
"父条目类型"表示与存储在"父条目列表"中的条目编号相对应 的父条目的类型。取决于父条目的类型，"父条目类型"存储"视频文 件夹条目"、"日期文件夹条目"、"视频文件条目"、"静止图《象文件夹 条目"、"登记脸部文件夹条目，，和"登记脸部条目"等中的一个。例如， "视频文件夹条目，，被存储在日期文件夹条目(#35) 420的"父条目类 型"中。
"子条目列表，，存储与作为属于该条目的层次的下层(也简称为下 层)的子条目相对应的条目编号。例如，在日期文件夹条目(#35) 420的"子条目列表"中存储"#37"和"#44"。
"子条目类型，，表示与存储在"子条目列表"中的条目编号相对应 的子条目的类型。取决于子条目的类型，"子条目类型，，可以是"视频 文件夹条目"、"静止图像文件夹条目"、"日期文件夹条目"、"视频文 件条目"、"静止图4象文件条目"、"元数据条目"和"登记脸部条目"等 中的一个。例如，"视频文件条目，，被存储在日期文件夹条目(#35) 420的"子条目类型"中。
"槽有效标志"表示构成该条目的槽是否有效。"槽链"是与构成该 条目的各槽的链接或连结的信息。"槽有效标志"和"槽链"将参照图12 说明。
视频文件条目(#44) 423管理实际内容文件并且存储内容管理 信息401和内容属性信息402。内容管理信息401存储"条目类型"、"内 容类型"、"内容地址"、"父条目列表"、"父条目类型"等。另外，内 容管理信息401存储"子条目列表"、"子条目类型"、"出现登记脸部 列表"、"槽有效标志"、"槽链"等。"条目类型"、"父条目列表"、"父
24条目类型"、"子条目列表"、"子条目类型"、"槽有效标志"和"槽链"
与参照日期文件夹条目(#35) 420说明的那些相同，这里省略对其 的说明。
"内容类型"表示与文件条目对应的内容文件的类型。取决于与文 件条目对应的内容文件的类型，"内容类型"可以是"视频内容文件"和 "静止图像内容文件"之一。例如，视频文件条目(#44) 423的内容 类型是"视频内容文件"。
"内容地址，，是表示存储在存储介质160中的视频内容文件的存 储位置的信息。按照该存储位置信息可以访问存储在存储介质160中 的^f见频内容文件。例如，浮见频文件条目(#44) 423的"内容地址"是 表示浮见频内容文件312的地址的"A312"。
"出现登记脸部列表"存储与对应于文件条目的内容文件中包含 的登记脸部相对应的登记脸部条目的条目编号。例如，如图7所示， 对应于视频文件条目(#44) 423的视频内容文件312包含登记脸部 图像511、 513和514。因此，^f见频文件条目(#44) 423的"出现登 记脸部列表"存储与登记脸部图^象511、 513和514相对应的各个登记 脸部条目461、 465和467的条目编号"#7"、 " # 21"和"#28"(参照 图10)。
内容属性信息402是存储在内容管理信息401中的内容文件的属 性信息。内容属性信息402包括"创建日期和时间"、"更新日期和时 间"、"区间信息"、"大小信息"、"缩略图地址"、"简档信息，，等。"创 建曰期和时间，，存储对应于文件条目的内容文件被创建的日期和时 间。"更新日期和时间"存储对应于文件条目的内容文件被更新的曰期 和时间。使用该"更新日期和时间"来确定元数据的不一致性。"区间 信息"存储对应于文件条目的内容文件的时间长度信息。"大小信息" 存储对应于文件条目的内容文件的大小信息。
"缩略图地址"是表示存储在缩略图文件500中的代表性缩略图 像的存储位置的信息。该存储位置信息使得用户可以访问存储在缩略 图文件500中的代表性缩略图《象。例如，视频文件条目(#44) 423的"缩略图地址"存储作为视频内容文件312的代表性缩略图像的代表 性缩略图像502的缩略图文件500中的条目编号"#02"。缩略图文件 500中的条目编号将参照图12说明。
"简档信息"包含存储在简档条目(# 150) 406中的视频音频条 目的条目编号。视频音频条目将参照图12C详细说明。
元数据条目(#47) 424包含"条目类型"、"父条目列表"、"父 条目类型"、"槽有效标志"、"槽链"、"元数据"等。"条目类型"、"父 条目列表"、"父条目类型"、"槽有效标志"和"槽链，，与参照日期文件 夹条目(#35) 420说明的那些相同，这里省略对其的说明。
"元数据"存储从与元数据条目所属的上层的视频文件条目相对 应的内容文件获取的各种属性信息(元数据)。存储在"元数据"中的 各种信息将参照图16说明。
图9是示出本发明实施方式的构成内容管理文件340的属性文件 400和缩略图文件500之间的关系的示意图。这里，主要说明图3所 示的登记脸部条目(#7) 461、元数据条目(# 10) 462和登记脸部 图像511之间的对应关系。缩略图文件500中的登记脸部图像511~ 514与图5所示的相同，省略对其的说明。
登记脸部条目(#7) 461是管理登记脸部的条目，存储了登记 脸部管理信息403和登记脸部属性信息404。登记脸部管理信息403 存储"条目类型"、"父条目列表"、"父条目类型"、"子条目列表"、"子 条目类型"、"出现登记脸部内容列表"、"槽有效标志"、"槽链"等。 在这些信息中，不再说明与图8所示的日期文件夹条目(#35) 420 或视频文件条目(#44) 423中所示的信息相同的信息。具体地说， 相同的信息包括"条目类型"、"父条目列表"、"父条目类型"、"子条 目列表"、"子条目类型"、"槽有效标志"和"槽链"。
"出现登记脸部内容列表，，表示其中包含了对应于登记脸部条目 的登记脸部的内容文件的列表。因此，对应于登记脸部所属的内容文 件的文件条目的条目编号被存储在该列表中。例如，如图7所示，对 应于登记脸部条目(#7) 461的登记脸部图像511的脸部出现在视频内容文件311、 312和315的每一个中。因此，对应于视频内容文件 311、 312和315的各个一见频文件条目421、 423和441的条目编号祐_ 存储在登记脸部条目(#7) 461的"出现登记脸部内容列表，，中(参照 图11)。换言之，"出现登记脸部内容列表"存储视频文件条目421、 423和4"的条目编号"# 37"、 " # 44"和"# 69"。
登记脸部属性信息404是存储在登记脸部管理信息403中的登记 脸部的属性信息。登记脸部属性信息404包括"创建日期和时间"、"更 新日期和时间"、"登记脸部姓名"、"个人识别ID"、"缩略图地址"等。
"创建日期和时间，，存储对应于登记脸部条目的登记脸部图像被 创建的日期和时间。"更新日期和时间"存储对应于登记脸部条目的登 记脸部图像:故更新的日期和时间。"登记脸部姓名"存储对应于登记脸 部条目的登记脸部的人物的姓名。例如，该姓名可以通过用户的手动 操作而输入。
"个人识别ID"存储给予对应于登记脸部条目的登记脸部的、用 于识别个人的ID。例如，个人识别ID可以按照登记的顺序自动地被 提供自己的识别编号。
"缩略图地址"存储缩略图文件500中所存储的登记脸部图像的 存储位置。该存储位置信息使得用户可以访问存储在缩略图文件500 中的登记脸部图像。例如，在登记脸部条目(#7) 461的"缩略图地 址，，中存储登记脸部图像511的缩略图文件500中的条目编号"#11"。 这里，缩略图文件500中的条目编号将参照图12说明。
元数据条目(# 10) 462存储"条目类型"、"父条目列表"、"父 条目类型"、"槽有效标志"、"槽链"、"元数据"等。"条目类型"、"父 条目列表"、."父条目类型"、"槽有效标志"和"槽链"与参照日期文件 夹条目(#35) 420说明的那些相同，这里省略对其的说明。
"元数据，，包含从与元数据条目所在的上层的登记脸部条目相对 应的登记图像获取的各种属性信息(元数据)。这里，链接到登记脸 部条目的下层的元数据条目的基本结构与链接到文件条目的下层的 元数据条目的基本结构相同。但是，与链接到文件条目的下层的元数
27据条目的不同在于，用于脸部识別的特征量主要存储在链接到登记脸 部条目的下层的元数据条目的"元数据，，中。存储在"元数据"中的各种
信息将参照图16说明。
现在参照附图详细说明存储在属性文件中的各个条目之间的父 子关系、以及出现登记脸部列表(出现登记脸部的列表)与出现登记 脸部内容列表(出现登记脸部的内容的列表)之间的对应关系。
图IO是示意性地示出视频文件夹条目、日期文件夹条目、视频
应关系的图。图IO示出包括图3所示的视频文件夹条目(#1)410、 日期文件夹条目(#35) 420、 ^L频文件条目(#37) 421和(#44) 423、元数据条目(#40) 422和(#47) 424的例子。
视频文件夹条目(#1) 410存储"子条目列表"等的信息。例如， "子条目列表"存储条目"#35"、 "#51"、 "#67"。
曰期文件夹条目(#35) 420存储"父条目列表"、"子条目列表" 等的信息。例如，"父条目列表"存储"#1","子条目列表"存储"#7" 和"#28"。
视频文件条目(弁37 ) 421和(# 44 ) 423都存储"父条目列表"、 "子条目列表"、"内容地址"、"缩略图地址"、"出现登记脸部列表"等 的信息。例如，在视频文件条目(#37)421中，"父条目列表，，存储"弁 35"，"子条目列表，，存储"#40，，。另外，"内容地址"存储"A311","缩 略图地址"存储"弁01"，"出现登记脸部列表"存储"#7"。而且，存储 在"缩略图地址"中的"弁01，，是缩略图文件500中的条目编号，不同于 存储在属性文件400中的各条目的条目编号。另外，图ll所示的"缩 略图地址"也同样。
元数据条目(#40) 422和(#47) 424存储"父条目列表"等的 信息。例如，在元数据条目(#40) 422中，"父条目列表"存储条目 "#37"。在图10中，各个条目的条目列表之间的父子关系由从"父条 目列表，，或"子条目列表"延伸到对应的"子条目列表"或对应的"父条 目列表，，的箭头来表示。在图10中，各个视频文件条目的出现登记脸部列表之间的对应关系由从"出现登记脸部列表"延伸到对应的"登记脸部条目"的箭头来表示。
图11是示意性地示出各个登记脸部文件夹条目、登记脸部条目
系的图。在图11中，针对图3所示的登记脸部文件夹条目(#5)460、登记脸部条目(#7) 461和(#14) 463、元数据条目(# 10 ) 462和(# 17) 464说明父子关系的例子。
登记脸部文件夹条目(#5) 460存储"子条目列表"的信息。例如，"#37"、 "#14"、 "#21"和"#28"被存储在"子条目列表"中。
登记脸部条目(#7) 461和(#14) 463都存储"父条目列表"、"子条目列表"、"缩略图地址"、"出现登记脸部内容列表，，等。例如，在登记脸部条目(#7)461中，"并5"存储在"父条目列表，，中，"#10"存储在"子条目列表，，中。另外，"#11，，存储"缩略图地址，，中，"#37"、"# 44，，和"# 69，，存储在"出现登记脸部内容列表，，中。
元数据条目(# 10) 462和(#17) 464都存储"父条目列表"等的信息。例如，在元数据条目(# 10) 462中，在"父条目列表"中存储"#7"。在图ll中，各个条目的条目列表之间的父子关系由从"父条目列表"或"子条目列表"延伸到对应的"子条目列表"或对应的"父条目列表，，的箭头来表示。在图11中，各个登记脸部条目的出现登记脸部内容列表之间的对应关系由从"出现登记脸部内容列表"延伸到对应的"视频文件条目"的箭头来表示。图10和图11中示出的父子关系对于图3所示的所有其它条目都适用，从而省略对其的说明。另夕卜，图IO和图11中示出的对应关系对于图3所示的其它视频文件条目的出现登记脸部列表以及图3所示的其它登记脸部条目的出现登记脸部内容列表都适用。
在图3所示的属性文件400中，存在一个文件条目4皮链接到一个对应的元数据条目的例子。但是可替代地， 一个文件条目可以被链接到两个或更多个元数据条目。换言之， 一个父文件条目可以对应于两个或更多个子元数据条目。
29例如，视频文件条目(#37) 421的子元数据条目除了包括存储 脸部元数据的元数据条目(#40) 422以外，还可以包括存储GPS信 息的元数据条目(#76)(未示出)。并且，"#40，，和"#76，，可以存 储在视频文件条目(#37) 421的子条目列表中。这种情况下，子条 目列表的存储顺序可以根据元数据的类型而预先定义。因此，即使在 一个文件条目中存储两个或更多个元数据时元数据的数量增加的情 况下，也会防止数据管理变得复杂，并且用于提取期望的元数据的时 间将缩短。这里，元数据的类型可以是数据的类型(脸部元数据、GPS 等类型)或者是元数据和二进制数据等编码的类型。
而且，在图3所示的属性文件400中，存在一个登记脸部条目被> 链接到一个对应的元数据条目的例子。但是可替代地， 一个登记脸部 条目可以被链接到两个或更多个元数据条目。即，多个子元数据条目 可以对应于一个父登记脸部条目。
例如，存储"ICHIRO KODA"的通常脸部的特征数据的元数据条 目被设置为元数据条目(# 10) 462，而存储"ICHIRO KODA"的笑 脸的特征数据的元数据条目被设置为元数据条目(#80)(未示出)。 并且，"#10，，和"#80，，被存储在登记脸部条目(#7) 461的子条目歹'J 表中，以使元数据条目(# 10) 462和元数据条目(#80)对应于登 记脸部条目(#7)461的子元数据条目。可替代地，笑脸、生气的脸、 哭泣的脸等的三个或更多个元数据条目可以对应于一个登记脸部条 目。因此，即使存在以"ICHIROKODA"的不同的脸部表情拍摄的两 个或更多个内容时，用户也可以识别包括"ICHIRO KODA"的内容， 并将识别的内容存储在登记脸部条目(# 7 ) 461的出现登记脸部内容 列表中。
图12是示意性地示出本发明实施方式的属性文件400的基本结 构的图。图12A示出属性文件400的基本结构的例子，图12B示出每 个条目中的槽的结构，图12C示出筒档条目(# 150) 406中的信息 的例子。另外，在标题部分470中包含的不同信息中，图12D示出表 示由内容管理文件340管理的内容的类型的信息的例子。图13是示意性地示出本发明实施方式的属性文件400的整体结 构的图。
如图12A所示，属性文件400具有包括标题部分470和条目部 分480的基本结构，其中各条目是表示一个文件夹或一个文件等的单 位。
构成条目部分480的各条目包括一个或更多个槽。取决于各条目 中存储的数据量，向该条目分配一个或更多个槽。另外，各条目的槽 被定义为具有针对属性文件或缩略图文件等每个文件确定的固定长 度的数据块。但是，由于不同的条目具有不同的槽个数，因此各条目 的长度与槽的整数倍成比例地可变。
如图12A所示，根据要存储的数据487的数据大小，视频文件 夹条目(#1)410#皮分配了两个槽481和482。根据要存储的数据488 的数据大小，静止图像文件夹条目(#3) 450被分配了两个槽483和 484。
由于槽的长度固定，因此，通常不是槽的整个区域都填充了有效 数据。有时会发生数据损失。但是，在改善数据访问和数据管理方面， 固定长度槽的使用是优选的。
条目部分480的每个条目如图3所示由条目编号管理。考虑到从 整个属性文件400的第一个槽到条目的开头槽存在的槽个数来分配条 目编号。如图12A和图13所示，例如，当从整个属性文件400的所 有槽的开头开始数时，3见频文件夹条目(#1)410的槽481和482中 的开头槽481成为第1个槽。从而，"#1"被分配为视频文件夹条目
(#1)410的条目编号。另外，当从整个属性文件400的所有槽的开 头开始数时，静止图像文件夹条目(#3 ) 450的槽483和484中的开 头槽483成为第3个槽。从而，"#3"被分配为静止图像文件夹条目
(#3) 450的条目编号。而且，当从整个属性文件400的所有槽的开 头开始数时，登记脸部文件夹条目(#5) 460的槽485和486中的开 头槽485成为第5个槽。从而，"#5"被分配为登记脸部文件夹条目
(并5) 460的条目编号。其它条目的条目编号也同样。按照条目编号
31来管理各条目并且管理各条目的父子关系。在搜索条目时，从开头开
始数构成条目部分480的各条目，检索对象条目。
如图12B所示，构成各条目的槽包含槽标题部分491和实际数 据部分494。槽标题部分491包括表示槽的有效性的有效/无效标志492 和链493。
如果存在有效的对应的内容文件，则在有效/无效标志492上设 置有效标志。如果对应的内容文件被删除，则设定无效标志。这样， 当删除了对应的内容文件时，设定无效标志，从而不进行与被删除的 内容文件对应的槽内的信息的删除，该槽看起来好象不存在。如果没 有有效/无效标志492，则如果删除了对应的内容文件，则需要进行与 被删除的内容文件对应的槽内的信息的删除。另外，被删除的槽的后 续槽内的信息应向前移动以填充到被删除的槽中。因此，当没有有效 /无效标志492时，处理变得复杂。
链493存储用于链接槽的链接或连结的信息。包含在链493中的 信息形成链接多个条目的一个条目。实际数据部分494存储各条目的 实际数据。
简档条目(# 150) 406存储大约100种数据，在各内容文件中 分别包括一对视频和音频编解码器信息。作为视频的编解码器信息的 视频条目存储"编解码器类型"、"画面大小"、"采样率"、"位速率"等。 作为音频的编解码器信息的音频条目存储"编解码器类型"、"采样率" 等。每对视频和音频条目被分配条目编号。按照简档条目(#150) 406内的存储顺序来分配条目编号。如图12C所示，例如，第l对-见 频和音频条目495被分配"#1"，第2对视频和音频条目496被分配"# 2"。视频和音频条目对的条目编号被存储在文件条目的"简档信息"中 (参照图8)。对应于文件条目的内容文件的编解码器信息按照存储 在"简档信息"中的条目编号读出。
缩略图文件500的结构与属性文件400基本相同，每个条目包括 一个或更多个槽。各槽作为用于表示一个代表性缩略图像或登记脸部 图像的单位。缩略图文件500没有标题部分。各槽在文件内长度固定。一个槽的槽大小存储在属性文件400的标题部分470中。缩略图文件 500中的条目的对应关系存储在属性文件400中。在该例子中，缩略 图文件500的槽大小与属性文件400不同。
缩略图文件500的槽大小可以针对每个缩略图文件定义，可以存 储在属性文件400的标题部分470中。缩略图文件500的缩略图文件 名存储在标题部分470中。
内容文件的代表性缩略图像针对与内容文件相对应的每个文件 条目存储在缩略图文件500中。这里，在标准的缩略图文件的情况下， 一个槽对应于一个文件条目。缩略图文件500的各条目被分配条目编 号。如果缩略图文件内的一个条目对应于一个槽，则缩略图文件的条 目编号是槽编号。缩略图文件的条目编号存储在各文件条目的"缩略 图地址，，中(参照图8~图11)。
标题部分470存储管理各条目的各种信息。例如，如图12D所 示，标题部分470存储表示由内容管理文件340管理的内容文件的类 型的信息。在图12D的例子中，由内容管理文件340管理的内容文件 是高清晰度(HD)视频或标准清晰度(SD)视频，不是静止图像。 即使在能够存储视频和静止图像的内容存储设备中，内容管理文件 340也可以不管理静止图像。如图12D所示存储在标题部分470中的 静止图像以标准的文件系统管理。由于视频也以标准的文件系统管 理，因此在不支持内容管理文件的内容播放设备中，按照文件系统的 信息来播放内容。成像装置IOO可以连接到其它内容播放设备或者可 以将可拆卸存储介质移动到其它内容播放设备来播放。如果其它内容 播放设备支持内容管理文件，则可以按照内容文件读出内容文件。标 题部分470存储简档条目(# 150) 406的条目编号。从而在条目部分 480的条目中识别简档条目的位置。
图13是示意性地示出属性文件400的每个条目、对应于该条目 的槽以及每个槽中存储的数据的关系的图。在图13中，表示每个条 目的方框仅标上其条目编号，省略条目的名称。另外，在图13中， 具有较小编号的条目和简档条目代表图3所示的所有条目。图14是示意性地示出元数据条目600的内部结构的图。元数据 条目600对应于图3所示的属于视频文件夹条目(#1)410的下层的 元数据条目(#40) 422和属于登记脸部文件夹条目(#5) 460的下 层的元数据条目(# 10) 462。在本发明的实施方式中，脸部元数据 针对每个视频内容文件存储。另外，脸部元数据(特征量)针对每个
特定人物存储。
元数据条目 600 包括一个或更多个元数据单元 (Meta—data—Unit) 610。这里，元数据单元610由数据单元大小 (data—unit size ) 611 、 语言 (language ) 612 和编码格式 (encodingjype) 613构成。另外，元数据单元610还包括元数据类 型(data_type—ID ) 614和元数据(meta_data()) 615。
数据单元大小611包含存储在元数据单元610中的元数据的大 小。语言612包含存储在元数据单元610中的元数据的语言。编码格 式613包含存储在元数据单元610中的元数据的编码格式。元数据类 型614包含用于识别元数据的各类型的识别信息。
而且，元数据615存储脸部元数据620和脸部元数据以外的元数 据650。例如，元数据650可以包括内容文件的标题信息和类型信息。
脸部元数据620包括标题部分630和脸部数据部分640。标题部 分630存储用于管理脸部元数据的信息。标题部分630具有针对每个 内容文件或登记脸部定义的固定长度。对应于内容文件的脸部数据部 分640存储要作为脸部元数据存储的各脸部的脸部数据，其中该脸部 是从内容文件中检测出来的。例如，脸部数据部分640存储脸部数据 621 ~ 623。如图16所示，脸部数据包括脸部检测时刻信息、基本脸 部信息、脸部得分、笑脸得分等。脸部数据部分640存^ft一个视频内 容文件作为固定长度。另 一方面，对应于登记脸部的脸部数据部分640 存储从特定人物的登记脸部图像中提取的特征量作为脸部元数据。如 图16所示，脸部数据包括个人识别ID、脸部的特征量等。另外，脸 部数据部分640存储一个人物的登记脸部图像作为固定长度。由于标 题部分630和脸部数据部分640都是固定长度，因此可以容易地进行
34对脸部数据的访问。
其它元数据650具有与脸部元数据620相同的结构，省略对其的说明。
图15示出要存储在标题部分630中的信息的概要。
标题部分630存储标题大小631、元数据版本632、内容更新曰 期和时间633、脸部数据结构标志660、时间刻度634和脸部数据单 元个数635。标题部分630还存储脸部数据大小636、脸部检测引擎 版本637、内容图l象大小638和错误检测代码值639。
数据的这些存储部分各自的数据大小如图15的"大小"栏所列出 的那样，用字节单位表示。以下将主要说明视频内容文件的脸部元数 据(视频文件条目的下层的元数据条目)。在登记脸部的脸部元数据 (登记脸部条目的下层的元数据条目)中，例如，除了标题大小631 和脸部数据结构标志660以外记录"O"。
标题大小631存储标题部分630的数据大小。从而，当访问脸部 数据部分640时，标题大小631使得可以跳过标题部分630而直接访 问脸部数据部分640。标题大小631的数据大小是2个字节。
元数据版本632存储对应于标题部分630的脸部数据部分640 中存储的脸部元数据的版本信息。当在内容播放设备上播放内容文件 时，内容播放设备检查元数据版本632中存储的脸部数据的版本，从 而验证该版本是否是播放设备支持的版本。根据本发明的 一 个实施方 式，记录"1.00"。元数据版本632的数据大小是2个字节，其中高8 位表示主要版本，低8位表示次要版本。如果脸部元数据格式被扩展， 则在此存储扩展后的版本信息。
内容更新日期和时间633存储内容文件被存储的更新日期和时 间。例如，由成像装置IOO拍摄的视频内容文件可以被传送到另一设 备，然后经过编辑的视频内容文件可以存储在成像装置100中。这种 情况下，在经过编辑的视频内容文件与脸部元数据之间产生不一致。 具体地说，例如，视频内容文件可以在如下所述的3个步骤1~3中 传送。这种情况下，检测出不一致，从视频内容文件B中检测脸部元数据，从而修正在经过编辑的视频内容文件与脸部元数据之间产生的 不一致。
(1 )步骤1
在内容存储设备A中存储视频内容文件A，然后生成对应于该 视频内容文件A的脸部元数据。这种情况下，视频内容文件A的创 建日期和时间以及更新日期和时间与脸部元数据的内容更新日期和 时间相同。
(2 )步骤2
将视频内容文件A传送到内容播放设备B，然后在内容播放设 备B上进行编辑。从而视频内容文件A变成视频内容文件B。这种情 况下，视频内容文件B的更新日期和时间被更新为编辑时的日期和时 间。
(3)步骤3
将视频内容文件B传送到内容存储设备A。这种情况下，视频 内容文件B和脸部元数据在内容更新日期和时间的值上不同。
脸部数据结构标志660包括表示由存储在脸部数据部分640中的 脸部数据定义的元数据的有无的标志。脸部数据结构标志660将参照 图17~图22详细说明。
时间刻度634包含在脸部数据部分中使用的时刻信息的时间刻 度(表示每秒的单位数)的记录。更具体地说，将表示从视频内容文 件中检测出脸部的时刻的信息(脸部检测时刻信息)作为脸部数据存 储在脸部数据部分中。该时刻信息的时间刻度被存储在时间刻度634 中。时间刻度634的单位是Hz。脸部数据单元个数635存储在标题 部分630之后记录的脸部数据单元的个数的记录。如果没有检测出脸 部，则记录"O"。
脸部数据大小636包含表示在标题部分630之后存储的一个脸部 数据单元的数据大小的信息。按照脸部数据大小636中存储的信息， 可以跳过各脸部数据单元。如果没有检测出脸部，则记录"O"。
脸部检测引擎版本637存储用于从视频内容文件中检测脸部的
36脸部检测引擎的信息。如果内容播放设备在脸部元数据的播放过程中 识别出由性能低于自身设备的脸部检测引擎检测出的脸部元数据，则脸部检测引擎版本637用作是否重新检测脸部元数据的判断标准。脸 部检测引擎的信息例如以ASCII代码描述。例如，如果元数据版本是"1.00"，则数据记录按照图16所示的 顺序在脸部数据部分640上执行。当内容播放设备识别出元数据版本 为"1.00"时，由于具有固定长度的各数据位于预定的数据位置，因此 脸部数据部分640的期望数据净皮迅速访问。内容图像大小638存储表示从其中检测出脸部的图像的高度和 宽度的信息。错误检测代码值639存储表示在从其中检测出脸部的图 像的预定范围内计算的错误检测代码值(错误纠正代码值)的信息。 例如，在生成脸部元数据的期间，将从对应的图像数据计算的校验和 的值记录到错误检测代码值639上。校验和用作错误检测代码值。可 替代地，错误检测代码值可以是循环冗余校验(CRC )值和基于hash (哈希)函数的hash值之一。与内容更新日期和时间633同样，内容图像大小638和错误检测 代码值639可以用于检测视频内容文件与脸部元数据之间的不一致。 引起不一致的机制与步骤1~3相同。例如，静止图像内容文件包含 大量的静止图像编辑软件程序，在一些程序中，即使在静止图像;故更 新时，内容数据中的内容日期和时间也可能未被更新。这种情况下， 对内容更新日期和时间以及内容图像大小进行比较处理。从而可靠地 检测出不一致。图16是示意性地示出本发明实施方式的脸部数据部分640中存 储的脸部数据的图。脸部数据部分640按照标题部分630的脸部数据 结构标志660的位分配的顺序来存储脸部数据。脸部数据部分640存储脸部检测时刻信息641、基本脸部信息 642、脸部得分643、笑脸得分644、脸部重要度645、个人识别ID 646 和脸部特征量647。这些信息的存储单位是字节。以下用"1.00"的元 数据版本来定义这里将说明的视频内容文件的脸部元数据(视频文件条目的下层的元数据条目)。另外，例如仅将个人识别ID 646和脸部 特征量647作为登记脸部的脸部元数据(下层的元数据条目)存储。
脸部检测时刻信息641将对应的视频内容文件的开头作为"O，，而 存储检测出脸部数据的帧的时刻。脸部检测时刻信息641包含是存储 在标题部分630的时间刻度634中的时间刻度的整数倍的值。
基本脸部信息642存储从构成视频内容文件的各帧检测出的脸 部的位置和大小的信息。在基本脸部信息642中，脸部位置信息由高 4个字节定义，脸部大小信息由低4个字节定义。例如，脸部位置信 息可以表示从其中检测出脸部的图像的左上角与所检测的脸部的左 上点之间的差，脸部的横轴由高16位定义，脸部的纵轴由低16位定 义。例如，脸部大小信息表示所检测的脸部的图像大小，脸部宽度由 高16位定义，脸部高度由低16位定义。基本脸部信息642是使用脸 部元数据的应用中最重要的元数据。
脸部得分643存储与表示所检测的脸部的脸部相似度的得分有 关的信息。
笑脸得分644存储与表示所检测的脸部笑的程度的得分有关的信息。
脸部重要度645存储表示在相同时刻检测的图像的优先级(重要 度)的信息。例如，可能在相同的帧内检测出多个脸部。可以向靠近 图像中心的脸部或被聚焦的脸部分配高的优先级。在其中包含的信息 中，值越小，该脸部就越重要。例如，"l"可能是最重要的值。在将 该图像显示在移动终端的小屏幕上时，可以仅显示具有最高优先级的 脸部，代替以小的尺寸显示其它脸部。
个人识别ID 646存储针对各个登记脸部设置以识别检测出的脸 部的识别符。另外，例如在登记脸部的脸部元数据(下层的元数据条 目)中，存储对应于上层的登记脸部条目的登记脸部的个人识别ID。 另外，当确定所检测的脸部对应于任意的登记脸部时，针对视频内容 文件的脸部元数据(视频文件条目的下层的元数据条目)，存储对应 于登记脸部的个人识别ID。
38脸部特征量647存储在从所检测的脸部提取特征量时使用的算 法以及用于识别在脸部识别中使用的辞典等的识别信息。另外，在登 记脸部的脸部元数据(登记脸部条目的下层的元数据条目)的情况下， 脸部特征量647存储用于识别个人的特征量。在视频内容文件的脸部 元数据(视频文件条目的下层的元数据条目)的情况下，当确定所检 测的脸部对应于任意的登记脸部时，可以存储从所检测的脸部提取的 特征量。
根据本发明的一个实施方式，当存储了所检测的脸部的脸部数据 时，按照其检测的顺序存储该脸部数据。从而可以按照时间顺序快速 地搜索脸部数据。而且，在相同的视频内容文件中，包含在所有脸部 数据中的元数据被认为是相同的类型，并且按照图16所示的顺序存 储脸部数据。不必存储图16的所有数据，但存储相同视频内容文件 中的相同类型的元数据。这样，所有的脸部数据保持固定长度，从而 增加了脸部数据的可访问性。由于存储了相同视频内容文件中的相同 类型的元数据，从而提高了预定的元数据的可访问性。
图17示出本发明实施方式的标题部分630 (如图15所示)的脸 部数据结构标志660的数据结构。图18~图22示出本发明实施方式 的脸部数据结构标志660中存储的位与脸部数据部分640中存储的脸 部数据之间的关系。
根据本发明的实施方式，如图16所示，定义了脸部数据部分640 的7个单位的元数据。按照脸部数据部分640的顺序，将数据分配到 从脸部数据结构标志660的最低有效位(Least Significant Bit, LSB ) 开始的0位~6位。脸部数据结构标志660的各个位填充了脸部数据 的对应的数据字段的数据有无的指示。更具体地说，如果在脸部元数 据的数据字段中有数据，则在脸部数据结构标志660的对应位中存储 "1"，如果在脸部元数据的数据字段中没有数据，则在对应位中存储 "0"。这样，如果在脸部数据部分640中有元数据，则在对应位中设 定"1"。而且，在脸部数据结构标志660中，7位和后续位被保留用于 脸部数据内的将来的扩展。更具体地说，例如，在视频内容文件的脸部元数据的情况下，脸
部数据部分640如图18A所示存储由"1.00"的元数据版本定义的数 据。这种情况下，如图18B所示，从LSB开始的0位~6位填充"1"。 成像装置100不必存储所有的数据，但存储必要的数据。脸部元数据 取决于脸部元数据的应用而柔性地存储，从而降低了数据量。
另外，例如在登记脸部的脸部元数据(登记脸部条目的下层的元 数据条目)的情况下，脸部数据部分640如图19A所示存储个人识别 ID和脸部特征量的数据。这种情况下，如图19B所示，从LSB开始 的0位 4位填充"0",从LSB开始的5位~6位填充"1"。
另外，在视频内容文件的脸部元数据(视频文件条目的下层的元 数据条目)的情况下，例如如图20 ~图22所示定义脸部数据部分640 中的元数据。
如图20A所示，例如另一内容存储i殳备在脸部数据部分640中 存储由"1.00"的元数据版本定义的7个数据单元中的3个数据单元。 这种情况下，所记录的元数据的顺序如图16所示，没有数据的空字 段被填充数据。图20B示出存储在另一内容存储设备中的脸部数据结 构标志660的实际数据的例子，"l"被存储在分配给当前作为脸部数 据的数据字段的标志中。这样，在由"1.00，，的元数据版本定义的范围 内，内容存储设备可以存储任何元数据。即使在另一内容存储设备中 存储了不同的元数据，播放脸部元数据的内容播放设备也可以参照标 题部分的信息，从而验证元数据内的元数据的有无。由于脸部数据在 数据长度上是固定的，因此可以快速访问期望的元数据。
参照
本发明的一个实施方式的脸部数据部分640中存 储的脸部数据的扩展方法。如果将来脸部检测技术提高，或者如果将 脸部检测结果用于新的应用，则仅是由"1.00"的元数据版本定义的元 数据可能是不够的。因此，以下说明对存储在脸部数据部分640中的 脸部数据进行扩展的例子。
图21A示出扩展脸部数据的例子。扩展脸部数据包括表示所检 测的脸部的性别差异的"性别差异得分"和表示所检测的脸部在帧中
40的角度的"角度信息"。增加了这些数据的脸部元数据被定义为"1.10" 的元数据版本，在标题部分630的元数据版本632的字段中存储 "1.10"。通过在由以前的版本定义的数据下增加新的元数据来扩展元 数据。更具体地说，当数据被存储在存储介质160中时，从其中记录 了由版本"1.00"定义的数据的物理地址之后的物理地址开始，以脸部 数据单位存储由版本"1.10"定义的数据。同样，在其中记录了由版本 "1.10"定义的数据的物理地址之后的地址，以脸部数据单位存储下一 元数据。
图22示出在由"1.10"的版本定义的元数据中，由一个存储设备 存储的元数据。例如，当存储了图21A的扩展脸部数据时，不必存储 图21A的所有脸部数据。如果有任何脸部数据没有被存储，则按照图 22A所示的数据的顺序存储图21A的脸部数据中的预定脸部数据，并 且用当前数据填充没有脸部数据的空的数据字段。
随着版本更新到"1.10，，，脸部数据结构标志也被扩展。在"1.00" 的版本中保留的位按照图21A所示定义的字段的顺序被分配新的位。 如果在脸部数据部分中有数据，则如图21B所示设定"l"。支持"1.10" 的版本的播放设备验证标题部分的脸部数据结构标志的位串，识别脸 部数据部分的数据结构。由于各脸部数据在数据长度上固定，因此期 望的元数据4皮快速访问。
支持"1.10，，的版本的存储设备可以在其可拆卸地装载的存储介 质中存储脸部元数据，并且可以将该存储介质移动到仅支持"1.00，，的 版本的播放设备。这种情况下，播放设备可以识别标题部分的脸部数 据结构标志的0位 6位。由于脸部数据大小的规格没有改变，因此， 如果脸部数据不被"1.00"的版本拒绝，则播放设备可以识别由"1.00" 的版本定义的脸部数据。在图22所示的例子中，例如播放设备可以 识别"脸部检测时刻信息"、"基本脸部信息"、"脸部得分"、"脸部重 要度"、"个人识别ID"、和"脸部特征量"。从而，播放设备可以访问 这些信息。元数据条目具有可访问性优良的数据结构，即使在记录器 或^番放器的版本改变时，也可以支持结构上的变更。以下说明本发明的一个实施方式的成像装置100的功能结构。
图23是示出本发明的一个实施方式的成像装置100的框图。成像装置100包括操作输入接收器140、成像单元211、脸部检测器212、脸部元数据生成器213、内容管理信息生成器214、代表性缩略图像提取器215和内容属性信息生成器216。另外，成像装置100还包括正规化单元220、特征量提取器221、脸部识别器222、记录控制器223、内容管理文件存储器250和内容存储器260。操作输入接收器140与图1所示的相同，省略对其的说明。
内容管理文件存储器250存储内容管理文件340，该内容管理文件340存储由分级结构构成的分级条目。而且，内容管理文件340的细节如图3~图ll所示。内容管理文件存储器250是本发明的实施方式的存储设备的例子。
内容存储器260存储视频或静止图像等内容文件。这里，例如内容管理文件存储器250和内容存储器260可以对应于图1所示的存储介质160。
成像单元211用于生成拍摄图像(帧)并将生成的图像发送给各部分。换言之，生成的图像被输出到脸部检测器212、脸部元数据生成器213、内容管理信息生成器214、代表性缩略图像提取器215、内容属性信息生成器216、正规化单元220和记录控制器223。成像单元211例如对应于图1所示的相才几部分110和相机DSP 120。
脸部检测器212检测由成像单元211输入的内容文件中包含的脸部。然后，脸部检测器212将所检测的脸部的出现时刻和位置输出到脸部元数据生成器213和正规化单元220。如果在相同时刻检测出多个脸部，则向脸部元数据生成器213输出所检测的每个脸部的出现时刻和位置。这里，用于检测脸部的处理可以包括记录了脸部的亮度分布的模板与脸部的实际图像的匹配(例如参照日本公开专利申请No.2004- 133637)、以及基于拍摄图像中的皮肤的颜色或人物脸部的特征量等。
脸部元数据生成器213根据经由成像单元211输入的内容文件生成脸部元数据。脸部元数据生成器213将生成的脸部元数据输出到记 录控制器223。脸部元数据生成器213包括脸部数据生成器218和标 题信息生成器219。根据由脸部检测器212检测的脸部的出现时刻和 位置，脸部数据生成器218生成脸部的脸部数据(图16的脸部数据 部分640的各数据)。另外，标题信息生成器219生成管理由脸部数 据生成器218生成的脸部数据的标题信息(图15的标题部分630的 信息)。记录控制器223接收由脸部数据生成器218生成的脸部数据 和由标题信息生成器219生成的标题信息。可选地，脸部数据生成器 218可以具有对于以预定间隔检测出但不满足预定条件的任何一个脸 部不生成脸部数据的选择。
内容管理信息生成器214根据内容文件生成用于管理经由成像 单元211输入的内容文件的内容管理信息401 (图5)。内容管理信 息生成器214将所生成的内容管理信息401输出到记录控制器223。
代表性缩略图像提取器215从经由成像单元211输入的内容文件 中提取内容文件的代表性缩略图像501~ 506 (参照图5)。接着，代 表性缩略图像提取器215将所提取的代表性缩略图像输出到内容属性 信息生成器216和记录控制器223。
内容属性信息生成器216根据内容文件生成与经由成像单元211 输入的内容文件相关的内容属性信息402 (图8)。然后，内容属性 信息生成器216将所生成的内容属性信息402输出到记录控制器223 。 内容属性信息生成器216生成包括由代表性缩略图像提取器215提取 的代表性缩略图像的存储位置的属性信息。换言之，内容属性信息生 成器216通过在与对应于代表性缩略图像提取器215提取的代表性缩 略图像的内容文件相关的内容属性信息中包括代表性缩略图像在缩 略图文件500中的存储位置(缩略图地址)，来生成属性信息。
正规化单元220参照由脸部检测器212检测的脸部中的双眼，对 与所检测的脸部对应的脸部图像进行正规化，然后将正规化后的脸部 图像(正规化脸部图像)输出到特征量提取器221和记录控制器223。 这里，例如可以以类似于脸部检测处理的方式来检测眼睛，包括记录
43了眼睛的亮度分布的模板与眼睛的实际图像之间的匹配。另外，正规
化单元220保持用于正规化的正规化模板，然后基于该正规化模板对 脸部图像进行正规化。例如，该正规化模板可以是图24C所示的基于 脸部图像中的眼睛的位置的正规化模板280。换言之，正规化单元220 通过对脸部图像除了进行缩放处理和旋转处理外还进行分辨率转换， 来对脸部图像进行正规化，从而脸部图像中的眼睛的位置将对应于正 规化模板280中的眼睛的位置。而且，脸部图像正规化和正规化模板 将参照图24详细说明。特征量提取器221从正规化单元220输出的 正规化脸部图像中提取特征量，然后将所提取的特征量输出到脸部识 别器222和记录控制器223。该特征量用于脸部识别器222的脸部识 别处理，并且向脸部数据部分640的脸部特征量647存储在提取特征 量时使用的算法。
脸部识别器222确定由脸部检测器212检测出的脸部是否是存储 在内容管理文件存储器250中的登记脸部。脸部识别器222将识别结 果输出到记录控制器223。换言之，脸部识别器222对从特征量提取 器221输出的特征量与存储在链接到登记脸部条目的下层的元数据条 目中的特征量进行比较。然后，脸部识别器222确定由脸部检测器212 检测出的脸部是否是登记脸部。另外，识别结果例如包括向记录控制 器223输出的、与所识别的登记脸部对应的个人识别ID和脸部检测 时刻信息。当在内容管理文件存储器250中存储了两个或更多个登记 脸部条目时，使用链接到各个登记脸部条目的下层的元数据条目中存 储的特征量来进行识别处理。例如，该脸部识别处理可以从作为比较 候选的登记脸部图像和正规化脸部图像提取特征量，然后根据所提取 的特征量进行脸部识别。即，进行从登记脸部图像提取的特征量与从 正规化脸部图像提取的特征量之间的比较，计算这些特征量之间的类 似度。当所计算的类似度超过阈值时，确定正规化脸部图像中的脸部 对应于登记脸部。可替代地，脸部识别处理可以利用弱识别器来进行 识别处理，该弱识别器使用在作为比较候选的登记脸部图像和正规化 脸部图像上的两个不同点处获得的特征量之差。可替代地，脸部识别处理可以使用特征向量作为特征量来进行识别处理(例如参照日本公
开专利申请No. 2008 - 129830)。
记录控制器223使内容管理文件存储器250存储包括由内容管理 信息生成器214生成的内容管理信息401和由内容属性信息生成器 216生成的内容属性信息402的视频文件条目。记录控制器223还使 内容管理文件存储器250将包括由脸部元数据生成器213生成的脸部 元数据的元数据条目存储到与这样的内容文件对应的视频文件条目 的下层。而且，记录控制器223使内容管理文件存储器250存储由代 表性缩略图像提取器215提取的代表性缩略图像作为缩略图文件500。 另外，当从脸部识别单元得到登记脸部的识别结果时，记录控制器223 使内容管理文件存储器250在所生成的元数据条目中存储识别结果。 另外，对应于登记脸部的登记脸部条目的识别编号被存储在所生成的 视频文件条目中。而且，所生成的视频文件条目的条目编号被存储在 对应于登记脸部的登记脸部条目中。当进行脸部登记时，从正规化单 元220输出的正规化脸部图像作为登记脸部图像存储在缩略图文件 500中。并且，记录控制器223根据从特征量提取器221输出的特征 量生成标题信息，该标题信息将存储在脸部元数据的标题部分630中。 然后，生成元数据条目。元数据条目包括存储了所生成的标题信息的 标题部分和存储了对应于特征量的脸部数据的脸部数据部分。记录控 制器223生成管理对应于所生成的元数据条目的登记脸部的登记脸部 条目。接着，所生成的元数据条目和所生成的登记脸部条目都被存储 在内容管理文件存储器250中。这里，记录控制器223是本发明的实 施方式的控制单元的例子。
图24是示意性地示出本发明实施方式的在识别拍摄图像中的脸 部的处理和将该拍摄图像中的脸部作为登记脸部图像登记的处理中 的一系列步骤的图。图24A表示与成像单元211输出的帧相对应的图 像270。图24B表示包括由脸部检测器212检测的脸部的脸部图像273。 另外，图24C表示使用正规化模板280正规化后的正规化脸部图像 276，图24D表示正规化脸部图^f象276中的脸部被识别的情况和正规
45化脸部图像276被作为登记脸部图像登记的情况。在该例子中，图像 270中包括的人物是ICHIRO KODA 521。
如图24A所示，例如，当脸部检测器212接收到从成像单元211 输出的图像270时，脸部检测器212检测图像270中的ICHIRO KODA 521的脸部272。这里，在图24B中，脸部图像273中的ICHIRO KODA 521的脸部272的各个眼睛的中心位置分别用位置274和275表示。
正规化单元220进行缩放处理、旋转处理等，从而脸部图像273 中的眼睛的位置274和275与图24C所示的正规化才莫板280中的参考 位置281和282重叠。这里，正规化模板280保持在正规化单元220 中，当正规化单元220进行正规化处理时使用。例如，可以对脸部图 像273进行旋转处理，从而生成正规化脸部图像276。如图24C所示， 正规化脸部图像276中的脸部272的眼睛的位置274和275与正规化 模板280中的参考位置281和282重叠。
如图24D所示，当特征量提取器221接收到由正规化单元220 正规化后的正规化脸部图4象276时，特征量提取器221从正规化脸部 图像276中提取特征量。如果该提取的特征量被输出到脸部识别器 222，则脸部识別器222使用当前存储在与登记脸部条目的下层链接 的元数据条目中的特征量，进行脸部识别处理。该脸部识别处理的结 果被输出到记录控制器223。例如，当作为脸部识别处理的结果识别 为包含在正规化脸部图像中的脸部是登记脸部时，将对应于所识别的 登记脸部的个人识别ID和脸部检测时刻信息输出到记录控制器223。
另外，如图24D所示，当按下登记按钮时，从正规化单元220 输出的正规化脸部图像被存储在缩略图文件500中，然后，由属性文 件400生成对应于该正规化脸部图像的登记脸部条目。另外，生成链 接到登记脸部条目的下层的元数据条目，然后将从特征量提取器221 输出的特征量存储在该元数据条目中。
例如，当如图24D所示登记ICHIRO KODA 521的脸部时，在 缩略图文件500中存储登记脸部图像511。然后，生成存储了从登记 脸部图像511提取的特征量的元数据条目(# 10) 462,然后将该元数据条目(# 10 ) 462存储在属性文件400中。
如上所述，当登记特定人物的脸部时，可以将正规化脸部图像作 为登记脸部图像登记。可替代地，可以将由成像装置拍摄的原始脸部 图像作为登记脸部图像登记。另外，例如当通过脸部识别处理，所检 测的脸部不对应于任何现有的登记脸部时，可以在每次检测出来时， 将所检测的脸部作为新的登记脸部登记。
在存储介质160中存储视频内容文件的情况下，例如当针对由脸 部检测器212检测的所有脸部中的每个脸部生成脸部数据时，所生成 的数据量庞大。当用于脸部检测的时间间隔被设定得短时，可能发生 脸部数据量的增加，存储在存储介质160中的数据量可能增加。这样， 为了降低存储在存储介质160中的数据量，以下说明防止不希望的脸 部数据被存储的例子。
例如，在一帧中检测出的脸部当中，可以定义将存储在脸部数据 部分640中的脸部数据的值。例如，可以才艮据在一帧中检测的脸部的 大小和位置、以及脸部得分的高级别的脸部的预定条件等，定义和限 制将存储在脸部数据部分640中的脸部数据的最大值。而且，例如， 可以预先决定存储在脸部数据部分640中的脸部数量的上限，当所检 测的脸部的数量超过该上限时，可以根据所检测的脸部的大小和位置 限制脸部元数据。上述限制能够防止存储介质160由于在脸部数据部 分640中存储不希望的脸部(条件差的脸部、难以识别的脸部等)而 被填满。因此，不必生成在一帧中检测出的所有脸部的脸部数据。
而且，例如可以仅当从作为脸部检测对象的连续帧检测的脸部数 量改变时，才存储脸部数据。该例子将参照图25详细说明。
图25示出从包括在视频内容文件中的帧823 ~ 828检测的脸部与 存储在脸部数据部分640中的脸部数据8U 822的关系。如图25所 示，从帧823~828检测的各脸部被包围在矩形轮廓中。从帧823和 帧824各检测出1个脸部。从帧825和帧827各检测出2个脸部。从 帧826和帧828各检测出3个脸部。
图25所示的例子示出将条件(1)和条件(2)设定为在内容管理文件340中存储脸部数据的条件。在条件(1)下，如果从检测时 刻的帧中检测出的脸部数量等于从下 一检测时刻的下 一帧检测的脸 部数量，则不在脸部数据部分640中存储从下一检测时刻的帧检测的 脸部的脸部数据。这是因为，由于在这些帧中检测的相同的脸部数量， 存储相同脸部的元数据的可能性很高。在条件(2)下，从检测时刻 的帧中检测出的脸部数量小于从下 一 检测时刻的下 一 帧检测的脸部 数量，则不在脸部数据部分640中存储在下一检测时刻检测的脸部的 脸部数据。这是因为，当从一帧中检测的脸部数量小于另一帧时，存 储相同脸部的元数据的可能性很高。
例如，从检测时刻tl的帧823中检测出的脸部数量等于从检测 时刻t2的帧824检测的脸部数量。在这种情况下，在脸部数据部分 640中存储从检测时刻tl的帧823检测的脸部的脸部数据。但是，不 在脸部数据部分640中存储从检测时刻t2的帧824检测的脸部的脸部 数据。另夕卜，从检测时刻t5的帧827中检测出的脸部数量小于从检测 时刻t4的帧826检测的脸部数量。这种情况下，同样，在脸部数据部 分640中存储从检测时刻t4的帧826检测的脸部的脸部数据。但是， 不在脸部数据部分640中存储从检测时刻t5的帧827检测的脸部的脸 部数据。从而，仅当从作为脸部检测对象的连续帧检测的脸部数据增 加地变化时，才存储脸部数据。因此，可以防止存储介质160存储基 本重复的数据。
图26是示出本发明的实施方式的成像装置100的与其重放功能 有关的示例性结构的框图。成像装置100包括操作输入接收器140、 选择器231、提取器232、描绘单元233、显示单元234、内容管理文 件存储器250和内容存储器260。操作输入接收器140与图1所示的 相同，省略对其的说明。
内容管理文件存储器250存储由图23所示的记录控制器223存 储的内容管理文件340。然后将存储在内容管理文件340中的各条目 和各图像提供给选择器231和提取器232。
内容存储器260存储由图23所示的记录控制器223记录的内容
48文件。然后将当前存储的各内容文件提供给提取器232。
选择器231响应于通过操作输入接收器140输入的操作输入而进 行选择处理，然后将选择结果提供给提取器232。
具体地说，当经由操作输入接收器140向选择器231输入了用于 从当前显示在显示单元234上的登记脸部图像中选择一个登记脸部图 像的选择操作时，选择器231选择存储在与所选择的登记脸部图像对 应的登记脸部条目列表中的条目编号。然后，将所选择的登记脸部条 目的条目编号输出到提取器232。另外，当经由操作输入接收器140 向选择器231输入了用于从当前显示在显示单元234上的代表性缩略 图像中选择一个代表性缩略图像的选择操作时，选择器231选择与所 选择的代表性缩略图像对应的文件条目。然后，将所选择的文件条目 的条目编号输出到提取器232。并且，当经由操作输入接收器140向 选择器231输入了用于从当前显示在显示单元234上的脸部缩略图像 中选择一个脸部缩略图像的选择操作时，选择器231选择与所选择的 脸部缩略图像对应的脸部数据。然后，将所选择的脸部数据的脸部检 测时刻信息641输出到提取器232。换言之，选择器231从当前存储 在内容管理文件存储器250中的内容管理文件340中的各个条目中选 择期望的条目。另外，选择器231从包含在元数据条目的脸部元数据 的脸部数据中选择期望的脸部数据。
提取器232根据从选择器231输出的条目编号选择存储在内容管 理文件存储器250中的登记脸部图像或代表性缩略图像。另外，提取 器232根据从选择器231输出的条目编号提取由内容存储器260存储 的内容文件。而且，提取器232提取当前存储在与从选择器231输出 的条目编号相对应的文件条目的下层的元数据条目中包含的脸部数 据。然后，根据脸部数据中包含的脸部检测时刻信息、位置信息等， 从内容文件中提取与该脸部数据对应的脸部缩略图像。这是基于当前 存储在包含从选择器231输出的脸部数据的脸部检测时刻信息641的 元数据条目的上层的文件条目。并且，提取器232提取内容文件。从 存储在内容存储器260上的内容文件中，提取器232提取与脸部检测时刻信息641对应的记录时刻及其以后时刻的内容文件。提取器232 将这些提取结果输出到描绘单元233。选择和提取处理将在后面参照 图27和图31详细说明。描绘单元233基于从提取器232输出的提取 结果来描绘图像。换言之，响应于从提取器232输入的提取结果，描 绘单元233描绘从存储在内容存储器260中的内容文件提取的脸部缩 略图像和从存储在内容存储器260中的内容文件提取的视频。描绘单 元233还描绘存储在内容管理文件存储器250的缩略图文件500中的 代表性缩略图像。
显示器234显示由描绘单元233描绘的图像。显示器234可以是 图1所示的LCD 180。显示器234的显示例子将参照图27~图31详 细说明。
以下参照附图详细" 兌明应用属性文件400和缩略图文件500来插_ 放视频内容文件。
图27是示意性地示出登记脸部条目(#7) 461、 ^L频文件条目 (#44) 423、元数据条目(#47) 424、缩略图文件500和^L频内容 文件312之间的关系的图。
例如，登记脸部条目(#7) 461存储表示登记脸部图像511的 缩略图地址的"#11"。另外，登记脸部条目(#7) 461存储与出现登 记脸部图4象511中的登记脸部的视频内容文件312相对应的视频文件 条目(#44) 423的条目编号"#44"。
例如，视频文件条目(#44) 423存储表示视频内容文件312的 内容地址的"A312"、以及表示视频内容文件312的代表性缩略图像 502的缩略图地址的"#02"。 -現频文件条目(#44) 423的子条目列 表存储其中存储了视频内容文件312的元数据的元数据条目(#47) 424的条目编号"#47"。元数据条目(#47) 424的父条目列表存储 视频文件条目(#44) 423的条目编号"#44"。如图16所示，在元数 据条目(#47) 424的脸部元数据中存储了与所检测的脸部有关的各 种脸部元数据。
例如，根据元数据条目(#47) 424的脸部元数据的脸部检测时
50刻信息，可以确定浮见频内容文件312的各帧中的一帧(例如帧704)。 另外，根据元数据条目(#47) 424的脸部元数据的脸部基本信息， 可以从所确定的帧中取出脸部图像。而且，根据元数据条目(#47) 424的脸部元数据的个人识别ID，可以仅取出特定人物的脸部图像。 在图27中，箭头表示这些对应关系。
由于如上所述各条目的内容彼此相关联地管理，因此，可以快速 地搜索内容文件和特定人物的脸部图像。
以下参照附图详细说明使用内容管理文件340的应用。 图28~图31示出本发明实施方式的使用内容管理文件340的应 用的例子。该例子说明搜索出现ICHIRO KODA 521的视频内容文件 的情况和从出现ICHIRO KODA 521的场景开始t番方欠^L频内容文件 的情况。
例如，为了搜索ICHIRO KODA 521的脸出现的视频内容文件， 用户经由操作输入接收器140执行用于显示登记脸部图像列表的指示 操作。如果接收到该指示操作，则打开属性文件400并在该属性文件 400中搜索登记脸部条目。然后，提取存储在所有登记脸部条目中的 缩略图文件500的缩略图地址。接着，打开缩略图文件500。如图28A 所示，根据所提取的缩略图地址，从缩略图文件500中提取出登记脸 部图像511~514。而且，如图28B所示，在LCD 800的用于显示登 记脸部图像的区域700上显示登记脸部图像511 ~ 513。
这里，在显示区域700上显示的登记脸部图像511~513的右侧 显示各个登记脸部条目中存储的登记脸部的姓名。而且，通过按下向 上移动按钮701和705以及向下移动按钮702和703，或者移动滚动 条702,使显示区域700上显示的登记脸部图像向上或向下移动，从 而可以在显示区域700上显示其它登记脸部图像。可以将登记脸部图 寸象514等其它登记脸部图《象显示在显示区域700上。而且，可以按下 返回按钮704以将显示改变到紧接此前的画面。图28~图31将图像 显示为，在显示在显示画面上的图像中，由用户选择的图像设置有选 择标记707。例如，图28B示出向登记脸部图像511附加了选择标记
51707的状态。可以通过按下LCD 180上的触摸面板来执行这样的登记 脸部图像的选择。
在图28B所示的显示画面上，例如，当选择了登记脸部图像511 时，打开属性文件400。而且，如图29A所示，提取视频文件条目。 即，所提取的视频文件条目与对应于所选择的登记脸部图像511的登 记脸部条目(#7)461的出现登记脸部内容列表中存储的各条目编号 相对应。例如，提取出与登记脸部条目(#7) 461的出现登记脸部内 容列表中存储的条目编号"# 37"、 " # 44"和"# 69"相对应的视频文件 条目。然后，分别提取出在所提取的视频文件条目(#37) 421、 (# 44)423和(#69)441中存储的缩略图地址"# 01"、 "#02"和"#05"。 然后，打开缩略图文件500,根据所提取的缩略图地址，从缩略图文 件500中提取代表性缩略图像501、 502和505。如图29B所示，例如 在LCD 180上的用于显示代表性缩略图像的显示区域710上显示代表 性缩略图^f象501、 502和505。
这里，在LCD 180上的用于显示代表性缩略图像的显示区域710 的左侧，显示在紧接此前的画面上操作的特定人物的脸部图像(例如 登记脸部图像511)。而且，当所提取的代表性缩略图像的数量大于 可以显示在区域710上的代表性缩略图像的数量时，可以通过操作向 上移动按钮、向下移动按钮或者滚动条来显示任何其它代表性缩略图 像。另外，可以通过按下返回按钮714将画面返回到图28B所示的登 记脸部图像列表。
在图29B所示的显示画面上，例如，当选择了代表性缩略图像 502时，属性文件40(H皮打开。而且，如图30A所示，根据对应于代 表性缩略图像502的视频文件条目(#44) 423中存储的内容地址 "A312"，提取出视频内容文件312。根据视频文件条目(#44) 423 中存储的子条目列表"#47",提取出元数据条目(#47) 424。然后， 根据当前存储在元数据条目(#47) 424中的脸部元数据(脸部检测 时刻信息641、脸部基本信息642和个人识别ID 646 )，从视频内容 文件312生成ICHIRO KODA的脸部缩略图像。而且，如图30B所
52示，在LCD 180上的用于显示脸部缩略图像的显示区域720上显示脸 部缩略图^f象721 ~ 724。这些脸部缩略图〗象例如如图30B所示是包含 ICHIRO KODA的脸部的矩形图像。在该例子中，当生成脸部缩略图 像时，使用个人识别ID 646来识别特定的脸部。但是，例如可以预先 在脸部特征量647中依次存储所检测的脸部的特征量。当生成脸部缩 略图像时，使用特征量来识别脸部以生成脸部缩略图像。
这里，图30B使用箭头将显示在用于显示脸部缩略图像的显示 区域720上的脸部缩略图《象721 ~ 724与对应的^L频内容文件上的存 储位置彼此连接而示出它们之间的对应关系。而且，如果所提取的脸 部缩略图像的数量大于可以显示在显示区域720上的脸部缩略图像的 数量，则可以通过操作向左按钮、向右按钮或者滚动条来显示任何其 它脸部缩略图像。另外，可以通过按下返回按钮730将显示画面返回 到图29B所示的代表性缩略图像列表。
在图30B所示的显示画面上，当选择了脸部缩略图4象723时， 属性文件400被打开。然后，如图31A所示，从存储在元数据条目(# 47) 424中的脸部元数据的脸部检测时刻信息中，提取出对应于脸部 缩略图像723的脸部检测时刻信息。这种情况下，按照从所选择的脸 部缩略图像723的开头开始的顺序，从存储在元数据条目(#47)424 中的脸部元数据中确定对应于脸部缩略图像723的脸部数据。然后，
提取出包含在该确定的脸部数据中的脸部检测时刻信息。然后，根据 所提取的脸部检测时刻信息，在LCD 180上显示从对应于视频内容文 件312的脸部检测时刻信息的时刻开始的视频。例如，从图30B所示 的视频内容文件312的帧位置731开始4番放视频。
另外，例如如图31B所示，视频播放区域740显示从出现与脸 部缩略图像723对应的脸部的场景开始的视频。另外，通过按下任意 操作按钮741 ~ 744，可以4吏显示在视频播放区域740上的视频快进、 停止等。另外，通过按下返回按钮745，可以将画面返回到图30B所 示的脸部缩略图像列表。
这样，当搜索出现特定人物(例如ICHIRO KODA)的视 时，通过在LCD 180上选择该特定人物的登记脸部图像，可以容易地搜索 出现该特定人物的视频。在出现特定人物的视频的情况下，当从该人 物出现的场景开始播放时，在LCD 180上显示所搜索的视频内容中包 含的特定人物的脸部缩略图像。然后，在LCD 180上选择所显示的脸 部缩略图像。可以从出现包含在所选择的脸部缩略图像中的特定人物 的场景开始播放视频。
因此，在显示出现特定人物的内容文件的情况下，可以只打开属 性文件和缩略图文件，而不打开所有其它内容文件。这样，可以执行 快速处理。另外，通过利用槽进行固定长度管理(条目编号管理)， 可以执行快速处理。
以下参照
本发明的一个实施方式的成像装置100的操 作。图32是示出本发明实施方式的成像装置100对要登记的脸部进 行登记的处理的流程图。在该例子中，说明登记脸部存储模式下的脸 部登记处理。
首先，确定是否设定了登记脸部存储模式(步骤S901)。如果 没有设定登记脸部存储模式(步骤S901)，则结束登记处理。如果设 定了登记脸部存储模式(步骤S901)，则由成像单元211生成拍摄图 像(步骤S902)。在LCD 180上显示由所生成的拍摄图像和辅助图 像(如图6所示)构成的合成图像(步骤S903)。然后，确定是否按 下了登记按钮(步骤S904 )。如果没有按下登记按钮(步骤S904 )， 则处理前进到步骤S919。
如果按下了登记按钮(步骤S904)，则脸部检测器212检测包 含在拍摄图像中的脸部(步骤S905)。然后，正规化单元220对包含 所检测的脸部的脸部图像进行正规化，然后生成正规化脸部图像(步 骤S906)。接着，特征量提取器221从所生成的正规化脸部图像中提 取特征量(步骤S907 )。然后，记录控制器223打开内容管理文件存 储器250的缩略图文件500 (步骤S908)，然后将所生成的正规化脸 部图像作为登记脸部图像存储在缩略图文件500中(步骤S909)。这 种情况下，在存储器中存储登记脸部图像的缩略图文件500的缩略图
54地址。然后，记录控制器223关闭缩略图文件500 (步骤S910)。
然后，记录控制器223根据所提取的特征量，生成将存储在脸部
元数据的标题部分630中的标题信息(步骤S911)。然后，记录控制
器223生成包含其中脸部数据对应于所提取的特征量的脸部数据部分
的元数据条目(步骤S912)。
然后，记录控制器223生成管理对应于所生成的元数据条目的登
记脸部的登记脸部条目(步骤S913)。将在步骤S卯9中存储在缩略
图文件500中的登记脸部图像的缩略图地址存储在登记脸部条目的缩
略图地址中。
然后，记录控制器223打开内容管理文件存储器250的属性文件 400 (步骤S914)。然后，记录控制器223计算所生成的元数据条目 和登记脸部条目的条目编号。根据该计算结果，将所生成的元数据条 目和登记脸部条目存储在属性文件400中(步骤S915 )。即，按照槽 编号的顺序将元数据条目和登记脸部条目分配到属性文件400。
然后，记录控制器223在属性文件400所存储的登记脸部条目的 子条目列表中存储元数据条目的条目编号。另外，记录控制器223在 元数据条目的父条目列表中存储登记脸部条目的条目编号(步骤 S916)。
然后，记录控制器223在登记脸部条目,皮存储在属性文件400 中的登记脸部文件夹条目的子条目列表中存储该登记脸部条目的条 目编号。另外，在该登记脸部条目的父条目列表中存储登记脸部文件 夹条目的条目编号(步骤S917)。然后，记录控制器223关闭属性文 件400 (步骤S918)，然后确定是否解除了登记脸部存储模式(步骤 S919)。如果解除了登记脸部存储模式(步骤S919)，则结束登记脸 部处理。另一方面，如果没有解除登记脸部存储模式(步骤S919)， 则处理返回到步骤S902。
图33是示出本发明实施方式的成像装置100进行的内容管理文 件340的记录处理的流程图。
在该例子中，说明视频存储模式下的视频内容文件存储处理。首先，确定是否设定了视频存储模式(步骤S921)。如果没有 设定视频存储模式(步骤S921),则结束内容管理文件340的存储处 理。如果设定了视频存储模式(步骤S921)，则确定是否按下了记录 按钮(步骤S922 )。如果没有按下记录按钮(步骤S922),则处理 返回到步骤S921。
如果按下了记录按钮(步骤S922)，则成像单元211生成拍摄 图像(步骤S923 )，脸部检测器212执行检测包含在拍摄图像中的脸 部的处理(步骤S924 )。脸部检测处理可以针对每个所生成的图像来 进行，或者可以定期地进行。这里，步骤S924是本发明实施方式的 脸部检测过程的例子。然后，确定是否从拍摄图像检测到脸部(步骤 S925)。如果没有从拍摄图像检测到脸部，则处理前进到步骤S933。 而且，在步骤S925中，即使从拍摄图像检测到脸部，也确定该检测 的脸部是否落入预定条件的预定范围内。如果所检测的脸部没有落入 预定范围，则处理可以前进到步骤S933。
另一方面，如果从拍摄图像检测到脸部(步骤S925)，则脸部 数据生成器218根据所检测的脸部生成脸部数据(步骤S926 )。将所 生成的脸部数据存储在存储器中，直到按下了记录按钮。如果所生成 的图像对应于开头帧，则代表性缩略图像提取器215提取所生成的图 像(代表性缩略图像)。
然后，正规化单元220对包含所检测的脸部的脸部图像进行正规 化，生成正规化脸部图像(步骤S927)。接着，特征量提取器221 从所生成的正规化脸部图像中提取特征量(步骤S928)。然后，脸部 识别单元222通过对链接到内容管理文件存储器250的每个登记脸部 条目的元数据条目中当前存储的特征量与所提取的特征量进行比较， 来执行脸部识别处理(步骤S929 )。这里，步骤S929是本发明实施 方式的脸部识别过程的例子。判断该脸部识别处理是否识别出所检测 的脸部是由登记脸部条目管理的登记脸部(步骤S930)。如果所检测 的脸部没有被识别为登记脸部(步骤S930 ),则处理前进到步骤S932。 另一方面，如果所检测的脸部被识别为登记脸部(步骤S930)，则在
56存储器中存储对应于该登记脸部的登记脸部条目的条目编号、对应于
该登记脸部的个人识别ID和脸部检测时刻信息(步骤S931)。
然后，确定是否针对从拍摄图像检测的所有脸部都完成了脸部识 别处理(步骤S932 )。如果没有针对从拍摄图像检测的所有脸部都完 成脸部识别处理(步骤S932),则处理返回到步骤S927。即，脸部 识别处理针对一帧中的所有脸部重复进行。另一方面，如果针对从拍 摄图像检测的所有脸部都完成了脸部识别处理(步骤S932)，则确定 是否按下了记录按钮(步骤S933)。如果没有按下记录按钮(步骤 S933)，则处理返回到步骤S923。
如果按下了记录按钮(步骤S933)，则记录控制器223打开内 容管理文件存储器250的缩略图文件500 (步骤S934)。然后，将与 在步骤S926中存储在存储器中的开头帧相对应的拍摄图像作为代表 性缩略图像存储在缩略图文件500中(步骤S935)。这种情况下，在 存储器中存储代表性缩略图像的缩略图文件500的缩略图地址。然后， 记录控制器223关闭缩略图文件500 (步骤S936)。
然后，记录控制器223根据当前存储在存储器中的脸部数据，生 成将存储在脸部元数据的标题部分630中的标题信息(步骤S937)。 然后，记录控制器223生成存储所生成的标题信息的标题部分和包含
骤S938)。该元数据条目在与在步骤S931中存储在存储器中的脸部 检测时刻信息相对应的脸部数据中存储在步骤S931中存储在存储器 中的个人识别ID。
然后，记录控制器223生成管理对应于由成# 单元211生成的拍 才聂视频的视频内容文件的视频文件条目(步骤S939)。该视频文件条 目的缩略图地址存储在步骤S935中存储在缩略图文件500中的代表 性缩略图像的缩略图地址。视频文件条目的出现登记脸部列表存储在 步骤S931中存储在存储器中的登记脸部条目的条目编号。
然后，记录控制器223打开内容管理文件存储器250的属性文件 400 (步骤S940)。然后，记录控制器223计算所生成的元数据条目和视频文件条目的条目编号。根据该计算结果，将所生成的元数据条
目和视频文件条目存储在属性文件400中(步骤S941)。换言之，按 照槽编号的顺序将元数据条目和视频文件条目分配到属性文件400。
然后，记录控制器223在属性文件400所存储的视频文件条目的 子条目列表中存储属于该视频文件条目的元数据条目的条目编号。另 外，记录控制器223在元数据条目的父条目列表中存储该元数据条目 所属的视频文件条目的条目编号(步骤S942)。
然后，记录控制器223在视频文件条目被存储在属性文件400 中的视频文件夹条目的子条目列表中存储该视频文件条目的条目编 号。另外，在该视频文件条目的父条目列表中存储视频文件夹条目的 条目编号(步骤S943)。
然后，记录控制器223在与在步骤S931中存储在存储器中的条 目编号相对应的登记脸部条目的出现登记脸部内容列表中记录该视 频文件条目的条目编号(步骤S944)。这里，步骤S944是本发明的 实施方式的控制过程的例子。接着，记录控制器223关闭属性文件400 (步骤S945),然后结束内容管理文件340的存储处理。
以下参照
在播放视频内容文件时从出现期望人物的场 景开始播放视频内容文件的操作。
图34~图36是本发明实施方式的成像装置IOO播放视频内容文 件的过程的流程图。
监视从操作单元140的操作输入，以确定是否进行了显示登记脸 部图像列表的指示操作(步骤S951 )。如果确定没有进行显示登记脸 部图像列表的指示(步骤S951),则继续监视操作输入。
如果进行了显示登记脸部图像列表的指示操作(步骤S951)， 则打开属性文件400 (步骤S952 )，从属性文件400中提取各登记脸 部条目(步骤S953)。然后，在存储器中依次存储所提取的各个登记 脸部条目中当前存储的缩略图地址(步骤S954)。
然后，关闭属性文件400(步骤S955)，打开缩略图文件500(步 骤S956)。然后，根据在步骤S954中存储在存储器中的缩略图地址，从缩略图文件500中读出登记脸部图像，然后将所读出的登记脸部图 像依次存储在存储器中(步骤S957)。接着，关闭缩略图文件500(步 骤S958)。然后，在LCD180上显示在步骤S957中存储在存储器中 的登记脸部图像(步骤S959)。例如，可以如图28B所示显示这些 图像。
然后，确定是否进行了从LCD 180上显示的所有登记脸部图像 中选择一个登记脸部图像的选择操作(步骤S960)。如果没有进行选 择登记脸部图像的选择操作(步骤S960),则继续监视操作输入。
如果进行了选择登记脸部图像的选择操作(步骤S960)，则打 开属性文件400 (步骤S961)，提取对应于所选择的登记脸部图像的 登记脸部条目(步骤S962 )。提取存储在所提取的登记脸部条目的出 现登记脸部内容列表中的视频文件条目的条目编号，然后根据所提取 的条目编号来提取视频文件条目(步骤S963)。接着，在存储器中依 次存储所提取的视频文件条目的条目编号(步骤S964)。
在存储器中依次存储所提取的视频文件条目中当前存储的缩略 图地址(步骤S965)。然后，关闭属性文件400 (步骤S966)，打开 缩略图文件500 (步骤S967)。接着，根据在步骤S964中存储在存 储器中的缩略图地址，从缩略图文件500中读出代表性缩略图像，然 后将该代表性缩略图像依次存储在存储器中(步骤S968)。然后，关 闭缩略图文件500 (步骤S969)。在LCD 180上显示在步骤S968中 存储在存储器中的代表性缩略图像(步骤S970 )。例如，如图29B 所示显示图像。
确定是否进行了从LCD 180上显示的所有代表性缩略图像中选 择一个代表性缩略图像的选择操作(步骤S971)。如果没有发生选择 代表性缩略图像的选择操作(步骤S971)，则继续监视操作输入。
如果进行了选择代表性缩略图像的选择操作(步骤S971)，则 根据所选择的代表性缩略图像的顺序，提取在步骤S964中存储在存 储器中的视频文件条目的条目编号(步骤S972)。然后，打开属性文 件400 (步骤S973)，从属性文件400中提取对应于所提取的条目编
59号的视频文件条目(步骤S974)。
然后，提取当前记录在所提取的视频文件条目的子条目列表上的 元数据条目的条目编号，并在存储器上记录所提取的元数据条目的条 目编号(步骤S975)。然后，从属性文件400提取与在步骤S975中 存储的条目编号对应的元数据条目(步骤S976)。然后，从各个所提 取的元数据条目提取脸部元数据(步骤S977),确认所提取的脸部元 数据的标题部分的信息(步骤S978)。
根据标题部分的信息依次读出脸部数据(步骤S979)。然后在 存储器中依次存储包括在所读出的脸部数据中的脸部基本信息(脸部 检测时刻信息641、脸部基本信息642和个人识别ID 646)(步骤 S980)。然后判断是否完成了所有脸部数据的读出(步骤S981)。如 果没有完成所有脸部数据的读出(步骤S981)，则继续读出脸部数据 并记录在存储器中(步骤S979和步骤S980)。如果完成了所有脸部 数据的读出(步骤S981)，则关闭属性文件400 (步骤S982)。而且， 根据在步骤S980中存储在存储器中的脸部基本信息，从视频内容文 件生成脸部缩略图像，并将所生成的脸部缩略图像依次存储在存储器 中(步骤S983 )。然后，在LCD 180上显示在步骤S983中存储在存 储器中的脸部缩略图像(步骤S984)。例如，如图30B所示显示。
然后，确定是否进行了从LCD 180上显示的脸部缩略图像中选 择一个脸部缩略图像的选择操作(步骤S985 )。如果没有进行选择脸 部缩略图像的选择操作(步骤S985)，则继续监视操作输入。
如果进行了选择脸部缩略图像的选择操作(步骤S985)，则在 存储器中存储与显示所选择的脸部缩略图像的顺序对应的编号(步骤 S986)。打开属性文件400 (步骤S987)，根据在步骤S975中存储 在存储器中的元数据条目的条目编号，从属性文件400中提取元数据 条目(步骤S988 )。
从所提取的元数据条目中提取脸部元数据(步骤S989)，然后 从所提取的脸部元数据提取与在步骤S986中存储在存储器中的编号 对应的脸部数据(步骤S990)。从所提取的脸部数据中提取脸部检测时刻信息，然后将所提取的脸部检测时刻信息存储在存储器中(步骤S991)。接着，提取与在步骤S975中存储在存储器中的元数据条目的父 条目列表对应的视频文件条目的条目编号(步骤S992)。然后，从属 性文件400中提取对应于所提取的条目编号的视频文件条目(步骤 S993)。提取存储在所提取的视频文件条目中的内容地址，然后将所 提取的内容地址存储在存储器中(步骤S994 )。关闭属性文件400 (步 骤S995 )。与在步骤S957中提取的内容地址对应的视频内容文件从在步骤 S991中存储在存储器中的脸部检测时刻信息所指示的时刻开始播放 (步骤S996)。例如，如图31B所示播放视频内容文件。以下说明具有本发明的一个实施方式的成《象装置100的图《象处 理系统。图37示出本实施方式的图像处理系统850的系统结构。图像处 理系统850包括成像装置100、网络服务器860、 PC 870和图像处理 设备880。网络服务器860可以经由网络851与成像装置100进行通 信。网络服务器860包括存储内容文件和内容管理文件的存储部分 861。PC 870能够经由通用串行总线(USB)等设备间接口与成像装 置100通信。PC 870包括存储内容文件和内容管理文件的存储部分 871。设备间接口除了是USB线缆等有线接口外，还可以是超宽带 (UWB)类型之一等无线接口。图像处理设备880能够经由无线线路与成像装置100通信。图像 处理设备880包括存储内容文件和内容管理文件的存储部分881。可 替代地，这些连接可以经由使用有线线路或无线线路的网络进行。这里，存储在存储部分861、 871和881中的内容管理文件可以 与本发明的实施方式的内容管理文件340相同。在图像处理系统850中，向相同人物给予相同的个人识别ID。 换言之，例如存储部分861、 871和881的内容管理文件中存储的个61人识别ID和成像装置100中存储的个人识别ID被用于从存储部分 861、871和881中存储的所有内容文件中找到期望的内容文件。例如， 成像装置100能够得到个人识别ID与成像装置100中存储的个人识 别ID相同的内容文件。因此，成像装置100从外部设备容易地取得 出现特定人物的内容文件。另外，可以使用个人识别ID显示与存储 在外部设备中的内容文件有关的脸部缩略图像等。
如上所述，根据本发明的实施方式，可以快速地搜索出现特定人 物的任何内容文件。例如，可以快速地显示与出现特定人物的内容文 件相对应的代表性缩略图像列表。因此，可以快速地执行期望的应用。 另外，可以快速地使用内容文件的元数据。换言之，根据本发明的实 施方式，可以快速地使用出现特定人物的内容文件。
目前正在开发使用脸部元数据的大量应用程序，将来期望出现使 用脸部元数据的各种应用程序。并且，将来期望脸部元数据的格式扩 展。根据本发明的任意实施方式，即使脸部元数据的格式在将来被扩 展，播放设备也确保与格式扩展的兼容性。可以快速使用内容文件的 元数据。
而且，使用拍摄视频作为内容说明了本实施方式。可替代地，本 发明可以应用于静止图像等任何其它内容。另外，本实施方式可以应 用于从外部输入的任何内容。作为元数据的例子说明了人的脸部的脸 部元数据。可替代地，本发明可应用于任何其它元数据。例如，使用 动物识别或宠物识别算法来检测图像中包含的动物的脸部，并且使用 与所检测的动物脸部相关的元数据。本发明的实施方式还可应用于该 用途。利用宠物检测引擎来代替脸部检测引擎。使用与由宠物检测引 擎检测的宠物有关的元数据。本发明的实施方式还可以应用于该用 途。识别人或动物的行为，使用以预定描述表达的、包含所识别的行 为的记录的元数据。本发明的实施方式还可以应用于该用途。在上述 说明中，内容存储设备是成像设备。本发明的实施方式还可以应用于 记录内容文件的移动终端等内容存储设备。而且，在本发明的实施方 式中，作为用于播放内容的设备例子说明了成像装置。本发明的实施
62方式还可以应用于播放内容的数字通用盘(DVD)记录器等内容播放 设备。
仅为示例性目的说明了本发明的实施方式，以下说明权利要求的 要素与本发明的实施方式的特征之间的对应关系。本发明不限于上述 实施方式，在不脱离本发明的范围的情况下，可以对上述实施方式进 行各种变更。
上述的 一 系列步骤可以与包括该一 系列步骤的方法、使计算机执 行该一 系列步骤的计算机程序、以及存储计算机程序的记录介质中的 一个相同。记录介质可以是高密度盘(CD)、迷你盘(MD)、数字 通用盘(DVD)、存储卡、蓝光盘(注册商标)等。
本发明包含于2008年8月4日向日本专利局提交的日本优先专 利申请JP 2008-201295中7>开的主题相关的主题，该申请的全部内容 通过引用结合在本申请中。
本领域技术人员应当理解，只要不脱离所附的权利要求或其等同 技术方案的范围，取决于设计要求和其它因素，可以进行各种改进、 组合、子組合和改变。
权利要求
1.一种图像处理设备，包括存储单元，用于存储内容管理文件，该内容管理文件存储用于管理内容的文件条目和用于管理作为特定人物的脸部的特定脸部的特定脸部条目，其中所述文件条目和所述特定脸部条目都是具有分级结构的分级条目；脸部检测单元，用于检测包含在所述内容中的脸部；脸部识别单元，用于通过对所述特定脸部与所检测的脸部进行比较，确定所检测的脸部是否是所述特定脸部；和控制单元，用于当所检测的脸部被识别为所述特定脸部时，执行将所述特定脸部条目与所述文件条目相关联的控制。
2. 如权利要求1所述的图像处理设备，还包括 特征量提取器，用于提取所检测的脸部的特征量，其中， 特征量条目与所述特定脸部条目的下层链接并且存储在所述内容管理文件中，所述特征量条目是分级条目并且包含所述特定脸部的 特征量；所述脸部识别单元通过对包含在所述特征量条目中的所述特征 量与所提取的特征量进行比较，确定所检测的脸部是否是所述特定脸 部。
3. 如权利要求2所述的图像处理设备，其中， 所述内容管理文件存储元数据条目，所述元数据条目是包含与所检测的脸部对应的脸部数据的分级条目，并且链接到所述文件条目的下层；当所检测的脸部被识别为所述特定脸部时，所述控制单元在包含 在所述元数据条目中的所述脸部数据中存储所提取的特征量。
4. 如权利要求1所述的图像处理设备，其中， 所述特定脸部条目存储用于识别所述特定人物的特定人物识别符；所述内容管理文件存储元数据条目，所述元数据条目是包含与所 检测的脸部对应的脸部数据的分级条目，并且链接到所述文件条目的下层；当所检测的脸部被识别为所述特定脸部时，所述控制单元在包含 在所述元数据条目中的所述脸部数据中存储所述特定人物识别符。
5. 如权利要求1所述的图像处理设备，其中， 每个所述分级条目设置有用于识别所述分级条目的条目识别符； 当所检测的脸部#皮识别为所述特定脸部时，所述控制单元通过在所述特定脸部条目中存储所述文件条目的条目识别符，而将所述特定 脸部条目与所述文件条目相关联。
6. 如权利要求1所述的图像处理设备，其中， 所述内容管理文件存储包含所述特定脸部的至少一部分的特定脸部图像；所述特定脸部条目存储所述特定脸部图像在所述内容管理文件 上的存储位置。
7. —种图像处理设备，包括 内容存储单元，用于存储内容；内容管理文件存储单元，用于存储具有分级结构的内容管理文 件，该内容管理文件存储各个分级条目，该各个分级条目设置有用于 识别对应的分级条目的各个条目识别符，其中，所述内容管理文件包 括文件条目，是用于管理所述内容的分级条目； 特定脸部条目，作为用于管理作为特定人物的脸部的特定脸部的分级条目，并且用于存储与所述内容存储单元所存储的内容中的、包含所述特定脸部的内容相对应的文件条目的条目识别符；和 特定脸部图《象，该特定脸部图^象作为包含所述特定脸部的至少一部分并且与所述特定脸部条目相关联的图像；操作输入接收器，用于接收选择操作，该选择操作用于从当前存储在所述内容管理文件中的特定脸部图像中选择期望的特定脸部图像；选择器，用于从当前存储在所述内容管理文件中的特定脸部条目 中选择与所选择的特定脸部图像对应的特定脸部条目；提取器，用于从存储在所述内容存储单元中的内容中提取与当前存储在所选择的特定脸部条目中的条目识别符对应的内容；以及 显示器，用于显示所提取的内容。
8. —种成像装置，包括存储单元，用于存储内容管理文件，该内容管理文件存储用于管 理拍摄视频的文件条目和用于管理作为特定人物的脸部的特定脸部 的特定脸部条目，其中所述文件条目和所述特定脸部条目都是具有分 级结构的分级条目；成像单元，用于拍摄对象的图像以生成拍摄视频； 脸部检测单元，用于检测包含在所述拍摄视频中的脸部； 脸部识别单元，用于通过对所述特定脸部和所检测的脸部进行比 较，确定所检测的脸部是否是所述特定脸部；和控制单元，用于当所检测的脸部被识别为所述特定脸部时，执行 将所述特定脸部条目与所述文件条目相关联的控制。
9. 一种图像处理方法，包括以下步骤 检测包含在内容中的脸部；较，确定所检测的脸部是否是所迷特定脸部；当所检测的脸部被识别为所述特定脸部时，执行将文件条目与特 定脸部条目相关联的控制，所述文件条目是用于管理所述内容的分级 条目，所述特定脸部条目是用于管理所述特定脸部的分级条目。
10. —种由计算机执行的程序，包括以下步骤 脸部检测步骤，检测包含在内容中的脸部；脸部识别步骤，通过对作为特定人物的脸部的特定脸部与所检测 的脸部进行比较，确定所检测的脸部是否是所述特定脸部；控制步骤，当所检测的脸部被识别为所述特定脸部时，执行将文件条目与特定脸部条目相关联的控制，所述文件条目是用于管理所述 内容的分级条目，所述特定脸部条目是用于管理所述特定脸部的分级 条目。
全文摘要
本发明提供一种图像处理设备、成像装置、图像处理方法和程序，该图像处理设备包括存储单元、脸部检测单元、脸部识别单元和控制单元。存储单元用于存储内容管理文件，该内容管理文件存储用于管理内容的文件条目和用于管理特定脸部的特定脸部条目。所述文件条目和所述特定脸部条目都是具有分级结构的分级条目。脸部检测单元用于检测包含在所述内容中的脸部。脸部识别单元用于通过对所述特定脸部与所检测的脸部进行比较，确定所检测的脸部是否是所述特定脸部。控制单元用于当所检测的脸部被识别为所述特定脸部时，执行将所述特定脸部条目与所述文件条目相关联的控制。
文档编号G06F17/30GK101645089SQ20091016113
公开日2010年2月10日 申请日期2009年8月4日 优先权日2008年8月4日
发明者石坂敏弥 申请人:索尼株式会社