信息处理和成像设备、图像显示控制方法及计算机程序的制作方法

专利名称：信息处理和成像设备、图像显示控制方法及计算机程序的制作方法
技术领域：
本发明涉及一种信息处理设备、 一种成像设备、 一种图像显示控 制方法及一种计算机程序。更具体地说，本发明涉及用来在缩略 像的列表中显示从由例如摄像机拾取的大量运动图像数据中选择的 图像、并且响应来自缩略像列表的、用户对缩略像的指定在 缩略像的位置处开始运动图像播放处理的一种信息处理设备、一 种成像设备、 一种图像显示控制方法及一种计算机程序。
背景技术：
诸如数字照相机和数字摄像机之类的成像设备和诸如数字万用 盘(DVD)播放机之类的图像处理设备的多种具有在视频显示单元或 监视器屏幕上显示在记录介质上存储的图像数据的列表的功能。例如，播放运动图像的设备，如成像设备或DVD播放机，以菜 单形式显示运动图像和章节的标题，并且使得用户能够从用来播放的 显示数据中选择播放内容。例如，成像设备拾取运动图像；并且，在 拍摄处理的一个循环中，即从拍摄操作的开始到拍摄操作的结束，捕获作为一个场景的运动图像数据；及显示从每个场景选择的代表性图像的缩小图像(缩略像)。成像设备显示在记录介质上记录的多 个场景(运动图像数据)的缩略像的列表。场景也称作剪辑。例如，日本公开专利公报No.Hei 10-028250 />开了 一种显示从每 个场景选择的代表性图像的缩小图像(缩略像)的技术。由于监视器显示形成在记录介质上存储的每个图像数据文件的 图像数据的缩小图像(缩略像)，所以用户在某种程度上了解捕 获的图像。单个缩略像在相关技术中的DVD播放机或摄像机上显示的 缩略像的列表中以每个场景为单位显示。更明确地说，从拍摄操 作开始到拍摄操作结束的运动图像数据作为一个场景被处理。代表性 图像从一个场景中选择。例如，选择一个场景的开头图像，并且然后 显示选择的图像的缩略像。各种运动图像数据(场景)记录在记录介质上。运动图像数据在 时间长度方面随场景而变，例如短场景可以是几秒长，并且例如长场 景可以是一个小时长。可能有时难以确定在场景中拍摄了什么。当显 示缩略像的列表时，每个场景的开头图像的静止图像被选择，并 且以缩小的尺寸显示。用户可能经常难以从开头图像了解图像数据的 内容。单独显示开头图像不一定使用户能够了解运动图像呈现什么。当播放场景从缩略像列表中选择时，选择的场景从其开始处 播放。用户真正感兴趣的场景的一部分可能典型地出现在场景的中部 中而不是在场景的开始处。在这样一种情况下，用户开始播放，然后 进行快进操作，并通过连续地观察播放屏幕或快进屏幕搜索感兴趣的 数据位置。日本公开专利公报No.Hei 06-153157公开了一种在显示按时间 序列顺序抽取的索引图像的情况下允许图像被搜索的技术。这种技术 要求事先进行索引产生处理。以恒定的间隔从在记录介质上记录的图 像数据中获得图像，以便产生索引图像。产生的索引图像然后再次记 录在记录介质上。产生索引图像占用时间。在记录介质上记录的所产 生的索引图像减小在记录介质上可用的存储器容量。发明内容由摄像机拍摄的多种对象典型地包含人员。为了 了解拍摄数据的 内容和场景，每个人的面部起重要作用。检测包含在记录介质上记录 的每个场景中的每个人员的面部的图像帧(画面)，并且然后从检测的图像抽取人员的面部。由抽取的面部图像产生缩略像。产生的示o在显示时间序列面部缩略像的情况下，用户正确地了解每个 场景的内容和剪辑。播放处理可以在指定的面部缩略像的任一缩 略像处开始。由此提供以用户友好方式工作的图像处理设备、成 像设备、图像显示控制方法及计算机程序。按照本发明的一个实施例， 一种用来处理图像的设备包括输入 单元，用来输入用户操作信息；记录介质，用来记录运动图像数据； 数据处理器，用来响应对输入单元的输入而获取在记录介质上记录的 数据并产生显示数据；及显示单元，用来显示该显示数据。数据处理 器从作为运动图像记录单位记录在记录介质上的场景中选择包含人 面部图像的帧，产生从选择的帧中抽取的面部区的缩略像，及在 显示单元上显示按时间序列顺序排列的所产生的缩略像的列表。记录介质可以记录用来管理在记录介质上记录的图像信息的图 像信息管理文件。数据处理器可以从在记录介质上记录的图像信息管 理文件获得与在形成作为运动图像记录单位的场景的每个帧中面部 区的存在与否和面部区的位置有关的信息，选择包含人面部图像的 帧，及产生从选择的帧中抽取的面部区的缩略像。数据处理器通过分析作为运动图像记录单位记录在记录介质上 的场景可以获得在形成场景的帧中与面部区的存在与否和面部区的 位置有关的信息，选择包含人面部图像的帧，及产生从选择的帧中抽 取的面部区的缩略像。数据处理器通过选择用作要显示在时间-序列缩略像列表中像,输入单元可以包括在显示单元上的触摸面板。数据处理器可以从 指定在显示单元上显示的时间序列面部缩略像列表上的面部缩 略像的用户输入面部缩略像指定信息，并且从与指定面部缩 略像相对应的图像位置播放图像。数据处理器可以在显示单元上显示作为场景的代表性图像的场 景索引作为时间序列面部缩略像列表的源数据，并且如果更新场 景索引，则响应场景索引的更新而更新时间序列面部缩略像列 表。按照本发明的一个实施例， 一种成像设备包括成像单元，用来 拾取图像；输入单元，用来输入用户操作信息；记录介质，用来记录 运动图像数据；数据处理器，用来响应对输入单元的输入而获取在记 录介质上记录的数据并产生显示数据；及显示单元，用来显示该显示 数据。数据处理器从作为运动图像记录单位记录在记录介质上的场景 中选择包含人面部图像的帧，产生从选择的帧中抽取的面部区的缩略 像，及在显示单元上显示按时间序列顺序排列的所产生的缩略图 图像的列表。成像设备还可以包括用来检测人面部图像的面部区是否包含在 从成像单元获得的图像数据中的面部检测器。在检测到面部时，数据 处理器把面部图标与拾取图像一起显示在显示单元上，以指示已经检 测到面部。按照本发明的一个实施例， 一种用来控制图像显示的图像处理设 备的方法包括以下步骤把用户操作信息输入到输入单元；通过响应 对输入单元的输入而获取在记录介质上记录的数据和产生显示数据 来处理数据；及在显示单元上显示该显示数据。所述处理数据的步骤 包括从作为运动图像记录单位记录在记录介质上的场景中选择包含 人面部图像的帧，产生从选择的帧中抽取的面部区的缩略像，及 在显示单元上显示按时间序列顺序排列的所产生的缩略像的列 表。所述处理数据的步骤可以包括从在记录介质上记录的图像信息管理文件获得与在形成作为运动图像记录单位的场景的每个帧中面 部区的存在与否和面部区的位置有关的信息，选择包含人面部图像的 帧，及产生从选择的帧中抽取的面部区的缩略像。所述处理数据的步骤可以包括通过分析作为运动图像记录单位 记录在记录介质上的场景获得与在形成场景的每个帧中面部区的存 在与否和面部区的位置有关的信息，选择包含人面部图像的帧，及产 生从选择的帧中抽取的面部区的缩略像。所述处理数据的步骤可以包括通过选择用作要显示在时间序列产生面部缩略像。输入单元可以包括在显示单元上的触摸面板，并且所述处理数据 的步骤可以包括从指定在显示单元上显示的时间序列面部缩略 像列表上的面部缩略像的用户输入面部缩略像指定信息，和 从与指定的面部缩略像相对应的图像位置播放图像。所述处理数据的步骤可以包括在显示单元上显示作为场景的代表性图像的场景索引，作为时间序列面部缩略像列表的源数据； 和如果更新场景索引，则响应场景索引的更新而更新时间序列面部缩 略像列表。按照本发明的 一个实施例， 一种用来控制图像显示的成像设备的 方法包括以下步骤拾取图像；把用户搮作信息输入到输入单元；检 测人面部图像的面部区是否包含在获得的图像数据中；如果已经检测 到面部，则把面部图标与拾取图像一起显示在显示单元上，以指示已 经检测到面部；及从作为运动图像记录单位记录在记录介质上的场景 中选择包含人面部图像的帧，产生从选择的帧中抽取的面部区的缩略 像，及在显示单元上显示按时间序列顺序排列的所产生的缩略图 图像的列表。按照本发明的一个实施例， 一种用来使图像处理设备控制图像显 示的计算机程序包括以下步骤检测用户操作信息的输入；通过响应 用户操作信息的输入而获取在记录介质上记录的数据和产生显示数据来处理数据；及显示该显示数据。所述处理数据的步骤包括从作为 运动图像记录单位记录在记录介质上的场景中选择包含人面部图像 的帧，产生从选择的帧中抽取的面部区的缩略像，及显示按时间 序列顺序排列的所产生的缩略像的列表。按照本发明的 一 个实施例， 一 种使成像设备控制图像显示的计算 机程序包括以下步骤拾取图像；检测用户操作信息的输入；检测人 面部图像的面部区是否包含在拾取的图像数据中；如果已经检测到面 部，则把面部图标与拾取图像一起显示在显示单元上，以指示已经检 测到面部；及从作为运动图像记录单位记录在记录介质上的场景中选 择包含人面部图像的帧，产生从选择的帧中抽取的面部区的缩略 像，及在显示单元上显示按时间序列顺序排列的所产生的缩略像 的列表。一种按照本发明的 一 个实施例的计算机程序可以以计算机可读 形式供给到执行各种程序代码的通用计算机系统中的记录介质。计算 机系统由此响应计算机程序借助于以计算机可读形式供给的计算机 程序进行处理。从以下参照附图对本发明实施例的描述，本发明的这些和其它目 的、特征及优点将显而易见。在本说明书中的术语"系统"是指多个 设备的逻辑集合，并且每个设备的元件不必装在同一壳体中。按照本发明的实施例，设置为运动图像记录单位的每个场景的时 间序列面部缩略像数据(面部索引)被产生，并且显示在显示单 元上。用户基于在拍摄数据中的人员的面部图像可容易地了解每个场 景的内容。通过指定时间序列面部缩略像，用户可从作为指定的 面部缩略像的源的图像帧开始播放图像。用户因而可立即播放用 户想要播放的场景。


图1示出按照本发明的一个实施例作为图像处理设备的例子的 成像设备；图2示出在显示单元上呈现的屏幕的切换操作；图3示出在显示单元上显示的面部索引屏幕；图4示出在面部索引屏幕上显示的缩略像的产生处理；图5示出在显示单元上显示的面部图标的例子；图6是示出面部索引屏幕的产生处理和显示处理的流程图；图7是示出在显示单元上显示的面部索引屏幕和其它屏幕的切换操作的流程图；及图8是示出在运动图像的记录时面部检测信息的记录处理和记录停止处理的流程图。
具体实施方式
下面参照附图详细地描述按照本发明实施例的信息处理设备、成 像设备、图像显示控制方法及计算机程序。下面参照图1的方块图，描述作为信息处理设备的一个例子的成 像设备100。当拍摄开始信号从作为用户操作单元的键输入单元106 输出到微处理器110时，微处理器110通过把控制信号输出到相关元 件开始拍摄处理。由微处理器110控制的、都在透镜单元101中的聚 焦机构、快门机构及孔径光阑机构捕获对象的图像，并且把图像供给 到电荷耦合装置(CCD) 102上。CCD 102把图像光电地转换成电信号(图像信号)形式的对象 图像，并且把图像信号输出到照相机信号处理器103。照相机信号处 理器103处理图像信号。例如，照相机信号处理器103对于图像信号 进行相关双采样(CDS )处理、自动增益控制(AGC )处理、模数(A/D ) 转换处理、自动聚焦(AF)处理、自动曝光(AE)处理、自动白平 衡(AWB)处理等等。包括面部检测器114的照相机信号处理器103检测人面部的面部 区是否包含在拍摄图像的帧数据中。在相关技术中的现有面部检测算 法可以用于面部检测处理。已经经历照相机信号处理器103的各种调节的图像数据与面部检测器114的面部检测结果一起输出到记录和播放部件104和显示器 109。拍摄图像作为直达图像(through image)显示在显示器109上。 如果面部由面部检测器114检测到，则面部图标显示在直达图像上， 指示已经检测到面部。面部图标的显示例子将在以后描述。记录和播放部分104按照预定压缩方法压缩数据，并且把压缩数 据记录到记录介质105上。记录介质的记录方法包括使数据按照运动 图像专家组(MPEG) -4 AVC/H.264压缩的高清晰度视频记录方法、 或使数据按照MPEG-2压缩的标准清晰度(SD)视频记录方法。产 生包含与压缩图像信息相对应的管理信息的图像信息管理文件(如 AV索引文件)，并且将其存储到记录介质105上。图像信息管理文件(AV索引文件)也包含每个场景的元数据。 元数据包含来自照相机信号处理器103中的面部检测器114的面部检 测信息。面部检测信息指示是否已经检测到人面部。如杲检测到人面 部，则把指示人面部的面部区的坐标信息包含在面部检测信息中。包 含作为在拍摄时的元数据的面部检测信息的图像信息管理文件(AV 索引文件)被记录到记录介质105上。微处理器110接收来自键输入单元106的键操作信息和响应在显 示器109上呈现的图形用户界面(GUI)上的键操作的用户操作信息。 微处理器110响应用户指令进行处理。显示器109包括液晶显示器 (LCD)触摸面板，并且显示准备接收用户操作信息的GUI,在键输 入单元106上的鍵称作"硬键"，并且在显示器109上显示的GUI上的 操作键称作"软键"。微处理器110经电源121从电池120或交流电源供电。微处理器 110控制成像设备100的各种处理。微处理器110根据需要控制功率 控制信号，并且对其它元件进行功率供给控制。微处理器110对来自 键输入单元106上的硬键的输入信号或来自显示器109上的GUI上的 软鍵的输入信号进行模数转换，由生成的转换数字值确定选择的键， 并响应确定结果进行各种处理。微处理器110包括中央处理单元 (CPU) 111、随机存取存储器(RAM) 112及只读存储器(ROM)113，并且按照预存储程序进行处理。在接收到响应在键输入单元106上的硬键或在显示器109上显示 的GUI上的软键的播放命令时，微处理器110把成像设备100切换到 视频信号播放模式。微处理器110经记录和播放部件104读取在记录 介质105上记录的数据，对于读取数据进行译码处理，并把译码数据 经重叠处理器108显示到显示器109上。屏幕显示(OSD )处理器107解释从微处理器110输入的命令， 并且通过扫描单元把在视频RAM (VRAM)上产生的显示信号传输 到重叠处理器108。例如，屏幕显示处理器107产生要重叠在GUI信 息和手动信息上的、与视频信号不同的数据，并且把产生的数据传输到重叠处理器108。重叠处理器108把来自屏幕显示处理器107的显 示信号重叠到记录视频信号或播放视频信号之一上，并且把生成信号 输出到显示器109。在成像设备100中的微处理器110按照用户指令产生在记录介质 105上记录的图像数据的缩略像列表，并且在显示器109上显示 缩略像列表。微处理器110从在记录介质105上记录的每个场景 中选择包含人面部的图像，产生包含选择的面部的图像的缩略 像，并把产生的缩略像作为时间序列缩略像显示在显示器 109上。作为在照相机信号处理器103中的面部检测器114，在图1的微 处理器110中由虛线框包围的面部检测器114'确定人面部的面部区是 否包含在每个图像中。如果面部检测信息在向记录介质105上的拍摄 数据的记录处理中包含在图像信息管理文件(AV索引文件)中，则 微处理器110不需要面部检测器114'。如果包含面部检测信息的图像 信息管理文件不存在，则微处理器IIO对从记录介质105读取的图像 数据可以进行面部检测处理。在这样一种情况下，成像设备100包括 面部检测器114'。在微处理器110中的面部检测器114'因而用来在没 有包含面部检测结果的图像信息管理文件的情况下处理数据。微处理器110从响应缩略像的图像位置开始播放图像，该缩略像响应关于在显示器109上显示的时间序列面部缩略像数 据的用户选择信息的输入而被选择。场景是指从运动图像的拍摄开始 至运动图像的拍摄结束的图像数据。与各种场景相对应的多条图像数 据存储在记录介质105上。图像数据在时间长度方面随场景而变。一 个场景可能几秒长，并且另一个场景可能一小时长或甚至更长。在成像设备IOO中的微处理器110从在记录介质105上存储的场 景中获取由用户指定的场景的图像数据，通过分析图像信息管理文件 选择包含面部图像的帧，从选择的帧中抽取面部区，产生面部缩略图 图像，按场景的时间序列顺序把面部缩略像排列成面部索引图 像，及把面部索引图像输出到显示器109。与作为运动图像记录数据 单位的一个场景相对应的时间序列面部缩略像列表的显示数据 称作"面部索引屏幕"。下面参照图2描述在显示器109上的面部索引 屏幕的例子和在显示器109上的显示数据的切换。在成像设备IOO中的显示器109显示四种类型的屏幕，即等待屏 幕(a)、主菜单屏幕(b)、面部索引屏幕(c)及运动图像播放屏 幕(d)。微处理器110接收并确定在成像设备100上键输入单元106 (硬 鍵)的键操作信息或在包含在显示器109上显示的各种键的GUI (软 键)的键操作信息，并且切换屏幕。在图2中，与作为运动图像记录数据单位的一个场景相对应的时 间序列面部缩略像列表在面部索引屏幕(c)上作为显示数据整 体或部分显示。面部索引屏幕是面部区的缩略像(缩小图像的) 的时间序列面部缩略像数据。面部区从图像抽取，该图像包含从 作为运动图像记录数据单位的一个场景中选择的面部。当已经发出显示面部索引屏幕(c)的请求时，微处理器110产 生要显示在面部索引屏幕上的缩略像。缩略像临时存储在微 处理器110中的RAM 112上，同时输出到显示器109以被显示。在 面部索引屏幕(c)上使用的缩略像不记录在记录介质105上。 记录介质105的容量不用来存储缩略像。微处理器IIO获取压缩图像(按照运动图像专家组(MPEG) -4 AVC/H.264压缩的高清晰度 (HD )视频或按照MPEG-2压缩的标准清晰度(SD )视频)，抽取 帧内压缩编码图像(也称作I-画面、I-帧或I-VOP)，缩小帧内压缩 编码图像，及按顺序在面部索引列表区域中排列缩小的图像。在面部 索引屏幕(c)上显示的缩略像的产生方法将在以后描述。下面描述在图2的显示器109上显示的等待屏幕U )、主菜单 屏幕(b)、面部索引屏幕(c)及运动图像播放屏幕(d)和屏幕的 切换操作。通过选择在等待屏幕(a)上显示的初始位置软键201和在成像 设备100上布置的初始位置硬键之一进行在等待屏幕(a)与主菜单 屏幕(b)之间的切换操作。通过选择在主菜单屏幕(b)上的关闭软键202进行从主菜单屏 幕(b)到等待屏幕(a)的切换操作。通过选择在成像设备100上布置的面部索引硬键进行从等待屏 幕(a)到面部索引屏幕(c)的切换操作。通过选择在成像设备100上布置的面部索引硬键和在主菜单屏 幕(b)上的面部索引软鍵203之一进行从主菜单屏幕(b)到面部索 引屏幕(c)的切换操作。通过选择在面部索引屏幕(c)上的关闭软鍵进行从面部索引屏 幕(c)到等待屏幕(a)的切换操作。到面部索引屏幕(c)的屏幕切换可以直接从等待屏幕(a)到面 部索引屏幕(c)或从等待屏幕(a)到主菜单屏幕(b)然后到面部 索引屏幕(c)而进行。时间序列面部缩略像显示在面部索引屏幕(c)上。时间序抽取的面部区的面部缩略像而组织，该面部图像从作为运动图像 记录数据单位的一个场景中选择。当用户指定面部缩略像之一 时，成像设备100开始从由其导出指定面部缩略像的图像帧播放 运动图像。运动图像在运动图像播放屏幕(d)上播放。图1的微处理器110 在存储器(RAM 112)上存储包含在面部索引屏幕(c)上显示的面 部缩略像的场景的时间信息，使每个缩略像标记有时间。更 明确地说，时间信息包括在包含帧内压缩编码图像的场景中的每个面 部缩略像的位置信息、和每个面部缩略像从场景开头起的过 去时间信息。这些信息也从图像信息管理文件(AV索引文件)获取。当用户通过用用户的手指触摸在面部索引屏幕(c)上显示的面 部缩略像而指定面部缩略像时，微处理器110基于在指定位 置处的坐标数据辨别触摸的缩略像。微处理器110对于指定的缩 略像从管理文件的元数据获得在场景中缩略像的位置信息 (时间信息)，并且从该位置开始播放运动图像。从运动图像播放屏幕(d)到面部索引屏幕(c)的切换操作通过 选择在运动图像播放屏幕(d)上显示的返回鍵204和停止键205之 一或在成像设备100上的面部索引硬键而进行。稍后将参照图3详细地描述面部索引屏幕(c)。面部索引屏幕 (c)包括场景索引显示区域301和面部索引显示区域302。场景索引显示区域301显示从作为运动图像记录数据单位的一 个场景选择的代表性图像。用户通过操作场景索引后退键303a和场 景前进键303b可切换代表性图像。在场景索引显示区域301上显示 的代表性图像是例如在场景开头处的缩略像。面部索引显示区域302显示从静止图像抽取的面部的缩略 像的列表，该静止图像作为包含面部区从场景(运动图像数据)中选 择，在场景索引显示区域301上显示的缩略像属于该场景。面部索引显示区域302显示面部索引后退/前进键306a和306b。 用户通过选择面部索引后退/前进键306a和306b之一可切换时间不同 但场景相同的缩略像。如果多个面部区包含在单个静止图像中， 则多个面部图像布置在面部索引显示区域302上。通过选择在场景索引显示区域301上的场景索引后退/前进键 303a和303b，同样切换在面部索引显示区域302上显示的面部索引。在面部索引屏幕(C)上显示的面部缩略像的产生处理下面参照图4详细地描述。如以前描述的那样，微处理器110响应显示面 部索引屏幕(c)的显示请求产生要显示在面部索引屏幕(c)上的缩 略像，并且在把产生的缩略像输出到显示器109的同时把缩 略像临时存储在RAM 112上。微处理器110获取压缩图像(按照运动图像专家组(MPEG) -4 AVC/H.264压缩的高清晰度(HD)视频或按照MPEG-2压缩的标准 清晰度(SD)视频)，抽取帧内压缩编码图像，缩小帧内压缩编码图 像，并按顺序在面部索引列表区域中排列缩小的图像。例如，形成图4的场景的MPEG数据400可被得到。MPEG数 据400包含按照不同格式压缩的帧(画面)。更明确地说，可以包括 帧内压缩编码图像(I-画面)、B帧(B画面)、P帧(P画面)等等。 出自这些编码数据的可译码数据是帧内压缩编码图像。为了产生缩略像，帧内压缩编码图像从MPEG数据中选择， 并被使用。更明确地说，微处理器110从在用作面部索引屏幕的源的缩编码图像。微处理器110译码帧内压缩编码图像，从译码图像抽取 面部区，并产生面部缩略像。图4示出包含面部区的选择的帧内压缩编码图像401。 在图4的步骤S1中，微处理器110基于在管理文件402中的元 数据选择用于缩略像的图像(帧内压缩编码图像)401。微处理 器110基于图像信息管理文件(AV索引文件)402的元数据确定是 否包含面部区。包含面部区的帧不一定是帧内压缩编码图像。如果包 含面部区的帧不是帧内压缩编码图像，则把面部检测帧以后的最近帧 内压缩编码图像选作缩略图产生源图像。如以上讨论的那样，如果数据不包含帧内压缩编码图像，则微处 理器IIO分析在面部检测处理中的场景，由此确定每个帧的面部区的 存在与否。微处理器IIO在步骤S2中译码包含如此选择的面部区的图像帧401 (帧内压缩编码图像)。在步骤S3中，微处理器110从译码图像 帧中抽取面部区，并且产生面部区的缩略像，即面部缩略像。从图像信息管理文件(AV索引文件)402获得每个帧的面部区 坐标信息。如果数据不包含这样一种管理文件，则微处理器110分析 场景，由此确定面部区的位置。如此构造的缩略像按时间序列顺 序排列，并且然后输出到显示器109。记录介质105可以是硬盘驱动器(HDD)和存储器卡之一，并 且在记录介质105上记录的图像可以是HD视频。在记录介质上存储 的数据是例如按照MPEG-4 AVC/H.264压缩的数据，并且可以是按 照AVCHD (注册商标)标准记录的视频。在这样一种情况下，记录 流管理文件( 一组具有扩展名".BDM"、 ".MPL，，及".CPI"的管理文件， 一般管理与DVD视频格式的VIDEO—TS.IFO文件相对应的记录介 质)被记录在一起，并且使用这些记录流管理文件的处理成为可能的。 微处理器110读取记录流管理文件和图像信息管理文件(AV索引文 件)以便比较。微处理器110因而获得包含面部区的图像帧的位置和 在帧中的面部区的坐标信息。如果在记录介质105上记录的图像是SD图像，则在记录介质上 存储的数据是按照MPEG-2压缩的数据。如果记录介质105是硬盘或 存储器卡之一，则不包含记录流管理文件。微处理器110跟踪在 MPEG2视频信号中事先写在扩展区域上的记录流信息，并且把记录 流信息与图像信息管理文件(AV索引文件)相比较，以便得到包含 面部区的图像帧的位置。如果记录介质105是DVD-R、 DVD+R、 DVD-RW及DVD+RW之一，则也记录符合AVCHD (注册商标)标 准、用于SD视频的DVD视频标准、DVD视频记录标准及DVD+VR 标准之一的记录流管理文件。通过把记录流管理文件与图像信息管理 文件(AV索引文件)相比较，微处理器110在技术上可获得包含面 部区的图像帧的位置。用来把图像记录到DVD介质上的每个标准不 包括用来记录面部信息的图像信息管理文件(AV索引文件)。用来 记录面部信息的图像信息管理文件(AV索引文件)可以写到记录介质上，尽管这样一种操作在每个标准外。可选择地，微处理器110通 》21旦-，，,说々jc;血rr 乂；楚4刀卞| 取，"，&叫，A 'P^且o如以前参照图2和3描述的那样，面部索引屏幕显示包含从作为 运动图像记录数据单位的一个场景中选择的面部区的时间序列面部 缩略像的列表。当用户选择缩略像之一时，微处理器110以 作为播放开始点的指定缩略像而开始播放运动图像。当HD视频4皮记录到HDD和存储器卡及DVD介质之一上时， 微处理器110从记录流管理文件获得帧内压缩编码图像的位置信息 (距离数据开头的时间信息)。当SD视频记录在HDD和存储器卡 之一上时，微处理器110分析视频信号流，并且获得与在记录流管理 文件中包含的面部区相对应的帧内压缩编码图像的位置信息(距离数 据开头的时间信息)。位置信息被存储到RAM 112上。使用位置信 息，微处理器110立即确定缩略像的位置，并且从指定的缩略图 图像开始播放运动图像。当停止运动图像的播放时，微处理器110返 回到指示场景停止的时间和位置的面部索引屏幕。参照图1,对其照相机信号处理器103已经进行各种处理的图像 数据与来自面部检测器114的面部检测信息一起输出到记录和播放部 件104和显示器109。显示器109接收拍摄图像作为直达图像。如果 面部检测器114检测到任何面部，则显示指示已经从直达图像检测到 面部图像的面部图标。下面参照图5描述面部图标。图5示出在显示器109上显示的拍摄图像(直达图像)。在照相 机信号处理器103中的面部检测器114分析面部区是否包含在拍摄图 像中。如果面部检测器114已经检测到面部区，则显示指示在直达图 像中已经检测到面部区的面部图标501。面部图标501可以以各种模 式显示。例如，当在屏幕上检测到面部区时，面部图标501可以闪烁。 面部检测信息(包括关于在每个帧中是否已经检测到面部区的信息和 在已经检测到面部的情况下面部区的位置(坐标)信息)被记录成与 图像数据相对应的图像信息管理文件(AV索引文件)的元数据。下面参照图6-8的流程图描述由本发明的实施例的信息处理设备执行的处理。图6是示出面部索引屏幕的产生处理和显示处理的流程图。图7是示出在显示单元上显示的面部索引屏幕和其它屏幕的切 换序列的流程图。图8是示出在运动图像的记录时面部检测信息的记录处理和记 录停止处理的流程图。参照图6，描述面部索引屏幕的产生和显示处理。在起数据处理 器作用的微处理器110的控制下进行面部索引屏幕的产生和显示处 理。在步骤S101中，从存储各种场景(运动图像记录数据单位)的 记录介质获得作为用于面部索引的源的场景的数据区域。在步骤S102 中，作为面部索引产生的源的场景的索引图像显示在场景索引显示区 域301上。场景的索引图像与在场景的视频流的开头处的帧内压缩编 码图像的缩小图像相对应。在步骤S103中，在图像信息管理文件(AV 索引文件)中搜索可应用于面部索引产生的元数据(面部索引元数 据)。面部索引元数据包含指示在面部检测帧中的面部区的场景和位 置(坐标)信息中包含的帧中已经检测到人面部的信息。在步骤S104中，微处理器IIO确定是否从图像信息管理文件(AV 索引文件)已经检测到面部索引元数据。如果在图像信息管理文件 (AV索引文件)中没有检测到面部索引元数据，则不能产生面部索 引，并且退出处理。如果在图像信息管理文件中已经检测到面部索引 元数据，则处理转到步骤S105。产生面部索引缩略图。这个处理是参 照图4讨论的处理。在MPEG数据中包含的帧内压缩编码图像被选 择和使用。更明确地说，微处理器110从在作为面部索引屏幕的源的 场景中包含的各种格式的编码数据中选择包含面部图像区的帧内压 缩编码图像，译码面部图像区，抽取面部区，并产生面部缩略像。在步骤S106中，微处理器IIO确定产生的面部索引是否与场景 的结束帧相对应或者到达在显示屏幕上显示的最后面部索引。例如，在图3中，八个面部索引显示在面部索引屏幕上，并且微处理器110 确定是否已经完成八个面部索引的缩略图的产生。如果对于在步骤S106中的确定的回答是肯定的(是)，则处理 结束。如果对于在步骤S106中的确定的回答是否定的(否)，则处 理转到步骤S107。微处理器IIO从面部索引元数据中搜索连续帧。处 理返回到步骤S104以重复相同的处理。通过该处理，图3的面部索 引屏幕被产生，并且显示在显示器109上。参照图7，描述在显示单元上显示的面部索引屏幕和其它屏幕的 切换序列。该处理与在参照图2讨论的显示器109上显示的每个屏幕 的切换操作相对应。该处理也在图1的成像设备100中起数据处理器 作用的微处理器110的控制下进行。借助于所显示的图3的面部索引 屏幕进行在图7的流程图中所示的处理。在步骤S201中，起数据处理器作用的微处理器IIO检测用户操 作输入。当在信息处理设备上布置的硬键或在显示器109上呈现的 GUI上的软键被选择时，可以进入操作输入。当在步骤S202中检测 到用于切换屏幕的事件触发时，微处理器110转到步骤S203。微处理 器IIO确定事件是否是"关闭"事件。换句话说，微处理器110确定是 否选择在图2的每个屏幕上的关闭软键。如果关闭软键被选择，换句话说，如果关闭事件被触发，则微处 理器IIO把显示器109设置到等待屏幕。处理因而结束。如果在步骤 S203中确定事件不是关闭事件，则处理转到步骤S204。微处理器110 确定事件是否是"缩略图触摸事件"，即确定在图3的面部索引屏幕上 显示的面部缩略图是否被用户触摸。如果在步骤S204中确定事件是 "缩略图触摸事件"，则处理转到步骤S215。微处理器IIO把用作由用 户指定的面部缩略图的源的帧辨别为播放开始帧。这个播放开始位置 辨别处理基于从图像信息管理文件获得的元数据或在视频流中包含 的记录流管理数据而进行。在步骤S216中，微处理器110开始从在步骤S215中确定的播放 开始位置播放运动图像，并且在步骤S217中产生面部索引。该面部索引产生处理是在播放停止处在面部索引屏幕上显示数据的数据产 生处理。如果在步骤S204中确定事件不是"缩略图触摸事件"，则处理转 到步骤S205。微处理器IIO确定事件是否是"场景前进事件"。在选择 参照图3讨论的场景索引前进键303b的瞬时，产生场景前进事件。如果在步骤S205中确定事件是"场景前进事件"，则微处理器110 在步骤S206中使场景前进，即更新在图3的场景索引显示区域301 上显示的场景索引。在步骤S207中，微处理器110产生与更新的场 景索引相对应的场景的面部索引，并且显示产生的面部索引。如果在步骤S205中确定事件不是"场景前进事件"，则处理转到 步骤S208。微处理器110确定事件是否是"场景后退事件"。当选择图 3的场景索引后退键303a时，触发场景后退事件。如果在步骤S208 中确定事件是"场景后退事件"，则微处理器110在步骤S209中使场 景后退，即更新在图3的场景索引显示区域301上显示的场景索引。 微处理器110产生与在步骤S207中更新的场景索引相对应的场景的 面部索引，并且显示产生的面部索引。如果在步骤S208中确定事件不是"场景后退事件"，则处理转到 步骤S210。微处理器IIO确定事件是否是"面部索引前进事件"。当选 择图3的面部索引前进键306b时，触发面部索引前进事件。如果在步骤S210中确定事件是"面部索引前进事件，，，则处理转 到步骤S211。微处理器IIO确定显示的面部索引是否是对于场景的最 后数据部分产生的索引。如果在步骤S211中确定显示的面部索引不 是对于场景的最后数据部分产生的索引，则处理转到步骤S212。微处 理器110基于在当前显示的面部索引以后的场景形成帧产生面部索 引，并且显示产生的面部索引。如果在步骤S211中确定显示的面部 索引是对于场景的最后数据部分产生的索引，则微处理器110返回步 骤S201。如果在步骤S210中确定事件不是"面部索引前进事件"，则处理 转到步骤S213。微处理器IIO确定事件是否是"面部索引后退事件"。当选择图3的面部索引后退键306a时，触发面部索引后退事件。如果在步骤S213中确定事件是"面部索引后退事件"，则处理转 到步骤S214。微处理器IIO确定显示的面部索引是否是响应场景的数 据开头部分产生的索引。如果在步骤S214中确定显示的面部索引不 是响应场景的数据开头部分产生的索引，则处理转到步骤S212。微处 理器110基于在当前显示的面部索引之前的场景形成帧产生面部索 引，并且显示产生的面部索引。如果在步骤S214中确定显示面部索 引是响应场景的数据开头部分产生的索引，则处理返回步骤S201。因 而进行包括图3的面部索引屏幕的更新处理的各种处理。下面参照图8，描述在运动图像的记录时面部检测信息的记录处 理和记录停止处理。在面部检测信息的记录处理和记录停止处理中， 图1的成像设备100拍摄运动图像，并且把拍摄的运动图像记录到记 录介质105上。面部检测信息由在照相机信号处理器103中的面部检 测器114和记录和播放部件104产生。图1的成像设备100 —般由起 数据处理器作用的微处理器110控制。图8的处理是在当前正在进行 运动图像的记录的前提下开始的处理序列。在运动图像的记录时，微处理器110在步骤S301中检测用户操 作输入。当选择在信息处理设备上布置的硬键或在显示器109上呈现 的GUI上的软键时，可以进入操作输入。在步骤S302中检测到用来 切换屏幕的事件触发时，微处理器110转到步骤S303。微处理器IIO 确定事件是否是"记录结束事件"。如果在步骤S303中确定事件不是"记录结束事件"，则处理转到 步骤S304。微处理器IIO确定事件是否是"面部检测事件"。当操作在 成像设备100上布置的用来设置是否进行面部检测处理的面部检测命 令开关时，触发面部检测事件。如果在步骤S304中确定事件是"面部 检测事件"，则微处理器110在步骤S305中进行面部检测处理。在图 1的照相机信号处理器103中的面部检测器114在照相机信号处理器 103的RAM上存储每个帧的面部索引元数据，即，指示在场景中包 含的帧中已经检测到人面部的信息和面部检测帧的位置(坐标)信息。为了防止面部索引元数据增大到巨大的数据量，微处理器110
只有当检测到所检测到的面部数量的变化时才把面部索引元数据存
储在RAM上，而不是把所有帧的面部索引元数据存储在RAM上。
如果在步骤S303中确定事件是"记录结束事件"，则处理转到步
骤S306以停止记录运动图像。在步骤S307中，微处理器110确定在
记录的场景中是否存在面部检测信息。如果在步骤S307中确定在记
录场景中存在面部检测信息，则微处理器IIO把由在照相机信号处理
器103中的面部检测器114存储在RAM上的数据记录在图像信息管
理文件(AV索引文件)中，作为每个帧的面部索引元数据。在RAM
上存储的数据包含指示在场景中包含的帧中已经检测到人面部的信
息和面部检测帧的位置(坐标)信息。微处理器110在步骤S309中
更新图像信息管理文件，并且把更新的图像信息管理文件记录到记录
介质上。处理由此结束。
如果在步骤S307中确定在记录场景中不存在面部检测信息，则
微处理器110在步骤S309中用除面部索引元数据之外的管理数据更
新图像信息管理文件而不记录面部索引元数据，并且把更新的图像信
息管理文件记录到记录介质上。
已经参照具体实施例描述了本发明。可进行修改和变更而不脱离
本发明的范围对于本领域的技术人员来说是显而易见的。本发明的实 施例仅为了示例目的而讨论，而不是为了限制本发明。本发明的范围 仅通过参考附属于其的权利要求书而确定。
使用硬件、软件或两者的组合可以进行上述处理步骤序列。如果 处理步骤使用软件进行，则记录软件的处理序列的程序可以安装到在 专用硬件的计算机中的存储器上，或者可以安装到执行各种处理的通 用计算机上。程序可以预记录在记录介质上。程序可以从记录介质安 装。可选择地，程序可以经诸如局域网(LAN)之类的网络接收，并 且安装到在计算机中诸如硬盘之类的记录介质上。
处理步骤如以上描述的那样可以按时间序列顺序进行。可选择 地，处理步骤可以根据需要或依据进行每个处理的设备的能力并行或者分开进行。在本说明书中，术语系统是指多个设备的逻辑集合，并 且每个设备的元件不必装在单一壳体中。
本领域的技术人员应该理解，依据设计要求和其它因素可以做出 各种修改、组合、子组合及变更，只要它们在附属权利要求书或其等 效物的范围内即可。
权利要求
1.一种用来处理图像的设备，包括输入单元，用来输入用户操作信息；记录介质，用来记录运动图像数据；数据处理器，用来响应对输入单元的输入而获取在记录介质上记录的数据并产生显示数据；及显示单元，用来显示该显示数据，数据处理器从作为运动图像记录单位记录在记录介质上的场景中选择包含人面部图像的帧，产生从选择的帧中抽取的面部区的缩略像，及在显示单元上显示按时间序列顺序排列的所产生的缩略像的列表。
2. 根据权利要求1所述的设备，其中，记录介质记录用来管理在 记录介质上记录的图像信息的图像信息管理文件，并且其中，数据处理器从在记录介质上记录的图像信息管理文件获得 与在形成作为运动图像记录单位的场景的每个帧中面部区的存在与 否和面部区的位置有关的信息，选择包含人面部图像的帧，及产生从 选择的帧中抽取的面部区的缩略像。
3. 根据权利要求1所述的设备，其中，数据处理器通过分析作为 运动图像记录单位而记录在记录介质上的场景获得与在形成场景的 帧中面部区的存在与否和面部区的位置有关的信息，选择包含人面部 图像的帧，及产生从选择的帧中抽取的面部区的缩略像。
4. 根据权利要求1所述的设备，其中，数据处理器通过选择用作 要显示在时间序列缩略像列表中的面部缩略像的源数据的 帧内压缩编码图像来产生面部缩略像。
5. 根据权利要求1所述的设备，其中，输入单元包括在显示单元 上的触摸面板，并且其中，数据处理器从指定在显示单元上显示的时间序列面部缩略隋定信息，并且从与指定的面部缩略像相对应的图像位置播放图像。
6. 根据权利要求1所述的设备，其中，数据处理器在显示单元上 显示作为场景的代表性图像的场景索引，作为时间序列面部缩略 像列表的源数据；并且如果更新场景索引，则响应场景索引的更新而 更新时间序列面部缩略像列表。
7. —种成像设备，包括 成像单元，用来拾取图像； 输入单元，用来输入用户操作信息； 记录介质，用来记录运动图像数据；数据处理器，用来响应对输入单元的输入而获取在记录介质上记 录的数据并产生显示数据；及显示单元，用来显示该显示数据，数据处理器从作为运动图像记录单位记录在记录介质上的场景 中选择包含人面部图像的帧，产生从选择的帧中抽取的面部区的缩略 像，及在显示单元上显示按时间序列顺序排列的所产生的缩略图 图像的列表。
8. 根据权利要求7所述的成像设备，还包括用来检测人面部图像 的面部区是否包含在从成像单元获得的图像数据中的面部检测器，其中，在检测到面部时，数据处理器把面部图标与拾取图像一起 显示在显示单元上，以指示已经检测到面部。
9. 一种图像处理设备控制图像显示的方法，包括以下步骤 把用户操作信息输入到输入单元；通过响应对输入单元的输入而获取在记录介质上记录的数据和 产生显示数据来处理数据；及在显示单元上显示该显示数据，所述处理数据的步骤包括从作为运动图像记录单位记录在记录 介质上的场景中选择包含人面部图像的帧，产生从选择的帧中抽取的 面部区的缩略像，及在显示单元上显示按时间序列顺序排列的所 产生的缩略像的列表。
10. 根据权利要求9所述的方法，其中，所述处理数据的步骤包 括从在记录介质上记录的图像信息管理文件获得与在形成作为运动 图像记录单位的场景的每个帧中面部区的存在与否和面部区的位置 有关的信息，选择包含人面部图像的帧，及产生从选择的帧中抽取的
11. 根据权利要求9所述的方法，其中，所述处理数据的步骤包 括通过分析作为运动图像记录单位记录在记录介质上的场景获得与 在形成场景的每个帧中面部区的存在与否和面部区的位置有关的信 息、选择包含人面部图像的帧，及产生从选择的帧中抽取的面部区的 缩略像。
12. 根据权利要求9所述的方法，其中，所述处理数据的步骤包 括通过选择用作要显示在时间序列缩略像列表中的面部缩略图 图像的源数据的帧内压缩编码图像来产生面部缩略像。
13. 根据权利要求9所述的方法，其中，输入单元包括在显示单 元上的触摸面板，并且其中，所述处理数据的步骤包括从指定在显示单元上显示的时间 序列面部缩略像列表上的面部缩略像的用户输入面部缩略 像指定信息，和从与指定的面部缩略像相对应的图像位置播 放图像。
14. 根据权利要求9所述的方法，其中，所述处理数据的步骤包 括在显示单元上显示作为场景的代表性图像的场景索引，作为时间序 列面部缩略像列表的源数据；和如果更新场景索引，则响应场景 索引的更新而更新时间序列面部缩略像列表。
15. —种成像设备控制图像显示的方法，包括以下步骤 拾取图像；把用户操作信息输入到输入单元； 检测人面部图像的面部区是否包含在拾取图像中； 如果已经检测到面部，则把面部图标与拾取图像一起显示在显示 单元从作为运动图像记录单位记录在记录介质上的场景中选择包含 人面部图像的帧，产生从选择的帧中抽取的面部区的缩略像，及 在显示单元上显示按时间序列顺序排列的所产生的缩略像的列 表。
16. —种用来使图像处理设备控制图像显示的计算机程序，包括 以下步骤检测用户操作信息的输入；通过响应用户操作信息的输入而获取在记录介质上记录的数据 和产生显示数据来处理数据；及 显示该显示数据，所述处理数据的步骤包括从作为运动图像记录单位记录在记录 介质上的场景中选择包含人面部图像的帧，产生从选择的帧中抽取的 面部区的缩略像，及显示按时间序列顺序排列的所产生的缩略图 图像的列表。
17. —种使成像设备控制图像显示的计算机程序，包括以下步骤 拾取图像；检测用户操作信息的输入；检测人面部图像的面部区是否包含在拾取的图像数据中；如杲已经检测到面部，则把面部图标与拾取图像一起显示在显示单元上，以指示已经检测到面部；及从作为运动图像记录单位记录在记录介质上的场景中逸择包含人面部图像的帧，产生从选择的帧中抽取的面部区的缩略像，及在显示单元上显示按时间序列顺序排列的所产生的缩略像的列表。
全文摘要
本发明涉及信息处理设备、成像设备、图像显示控制方法及计算机程序。用来处理图像的设备包括输入单元，用来输入用户操作信息；记录介质，用来记录运动图像数据；数据处理器，用来响应对输入单元的输入而获取在记录介质上记录的数据并产生显示数据；及显示单元，用来显示该显示数据。数据处理器从作为运动图像记录单位记录在记录介质上的场景中选择包含人面部图像的帧，产生从选择的帧中抽取的面部区的缩略像，及在显示单元上显示按时间序列顺序排列的所产生的缩略像的列表。
文档编号H04N5/91GK101267523SQ200810085380
公开日2008年9月17日 申请日期2008年3月14日 优先权日2007年3月15日
发明者冲崎祯仁, 增田茂, 对尾健二, 小林幸, 江波户聪, 田渕达人 申请人:索尼株式会社