图像数据处理设备和图像数据处理方法

专利名称：图像数据处理设备和图像数据处理方法
技术领域：
本发明涉及一种图像数据处理设备和图像数据处理方法。更具体 地说，本发明涉及一种使用户能够容易地从保存在记录介质中的大量 静止图像数据和运动图像数据中取回所需的图像数据，并重放或编辑 该图像数据的图像数据处理设备和图像数据处理方法。
背景技术：
近年来，随着记录介质的容量的增大，已能够记录分别由数字静 态照相机和结合照相机的摄像机获得的大量静止图像和运动图像的 图像数据。不过，当能够把大量静止图像和运动图像的图像数据记录 在记录介质中时，如果用户对图像数据进行重放、编辑等，那么难以 容易地取回所需的图像数据。从而，未经审查的日本专利申请公开
No.2007-49332公开一种方法，其中在记录时提取记录目标数据的特 征，保存基于所述特征的元数据，在重放时，通过取回元数据，能够 容易地获得所需的数据。
另外，还提出一种方法，其中检测人的面部，利用检测的面部作 为关键字，从记录介质取回所需的数据。例如，未经审查的日本专利 申请公开No.2005-33276公开一种方法，其中确定源自重放目标数据 的被检面部和特定人的面部之间的相似性，并依次重放包括具有高相 似性的面部的图像。另外，未经审查的日本专利申请公开 No.2007-281858 7>开一种通过用户指定重放目标数据中的特定人，从 重放目标数据中提取包括该人的部分运动图像的方法。

发明内容
如果在记录时从记录目标数据中提取特征，并保存基于该特征的元数据，那么在特征提取时预先设置哪个特征被用作保存元数据的基 础。从而，当没有提取到便于容易地取回所需数据的特征时，即使取 回了元数据，也不能容易地获得所需的数据。另外，当提取了大量的 特征，并保存了基于所提取特征的元数据时，通过取回该元数据，能 够容易地获得所需的数据。但是，当提取了大量特征时，用户不容易 选择和使用某一特征来获得所需的数据。
另外，在确定源自重放目标数据的被检面部和特定人的面部之间 的相似性，并根据确定结果重放图像的方法中，特定人的图像是从重 放目标图像登记数据库指定的。从而，必须预先设置重放目标图像登 记数据库，以使用户能够指定特定人的图像。此外，如果登记在重放 目标图像登记数据库中的人的数目过大，那么难以容易地指定特定人 的图像。
另外，在通过用户指定重放目标数据中的特定人，从重放目标数 据中提取包括该人的部分运动图像的方法中，必须进行指定被重放的 运动图像(或静止图像)和重放目标数据中的人的操作。因此，除非包 括所需人的图像被重放，否则难以指定该人，从而不便于容易地提取 包括所需人的部分图像。
因此，本发明解决了上述及其它问题。理想的是提供一种使用户 能够容易地从记录介质读取所需图像数据的图像数据处理设备和图 像数据处理方法。
按照本发明的一个实施例，提供一种图像数据处理设备，包括 捕捉对象的图像和产生图像数据的成像部分；从产生的图像数据中提 取视觉特征的特征提取处理部分；比较从记录介质中的记录的图像数 据提取的、与记录的图像数据相关的视觉特征和由特征提取处理部分 提取的视觉特征的特征比较处理部分；和根据比较结果，从记录介质 读取具有由特征提取处理部分提取的视觉特征的图像数据的控制部分。
在该图像数据处理设备中，视觉特征提取自由成像部分产生的图 像数据。下述被用于视觉特征通过进行面部检测而获得的面部检测
5结果，通过利用面部检测结果进行面部属性检测、人物识别和人体检 测至少之一而获得的结果，和不仅仅是人物检测结果，而且还有物体 检测结果等等。例如，图像数据和从图像数据提取的视觉特征被关联 地记录在记录介质中。比较从成像部分产生的图像数据中提取的视觉 特征和记录在记录介质中的视觉特征。根据比较结果，从记录介质读 取具有从成像部分产生的图像数据提取的视觉特征的图像数据。另 外，读取的图像数据可被连结成一个文件。
按照本发明的另一实施例，提供一种处理图像数据的方法，包括 捕捉对象的图像和产生图像数据；从产生的图像数据中提取视觉特 征；比较从记录介质中的记录的图像数据提取的、与记录的图像数据 关联的视觉特征和提取的视觉特征；和根据比较结果，从记录介质读 取具有提取的视觉特征的图像数据。
借助本发明，比较从通过捕捉对象的图像而产生的图像数据中提 取的视觉特征和记录在记录介质中的视觉特征。根据比较结果，从记 录介质读取具有从成像部分产生的图像数据中提取的视觉特征的图 像数据。
因此，仅仅通过拍摄所需的对象，就能够容易地从记录介质读取 包括所需对象的图像数据，而不必从登记在重放目标图像登记数据库 中的人物中指定特定人，或者重放包括特定人的图像，并指定被重放 图像中的特定人。


图l是图解说明图像数据处理设备的配置的示图； 图2是图解说明特征提取处理部分的配置的示图； 图3是图解说明当依次自动取回和再现所需的静止图像时的操 作的流程图4是当依次自动取回和再现所需的静止图像时的处理过程图； 图5是图解说明当依次自动取回和再现所需的静止图像时的特 征提取操作的流程图；图6是图解说明随附数据的格式的示图； 图7是图解说明面部属性检测结果的示图； 图8是图解说明人体检测结果的示图9是图解说明当自动读取和编辑所需运动图像时的操作的流
程图10是当自动读取和编辑所需运动图像时的处理过程图； 图11是图解说明当自动读取和编辑所需运动图像时的特征提取 操作的流程图12是图解说明编辑操作的示图。
具体实施例方式
下面参考附图，说明本发明的一个实施例。图1图解说明图像数 据处理设备的配置。
图像数据处理设备IO包括透镜部分21,成像部分22，照相机信 号处理部分23，分辨率变换处理部分24,特征提取处理部分25，特 征比较处理部分26,记录和重放处理部分27，输入/输出接口部分28， 存储器部分29，记录介质驱动部分30，记录介质31,显示部分35， 用户接口部分39，和控制部分40。另外，照相才几信号处理部分23， 分辨率变换处理部分24，特征提取处理部分25，特征比较处理部分 26，记录和重放处理部分27，输入/输出接口部分28，存储器部分29 和控制部分40通过总线50连接。另外，把图像数据等记录到记录介 质31,和从记录介质31重放图像数据等的记录介质驱动部分30，以 及显示图像、菜单等的显示部分35与输入/输出接口部分28连接。
透镜部分21在包括在成像部分22中的成像器件的成像表面上形 成图像。成像部分22捕捉对象的图像，并生成图像数据DVa。成像 部分22包括成像器件和驱动成像器件等的驱动电路。成像部分22通 过进行光电变换等，生成成像信号。另外，成像部分22消除成像信 号的噪声，并调节成像信号的电平。此外，成像部分22把经过噪声 消除和信号电平调节的模拟成像信号转换成数字信号，并把数字信号作为图像数据DVa提供给照相机信号处理部分23。
照相机信号处理部分23进行改善色彩再现性的矩阵计算，压缩 高亮度部分的拐点校正，获得高保真灰度级表现的y校正，校正所捕 捉图像的轮廓的细节处理，等等。另外，照相机信号处理部分23把 经过信号处理后的图像数据DVb提供给分辨率变换处理部分24或者 存储器部分29。
分辨率变换处理部分24把从照相机信号处理部分23供给的图像 数据DVb，或者保存在存储器部分29中的图像数据DVb变换成具有 所需分辨率的图像数据DVc。此外，分辨率变换处理部分24把变换 后的图像数据DVc保存在存储器部分29中。
特征提取处理部分25从保存在存储器部分29中的图像数据DVc 提取图像数据的视觉特征，并把指示提取的视觉特征的特征量Va提 供给控制部分40。
图2是图解说明特征提取处理部分25的配置的示图。特征提取 处理部分25包括面部检测部分251,面部属性检测部分252，人物识 别部分253,人体检测部分254和物体检测部分255。各个部分可通 过总线50与特征比较处理部分26,存储器部分29和控制部分40连 接。
检测部分251从基于图像数据DVc的图像中检测人物的面部。 检测部分25检测面部的数目，面部在图像中的位置，面部的大小等 等，并把检测结果作为面部检测结果Va-l通知控制部分40,面部属 性检测部分252,人物识别部分253和人体检测部分254。检测部分 251从基于图像数据DVc的图像中，把与面部图像模板具有高匹配度 的肤色区确定为面部，并根据确定为面部的区域生成面部检测结果 Va-l。
面部属性检测部分252从基于图像数据DVc的图像中，由面部 检测结果Va-l表示的面部图像中检测面部属性。面部属性检测部分 252检测面部表情，眨眼，男或女，成人或儿童等作为面部属性，并 把面部属性检测结果Va-2通知控制部分40。面部属性检测部分252计算面部表情(笑脸等)的程度分，眨眼的程度分等，并确定所获得的 分数作为面部属性检测结果。
人物识别部分253把基于图像数据DVc的图像中，由面部检测 结果Va-l指示的面部图像确定为某人的面部，并把人物识别结果 Va-3通知控制部分40。人物识别部分253计算由面部检测结果Va-l 指示的面部图像和预先登记的面部图像之间的相似性的分数，并确定 所得到的分数作为人物识别结果。
人体检测部分254从基于图像数据DVc的图像中检测人体部分， 并把人体检测结果Va-4通知控制部分40。人体检测部分254检测与 由面部检测结果Va-l指示的面部关联的人体部分的多个部位，例如 关节部分，比如肩、肘、手腕、膝盖等，并确定所述关节部分在图像 中的位置作为人体检测结果。
物体检测部分255从基于图像数据DVc的图像中检测除人之外 的对象，并把物体检测结果Va-5通知控制部分40。例如，物体检测 部分255确定被检对象的类型(指示与已识别的对象的相似性的分 数)，对象在图像中的位置，表示该对象的图像的大小等等，作为物体 检测结果。
在这方面，面部检测、面部属性检测、人物识别、人体检测和对 象检测并不局限于上述方法，其它各种方法可用于所述检测。另外， 特征提取处理部分25并不局限于上述各个部件被用作组成部件的情 况。可以仅仅使用一些部件作为组成部件。另一方面，可以提取新的 特征。例如，可取决于图像数据处理设备的资源(处理能力、硬件限制 大小、工作频率等)自由设置组成部件。
图1中的特征比较处理部分26比较特征提取处理部分25提取的 特征和与图像数据关联地记录在记录介质31中的特征。特征比较处 理部分26具有保存比较源的随附数据和比较目标的随附数据的存储 部分。如后所述，随附数据是预定格式的指示表示视觉特征的特征量 和拍摄条件(例如，拍摄日期和时间，变焦位置等)的数据。特征比较 处理部分26比较表示由特征提取处理部分25提取的特征的随附数据DNa和记录在与输入/输出接口部分28连接的记录介质驱动部分30 的记录介质31中的随附数据DNr，并把比较结果JG保存到特征比较 处理部分26的存储部分中。
记录和重放处理部分27把保存在存储器部分29中的图像数据 DVc转换成预定格式，例如JPEG、 MPEG4等的编码数据，并把编 码数据提供给与输入/输出接口部分28连接的记录介质驱动部分30。 另外，记录和重》文处理部分27对记录介质驱动部分30从记录介质31 读取的数据解码。
输入/输出接口部分28是连接记录介质驱动部分30和总线50的 接口。存储器部分29保存图像数据，或者在一些情况下，保存特征 量Va，或者比较结果JG。
记录介质驱动部分30驱动记录介质31，把数据写到记录介质31 上和从记录介质31读取数据。记录介质31包括光盘、磁盘、半导体 存储器等等，保存各种数据。记录介质31可以从记录介质驱动部分 30中取出。另一方面，记录介质31可以整体地包括在记录介质驱动 部分30中，记录介质驱动部分30可被布置在图像数据处理设备中。
显示部分35显示静止图像、运动图像和用于设置操作等的菜单 等等。在这点上，显示部分35可以和图像数据处理设备整体布置， 或者可和图像数据处理设备分离布置。
用户接口部分39包括操作键等，按照用户的操作产生操作信号 PS，并把该信号提供给控制部分40。
控制部分40包括CPU(中央处理器)、ROM(只读存储器)、 RAM(随机存取存储器)等等。CPU执行记录在ROM或RAM中的程 序，根据操作信号PS控制各个部分的操作，以致图像数据处理设备 按照用户的操作工作。例如，CPU执行从记录介质31读取所需图像 数据以重放该数据的处理，和从记录介质31读取所需图像数据以编 辑该数据的处理。另外，在从记录介质31读取所需图像数据时，控 制部分40利用特征量Va(Va-l ~ Va-5)取回图像数据。
下面说明图像数据处理设备的操作。图3是图解说明自动从记录
10介质取回并依次再现所需的静止图像的情况的流程图。图4是此时的 处理过程图的例子。具体地说，当保存包括比如目标人物和其它人物， 和风景在内的大量静止图像的数字静态照相机与外部监视器连接时， 上述情况是必需的。例如，只有当自动检索包括带笑脸的目标人物的 照片，以便通过幻灯片放映显示这些照片时才发生上述情况。在这点 上，自动检索和重放所需图像的操作模式被称为"自动重放模式"。
另外，图1中的记录介质31不仅保存捕捉的静止图像的图像数 据，而且与图像数据关联地保存在拍摄静止图像时，由特征提取处理 部分25获得的特征量，和指示拍摄条件(例如，日期和时间，变焦位 置等)的信息，作为预定格式的随附数据DNr。
这里，当检索某一图像时，假定对于每种操作模式设置了预置信 息。该预置信息是指令对于所述检索，提取什么视觉特征的信息。即， 预置信息是指示当检索所需图像时，使用关于什么项目的特征量的信 息，或者指示哪个特征量将被取回的条件，和待检索图像的特征量的 值等是什么的信息。例如，作为特征量的项目，预置信息包括表示图 像数据的文件是运动图像文件还是静止图像文件的"文件类型"，"面 部检测结果"，"面部属性检测结果"和"人物识别结果"。在这种情况 下，当检索所需图像时，"文件类型"，"面部检测结果"，"面部属性 检测结果"和"人物识别结果"被用作检索条件。另外，预置信息不仅 可以指示特征量项目，而且可以指示特征量值等。例如，假定特征量 的值指示"文件类型是静止图像"，"被检面部的数目是预定数目或者 更多"，"被检面部属性是笑脸"，和"所识别的人物是待检索的人物"。 这种情况下，待检索的图像满足文件类型是静止图像，被检面部的数 目是预定数目或者更多，和被检面部属性是笑脸的条件。在这点上， 可以在选择操作模式之前设置预置信息。另一方面，预置信息可在选 择操作模式时设置，或者变化自已设置的信息。
在步骤ST1，控制部分40确定是否选择了自动重放模式。当控 制部分40确定用户的自动重放模式选择操作(图4中的用户操作US1) 选择了自动重放模式，那么处理进入步骤ST2。当选择了另一种重放模式时，处理进入步骤ST29，控制部分40按照另一种重放模式进行 操作。在这点上，借助图像数据处理设备10的显示操作模式的选择 菜单，并允许用户从选择菜单显示图中选择自动重放模式的显示部分 35选择操作模式。
在步骤ST2,控制部分40指令设置包括在随附信息中的信息(图 4中控制部分的操作CA1)。控制部分40允许用户不仅设置由预置信 息指示的特征量，而且允许用户设置哪些其它信息被包括在待比较的 随附信息中。控制部分40在显示部分35中显示设置屏幕设置信息， 并允许用户在自动重放时，依据检索条件排除某人的识别，并把拍摄 信息设为检索条件以比较拍摄条件，比如拍摄日期和时间及变焦位置 等等(图4中的另一部分的操作MA1)。用户按照设置屏幕设定包括在 随附数据中的拍摄信息(图4中的用户操作US2)。在这点上，在步骤 ST2中，控制部分40允许用户设置预置信息或者改变已设置的预置 信息。另外，如果预置信息已被设置，并且不必设置或者改变不同于 预置信息的拍摄信息，那么允许控制部分40省略该步骤的处理。
在步骤ST3，控制部分40开始监控操作，处理进入步骤ST4。 控制部分40控制透镜部分21，成像部分22，照相机信号处理部分23， 分辨率变换处理部分24等的操作(图4中控制部分的操作CA2)，并把 捕捉的图像显示在显示部分35上(图4中另 一部分的操作MA2)。
在步骤ST4，控制部分40确定快门是否已被操作。如果未被操 作，那么处理返回步骤ST4。如果快门已被操作，那么处理进入ST5。 用户产生用于检索所需静止图像的图像数据。例如，当用户只自动检 索拍有带笑脸的目标人物的照片时，当目标人物微笑时，用户执行快 门操作(图4中的用户操作US3),产生其中拍摄有带笑脸的目标人物 的图像数据。
在步骤ST5，控制部分40指令提取特征，处理进入步骤ST6。 控制部分40指令从当快门被操作时所捕捉的图像中提取特征(图4中 控制部分的操作CA3)。
在步骤ST6，控制部分40读取记录在记录介质31中的随附数据DNr,处理进入步骤ST7(图4中控制部分的操作CA4)。
在步骤ST7，控制部分40把读取的随附数据DNr传给特征比较 处理部分26，处理进入步骤ST20(图4中控制部分的操作CA5)。
图5是图解说明当依次自动取回和再现所需静止图像时的特征 量提取操作的流程图。当控制部分40指令提取特征时，照相机信号 处理部分23在步骤ST11中捕捉图像数据(图4中另一部分的操作 MA3),把当快门被操作时所捕捉图像的图像数据保存到存储器部分 29中，处理进入步骤ST12。
在步骤ST12，分辨率变换处理部分24对保存在存储器部分29 中的图像数据进行分辨率变换，处理进入步骤ST13。分辨率变换处 理部分24把保存在存储器部分29中的图像数据转换成具有特征提取 处理部分25所需分辨率的图像，并把该图像返回给存储器部分29(图 4中另 一部分的操作MA4)。
在步骤ST13，特征提取处理部分25的面部检测部分251进行面 部检测。面部检测部分251首先从已经过分辨率变换的图像数据的图 像中检测人的面部。面部检测部分251随后检测图像中人脸的位置和 面部的大小等等，并把检测结果作为面部检测结果Va-l通知控制部 分40(图4中的特征提取处理部分的操作MB1)。
在步骤ST14，特征提取处理部分25的面部属性检测部分252进 行面部属性检测。面部属性检测部分252对在步骤ST13中检测的人 脸进行面部属性检测，并把面部属性检测结果Va-2通知控制部分(图 4中的特征提取处理部分的操作MB2)。这里，如果当目标人物微笑 时快门被操作，那么检测结果中的笑脸的分数变大，其它属性的分数 变小。
在步骤ST15,特征提取处理部分25的人物识别部分253进行人 物识别。人物识别部分253把在步骤ST13中检测的面部识别为某人 的面部，并把人物识别结果Va-3通知控制部分40(图4中的特征提取 处理部分的操作MB3)。
通过执行步骤ST11-ST15的处理，获得用于检索所需静止图像带笑脸的目标人物的照片时，获得 与目标人物的笑脸对应的特征。
在图3中的步骤ST20中，在控制部分40中，确定用于检索所 需静止图像的特征是否已被提取。当控制部分40未完成特征的提取 时，处理返回步骤ST20。如果特征的提取已完成，那么处理进入步 骤ST21。
在步骤ST21，控制部分40生成随附数据DNa，随后处理进入 步骤ST22。控制部分40利用提取的特征，按照和记录在记录介质31 中的随附数据DNr相同的格式生成随附数据DNa(图4中控制部分的 操作CA6)。
图6图解说明随附数据的格式的例子。例如，随附数据具有"随 附数据识别信息"，"文件类型"，"从起点起的字节数"，"被检面部的 数目"，"面部属性检测结果"，"人物识别结果"，"人体检测结果"，"被 检对象的数目"和"被检对象识别结果"的数据。
随附数据识别信息被置于随附数据的起点，并指示该数据是随附 数据的特定数据串。文件类型是指示图像数据是静止图像还是运动图 像的图像数据的数据。从起点起的字节数指示从记录介质的起点到记 录随附数据的位置的字节数。被检面部的数目是表示面部检测部分 251在图像帧中检测到的面部的数目的数据。
面部属性检测结果是表示面部属性检测部分252检测的面部的 属性的数据。图7表示面部属性检测结果。面部属性检测部分252进 行面部有效性检测，偏转角检测，性别检测，成人/儿童检测，笑脸检 测，眨眼检测，并指示面部有效性面部有效性检测结果VDT，偏转角 检测结果YDT，性别检测结果GDT,成人/儿童检测结果CDT，笑脸 检测结果SDT,和眨眼检测结果BDT。在该面部属性检测中，每个 属性的分数和阈值之间的比较结果被用作每个检测结果。
人物识别结果是表示人物的识别信息的数据，该人物由人物识别 部分253从预先登记的人物中，识别为与被检面部最相似的人物。
人体检测结果是表示人体检测部分254的检测结果的数据。图
148A和8B图解说明人体检测结果。如图8A中所示，在人体检测中， 根据面部的中心检测下述位置左肩位置(QS1),右肩位置(QS2)，左 肘位置(QE1),右肘位置(QE2)，左手位置(QH1)，右手位置(QH2)， 腰部位置(QW)，左膝位置(QK1)，和右膝位置(QK2)。如图8B中所 示，各个检测位置的检测结果，例如，表示各个检测位置到面部中心 的X坐标和Y坐标的数据被确定为基于检测结果的人体检测结果。 这里，与当人体位于较近位置时，从面部中心到各个位置的距离相比， 当人体位于较远位置时，从面部中心到各个位置的距离变小。因此， 人体检测结果是按照面部大小(QN)归 一化的数据。
物体检测结果是表示物体检测部分25从图像帧中检测到的对象 的数目的数据。被检对象识别结果是表示对象的识别信息的数据，该 对象由物体检测部分255识别为与预先登记的对象最相似的^皮检对 象。
在这点上，在图6中，表示了其中随附数据DNa包括"随附数据 识别信息"，"文件类型"，"从起点起的字节数"，"被检面部的数目"， "面部属性检测结果"，"人物识别结果"，"人体检测结果"，",皮检对 象的数目"，和"被检对象识别结果"数据的情况的例子。不过，在每 种操作模式下的随附数据DNa的生成中，产生只指示对每种操作模 式来说必需的数据的随附数据DNa。例如，利用面部检测结果进行面 部属性检测，人物识别和人体检测任意之一。随后，这些结果被包括 在面部检测结果中，随后产生指示视觉特征的随附数据DNa。另夕卜， 当仅仅设置预置信息时，以及如上所述，当项目"文件类型"和作为视 觉特征的项目"被检面部的数目，，，"属性检测结果，，和"人物识别结果" 被指示时，产生指示"随附数据识别信息"，"文件类型"，"从起点起 的字节数"，"被检面部的数目"，"属性检测结果"和"人物识别结果" 的随附数据DNa。
在步骤S22，控制部分40进行把产生的随附数据DNa传给特征 比较处理部分26的处理，随后处理进入步骤ST23(图4中控制部分的 操作CA7)。在步骤ST23，特征比较处理部分26比较随附数据DNa和随附 数据DNr，处理进入步骤ST24。特征比较处理部分26按照来自控制 部分40的比较方法的指令，比较在步骤ST22中传送的随附数据DNa 和在步骤ST7中传送的随附数据DNr，并检索与检索条件匹配的静止 图像。例如，当控制部分40发出比较指令时，检测与检索条件匹配 的静止图像，以致利用在确定快门被操作时捕捉的图像的检索条件， 检测与检索条件匹配的静止图像。即，当给出选择包含带笑脸的目标 人物的静止图像的文件名的指令时，作为随附数据的比较，特征比较 处理部分26比较面部属性检测结果Va-2和人物识别结果Va-3，并检 测包括带笑脸的目标人物的静止图像的文件名(图4中特征比较处理 部分的操作MC1)。
在步骤ST24,特征比较处理部分26确定是否完成了所有随附数 据的比较。如果特征比较处理部分26未完成在步骤ST22中传送的随 附数据DNa和在步骤ST7中传送的所有随附数据DNr的比较处理， 那么处理返回步骤ST23。如果完成了与所有随附数据DNr的比较处 理，那么处理进入步骤ST25。
在步骤ST25，控制部分40读取随附数据的比较结果JG，处理 进入步骤ST26。控制部分40从特征比较处理部分26读取随附数据 的比较结果JG，即，与检索条件匹配的静止图像的文件名(图4中控 制部分的操作CA8)。
在步骤ST26,控制部分40指令根据随附数据的比较结果JG进 行重放，处理进入步骤ST27。控制部分40把由随附数据的比较结果 JG指示的文件名通知记录和重放处理部分27，并使记录和重》文处理 部分27顺序重放由比较结果指示的文件名的静止图像(图4中控制部 分的操作CA9)。取回的静止图像的重放可以按照保存在比较结果中 的顺序依次进行，或者可以按照任意顺序进行。另外，可同时显示多 个重放图像，或者可在重放图像之间插入特效。在这点上，取决于重 放操作，多个重放图像有时可被布置在存储器部分29中。
记录和重放处理部分27从记录介质读取具有由随附数据的比较结果JG指示的文件名的图像数据，把图像数据保存在存储器部分29 中，并执行把图像数据DRa、 DRb、 DRc、...供给显示部分35的处 理(图4中另 一部分的操作MA5)。
在步骤ST27，控制部分40确定是否执行了重放结束操作。如果 控制部分40确定未执行重放结束操作，那么处理返回步骤ST26。如 果控制部分40确定执行了重放结束操作，那么重放操作被终止。
在这点上，在上面描述的操作中，记录在记录介质31中的随附 数据DNr被一次读取，并被传给特征比较处理部分26,以便比较随 附数据。不过，如果随附数据的容量较大，那么按照特征比较处理部 分26能够处理的容量读取记录在记录介质31中的随附数据DNr，并 与随附数据进行比较。
按照这种方式，只有当用户选择自动重放模式，并且捕捉带笑脸 的目标人物的图像时，才能够从保存在记录介质31中的大量静止图 像中，搜索包括带笑脸的目标人物的静止图像，并读取该静止图像的 图像数据以便自动重放。
在这点上，在进行快门操作之前，能够进行步骤ST6和ST7的 处理，即，可进行记录在记录介质31中的随附数据的读取，和把读 取的随附数据传给特征比较处理部分26。不过，如果用户在不进行快 门操作的情况下停止重放操作，那么随附数据的读取和传送变得无 效。因此，可取的是在进行快门操作之后读取和传送随附数据。
在上面说明的实施例中，说明了静止图像被记录在记录介质31 中的情况。不过，在记录运动图像的情况下，能够按照相似的方式检 索所需的运动图像。
下面，说明从记录在记录介质31中的运动图像中自动检索所需 运动图像的情况。图9是图解说明当从记录介质自动读取和编辑所需 运动图像时的操作的流程图。图10是此时的处理过程图的例子。具 体地说，当从其中记录大量运动图像的结合照相机的摄像机编辑所需 运动图像时，发生这种情况。例如，当用户只希望提取进行高尔夫球 挥杆的某人的所有场景时，发生上述情况。在这点上，从记录介质31
17自动检索并编辑所需运动图像的操作模式被称为"自动运动图像编辑 模式"。
另外，假定不仅捕捉的运动图像的图像数据被保存在图1中的记
录介质31中，而且特征提取处理部分25获得的特征量，和指示拍摄 条件(例如，拍摄日期和时间，变焦位置等)的信息等等作为具有预定 格式的随附数据DNr，和图像数据关联地也被保存在图1中的记录介 质31中。
在步骤ST31中，控制部分40确定是否选择了自动运动图像编 辑模式。当控制部分40确定用户的自动运动图像编辑模式选择操作 (图10中的用户操作US11)选择了自动运动图像编辑模式，那么处理 进入步骤ST32。另外，当选择了另一种编辑模式时，处理进入步骤 ST59，控制部分40按照另一种编辑模式进行操作。在这点上，借助 图像数据处理设备10的显示编辑模式的选择菜单，并允许用户从选 择菜单显示图中选择自动运动图像编辑模式的显示部分35选择编辑 操作模式。
在步骤ST32,控制部分40指令设置包括在随附信息中的信息(图 4中控制部分的操作CB1)。控制部分40允许用户不仅设置由预置信 息指示的特征量，而且允许用户设置哪些其它信息被包括在待比较的 随附信息中。控制部分40在显示部分35中显示设置屏幕设置信息， 并允许用户仅仅选择上半身作为运动图像编辑模式时的检索条件，和 设置拍摄信息以比较拍摄条件，比如拍摄日期和时间及变焦位置等等 (图10中另一部分的操作MD1)。用户设定包括随附数据的拍摄信息 (图10中的用户操作US12)。在这点上，在步骤ST32中，控制部分 40允许用户设置预置信息或者改变已设置的预置信息。另外，如果预 置信息已被设置，并且不必设置或者改变不同于预置信息的拍摄信 息，那么允许控制部分40省略该步骤的处理。
在步骤ST33,控制部分40开始监控操作，处理进入步骤ST34。 控制部分40控制透镜部分21，成像部分22,照相机信号处理部分23, 分辨率变换处理部分24等的操作(图10中控制部分的操作CB2)，并把捕捉的图像显示在显示部分35上(图10中另一部分的操作MD2)。
在步骤ST34，控制部分40确定是否执行了图像捕捉开始操作。 如果未执行图像捕捉开始操作，那么处理返回步骤ST34。如果执行 了该操作，那么处理进入ST35。用户产生用于检索所需运动图像的 图像数据。例如，从作为捕捉图像记录在记录介质31中的运动图像 中捕捉处于在所需图像附近的状态的对象的操作。捕捉图像是通过在 按照和捕捉运动图像相同的方式，开始和结束图像捕捉时，操作摄像 机的记录开始按钮来实现的。具体地说，使摄像机对准待检索的人物， 并在开始该人物的高尔夫球挥杆操作的同时，操作记录开始按钮(图 10中的用户操作US13)，以便把操作从监控操作变成图像捕捉操作。
在步骤ST35，控制部分40指令提取特征，处理进入步骤ST36。 控制部分40指令从在通过操作记录开始按钮，开始图像捕捉操作之 后捕捉的图像中提取特征(图10中控制部分的操作CB3)。
在步骤ST36，控制部分40读取记录在记录介质31中的随附数 据DNr，处理进入步骤ST37(图10中控制部分的操作CB4)。
在步骤ST37，控制部分40把读取的随附数据DNr传给特征比 较处理部分26,处理进入步骤ST50(图10中控制部分的操作CB5)。
图ll是图解说明当自动读取和顺序编辑所需运动图像时的特征 量提取操作的流程图。当控制部分40指令提取特征时，照相机信号 处理部分23在步骤ST41中捕捉图像数据(图10中另一部分的操作 MD3)，把所捕捉图像的图像数据保存到存储器部分29中，处理进入 步骤ST42。
在步骤ST42,分辨率变换处理部分24对保存在存储器部分29 中的图像数据进行分辨率变换，处理进入步骤ST43。分辨率变换处 理部分24把保存在存储器部分29中的图像数据转换成具有特征提取 处理部分25所需分辨率的图像，并把该图像返回给存储器部分29(图 10中另 一部分的操作MD4)。
在步骤ST43，特征提取处理部分25的面部检测部分251进行面 部检测，处理进入步骤ST44。面部检测部分251从已经过分辨率变
19换的图像数据的图像中检测人的面部。面部检测部分251随后检测图 像中人脸的位置和面部的大小等等，并把检测结果作为面部检测结果 Va-l通知控制部分40(图10中的特征提取处理部分的操作ME1)。
在步骤ST44，特征提取处理部分25的人体检测部分254检测人 体。人体检测部分254检测与步骤ST43检测的人脸连接的人体部分， 并把人体检测结果Va-4通知控制部分40(图10中的特征提取处理部 分的操作ME2)。例如，人体检测部分254检测图像中关节部位，例 如肩、肘、腕、膝等的位置作为人体检测结果Va-4。
通过执行步骤ST41-ST44的处理，获得用于检索所需运动图像 的特征。即，当自动检索人物的高尔夫球挥杆的运动图像时，获得与 该人的高尔夫球挥杆对应的特征。
在图9中的步骤ST50中，在控制部分40中，确定用于检索所 需运动图像的特征是否已被提取。当控制部分40未完成特征的提取 时，处理返回步骤ST50。如果特征的提取已完成，那么处理进入步 骤ST51。
在步骤ST51,控制部分40生成随附数据DNa，随后处理进入 步骤ST52。控制部分40利用提取的特征，按照和记录在记录介质31 中的随附数据DNr相同的格式生成随附数据DNa(图10中控制部分的 操作CB6)。在这点上，在每种操作模式下的随附数据DNa的生成中， 应该只产生对每种操作模式来说必需的随附数据DNa。例如，当仅仅 设置预置信息时，并且如果项目"文件类型，，和"被检面部的数目"及 "人体检测结果，，被指示，且未设置除预置信息之外的信息，那么产生 指示"文件类型，，，"被检面部的数目，，和"人体检测结果"的随附数据。
在步骤S52,控制部分40确定是否执行了图像捕捉结束操作。 如果控制部分40确定未执行记录停止操作，那么处理返回步骤ST50。 如果执行了记录停止操作(图10中的用户操作US14)以终止图像捕捉 操作，那么处理进入步骤ST53。即，重复步骤ST41-ST44和ST50-ST51 的处理，对每个捕捉图像产生随附数据DNa。
在步骤ST53，控制部分40进行把产生的随附数据DNa传给特征比较处理部分26的处理，随后处理进入步骤ST54(图10中控制部 分的操作CB7)。
在步骤ST54,特征比较处理部分26比较随附数据DNa和随附 数据DNr,处理进入步骤ST55。特征比较处理部分26按照来自控制 部分40的比较指令，比较在步骤ST53中传送的随附数据DNa和在 步骤ST37中传送的随附数据DNr，并检索与检索条件匹配的运动图 像的位置。例如，当控制部分40发出比较指令时，检测运动图像的 位置，以致利用在确定检索条件是从开始图像捕捉操作到结束图像捕 捉操作的捕捉图像时捕捉图像的检索条件，检测与检索条件匹配的运 动图像。即，当给出选择包含目标人物的高尔夫球挥杆的部分运动图 像的运动图像的部分运动图像的文件名和位置的指令时，作为随附数 据的比较，特征比较处理部分26比较面部属性检测结果Va-l和人体 检测结果Va-4，并检测包括目标人物的高尔夫球挥杆的运动图像的文 件名，和部分运动图像的位置(图10中特征比较处理部分的操作 MF1)。
在步骤ST55，特征比较处理部分26确定是否完成了所有随附数 据的比较。如果特征比较处理部分26未完成在步骤ST53中传送的随 附数据DNa和在步骤ST37中传送的所有随附数据DNr的比较处理， 那么处理返回步骤ST54。如果完成了与所有随附数据DNr的比较处 理，那么处理进入步骤ST56。
在步骤ST56，控制部分40读取随附数据的比较结果JG，处理 进入步骤ST57。控制部分40从特征比较处理部分26读取随附数据 的比较结果JG，即，与检索条件匹配的运动图像的文件名(图10中控 制部分的操作CB8)。
在步骤ST57，控制部分40根据随附数据的比较结果JG，编辑 运动图像(图10中控制部分的操作CB9)。控制部分40从记录介质31 中的由随附数据的比较结果指示的文件名的图像数据中读取和检索 条件匹配的部分运动图像的图像数据，并进行连结处理，处理进入步 骤ST58。图12图解说明运动图像编辑的原理。图12(A)表示记录在记录 介质31中的运动图像。阴影部分表示随附数据的比较结果指示的与 检索条件匹配的部分运动图像DMa、 DMb和DMc。
如图12(B)中所示，控制部分40按照在记录介质31中的记录时 间的顺序，即，按照部分运动图像DMa、 DMb和DMc的顺序连结 与检索条件匹配的部分运动图像。另外，如图12(C)中所示，控制部 分可任意连结与检索条件匹配的部分运动图^f象。例如，部分运动图像 可按照DMb、 DMa和DMc的顺序连结。每次连结文件时，连结的 运动图像文件被保存在存储器部分29中(图10中的DMac)。
在图9中的步骤ST58中，在编辑运动图像之后，控制部分向编 辑并保存在存储器部分29中之后的图像数据文件(图10中的DMac) 增加报头等，并把该数据文件作为编辑后的文件写入记录介质31中 (图10中控制部分的操作CBIO)。之后，控制部分40变成正常重放模 式等，终止编辑模式的处理。
在这点上，在上面描述的操作中，记录在记录介质31中的随附 数据DNr被一次读取，并净皮传给特征比较处理部分26，以便比较随 附数据。不过，如果随附数据的容量较大，那么按照特征比较处理部 分26能够处理的容量读取记录在记录介质31中的随附数据DNr，并 与随附数据进行比较。另外，按照相同的方式，如果在部分随附数据 的生成过程中，随附数据变得大于能够一次处理的数据的容量，那么 生成过程中的该部分随附数据被传给存储器部分29，当进行图像捕捉 结束操作时，考虑到特征比较处理部分26能够处理的每个容量，向 特征比较处理部分26传送随附数据。
另外，在进行图像捕捉操作之前，能够进行步骤ST36和ST37 的处理，即，可进行随附数据的读取，和把读取的随附数据传给特征 比较处理部分26。不过，如果用户在不进行编辑操作的情况下停止重 放操作，那么随附数据的读取和传送变得无效。因此，可取的是在进 行图像捕捉操作之后读取和传送随附数据。
按照这种方式，只有当用户选择自动运动图像编辑模式，并捕捉人物的高尔夫球挥杆操作的图像时，才能够从保存在记录介质中的大 量运动图像中搜索人物的高尔夫球挥杆部分运动图像，能够自动编辑 该图像。
另外，待检索的对象并不局限于人物，可检测除人之外的对象， 以重放或编辑图像。例如，当从记录介质读取包括小动物的静止图像， 以便顺序重放时，目标小动物(或者与小动物类似的玩具动物)的图4象
被捕捉，物体检测部分255利用此时的静止图像的图像数据提取特征。 此外，利用提取的特征产生随附数据，通过使用产生的随附数据和记 录在记录介质31中的随附数据之间的比较结果，能够顺序读取和再 现包括该小动物的静止图像。
另外，可利用成像设备和计算机设备形成上面说明的图像数据处 理设备。在这种情况下，将在计算机设备上执行的程序包括从成像设 备产生的图像数据中提取视觉特征的步骤，比较提取的视觉特征和与 图像数据关联地记录在记录介质中的视觉特征的步骤，和根据比较结 果从记录介质读取指示提取的视觉特征的图像数据的步骤。通过执行 该程序，计算机设备根据成像设备产生的捕捉图像，从记录在记录介 质中的静止图像和运动图像中取回所需的图^f象，随后读取取回的图像 的图像数据，并重放和编辑该图像数据。
在这点上，所述程序可按照能够执行各种程序代码的通用计算机 的计算机可读格式，由诸如光盘、磁盘、半导体存储器之类存储介质 提供，或者通过诸如网络之类的通信介质提供。
本申请包含与在2008年7月3日向日本专利局提交的日本优先 权专利申请JP 2008-174640中公开的主题相关的主题，该专利申请的 整个内容在此引为参考。
本领域的技术人员应明白根据设计要求和其它因素，可产生各种 修改、组合、子组合和变更，只要它们在附加的权利要求或其等同物 的范围内。
2权利要求
1、一种图像数据处理设备，包括捕捉对象的图像和产生图像数据的成像部分；从产生的图像数据中提取视觉特征的特征提取处理部分；比较从记录介质中的记录的图像数据提取的、与记录的图像数据相关的视觉特征和由特征提取处理部分提取的视觉特征的特征比较处理部分；和根据比较结果，从记录介质中读取具有由特征提取处理部分提取的视觉特征的图像数据的控制部分。
2、 按照权利要求1所述的图像数据处理设备， 其中特征提取处理部分检测人的面部，并把面部检测结果包括在视觉特征中。
3、 按照权利要求2所述的图像数据处理设备， 其中特征提取处理部分通过利用面部检测结果进行面部属性检测、人物识别和人体检测中的至少之一，并把获得的结果包括在视觉 特征中。
4、 按照权利要求1所述的图像数据处理设备， 其中特征提取处理部分根据指示要提取的视觉特征的预置信息来提取视觉特征。
5、 按照权利要求4所述的图像数据处理设备， 其中特征比较处理部分还使用不同于预置信息的成像信息，并比较与产生的图像数据相关的成像信息和与记录在记录介质中的图像 数据相关的成像信息，和控制部分根据比较结果，从记录介质中读取指示与由特征提取处 理部分提取的视觉特征和产生的图像数据相关的成像信息的图像数 据。
6、 按照权利要求l所述的图像数据处理设备， 其中控制部分把读取的图像数据连结成一个文件。
7、 按照权利要求l所述的图像数据处理设备，其中当控制部分把成像部分产生的图像数据记录到记录介质中 时，控制部分与图像数据相关地记录由特征提取处理部分提取的视觉 特征。
8、 一种处理图像数据的方法，包括 捕捉对象的图像和产生图像数据； 从产生的图像数据中提取视觉特征；比较从记录介质中的记录的图像数据提取的、与记录的图像数据 关联的视觉特征和提取的视觉特征；和根据比较结果，从记录介质读取具有提取的视觉特征的图像数据。
9、 一种记录使计算机执行处理的程序的记录介质，所述处理包 括下述步骤捕捉对象的图像和产生图像数据； 从产生的图像数据中提取视觉特征；比较从记录介质中的记录的图像数据提取的、与记录的图像数据 关联的视觉特征和提取的视觉特征；和根据比较结果，从记录介质读取具有提取的视觉特征的图像数据。
全文摘要
一种图像数据处理设备。所述图像数据处理设备包括捕捉对象的图像和产生图像数据的成像部分；从产生的图像数据中提取视觉特征的特征提取处理部分；比较从记录介质中的记录的图像数据提取的，与记录的图像数据关联的视觉特征和特征提取处理部分提取的视觉特征的特征比较处理部分；和根据比较结果，从记录介质读取具有特征提取处理部分提取的视觉特征的图像数据的控制部分。
文档编号H04N5/91GK101621650SQ20091013949
公开日2010年1月6日 申请日期2009年6月24日 优先权日2008年7月3日
发明者冈田深雪, 青木健太郎 申请人:索尼株式会社