专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及用于在图像中检测预定物体并识别(identify)其属性的图像处理装 置及图像处理方法。
背景技术：
面部检测技术在图像中检测人的面部，并指定其位置及大小(例如，参见P. Viola and Μ. Jones, “ Rapid Object Detection using a Boosted Cascade of Simple Features" , Proc. IEEE Conf. on Computer Vision and Pattern Recognition, Vol.1, pp. 511-518, December 2001)。这类技术被广泛应用于诸如数码相机等的图像拍摄装置， 以及进行照片打印的打印机等。这类技术被用于例如确定经历AE(自动曝光)/AF(自动聚 焦)控制或美肤处理的优先目标。基于面部图像的个人辨识(recognition)技术确定检测出了谁的面部(例如， 参见 A. B. Ashraf, S. Lucey, and Τ. Chen, “ Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition" ， Carnegie Mellon University, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR)， June 2008)。随着精确度的逐渐提高，该技术正被引入到诸如数据码相机等的产品中。此 外，识别诸如人是否微笑或睁眼等的表情、以及诸如面部朝向等的面部属性的技术正在开 发中，并且被用于拍照时机的确定等。除了这些与人的面部有关的被摄体检测/辨识功能之外，对于将用户期望的任 意物体指定为目标被摄体的功能(用户登记物体检测功能)，也已出现了需求。例如， Panasonic (松下)数码相机Lumix DMC FX-550 除了面部检测及个人辨识功能之外，还利 用了运动物体跟踪功能，来满足上述需求(参见Panasonic数码相机DMC FX-550 使用说 明书)。运动物体跟踪功能跟踪在触摸屏上指定的被摄体，并将其设置为AE/AF目标。另 一机型的Panasonic数码相机可以让用户不必使用触摸屏，而是通过在预定框内捕捉自己 选择的物体，并半按下快门按钮，来指定该物体并跟踪它。例如，带有相机功能的Siarp(夏 普)手机SH-06A 也具备类似的被摄体跟踪功能。作为在触摸屏上轻松指定用户期望的被 摄体的方法，例如有在日本专利特开2006-101186号公报中公开的技术。作为登记用户期望的物体、并从输入图像中检测该物体的已知方法，例如，将包 含该物体的预定大小的图像登记作为模板。然后，使用在B. Lucas and Τ. Kanade, “ An iterative image registration technique with an application to stereo vision", Proceedings of Imaging understanding workshop,pp. 121—130 中描述的方法，快速检测 各随后的图像拍摄框内的相应位置。可以提取在N. Dalai and B. Triggs, “ Histograms of oriented gradients for human detection"，CVPR，2005 中描述的称为‘‘HoG，，的特征 量，并将其设置作为登记数据。在这种情况下，在检测处理中，使用大小等于登记的被摄体 图像的子窗口来扫描输入图像，并且从针对各子窗口裁出的图像中，来提取与登记数据相 同的HoG特征。然后，使用诸如SVM(支持向量机，Support Vector Machine)等的鉴别器，来确定提取出的特征与登记数据的匹配/不匹配。如果出现匹配，则意味着在子窗口位置 存在登记物体。另外，使用如 P. Viola and Μ. Jones, “ Rapid Object Detection using a Boosted Cascade of Simple Features" , Proc. IEEE Conf. on Computer Vision and Pattern Recognition,Vol. l,pp. 511-518,December 2001 所述的方法，通过将被用户指定 为检测目标的多个被摄体图像确定为正数据，并且通过将能够预先保持的背景数据确定为 负数据，可以在设备内学习检测参数。当使用前述的个人身份验证功能时，用户需要将用户选择的个人的被摄体图像 (例如，面部图像)预先登记在装置中。另外当使用用户登记物体检测功能时，用户需要选 择并登记自己期望的被摄体图像。也就是说，当使用这些功能时，用户需要登记选择的被摄 体图像。然而，该登记操作在传统上因使用的功能而异。例如，当用户使用上述数码相机的 个人辨识功能时，用户首先从拍照菜单上选择“个人身份验证”。此外，用户选择“登记”，并 依照显示在LCD中心的向导，来对要登记的人的面部进行摄影。然后，用户输入诸如姓名等 的名称代码，从而完成登记。作为另选方案，当用户在将“自动登记”设置为“开”的同时、摄 取人的面部的几张图片时，有画面自动出现，提示用户登记摄影频率高的人的面部。之后， 用户可以通过相同的过程来登记人的面部。在登记后的拍照中，检测登记个人的面部图像 (例如，与登记个人的面部接近的面部)并优先经历AE/AF。当使用该相机的运动物体跟踪 功能时，用户通过使用触摸屏指定显示在LCD上的被摄体，来登记被摄体。随着被摄体的移 动一起，连续地执行AE/AF。请注意，用户仅能够排他性地使用运动物体跟踪功能和个人身 份验证功能中的任意一者。由于这一原因，当传统装置包括需要登记操作来指定优先被摄体的、多种类型的 物体检测/辨识功能时，用户需要选择并执行因功能而异的登记操作，从而给自己带来不 小的负担。
发明内容
为了解决上述问题，本发明在具有多种类型的物体检测/辨识功能的图像处理装 置中，提供了通用的被摄体登记操作方法，从而提高了可用性。依照本发明的第一个方面，提供了一种图像处理装置，该图像处理装置包括指定 单元，其适合于指定待登记的被摄体图像；第一检测单元，其适合于从所指定的被摄体图像 中检测第一物体；第一提取单元，其适合于提取用于识别所述第一物体的属性的第一特征 量；第二提取单元，其适合于提取用于检测所述第二物体的第二特征量；第一存储单元，其 适合于存储所述第一特征量；以及第二存储单元，其适合于存储所述第二特征量，其中，当 所述第一检测单元检测出所述第一物体时，所述第一提取单元从所述被摄体图像中提取所 述第一特征量，并且，所述第一存储单元存储所提取出的第一特征量，并且当所述第一检测 单元不能检测出所述第一物体时，所述第二提取单元从所述被摄体图像中提取所述第二特 征量，并且，所述第二存储单元存储所提取出的第二特征量。根据本发明的第二个方面，提供了一种图像处理方法，该图像处理方法包括指定 步骤，指定待登记的被摄体图像；第一检测步骤，从所指定的被摄体图像中检测第一物体； 第一提取步骤，当在所述第一检测步骤中检测出所述第一物体时，从所述被摄体图像中提取用于识别所述第一物体的属性的第一特征量；第二提取步骤，当在所述第一检测步骤中 不能检测出所述第一物体时，从所述被摄体图像中提取用于检测所述第二物体的第二特征 量；第一存储步骤，当在所述第一提取步骤中提取出所述第一特征量时，将所述第一特征量 存储在第一存储单元中；以及第二存储步骤，当在所述第二提取步骤中提取出所述第二特 征量时，将所述第二特征量存储在第二存储单元中。通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
图1是例示根据本发明的图像处理装置的结构的框图；图2是示出根据第一实施例的图像处理装置执行的被摄体图像登记处理中的操 作的流程图；图3A及;3B是示出根据第二实施例的图像处理装置执行的被摄体图像登记处理中 的操作的流程图；图4A及4B是例示在登记处理中显示消息来提示用户输入名称代码的画面的图；图5是示出用于指定待登记的被摄体图像的用户接口的示例的图；图6是示出用于指定待登记的被摄体图像的用户接口的另一示例的图；图7A及7B是示出在对输入图像的检测/辨识处理中的操作的流程图；图8A是用于说明在检测/辨识处理中的子窗口的扫描的图；以及图8B是例示显示根据第一实施例的图像处理装置的检测/辨识处理结果的图像 的图。
具体实施例方式(第一实施例)〈图像处理装置的结构图〉下面，将参照图1，来说明示出与根据本发明的图像处理装置的图像辨识处理单元 有关的结构的框图。用户接口 101由诸如显示器的显示设备以及包括键及触摸屏的输入设 备构成。用户接口 101在CPU(未示出)的控制下向用户显示图像及消息。另外，用户接口 101依据使用情形来接受来自用户的指令。在本实施例中，用户接口 101甚至用作指定待登 记的物体图像的待登记被摄体图像指定单元。用户可以指定并登记自己选择的物体图像。图像输入单元102将经历了检测/辨识处理的图像输入至装置。图像输入单元 102包括图像拍摄相机设备(未示出)。图像输入单元102通过诸如CXD等的图像传感器， 将光学图像转换为数字电信号，并且将信号输入到装置中。图像输入单元102通过将输入 图像裁剪为预定大小或者将输入图像缩放到预定大小，来生成图像，并且将预定大小的图 像数据发送到各处理单元。用作第一检测单元的面部检测处理单元103，确定从图像输入单元102发送的裁 出的图像是否代表人的面部(第一物体)。该面部检测处理算法可以采用P. Viola and Μ. Jones,“ Rapid Object Detection using a Boosted Cascade of Simple Features"， Proc. IEEE Conf. on Computer Vision and Pattern Recognition，Vol.1，pp. 511-518， December 2001中所述的技术。面部检测参数存储单元104存储用于面部检测处理单元103中的检测的参数。面部检测参数存储单元104存储通过机械地学习许多样本图像及背景图 像而生成的参数，其中，所述样本图像及背景图像是由图像处理装置外部的通用计算机预 先准备的。当面部检测处理单元103确定裁出的图像代表人的面部(第一物体)时，个人辨 识处理单元105对面部图像执行个人辨识处理。个人特征数据存储单元106是由RAM等构 成的物体特征存储器。个人辨识处理单元105检查存储在用作第一存储单元的个人特征数 据存储单元106中的个人特征数据(第一特征量)，是否与从面部图像中提取出的特征数据 相匹配。然后，个人辨识处理单元105确定该人是登记过的还是未登记过的。如果该人是登 记个人，则识别该人的属性。属性的示例有个人ID(例如，姓名)。基于例如眼睛宽度及面 部大小，来对输入至个人辨识处理单元105的图像进行标准化。个人辨识处理单元105通 过使用例如 A. B. Ashraf, S. Lucey, and Τ. Chen, “ Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition" , Carnegie Mellon University, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June 2008中所述的方法，来确定该人是否与已经登记的个人相匹配。这里使用的个人特征 数据(第一特征量)，是在面部图像登记处理(稍后描述)中、通过由用作第一提取单元的 面部图像登记处理单元109提取特征而获得的数据。用作第一识别单元的个人辨识处理单 元105对输入的裁出的图像，执行相同的特征提取处理，并且计算与存储在个人特征数据 存储单元106中的登记的特征数据(第一特征数据)的相似度，从而指定个人。还将从图像输入单元102输入的裁出的图像，发送到用作第二检测单元的用户登 记物体检测处理单元107。基于预先登记在用作第二存储单元的登记物体特征数据存储单 元108中的特征数据(第二特征量)，用户登记物体检测处理单元107确定裁出的图像是否 代表用户指定的物体(第二物体)。登记物体特征数据存储单元108是由RAM等构成的物 体特征存储器。要由用作第二检测单元的用户登记物体检测处理单元107检测的物体(第二物 体)，是除了要由面部检测处理单元103检测的人的面部(第一物体)以外的物体。物体 的示例有动物(例如，狗)、植物(例如，花)及车辆。存储在登记物体特征数据存储单元 108中的登记物体特征数据(第二特征量)，是在登记处理(稍后描述)中、由用作第二提 取单元的用户指定物体登记处理单元110从登记的被摄体图像中提取出的、不同于个人 特征数据的物体特征数据。登记物体特征数据(第二特征量)可以是例如N. Dalai and B.Triggs, “ Histograms of oriented gradients for human detection" , CVPR,2005 中所述的HoG特征量。在这种情况下，在检测处理中，用户登记物体检测处理单元107从输入图像的子 窗口内的裁出的图像中，提取特征量(第二特征量)，并通过将提取出的特征量与已经登记 的量进行比较，来确定匹配/不匹配。例如，对输入特征量及登记的量进行向量化，并计算 它们的相关性作为相似度。作为另选方案，基于直方图的交集(intersection)来计算相 似度。然后基于计算出的相似度，来确定匹配/不匹配。可以使用已经进行过学习的诸如 SVM(支持向量机，Support Vector Machine)等的鉴别器。也可以使用预定大小的裁出的图 像直接作为登记物体特征数据(模板)，并且使用B. Lucas and Τ. Kanade, " An iterative image registration technique with an application to stereo vision" , Proceedingsof Imaging understanding workshop,pp. 121-130中所述的方法,来由较大的输入图像计算相应位置。在第一实施例中，为方便描述，令输入至各个检测/辨识处理单元的裁出的图像 大小相等。虽然未详细描述，但图像输入单元102是在将单个输入图像缩放为多种大小(生 成金字塔式图像)之后执行检测/辨识处理的。这使得甚至可以检测和识别大于或小于原 始输入图像中的裁出的大小的目标物体。可以使用相同的检测/识别参数，来执行与具有 各种大小的目标物体相对应的检测/辨识处理。<登记处理序列>下面，将参照图2，来描述根据第一实施例的登记处理序列。当在被摄体图像登记 模式下开始处理时，在步骤S201中，提示用户指定自己选择的被摄体图像。图5例示了待登 记被摄体图像指定方法。画面501是图像拍摄装置的、显示用于指定待登记的物体的框的 LCD画面。画面上的消息提示用户将待登记的物体捕捉在框内。由于LCD画面显示待拍摄 的图像，因此用户将待登记的被摄体放大至被框完全容纳，如画面502及503所示。然后， 用户按下快门按钮，从而指定待登记的被摄体图像。在用户指定待登记的被摄体图像之后，在步骤S202中，图像输入单元102裁出预 定大小的被摄体图像，并将该被摄体图像输入至装置。在此时，加载被放大至几乎被框完全 容纳的图像(参见图5)，并在必要时将其缩放到预定大小。在步骤S203中，面部检测处理单元103对待登记的被摄体图像执行面部检测处理。在步骤S204中，确定是否在被摄体图像中检测出面部。如果检测出面部，则处理 进入到步骤S205。如果未检测出面部，则处理进入到步骤S209。如果检测出面部，则登记面部图像。为此，在步骤S205中，显示画面(输入画面)， 以提示用户输入表示个人的名称代码。该输入画面例如类似于图4A中所示。在步骤S206 中，用户输入与待登记的面部图像相对应的名称代码(=姓名或昵称等；在图2中，名称代 码是个人ID)。当在步骤S206中用户输入名称代码之后，在步骤S207中，从面部图像中提取 个人识别特征(第一特征量)。面部图像登记处理单元109执行该提取处理，从而提取 出适合于识别个人的特征量，如 A. B. Ashraf，S. Lucey，and Τ. Chen, “ Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition" , Carnegie Mellon University,IEEE International Conference on Computer Vision and Pattern Recognition (CVPR),June 2008所述。在步骤S208中，个人特征数据存储单元106将提取 出的特征量存储为个人特征数据(第一特征量)。如果未检测出面部，则确定待登记的被摄体图像不是人的面部，并且在步骤 S209中，进行用于用户登记物体检测处理的特征提取处理。在此时，可以显示消息，以 确认是否实际登记被摄体图像，如图4B所示。也可以与人的面部图像的登记类似地 提示用户输入目标物体的名称。在步骤S209中提取出的特征量，是例如N. Dalai and B. Triggs,“ Histograms of oriented gradients for human detection"，CVPR,2005中 所述的HOG(定向梯度直方图，Histograms of Oriented Gradients)量。在步骤S210中， 登记物体特征数据存储单元108将被摄体图像存储为登记物体特征数据(第二特征量)。
请注意，使用在登记处理序列的步骤S207中提取出的特征量(第一特征量)，来鉴 别作为相似图像的人的面部。相反，在步骤S210中提取出的特征量(第二特征量)适合于 鉴别背景和具有各种形状的目标物体。由于识别/检测目标的特性是不同的，因此通常使 用不同的特征量，但是用户不需要意识到这一点。
<检测/辨识处理序列>下面，将参照图7A及7B，来说明示出针对根据第一实施例的图像处理装置中的输 入图像的检测/辨识处理序列的流程图。请注意，使用图1中所示的图像处理装置，来针对 在图像拍摄中直到用户按下快门按钮为止周期性地拍摄到的预览图像，执行根据第一实施 例的检测/辨识处理。基于检测/辨识处理结果，在后续处理中执行控制，以在从图像中检 测出优先被摄体时，自动聚焦于或曝光被确定为优先被摄体的物体。同时，将图像中存在检 测/识别出的物体的位置、以及辨识出的属性(名称代码)呈现给用户。在步骤S701中，接收从图像拍摄装置发送的图像。该图像是诸如图8A中的输入 图像800等的预定大小(例如，VGA大小)的输入图像。下面，为方便描述，将说明针对单 一大小的输入图像的处理序列。然而，在实际中，是对金字塔式图像进行处理，所以可能检 测出具有各种大小的目标物体，如上所述。检测处理的目的是确定图像是否包含目标物体，并且如果包含，则指定位置。对从 预定大小的各子窗口中裁出的图像，来执行该处理。图8A中的子窗口 801表示子窗口的初 始位置。在完成该位置的检测处理时，令子窗口向右移动一个像素(或预定数目的像素)， 并且执行检测处理。重复相同的检测处理，并且当子窗口到达右端时，令子窗口向下移动一 行(或预定数目的行)，并且进行相同的处理。通过对整个图像执行该处理(扫描)，能够 确定在任何子窗口位置是否存在目标物体。在步骤S702中，将子窗口位置重置为初始值。在步骤S703中，裁出子窗口位置的图像。裁出的图像在步骤S704中经历面部检 测处理，并在步骤S710中经历用户登记物体检测处理。在第一实施例中，对相同大小的子窗口图像进行这两种检测处理，因此两处理可 以使用公用子窗口。然而，大小可以改变。在这种情况下，设置多种类型的子窗口，来执行 专用的裁出处理。在第一实施例中，图像处理装置具有图1的框图中所示的结构，并且，通过不同的 硬件构成要素，来执行面部检测处理单元103及用户登记物体检测处理单元107。这样，可 以并行执行两种检测处理。显而易见的是，可以依照实际的结构及条件，来依次执行这些检 测处理。下面，将说明步骤S704至S709中的面部检测处理序列。在步骤S704中，通过参 照面部检测参数存储单元104，来进行面部检测处理。在步骤S704中的面部检测处理完成 时，在步骤S705中，确定是否在输入子窗口中检测出面部。如果检测出面部，则处理进入到 步骤S706，以存储所处理的子窗口的位置。此外，处理进入到步骤S707，以执行个人辨识处 理。在个人辨识处理中，图1中的个人辨识处理单元105将从子窗口中的面部中提取出的 特征，与已在上述登记处理中登记、并存储在个人特征数据存储单元106中的个人特征数 据(第一特征量)进行对照。当登记了多个个人时，执行多次对照处理。如果在步骤S708 中辨识出登记个人，则在步骤S709中，存储其名称代码及所处理的子窗口的位置。然后处 理进入到步骤S713。
如果在步骤S705中未检测出面部，则处理直接进入到步骤S713。另外，如果在步 骤S708中未辨识出登记个人，则处理进入到步骤S713。下面，将描述步骤S710至S712中的用户登记物体检测处理序列。在步骤S710中， 基于存储在登记物体特征数据存储单元108中的登记物体特征数据(第二特征量)，用户登 记物体检测处理单元107执行物体检测处理。当登记了多种物体时，重复物体检测处理，以 确定是否包含了任一物体。如果在步骤S711中确定检测出登记物体，则在步骤S712中，将 处理期间的子窗口位置连同检测出的物体信息一起存储。之后，处理进入到步骤S713。在 面部检测处理、面部辨识处理(个人辨识处理)及物体检测处理完成时，在步骤S713中，子 窗口位置移动到下一位置，如上所述(参见图8A及8B)。如果该位置是最后的位置，即越过 了输入图像的右下位置，则完成扫描，并且处理进入到步骤S715。如果未完成扫描，则处理 返回到步骤S703，以针对下一子窗口执行检测/辨识处理。在步骤S715中，对通过扫描检测出的面部、个人及登记物体的位置信息进行合 并。在该处理中，例如，当存在在仅仅几个像素的范围之内、彼此接近的同种物体时，将它们 合并为一个物体。当几乎在同一位置检测出面部和登记物体时，依照预定的优先级或检测 的可靠性，仅保留任一结果。当通过个人辨识在一个图像中的多个部分辨识出同一个人时， 保留可靠性高的人的图像，并且将其余图像视为未登记的人。即使当进行专门针对大小的 或专门针对角度的检测时，也在该步骤中对结果进行合并。在步骤S716中，对在图像中检测出的多个被摄体进行优先顺序排列，并且向执行 自动聚焦及自动曝光等的其他处理单元，通知优先被摄体的位置信息。例如，对于面部而 言，为辨识出的登记的人，设置比未登记的人高的优先级。向登记的人分配预先设置的优先 等级，或者为大小较大的面部设置更高的优先级。如果仅检测出未登记的人或者除面部以 外的物体，则基于大小或者与中心的距离，来确定优先级。用户也可以预先指定优先级。最后，在步骤S717中，IXD画面上的框表示检测出的目标物体的位置。当目标物 体是面部并且辨识出个人时，在面部位置显示个人ID。图8B例示了显示输入图像800的检 测处理结果的画面。框851至853表示检测出面部的位置。在框853中，检测出这样的面 部，其大小是小的，并且其大小不同于在框851或852中检测出的面部。在框852中，检测 出的面部是登记个人(ID是“A先生”)的面部。在框854中，检测出被登记为用户登记物 体的“猫”。如上所述，根据第一实施例，用户不需要注意第一特征量的登记处理与第二特征 量的登记处理的不同之处，其中，所述第一特征量是用于识别个人的特征数据，所述第二特 征量是用于检测用户期望的物体的特征数据。用户只须使用公用的登记操作界面，来指定 待登记的物体。随后，用户可以依照装置的向导，来轻松地完成操作。(第二实施例)第一实施例中描述了这样的方法，即针对被指定待登记的被摄体图像，自动选择 个人识别登记处理或用户登记物体检测登记处理。除此之外，第二实施例还执行这样的处 理，即确定被指定待登记的被摄体图像是否与已经登记的特征数据相匹配。请注意，根据第 二实施例的图像拍摄装置的图像处理单元，具有与图1的框图中相同的结构。下面，将参照图3A及;3B，来描述根据第二实施例的登记处理序列。在图3A及 中所示的流程图中，步骤S301至S310中的处理与图2的步骤S201至S210中的相同，并且，这里将不再重复其详细描述。在第二实施例中，如果在步骤S304中确定待登记的被摄体图像是面部，则处理进 入到步骤S311，以执行个人辨识处理。该个人辨识处理与在第一实施例中的检测/辨识处 理序列中所述的处理相同，并且由个人辨识处理单元105来执行。更具体地说，个人辨识处 理单元105将已经在个人特征数据存储单元106中登记的个人特征数据(第一特征量)，与 从待登记的被摄体图像的面部中提取出的特征数据进行对照。如果在步骤S312中，确定待登记的被摄体图像的面部与已经登记的人相一致，则 指定名称代码(个人ID)。在步骤S313中，显示指定的名称代码，并且显示消息，以确认是 否将当前待登记的被摄体图像的特征数据，登记作为代码的附加数据。当登记区域的容量 或辨识处理速度受到限制时，可以显示确认画面，以确认是否不进行追加登记，而是用当前 待登记的被摄体图像的特征数据，来替换已经登记的特征数据(第一特征量)。在步骤S314中，提示用户回答“是”或“否”。如果在步骤S315中，确定用户回答 “追加”(或“替换”)，则处理进入到步骤S307，以提取个人识别特征。如果在步骤S312中，确定待登记的被摄体图像的面部与已经登记的人不匹配，则 与第一实施例类似地执行步骤S305至S308中的处理，以连同名称代码一起新登记个人特 征数据。在第二实施例中，在步骤S311已经提取出个人特征数据。通过存储提取出的个人 特征数据，不需要在步骤S307中再次进行相同的处理。因此，可以跳过步骤S307中的处理， 以仅在步骤S308中登记个人特征数据。在第二实施例中，如果在步骤S304中，未从待登记的被摄体图像中检测出面部， 则在步骤S316中，执行用户登记物体检测处理。该处理也与根据第一实施例的检测/辨识 处理序列中所述的相同。确定待登记的被摄体图像是否是特征数据(第二特征量)已经被 登记在登记物体特征数据存储单元108中的物体。如果在步骤S317中，确定指定物体是登记的人，则处理进入到步骤S318，以显示 指定物体已经被登记的消息，并确认是否追加登记指定物体(或者用指定物体来替换登记 数据)。在步骤S319中，提示用户输入回答。如果在步骤S320中，确定用户回答“是”，则 在步骤S309中，提取用户物体检测特征。与个人辨识特征数据类似地，已经在步骤S316中 提取出的物体检测特征数据可以直接使用并在步骤S310中登记。如上所述，根据第二实施例，用户可以轻松地知道待登记的物体是否已经被登记。 第二实施例可以防止不必要的登记对存储区域的浪费消耗或者对处理速度的负面影响。(第三实施例)第一实施例描述了这样的方法，即通过将被摄体捕捉在预定框内，来指定待登记 的被摄体图像，如图5所示。该方法不需要任何用于登记的特别硬件，并且能够以低成本来 实现，但是却需要多少有些繁琐的操作。第三实施例使得可以更加轻松的指定待登记的被 摄体。下面，将参照图6，来说明根据第三实施例的图像处理装置中的待登记被摄体图像 指定用户接口。图像拍摄装置600的用户接口包括IXD屏601及多个硬键602。IXD屏601 覆盖有触摸屏，并且能够检测用户用手指触碰的坐标点。当用户操作硬键602将装置改变到登记模式时，触摸屏进入有效状态。用户用手指触碰显示待登记的被摄体的位置，即框603的位置，从而向装置指示待登记的物体。图像 拍摄装置600指定用手指在图像上触碰的坐标点，并裁出预定大小的范围作为待登记的被 摄体图像。作为另选方案，图像拍摄装置600可以裁出包含被视为与用手指触碰的位置的 像素相同的邻接像素的范围，作为待登记的被摄体图像。作为对通过预先操作转变到登记 模式的替代，图像拍摄装置可以在图像拍摄期间检测到触摸屏按下时，自动地转变到登记 处理模式。在后续登记处理中，执行与在第一及第二实施例中所述的处理相同的处理。在第三实施例中，在触摸屏上指定被摄体的位置。然而，可以通过使用鼠标或光标 键移动指针光标，来指定被摄体的位置。根据第三实施例，用户可以更加直观地指定待登记的被摄体。不需要将待登记的 被摄体捕捉在框的中心，因而，即使当在固定相机中登记被摄体时，或者当显示拍摄的图像 并登记被摄体时，也能够登记待登记的被摄体。(第四实施例)第一至第三实施例描述了应用于以数码相机为代表的图像拍摄装置的图像处理 装置，但是，本发明的应用不仅限于此。例如，本发明还适用于这样的情况，即诸如打印机等 的图像形成装置优先对图像数据中包含的特定物体，执行所需图像处理，然后进行打印。在 这种情况下，图像输入单元102经由网络等来接收图像，并且执行与前述各实施例相同的 处理。图像输入单元102还可以处理存储在存储器或硬盘驱动器等中的图像。作为人的面部检测处理单元，第一至第三实施例描述了预先在装置外部学习检测 参数的检测处理单元，但是，本发明的应用不仅限于此。例如，与图1中的面部检测处理单 元103相对应的检测单元，可以是检测人的全身图像的人体检测处理单元，并且，个人辨识 处理单元105可以是这样的个人辨识处理单元，即不基于面部特征而基于与其全身相关的 特征。由个人辨识处理单元105在辨识处理中确定的属性，并不局限于个体的识别。个人 辨识处理单元105可以是其他物体属性辨识处理单元，例如用于鉴别特定表情的属性辨识 处理单元，或者用于估计人的年龄的属性辨识处理单元等。与这种情况下的面部图像登记 处理单元109相对应的登记处理单元，接收具有诸如特定表情图像或特定年龄等的属性的 人的图像，并且提取特征。与面部检测处理单元103相对应的检测处理单元，可以是针对其他物体例如一般 的狗的检测处理单元。与个人辨识处理单元105相对应的辨识处理单元，可以辨识狗是属 于特定犬种还是用户的宠物来作为属性。即使在这种情况下，本发明也是适用的。与面部检测处理单元103相对应的检测处理单元可以不使用预先学习的检测参 数，而是使用在装置内学习的检测参数。在这种情况下，检测处理单元可以是用户登记物体 检测处理单元107。可以仅针对存储在特定的登记物体特征数据存储单元108中的登记物 体特征数据，来进行由后续辨识处理单元执行的个体或属性识别处理。根据本发明，针对在登记操作中指定的被摄体图像，自动选择适合于在装置中设 置的多种类型的物体检测/辨识功能之一的登记处理。用户只须始终执行相同的登记操 作，从而提高了可用性。其他实施例还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统 或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的 计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设 备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不局限于 所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有的 这类变型例及等同结构和功能。
权利要求
1.一种图像处理装置，该图像处理装置包括 指定单元，其适合于指定待登记的被摄体图像；第一检测单元，其适合于从所指定的被摄体图像中检测第一物体； 第一提取单元，其适合于提取用于识别所述第一物体的属性的第一特征量； 第二提取单元，其适合于提取用于检测所述第二物体的第二特征量； 第一存储单元，其适合于存储所述第一特征量；以及 第二存储单元，其适合于存储所述第二特征量，其中，当所述第一检测单元检测出所述第一物体时，所述第一提取单元从所述被摄体 图像中提取所述第一特征量，并且，所述第一存储单元存储所提取出的第一特征量，并且当所述第一检测单元不能检测出所述第一物体时，所述第二提取单元从所述被摄体图 像中提取所述第二特征量，并且，所述第二存储单元存储所提取出的第二特征量。
2.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还包括第一识别单 元，其适合于基于存储在所述第一存储单元中的所述第一特征量，在由所述第一检测单元 检测出的输入图像中识别被摄体的属性。
3.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还包括第二检测单 元，其适合于基于存储在所述第二存储单元中的所述第二特征量，在输入图像中检测所述 第二被摄体。
4.根据权利要求1所述的图像处理装置，其中，当所述第一检测单元不能在由所述指 定单元指定的所述被摄体图像中检测出所述第一物体时，在用户确认将所述第二特征量存 储在所述第二存储单元中之后，所述第二存储单元存储所述第二特征量。
5.根据权利要求1所述的图像处理装置，其中，所述图像处理装置还包括输入单元， 其适合于在将所述第一特征量存储在所述第一存储单元中时，使用户输入表示所述第一物 体的所述属性的名称。
6.根据权利要求2所述的图像处理装置，其中，当所述第一识别单元识别出由所述指 定单元指定的所述被摄体图像的所述属性与存储在所述第一存储单元中的所述第一特征 量不匹配时，所述第一存储单元将从所述被摄体图像中提取出的特征量，存储为不同的第 一物体的新的第一特征量。
7.根据权利要求2所述的图像处理装置，其中，当所述第一识别单元识别出由所述指 定单元指定的所述被摄体图像的所述属性与存储在所述第一存储单元中的所述第一特征 量相匹配时，所述第一存储单元询问用户是否要将从所述被摄体图像中提取出的特征量存 储为新的第一特征量。
8.根据权利要求1所述的图像处理装置，其中，所述指定单元在待登记的被摄体被捕 捉在预定框内的状态下指定所述被摄体图像。
9.一种图像处理方法，该图像处理方法包括 指定步骤，指定待登记的被摄体图像；第一检测步骤，从所指定的被摄体图像中检测第一物体；第一提取步骤，当在所述第一检测步骤中检测出所述第一物体时，从所述被摄体图像 中提取用于识别所述第一物体的属性的第一特征量；第二提取步骤，当通过在所述第一检测步骤中不能检测出所述第一物体时，从所述被摄体图像中提取用于检测所述第二物体的第二特征量；第一存储步骤，当在所述第一提取步骤中提取出所述第一特征量时，将所述第一特征 量存储在第一存储单元中；以及第二存储步骤，当在所述第二提取步骤中提取出所述第二特征量时，将所述第二特征 量存储在第二存储单元中。
全文摘要
本发明提供图像处理装置及图像处理方法。一种图像处理装置，该图像处理装置包括第一检测单元，从被摄体图像中检测第一物体；第一提取单元，提取用于识别所述第一物体的属性的第一特征量；第二提取单元，提取用于检测所述第二物体的第二特征量；第一存储单元，存储所述第一特征量；以及第二存储单元，存储所述第二特征量，其中，当所述第一检测单元检测出所述第一物体时，所述第一提取单元提取所述第一特征量，并且，所述第一存储单元存储该量，并且当所述第一检测单元不能检测出所述第一物体时，所述第二提取单元提取所述第二特征量，并且，所述第二存储单元存储该量。
文档编号G06K9/00GK102054165SQ20101052323
公开日2011年5月11日 申请日期2010年10月26日 优先权日2009年10月27日
发明者伊藤嘉则 申请人:佳能株式会社