专利名称：图像处理装置、图像处理方法、程序及记录介质的制作方法
技术领域：
本发明涉及图像处理装置、图像处理方法、程序及记录介质。更具体地，本发明涉 及可以从图像中更可靠地检测出目标对象的图像处理装置和方法、甄别(recognition)装 置和方法、程序及记录介质。
背景技术：
在相关技术中，已经研究并开发出从图像中检测人体(human)的技术，主要用 于安全性或车载应用的。(例如参见Navneet Dalai和BillTriggs的"Histograms of Oriented Gradients for Human Detection", CVPR2005 ;以及B. Wu禾口 R. Nevatia的 "Detection of multiple, partiallyoccluded humans in a single image by bayesian combination of edgelet partdetectors，，， In Proc. 10th Int. Conf. Computer Vision, 2005)在这样的文献中，通过边缘检测获得的轮廓特征值(contour feature value)被用作 用于从图像中检测(即，甄别)人体的主特征值。利用这样的技术，通过边缘检测获得的轮 廓特征值的许多变体被定义成新特征值，并且利用这些新特征值来执行人体甄别。
例如，在Dalai和Triggs所提出的技术中，通过采取在较小边缘区域内定向的直 方图来获得特征值。通过使用这样的特征值，该技术具有如下优点对某种程度的轮廓失真 和类似因素更加具有弹性适应性(resilient)。
发明内容
在用于从图像中检测人体或类似图形的上述方法中，利用轮廓特征来检测人体或 类似图形。但是，这样的方法极大地增大了所涉及的运算复杂度，并因而使得例如实时检测 人体成为问题。 鉴于以上情形，需要能够通过提高计算效率来实时地检测诸如人体之类的目标对 象的技术。 根据本发明第一实施例的图像处理装置包括检测装置，被配置为从第一图像检 测目标对象图像区域；设置装置，被配置为使得当一个或多个预定参数适用于由所述检测 装置检测到的区域中的目标对象时，将相关目标对象图像区域设置为第一区域；以及生成 装置，被配置为通过对所述第一区域内的图像部分或者第二区域内的图像部分应用预定处 理来生成第二图像，其中，所述第二区域包含在所述第一图像内的且不被包含在所述第一 区域中的图像部分。 检测装置可被配置为包括生成单元，被配置为从所述第一图像生成具有不同比 例系数(scale coefficient)的图像；提取单元，被配置为从由所述生成单元生成的每一 个图像中提取特征点；计算单元，被配置为通过使用预定滤波器对所述特征点进行滤波来 计算所述特征点的特征值；以及检测单元，被配置为通过将所述特征值代入通过统计学习 获得的且用于从图像检测目标对象的识别器(classifier)，来从所述第一图像检测目标对 象。
所述一个或多个预定参数可以包括作出以下规定的参数如果在一区域中检测出
作为人体的目标对象但是未检测出脸部，则该区域将被设置为所述第一区域。 所述一个或多个预定参数包括作出以下规定的参数如果在一区域中检测出的目
标对象不是所登记的目标对象，则该区域将被设置为所述第一区域。 所述一个或多个预定参数包括作出以下规定的参数如果在一区域中检测出的目
标对象是人体，但是确定该人体没有在微笑，则该区域将被设置为所述第一区域。 所述生成装置可以通过对所述第一区域与预先获得的另一图像进行合成来生成
所述第二图像。 所述生成装置可以通过利用预先获得的图像部分来取代所述第二区域中的图像 部分，然后对所取代的图像部分与所述第一区域内的图像部分进行合成来生成所述第二图像。 所述生成装置可以通过对所述第一区域进行像素化(即，应用马赛克处理)来生 成所述第二图像。 所述生成装置可以通过对所述第二区域进行像素化来生成所述第二图像。 根据本发明另一实施例的图像处理方法是在图像处理装置中执行的，该图像处理
装置设有检测装置、设置装置和生成装置。所述方法包括以下步骤使得所述检测装置从第
一图像检测目标对象图像区域；使得所述设置装置进行操作以使得当一个或多个预定参数
适用所检测到的区域中的目标对象时，将相关目标对象图像区域设置为第一区域；以及使
得所述生成装置通过对所述第一区域内的图像部分或者第二区域内的图像部分应用预定
处理来生成第二图像，其中，所述第二区域包含在所述第一图像内的且不被包含在所述第
一区域中的图像部分。 根据本发明另一实施例的程序使得计算机执行图像处理装置中的处理，该图像处 理装置设有检测装置、设置装置和生成装置。所述处理包括以下步骤使得所述检测装置从 第一图像检测目标对象图像区域；使得所述设置装置进行操作以使得当一个或多个预定参 数适用所检测到的区域中的目标对象时，将相关目标对象图像区域设置为第一区域；以及 使得所述生成装置通过对所述第一区域内的图像部分或者第二区域内的图像部分应用预 定处理来生成第二图像，其中，所述第二区域包含在所述第一图像内的且不被包含在所述 第一区域中的图像部分。 在根据本发明实施例的图像处理装置、图像处理方法和程序中，从图像中检测出 目标对象，并通过将该目标对象(或者可替代地，除了目标对象之外的各个部分)合成到另 一图像中来生成新图像。 根据本发明一个实施例，可以在提高计算效率的情况下实时检测诸如人体之类的 目标对象以及学习这些目标对象。
图1图示了应用了本发明一个实施例的人体识别(classification)系统；
图2图示了服装识别器生成器的示例性详细配置；
图3图示了轮廓特征值计算器的示例性详细配置；
图4说明了可转向滤波器(steerable filter);
图5图示了对图像进行滤波的结果； 图6是说明学习处理的流程图； 图7是说明服装识别器生成处理的流程图； 图8是说明轮廓特征值计算处理的流程图； 图9说明了服装特征点提取； 图IO说明了服装特征值； 图11说明了基于服装特征点的对的服装特征值采样； 图12说明了弱识别器配置； 图13说明了服装特征点对； 图14A说明了轮廓特征点提取； 图14B说明了轮廓特征点提取； 图15是说明人体检测处理的流程图； 图16图示了示例性目标对象甄别结果显示； 图17图示了所获取图像的示例； 图18A图示了背景图像的示例； 图18B图示了所需图像的示例； 图19图示了图像处理装置的示例性配置； 图20是用于说明图像处理装置的操作的流程图； 图21A说明了参数； 图21B说明了参数； 图21C说明了参数； 图22说明了脸部检测； 图23说明了马赛克处理； 图24说明了马赛克处理； 图25图示了图像处理装置的另一个配置； 图26是用于说明图像处理装置的操作的流程图；以及 图27是图示了计算机的示例性配置的框图。
具体实施例方式
在下文中，将参考附图描述本发明的实施例。
[系统配置] 图1是图示出应用了本发明一个实施例的人体分类系统的示例配置。人体识别系 统包括学习装置11、识别器记录单元12和甄别装置13，并在输入图像中甄别包含人体图像 形式的目标对象的区域。 基于输入的学习图像，学习装置11生成在判断图像中是否存在目标对象时在甄 别装置13中使用的识别特征值和综合识别器(ensembleclassifier)。识别特征值和综合 识别器被记录在识别器记录单元12中。使用识别器记录单元12中记录的识别特征值和综 合识别器，甄别装置13判断在输入图像中是否存在目标对象(S卩，人体图像)，并输出识别结果。
6
学习装置11包括图像金字塔生成器20、服装特征点提取器21、服装特征值计算器 22、服装识别器生成器23、轮廓特征点提取器24、轮廓特征值计算器25、轮廓识别器生成器 26以及综合识别器生成器27。 图像金字塔生成器20从输入学习图像生成具有各自不同的分辨率的多个图像， 然后将这些图像作为图像金字塔来提供给服装特征点提取器21和轮廓特征点提取器24。 例如，可以生成具有分辨率从级别Ll到级别L8的八层的图像金字塔，其中，L1图像具有最 高分辨率，并且其中图像的分辨率从Ll到L8顺次降低。 从构成图像金字塔生成器20所生成的图像金字塔的每个图像(每个图像也称作 学习图像)中，服装特征点提取器21提取该学习图像中的若干像素作为服装特征点，这些 服装特征点在生成服装识别器时被使用。所提取的服装特征点与学习图像一起被提供给服 装特征值计算器22。这里，服装识别器是由多个弱识别器构成且通过统计学习生成的强识 别器。利用人的服装的特征，服装识别器在判断输入图像中是否存在人体图像区域时被使 用。 针对从服装特征点提取器21接收的每个服装特征点，服装特征值计算器22通过 将该服装特征点与另一服装特征点配对来创建单个对。另外，基于从服装特征点提取器21 接收的学习图像，服装特征值计算器22针对每一对服装特征点来计算服装特征值，该服装 特征值指示出两个任意区域之间的纹理距离(texture distance)。针对学习图像这样解得 的服装特征值以及学习图像被提供给服装识别器生成器23。 基于从服装特征值计算器22提供的学习图像以及服装特征值，服装识别器生成 器23例如根据Adaboost(自适应增强)执行统计学习处理，并生成用于甄别目标对象(即， 人)的服装识别器。另外，服装识别器生成器23将所生成的服装识别器提供给综合识别器 生成器27。 从构成图像金字塔生成器20所生成的图像金字塔的每个图像(每个图像也称作 学习图像)中，轮廓特征点提取器24在该学习图像中提取若干像素作为轮廓特征点，这些 轮廓特征点在生成轮廓识别器时被使用。所提取的轮廓特征点和学习图像被提供给轮廓特 征值计算器25。这里，轮廓识别器是由多个弱识别器构成且通过统计学习生成的强识别器。 利用人的轮廓，轮廓识别器在判断输入图像中是否存在人体图像区域时被使用。
基于从轮廓特征点提取器24接收的学习图像并通过例如使用可转向滤波器的滤 波处理，轮廓特征值计算器25计算每一个轮廓特征点的轮廓特征值，轮廓特征值指示出所 提取的轮廓。针对学习图像这样解得的轮廓特征值以及学习图像被提供给轮廓识别器生成 器26。基于从轮廓特征值计算器25提供的学习图像和轮廓特征值，轮廓识别器生成器26 例如根据Adaboost执行统计学习处理，并生成用于甄别目标对象(g卩，人)的轮廓识别器。 另外，轮廓识别器生成器26将所生成的轮廓识别器提供给综合识别器生成器27。
综合识别器生成器27将来自服装识别器生成器23的服装识别器与来自轮廓识别 器生成器26的轮廓识别器相组合以生成综合识别器，该综合识别器被提供给识别器记录 单元12并记录在识别器记录单元12中。另外，针对服装特征点对的服装特征值以及针对 轮廓特征点的轮廓特征值(这些服装特征值和轮廓特征值在使用综合识别器来甄别目标 对象时被使用)也被综合识别器生成器27提供给识别器记录单元12并被记录作为识别特 征值。
甄别装置13包括服装特征点提取器31、服装特征值计算器32、轮廓特征点提取器 33、轮廓特征值计算器34、识别计算器35以及识别结果输出单元36。甄别装置13中从服 装特征点提取器31到轮廓特征值计算器34的各个组件分别处理输入图像，其中，将与学习 装置11中的服装特征点提取器21、服装特征值计算器22、轮廓特征点提取器24和轮廓特 征值计算器25相类似地甄别目标对象。为此，省略了对以上组件的详细描述。
识别计算器35读取识别器记录单元12中所记录的识别特征值和综合识别器。另 外，识别计算器35通过将从服装特征值计算器32接收的服装特征值和从轮廓特征值计算 器34接收的轮廓特征值中与用于识别的特征值相对应的特征值代入综合识别器，来执行 计算。识别结果输出单元36获取来自识别计算器35的运算结果，并基于该运算结果，输出 指示出在输入图像中是否甄别出目标对象的识别结果。
[服装识别器生成器的配置] 图2是图示出图1所示的服装识别器生成器23的更详细的示例配置的框图。服 装识别器生成器23包括采样单元51、加权单元52、排序器53、识别器配置单元54、识别器 选择器55和权重更新器56。 采样单元51从在多个学习图像的各自相同位置处的各对服装特征点的服装特征 值中采样M个服装特征值。采样是针对每一对服装特征点并根据由加权单元52设置的每 一学习图像的权重来执行的。这样采样到的M个服装特征值被提供给排序器53。
排序器53以升序或降序对针对每一对服装特征点而这样采样到的M个服装特征 值进行排序，并将排序结果提供给识别器配置单元54。 基于命中/错失(hit/miss)信息(该命中/错失信息指示出在从中提取出特定 服装特征值的学习图像中是否包含要甄别的目标对象)，识别器配置单元54针对以升序或 降序所排序的各对服装特征值的每一个，在改变阈值的同时控制差错率计算器54a。差错率 因而被算出，并且阈值被设置为使得差错率最小化(这些阈值被设置为弱识别器)。另外， 识别器配置单元54将针对每一个弱识别器的差错率提供给识别器选择器55。
指示出学习图像中是否包含目标对象的命中/错失信息(S卩，标记)被附于该学 习图像。基于附于从服装特征值计算器22提供的学习图像的命中/错失信息，识别器配置 单元54配置弱识别器。 识别器选择器55从这些弱识别器中选择具有最小差错率的弱识别器，更新由弱 识别器构成的服装识别器，并将与最终的服装识别器相对应的服装特征值以及各个弱识别 器提供给综合识别器生成器27。另外，识别器选择器55基于所选弱识别器的差错率来计算 可靠性因子，并将结果提供给权重更新器56。 基于所提供的可靠性因子，权重更新器56重新计算每一个学习图像的权重，另外 还对这些权重进行归一化和更新，并将更新后的结果提供给加权单元52。基于由权重更新 器56提供的更新后的权重结果，加权单元52设置每一个学习图像的权重。
[轮廓特征值计算器的配置] 图3图示了图1所示的轮廓特征值计算器25的更详细的示例配置。轮廓特征值 计算器25包括一阶滤波处理器61、二阶滤波处理器62、三阶滤波处理器63和特征值生成 器64。另外，来自轮廓特征点提取器24的学习图像分别被提供给从一阶滤波处理器61到 特征值生成器64的各个组件，同时轮廓特征点分别被提供给从一阶滤波处理器61到三阶滤波处理器63的各个组件。 —阶滤波处理器61通过使用高斯函数G的一阶微分函数^对所提供的每一个轮 廓特征点进行滤波来提取特征值，并将结果提供给特征值生成器64。这里，在以下式1和2 中给出了高斯函数G和一阶微分函数&。
式1
(1)
G = e 2一
式2
G丄(9 ) = cos( 9 )G, )+sin( 9 )GJ90。
) (2)
在式i中，o表示高斯宽度。在式2中，e表示指示出应用滤波的所需方向的任 例如， 一阶滤波处理器61可以在三个预设值(例如，高斯宽度o i = 1， o 2 = 2， 以及o 3 = 4)之间改变高斯函数G的高斯宽度o ，然后针对每一个高斯宽度o在四个预
定方向(例如e n e 2， e 3和e 4)上计算式2的值。 应当了解，方向e不限于四个方向，并且也可以使用八个方向(例如，在八个方 向上等分Ji时获得的方向)。此外，虽然相关技术使用如上所述的多个高斯宽度来执行处 理，但是如稍后所描述的，可以仅为本实施例准备单个高斯宽度。换而言之，可以省略对高 斯宽度的改变。这样，虽然有在三个预设值之间改变高斯宽度o并且针对每一个高斯宽度
o在四个预定方向上计算式2的值的上述状态，但是在本实施例中，可以针对已经设置的 单个高斯宽度o在四个预定方向上简单地计算式2的值。 由于可以省略针对多个高斯宽度的每一个的计算，所以可以降低运算复杂度。这
同样适用其它滤波器，例如，二阶滤波处理器62和三阶滤波处理器63。 二阶滤波处理器62通过使用高斯函数G的二阶微分函数G2对所提供的每一个轮
廓特征点进行滤波来提取特征值，并将结果提供给特征值生成器64。式3表示二阶微分函
数^，其中，e表示任意角度。 式3G2( e) = k21( e )G2(0° )+k22( 9 )G2(60° )+k23( 9 )G2(120° ) (3)
式3中的系数^i(e)(其中，i = 1、2、3)表示下式4所表示的函数。
式4 k2l(0) = + f 1 +2cos (2 (0 — (4) 二阶滤波处理器62例如可以针对高斯函数G的预定高斯宽度o在四个预定方向
(例如，^， e2， 93和e4)上计算式3的值。 三阶滤波处理器63通过使用高斯函数G的三阶微分函数G3对所提供的每一个轮 廓特征点进行滤波来提取特征值，并将结果提供给特征值生成器64。式5表示三阶微分函
数^，其中，e表示任意角度。 式5 G3( e) = k31( e )G3(0° )+k32( 9 )G3(45° )+k33( 9 )G3(90° )+k34( 9 )G3(135° ) (5)
9
式5中的系数k^(e)(其中，i = L2，3)表示由下式6表示的函数。
式6 k3l(0) = +{2cos(0-0i)+2cos(3(0-0i))} (6) 三阶滤波处理器63例如可以针对高斯函数G的预定高斯宽度o在四个预定方向
(例如，^， e2， 93和e4)上计算式5的值。 特征值生成器64接收分别从一阶滤波处理器61、二阶滤波处理器62和三阶滤波 处理器63提供且在四个方向上计算出的、针对每一个轮廓特征点的特征值。所提供的总共 12个特征值(三阶四个方向)被全体取作针对每一个轮廓特征点的轮廓特征值。
另外，由于每一个滤波处理器被提供以来自图像金字塔生成器20的不同分辨率 的多个图像，所以来自各个图像的、针对每一个轮廓特征点在四个方向e上计算出的特征 值被提供给特征值生成器64。所提供的特征值依赖于由图像金字塔生成器20生成的图像 的数目。例如，当生成了从级别1到级别8的八个图像时，提供针对每一个轮廓特征点在四 个方向e上计算出的八组特征值。 特征值生成器64将所生成的轮廓特征值和所提供的学习图像两者都提供给轮廓 识别器生成器26。 这样，在轮廓特征值计算器25中，采取高斯函数的微分来获得具有方向(9 )选择 性的滤波器(即，基本函数)。所获得的滤波器被用于提取对于各阶微分不同的特征值(即， 轮廓)，并且这些特征值被取作轮廓特征值。 如图4所示，当可转向滤波器被用于轮廓特征值提取时，如果准备了具有不同方
向e和高斯宽度o的滤波器，则可以使用这些滤波器的线性组合来创建任意方向e的滤
波器，或者换而言之，高斯函数G的微分函数Gn(其中，n = 1、2、3)。 图4右侧所示的水平行中的最上方图像表示高斯宽度o等于1的一阶微分函数 Gje)，图示出的e值按从左到右的顺序为0、1/8* Ji 、2/8* Ji 、3/8* Ji 、4/8* Ji 、5/8* Ji 、 6/8承Ji禾口 7/8承Ji 。 类似地，图4右侧所示的水平行按从上数第二行起顺序往下的顺序分别表示高斯
宽度o等于2的一阶微分函数&(e)、高斯宽度o等于4的一阶微分函数Gje)、高斯宽 度o等于i的二阶微分函数^(e)、高斯宽度0等于2的二阶微分函数^(e)、高斯宽度 o等于4的二阶微分函数Gje)、高斯宽度0等于i的三阶微分函数G"e)、高斯宽度0 等于2的三阶微分函数G"e)以及高斯宽度o等于4的三阶微分函数G"e)、此外，每一
行中的图像图示了 9值以从左到右的顺序为0、1/8* Ji 、2/8* Ji 、3/8* Ji 、4/8* Ji 、5/8* Ji 、 6/8* Ji和7/8*11的相应微分函数。 例如，图4左侧所示的两个滤波器(一阶微分函数GJ0。)和一阶微分函数 GJ9(T ))可用于表示图4右侧从上数第二行所示的各个方向e的一阶微分函数Gje)。 类似地，图4左侧的二阶微分函数G2可用于表示图4右侧从上数第五行所示的各个方向e 的二阶微分函数G2( e )。图4左侧的三阶微分函数G3可用于表示图4右侧从上数第八行
所示的各个方向e的三阶微分函数Gje)。换而言之，在给定数目比其维度多i的基本函
数的情况下，可以通过这些基本函数的线性组合来表示同一维度中任意方向的微分函数。 图5图示了通过使用高斯函数G的微分函数对示出人体的图像进行滤波而获得的结果。在图5中，要被滤波的图像被示出在左侧，滤波器被示出在中间，并且滤波后的图像 被示出在右侧。 图5的左侧所示的图像是构成图像金字塔的两个图像，并且具有不同分辨率。如 先前所述，图像金字塔生成器20生成具有例如从级别Ll到L8的不同分辨率的图像。在图 5的左侧，作为示例示出了来自这样的图像金字塔的L1图像101和L2图像102。
作为示例示出在图5中间的滤波器是针对一阶微分函数^、二阶微分函数G2和三 阶微分函数63的滤波器，所有微分函数都具有等于1的高斯宽度o 。作为示例示出在图5 中间的滤波器取自图4所示的滤波器的一部分。 当使用图5中间所示的那些滤波器中的滤波器(例如，针对三阶微分函数63的滤
波器)来对图5左侧所示的图像进行滤波时，生成图5右侧所示的图像。换而言之，如果通
过三阶微分函数63的滤波器对图像101进行滤波，则生成图像111-1至111-4。同样，如果
通过三阶微分滤波器对图像102进行滤波，则生成图像112-1至112-4。 图像111-1至111-4已经分别被使用高斯宽度o等于l(o = 1)的三阶微分函
数G3的滤波器来滤波。因而，图像111-1至111-4是在利用高斯宽度o等于1的滤波器
进行滤波时获得的图像。 类似地，图像112-1至112-4已经分别被使用高斯宽度0等于l(o = 1)的三阶 微分函数63的滤波器来滤波。因而，图像112-1至112-4是在利用高斯宽度o等于l的 滤波器进行滤波时获得的图像。 但是，图像112-1至112-4是通过对图像102进行滤波而得到的图像。图像102 是图像101的降低版本。在这种情况下，图像112-1至112-4可被视为等同于使用高斯宽 度o等于2(。 =2)的三阶微分函数63滤波器进行滤波而生成的图像。换句话说，图像 112-1至112-4等同于在使用高斯宽度o等于2(Q =2)的三阶微分函数63的滤波器对 图像101进行滤波时生成的图像。 换而言之，通过对图像金字塔进行滤波，可以获得与在使用具有不同高斯宽度的 多个滤波器对单个图像进行滤波时获得的那些图像相等同的图像。例如，如果在使用在各 个高斯宽度处准备的多个滤波器对单个图像进行滤波的情况与使用在单个高斯宽度处准 备的单个滤波器对图像金字塔进行滤波的情况之间比较滤波所涉及的运算复杂度和处理 负荷，则使用单个滤波器对图像金字塔的滤波呈现出显著降低的运算复杂度和处理负荷。
换而言之，通过生成图像金字塔并以单个高斯宽度对其进行滤波，可以显著地縮 短处理时间。结果，这样的技术还縮短了在尝试从图像中检测人体或其它目标对象时的处 理时间，从而使得可以实时地从图像中检测目标对象。 以这种方式，轮廓特征值计算器25生成了与利用具有不同高斯宽度的多个滤波 器进行滤波时获得的图像相等同的多个图像，并且还生成了通过对所生成的多个图像进行 平均而获得的图像。可从这样生成的平均图像中确认人体轮廓，从而通过使用相应滤波器 对图像进行滤波而从图像中适当地提取人体轮廓。 图1所示的甄别装置13中的轮廓特征值计算器34的内部配置类似于图3所示的 轮廓特征值计算器25的内部配置。 [cms][学习处理] 现在将描述在学习装置ll中执行的学习处理。学习图像被输入学习装置ll，并
11且当生成综合识别器的指令被发出时，学习装置ll启动学习处理并通过统计学习来生成 综合识别器。在下文中，将参考图6至8所示的流程图来描述由学习装置11执行的学习处理。 在步骤S10中，图像金字塔生成器20从输入的学习图像生成图像金字塔。如先前 所述，图像金字塔生成器20例如生成具有从级别Ll到L8的八个分辨率层的图像金字塔。 所生成的图像被提供给服装特征点提取器21和轮廓特征点提取器24。服装特征点提取器 21和轮廓特征点提取器24分别将所提供的图像金字塔(即，具有不同分辨率的多个图像) 中的一个图像设为待处理的学习图像，并执行步骤S11及之后的处理。针对多个图像中的 每一个图像重复执行步骤Sll及之后的处理。 在步骤Sll中，服装特征点提取器21从所提供的学习图像提取服装特征点，然后
将所提取的服装特征点和学习图像两者都提供给服装特征值计算器22。 在步骤S12中，服装特征值计算器22使用从服装特征点提取器21提供的服装特
征点和学习图像作为用于将每一个服装特征点与另一服装特征点配对的基础。 在步骤S13中，服装特征值计算器22针对在步骤S12中配对的每一对服装特征点
来计算服装特征值。这样获得的服装特征值被提供给服装识别器生成器23。 例如，当图9所示的学习图像被输入服装特征点提取器21时，服装特征点提取器
21基于预定裕度和采样跳越数目从学习图像提取服装特征点。图9所示的学习图像上的圆
圈指示了被取作服装特征点的像素。 这里，裕度指的是学习图像中、起始于学习图像的边缘并终止于服装特征点提取 区域的像素数目。采样跳越数目指的是学习图像中被设为服装特征点的两个像素之间的间 隔。 结果，当例如裕度为5像素并且采样跳越数目为5像素时，服装特征点提取器21 从学习图像中排除由位于从学习图像的边缘开始5个像素内的像素构成的区域，并将剩余 区域Ell设为用于服装特征点提取的目标。随后，服装特征点提取器21提取位于相互分离 5个像素的位置处的像素作为服装特征点。换而言之，在图9中，相邻服装特征点之间的距 离在垂直和水平方向上均为5像素，并且每一个服装特征点都是区域E11内的像素。
接下来，服装特征值计算器22基于预定的最小半径和最大半径对每一个服装特 征点进行配对。例如，对于最小半径Rll和最大半径R12，当将给定服装特征点KT2作为目 标时，服装特征值计算器22分别将服装特征点KT1与离服装特征点KT1的距离不小于最小 半径Rll且不大于最大半径R12的每一个服装特征点配对。 例如，在离服装特征点KT1的距离不小于最小半径Rll且不大于最大半径R12的 服装特征点有N个时，获得N对服装特征点。服装特征值计算器22这样将所有服装特征点 与其它服装特征点配对。 另外，对于通过以上配对获得的每一对服装特征点，服装特征值计算器22计算具 有预定形状和大小的、分别以构成对的服装特征点为中心的区域之间的纹理距离。这样算 出的纹理距离被取为服装特征值。 例如，考虑通过对由图9所示的服装特征点KT1和KT2构成的对取绝对差值之和 (SAD)来计算服装特征值的情况。在这种情况下，服装特征值计算器22将区域TX1定义为 以服装特征点KT1为中心的预定区域，并且将区域TX2定义为与区域TX1具有相同大小且以服装特征点KT2为中心的区域。随后，服装特征值计算器22计算区域TX1内的像素的像 素值与区域TX2内的相应像素的像素值之差的绝对值之和。这样算出的绝对差值之和被取 为服装特征值。 应当了解，服装特征值不限于SAD，并且也可以是诸如平方差之和(SSD)或归一化 相关之类的值。 以这种方式，服装特征值计算器22计算从学习图像提取的每一对服装特征点的 服装特征值。更具体而言，向学习装置11输入了由包含目标对象的若干学习图像和不包含 目标对象的若干学习图像构成的多个学习图像。随后，针对每一个输入学习图像来提取服 装特征点并计算服装特征值。 例如，考虑向学习装置ll输入M(其中，M是自然数)个学习图像PIi至PlM的情 况。如图10所示，针对M个学习图像PIi(其中，l《i《M)中的每一对服装特征点获得了 服装特征值。 在图10中，单个正方形表示单对服装特征点的服装特征值。另外，图10中各列的 垂直排列的正方形表示从学习图像PIi(其中，l《i《M)获得的服装特征值的序列。每一 个序列包含与从给定学习图像PIi获得的服装特征点的对数相等数目的服装特征值。换而 言之，从学习图像PIi获得的服装特征点对的数目成为了针对该学习图像PIi的服装特征值 的维度。 这里的学习图像指的是图像金字塔中的各个图像，如先前所述。图10图示了以下 情况其中，从单个图像生成三个图像的金字塔，并且其中，分别对金字塔中的三个图像的 每一个进行处理。换而言之，图10图示了在多分辨率级别的数目设为3时在学习期间的特 征值向量的简单情况。 在图10中，比例指的是比例系数。比例系数是指示出在下一级别中如何依比例确 定图像大小的縮小比率。例如，比例l指示出比例系数l。图io中的单个列包含与分别从 构成图像金字塔的多个学习图像PIi获得的服装特征点的对数相等数目的服装特征值。
另外，在图10中在每一学习图像PIi的服装特征值列的下方，示出了指示出在该 学习图像PIi中是否包含目标对象的标记(即，命中/错失信息)。例如，示出在学习图像 PL的服装特征值列下方的标记"+l"指示出在学习图像PIi中包含目标对象，而示出在学 习图像PIM的服装特征值列下方的标记"-l"指示出在学习图像PIM中不包含目标对象。
现在返回到图6的流程图，在步骤S13中，计算服装特征值，然后在步骤S14中，服 装识别器生成器23执行服装识别器生成处理以生成服装识别器。 现在将参考图7中的流程图来描述与步骤S14相对应的服装识别器生成处理。
在步骤S51中，加权单元52例如将图10所示的各个学习图像PIi (其中1《i《M) 的全部权重Wi初始化为1/M，同时识别器选择器55分别将计数j初始化为1，并将由弱识 别器的和构成的服装识别器R(x)初始化为0。 这里，i是用于标识图10中所示的学习图像PIi的数，其中，l《i《M。作为步骤 S51中的处理的结果，针对所有学习图像PIi的权重Wi都被设为同一归一化权重(1/M)。另 外，计数j是指示出用于更新服装识别器R(x)的预定计数的数。 在步骤S52中，采样单元51根据学习图像PIi的权重，从在多个学习图像PIi中的 相同的各个位置处的服装特征点的服装特征值中选择每一对服装特征点的M个服装特征
13值。这样选出的M个服装特征值被提供给排序器53。 例如，考虑从服装特征值计算器22向采样单元51提供来自从至PIM的M个
学习图像的服装特征值的情况，如图ll所示。在图11中，在水平方向上排列从学习图像
PIi(其中1《i《M)获得的服装特征值。示出在代表学习图像的字母PIi左侧的数"+l"
和"-l"指示了附于每一个相应学习图像PIi的标记(即，命中/错失信息)。 换而言之，在图11的最上面那一行中水平排列的序列(A" A2， A3， . . . ， AN)表示学
习图像P^中的每一对服装特征点的相应服装特征值。在图11中在指示出学习图像PIi的
文字"PI/'左侧的数"+l"表示指示出在学习图像P^中包含目标对象的标记。 类似地，在图11的从上数第二行中水平排列的序列(Bp B2， B3， . . . ， BN)表示学习
图像P^中的每一对服装特征点的相应服装特征值。在图11中在指示出学习图像P^的文
字"PI/左侧的数"+l"表示指示出在学习图像Pl2中包含目标对象的标记。 在图n的从上数第三行中水平排列的序列(d， C2， C3， . . . ， CN)表示学习图像PI3
中的每一对服装特征点的相应服装特征值。在图11中的文字"PI/'左侧的数"-l"表示指
示出在学习图像Pl3中不包含目标对象的标记。此外，在图11的从上数第M行中水平排列
的序列(MpM^Mp.. ，MN)表示学习图像PlM中的每一对服装特征点的相应服装特征值。在
图11中的文字"PlM"左侧的数"-l"表示指示出在学习图像PlM中不包含目标对象的标记。 这样，在图ll所示的示例中，从单个学习图像PIi获得了 N对服装特征点的相应
服装特征值。此外，在图11中，垂直排列的从Ai至Mi(其中，l《i《M)的M个服装特征
值形成了单个组Grk。属于给定组Grk的服装特征值是在各个学习图像PIi的相同位置处的
各对服装特征点的服装特征值。 例如，组G巧包含垂直排列的从^至M工的服装特征值。服装特征值A是针对学习 图像PIi中的一对服装特征点计算出的。这两个服装特征点位于学习图像上与属于组G巧 的其它服装特征值的服装特征点相同的位置处，例如，学习图像PIM中从其计算服装特征值 M工的那对服装特征点。在下文中，当给定特定学习图像PIi中的一对服装特征点时，该对将 被指定为对k，这指示出服装特征值属于组Grk(其中，1《k《N)。 当图ll所示的每一个学习图像PIi的服装特征值被提供给采样单元51时，采样单 元51通过从属于每一组Grk的服装特征值中抽选(lottery)每一对k(即，该组Grk)的M 个服装特征值并根据学习图像PIi的权重Wi来选择。例如，采样单元51可以根据权重Wi 从属于G巧的从^至M工的服装特征值中选择M个服装特征值。这样，在这里的第一处理中， 选择了每一组Grk中的所有服装特征值。显然，在实践中也可以多次选择相同服装特征值。
权重Wi也可用于计算每一对服装特征点的差错。在这种情况下，通过将差错值乘 以数据加权系数(即，权重Wi)来计算差错。 在步骤S53中，排序器53以升序或降序对为N组Grk的每一组(即，为每一对k) 选择的M个服装特征值进行排序，并将结果提供给识别器配置单元54。例如，顺序地对从属 于图11中的组G巧的服装特征值选出的M个服装特征值进行排序。 在步骤S54中，识别器配置单元54基于附于从服装特征值计算器22提供的学习 图像的命中/错失信息(即，标记)，在改变每一组Grk(即，服装特征点的每一对k)的阈值 的同时控制差错率计算器54a。通过这样的控制，识别器配置单元54如以下给出的式7所 示地计算差错率eik，并将阈值设置为使得差错率eik最小化。
这里，服装特征点的每一对k的阈值thjk成为单个弱识别器f jk。识别器配置单元 54将针对每一个弱识别器f jk的差错率ejk提供给识别器选择器55。换而言之，针对N对k 中的每一对，分别设置了 N个弱识别器f jk，并且针对N个弱识别器f jk的每一个计算差错率 ejk。这里，弱识别器fjk是如下函数当存在用于甄别的目标对象时输出+1，而当不存在用 于甄别的目标对象时输出-l。 例如，当j = 1并且如图12所示以升序或降序排列服装特征点的对k = 1的服装 特征值Ln A15 Q， Bp . . . ， M工时，阈值thu设置在服装特征值&和Q之间。在小于阈值thn 的值的范围(即，由-l指示的范围)内，未甄别出用于甄别的目标对象，而在大于阈值thn 的值的范围(即，由+l指示的范围)内，甄别出了用于甄别的目标对象。在这种情况下，在 图12中由虚线圈起的服装特征值A工是来自包含用于甄别的目标对象的学习图像的服装特 征值，因而服装特征值A被取为差错。相比之下，服装特征值Q和M工是来自不包含用于甄 别的目标对象的学习图像的服装特征值，因而服装特征值Q和M工也被取为差错。
在图12所示的示例中，阈值thn被设置为使得差错率^最小化。例如，当图12 所示的阈值thn未被定位成使得差错率ejk最小化时，识别器配置单元54改变阈值thu的 位置，并且在检查每一个位置处的差错率ejk的同时，搜索使差错率ejk最小化的阈值thn位 置。 一旦找到该使差错率ejk最小化的阈值thu位置，就将该位置取作阈值thn的位置。
如下式7所示，差错率计算器54a使用学习图像的命中/错失信息(S卩，标记)作 为基础，通过将提取出取为差错的服装特征值的学习图像的权重Wi相加来计算差错率ejk。
式7ejk=Ew[l(y*fjk)] (7) 这里，y # f jk表示服装特征点的对k成为差错的参数，而Ew指示出产生差错的对 k中的权重将被相加。 在步骤S55中，识别器选择器55使用从识别器配置单元54提供的每一对k的N个 差错率ejk作为基础，从N个弱识别器f jk中选择使得差错率ejk最小化的弱识别器f jk。识 别器选择器55随后从识别器配置单元54获取所选择的弱识别器f jk。 在步骤S56中，识别器选择器55使用所选择的弱识别器f jk的差错率ejk作为基础 来计算下式8所示的可靠性因子Cj。计算结果被提供给权重更新器56。
式8 Cj = 1og((l-ej)/ej) (8) 在式8中，ej表示从所有差错率ejk选择的弱识别器fjk的差错率ejk。换而言之， ej表示N个差错率ejk中的最小ejk。在下文中，在步骤S55中选择的对k的弱识别器将被 称为fj，并且该弱识别器fj的差错率ejk将被称为ej。 在步骤S57中，权重更新器56基于所提供的可靠性因子Cj计算下式9的值，从而 重新计算每一个学习图像PIi的权重Wi，同时还对所有权重Wi进行归一化和更新。更新后 的结果被提供给加权单元52。基于由权重更新器56提供的更新后的权重结果，加权单元 52设置每一个学习图像的权重。
式9 Wi = wiexp[-Cj l(y#fj)]， i = 1，2，…N (9)
15
式9说明包含产生差错的服装特征值的学习图像的权重Wi增大。
在步骤S58中，识别器选择器55使用新计算出的弱识别器f j来更新所存储的服装识别器R(x)。换而言之，识别器选择器55通过计算下式10的值来更新服装识别器R(x)。
式10 R(x)=R' (x)+CjXfj(x) (10) 在式10中，R' (x)表示由识别器选择器55存储的更新前的服装识别器，而fj(x)表示新计算出的弱识别器f j。换而言之，识别器选择器55通过首先取得所存储的识别器并将其与通过乘以可靠性因子Cj而加权后的新计算出的弱识别器相加来更新服装识别器。
在步骤S59中，识别器选择器55取得与使差错率ejk最小化的弱识别器f jk相对应的服装特征点的对k的服装特征值，并存储该服装特征值作为识别特征值。
在步骤S60中，识别器选择器55判断计数j是否等于或大于L。如果在步骤S60中判定计数j不等于或大于L，则在步骤S61中，识别器选择器55递增计数j。随后，处理返回到步骤S52，并且重复上述处理。 换而言之，使用每一个学习图像的新设置的权重Wi，为N对k设置新的弱识别器f jk，并且从这些弱识别器f jk中选择单个弱识别器f jk以使得差错率ejk最小化。随后通过所选择的弱识别器f jk来更新服装识别器。 相比之下，如果在步骤S60中判定计数j等于或大于L，则在步骤S62中，识别器选择器55向综合识别器生成器27输出所存储的服装识别器和识别特征值。随后，处理前进到图6所示的步骤S15。 作为上述处理的结果，由具有相对较低差错率的L个弱识别器fj(l《j《L)构成的服装识别器被提供给综合识别器生成器27，同时要结合各个相应弱识别器f j使用的服装特征点的每一对k的服装特征值也被提供给综合识别器生成器27。这里，L被取为小于N。
来自式10的服装识别器被用于生成如下识别器(S卩，函数)该识别器使得当代入服装特征值时，如果服装识别器为正则输出值+1，而如果服装识别器为负则输出值-1。因而，该识别器是通过L个弱识别器的多数规则(majority rule)来判断的、有关要甄别的目标对象输出是或否的函数。参考图7的流程图描述的、对弱识别器重复加权并求和以生成识别器的学习处理被称为离散Adaboost算法。 换而言之，作为上述服装识别器生成处理的结果，针对每一对服装特征点计算弱识别器和差错率的处理被重复以使得学习图像的服装特征值的权重随着高差错率而逐渐增大，并随着低差错率而减小。结果，在重复处理(即，步骤S52到S61)中，当选择服装特征值(即，在步骤S52中选择的服装特征值)用于设置弱识别器时，具有高差错率的服装特征值随着时间推移而变得更容易被选择。这样，在以逐渐增多的重复更频繁选择难以甄别的服装特征值的情况下重复学习。为此，难以甄别的学习图像中的服装特征值变得更频繁地被选择，从而使得最终可以增大甄别率。 此外，在重复处理(即，步骤S52至S61)中，识别器选择器55选择与具有最低差错率的对相对应的弱识别器。这样，通过重复学习处理，被选择并与服装识别器相加的弱识别器是针对具有最高可靠性因子的服装特征点的对的，并且在每一次重复中，都成功计算出具有高精确度的弱识别器。 此外，服装识别器是使用服装特征值来判断图像是否包含被设置为目标对象的人体的识别器。与被代入构成服装识别器的每一个弱识别器中的服装特征值相对应的服装特
征点的对因而是服装特征点的所有对中最适合用于从输入图像检测目标对象的对。 例如，在图13中，与被代入服装识别器中的服装特征值相对应的对是图像中被设
为目标对象的人体周围的服装特征点的对。在图13中，每一条直虚线连接形成对的两个
服装特征点，而以每一条线的端点为中心的正方形表示在计算服装特征值时使用的纹理区域。 在图13所示的示例中，存在纹理距离(g卩，服装特征值)减小的、由图像中的人体所穿的上身服装上的两个服装特征点构成的对。也存在服装特征值增大的、由人服装上的服装特征点以及背景而不是人上的服装特征点构成的对。图13所示的示例因而说明了如何选择诸如上述对之类的对。 现在返回到图6的流程图，在步骤S15中，轮廓特征点提取器24从输入学习图像中提取轮廓特征点。 例如，当图14A所示的学习图像被输入轮廓特征点提取器24中时，轮廓特征点提取器24提取学习图像中以预定间隔排列的像素形式的轮廓特征点，如图14B所示。在图14B中，学习图像上的圆圈表示被取作轮廓特征点的像素。 图14A和14B所示的学习图像由水平方向上的32个像素和垂直方向上的64个像素构成。由轮廓特征点提取器24选择为轮廓特征点的轮廓特征点在学习图像中在水平和垂直两个方向上都隔开两个像素的间隔。其结果是，学习图像中如图14B所示的水平方向上的12个像素和垂直方向上的28个像素被选择作为轮廓特征点，总共达336(12X28)个像素。 在从学习图像提取轮廓特征点时，轮廓特征点提取器24将所提取的轮廓特征点和输入学习图像提供给轮廓特征值计算器25。 在步骤S16中，轮廓特征值计算器25执行轮廓特征值计算处理，其中，基于从轮廓特征点提取器24提供的轮廓特征点和学习图像，针对每一个轮廓特征点计算轮廓特征值。
现在将参考图8所示的流程图描述与步骤S16相对应的轮廓特征值计算处理。
在步骤S101中，轮廓特征值计算器25，或者更具体地，轮廓特征值计算器25中的一阶滤波处理器61、二阶滤波处理器62和三阶滤波处理器63分别从自轮廓特征点提取器24提供的轮廓特征点中选择单个未经处理轮廓特征点形式的关注像素(subject pixel)。
在步骤S102中，轮廓特征值计算器25将指示出方向、的计数q设为l。这样，
方向e,被设为^。 在步骤S103中，一阶滤波处理器61执行一阶滤波。换而言之，基于要处理的关注像素的像素值，一阶滤波处理器61计算式2的值，其中将高斯宽度o设为l(o = 1)并将
方向设为eq。滤波结果被提供给特征值生成器64。换而言之，在方向e被设为9q的情
况下计算式2的值，并且提取轮廓。 应当了解，虽然有将高斯宽度o设为l(o = 1)的上述状态，但是在本实施例的情况下，高斯宽度被固定于o = l(即，预先配置了一个高斯宽度的滤波器)。为此，可以省略将高斯宽度o设为1的处理。换而言之，在本实施例中，在步骤S103中执行处理以便通过应用在方向e q上高斯宽度o为1的滤波器来计算式2的值。在下文中，高斯宽度o将继续被描述为l(o =1)，但是显然，所准备的滤波器的高斯宽度可以是o =1之外的高斯宽度。 在步骤S104中，二阶滤波处理器62执行二阶滤波。换而言之，基于关注像素的像素值，二阶滤波处理器62通过应用在方向9q上高斯宽度o =1的滤波器来计算式3的值。滤波结果被提供给特征值生成器64。换而言之，在方向e被设为9q的情况下计算式3的值，并提取轮廓。 在步骤S105中，三阶滤波处理器63执行三阶滤波。换而言之，基于关注像素的像素值，三阶滤波处理器63通过应用在方向9q上高斯宽度o =1的滤波器来计算式5的值。滤波结果被提供给特征值生成器64。换而言之，在方向e被设为9q的情况下计算式5的值，并提取轮廓。 在步骤S106中，轮廓特征值计算器25判断方向9q是否为94，或者换而言之，计数q是否等于4(q二4)。如果在步骤S106中判定方向e q不是e 4，则在步骤S107中，轮廓特征值计算器25递增计数q。例如，如果计数q等于1 (q = 1)，则将计数q递增为2 (q=2)，从而将方向9q设置为92。 一旦计数q被递增，处理就返回到步骤S103，并且重复上述处理。 相比之下，如果在步骤S106中判定方向9q为e4，则在步骤S108中，特征值生成器64将从一阶滤波处理器61、二阶滤波处理器62和三阶滤波处理器63提供的计算结果(即，轮廓特征值)相组合以生成单个轮廓特征点的轮廓特征值。
可以根据下式11或12计算轮廓特征值。
式ll 巧= 2)iGd'^I(Xi，yi,Si,)1 (11) 式12 "j = maxlGd,0 l(Xi， yi， s,，)l (12)
x，y 在式ll和12中，Gd, e是针对任意角度e的高斯函数G的d阶微分函数，其与式2所示的相同。另夕卜，在项I(Xi，yi，Si)中，(Xi，y》表示正被处理的轮廓特征点在图像中的
坐标，而(Si)表示正被处理的图像在构成图像金字塔的多个图像中的比例。 式ll是这样的公式，其用于首先运算轮廓特征值与针对任意角度e的高斯函数G的d阶微分函数的张量积(tensor product)，然后运算该结果的绝对值的和(E )。式12是这样的公式，其用于运算轮廓特征值与针对任意角度9的高斯函数G的d阶微分函数的张量积，然后运算该结果的绝对值中的最大值(max)。 虽然式11和12都是用于运算特征值的公式，但是式11是用于计算局部能量(local energy)的公式，而式12是用于计算局部最大值的公式。现在将描述这些公式的含义。 作为像上述那样的处理的结果，使用任意角度的函数和按比例提取的滤波器系数作为特征值来执行监督式统计学习。这样，可以生成用于检测人体或类似目标对象的检测识别器。但是，在该检测识别器中，存在例如依赖于人穿着的服装及他或她与背景的关系的特征值。此外，对于像人体那样具有很大的扭曲和变形的甄别目标而言，特征值选择性是高度无约束的。因此，希望执行吸纳这样的因素并将相应特征值转换为不变特征值的处理。
18
可以通过运算滤波后的输出值的绝对值来求解从依赖于人穿着的服装以及他或她与背景的关系的特征值向不变特征值的转换。通过运算绝对值，可以提取接近人的轮廓的特征值。在本实施例中，计算一阶微分函数、二阶微分函数以及附加的三阶微分函数的值，其中，相应绝对值取自各个微分函数。这样，与仅从一阶微分函数运算绝对值的情况相比，极大地提高了精确度，从而使得能够提取不变特征值。 如上所述，对于像人体那样具有极大的扭曲和变形的甄别目标而言，特征值选择性是高度无约束的。通过执行位置不变的运算使能了能够吸纳这个因素的特征值运算。例如，当检测人脸部的轮廓时，运算利用了使得那些轮廓的长度无论脸部的形状如何都几乎相同的因素。换而言之，当聚焦于轮廓的给定部分时，运算将诸如该部分的长度之类的值视为不变，即使在该部分移动位置时也是如此。例如，如果几乎为圆脸的人的轮廓改变位置从而与窄长脸的人的轮廓重叠，则在长度保持不变的情况下，运算将这些轮廓视为仅改变了位置。 这样的运算涉及运算和，如式11中一样。通过运算和，例如运算了人脸轮廓的和。可替代地，可以运算最大值，如式12中一样。通过运算最大值，例如运算了人脸轮廓中的最大值。 这里，已经说明了两种运算和与最大值。换而言之，已经说明了基于式11计算局
部能量的运算，以及基于式12计算局部最大值的运算，如上所述。除了这些运算之外，可以
执行这样的运算，该运算使得计算出在呈现出局部最大值的点周围的局部能量。这样的运
算大致涉及取式12的运算结果以及执行式11的运算。可替代地，运算可被执行以使得计
算出接近局部能量的最大值。这样的运算大致涉及取式11的运算结果以及执行式12的运
算。虽然这里并未给出具体公式，但是利用这样的运算可以计算特征值。 通过这样的运算，从各个轮廓特征点计算出特征值。随后，在步骤S109中，轮廓特
征值计算器25判断是否已经结束对所有轮廓特征点的处理。例如，如果已经根据从轮廓特
征点提取器24提供的所有轮廓特征点计算出轮廓特征值，则判定处理结束。 如果在步骤S109中判定尚未结束对所有轮廓特征点的处理，则处理返回到步骤
S101，并且选择下一个轮廓特征点作为关注像素。 相比之下，如果在步骤S109中判定已经结束对所有轮廓特征点的处理，则特征值生成器64将从轮廓特征点提取器24提供的学习图像以及针对每一个轮廓特征点所生成的轮廓特征值两者都提供给轮廓识别器生成器26。随后，处理前进到图6中的步骤S17。
应当了解，从学习图像中对轮廓特征值的提取不限于利用可转向滤波器来执行，而是也可以使用Gabor(盖伯)或类似滤波器。 现在返回到图6所示的流程图，一旦已经计算出每一个轮廓特征点的轮廓特征值，就在步骤S17中，轮廓识别器生成器26使用从轮廓特征值计算器25提供的学习图像和轮廓特征值作为基础来执行轮廓识别器生成处理，并从而生成轮廓识别器。这里的轮廓识别器生成处理类似于参考图7描述的服装识别器生成处理，因而省略了对其的进一步描述。 更具体而言，轮廓识别器生成处理与服装识别器生成处理的不同之处仅在于要处理的特征值是轮廓特征值，而不是服装特征值。因此，在轮廓识别器生成处理中，从与具有最低差错率的轮廓特征点的轮廓特征值相对应的弱识别器的和生成轮廓识别器。轮廓识别
19器生成器26将所生成的轮廓识别器和识别特征值提供给综合识别器生成器27。 在步骤S18中，综合识别器生成器27通过将从服装识别器生成器23提供的服装
识别器与从轮廓识别器生成器26提供的轮廓识别器相组合来生成综合识别器。 例如，由于通过基于Adaboost的统计学习获得的识别器可表示为弱识别器的线
性组合，所以综合识别器生成器27以后期融合(late fusion)的方式来组合服装识别器和
轮廓识别器。 更具体而言，综合识别器生成器27通过计算下式13的值来计算服装识别器R(x)和轮廓识别器T(x)的识别器和U(x)。换而言之，通过取服装识别器R(x)和轮廓识别器T(x)的线性组合来得出识别器和U(x)。
式13 U(x) = a .R(x) + P T (x) (13) 在式13中，a和|3是预定常数(即，调谐参数)，并且例如可以使用诸如针对在
统计学习中使用的学习图像的识别率之类的因子来算出。轮廓识别器T(x)是已经乘以其
可靠性因子的弱识别器的和，并且类似于式10所示的服装识别器R(x)。 另外，综合识别器生成器27使用计算出的识别器和U (x)来生成综合识别器，如下
式14所示。 式14 综合识别器=sign(U(x)) (14) 在式14中，当识别器和U(x)为正时，sign(U(x))输出+1，这指示出在输入图像中存在要甄别的目标对象。当识别器和U(x)为负时，sign(U(x))输出-l，这指示出在输入图像中不存在要甄别的目标对象。 在以这种方式生成综合识别器之后，综合识别器生成器27将所生成的综合识别器提供给识别器记录单元12，综合识别器被记录在其中。另外，综合识别器生成器27通过将从轮廓识别器生成器26提供的识别特征值与从服装识别器生成器23提供的识别特征值相加来生成最终的识别特征值。最终的识别特征值被提供给识别器记录单元12并被记录，并且学习处理终止。 以这种方式，学习装置11从学习图像提取服装特征点，计算每一对服装特征点的服装特征值，并通过统计学习来生成服装识别器。另外，学习装置ll还从学习图像提取轮廓特征点，计算轮廓特征值，并通过统计学习来生成轮廓识别器。随后，学习装置ll以线性组合的方式来组合服装识别器和轮廓识别器以生成综合识别器。 这样，通过组合服装识别器和轮廓识别器并生成综合识别器，可以提供能够可靠地从图像中检测出目标对象的综合识别器。换而言之，由于综合识别器是利用目标对象的服装特征的服装识别器以及利用目标对象的轮廓的轮廓识别器的综合，所以如果可以充分地提取至少一种类型的特征值，则可以从图像中检测出目标对象。 当从图像中检测作为目标对象的人时，希望即使其服装改变也可检测出该人。为此，在相关技术中仅使用轮廓(轮廓不依赖于人服装的亮度)作为特征值来执行从图像中检测人体。 相比之下，学习装置11使用服装特征值来从图像中检测人体，所述服装特征值利用了人服装的特征，但是其自身相对于人服装式样的改变而不变。这些服装特征值是利用了如下观察而新定义的特征值统计上，人通常在其上身穿着相同纹理的重复式样(即，衬衣)，同时还在其下身穿着相同纹理的重复式样(即，裤子)。 换而言之，服装特征值指示出在图像的任意两个区域中的纹理(即，亮度式样)之间的类似程度(即，相似性)。例如，对于人上身的两个区域而言，纹理相似性可能较高，而纹理相似性在上身和下身之间或者在人的服装和背景之间可能较低。在学习装置11中，各对区域之间的这种纹理相似性被用来生成用于从图像中检测人体的服装识别器，其随后被用于生成综合识别器。 结果，如果可从图像中充分提取各对区域之间的纹理相似性特征，则即使例如未
从输入图像充分提取轮廓，也仍然可使用综合识别器来从图像中检测人体。相比之下，如果
人穿着的服装具有非重复的式样，或者当服装在图像中部分被提包或其它物体隐藏时，则
可能不能从图像充分提取纹理相似性特征。但是，如果能够从图像中充分提取轮廓，则可以
使用综合识别器来从图像检测人。[甄别处理] 现在将描述在使用学习结果来检测(即，甄别)诸如人之类的目标对象时执行的处理。输入图像被输入到甄别装置13，并且当检测作为目标对象的人体的指令被发出时，甄别装置13启动人体检测处理，并从输入图像中检测目标对象。在下文中，将参考图15所示的流程图来描述由甄别装置13执行的人体检测处理。 分别在步骤S150至S153中执行的处理类似于分别在图6的步骤S10至S13中执行的处理，因而这里省略了对其的进一步描述。换而言之，服装特征点提取器31从上述所输入的输入图像中提取服装特征点，同时服装特征值计算器32对服装特征点提取器31所提取的服装特征点进行配对，然后计算每一对的服装特征值。随后，服装特征值计算器32将针对每一对而计算出的服装特征值提供给识别计算器35。 图像金字塔生成器30被配置为使得在生成图像金字塔时，以与学习装置11中的
图像金字塔生成器20所生成的图像金字塔的比例(即，分辨率)相同的比例来生成图像。
通过匹配用于甄别的比例系数和用于学习的比例系数，可以在甄别期间高效地执行扫描。 在步骤S154中，轮廓特征点提取器33执行类似于图6的步骤S15的处理。轮廓
特征点被从输入图像提取，然后与输入图像一起被提供给轮廓特征值计算器34。 在步骤S155中，轮廓特征值计算器34使用来自轮廓特征点提取器33的输入图像
和轮廓特征点作为基础来执行轮廓特征值计算处理，并计算每一个轮廓特征点的轮廓特征
值。随后，轮廓特征值计算器34将计算出的轮廓特征值提供给识别计算器35。这里的轮廓
特征值计算处理类似于参考图8描述的轮廓特征值计算处理，因而这里省略对其的进一步描述。 在步骤S156中，识别计算器35从识别器记录单元12读取识别特征值和综合识别器两者，将特征值代入综合识别器，并计算值。更具体而言，识别计算器35将由服装特征值计算器32提供的服装特征值和由轮廓特征值计算器34提供的轮廓特征值中与识别特征值相对应的值代入式14所示的综合识别器，然后计算综合识别器的值。 此时，代入构成综合识别器的弱识别器中的特征值是从输入图像上的服装特征点对或轮廓特征点计算出的特征值，其中，这些点位于从其将特征值计算为识别特征值的服装特征点对或轮廓特征点相同的位置处。此外，被取作识别特征值的特征值是用于在统计学习处理期间设置构成综合识别器的弱识别器的那些特征值。 在计算式14的值时获得的运算结果或者是+1 (这指示出在输入图像中存在被设
置为目标对象的人)或者是-1 (这指示出在输入图像中不存在被设置为目标对象的人)。
识别计算器35将来自综合识别器的运算结果提供给识别结果输出单元36。 在步骤S157中，识别结果输出单元36基于从识别计算器35接收的运算结果来输
出对人的检测结果，随后人体检测处理终止。换而言之，输出了指示出是否在输入图像中甄
别出目标对象的识别结果。 作为指示出是否在输入图像中甄别出目标对象的识别结果的一个示例，识别结果 输出单元36可被配置为以框围绕检测出目标对象(即，人)的区域来显示输入图像，如图 16所示。 图16所示的输入图像包含被设置为目标对象的两个人，并且围绕每一个人的框 被显示在输入图像上。在这种情况下，在输入图像被输入到识别结果输出单元36的同时， 识别计算器35将运算结果与指示出输入图像中检测出目标对象的区域的信息一起提供给 识别结果输出单元36。于是，在从输入图像中检测出目标对象的情况下，识别结果输出单 元36基于从识别计算器35提供的运算结果和区域指示信息，将输入图像与围绕发现目标 对象的区域的框一起显示。 以这种方式，甄别装置13从输入图像中提取服装特征点并计算各对服装特征点 的服装特征值，同时还从输入图像提取轮廓特征点并计算轮廓特征值。随后，甄别装置13 使用计算出的服装特征值和轮廓特征值两者以及识别器记录单元12中所记录的综合识别 器来从输入图像检测目标对象。 这样，通过使用服装特征值和轮廓特征值来从输入图像检测目标对象，可更可靠 地从图像中检测目标对象。换而言之，如果可充分地从输入图像提取服装特征值或轮廓特 征值中的至少一种类型，则可以可靠地从输入图像检测目标对象。 虽然以上描述了检测作为目标对象的人体，但是应当了解，目标对象不限于人体， 而可以是表面式样呈现相同纹理的重复式样的任何对象。 此外，虽然以上描述了基于离散Adaboost算法来执行统计学习处理的示例，但 是也可以应用其它增强算法，例如Gentle Adaboost算法。离散Adaboost算法与Gentle Adaboost算法的不同之处在于前者的识别器输出结果是离散变量，而后者的结果是连续 变量。但是，前者涉及乘以可靠性因子，因而在实践中输出结果被视为连续变量。为此，这 两种算法基本上相同。 除了上述之外，也可以通过根据支持向量机(SVM) 、 Bayesian(贝叶斯)或其它方 法执行统计学习来生成服装识别器和轮廓识别器。但是，如果统计学习处理被配置为使得 通过Adaboost来选择特征值(即，服装特征值或轮廓特征值)，则在甄别装置13中使用综 合识别器来检测人时可以以更高速度执行处理。 虽然以上描述了生成服装识别器和轮廓识别器，然后将这些识别器组合来生成综 合识别器，但是也可以在不生成服装识别器和轮廓识别器的情况下，直接从服装特征值和 轮廓特征值生成综合识别器。 如先前所述，输入图像被转换为不同分辨率的若干图像(即，图像金字塔)，然后 不同分辨率的这些图像分别被滤波。这么做使得能够提高计算效率，从而使得能够提高处
22理速度。结果，可以例如实时地甄别诸如人体之类的目标对象。 例如，使用多个滤波器对多个比例的图像进行滤波涉及相当多的滤波运算，从而 使得可能极大地增加处理时间或处理容量。但是，在本实施例中，使用单个滤波器对多个比 例的图像进行滤波。换而言之，由于仅以一个比例执行巻积，所以可以对图像进行滤波而没 有很多运算，从而使得能够提高处理速度。 此外，在多比例滤波器的情况下，巻积运算在低频处(即，对于高斯宽度o的大值 而言)是耗时的。但是，在本实施例中，可以形成单个高斯宽度o的滤波器，如先前所描述 的。其结果是，在无需准备多个高斯宽度的滤波器，且无需利用多个高斯宽度的滤波器来进 行运算的情况下实现了滤波。结果，根据本实施例，即使假设利用在最高频率处准备的单个 滤波器来执行处理，与多比例滤波器的情况相比仍然可以极大地提高处理速度。
[用于去除某些区域的图像处理] 根据如上所述本发明的一个实施例，可以甄别出出现在输入图像中的人或其它目 标对象。通过使用这种能力来甄别(即，检测)出现在输入图像中的目标对象，也可以实现 以下功能。 现在将描述如下示例其中，由数字静态相机获得的图像将被处理，并且其中，人 被设置为要从图像中检测的目标对象。图17图示了由数字静态相机获得的图像的一个示 例。图17所示的图像200是在人201、人202、人203和人204都站在建筑物205前方的情 况下获得的。在人201至204中，人201和人202面向前方，而人203和人204不是面向前方。 如果获得图17所示的图像200的相机操作者本来想要捕获人201和人201站在 建筑物205前方的状态，则人203和人204不是相机操作者有意捕获的。以这种方式，相机 操作者有时候获得不是有意包含其他人的图像。例如，在定时拍摄时，另一个人可能刚好在 数字静态相机的快门激活之时进入画面。如果发生上述情况，则获得了如图17所示那样的 图像200，其包含相机操作者不是有意捕获的(一个或多个)人。 当以这种方式在所获得的图像中捕获了相机操作者无意捕获的人或物体时，相机 操作者自然会感觉失望，因为他或她本来希望获得仅包含他或她想要捕获的人和建筑物的 图像。在这种情况下，可以从图17所示那样的图像200中检测出人，可以去除相机操作者 无意捕获的人，并利用相机操作者想要捕获的建筑物或其它背景来取代去除后的部分。这 样，就生成了相机操作者想要的图像。 换而言之，如参考图18A所描述的，预先获得图18A所示的建筑物205的图像211。 相机操作者首先获得他或她想要最终获得的、去除了他或她想要捕获的人的背景的图像 (即，包含相机操作者想要捕获的建筑物或其它特征且不包含相机操作者不想要捕获的人 的图像)。在这种情况下，获得了仅仅建筑物205的图像211。假设随后获得了如图17所 示包含人201至204和建筑物205的图像200。在这种情况下，对图像200进行分析，并分 别检测人201至204。通过应用先前所描述的本发明的实施例来执行这样的检测。
从图像200剪辑出人201和人202。随后通过将剪辑出的人201和202叠加在仅 有建筑物205的图像211上(即，通过合成图像)，生成了图18B所示的图像212，图像212 包含相机操作者想要捕获的人201、人202和建筑物205。 可替代地，在从图像200检测出人201至204之后，从图像200去除人203和人
23204。与去除了人203和人204的部分相对应的部分随后被从仅有建筑物205的图像211剪 辑出。剪辑出的图像随后被叠加在图像200上去除了人203和人204的部分处。通过执行 这样的处理，生成了图18B所示的包含相机操作者想要捕获的人201、人202和建筑物205 的图像212。 虽然图像211在这里被描述为预先获得，但是相机操作者也可以在获得图像200 之后为了生成图像212而获得图像211。利用这个处理流程，仍然可以实现上述图像合成并 生成图像212。 将进一步描述这样的图像的生成。在以下描述中，背景图像指的是例如图18A所 示的图像211，并且是包含相机操作者想要捕获的建筑物或其它特征且不包含相机操作者 不想要捕获的人的图像。换而言之，背景图像仅捕获相机操作者希望作为背景的特征。
所获取图像例如指的是图像200，并且是包含相机操作者想要捕获的人且在某些 情况下还包含相机操作者不想要捕获的人或其它物体的图像。所需图像指的是例如图18B 所示的图像212，并且是包含相机操作者想要捕获的人和背景的最终所需图像。
图19图示了生成上述图像的图像处理装置的示例功能配置。图19所示的图像处 理装置230包括图像获取器231、图像存储单元232、背景图像存储单元233、所获取图像存 储单元234、甄别装置13、识别器记录单元12、图像去除器235、参数存储单元236、图像合成 器237以及所需图像存储单元238。 具有像上述那样的配置的图像处理装置230被包括在诸如数字静态相机或数字 摄像机之类的设备中。如果图像处理装置230被包括在这样的相机中，则对所获取图像执 行下文将描述的处理(该处理被几近实时地执行)。图像处理装置230也可被包括在个人 计算机或类似设备中。如果图像处理装置230被并入在个人计算机或类似设备中，则在获 取图像之后对记录在给定记录介质上的该图像执行下文将描述的处理。
如果图像处理装置230被并入在数字静态相机中，则在图像获取器231中包括图 像传感器或类似元件。通过获取被拍体的图像，图像获取器231获得了背景图像和所获取 图像。另外，如果图像处理装置230被包括在像个人计算机那样的经由网络或类似手段与 其它设备交换数据的设备中，则图像获取器231可以经由网络获得存储在其它设备中的图 像。可替代地，图像获取器231可以设有从给定记录介质读取图像数据的驱动器，其中，图 像获取器231通过从加载到驱动器的记录介质读取数据来读取图像。 图像存储单元232包含背景图像存储单元233和所获取图像存储单元234。背景 图像存储单元233存储背景图像，而所获取图像存储单元234存储所获取图像。虽然这里 分开来设置，但是可将背景图像存储单元233和所获取图像存储单元234配置为单个存储 单元。例如，可以通过将单个物理存储单元的存储区域划分成两个存储区域来分开提供背 景图像存储单元233和所获取图像存储单元234。 识别器记录单元12和甄别装置13具有分别与图1所示的识别器记录单元12和 甄别装置13相似的功能，并且被相似地配置。为此，使用了相同标号，并且这里省略了进一 步描述。如先前所描述的，根据识别器记录单元12和甄别装置13，可以在从输入图像检测 诸如人体之类的目标对象时提高计算效率和处理速度两者。为此，即使当图像处理装置230 被并入数字静态相机或类似设备时，也可以实时地处理所获取图像。 在甄别装置13中，甄别(即，检测)被设为目标对象的人。有关甄别装置13所检测出的人的信息，例如，与所获取图像中的检测出人的区域相关的信息(即，该区域的坐 标)与所获取图像的图像数据一起被提供给图像去除器235。图像去除器235随后在参考 存储在参数存储单元236中的参数的同时从所获取图像中去除检测出人的区域。参数存储 单元236存储着有关要去除的图像的参数。稍后将描述存储在参数存储单元236中的参数。
这里，图像去除器235将继续被描述为去除特定图像部分。但是，图像去除器235 也可执行图像剪辑处理，如稍后将描述的。例如，从给定图像去除不想要的图像部分等同于 从给定图像剪辑出所需图像部分。因此，取决于在下游的图像合成器237中如何合成图像， 图像去除器235从所获取图像去除不想要的图像部分并在去除之后输出剩余图像，或者可 替代地，从所获取图像剪辑出所需图像部分并输出剪辑出的图像。 图像合成器237对从图像去除器235输出的所获取图像与在背景图像存储单元
233中存储的背景图像进行合成，并生成所需图像。这样生成的所需图像被提供给设有预定
记录介质的所需图像存储单元238，并存储在其上。另外，如果确定没有要使用图像去除器
235来去除的图像部分(即，如果确定所获取图像即是所需图像)，则所需图像被从图像去
除器235提供给并存储在所需图像存储单元238中，而无需经过图像合成器237。 现在将参考图20所示的流程图描述图像处理装置230的操作。 在步骤S211中，图像获取器231获取背景图像。背景图像是由相机操作者获取的。
如参考图18A所描述的，相机操作者获取仅捕获作为背景所需的特征的图像。以这种方式
获取的图像是被获得作为背景图像并被存储在背景图像存储单元233中。 这里，虽然背景图像将继续被描述为由相机操作者获取，但是背景图像也可经由
例如网络或类似手段来获得，然后被存储在背景图像存储单元233中。例如，纪念性图像中
包括的建筑物通常是著名建筑物。如果建筑物是著名的，则极有可能除了相机操作者以外
的某人已经获取该建筑物的图像并使其可经由网络获得。诸如上述图像之类的随处可得的
图像可被获得作为背景图像并被存储在背景图像存储单元233中。另外，在旅游地作为纪
念品出售的明信片或类似商品也可被获得作为背景图像并被存储。 在步骤S212中，所获取图像被获取并存储。相机操作者获取包含其希望捕获的人 的图像，并且该图像是从与已经获取的背景图像相同的位置获取的。所获取图像由图像获 取器231获得，并被存储在所获取图像存储单元234中。此时，所获取并存储的图像可能是 也包含相机操作者不想要捕获的人的图像(像图17所示的图像那样)，或者是仅包含相机 操作者确实想要捕获的人的图像(像图18B所示的图像那样)。 在步骤S213中，从所获取图像检测人。在所获取图像已存储在所获取图像存储单 元234中时，甄别装置13读取所获取图像存储单元234中存储的所获取图像。如先前所描 述的，甄别装置13能够从输入图像中检测人。此外，在执行该检测时使用识别器记录单元 12中所存储的识别器。前面已经描述了用于从图像中检测人的处理(即，在甄别装置13中 执行的甄别处理)，因而这里省略对其的进一步描述。 在步骤S214中，判断在图像中是否出现不想要的图像部分。图像去除器235能够 通过参考来自甄别装置13的甄别结果来甄别在所获取图像中出现的人。图像去除器235 随后参考存储在参数存储单元236中的参数以判断该人是相机操作者想要捕获的人还是 其他人。这里，将参考图21A至21C描述参数存储单元236中存储的参数。
图21A所示的图像中的人251至253面朝后。例如在纪念性图像中，通常在面超
25前的情况下捕获人们。考虑到上述情况，可想到图21A所示的图像中的人251至253不是 相机操作者有意捕获的。因而，提供参数l，规定将去除面朝后的人的图像。
为了判断参数1是否适用，不仅从所获取图像检测人的区域，而且还检测所检测 出的人的脸部。现在将参考图22描述这样的脸部检测。图22是用于说明在甄别装置13处 理图17所示的图像200时所获得的甄别结果的示图。如图22所示，从图像200检测出人 201至204。在图22中，检测出的那些区域被指示为区域271至274。换而言之，区域271 是从图像200检测出人201的区域，而区域272是检测出人202的区域。类似地，区域273 是从图像200检测出人203的区域，而区域274是检测出人204的区域。
由于人201也面朝前，所以也检测他的脸部。区域275是检测出的该脸部的区域。 类似地，由于人202也面朝前，所以也检测她的脸部，并且区域276是检测出的该脸部的区 域。但是，人203和人204面朝后，因而不检测他们的脸部。以这种方式，如果人及其脸部 都被检测出，则可以判定这个人是面朝前的。相比之下，如果人被检测出，但是他或她的脸 部未被检测出，则可以判定这个人是面朝后的。 以这种方式，通过从所获取图像检测人然后检测他或她的脸部，可以判断该人是 否面朝前。当被配置用于这种情况时，甄别装置13设有用于检测脸部的脸部甄别功能。如 果甄别装置13包括脸部甄别功能，则识别器记录单元12还存储用于脸部检测的识别器。 与先前所描述的用于人体检测的识别器的生成相似，可以通过使用多个图像执行学习来生 成这种用于脸部检测的识别器。以这种方式生成的识别器被存储在识别器记录单元12中。 可替代地，可以通过根据不同的学习方法执行学习来生成识别器，然后将这些识别器存储 在识别器记录单元12中。 可替代地，可以在除甄别装置13以外的地方设置用于检测脸部的功能，并且可以 向图19所示的图像处理装置230添加组件。即使添加了组件，仍然可以与先前所描述的用 于人体检测的识别器的生成相似地，通过使用多个图像执行学习来生成识别器。也可以添 加用于在不使用识别器的情况下识别(即，检测)脸部的功能。 现在将返回来描述存储在参数存储单元236中的参数。图21B所示的图像中的人 们254是相机操作者的家庭(即，包括相机操作者的家庭)，而人们255不是相机操作者的 家庭(即，陌生人)。在这样的图像中，可想到家庭成员254是相机操作者想要捕获的一个 或多个人，同时可想到非家庭成员255不是相机操作者想要捕获的一个或多个人。因而，提 供参数2，规定非家庭成员的图像将被去除。 为了判断一个人是家庭成员还是非家庭成员，提供了一种用于预先登记家庭成员 信息的机制。家庭成员的脸部(即，图像数据)被存储在参数存储单元236中。该登记是 根据来自用户(即，相机操作者)的指令而被执行的。例如，当在图像中捕获家庭成员时， 可以针对该图像执行脸部检测。随后在数字静态相机的显示器中显示脸部检测结果。所显 示的画面例如可以是像图22所示的画面那样的画面，其中，使用诸如圆形之类的预定图形 来指示检测出脸部的区域。相机操作者(即，用户)随后从这样的画面中选择要登记的一 个或多个脸部。所选择的脸部(即，图像数据)被存储在参数存储单元236中。
通过将所获取图像中的脸部与以这种方式存储在参数存储单元236中的脸部相 匹配，来判断那些脸部是否已被登记。这里，脸部识别将继续被描述为通过匹配处理来执 行，但是脸部识别也可以通过除匹配之外的处理来执行。
26
图像去除器235从所获取图像检测脸部。为了这样做，图像去除器235包括像针 对参数1描述的那些功能那样的脸部检测功能。在检测出脸部时，图像去除器235使用存 储在参数存储单元236中的图像数据来判断在参数存储单元236中是否存储了与所检测出 的脸部相匹配的脸部。如果图像去除器235判定该脸部与所登记的脸部匹配，则该脸部被 设置为非去除图像。如果图像去除器235判定该脸部与所登记的脸部不相匹配，则该脸部 被设置为要去除的图像。 通过执行这样的处理，来区分家庭成员和非家庭成员，并将非家庭成员的图像设 置为要去除的图像。如先前所描述的，除存储(即，登记)在参数存储单元236中的那些脸 部之外的脸部(即，人)被视为要去除的图像。因而，参数2也可被描述为规定除所登记的 人之外的所有人的图像都将被视为要去除的图像的参数。 虽然脸部登记在这里被描述为基于相机操作者的选择和指令来执行，但是图像去 除器235也可被配置为通过不涉及相机操作者的选择和指令的处理来执行登记。例如，可 以累积多个所获取图像，并可以登记在所累积图像中共同检测出的脸部。例如，如果图像去 除器235检测出一脸部，那么该脸部可被临时存储在参数存储单元236中。随后，如果图像 去除器235检测出另一脸部，并且如果所检测出的脸部与临时存储在参数存储单元236中 的脸部匹配，则该脸部的匹配计数递增l。当存储在参数存储单元236中的脸部图像的匹配 计数变为预定计数时，则图像去除器235正式将该脸部登记在参数存储单元236中。
通过这样做，可以登记多次捕获的脸部(例如，孩子们的图像中的脸部)而无需麻 烦相机操作者(即，用户)。 与参数1 一样，如果甄别装置13包括用于检测家庭成员的功能，则用于检测家庭 成员的识别器可被存储在识别器记录单元12中。与先前所描述的用于人体检测的识别器 的生成相似，可以通过使用捕获了家庭成员的多个图像以及未捕获家庭成员的多个图像执 行学习来生成这样的识别器。以这种方式生成的识别器被存储在识别器记录单元12中。可 替代地，可通过根据不同的学习方法执行学习来生成识别器，然后将这些识别器存储在识 别器记录单元12中。 现在将返回来描述存储在参数存储单元236中的参数。图21C所示的图像中的人 256没有在微笑。通常，人们在出现在纪念性图像中时都是微笑的。因而，提供了参数3，规 定将去除不微笑的人的图像。为了判定某人是否在微笑，将检测出其脸，另外还判断那张脸 是否在微笑。为了作出这样的判断，图像去除器235包括微笑甄别功能。
当甄别装置13包括微笑甄别功能时，则还在识别器记录单元12中存储用于微笑 检测的识别器。与先前所描述的用于人体检测的识别器的生成相似，可以通过使用包含微 笑的多个图像以及不包含微笑的多个图像执行学习来生成这样的识别器。以这种方式生成 的识别器被存储在识别器记录单元12中。可替代地，可通过根据不同的学习方法执行学习 来生成识别器，然后将这些识别器存储在识别器记录单元12中。 这样的参数被存储在参数存储单元236中。在以上参数1至3中，仅一个参数可 被存储在参数存储单元236中并被处理，或者参数1至3中的两个或三个参数可被存储、组 合并处理。此外，参数不限于以上参数l至3，除上述那些参数之外的参数可被存储在参数 存储单元236中并被处理。除上述那些参数之外的参数也可与以上参数1至3组合并被处理。
27
如果以上参数1至3全部都存储在参数存储单元236中并被处理，则图像去除器 235首先使用参数1检测要去除的图像，并设置这些要去除的图像(即，所获取图像的多个 部分)。随后，未被设置为去除的剩余图像部分(即，面朝前的人的图像)经历处理，其中， 使用参数2检测要去除的图像，并设置这些要去除的图像。此时，在通过参数2的检测中使 用了在通过参数1检测期间检测出的脸部。通过参数1或2都未检测出的剩余图像部分 (即，未被设置为去除的剩余图像)经历处理。换而言之，面朝前且被登记的人的图像经历 进一步处理，其中，使用参数3检测要去除的图像，并设置这些要去除的图像。通过参数3，
面朝前且被登记的、但是没有在微笑的人的图像被检测为要去除的图像。 以这种方式，当在参数存储单元236中存储有多个参数时，可以接连判断每个参
数是否适用。可替代地，可以并行执行针对每一个参数的处理，然后可以设置要去除的最终图像。 现在返回来描述图20所示的流程图。如果在步骤S214中图像去除器235判定在 所获取图像中出现了不想要的图像部分，则处理前进到步骤S215。在步骤S215中，从所获 取图像去除不想要的图像部分。换而言之，图像去除器235从所获取图像去除了存储在参 数存储单元236中的参数(这里，取以上参数1至3)所适用于的图像(即，所获取图像的 多个部分)。 已经去除经历了参数1至3的图像部分的所获取图像(这里称为校正图像)被从 图像去除器235提供给图像合成器237。在步骤S216中，图像合成器237对来自图像去除 器235的校正图像与存储在背景图像存储单元233中的背景图像进行合成，从而生成所需 图像。 这里，图像去除器235向图像合成器237提供通过从所获取图像去除不想要的图 像部分而生成的校正图像。换而言之，校正图像例如是通过从所获取图像去除面朝后的人 的图像部分而生成的图像。当这样的校正图像被提供给图像合成器237时，图像合成器237 通过从背景图像剪辑出与校正图像中的所去除部分相对应的图像部分，然后将所剪辑出的 图像与校正图像相合成来生成所需图像。 但是，图像去除器235也可向图像合成器237提供通过从所获取图像去除不想要 的图像部分并剪辑出所需图像部分而生成的校正图像。换而言之，校正图像是通过从所获 取图像剪辑出例如除面朝后的人之外的图像部分而生成的图像。当这样的校正图像被提 供给图像合成器237时，图像合成器237通过对所剪辑出的图像部分与背景图像进行合成 (即，叠加)来生成所需图像。 可替代地，图像去除器235可以设置供去除的图像部分，然后将设置信息和所获 取图像输出给图像合成器237。图像合成器237随后可以基于设置信息、通过对所获取图像 与背景图像进行合成来生成所需图像。 在步骤S217中，这样生成的所需图像被提供给并存储在所需图像存储单元238 中。与此同时，如果在步骤S214中判定在所获取图像中未出现不想要的图像部分(即，如 果判定所获取图像是所需图像)，则处理前进到步骤S217，并且所获取图像被提供给并存 储在所需图像存储单元238中作为所需图像。 以这种方式，检测出人，并判断所检测出的人是否要留下作为所获取图像的一部 分，其中，仅被判定为要留下的那些人被与背景图像合成。通过这样的处理，可以使能相机操作者获得其所需图像。可替代地，可以检测出人，并且可以判断是否要从所获取图像去除 所检测出的人的图像部分。随后去除被判定为要去除的人，并将去除的区域与背景图像合 成。通过这种处理，可以使能相机操作者获得其所需图像。 换而言之，在上述本发明的实施例中，预定目标对象被从所获取图像检测出，并且 检测出那些目标对象的区域被设置为要在后面的处理中处理的区域。随后，通过以预定方 式处理所设置的区域来生成新图像。可替代地，除了被设置为供处理的区域之外的任何地 方都可用作被设置为供处理的新区域，并且可以通过以预定方式处理该新区域来生成新图 像。通过执行这样的处理，可以使能相机操作者获得其所需图像。 虽然前述实施例通过示例描述了人体作为目标对象的情况，但是例如也可以以车 辆或其它物体作为目标对象来执行以上处理。例如，当在所获取图像中出现车辆时，可通过 叠加背景图像的部分来去除该车辆，从而生成所需图像。 前述实施例还通过示例描述了通过从所获取图像去除经历参数的图像部分然后 与背景图像合成来生成所需图像。但是，可以使用除上述方法之外的其它方法。例如，当通 过图像去除器235判定不存在经历存储在参数存储单元236中的参数的图像部分时，可由 图像获取器231获取图像。换而言之，在数字静态相机中，通过图像去除器235实时地处理 正由图像获取器231获取的图像。因而，可以执行控制以使得当判定不存在经历参数的图 像部分时，从图像去除器235向图像获取器231发出指令以便激活快门。
通过以这种方式控制相机，仅在可以获取所需图像时才激活快门，从而使得能够 仅获取并存储所需图像。另外，还可以通过所设置的参数执行其它控制，以使得当判定人面 朝前或者当判定没有人面朝后时激活快门。可替代地，当存在面朝后的人时，可以以预先登 记的背景图像来覆写图像。 另外，在前述实施例中，检测出人的区域可被配置为使得全身区域被检测，或者使 得仅上身区域或者下身区域被检测。 [OSOS][像素化图像处理装置] 现在将描述如下情况利用上述人体检测来执行处理以对除了所检测出的人之外 的全部图像部分进行像素化(即，对其应用马赛克)，或者可替代地对所检测出的人的图像 部分进行像素化。图23和24分别图示了像素化后的图像的示例。图23所示的图像301和 图24所示的图像302都是通过对图18B所示的图像212进行像素化而生成的图像，其中， 已直接获取图像212自身，或者可替代地，其中，作为首先处理图17所示的图像的结果获得 了图18B所示的图像212。 图23所示的图像301是通过对除人201和人202之外的全部图像部分进行像素 化而生成的图像。通过从所获取图像检测人201和人202，然后对除人201和人202之外的 全部部分进行像素化来生成图像301。 图24所示的图像302是通过对人201和人202的图像部分进行像素化而生成的 图像。通过从所获取图像检测人201和人202，然后对人201和人202的部分进行像素化来 生成图像302。 近年来，在因特网上的称为博客(blog)的日记发布已经激增，并且照片越来越倾 向于出现在这样的博客中。但是，当在因特网上发布照片时，可能有不确定数目的人观看这 些照片。因此，博主(blogger)可能想要呈现其自己的脸，但是不想呈现包含其旅行目的地
29处的建筑物或其它物体的风景照片。或者，博主可能不想呈现他或她自己的脸，而想要呈现 包含其旅行目的地处的建筑物或其它物体的风景照片。 图23所示的图像301是针对前者的图像。换而言之，图像301是在用户想要呈现 人而不想呈现建筑物或其它背景图像部分时生成的图像，并且是通过对用户不想呈现的那 些背景图像部分进行像素化而生成的。图24所示的图像302是针对后者的图像。换而言 之，图像302是在用户不想呈现人而想呈现建筑物或其它背景图像部分时生成的图像，并 且是通过对用户不想呈现的那些人进行像素化而生成的。虽然这里描述的示例针对的是人 体作为目标对象的情况，但是例如在以车辆或其它物体作为目标对象的情况下也可以应用 像素化处理。 图25图示了执行这样的像素化处理的图像处理装置的示例性配置。图25所示的 图像处理装置330包括图像获取器231、所获取图像存储单元234、甄别装置13、识别器记 录单元12、图像去除器235、参数存储单元236、像素化处理器331以及所需图像存储单元 238。具有像上述那样的配置的图像处理装置330被包括在诸如数字静态相机或数字摄像 机之类的设备中。 在图25所示的图像处理装置330中，与图19所示的图像处理装置230相似的功 能被赋予相同标号，并且适当时省略对其的进一步描述。图25所示的图像处理装置330使 用图像获取器231获得所获取图像，将所获取图像临时存储在所获取图像存储单元234中， 然后使用甄别装置13对所存储的所获取图像执行甄别处理。 类似于先前描述的，甄别装置13使用存储在识别器记录单元12中的识别器来甄 别(即，检测)诸如人体之类的目标对象，然后将检测结果和所获取图像提供给图像去除器 235。类似于先前描述的，图像去除器235判断所获取图像是否存在经历存储在参数存储单 元236中的参数的部分，如果存在，则将那些图像部分设置为供去除。像素化处理器331对 由图像去除器235设置为供去除的图像部分进行像素化，并生成所需图像。以这种方式生 成的所需图像被提供给并存储在所需图像存储单元238中。 现在将参考图26所示的流程图更详细地描述图像处理装置330的操作。在步骤 S311中，所获取图像由图像获取器231获得并被存储在所获取图像存储单元234中。在步 骤S312中，甄别装置13从存储在所获取图像存储单元234中的所获取图像检测诸如人体 之类的目标对象。这里，目标对象将继续被描述为人体。步骤S311和S312中的处理基本 类似于图20所示的流程图中的步骤S212和S213，因而省略对其的详细描述。
在步骤S313中，图像去除器235判断在所获取图像中是否出现不想要的图像部 分。不想要的图像部分在这里指的是存储在参数存储单元236中的参数所适用于的图像部 分。在本实施例中，存储在参数存储单元236中的参数如下所示。如果所需图像被取为图 23所示的图像301，则参数规定将去除除人体之外的图像部分。如果所需图像被取为图24 所示的图像302，则参数规定将去除人体的图像部分。除了以上参数之外，还可以设置参数 以使得将去除的人体图像部分还额外满足或不能满足先前描述的参数1至3。
如果在步骤S313中判定在所获取图像中出现不想要的图像部分，则处理前进到 步骤S314。在步骤S314中，图像去除器235将经历参数的图像(即，包含这样的图像的区 域)设置为要去除的图像。该设置信息和所获取图像被提供给像素化处理器331。在步骤 S315中，像素化处理器331参考所提供的设置信息，并对被设置为供去除的图像(即，包含这样的图像的区域)进行像素化。通过在被设置为供去除的图像部分中对所获取图像进行 像素化，像素化处理器331生成所需图像。 在步骤S316中，这样生成的所需图像被提供给所需图像存储单元238。与此同时， 如果在步骤S313中判定在所获取图像中没有出现不想要的图像部分(S卩，如果判定所获取 图像即是所需图像)，则处理前进到步骤S316，并且所获取图像被存储在所需图像存储单 元238中作为所需图像。 以这种方式，可以通过检测目标对象然后对那些目标对象或者除了目标对象之外 的部分进行像素化，使相机操作者能够获得其所需图像。结果，可以对希望保护其隐私的人 进行像素化，或者对背景图像部分进行像素化以保护与周围环境有关的隐私。此外，可以执 行这样的像素化处理，而无需麻烦相机操作者(即，用户)。 于是，在本发明的实施例中，可以通过检测诸如人体之类的目标对象对所获取图
像应用各种处理。另外，可以在降低运算复杂度的情况下精确地执行这样的人体检测。为
此，可以将本发明的实施例包括在诸如数字静态相机之类的紧凑设备中。 可以通过硬件或软件执行前述处理序列。在通过软件执行这些处理序列的情况
下，构成这样的软件的程序可被安装在内置于专用硬件的计算机上。可替代地，程序可被从
程序记录介质安装到通过在其上安装各种程序而能够执行各种功能的通用计算机(例如，
个人计算机)上。 图27是图示出通过程序执行前述处理序列的计算机的示例性硬件配置的框图。
在计算机中，CPU (中央处理单元)501 、R0M (只读存储器)502和RAM (随机访问存 储器)503通过总线504相互连接。 总线504还连接到输入/输出接口 505。输入/输出接口 505连接到由诸如键盘、 鼠标、麦克风之类的组件构成的输入单元506 ;由诸如显示器和一个或多个扬声器之类的 组件构成的输出单元507 ;由诸如硬盘或非易失性存储器之类的组件构成的记录单元508 ; 由诸如网络接口之类的组件构成的通信单元509;以及驱动诸如光盘、磁光盘或半导体存 储器之类的可移动介质511的驱动器510。 在如上所述地配置的计算机中，CPU 501例如可以通过经由输入/输出接口 505 和总线504将程序加载到RAM 503中来执行记录在记录单元508中的程序。通过这样的处 理，执行前述处理序列。 由计算机(即，CPU 501)执行的程序可被记录到可移动介质511上，可移动介质 511是由磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)和DVD(数字多功能 盘))、磁光盘、或者半导体存储器实现的封装式介质。可替代地，可经由诸如局域网、因特 网、或者数字卫星广播之类的有线或无线传输介质来提供程序。 可通过将可移动介质511加载到驱动器510、经由输入/输出接口 505来将程序安 装在记录单元508中。可替代地，可经由有线或无线传输介质由通信单元509接收程序，然 后将程序安装在记录单元508中。除了上述方式之外，可预先将程序安装在ROM 502或记 录单元508中。 还应当了解，由计算机执行的程序可以是遵循本说明书描述的顺序以时间序列执
行处理的程序，或者是并行或以适当定时(例如，在被调用时)执行处理的程序。 本申请包含与2008年IO月3日向日本专利局提交的日本优先专利申请JP
312008-258011以及2009年3月9日向日本专利局提交的日本优先专利申请JP 2009-055061 所公开的主题相关的主题，这些申请的全部内容通过引用结合于此。 本领域技术人员应当了解，在所附权利要求或其等同物的范围内，可以依据设计 要求和其它因素进行各种修改、组合、子组合和变更。
权利要求
一种图像处理装置，包括检测装置，被配置为从第一图像检测目标对象图像区域；设置装置，被配置为使得当一个或多个预定参数适用于由所述检测装置检测到的区域中的目标对象时，将相关目标对象图像区域设置为第一区域；以及生成装置，被配置为通过对所述第一区域内的图像部分或者第二区域内的图像部分应用预定处理来生成第二图像，其中，所述第二区域包含所述第一图像内的不包含在所述第一区域中的图像部分。
2. 根据权利要求1所述的图像处理装置，其中，所述检测装置包括 生成单元，被配置为从所述第一图像生成具有不同比例系数的图像， 提取单元，被配置为从由所述生成单元生成的每一个图像中提取特征点， 计算单元，被配置为通过使用预定滤波器对所述特征点进行滤波来计算所述特征点的特征值，以及检测单元，被配置为通过将所述特征值代入通过统计学习获得的且用于从图像检测目 标对象的识别器，来从所述第一图像检测所述目标对象。
3. 根据权利要求1或2所述的图像处理装置，其中，所述一个或多个预定参数包括作出 以下规定的参数如果在一区域中检测出所述目标对象是人但是未检测到脸部，则该区域 将被设置为所述第一区域。
4. 根据权利要求1至3的任意一项所述的图像处理装置，其中，所述一个或多个预定参 数包括作出以下规定的参数如果在一区域中检测出的目标对象不是所登记的目标对象， 则该区域将被设置为所述第一区域。
5. 根据权利要求1至4的任意一项所述的图像处理装置，其中，所述一个或多个预定参 数包括作出以下规定的参数如果在一区域中检测出的目标对象是人，但是确定该人没有 在微笑，则该区域将被设置为所述第一区域。
6. 根据权利要求1至5的任意一项所述的图像处理装置，其中，所述生成装置通过对所 述第一区域与预先获得的另一图像进行合成来生成所述第二图像。
7. 根据权利要求1至5的任意一项所述的图像处理装置，其中，所述生成装置通过利用 预先获得的图像部分来取代所述第二区域中的图像部分，然后对所取代的图像部分与所述 第一区域内的图像部分进行合成来生成所述第二图像。
8. 根据权利要求1至5的任意一项所述的图像处理装置，其中，所述生成装置通过对所 述第一区域进行像素化来生成所述第二图像。
9. 根据权利要求1至5的任意一项所述的图像处理装置，其中，所述生成装置通过对所 述第二区域进行像素化来生成所述第二图像。
10. —种在图像处理装置中执行的图像处理方法，所述图像处理装置设有检测装置、设 置装置和生成装置，所述方法包括以下步骤使得所述检测装置从第一图像检测目标对象图像区域；使得所述设置装置进行操作以使得当一个或多个预定参数适用于所检测到的区域中 的目标对象时，将相关目标对象图像区域设置为第一区域；以及使得所述生成装置通过对所述第一区域内的图像部分或者第二区域内的图像部分应 用预定处理来生成第二图像，其中，所述第二区域包含所述第一图像内的不包含在所述第一区域中的图像部分。
11. 一种程序，使得计算机执行图像处理装置中的处理，所述图像处理装置设有检测装 置、设置装置和生成装置，所述处理包括以下步骤使得所述检测装置从第一图像检测目标对象图像区域；使得所述设置装置进行操作以使得当一个或多个预定参数适用于所检测到的区域中 的目标对象时，将相关目标对象图像区域设置为第一区域；以及使得所述生成装置通过对所述第一区域内的图像部分或者第二区域内的图像部分应 用预定处理来生成第二图像，其中，所述第二区域包含所述第一图像内的不包含在所述第 一区域中的图像部分。
12. —种记录介质，包括记录在其上的根据权利要求11所述的程序。
13. —种图像处理装置，包括检测器，被配置为从第一图像检测目标对象图像区域；设置单元，被配置为使得当一个或多个预定参数适用于由所述检测器检测到的区域中 的目标对象时，将相关目标对象图像区域设置为第一区域；以及图像生成器，被配置为通过对所述第一区域内的图像部分或者第二区域内的图像部分 应用预定处理来生成第二图像，其中，所述第二区域包含所述第一图像内的不包含在所述 第一区域中的图像部分。
全文摘要
本发明提供了图像处理装置、图像处理方法、程序及记录介质。图像处理装置包括检测器、设置单元和图像生成器。检测器从第一图像检测目标对象图像区域。当一个或多个预定参数适用于由检测器检测到的区域中的目标对象时，设置单元将相关目标对象图像区域设置为第一区域。图像生成器随后通过对第一区域内的图像部分或者第二区域内的图像部分应用预定处理来生成第二图像，其中，第二区域包含在第一图像内且不包含在第一区域中的图像部分。
文档编号G06K9/00GK101714209SQ20091017940
公开日2010年5月26日 申请日期2009年10月9日 优先权日2008年10月3日
发明者横野顺, 长谷川雄一 申请人:索尼株式会社