图像处理装置、计算机可读存储介质以及图像处理方法与流程

本发明总体涉及图像处理装置、计算机可读存储介质以及图像处理方法，尤其涉及遮挡拍摄图像中的预定被摄体的技术。

背景技术：

近年来，监视照相机已经变得被广泛安装。使用这样的监视照相机的系统通过使得图像中的各个拍摄人物的移动能够被指定而在犯罪防范、市场分析以及用于改善服务方面是有用的。另一方面，在这样的系统中，重要的是保护图像中的拍摄人物的隐私。日本特开2016-115214号公报公开了一种将已经被剪影化(silhouette)(遮挡)的前景图像叠加在背景图像上的方法。日本特开2015-222881号公报还公开了一种提取人物区域、叠加与人物区域的特征对应的掩模图像(maskimage)并且显示叠加的图像的方法。

在日本特开2016-115214号公报中，虽然当要提取前景图像时使用背景差分法，但是会受到隐私保护目标人物(在下文中被称为“目标人物”)的阴影的影响。例如，如果目标人物被聚光灯照亮并形成阴影，则阴影也以与目标人物相同的方式被提取为前景。因此，甚至阴影被剪影化，难以辨别图像中的剪影是人物的剪影还是阴影。以相同的方式，在日本特开2015-222881号公报中，可以在阴影区域上叠加并显示掩模图像。由人物保持的物体也会以与阴影类似的方式被剪影化。此外，即使在遮挡目标不是人物的情况下，也可以以类似的方式将除目标以外的物体或阴影剪影化。

技术实现要素：

本发明提供一种能够生成拍摄图像的适当区域被遮挡的图像的技术。

根据本发明的一个方面，提供了一种图像处理装置，所述图像处理装置包括：指定部，其用于在通过摄像获得的输入图像中的包括前景物体的前景区域中指定，包括预定目标物体的第一区域；以及输出部，其用于输出通过在不使前景区域中的不包括所述预定目标物体的第二区域的至少一部分抽象化的情况下使第一区域抽象化而生成的输出图像。

根据本发明的另一方面，提供了一种图像处理装置的图像处理方法，所述图像处理方法包括：在通过摄像获得的输入图像中的包括前景物体的前景区域中，指定包括预定目标物体的第一区域；以及输出通过在不使前景区域中的不包括所述预定目标物体的第二区域的至少一部分抽象化的情况下使第一区域抽象化而生成的输出图像。

通过以下(参照附图)对示例性实施例的描述，本发明的其他的特征将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的实施例，并且与描述一起用来解释本发明的原理。

图1是示出图像处理装置的布置的示例的框图；

图2是示出图像处理装置的第一功能布置的示例的框图；

图3是示出要由图像处理装置执行的处理的过程的示例的流程图；

图4是示出图像处理装置的第二功能布置的示例的框图；

图5是示出当照相机被斜线地安装时的摄像的状态的示意图；

图6是示出在图5中所示的状态下拍摄的图像的示例的图；

图7是示出图像处理装置的第三功能布置的示例的框图；

图8是示出比率映射的示例的图；

图9是示出图像处理装置的第四功能布置的示例的框图；以及

图10是示出图像处理装置的第五功能布置的示例的框图。

具体实施方式

现在将参照附图来详细描述本发明的示例性实施例。应当注意，除非另有具体声明，否则这些实施例中阐述的部件的相对布置、数值表达式和数值不限制本发明的范围。

(硬件布置)

图1示出了根据本实施例的图像处理装置101的硬件布置的示例。在一个示例中，图像处理装置101是通用计算机，并且其硬件布置包括例如存储单元102、控制单元103、功能单元104、输入单元105、输出单元106和接口(i/f)107。注意，图像处理装置101可以由实现稍后描述的功能的专用硬件来实现。

存储单元102由rom和ram中的二者或一者形成，并且存储用于执行各种操作(稍后描述)的程序以及诸如要在各种处理中使用的参数等的各种信息。这里，rom是只读存储器的首字母缩写，ram是随机存取存储器的首字母缩写。注意，除诸如rom、ram等的存储器以外，可以使用诸如软盘、硬盘、光盘、磁光盘、cd-rom、cd-r、磁带、非易失性存储器卡或dvd等的存储介质作为存储单元102。存储单元102也可以由多个存储器等形成。

控制单元103由cpu或mpu形成，并且通过执行存储在存储单元102中的程序来控制整个图像处理装置101。注意，控制单元103可以与存储在存储单元102中的os和程序协作地控制整个图像处理装置101。这里，cpu是中央处理单元的首字母缩写，mpu是微处理单元的首字母缩写，os是操作系统的首字母缩写。控制单元103可以由诸如多核处理器等的多个处理器形成。作为控制单元103，可以使用fpga(现场可编程门阵列)、dsp(数字信号处理器)、asic(专用集成电路)等。控制单元103还可以控制功能单元104执行诸如摄像等的预定处理。

功能单元104是用于图像处理装置101执行预定处理的硬件。例如，在图像处理装置101包括诸如监视照相机等的照相机的情况下，功能单元104是摄像单元并且执行摄像处理。输入单元105接受来自用户的各种操作。输出单元106向用户进行各种输出。这里，输出单元106的输出包括视觉输出、音频输出、振动输出等中的至少一者。注意，虽然输出单元106可以通过使用包括在图像处理装置101中的设备来向用户呈现信息，但是可以使外部设备(例如，显示设备或扬声器)呈现信息。注意，输入单元105和输出单元106可以通过诸如触摸面板等的单个模块被一起实现。

i/f107是诸如到外部设备的通信接口等的接口。例如，图像处理装置101通过i/f107从外部监视照相机获得图像数据。i/f107可以是例如有线或无线通信接口。另外，i/f107可以是usb(通用串行总线)接口等。

在下文中将描述包括上述布置的图像处理装置101的功能布置的示例以及要由图像处理装置101执行的处理过程的几个示例。下面要描述的图像处理装置101在拍摄的输入图像的前景区域中指定包括人物的第一区域。然后，在使第一区域抽象化(例如，使第一区域剪影化)的同时，图像处理装置101输出前景区域中的不包括人物的第二区域的输出图像，而不使该图像的至少一部分剪影化。结果，能够防止阴影区域的至少一部分被剪影化。注意，根据下面要描述的图像处理装置101，虽然阴影的一部分可以被剪影化为人物的一部分，但是即使在这样的情况下，由于要剪影化的阴影区域减少，因此也能够防止该区域被过度地剪影化。

虽然在下文中将描述将人物设置为要剪影化的目标物体的情况，但是目标物体不必须是人物。例如，可以将所有前景物体设置为要剪影化的目标。在这种情况下，基于各个物体的特征指定非阴影物体区域。

<第一实施例>

在本实施例中，将通过摄像获得的输入图像与当在输入图像的摄像范围中不存在人物时获得的背景图像进行比较，并且指定图像中的存在前景物体的前景区域。另外，在前景区域中指定包括人物的第一区域，并且将作为前景区域中的第一区域外部的区域的第二区域去除作为抽象化目标(匿名化目标)。这使得人物区域能够被遮挡同时抑制阴影区域的遮挡，并且防止许多区域被不必要地遮挡的状态。注意，在第一区域的指定中，指定基于人物(头部等)的特征已被确定为包括人物的第三区域(人体框架)，并且将可以由第三区域和前景区域获得的区域指定为第一区域。结果，能够防止海报中的人物被错误地包括在第一区域中。另外，在第三区域的指定中，例如，基于头部的特征来指定包括头部区域的第四区域(头部区域)，并且将通过基于头部的大小与整个人体的大小之间的比率的信息扩展第四区域而获得的区域指定为第三区域。根据本实施例，可以通过传统技术基于头部区域的指定容易地确定人体框架。

(功能布置)

图2是示出根据本实施例的图像处理装置101的功能布置的示例的框图。图像处理装置101包括例如图像获得单元201、背景图像获得单元202、前景提取单元203、头部检测单元204、人体比率获得单元205、人体框架生成单元206、阴影去除单元207、遮挡图像生成单元208和合成单元209，作为其功能单元。注意，人体比率获得单元205包括例如体形信息获得单元210。

图像获得单元201获得通过例如监视照相机通过拍摄监视目标区域而获得的图像数据。该图像数据在下文中将被称为“输入图像”。

背景图像获得单元202获得在与由图像获得单元201获得的图像相同的摄像区域中不存在诸如人物等的前景物体的状态的背景图像。背景图像可以是在不存在前景物体的状态下拍摄的图像或者是由多个图像基于图像处理或学习而生成的图像。例如，可以预先准备背景图像作为在启动监视系统之前拍摄的图像。此外，系统管理员可以指定将不存在前景物体的定时，并且可以将在该定时拍摄的图像设置为背景图像。可以与时间段对应地准备多个背景图像，使得要使用的背景图像将根据背景物体上的入射光等随着时间流逝而改变。也可以通过例如使用不随时间流逝而改变的物体作为背景物体来由多个图像生成背景图像。在这种情况下，例如，可以通过计算多个图像的平均值(例如，通过图像越接近当前时间或预定时间越增加添加到图像的权重而获得的加权平均值)来获得背景图像。还可以基于日本特开2016-115214号公报中公开的方法来依次更新背景图像。另外，例如，可以进行用于通过使用多个图像生成背景图像的机器学习，并且可以通过将由图像获得单元201获得的各个图像输入到通过学习获取的函数来生成背景图像。此外，可以进行用于确定输入图像是否是背景图像的机器学习，并且可以通过将由图像获得单元201获得的各个图像输入到通过学习获取的函数来确定图像是否是背景图像。在这种情况下，背景图像获得单元202可以获得输入到函数的图像当中的被确定为是背景图像的图像。

前景提取单元203通过将由图像获得单元201获得的输入图像与由背景图像获得单元202获得的背景图像进行比较来提取前景区域。前景提取单元203可以生成例如将前景区域设置为“1”并且将背景图像设置为“0”的掩模图像。为了生成这样的掩模图像，前景提取单元203可以使用例如背景差分法来：针对各个像素，在背景图像与输入图像之间的差分值等于或大于阈值的情况下设置“1”以表示前景，并且在该差分值小于阈值的情况下设置“0”以表示背景。注意，掩模图像不必须是二值图像。例如，可以将与背景图像与输入图像之间的差分值对应的各个值设置为掩模图像。前景提取单元203可以不仅通过背景差分法还通过其他方法来指定前景区域。例如，前景提取单元可以使用机器学习来指定输入图像的前景区域。前景提取单元203可以仅保持指定前景区域的信息而不生成掩模图像。

头部检测单元204确定在从图像获得单元201获得的输入图像中是否包括人物头部，并且当包括头部时，获得头部在图像中的位置和大小(包括头部的区域的竖直尺寸和水平尺寸)。注意，在一个示例中，可以将距人体(诸如手或腿等)最远的头部的顶部的位置指定为头部的位置，或者可以将被检测为头部的区域的中心指定为头部的位置。可以通过使用已知的图像处理技术来实现人物头部检测处理。例如，头部检测单元204可以通过使用人物头部的特征(例如，面部、面部部位以及诸如帽子、发饰等的与头部相关的物体的特征)通过执行图案匹配来检测人物头部。注意，在遮挡目标不是人物的情况下，可以通过使用遮挡目标物体的特征或与遮挡目标物体相关的物体的特征来进行类似类型的检测处理。头部检测单元204还可以通过例如将输入图像输入到通过用于指定人物的面部区域的机器学习而获得的函数来指定头部区域。头部检测单元204还可以检测由前景提取单元203提取的前景区域中的头部区域。也就是说，例如，即使在背景中包括人物的情况下，诸如在装饰有人物的照片的情况等下，也可以设置使得头部检测单元204将不检测背景中的人物，而是将检测仅来自前景区域的头部(人物)。

人体比率获得单元205基于由头部检测单元204检测到的图像上的头部的大小以及由体形信息获得单元210获得的身高和身宽的信息，获得图像中的头部部分的大小与整个人体的大小之间的比率。体形信息获得单元210可以获得例如头部的大小与包括头部的人体的大小之间的比率的统计或经验信息。例如，在该比率为1：7的情况下，人体比率获得单元205将该比率的信息输出到人体框架生成单元206。注意，由于通常已知该比率根据年龄而改变，因此体形信息获得单元210可以针对各个年龄获得该比率的信息。在这种情况下，头部检测单元204可以通过使用在头部检测期间被用作参照的面部模型来估计年龄，并且将该估计结果输出到人体比率获得单元205。人体比率获得单元205随后可以输出与该年龄估计对应的人体比率。注意，人体比率获得单元205还可以通过例如将输入图像或头部区域的大小的信息输入到通过机器学习获得的函数来指定人体比率。

基于从头部检测单元204获得的头部的位置的坐标和头部区域的大小以及从人体比率获得单元205获得的人体比率，人体框架生成单元206生成限定相对于头部作为基准将头部区域在脚部方向上扩展的范围的框架，作为人体框架。也就是说，基于人体比率(该人体比率是相对于由头部检测单元204检测到的头部区域作为基准)，人体框架生成单元206指定包括伴随头部的躯干和手脚部分的区域，并且生成与所指定的区域对应的人体框架。

在由前景提取单元203提取的前景区域中，阴影去除单元207从遮挡目标中排除由人体框架生成单元206生成的人体框架的外部的区域。例如，在由前景提取单元203生成的掩模图像中，阴影去除单元207更新存在于人体框架外部的区域中的并且保持表示前景的设置值“1”的各个像素，使得设置值将为“0”。这将从掩模图像中的遮挡目标中去除人体框架外部的区域，这是因为前景区域中的除人体框架以外的区域的值将被改变为表示背景的值。也就是说，虽然由于根据头部与人体之间的比率指定人体框架而因此会由前景提取单元203将伴随人物的阴影提取为前景，但是阴影(的至少一部分)将不被包括为遮挡目标。此外，阴影去除单元207可以校正由前景提取单元203管理的表示前景区域的信息，使得将从前景中去除不是人体框架的区域。也就是说，不需要使用掩模图像。

在已经由阴影去除单元207去除了阴影部分的掩模图像中，遮挡图像生成单元208通过用任意rgb值填充区域或者向区域添加纹理，来生成表示前景的设置有值“1”的区域的剪影图像。注意，可以通过使用其他方法对该区域进行掩模来生成剪影图像。例如，可以使用通过对前景进行马赛克处理而获得的马赛克图像，通过对前景进行模糊处理而获得的模糊图像，或者，在要将剪影图像与通过去除前景而获得的背景图像合成的情况下，可以使用通过提取前景的轮廓而获得的轮廓图像。遮挡图像生成单元208还可以基于表示通过不是掩模图像的信息去除了阴影区域的前景区域的信息来生成剪影图像。

合成单元209通过将由遮挡图像生成单元208生成的剪影图像与由背景图像获得单元202通过执行α混合获得的背景图像进行合成，来生成并输出合成图像。注意，当执行α混合时，通过使用与透射率对应的α(0.0≤α≤1.0)来计算各个像素的rgb值。

在本实施例中，虽然合成单元209将使背景图像和剪影图像混合，但是它可以使输入图像和剪影图像混合。也就是说，合成单元可以在包括除人物(遮挡目标)以外的前景物体的图像中生成遮挡目标已被遮挡的图像。

注意，上述的布置仅仅是示例，并且不必须包括所有的这些功能单元。例如，在可以通过机器学习指定包括头部的人物区域的情况下，可以省略头部检测单元204、人体比率获得单元205和人体框架生成单元206，并且代替地可以布置单个人物区域指定单元。

(处理过程)

接下来，将参照图3描述要由图像处理装置101执行的处理过程的示例。图像处理装置101首先获得输入图像和背景图像(步骤s301和s302)。图像处理装置101随后通过例如使用输入图像和背景图像的背景差分法提取(步骤s303)前景区域，并且生成掩模图像。图像处理装置101确定在输入图像中是否包括头部，并且如果包括头部，则获得(步骤s304)头部在图像中的位置和大小。图像处理装置101确定相对于头部的图像上的人体比率(步骤s305)。然后，基于在步骤s304中获得的头部的位置的坐标和在步骤s305中确定的人体比率，图像处理装置101指定通过相对于头部作为基准将头部区域在脚部方向上扩展而获得的框架作为人体框架(步骤s306)。随后，图像处理装置101从在步骤s303中提取的前景区域中去除在步骤s306中指定的人体框架外部的区域(步骤s307)。图像处理装置101通过填充在步骤s307中去除了人体框架外部的区域的前景区域来生成剪影图像(步骤s308)，将剪影图像与在步骤s302中获得的背景图像进行合成，并且生成输出图像(步骤s309)。

如上所述，根据本实施例，由于不使除人物区域以外的区域剪影化(即使该区域在前景区域中)，因此将不进行不必要的剪影化处理。虽然在如上所述的本实施例中描述了将人物设置为是遮挡目标的情况，但是本发明不限于此。相同的处理可应用于任何任意的遮挡目标。也就是说，在前景区域内的、包括遮挡目标物体本身和除阴影以外的伴随目标物体的物体的区域被设置为遮挡区域，并且进行控制以从遮挡目标中排除阴影区域。在这种情况下，虽然在指定包括遮挡目标物体和除阴影以外的目标物体的区域时要使用的基准数据等将改变，但是可以将上述的布置和方法直接应用于其他方面。

<第二实施例>

第二实施例将描述当人体比率依据由照相机拍摄的人物的位置而不恒定时用于指定人体框架的处理。例如，在监视照相机如图5中所示安装为面向斜下方的情况下，呈现的头部的大小与人体的大小的比率会根据人物在图像中的位置而改变。在如图5中所示的监视照相机的情况下，如果在图像的上部中拍摄了人物，也就是说，如果人物存在于监视照相机与人物之间在水平方向上的距离长的位置中，则头部相对于人体的比率将增加。另一方面，如果在图像的下部中(例如监视照相机正下方的位置)拍摄了人物，也就是说，如果人物存在于监视照相机与人物之间在水平方向上的距离短的位置中，则头部相对于人体的比率将减小。另外，在全方位照相机被安装在天花板上的情况下，由于人物出现在图像的中心附近的情况对应于监视照相机与人物之间的距离短的情况，因此头部相对于人体的比率减小，并且随着人物的位置在图像中进一步向外移动，比率增加。

与此相对，在本实施例中，通过基于照相机的内部参数和安装角度指定由照相机和目标人物形成的角度来校正头部相对于人体的比率。这使得当人体比率依据由照相机拍摄的人物的位置而不恒定时能够适当地指定人体框架。

图4示出了根据第二实施例的图像处理装置101的功能布置的示例。注意，相同的附图标记表示与图2中的部件相同的部件，并且将省略描述。根据本实施例的图像处理装置101包括照相机安装信息获得单元401和照相机内部参数获得单元402。除体形信息获得单元210以外，人体比率获得单元205还包括人体比率校正单元403。通过这些功能单元改变步骤s305的处理。

照相机安装信息获得单元401获得照相机相对于地面的安装角度的信息。照相机内部参数获得单元402获得诸如照相机的焦距、图像的中心、图像的大小、镜头的失真等的内部参数。通过使用已知的图像处理技术来获得这些内部参数。人体比率校正单元403使用图像中的人物的头部的坐标、照相机的安装角度以及照相机的内部参数来校正从体形信息获得单元210获得的人体比率。

例如，如图5中所示，假设h代表从体形信息获得单元210获得的竖直方向上的比率，θ代表当照相机被面向斜向下方向安装时由地面和图像的中心形成的角度，φ代表由表示图像中心的方向的线和将照相机的中心与人物的头部的位置连接的线形成的角度。在这种情况下，如图6中所示的由照相机拍摄的目标人物的人体的比率h'可以通过下式来计算：

h'＝h×cos(θ-φ)

也可以以相同的方式来计算水平方向上的人体比率。

如上所述，考虑到诸如被安装为面向斜向下方向的照相机等的照相机的安装状态，来指定人体比率。这可以防止生成过大的人体框架，并且可以防止诸如阴影等的不必要区域被剪影化的状态。

<第三实施例>

第二实施例描述了一种使得通过执行与照相机安装状态对应的计算能够指定人体和人体框架的适当比率的方法。第三实施例将描述一种能够容易地校正人体比率的方法。图7示出了根据本实施例的图像处理装置101的功能布置的示例。注意，相同的附图标记表示与图2中的部件相同的部件，因此将省略描述。根据本实施例的图像处理装置101包括比率映射获得单元701，并且人体比率获得单元205包括比率映射参照单元702。

比率映射获得单元701获得与由图像获得单元201获得的图像相同或类似的摄像区域的比率映射。如图8中所示，比率映射是将输入图像的各个块或各个像素的位置与人体比率的信息相关联的信息。图8的比率映射被定义为将块位置与人体比率相关联的信息，并且分配给各个块的数值分别表示水平比率和竖直比率。注意，在图8中所示的比率映射中，下部区域对应于在水平方向上距照相机的距离短的位置，并且上部区域对应于在水平方向上距照相机的距离长的位置。如图8中所示，在水平方向上距照相机的距离越长，则竖直比率的值越大。注意，图8的比率映射示出了限定各个块的比率信息的情况。然而，本发明不限于此，并且可以以任意像素为基础或者针对各个任意形状区域来限定比率信息。例如，可以针对相对于照相机的水平位置作为基准由同心圆或同心弧大致划分的各个区域来限定比率信息。例如，可以手动创建比率映射。例如，对拍摄了包括人物的状态的图像进行头部检测处理以获得头部区域的大小和位置，并且通过ui等利用矩形指定图像内的人体区域以获得人体区域的大小和位置。随后，将头部的位置与人体区域的位置相关联，根据头部区域的大小和人体的大小来指定人体比率，并且将所指定的信息写入在比率映射的与人物在图像上出现的位置对应的块中。通过重复进行该操作直到所有的块被填充，来创建比率映射。

比率映射参照单元702具有参照由比率映射获得单元701获得的比率映射的功能。人体比率获得单元205根据由头部检测单元204检测到的头部的位置来指定人体比率。例如，在图8中所示的示例中，当相对于头部区域801的位置参照比率映射时，与该位置相关联的水平比率和竖直比率分别是2.0和2.5。以相同的方式，当相对于头部区域802的位置参照比率映射时，与该位置相关联的水平比率和竖直比率分别是2.0和1.5。人体比率获得单元205将这些指定的比率输出到人体框架生成单元206。人体框架生成单元206根据获得的值来扩展由头部检测单元204指定为头部区域的各个区域。例如，人体框架生成单元206通过相对于头部的顶部作为中心将头部区域801水平扩展2.0倍并且在与头部的顶部相反的方向(即，人体的方向)上将头部区域801竖直扩展2.5倍，来生成人体框架803。以相同的方式，人体框架生成单元206通过相对于头部的顶部作为中心将头部区域802水平扩展2.0倍并且在与头部的顶部相反的方向(即，人体的方向)上将头部区域802竖直扩展1.5倍，来生成人体框架804。注意，当在竖直方向上扩展区域时，人体框架生成单元206不需要在与头部的顶部相反的方向上扩展区域，并且例如，在人物正如图8的示例中站立并且人物的脚部正面向拍摄图像的下方向的情况下，可以在脚部所面向的方向上扩展区域。

根据本实施例，可以指定人体框架，而不必须基于诸如照相机的设置值等的信息进行计算。另外，对比率映射进行的指定中，例如，用户可以通过基于拍摄图像手动地指定人体框架来容易地创建人体框架。由于在这种方式下不需要使用诸如照相机的设置值等的信息，因此即使对照相机设置不熟悉的用户也可以容易地准备比率映射并应用上述的方法。

注意，例如，可以为人物的各个估计年龄准备比率映射。这将使得能够将适合于各个估计区域的区域指定为人体框架，并且因而防止许多区域被不必要地分配为人体框架的状态或拍摄图像的人体部分没有适配在人体框架内的状态。

<第四实施例>

第二实施例和第三实施例描述了根据拍摄图像中的人物的位置来生成人体框架的示例。在第四实施例中，通过三维地抓握(grasp)存在人物的区域并且将三维区域投影到属于与由图像获得单元201获得的图像相同的摄像范围的二维区域来生成人体框架。图9示出了根据本实施例的图像处理装置101的功能布置的示例。注意，相同的附图标记表示与图2中的部件相同的部件，并且将省略描述。在根据本实施例的图像处理装置101中，省略了头部检测单元204、人体比率获得单元205和人体框架生成单元206，并且与此相对，包括有距离获得单元901、三维人体位置获得单元902、三维人体框架生成单元903和二维人体框架生成单元904。

距离获得单元901获得与由图像获得单元201获得的图像相同的摄像范围的距离图像。可以基于由多个照相机拍摄的多个图像来生成距离图像，或者可以通过诸如tof(飞行时间)方法等的其他方法来生成距离图像。注意，可以安装用于拍摄要由图像获得单元201获得的图像的照相机或用于距离图像生成的照相机，使得其视线方向相对于地面将是水平的。然而，在如在第二实施例中描述的情况中视线方向相对于地面不是水平的情况下，可以例如通过使用三维刚体变换矩阵来获得距离图像。

三维人体位置获得单元902通过对由图像获得单元201获得的输入图像使用图像处理而指定二维人体位置并且将所指定的二维人体位置与由距离获得单元901获得的距离数据相关联，来获得三维空间中的人体的位置。例如，以与由上述的头部检测单元204进行的方式相同的方式来指定二维人体位置，并且使用所指定的二维人体位置和由距离获得单元901获得的距离数据位置来获得目标人物的头部的三维位置。

三维人体框架生成单元903获得由三维人体位置获得单元902获得的三维空间中的人体位置，并且估计人体存在的三维区域。例如，生成相对于头部作为中心具有50cm的半径并且长度至地面(即，身体的高度)的圆柱形三维人体框架。

二维人体框架生成单元904通过将由三维人体框架生成单元903生成的三维人体框架重新投影到由图像获得单元201拍摄的图像的摄像区域中的二维区域上，来生成二维人体框架。

以这种方式，可以通过三维地指定人体区域并将三维人体区域映射到与输入图像相同的摄像区域上来精确地指定人体框架。结果，能够防止许多区域被不必要地分配为人体框架的状态或拍摄图像的人体部分没有适配在人体框架内的状态。另外，例如，即使因为在由图像获得单元201获得的输入图像中仅拍摄了身体部分而所以在上述的实施例中未检测到头部的情况下，也可以通过三维地识别并将人物投影到输入图像来适当地确定人体框架。此外，通过三维地指定人体区域，能够降低海报等将被指定为人物的概率，并且能够在前景区域中直接发现人体框架。

注意，用于获得人体的位置的照相机可以是与用于拍摄要由图像获得单元201获得的输入图像的照相机相同的照相机，或者可以是分开的照相机。也就是说，只要能够指定人体的三维位置，就能够在与由图像获得单元201获得的输入图像相同的摄像范围中指定人体的摄像区域。因此，不需要通过用于拍摄输入图像的照相机获得人体的位置。

<第五实施例>

第五实施例将接受用于对在上述的实施例中作为阴影区域并且未被剪影化的区域的一部分进行剪影化处理的用户设置。根据本实施例的图像处理装置101包括如图10中所示的非阴影去除区域设置单元1001。非阴影去除区域设置单元1001执行设置处理，以使由于被识别为前景区域内的阴影而从剪影化处理目标区域排除的区域被保留为剪影化处理目标区域。例如，非阴影去除区域设置单元执行设置处理，以在未检测到头部的情况下使人体部分剪影化。非阴影去除区域设置单元1001经由ui从用户接受将不进行阴影去除的区域的指定。随后，阴影去除单元207从由前景提取单元203指定的前景区域中的剪影化处理目标中去除除人体框架和由非阴影去除区域设置单元1001设置的非阴影去除区域以外的各个区域。

结果，即使在由于例如未检测到头部而没有将应当剪影化的区域检测为人体框架的情况下，也能够防止该区域从剪影化处理目标中被排除。

根据上述的各个实施例，执行处理使得，使在包括拍摄图像中的前景物体的区域中的、包括诸如人物等的预定目标物体的区域剪影化，并且不使诸如阴影区域等的不是预定目标区域的区域的至少一部分剪影化。也就是说，由于上述的人体框架是包括人物的区域，因此使作为人体框架的并且被指定为前景区域的区域剪影化，并且不使除人体框架以外的区域剪影化(即使它是前景区域)。注意，如上面在一个示例中所述的，由于人体框架被指定为矩形区域，因此在一些情况下阴影的一部分可以被剪影化。然而，由于将被剪影化的阴影的部分减少，因此变得能够容易地确定剪影是否是人物的剪影。

注意，在上述的实施例中的各个中，指定包括作为人物的一部分的头部或与该部分相关的物体(例如，帽子)的特征的区域，并且通过基于人体比率等扩展该指定的区域来指定人体区域。然而，本发明不限于此。例如，可以一次指定包括诸如人物等的整个遮挡目标物体的区域。例如，可以通过机器学习生成用于一次检测还包括躯干部分的人体区域的指定函数，并且可以通过将上述的输入图像输入到该函数来一次指定人体区域。注意，已知的任意算法可以用于机器学习。

上述的实施例中的各个描述了一种通过使前景区域内的包括诸如人物等的预定目标物体的区域抽象化来生成遮挡图像的方法。该方法可以用于发现前景区域或突出显示前景区域。也就是说，该方法可以用于通过框架围绕上述的抽象化目标区域并显示该区域等。虽然如果在这些应用中简单地突出显示前景区域则阴影区域也将被突出显示，但是由于以与包括预定物体的区域的方式不同的方式来处理阴影区域，因此阴影区域通过根据实施例的方法不被突出显示。注意，上述的实施例可以应用于要被设置为抽象化或匿名化的目标的诸如人物、面部、汽车、动物等的各种物体。

虽然在上述的实施例中的各个中描述了图像处理装置101，但是上述的实施例不必须由单个装置来实现。也就是说，上述的实施例中的各个可以由其中由一个或更多个装置共享并执行上述的处理操作的系统形成。在一个示例中，该系统可以由主计算机、接口设备、摄像装置、web应用等形成。

其他实施例

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)^tm)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以便涵盖所有这些变型例以及等同的结构和功能。