图像处理设备、方法、程序、摄像机设备、通信系统的制作方法

专利名称：图像处理设备、方法、程序、摄像机设备、通信系统的制作方法
技术领域：
本申请涉及具有从拍摄的图像中检测脸部的功能并且可应用于使用图像的通信的图像处理设备、摄像机设备、通信系统、图像处理方法和程序。
背景技术：
包括从成像元件(成像传感器)拍摄的图像中检测对象的脸部的脸部检测器的摄像机设备已经进入实际使用。
对于使用图像的通信，诸如电视(下文中称为TV)电话、TV会议系统、视频邮件以及视频聊天的各种形式的应用已经进入实际使用。
这些应用的每个被配置使得对象的脸部及其背景被拍摄并且所拍摄的图像被发送到通信对方。
在曰本专利No.3838506 (下文中称为专利文件1)中，已经提出了用于经由公共网络在多个点之间交换视频数据的通信系统等。该通信系统具有存在于多个点的有限数量的通信设备、以及在有限数量的通信设备之间转发视频数据的交换的通信控制设备。在此系统中，以封闭的方式在有限数量的通信设备之间交换视频数据。

发明内容
顺便提及，在TV电话、TV会议、视频聊天等中，如果成像对象是用户，则将通过捕获用户的脸部获得的图像数据在对该图像数据未做任何处理的情况下发送到通信对方，以便在通信对方的显示器上显示。
这样对不希望其脸部被通信对方观看的用户施加了精神压力，因为其隐私不能被保护。
另外，同样在这种设备用于房间内或者办公室而其用户不希望发送房间或办公室内样子的图像的情况下，出现的问题是，房间或办公室内的样子以及用户的姿态变得被通信对方所知，就隐私保护和保护办公室内的秘密方面而言这是错误的。在专利文件1公开的通信设备(图1等)中，如果图像输入单元是摄像
机，则由区域提取器从拍摄图像中检测脸部。然而，需要首先捕获作为^r测对象的图像，并且出现由于该捕获的延迟。
此外，典型地，从图像检测脸部的功能的处理花费很长时间，并且因此也出现了由于该处理的延迟。
此外，基于脸部检测的结果针对元数据处理图像，并且通过通信数据处理由通信单元将元数据与图像一起发送到通信路径。因此，由于到元数据的处理，出现了延迟时间。
由于上述原因，在专利文件1公开的技术中，通信设备中由于处理导致的延迟时间相当长，并且通信设备上的负载相当重。
另外，如果将上述处理应用于运动图像(例如30fp)和基于大量像素的图像，则伴随通信设备中的处理的延迟时间和负载将变得更显著。
如果使用高性能通信设备以便降低负载，则尽管可以降低延迟时间和负载，但增加系统成本。
此外，需要为上述处理准备对于延迟时间用于捕获图像的存储器，并且由于一般而言图像存储器具有高容量，因此系统成本增加。
此外，鉴于上述情形，存在这样的可能性，在最坏的情况下，由于降低了运动图像的帧频和实时特性的恶化，图像的视觉识别变得不可能，因而系统变得不实用。
此外，在由摄像机捕获后未被处理的图像(未经历所谓的隐私屏蔽处理的图像)至少被临时存储在通信设备或通信路径中的任何记录单元内。该图像可能被恶意用户窃取，或者由于来自网络的黑客(hack)行为而泄露。考虑到这一点，未实现真正意义的隐私保护。
作为允许多个点处的多个用户使用图像彼此通信的通信方法，使用集中控制设备的TV会议系统是已知的。
然而，在将隐私保护的技术应用于这种对于多个点的TV会议系统的情况下，如果移除背景，或者为了隐私保护而处理了脸部，则类似地从背景的移除或者脸部区域的处理得到的视频被发送到所有的会议参与者。
此外，允许在多个点处的多个用户使用图像彼此通信的系统包含其中不特定的用户参与的形式，诸如网上的视频聊天。在此情况下，需要取决于通信对方而控制从背景的移除或脸部区域的处理得到的视频。例如，将存在这样的情况，其中用户不介意将其脸部显示给特定图像通信端的用户，但是不 希望将其脸部显示给其他用户。
类似地，同样在商用的多个点之间的TV会议的系统中，如果会议的参 与者包括公司的用户和公司以外的用户，可能允许向公司的用户示出包括背 景的图像，而实行移除了背景的与公司以外的用户的通信。
在专利文件1公开的通信系统(图16等)中，如果通信控制设备基于元 数据执行隐私屏蔽处理，则需要首先接收被转换成分组并对应于一整个图像 的所有图像数据，并且出现由于该接收的通信延迟。
通常所获取的图像数据已经经过压缩(mpeg、 jpeg等)，除非将压缩的数 据重新恢复为原始数据，否则不能执行隐私屏蔽处理。此外，在隐私屏蔽处 理之后，需要进行类似的图像压缩处理，并且出现由于该处理的延迟。
另外，类似地需要将经历了隐私屏蔽处理和压缩处理的图像数据转换成 分组，并且需要发送对应于一整个图像的所有图像数据。因此，出现相应的 图像延迟。
由于上述原因，通信控制设备中由于处理导致的延迟时间相当长，并且 通信控制设备上的负载相当重。
另外，如果将上述处理应用于运动图像(例如30*)、基于大量像素的图 像、以及来自多个用户的通信，则伴随通信控制设备中的处理的延迟时间以
及负载变得更显著。
如果使用高性能的通信控制设备以便降低负载，则尽管可以降低延迟时 间和负载，但系统成本增加。
此外，通常，存在各种图像数据压缩系统，并且可被覆盖的压缩系统取 决于用户和网站。因此，在诸如维护的管理方面，支持包含这些系统的通信 控制设备也导致成本的增加。
另外，通信控制设备经常需要处理和发送在像素数量上等同于原始图像 (在文件大小上几乎相等)的很多种图像数据，比如未经历隐私屏蔽处理的 图像、脸部区域经历了隐私屏蔽处理的图像、以及背景经历了隐私屏蔽处理 的图像。
在此情况下，很显然，通信流量相当大。考虑到上述情况，存在这样的 可能，在最坏的情况下，由于运动图像的帧频的降低以及实时特性的恶化， 图像的视觉识别变得不可能，并且系统变得不实用。在专利文件1公开的通信系统(图18等)中，如果通信设备A经由通
信控制设备连接到通信网络，则"通信控制设备"等效于所谓的通信服务器
并且一般很昂贵。
所有用户都购买这种昂贵的装置是极其困难的。
另外，通常，需要先进的技术来安装通信服务器，并且对于一般用户而 言安装和操作它是很困难的。
每一定数量的用户安装该通信控制设备将是可能的。然而，如上所述， 通信服务器通常很昂贵。因此，在诸如维护的管理方面，安装很多服务器导 致成本增加，并且操作它们导致成本的进一步增加。
本发明需要提供一种图像处理设备、摄像机设备、通信系统、图像处理 方法和程序，其允许缩短由于处理和控制引起的延迟时间，以由此增强实时 特性，并即使图像泄露也允许真正意义上的隐私保护，而不增加成本。
根据本发明的第一实施例，提供了一种图像处理设备，包括脸部检测 器，被配置以基于拍摄的图像来检测脸部；以及输出处理器，被配置以具有 对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用 于隐私保护的隐私屏蔽处理的功能。所述输出处理器包括分离地输出每个经 历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和 所述脸部的背景的图像的功能。
根据本发明的第二实施例，提供了一种摄像机设备，包括成像元件； 光学系统，被配置以在所述成像元件上形成对象图像；以及图像处理设备， 被配置以对所述成像元件拍摄的图像执行图像处理。所述图像处理设备包括 脸部检测器，基于拍摄的图像来检测脸部；以及输出处理器，具有对于由所 述脸部4全测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保 护的隐私屏蔽处理的功能。所述输出处理器包括分离地输出每个经历了或未 经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部 的背景的图像的功能。
根据本发明的第三实施例，提供了一种通信系统，包括发送系统，被 配置以包括摄像机设备和发送由所述摄像机设备拍摄的图像数据的发送设 备；以及接收系统，被配置以包括经由通信路径接收从所述发送系统发送的 图像数据的接收设备。在所述系统中，所述摄像机设备包括成像元件；光 学系统，被配置以在所述成像元件上形成对象图像；以及图像处理设备，被配置以对所述成像元件拍摄的图像执行图像处理。所述图像处理设备包括 脸部检测器，基于拍摄的图像来检测脸部；以及输出处理器，具有对于由所
述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保 护的隐私屏蔽处理的功能。所述输出处理器能够将拍摄的图像分离为每个都 经历了或未经历隐私屏蔽处理的、通过剪切检测的脸部的区域而获得的图像 和所述区域的背景的图像，并分离地输出从分离得到的图像。所述输出处理 器能够输出通过剪切经历了隐私屏蔽处理的区域而获得的图像和所述区域的 背景的图像，作为彼此不同的图像。所述输出处理器能够把下述信息与对应
于该信息的图像同步地输出关于在图像中检测到脸部的区域的信息、关于 经历了隐私屏蔽处理的区域的信息、或者关于未经历隐私屏蔽处理的区域的 信息，。所述发送设备至少发送在捕获脸部的同时捕获的、并且通过分离获得 的背景图像。所述接收系统中的接收设备至少接收所发送的背景图像。
根据本发明的第四实施例，提供了 一种执行输出至少由脸部检测器检测 的脸部的图像和所述脸部的背景的图像的处理的图像处理方法。所述方法包 括步骤由所述脸部检测器基于拍摄的图像检测脸部；对检测的脸部的图像 和所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理；以及分离地输 出每个经历了或未经历所述隐私屏蔽处理的检测的脸部的图像和所述脸部的 背景的图像。
根据本发明的第五实施例，提供了一种程序，用于致使计算机执行输出 至少由脸部检测功能检测的脸部的图像和所述脸部的背景的图像的处理的图 像处理。所述图像处理包括基于拍摄的图像检测脸部的处理；对检测的脸 部的图像和所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的处 理；以及分离地输出每个经历了或未经历所述隐私屏蔽处理的检测的脸部的 图像和所述脸部的背景的图像的处理。
根据本发明的实施例，基于捕获的图像，由脸部检测器检测脸部，并且 对检测的脸部的图像及其背景的图像执行诸如马赛克、模糊或填充的隐私屏 蔽处理。
随后，分离地输出检测的脸部的图像及其背景的图像，并输出相对于背 景检测的脸部的区域信息。
本发明的实施例允许缩短由于处理和控制引起的延迟时间，以由此提高 实时特性而不增加成本。另外，即使图像泄露，本发明的实施例也允许真正意义上的隐私保护。


图1是示出了根据本发明的实施例的采用图像处理设备的摄像机设备的
配置例子的方框图2A到2M是示出了原始图像和经历了隐私屏蔽处理的图像的例子的
图3是示意性示出实施例的图像剪切单元的第一操作例子的图； 图4是示意性示出实施例的图像剪切单元的第二操作例子的图； 图5是示意性示出实施例的图像剪切单元的第三操作例子的图； 图6是示出了与根据实施例的摄像机设备的第二使用形式有关的通信系
统的配置例子的图7是示出了与根据实施例的摄像机设备的第三使用形式有关的通信系
统的配置例子的图8是用于说明图像组合方法的第一图； 图9是用于说明图像组合方法的第二图； 图IO是用于说明图像组合方法的第三图；以及
图11是示出网服务器基于区域信息将形象(avatar)图像发送到接收设备 的例子的图。
具体实施例方式
下面将结合附图描述本发明的实施例。
图1是示出根据本发明的实施例的采用图像处理设备的摄像机设备的配 置例子的方框图。
如图1所示，根据本实施例的摄像机设备10具有光学系统11、成像元 件(成像传感器)12、摄像机信号处理器13、图像存储器14、缩小电路15、 脸部检测图像存储器16、脸部检测器17、输出处理器18以及作为控制器的 微计算机19。
根据本实施例的摄像机设备IO被配置为具有以下功能的设备在微计算 机19的控制下，基于拍摄的图像由脸部检测器17检测脸部，并对于所检测 的脸部的图像或者其背景的图像，由输出处理器18执行诸如马赛克、模糊或填充的隐私屏蔽处理。另外，摄像机设备10被配置为这样的设备其可以分 离地输出检测的脸部的图像和其背景的图像，并且可以输出检测的脸部相对 于背景的区域信息。
摄像机设备10被如此配置以便能够将所拍摄的图像分离为通过剪切检 测的脸部的区域而获得的图像和其背景的图像(在本实施例中，可以用任何 单一颜色来填充移除图像的区域)，并分离输出这些图像。
自然，不分离原始的拍摄图像也是可能的，并且因此不分离地输出两个 图像。"分离输出，，可以是经由不同的信道输出，或者以时分方式输出。
摄像机设备10被如此配置以便能够输出通过剪切经历了诸如马赛克、模 糊或填充的隐私屏蔽处理的区域而获得的图像和其背景的图像(在本实施例 中，可以用任何单一颜色来填充移除图像的区域)，作为彼此不同的图像。
自然，同样在此情况下，不分离原始的拍摄图像也是可能的，并且因此 不分离地输出两个图像。"彼此不同的图像，，可以经由不同的信道输出，或者 以时分方式输出。
摄像机设备10被如此配置以便能够把下述信息与对应于该信息的图像 同步地输出关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽 处理的区域的信息、关于未经历隐私屏蔽处理的区域的信息(在对背景执行 隐私屏蔽处理的情况)、或者关于背景图像中的填充区域的信息。
该"输出"可以是自外部从摄像机设备中的控制寄存器中读出，或者经 由与图像输出的信道不同的信道输出。另外，在数字图像数据的情况下，区 域信息可以作为元数据被埋入(bury)图像中。
同样在此情况下，与以上描述类似，是否分离图像都没关系。
下面将描述根据本实施例的摄像机设备10的具体配置和功能。
光学系统11包括例如镜头111，并且通过镜头111在成像元件12的成像 面上形成对象图像。
成像元件12由例如作为电荷耦合器件(CCD )或互补金属氧化物半导体 (CMOS)器件的成像传感器形成。
成像元件12通过以矩阵形式布置在半导体衬底上的光学传感器检测通 过光学系统11形成的对象图像，并且生成信号电荷。成像元件12经由垂直 信号线和水平信号线读出信号电荷，并将对象的数字图像信号输出到摄像机 信号处理器13。摄像机信号处理器13将经历了诸如颜色插补、白平衡、YCbCr转换处理、 压缩和填充的处理的图像(下文中称为原始图像)作为图像IMOR输出到图 像存储器14和缩小电路15。
原始图像被存储在图像存储器14中。
存储在图像存储器14中的原始图像在输出处理器18中经历隐私屏蔽处 理、图像剪切(分离)、格式转换等，以便被输出到外部。
用于存储原始图像的图像存储器14被提供，以便以时分方式执行多次隐 私屏蔽处理、图像剪切(分离)、格式转换等，并且不是必须需要的。
在本描述中，仅作为例子示出图像存储器14。
缩小电路15在脸部检测图像存储器16中存储通过以任意缩小率缩小原 始图像IM0R (其全部区域或者从分离和剪切得到的区域)而获得的图像、以 及通过在分离后仅剪切原始图像IM0R的部分而获得的图像。
缩小电路15例如通过使用由微计算机19设置的关于设置图像划分和要 剪切的区域的信息以及关于缩小率的信息来划分原始图像IM0R的整个图像 区域(划分成例如4/9/16/25/36/段)。缩小电路15将从划分得到的图像供 应至脸部检测器17。
缩小后的图像尺寸是允许脸部检测器17执行处理的尺寸。
脸部检测器17通过使用由微计算机19设置的关于要检测的脸部的大小、 要检测的区域等的信息、基于图像存储器16中存储的图像来检测脸部。
诸如检测位置和脸部大小的脸部检测器17的检测结果被供应至微计算机。
可以通过软件或硬件实现脸部检测器17，并且其算法、电路配置等可以 是公知的和已有的。
输出处理器18对通过对从图像存储器14输出的原始图像执行失真校正、 剪切、合成等获得的图像数据执行伽玛处理、屏蔽处理、格式转换等。输出 处理器18将得到的图像数据输出到外部。
图1的输出处理器18具有隐私屏蔽处理器181、图像剪切单元182和格 式转换器183。
隐私屏蔽处理器181基于脸部检测结果，在微计算机19的控制下，对从 图像存储器14中存储的原始图像中检测的脸部的图像或其背景的图像执行 诸如马赛克、模糊或填充的隐私屏蔽处理。图像剪切单元182在微计算机19的控制下剪切例如4企测的脸部区域的图 像、其背景的图像、经历了诸如马赛克、模糊或填充的隐私屏蔽处理的区域 的图像、以及其背景的图像，并将剪切的图像输出到格式转换器183。
格式转换器183对图像剪切单元182获得的剪切图像执行格式转换处理， 并同步地输出得到的图像与区域信息。
作为区域信息，输出以下种类的信息的任一种关于在图像中检测到脸 部的区域的信息；关于经历了隐私屏蔽处理的区域的信息；关于未经历隐私 屏蔽处理的区域的信息(在对背景执行隐私屏蔽处理的情况下)；以及关于背 景图像中的填充区域的信息。
可以通过软件或硬件实现隐私屏蔽处理器181，并且其算法、电路配置 等可以是公知的和现有的。
在本例子中，隐私屏蔽处理器181的输出信道的数量是两个，并且剪切 单元182和格式转换器183的输出信道的数量每个都是四个。然而，输出信 道的数量可以是任意的。另外，允许以时分方式输出图像的配置和控制也是 可能的。
微计算机19具有以下功能设置缩小电路15中的图像划分、要剪切的 区域以及缩小率，并控制图^f象划分、剪切处理和缩小处理。
微计算机19具有以下功能设置脸部检测器17要检测的脸部的大小、 脸部检测器17要检测的区域等等，并控制脸部检测处理。微计算机19获取 诸如位置和脸部大小的检测结果
微计算机19对脸部检测器17实行控制，并获取脸部检测结果，即在原 始图像中检测到脸部的区域。基于该结果，微计算机19对隐私屏蔽处理器 181实行控制，并且^L情况而定，实行以下控制允许图像剪切单元182剪 切或移除(分离)图像，以由此经由不同的信道输出图像。
在本实施例中，将在原始图像中检测到脸部的区域、经历了隐私屏蔽处 理的区域、或者图像移除了的区域从外部接口 (IF)输出到微计算机19。
然而，本发明不限于此配置，而且也可以分别地提供输出，并且从其与 图像数据同步地输出区域。可替换地，关于该区域的信息可以通过格式转换 器作为元数据埋入图像数据中。
下面将做出关于才艮据本实施例的拍摄的图像的隐私屏蔽处理、图像剪切/ 移除处理、区域信息、使用形式等的更具体地描述。最初，下面将结合图2描述隐私屏蔽处理。
<隐私屏蔽处理>
图2A到2M是示出原始图像和经历了隐私屏蔽处理的图像的例子的图。 具体地，图2A示出了原始图像，从该原始图像中检测到脸部，并且其
他图示出了对检测的脸部的区域和/或其背景的区域执行隐私屏蔽处理的例子。
具体地，图2B示出了对脸部执行马赛克处理的例子。图2C示出了对脸 部的背景执行马赛克处理的例子。图2D示出了对脸部和背景的全部执行马 赛克处理的例子。图2E示出了对脸部执^^莫糊处理的例子。图2F示出了对 脸部的背景执行模糊处理的例子。图2G示出了对脸部和背景的全部执行模 糊处理的例子。图2H示出了对脸部执行用单一颜色填充的处理的例子。图 2I示出了对脸部的背景执行用单一颜色填充的处理的例子。图2J示出了对脸 部和背景的全部执行用单一颜色填充的处理的例子。图2K示出了对脸部执 行混合(blend)处理的例子。图2L示出了对脸部的背景执行混合处理的例子。 图2M示出了对脸部和背景的全部执行混合处理的例子。
本实施例中的隐私屏蔽处理器181对在原始图像IMOR中检测到脸部的 区域和/或其背景的区域执行用于隐私保护的图像处理(比如马赛克、才莫糊、 填充和混合(透过(transmission))处理)，如图2A到2M所示。
在图2A到2M的例子中，从原始图像中检测一个脸部，并且对脸部的区 域执行隐私屏蔽处理。然而，执行隐私屏蔽处理的区域的数量可以是任意的 (如果检测到多个脸部，则可以对多个区域执行隐私屏蔽处理)。不需要一定 对这些区域执行隐私屏蔽处理。可以对整个原始图像IMOR执行隐私屏蔽处 理。
在图2A到2M中，采用具有大小几乎等于所;险测的脸部大小的矩形作为 执行隐私屏蔽处理的区域。然而，区域的形状可以是圓形、椭圓形或其他形 状，并且其大小也可以是任意的。
另外，马赛克宽度、模糊度、填充的颜色、混合的颜色和能见度可以是 任意的,并且可以组合任意的这些方案。
下面将结合图3到图5描述图像剪切/移除处理。
<图像剪切/移除处理>
图3是示意性示出本实施例中的图像剪切单元的第 一操作例子的图。图4是示意性示出本实施例中的图像剪切单元的第二操作例子的图。 图5是示意性示出本实施例中的图像剪切单元的第三操作例子的图。 图像剪切单元从隐私屏蔽处理器输入的图像中剪切或移除(分离)任意 区域。
要剪切或移除的区域不需要一定是在原始图像中检测到脸部的区域或者 经历了隐私屏蔽处理的区域，并且其大小可以是任意的。要剪切的区域的数 量可以是任意的(可以剪切多个区域)，并且不需要一定剪切或移除区域。
由于与图像处理有关的原因，希望区域的形状是矩形。然而，可以采用 fe何形状，只要处理是可能的。
图3示出了隐私屏蔽处理器181对在原始图像IMOR中检测到脸部的区 域执行马赛克处理并然后将得到的图像照原样输出而不在图像剪切单元182 中进行任何处理的例子。
在图4的例子中，从隐私屏蔽处理器181的输出OT1照原样输出未经历 处理的原始图像IMOR，并且从输出OT2输出通过对原始图像IMOR的整个 区域执行马赛克处理而获得的图像。其后，图像剪切单元182剪切并移除与 在原始图像IMOR中检测到脸部的区域对应的图像，并然后输出得到的图像。
用任意颜色填充图像移除的区域。
在图5的例子中，隐私屏蔽处理器181不执行处理，并且图像剪切单元 182移除在原始图像中检测到脸部的区域，然后输出得到的图像。 用任意颜色填充图像移除的区域。 <区域信息>
区域信息指的是用于指示在原始图像中检测到脸部的区域、经历了隐私 屏蔽处理的区域、或者图像移除了的区域的信息。该信息捐示原始图像中的 区域的水平开始位置、水平宽度、垂直开始位置和垂直宽度、或者原始图像 中的区域的水平开始位置、水平结束位置、垂直开始位置和垂直结束位置。
要输出的区域信息是取决于以下描述中的使用的任何信息。
下面将描述具有上述配置的摄像机设备10的使用形式。
<摄像机设备的使用形式>
如果通过使用摄像机设备10的目标是TV电话、TV会议、视频聊天等 中的隐私保护，则主要可以列出根据本实施例的摄像机设备10的三种使用形 式。<第 一使用形式>
在第 一使用形式中，针对所有接收设备保护发送者的隐私。 在此形式中，如同图3的例子，从摄像机设备10本身输出经历了隐私屏
蔽处理的图像，以便向各个接收设备发送，并且接收设备简单地接收和显示图像。
此时，也可以同时发送区域信息。 <第二使用形式>
图6是示出与根据本发明的实施例的摄像机设备的第二使用形式有关的
通信系统的配置例子的图。
该通信系统100被配置为4吏得发送系统200和接收系统300可以经由网 络40(M皮此通信。
发送系统200包括根据本实施例的摄像机设备10、以及将摄像机设备10 的输出发送到网络400的发送设备210。
接收系统300具有接收设备310、 320、 330和340。接收设备310、 320、 330和340分别包括组合处理器311、 321、 331和341,每个组合处理器具有 图像组合功能。
发送系统200中的发送设备210向接收系统300中的接收设备310、320、 330和340发送通过同时成像和分离而获得的背景图像IM2和IM4、图像IM2 的区域信息和图像IM4的区域信息AI4、以及剪切图像IM1和IM3。
在图6的例子中，剪切图像IM1是未经历隐私屏蔽处理的脸部的图像， 并且剪切图像IM3是经历了作为隐私屏蔽处理的马赛克处理的脸部的图像。
背景图像IM2是通过从原始图像中移除剪切图像IM1而获得的图像，并 且背景图像IM4是通过从原始图像中移除剪切图像IM3而获得的图像。
接收设备310、 320、 330和340接收背景图像IM2和IM4、其区域信息 AR2和AR4、以及剪切图像IM1和IM3。基于区域信息，接收设备通过组合 处理器311、 321、 331和341来组合剪切图像与背景图像，以由此创建每一 个图像。
在图6的例子中，接收设备310接收剪切图像IM1和背景图像IM2。组 合处理器311执行组合处理以由此创建(复原(restore))未经历隐私屏蔽处理 的图像。
接收设备320接收剪切图像IM3和背景图像IM2。组合处理器321执行组合处理以由此创建(复原)对脸部执行了马赛克处理的图像。
接收设备330接收剪切图像IM1和背景图像IM4.组合处理器331执行组 合处理以由此创建(复原)对背景执行了马赛克处理的图像。
接收设备340接收剪切图像IM3和背景图像IM4。组合处理器341执行 组合处理以由此创建(复原)对脸部和背景的全部执行了马赛克处理的图像。
以此方式，通信系统100允许真正意义上的隐私保护。
背景图像及其区域信息可以被作为元数据埋入图像数据中。
在本实施例中，将背景图像、剪切图像、未经历隐私屏蔽处理的图像以 及经历了隐私屏蔽处理的图像视作彼此不同的通信数据。
本例子的"通信系统"还包括如图6所示的网络400。上述通信数据可 以符合现有通信协议。所述图像数据的图像(压缩)格式可以是现有的格式。
如上，在第二使用形式中，不对任何接收设备保护发送者的隐私，而针 对其他的接收设备保护发送者的隐私。
具体地，如图4所示，从摄像机设备10输出未经历隐私屏蔽处理的剪切 图像、未经历隐私屏蔽处理的部分移除的图像、及其区域信息。另外，从摄 像机输出经历了瞎私屏蔽处理的剪切图像、经历了隐私屏蔽处理的部分移除 的图像、及其区域信息。
随后，如图6所示，这些图像和区域信息被发送到接收设备310到340。 接收设备310到340接收部分移除的图像、其区域信息、以及剪切图像，并 基于区域信息组合剪切图像与背景图像，以便显示图像。
由于此操作，在接收系统300中，可以通过仅仅组合简单接收的剪切图 像与简单接收的部分移除的图像而实现与任何接收设备的每个对应的、发送 者想要的各种隐私保护。
在图6中，作为例子，要发送的各种图像数据的数量是4个。然而，各 种图像数据的数量可以是取决于使用目的的任意数量。
例如，如果仅与接收设备310和320实行通信，则传输三种图像数据是 足够的图6的图像数据IM1 、 IM2和IM3 。
此外，不是顺序地将图像数据从发送设备发送到各个接收设备，而是一 般可以通过使用通信控制设备(通信服务器)基于广播通信将图像数据发送 到多个接收设备。因此，自然，对于发送设备，无论接收设备的数量，仅一 次发送需要数量的图像数据的种类是足够的。图7是示出了与根据本实施例的摄像机设备的第三使用形式有关的通信 系统的配置例子的图。
在第三使用形式中，发送设备210将拍摄的背景图像(在此情况下，用 任何单一颜色填充图像移除的区域)IM2发送到接收设备3210等。接收设备 310等接收背景图像，并检测与从背景图像中剪切的图像对应的区域。基于 检测结果，接收设备310等通过组合处理器311等来组合形象(动画人物) ANM与背景图像，以由此创建一个图像。
在此例子中，不传送剪切的图像。
类似于"上描述，该通信系统100A也包括网络400。上述通信数据可以 符合现有通信协议。上述图像数据的图像(压缩)格式可以是现有的格式。
使用形象ANM可以被认为是隐私保护，或者可以被认为是娱乐。
以此方式，在第三使用形式中，对于所有接收设备以形象代表发送者， 以由此保护发送者的隐私。
具体地，如图5所示，从摄像机设备IO输出被移除了检测到脸部的区域 的图像以及该图像的区域信息。随后，如图7所示，图像和区域信息被发送 到每个接收设备。接收设备基于所接收的部分移除的图像及其区域信息来组 合形象ANM的图像与背景图像，并显示所创建的图像。
以下方案也是可用的。具体地，仅从摄像机设备IO输出被移除了检测到 脸部的区域的图像(不使用区域信息)，并且仅将该图像发送到每个接收设备。 接收设备通过抠像(chromakey)(用于检测特定颜色的技术)等在接收的部 分移除的图像中检测图像移除的区域。基于检测结果，接收设备组合形象与 背景图'像，并显示创建的图像。
用于通过抠像的图像移除的区域的检测的算法、电路配置等可以是任意的。
〈使用形式的应用〉 上述使用形式可以相互组合。
例如，可能的是，在第一使用形式中，发送区域信息，并且某些接收i殳 备照原样显示接收的图像，而其他一些接收设备基于区域信息显示包括了形 象的图像。
同样如上所述，要剪切的图像的数量和图像移除的区域的数量是任意的。
20在此情况下，要发送的图像的种类的数量和要发送的图像的数量经常变 得很大，自然，要组合的图像的数量经常变得很大。 接下来，下面将描述图像组合方法。 <图4象组合方法>
图8是用于说明图像组合方法的第一图。 图9是用于说明图像组合方法的第二图。 图IO是用于说明图像组合方法的第三图。
作为用于在第二和第三使用形式中组合剪切图像与部分移除的图像的方 法，基于从区域信息中获取的水平开始位置和垂直开始位置在部分移除的图 像上写上剪切图像，如图8所示。
然而，该方法包括这样的可能性，作为经过通信对这些图像的压缩和复 原的结果，剪切图像和部分移除的图像之间的边界是不同(distinct)的。
对于此情况，如图9所示，为要剪切的图像提供具有任意宽度的边距(空 白)，并且在图像组合时该宽度的区域经历与部分移除的图像的混合(透过) 处理。
用于混合(透过)处理的算法、电路配置等可以是任意的。
在图9的情况下，可以基于发送和接收设备都知道具有预定宽度的边距 的供应的前提来处理区域信息。可替换地，可以从发送设备向接收设备单独 地传输边距信息，或者可以将其作为元数据埋入图像数据中。
作为用于在第三使用形式中组合形象图像与部分移除的图像的方法，如 图IO所示，以这样的方式基于从区域信息获取的水平开始位置、垂直开始位 置等写上具有使得覆盖图像移除的区域的大小的形象图像不写上 (overwr i te)形象图像的空白的区域，而写上形象图像的人物的区域。
为形象图像定义a值(透过率)并执行混合(透过)处理也是可能的。 例如，对于空白区域，将a设置为100%，并且对于人物区域，将a设置为 0%。
<图像组合的装置>
在上述使用形式中，作为例子，釆用接收设备作为组合图像的装置。然 而，可以在通信路径上的任何装置(包括发送设备、个人计算机(PC)、通 信控制设备(通信服务器)、网服务器等)中组合图像(在第三使用形式的情 况下是形象)。<形象图像>
图11是示出网服务器(web server)基于区域信息将形象图像发送到接收 设备的例子的图。
在上述第三使用形式中，作为例子，接收设备准备形象图像并将其组合。 然而，通信路径上的任何装置(包括发送设备、个人计算机(PC)、通信控 制设备(通信服务器)、网服务器等)可以基于区域信息AI将形象图像发送 到接收设备，并且接收设备可以组合图像。
具体地，例如如图11所示，还可能的是，网服务器500基于区域信息 AI将形象ANM的图像发送到接收设备。
如上所述，本实施例可以实现以下优点。
摄像机设备本身输出隐私保护的图像。因此，甚至当记录设备存在于通 信系统中时，即使由于图像数据被恶意用户盗用或来自网络的黑客行为而导 致图像泄露，由于所存储的(至少临时地)图像已经经历了隐私保护，因此 可以在真正意义上保护隐私。
由于从摄像机设备本身输出各种图像及其区域信息，因此发送设备不需 要具有脸部检测功能。因此，可以极大地降低系统成本，并且可以降低处理 和控制的负载。另外，可以极大地缩短由于处理和控制引起的延迟时间，这 提高了实时特性。
在从发送设备发送从摄像机设备本身输出的剪切图像、部分移除的图像 及其区域信息并且接收设备组合这些图像以由此显示经历了隐私屏蔽处理的 图像时，通信控制设备(通信服务器)不需要具有执行隐私屏蔽处理的功能。 另外，视情况而定，经历了隐私屏蔽处理的多种图像不需要被发送到每个接 收设备。因此，可以极大地降低系统成本，并且可以降低处理和控制的负载。 另夕卜，可以极大地缩短由于处理和控制引起的延迟时间，这提高了实时特性。
在上述配置中，对于通信控制设备(通信服务器)，仅实行仅仅分组的路 由和广播通信是足够的。因此，负载及其延迟等同于现有技术中的通信控制 设备的负载及其延迟。
此外，由于不需要复原图像，因此，不需要支持各种压缩系统。
在从摄像机设备本身输出各种图像及其区域信息并且从发送设备发送的 情况下，各个接收设备可以仅通过组合接收的图像而容易地允许与接收者对 应的发送者的各种隐私的保护。在从发送设备发送从摄像机设备本身输出的剪切图像和部分移除的图像 的情况下，剪切图像中的像素数量很小，因此其图像数据大小很小。另外， 压缩部分移除的图像导致小的图像数据，这是因为 一般地图像中的单一颜色
的纯色区(plainarea)的出现提供了高压缩效率。
因此，因此与从通信控制设备(通信服务器)向接收设备发送经历了隐 私屏蔽处理的、具有几乎等同于原始图像的大小的图像数据的情况相比极大 地降低了通信流量，且提高了实时特性。
此外，如果从摄像机设备本身输出部分移除的图像及其区域信息并且显 示包括形象的图像，则与以上描述类似地，极大地降低了通信流量，并且因 此提高了实时特性。
此外，可以容易地实现基于区域信息将形象图像从网服务器发送到接收 设备的应用，而不牺牲实时特性。
在此情况下，不需要在接收设备中准备形象图像。
由于上述原因，隐私保护是可能的，并且对应于各个接收者，可以实现 发送者意要的各种隐私保护。另外，能够容易地实现包括发送和接收设备、 个人计算机(PC )、通信控制设备(通信服务器)、网服务器等并具有轻负载、 小通信流量和高实时特性的通信系统。可以极大地降低通信系统的成本。
基本上，与是否出现或不出现光学缩放、固定焦距等无关，本发明的实 施例可以覆盖诸如典型数字照相机和摄像机的全部摄像机。
还可能的是，以上详细描述的方法被实现为与上述过程对应的程序，并 由诸如中央处理单元的计算机执行。
这种程序可以被存储在诸如半导体存储器、磁盘、光盘、软盘(注册商 标)等的记录介质中，并且可以通过在其中设置了这种记录介质的计算机的 存取而执行。
将理解，尽管已经结合具体实施例描述了本发明，但是4艮明显，根据在 上的描述，很多替换、修改和变更对于本领域技术人员是可能的。因此，本 发明意要包含落入所附权利要求的精神和范围内的所有这种替换、修改和变 更。
相关申请的交叉引用
本发明包含与2008年2月15日在日本专利局提交的日本专利申请JP 2008-034295有关的主题，通过？ 1用将其全部内容合并于此。
2权利要求
1. 一种图像处理设备，包括脸部检测器，被配置以基于拍摄的图像来检测脸部；以及输出处理器，被配置以具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能，其中所述输出处理器包括分离地输出每个经历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部的背景的图像的功能。
2. 根据权利要求1的图像处理设备，其中所述输出处理器能够将拍摄的图像分离为通过剪切所检测的脸部的区域所获得的图像和所述区域的背景的图像，并分离地输出从所述分离得到的图像。
3. 根据权利要求1的图像处理设备，其中所述输出处理器能够输出通过剪切经历了隐私屏蔽处理的区域而获得的图像和所述区域的背景的图像，作为彼此不同的图像。
4. 根据权利要求1的图像处理设备，其中所述输出处理器能够把下述信息与对应于该信息的图像同步地输出关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、或者关于未经历隐私屏蔽处理的区域的信息。
5. 根据权利要求2的图像处理设备，其中所述输出处理器能够用任意颜色填充图像移除的区域，以及所述输出处理器能够^t巴下述信息与对应于该信息的图同步地输出关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、关于未经历隐私屏蔽处理的区域的信息、或者关于背景图像中的填充区域的信息。
6. —种摄像机设备，包括成像元件；光学系统，被配置以在所述成像元件上形成对象图像；以及图像处理设备，被配置以对所述成像元件拍摄的图像执行图像处理，其所述图像处理设备包括脸部检测器，基于拍摄的图像来检测脸部；以及输出处理器，具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能，其中所述输出处理器包括分离地输出每个经历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部的背景的图像的功能。
7. 根据权利要求6的摄像机设备，其中所述输出处理器能够将拍摄的图像分离为通过剪切所检测的脸部的区域所获得的图像和所述区域的背景的图像，并分离地输出从所述分离得到的图像。
8. 根据权利要求6的摄像机设备，其中所述输出处理器能够输出通过剪切经历了隐私屏蔽处理的区域而获得的图像和所述区域的背景的图像，作为彼此不同的图像。
9. 根据权利要求6的摄像机设备，其中所述输出处理器能够把下述信息与对应于该信息的图^f象同步地输出关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、或者关于未经历隐私屏蔽处理的区域的信息。
10. 根据权利要求7的摄像机设备，其中所述输出处理器能够用任意颜色填充图像移除的区域，以及所述输出处理器能够把下述信息与对应于该信息的图像同步地输出关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、关于未经历隐私屏蔽处理的区域的信息、或者关于背景图像中的填充区域的信息。
11. 一种通信系统，包括发送系统，被配置以包括摄像机设备和发送由所述摄像机设备拍摄的图像数据的发送设备；以及接收系统，被配置以包括经由通信路径接收从所述发送系统发送的图像数据的接收设备，其中所述摄像机设备包括成像元件；光学系统，在所述成像元件上形成对象图像；以及图像处理设备，对所述成像元件拍摄的图像执行图像处理，其中所述图像处理设备包括脸部检测器，基于拍摄的图像来检测脸部；以及输出处理器，具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能，所述输出处理器能够将拍摄的图像分离为每个经历了或未经历隐私屏蔽处理的、通过剪切检测的脸部的区域所获得的图像和所述区域的背景的图像，并分离地输出从所述分离得到的图像，所述输出处理器能够输出通过剪切经历了隐私屏蔽处理的区域而获得的图像和所述区域的背景的图像，作为彼此不同的图像，所述输出处理器能够把下述信息与对应于该信息的图像同步地输出关于在图像中检测到脸部的区域的信息、关于经历了隐私屏蔽处理的区域的信息、或者关于未经历隐私屏蔽处理的区域的信息，所述发送设备发送在捕获脸部的同时捕获的、并且通过分离获得的背景图4象，以及所述接收系统中的接收设备接收所发送的背景图像。
12. 根据权利要求11的通信系统，其中所述发送系统中的发送设备发送同时拍摄并通过分离获得的背景图像和脸部的剪切图像，并发送所述背景图像的区域信息，以及所述接收系统中的接收设备接收所发送的背景图像、所述背景图像的区域信息、以及剪切的图像，并基于所述区域信息来组合所述剪切的图像与所述背景图像，以由此创建一个图像。
13. 根据权利要求11的通信系统，其中所述接收系统中的接收设备接收所发送的背景图像和所述背景图像的区域信息，并基于所述区域信息组合形象与所述背景图像，以由此创建一个图像。
14. 根据权利要求11的通信系统，其中所述摄像机设备中的输出处理器能够用任意颜色填充图像移除的区域，所述发送设备发送所述背景图像，以及所述接收系统中的接收设备接收所发送的背景图像，并基于检测的关于从所述背景图像中剪切的图像的区域信息来组合形象与所述背景图像，以由此创建一个图像。
15. 根据权利要求11的通信系统，其中所述通信路径上的预定装置组合预定图像与从所述发送系统中的发送设备发送的图像，并将得到的图像发送到所述接收设备，以及所述接收系统中的接收设备接收由所述通信路径上的预定装置组合所得到的图像。
16. 根据权利要求12的通信系统，其中所述通信路径上的预定装置基于所述区域信息将用于隐私保护的图像发送到所述接收设备，以及所述接收系统中的接收设备组合该用于隐私保护的图像与未经历隐私屏蔽处理的图像，或者对所述图像执行混合处理，以由此创建一个图像。
17. 根据权利要求13的通信系统，其中所述通信路径上的预定装置基于所述区域信息将所述形象的图像发送到所述接收设备。
18. 根据权利要求14的通信系统，其中所述通信路径上的预定装置检测从背景图像中剪切的图像的区域，并基于检测的结果将形象的图像发送到所述接收设备。
19. 一种执行输出由脸部检测器检测的脸部的图像和所述脸部的背景的图像的处理的图像处理方法，所述方法包括步骤由所述脸部检测器基于拍摄的图像检测脸部；对检测的脸部的图像或所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理；以及分离地输出每个经历了或未经历所述隐私屏蔽处理的检测的脸部的图像和所述脸部的背景的图像。
20. —种程序，用于致使计算机执行输出由脸部检测功能检测的脸部的图像和所述脸部的背景的图像的处理的图像处理，所述图像处理包括基于拍摄的图像检测脸部的处理；对检测的脸部的图像或所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的处理；以及分离地输出每个经历了或未经历所述隐私屏蔽处理的检测的脸部的图像和所述脸部的背景的图像的处理。
全文摘要
一种图像处理设备，包括脸部检测器，被配置以基于拍摄的图像来检测脸部；以及输出处理器，被配置以具有对于由所述脸部检测器检测的脸部的图像或者所述脸部的背景的图像执行用于隐私保护的隐私屏蔽处理的功能。所述输出处理器包括分离地输出经历了或未经历所述隐私屏蔽处理的、由所述脸部检测器检测的脸部的图像和所述脸部的背景的图像的功能。
文档编号H04N5/225GK101510957SQ200910006358
公开日2009年8月19日 申请日期2009年2月16日 优先权日2008年2月15日
发明者依田光二 申请人:索尼株式会社