图像处理设备、图像处理方法和存储介质与流程

本发明涉及用于保护监视照相机所拍摄到的图像上的隐私的图像处理设备、图像处理方法和存储介质。

背景技术：

当前，监视照相机安装在许多区域。与此同时，监视照相机拍摄到的视频图像中所包括的个人隐私的保护变得越来越重要。日本专利5834193公开了用于通过使用人体检测结果来生成人体区域被遮罩的视频图像的技术。日本专利4578044公开了如下技术，其中利用该技术，接收到监视模块所提取的各图像之间的差异区域的轮廓信息的接收单元将该轮廓信息与背景图像合成，以显示合成图像。

在利用遮罩图像来替换基于日本专利5834193中所论述的识别处理的结果所生成的遮罩区域的内部的技术中，如果识别处理失败，则被摄体暴露的可能性高。此外，由于日本专利4578044中所论述的技术是用于将轮廓信息与固定背景合成的技术，因此没有考虑在照相机所覆盖的监视区域中实际发生的变化(以下适当地称为现实世界的环境变化)。因而，用户难以识别该环境变化。

技术实现要素：

根据本发明的方面，一种图像处理设备，包括：获取单元，用于获取所拍摄图像；提取单元，用于从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域；选择单元，用于基于所述所拍摄图像，来从多个背景图像中选择处理所要使用的背景图像；以及处理单元，用于针对所述选择单元所选择的背景图像，使所述提取单元所提取的被摄体区域模糊化。

根据本发明的方面，一种图像处理方法，包括以下步骤：获取所拍摄图像；从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域；基于所述所拍摄图像，来从多个背景图像中选择处理所要使用的背景图像；以及进行用于针对所选择的背景图像来使所提取的被摄体区域模糊化的处理。

根据本发明的方面，一种存储介质，其存储程序，所述程序用于使计算机用作：获取单元，用于获取所拍摄图像；提取单元，用于从所述所拍摄图像中提取与预定的被摄体相对应的被摄体区域；选择单元，用于基于所述所拍摄图像，来从多个背景图像中选择处理所要使用的背景图像；以及处理单元，用于进行用于针对所述选择单元所选择的背景图像来使所述提取单元所提取的被摄体区域模糊化的处理。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出图像处理设备的硬件结构的框图。

图2是示出图像处理设备的软件结构的示例的框图。

图3是示出图像处理设备的处理的流程图。

图4是示出所拍摄图像的示例的图。

图5是示出被摄体的遮罩区域的示例的图。

图6是示出隐私保护图像的示例的图。

图7是示出图像处理设备的软件结构的框图。

图8a～8c是各自示出背景图像的选择的示例的图。

图9是示出图像处理设备的软件结构的框图。

具体实施方式

以下将参考附图来说明本发明的典型实施例。

图1是示出图像处理设备100的硬件结构的框图。

中央处理单元(cpu)11进行连接至系统总线14的各装置的控制。

只读存储器(rom)12存储基本输入/输出系统(bios)程序和引导程序。

随机存取存储器(ram)13用作cpu11的主存储装置。

键盘控制器(kbc)15执行与来自诸如鼠标等的指示装置(pd)19和来自键盘(kb)20的信息的输入有关的处理。

包含视频存储器的显示控制单元(crtc)16根据来自cpu11的指示来在视频存储器中进行描绘，并且将视频存储器中所描绘的图像数据作为视频信号输出至阴极射线管(crt)21。尽管图1示出crt21作为显示装置，但可以使用任何类型的显示装置(例如，液晶显示装置)。

盘控制器(dkc)17进行向硬盘(hdd)22的访问。

网络接口卡(nic)18连接至网络，并且经由该网络进行信息通信。

hdd22存储os程序和在os上工作的各种应用的程序。hdd22是存储区域的示例。

在上述结构中，在图像处理设备100变为on(开启)的情况下，cpu11根据rom12所存储的引导程序来将os程序从hdd22载入ram13。这样，图像处理设备100实现各装置的功能。

图像处理设备100的cpu11基于rom12或hdd22所存储的程序来执行处理。因而，实现了(以下所述的)图2、7和9中的图像处理设备100的软件结构、以及(以下所述的)图3的流程图中的处理。

在第一典型实施例中，将说明图像处理设备100的信息处理。在该信息处理中，基于输入图像和背景图像各自中的除物体区域以外的部分之间的相似度来选择背景图像，将所选择的背景图像与遮罩区域的遮罩图像合成，并且生成合成图像(以下称为隐私保护图像)。因而，人物变模糊或被遮罩。

图2是示出根据第一典型实施例的图像处理设备100的软件结构的示例的框图。图像处理设备100包括图像获取单元101、遮罩区域提取单元102、物体提取单元103、背景管理单元104、图像合成单元(模糊化处理单元)105和输出单元106。

图像获取单元101按预定间隔从诸如配备有透镜和传感器的照相机等的摄像单元顺次获取图像，并且将这些图像提供至遮罩区域提取单元102和状态获取单元203。该摄像单元可以配置在图像处理设备100中，或者可以经由网络等可通信地连接至图像处理设备100。

遮罩区域提取单元102提取作为隐私保护对象的被摄体遮罩区域。遮罩区域提取单元102基于遮罩区域提取所用的背景图像和图像获取单元101所获取到的图像之间的差异来提取遮罩区域。在背景图像上，不存在图像处理设备100的摄像区域中的被摄体。以下将详细说明用于对遮罩区域提取所用的背景图像以及遮罩区域进行提取的方法。遮罩区域提取所用的背景图像是如下的图像，其中该图像是按与图像获取单元101所获取到的图像的视角相等的视角所拍摄到的，并且不包括隐私保护对象。从图像处理设备100的处理开始起，遮罩区域提取单元102将从图像获取单元101获取到的图像存储在图像存储单元(未示出)中。在将预定个数(例如，100个)图像存储在图像存储单元中的阶段，遮罩区域提取单元102对图像存储单元中所存储的图像的像素值求平均，以生成遮罩区域提取所用的背景图像。此外，在生成遮罩区域提取所用的背景图像之后，每次从图像获取单元101获取图像时，遮罩区域提取单元102将各图像存储在图像存储单元中并且删除图像存储单元中所存储的最旧图像。然后，遮罩区域提取单元102对图像存储单元中所存储的图像的像素值求平均，以更新遮罩区域提取所用的背景图像。换句话说，遮罩区域提取单元102使用通过根据来自图像获取单元101的图像的获取时间点而使用预定个数(例如，100个)图像所生成的平均图像，来作为遮罩区域提取所用的背景图像。可选地，根据物体识别方法(例如，模式匹配)，遮罩区域提取单元102从图像获取单元101所获取到的多个图像中获取物体区域，并且对物体区域被去除的多个图像的像素值进行合成，以生成遮罩区域提取所用的背景图像。如上所述，可以使用用于生成不包括隐私保护的对象的图像的任何方法。遮罩区域提取单元102中所描绘的遮罩区域提取所用的背景图像不同于背景管理单元104中所描绘的背景图像。之后，遮罩区域提取单元102将如下的像素确定为遮罩以提取遮罩区域，其中在这些像素中，从图像获取单元101获取到的图像和遮罩区域提取所用的背景图像之间的亮度值的差超过阈值(例如，10％以上)。遮罩区域提取单元102可以执行能够通过图像处理来提取隐私保护对象的区域(被摄体区域)的任何处理。例如，遮罩区域提取单元102获取所存储的过去图像和从图像获取单元101获取到的最新图像之间的差异区域，并且执行用于在该差异区域上搜索人物的特征(形状或颜色)的处理(模式匹配处理)。在存在人物的特征的情况下，遮罩区域提取单元102提取出该差异区域作为被摄体区域。

物体提取单元103从图像获取单元101所获取到的最新图像中提取物体区域。物体提取单元103存储从图像获取单元101获取到的过去图像，并且计算所存储的过去图像和从图像获取单元101获取到的最新图像之间的差异区域以提取物体区域。物体提取单元103将最新图像和所提取的物体区域的物体区域信息发送至背景管理单元104。物体提取单元103可以使用诸如背景相减法或模板匹配法等的任何提取方法来提取物体区域，只要利用该方法可以提取出物体区域即可。因此，该方法不限于上述方法。

背景管理单元104管理多个背景图像。这多个背景图像是按与图像获取单元101所获取到的图像的地方和视角相同的地方和视角、并且在该视角内按不同的时间带和不同的状态所拍摄到的一个或多个图像。以商店的入口作为示例，在诸如早晨、白天、傍晚和夜晚等的不同时间带中，并且按视角内的不同状态(诸如商店入口的卷帘关闭或打开的状态、以及门关闭或打开的状态等)，拍摄到一个或多个图像。背景管理单元104将这些背景图像作为图像文件存储在图像存储单元(未示出)中。此外，背景管理单元104通过使用最新图像和背景图像中的、除物体提取单元103所提取的物体区域以外的区域(以下称为判断区域)之间的相似度，来选择最接近物体提取单元103所处理的最新图像的背景图像。例如，在物体提取单元103提取图像的右半部分区域作为物体的情况下，物体提取单元103选择最新图像的左半部分区域和背景图像的左半部分区域之间的相似度最高的背景图像。在该选择中，物体提取单元103通过使用快速鲁棒特征(speed-uprobustfeatures,surf)，根据特征点来从最新图像和背景图像的判断区域中提取位置和特征矢量。这些特征点是判断区域内的亮度变化量大的部分。物体提取单元103测量最新图像和背景图像的特征矢量之间的欧几里德距离，并且使最新图像和背景图像的特征矢量彼此关联，使得该距离变得最小。物体提取单元103选择相似度最小的背景图像作为最接近的背景图像。这里，相似度是相应特征量的距离的总和与相应位置处的色差分量的总和的合计。这样，物体提取单元103可以通过比较判断区域的相似度，来选择采用接近摄像环境的状态的时间带和状态的背景图像。例如，在提取图像的右半部分区域作为物体的情况下，物体提取单元103选择在最新图像的左半部分区域和背景图像的左半部分区域之间相似度最高的背景图像。在该选择中，物体提取单元103通过使用快速鲁棒特征(surf)，来按特征点从最新图像和背景图像的判断区域中提取位置和特征矢量。这些特征点是判断区域内的亮度变化量大的部分。物体提取单元103测量最新图像和背景图像的特征矢量之间的欧几里德距离，并且使最新图像和背景图像的特征矢量彼此关联，使得该距离变得最小。物体提取单元103选择相似度最小的背景图像作为最接近的背景图像。这里，相似度是相应特征矢量的距离的总和与相应位置处的色差分量的总和的合计。这样，物体提取单元103可以通过比较判断区域之间的相似度，来选择采用接近最新图像拍摄环境的时间带和状态的背景图像。背景管理单元104通过判断最新图像中的除物体区域信息所表示的物体区域以外的部分与各背景图像中的除物体区域信息所表示的物体区域以外的部分之间的相似度、即除物体区域以外的部分之间的相似度，来选择背景图像。特征点的提取方法不限于surf，并且可以使用用于提取诸如根据“加速分段测试特征”(featuresfromacceleratedsegmenttest,fast)所获得的角(corner)特征等的特征点的任何方法。此外，相似度判断不限于用于比较图像的相应点处的特征的方法，并且可以使用用于判断相似图像的任何方法。图像合成单元105将背景管理单元104所选择的背景图像的像素中的与遮罩区域提取单元102所提取的遮罩图像相对应的像素的颜色改变为预定颜色(例如，蓝色)。这样，图像合成单元105生成隐私保护图像。可选地，图像合成单元105生成如下的遮罩图像，其中在该遮罩图像中，遮罩区域提取单元102所提取的遮罩区域的颜色改变为预定颜色(例如，蓝色)，并且除遮罩区域以外的部分的颜色改变为第二预定颜色(例如，白色)。然后，图像合成单元105可以使遮罩图像与背景管理单元104所选择的背景图像进行α混合(α-blend)，以生成隐私保护图像。

输出单元106将图像合成单元105所生成的隐私保护图像以有线或无线方式连接至与图像处理设备100相连接的外部设备。此外，输出单元106可以将隐私保护图像输出至hdd22或crt21。

接着，将说明信息处理设备100中的信息处理的流程。

图3是示出图像处理设备100的如下信息处理的示例的流程图，其中该信息处理用于根据连续输入的图像生成保护图像，并且输出该保护图像。

在开始该处理之后，在步骤s101中，图像获取单元101获取图像。图像获取单元101将所获取到的图像存储在诸如ram13或hdd22等的存储器中。图4示出图像获取单元101所获取到的图像的示例。

在步骤s102中，遮罩区域提取单元102从图像获取单元101所获取到的图像中提取被摄体的遮罩区域。图5示出遮罩区域提取单元102所提取的被摄体的遮罩区域的示例。

在步骤s103中，物体提取单元103从图像获取单元101所获取到的图像中提取物体区域。

在步骤s104中，背景管理单元104选择接近图像获取单元101所获取到的图像的背景图像。

在步骤s105中，图像合成单元105将背景管理单元104所选择的背景图像与遮罩区域提取单元102所提取的遮罩区域的遮罩图像进行合成，以生成隐私保护图像。图6示出图像合成单元105所生成的隐私保护图像的示例。

在步骤s106中，输出单元106将隐私保护图像输出至外部设备。在步骤s107中，输出单元106判断是否从pd19或kb20接收到结束指示。如果判断为接收到了结束指示(步骤s107中为“是”)，则输出单元106结束图3所示的流程图。如果判断为没有接收到结束指示(步骤s107中为“否”)，则处理返回至步骤s101。

在根据本典型实施例的信息处理中，图像处理设备100选择接近输入图像的背景图像，并且将所选择的背景图像与遮罩区域的遮罩图像进行合成。因而，可以向用户提供保护了隐私并且考虑到环境变化的优选的合成图像。

在第二典型实施例中，将说明图像处理设备100的、用于使用摄像状态来选择背景图像并且生成隐私保护图像的信息处理。

图7是示出根据第二典型实施例的图像处理设备100的软件结构的示例的框图。利用相同的附图标记来表示第一典型实施例和第二典型实施例中的相同组件，并且省略了针对这些组件的说明。这同样适用于以下所述的其它附图。

状态获取单元203根据图像获取单元101所获取到的图像来估计摄像状态。摄像状态表示摄像的视角内的状态。该状态是基于从各种设置获取到的摄像信息以及/或者通过分析图像并检测特定物体可以估计的图像信息而确定的。从各种设置获取到的摄像信息包括摄像单元的时刻设置和摄像单元的设置，诸如摄像时间带、季节和照度条件等。关于摄像时间带，早晨为6:00am～10:00am，白天为10:00am～5:00pm，傍晚为5:00pm～7:00pm，并且夜晚为7:00pm～6:00am。摄像时间带是基于从与图像获取单元101相连接的摄像单元获取到的摄像时间而从早晨、白天、傍晚和夜晚中选择的。此外，关于季节，分别定义与春、夏、秋和冬相对应的日期，并且季节是基于从摄像单元获取到的日期而从春、夏、秋或冬中所选择的。照度条件是基于从图像获取单元101获取到的图像整体的亮度值的增益值和直方图通过规则判断而估计出并获取到的。规则判断是基于用于判断直方图和增益值的条件的组合来进行的。例如，将亮度范围设置为0～255，并且按0～7的8级设置增益值。在直方图的众数值为128以上并且增益值为3以下的情况下，判断为照度充足，并且在直方图的众数值为64以下并且增益值为4以上的情况下，判断为照度低。摄像单元的设置是从摄像时的白平衡设置、曝光设置和曝光时间设置中获取到的。此外，通过分析图像并检测特定物体可以估计的摄像信息是通过从图像中检测雨滴或雪并且估计天气所获取到的。将天气分类为晴、雨和雪。在没有检测到雨或雪的情况下，将天气估计为晴，在检测到雨滴的情况下，将天气估计为雨，并且在检测到降雪的情况下，将天气估计为雪。状态获取处理不限于上述处理。状态获取处理可以是能够根据所拍摄图像来估计摄像状态的任何处理。背景管理单元204管理多个背景图像和各背景图像的摄像状态。这多个背景图像是按与图像获取单元101所获取到的图像的地方和视角相同的地方和视角、并且在该视角内按不同的时间带和不同的状态所拍摄到的一个或多个图像。背景图像的类型与第一典型实施例所述的类型相同。背景管理单元204将这些背景图像作为图像文件并且将摄像状态作为元数据文件存储在图像存储单元(未示出)中。此外，背景管理单元204通过规则判断来从多个背景图像中选择最接近从状态获取单元203获取到的摄像状态的背景图像。图8a～8c是各自示出使用白平衡和照度的背景图像的选择的示例的图。本典型实施例中的规则判断条件如下：从状态获取单元203获取到的摄像状态和背景图像之间的白平衡值的差最小、并且照度条件相同。图8a示出图像获取单元101所获取到的最新图像和状态获取单元203所获取到的摄像状态。图8b和8c示出所设置的背景图像和这些背景图像的摄像状态。背景管理单元204根据规则来判断最新图像的摄像状态和背景图像上所设置的摄像状态，并且选择背景图像。在图8a～8c的示例中，背景管理单元204选择符合规则的图8b的背景图像作为背景图像。在图8a～8c的示例中，背景管理单元204基于白平衡和照度条件选择了背景图像，但规则判断条件可以包括摄像信息的其它项，诸如相同的摄像时间带和相同的天气等。此外，规则判断不仅可以通过各条件的逻辑与(and)来进行，而且还可以通过各条件的逻辑和来进行。例如，背景管理单元204选择满足白平衡值的差最小和摄像时间带相同中的任一个的背景图像。

由于第二典型实施例的信息处理与根据第一典型实施例的图3所示的流程相同，因此省略了针对该信息处理的说明。

在根据本典型实施例的信息处理中，图像处理设备100选择接近现实世界状态的背景图像，并且将遮罩区域的遮罩图像与背景图像合成。结果，可以同时实现隐私保护以及与现实世界有关的信息的提供。

在第三典型实施例中，将说明图像处理设备100的用于估计摄像状态的信息处理。除第二典型实施例中的装置以外，还使用传感器。

图9是示出根据第三典型实施例的图像处理设备100的软件结构的示例的框图。传感器单元301获取包括安装有摄像单元的环境的温度、湿度和照度的传感器信息，并且将该传感器信息发送至状态获取单元302。

状态获取单元302基于图像获取单元101所获取到的图像和传感器单元301所获取到的传感器信息来估计摄像状态。

背景管理单元303管理多个背景图像和各背景图像的摄像状态。然后，背景管理单元303从多个背景图像中选择与状态获取单元302所获取到的摄像状态最相似的背景图像作为最接近的背景图像。

在第四典型实施例中，说明如下的图像处理设备100：除根据第一典型实施例的结构外，还使用通过将遮罩图像与遮罩区域提取用的背景图像进行合成而生成的隐私保护图像。在本典型实施例中，将说明与第一典型实施例的不同之处。

通过将遮罩图像与第一典型实施例所述的所准备的背景图像进行合成来生成第一隐私保护图像。通过将遮罩图像与本典型实施例所述的遮罩区域提取用的背景图像进行合成来生成第二隐私保护图像。

第一隐私保护图像和第二隐私保护图像各自具有优点和缺点。第一隐私保护图像是通过将作为隐私保护对象的被摄体的遮罩区域与不包括隐私保护对象的背景图像进行合成所生成的。由于该原因，其优点是：可以从视觉上识别出被摄体的形状和移动，并且被摄体没有暴露。然而，从所准备的背景图像中选择最接近输入图像的图像。因而，其缺点是：被摄体的背景与输入图像相似，但没有表现最新的背景状态。另一方面，第二隐私保护图像是通过使用最新的输入图像所生成的。因而，其优点是：不同于第一隐私保护图像，第二隐私保护图像具有相对忠实地表现最新的背景状态的被摄体背景。然而，第二隐私保护图像的缺点是：在遮罩区域提取用的背景图像上被摄体暴露的情况下，生成被摄体的隐私未被保护的图像，因而可能无法实现隐私保护。作为被摄体暴露的情况，可以考虑两个情况。一个情况是：被摄体固定并且存在于生成平均图像所需的存储图像的相同位置。另一情况是：利用物体识别方法未能检测到被摄体。

根据以上的优点和缺点，通过利用上述优点来切换隐私保护图像，因而更优选地，可以实现隐私保护和与现实世界有关的信息的提供。

因此，在本典型实施例中，图像合成单元105还包括面部检测单元(未示出)，并且对遮罩区域提取用的背景图像进行面部检测处理。然后，图像合成单元105在检测到面部的情况下生成第一隐私保护图像，并且在没有检测到面部的情况下生成第二隐私保护图像。不限于面部检测单元，并且可以使用用于从遮罩区域提取用的背景图像中提取隐私保护对象的任何方法。可选地，可以使用诸如人物检测单元等的其它检测单元。

其它实施例

在本发明中，将实现根据上述典型实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备。本发明还可以通过该系统或设备的计算机中的一个或多个处理器加载并执行程序的处理来实现。此外，本发明还可以由实现一个或多个功能的电路(例如，专用集成电路(asic))来实现。

以上说明了本发明的典型实施例，但本发明不限于这些特定典型实施例。

例如，图像处理设备100的软件结构的一部分或全部可被作为硬件结构安装在图像处理设备100上。此外，图像处理设备100的硬件结构仅是示例，并且pd19、kb20、crt21和hdd22可以是图像处理设备100的外部硬件。

在根据上述典型实施例的处理中，可以针对经过了隐私保护的图像选择适当的背景图像。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。