本发明涉及一种图像生成装置、控制方法和计算机可读存储介质，并尤其涉及一种生成隐私保护图像的技术。
背景技术：
随着监控摄像机的普遍安装，保护监控摄像机的影像上显示的个人隐私正变得越来越重要。日本特开第2009-225398号公报记载了通过从输入图像生成分别表示人像的前景图像和不显示人的背景图像，并使由于对前景图像应用掩模处理和滤波处理得到的图像与背景图像重叠，从而保护隐私的技术。
日本特开第2009-225398号公报是基于背景图像是在不存在作为保护目标的人的状态下生成的前提。如果在存在人的状态下从监控摄像机的影像生成背景图像，那么背景图像将包括此人的图像。即，将此人的图像识别成了背景，而没有生成为前景图像。因此，此人的隐私可能不会保护。此外，如果人从例如坐在椅子上起长时间保持静止，那么随着时间流逝，人的区域可能会反映在背景图像中。同样，在这种情况下，并没有将此人的区域视作保护目标区域，从而此人的隐私不能受到保护。
技术实现要素：
本发明的一个实施例减少了由于人像在背景图像中的反映而使得不能保护隐私的情况。
根据本发明的一方面的图像生成装置，提供一种图像生成装置，所述图像生成装置包括：生成单元，其生成前景掩模图像与背景图像重叠的输出图像，前景掩模图像是基于输入图像中包含的运动体生成的；更新单元，其基于所述输入图像执行用于更新所述背景图像内的至少部分区域的更新处理；以及限制单元，其在与其他区域相比的限制区域中限制所述更新处理的反映，所述限制区域是所述输出图像中的至少部分区域。
根据本发明的另一方面，提供一种图像生成装置的控制方法，所述控制方法包括：生成前景掩模图像与背景图像重叠的输出图像，前景掩模图像是基于输入图像中包含的运动体生成的；基于所述输入图像执行用于更新所述背景图像内的至少部分区域的更新处理；以及在与其他区域相比的限制区域中限制所述更新处理的反映，所述限制区域是所述输出图像中的至少部分区域。
根据本发明的另一方面，提供一种计算机可读存储介质，其存储了用于使计算机执行图像生成装置的控制方法的程序，所述控制方法包括：生成前景掩模图像与背景图像重叠的输出图像，前景掩模图像是基于输入图像中包含的运动体生成的；基于所述输入图像执行用于更新所述背景图像内的至少部分区域的更新处理；以及在与其他区域相比的限制区域中限制所述更新处理的反映，所述限制区域是所述输出图像中的至少部分区域。
根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1是描述隐私保护图像的生成原理的图。
图2是描述根据第一实施例的隐私保护图像的生成方法的图。
图3是示出根据第一实施例的影像生成装置的示例性功能配置的框图。
图4是示出通过根据第一实施例的影像生成装置执行的处理步骤的流程图。
图5是示出用于隐私保护区域的设置画面的示例图。
图6是示出隐私保护区域的设置操作的流程图。
图7是示出根据第二实施例的隐私保护区域的设置画面的示例图。
图8是示出根据第二实施例的影像生成装置的示例性功能配置的框图。
图9是示出基于人体检测的初始掩模区域的注册处理的流程图。
图10是基于每个掩模区域的背景图像中的反映速度控制处理的流程图。
图11是示出影像生成装置的示例性硬件配置的框图。
具体实施方式
以下参照附图详细描述实施例。请注意，通过以下实施例呈现的配置仅是示例，并且本发明并不限于通过实施例呈现的配置。
<第一实施例>
根据本实施例，在剪影检测到的运动体区域，并使其与背景图像重叠的隐私保护图像生成方法中，提前指定运动体检测困难的区域。通过模糊化此区域中的初始背景图像而提前准备保护图像，并在生成隐私保护图像时将保护图像与背景图像重叠放置。其后，通过透明重叠放置剪影图像来生成隐私保护图像。
图1是示出隐私保护图像的生成原理的示意图。11a，11b，11c和11d分别表示时间t1处的输入图像110，背景图像130，前景掩模图像150和用作输出图像的隐私保护图像170。同理，12a，12b，12c和12d分别表示时间t2处的输入图像120，背景图像140，前景掩模图像160和用作输出图像的隐私保护图像180。
人111和人112存在于时间t1处的输入图像110和时间t2处的输入图像120中。人111在输入图像110(时间t1)和输入图像120(时间t2)之间移动。另一方面，人112是静止的，并且他/她的位置和姿势在输入图像110和输入图像120中大体保持一致。
基于输入图像从使用公知方法生成的背景模板生成背景图像130、140。人111在时间t1和时间t2之间的位置中移动，并被识别为运动体。因此，人111的图像在背景图像130、140中都不会出现。另一方面，由于人112从时间t1到时间t2保持静止，在时间t2处将他/她识别为背景142。即，在预定时间段内保持静止的被摄体(不移动的被摄体)被视作背景的一部分，并且此被摄体的图像出现在背景图像中。换言之，此被摄体的图像反映在背景图像中，并确定为背景。将在背景图像中进行反映之前的预定时间段称作背景化时间。
基于输入图像110和背景图像130生成时间t1处的前景掩模图像150。例如，通过输入图像110和背景图像130之间的对比来提取运动体区域，从而获得包括前景掩模151、152的前景掩模图像150，并将提取的运动体区域转化为预定的图案。在时间t2处的前景掩模图像160中，通过输入图像120和背景图像140之间的对比生成前景掩模161。在前景掩模图像160中，因为人112是作为背景142的背景图像140的一部分，所以与人112对应的前景掩模并不存在。
通过前景掩模图像150在背景图像130上的透明重叠来生成时间t1处的隐私保护图像170。因此，在时间t1处的隐私保护图像170中，将人111和人112显示为剪影图像171和172，并且保护他们的隐私。另一方面，通过前景掩模图像160在背景图像140上的透明重叠来生成时间t2处的隐私保护图像180。因此，尽管由于将人111显示为剪影图像181而在隐私方面受到保护，但人112在隐私方面没有受到保护，并且将其显示为背景142。
图2是示出根据用于解决前述问题(不能保护人112的隐私)的本实施例的隐私保护图像的生成原理的示意图。与图1类似，21a，21b，21c和21d分别表示输入图像210、背景图像220、前景掩模图像230和隐私保护图像240。输入图像210中的人211移动，并且不会出现在背景图像220中。因此，在背景掩模图像230中，生成与人211对应的前景掩模231。因此，在隐私保护图像240中，将人211显示为剪影图像241，并且保护其隐私。
另一方面，假定输入图像210中的人212从例如坐在椅子上起的长时间(超过背景化时间的时间段)内处于静止状态。请注意，静止状态指的是区域中的变化量小于预定阈值。在这种情况下，在背景图像中反映输入图像210中的人212的图像，并且人212的图像221出现在背景图像220中。在前景掩模图像230中没有生成人212的前景掩模，从而人212的隐私不能受到保护。
在本实施例中，为了实现人212的隐私保护，通过从作为部分图像213的输入图像210中删除包括人212的部分区域来生成背景掩模图像214。背景掩模图像214由于模糊化或马赛克处理的应用而处于隐私受保护的状态。通过使背景掩模图像214在背景图像220上重叠，而后与前景掩模图像230的透明重叠来生成隐私保护图像240。由此，人211显示为剪影图像241，并且人212包含在马赛克的图像242中。从而，人211和人212都在隐私方面受到了保护。
如上所述，在隐私保护图像240中与部分图像213对应的部分区域中，背景图像的更新结果(出现在背景图像220中的图像221)的反映受到限制。由此限制了背景图像的更新反映的区域被称作限制区域。
图3是示出作为根据第一实施例的图像生成装置的影像生成装置300的示例性功能配置的框图。影像生成装置300包括图像获得单元301、背景模板更新单元302、前景背景识别单元303、掩模图像生成单元304、背景图像生成单元305、图像合成单元306、输出单元307和参数设置单元308。
图像获得单元301获得通过摄像装置拍摄的摄像图像作为输入图像210。并不特别限制获得输入图像的格式和方法。例如，可以以诸如静止图像文件、运动图像文件和流图像等的任何格式获得输入图像，输入图像的获得方法可以是使用网络、存储卡或其他记录介质等的任何形式。请注意，在流图像的获得中，获得通过摄像装置当前拍摄的摄像图像。在静止图像文件和运动图像文件的情况中，输入图像是过去通过摄像装置拍摄并存储到存储装置中的图像。
背景模板更新单元302基于通过图像获得单元301获得的输入图像210执行用于更新背景模板的更新处理。前景背景识别单元303通过比较即刻前的输入图像和背景模板基于每部分区域来识别前景和背景。在此识别处理中，将输入图像的图像特征量和背景模板的图像特征量进行比较。要比较的图像特征量的示例包括每个像素的亮度值和每个块的频率分量，并且一些方法包含了多种图像特征量。此识别处理是所谓的背景差分处理，并且可以使用任何方法的背景差分。
掩模图像生成单元304基于通过前景背景识别单元303对前景和背景的识别结果来生成前景掩模图像230。即，例如，用于将运动体区域(前景)变为单色剪影的处理。背景图像生成单元305从背景模板生成背景图像220。此外，背景图像生成单元305通过使参数设置单元308从输入图像210生成的背景掩模图像214与从背景模板生成的背景图像220重叠来生成隐私受保护的背景图像。请注意，可以通过图像合成单元306来执行背景掩模图像214的合成。
图像合成单元306通过掩模图像生成单元304生成的前景掩模图像在与背景掩模图像重叠的背景图像上的透明重叠来生成隐私保护图像。可选地，模糊化与输入图像的前景掩模区域对应的部分，并将这部分通过透明重叠放置在背景上。输出单元307输出通过图像合成单元306生成的隐私保护图像。输出方法的示例包括呈现在显示器上，存储到文件以及网络分配。然而，通过输出单元307使用的输出方法并不限于特别的输出方法。请注意，如前述，图像合成单元306可以执行背景掩模图像的合成。在这种情况下，图像合成单元306通过前景掩模图像在背景图像(没有与背景掩模图像重叠)上的透明重叠以及通过背景掩模图像214在相应的位置处的重叠来生成隐私保护图像。
参数设置单元308设置背景模板更新单元302和背景图像生成单元305的参数。此外，参数设置单元308通过提供下文使用图5等描述的用户界面使用户能够设置限制区域。参数设置单元308通过从输入图像210获得与设置的限制区域对应的部分图像213，并向获得的部分图像应用模糊处理来准备背景掩模图像214。如上所述，背景图像生成单元305使背景掩模图像214与背景图像220重叠，或使用背景掩模图像214替换与背景图像220中的限制区域对应的部分区域。
图11是示出影像生成装置300的示例性硬件配置的图。影像生成装置300包括cpu11、rom12、ram13、显示装置14、输入装置15、外部存储16、通信i/f17和系统总线18。
cpu11整体地控制影像生成装置300的操作，并经由系统总线18控制各部件(12到17)。rom12是存储cpu11执行处理所必需的控制处理等的非易失性存储。请注意，可以在外部存储16和可拆卸存储介质中存储这些程序。ram13用作例如cpu11的主存储和工作区域。即，cpu11通过在执行处理时从rom12或外部存储16向ram13加载必要的程序等，并执行这些程序等来实现例如之前使用图3描述的各种类型的功能单元。
显示装置14是例如液晶显示装置，并在cpu11的控制下执行各种显示。例如，显示装置14显示下文使用图5描述的设置对话框画面。输入装置15向影像生成装置300输入用户操作。输入装置15包括诸如鼠标等定点设备。外部存储16存储例如cpu11使用程序执行处理时所需的各种类型的数据和各种类型的信息。外部存储16还存储例如通过cpu11使用程序等执行处理获得的各种类型的数据和各种类型的信息。
通信i/f17是用于与外部装置进行通信的界面。通信i/f17是例如lan界面。在本实施例中，通信i/f17与诸如lan等的网络21连接，并从与网络21连接的摄像装置22和服务器23获得拍摄的图像。请注意，期望将例如网络摄像机用作摄像装置22。系统总线18可通信地连接cpu11、rom12、ram13、显示装置14、输入装置15、外部存储16和通信i/f17。
下文描述了通过上述方式配置的影像生成装置300的操作。
图4是示出用于生成根据第一实施例的隐私保护图像的流程图。现在将使用图4的流程图和图2示出的图像描述隐私保护图像的生成步骤。首先，在步骤s401中，图像获得单元301获得输入图像210。接着，在步骤s402中，背景模板更新单元302基于获得的输入图像210更新背景模板。随后，在步骤s403中，前景背景识别单元303通过比较背景模板的特征量与输入图像210的特征量来识别背景和前景。在步骤s404中，掩模图像生成单元304基于作为背景和前景之间的识别结果获得的前景图像生成前景掩模图像230。此外，参数设置单元308通过从输入图像210删除与限制区域对应的部分图像213并向部分图像应用模糊处理来生成背景掩模图像214。请注意，可以在步骤s401的图像获得和后述步骤s406(图像合成)之间的任何时间内执行背景掩模图像214的生成，并可以与步骤s402到s405并列执行。
随后，在步骤s405中，背景图像生成单元305从背景模板生成背景图像220。在步骤s406中，首先，背景图像生成单元305使背景掩模图像214与背景图像220重叠，然后图像合成单元306通过透明重叠将前景掩模图像230放置在背景图像220上。随后，在步骤s407中，输出单元307输出合成结果。接着，在步骤s408中，确定处理的结束；如果要结束处理，则通过yes分支结束软件处理。请注意，结束处理是例如用户的停止拍摄指示。如果没有要结束处理，则处理返回步骤s401，并重复前述处理。当然，前述处理并不依赖于特定的os或平台。
图5示出了通过根据第一实施例的参数设置单元308提供的限制区域的设置画面的示例。设置对话框500包括图像显示部510和按钮配置部530。可以使用其他的设置对话框(未示出)指定诸如初始背景图像和输入图像等的任意图像作为在图像显示部510上显示的图像。请注意，初始背景图像是图像获得单元301从一系列图像的获得开始起最早生成的背景图像，并且可以是图像获得单元301最早获得的图像。
用户通过按下添加按钮531或532能够操作区域指定控制521。区域指定控制521由起始点522和多个顶点523构成，并且用户能够使用它们指定多边形的区域作为限制区域。能够使用诸如鼠标等的定点设备指定画面上的位置来移动并添加起始点和顶点。通过再次使用鼠标指针指定起始点522来确认多边形限制区域。其结果显示为例如限制区域520等。
在本实施例中，存在两种类型的限制区域的有利效果。通过添加按钮531带来的限制区域的有利效果是通过对指定限制区域应用模糊处理来限制指定限制区域中的背景图像的更新。这种方法是前述背景掩模图像214的生成方法，例如通过对与输入图像中的限制区域对应的部分图像应用模糊处理来生成背景掩模图像214。另一方面，通过添加按钮532带来的限制区域的有利效果是照旧使用指定限制区域的图像来限制背景图像的更新。例如，如果在初始背景图像上指定限制区域520，则使用初始背景图像中与限制区域520对应的部分图像作为背景掩模图像214。
按下删除按钮533将删除所选限制区域的设置。通过例如使用鼠标指针在限制区域内指定任意位置来选择限制区域。按下ok按钮541将存储限制区域的设置。按下取消按钮542将不存储限制区域的设置就结束设置对话框500。在这种情况下，维持设置对话框500启动前的设置状态。
图6是示出与设置对话框500相关的处理的流程图。在发出设置对话框500的启动指令后，参数设置单元308执行初始化(未示出)，并显示设置对话框500。接着，在步骤s610中，参数设置单元308等待操作事件的输入。在输入操作事件后(在本实施例中，在执行按钮531到533、541和542中的一者的按下操作后)，参数设置单元308对事件进行识别。
首先，在步骤s611中，如果确定事件是限制区域添加事件，则在步骤s612中，参数设置单元308执行用于添加限制区域的处理。这是通过添加按钮531、532的按下操作和后续在区域指定控制521上的操作来生成多边形区域的处理。这里，因为与掩模类型(模糊化、不进行处理)相关的处理相同，所以将一同进行例示。
如果事件不是限制区域添加事件，则在步骤s613中确定事件是否是限制区域删除事件。如果确定事件是限制区域删除事件，则在步骤s614中，参数设置单元308执行用于删除所选限制区域的处理。这是与删除按钮533的按下操作对应的处理。
如果事件不是限制区域删除事件，则在步骤s615中确定事件是否是限制区域选择事件。如果确定事件是限制区域选择事件，则在步骤s616中，参数设置单元308响应用户的指示编辑(移动)区域指定控制521的起始点522和顶点523。作为使用鼠标指针指定画面上存在的限制区域(例如，限制区域520)的结果产生限制区域选择事件。请注意，要在前述步骤s614中删除的限制区域是例如通过步骤s615的限制区域选择而选择的限制区域。
如果事件不是限制区域选择事件，则在步骤s617中确定事件是否是ok按钮按下事件(作为按下ok按钮541的结果产生的事件)。如果事件是ok按钮按下事件，则在步骤s618中，参数设置单元308确认设置对话框500上的当前设置。然后，参数设置单元308删除设置对话框500并结束对话框。如果事件不是ok按钮按下事件，则在步骤s621中确定事件是否是取消按钮按下事件(作为按下取消按钮542的结果产生的事件)。如果事件是取消按钮按下事件，则在步骤s619中，参数设置单元308结束对话框而不更新设置状态。如果在限制区域的添加处理(步骤s612)、限制区域的删除处理(步骤s614)和限制区域的选择处理(步骤s616)的完成后或执行期间输入操作事件，或者在步骤s621中确定事件是取消按钮按下事件，则重复步骤s610及后续步骤的处理。
根据上述第一实施例，在基于背景差分的隐私保护图像的生成中，将限制了基于输入图像的背景图像更新反映的限制区域指定为在显示时总是受保护的区域。通过这种方式，不论前景和背景间的识别结果如何，都能够通过隐私保护显示例如长时间静止的人。
<第二实施例>
尽管第一实施例描述了用户在设置对话框500上指定限制区域的配置，但限制区域的设置方法并不限于此。作为限制区域的设置方法的又一个实施例，第二实施例描述了自动添加人体区域作为限制区域的配置。
图7示出了根据第二实施例的设置对话框500的初始状态的示例。与第一实施例的不同在于自动添加按钮734的设定。如果按下自动添加按钮734，则针对图像显示部510上显示的图像执行人体检测处理，并将检测到的人体区域711、712作为候选区域。在这种状态下，如果按下ok按钮541，则参数设置单元308注册人体区域711和人体区域712作为限制区域。另外，用户能够删除不需要的候选区域。例如，通过指定人体区域712并按下删除按钮533能够仅设置人体区域711。用户不需要通过操作区域指定控制521指定限制区域；这样就简化了限制区域的设置操作。
图8是示出根据第二实施例的影像生成装置300的示例性功能配置的框图。与第一实施例的不同在于添加了人体检测单元810，并基于检测结果设置限制区域。
图9是示出通过人体检测单元810和参数设置单元308执行的限制区域自动设置处理的流程图。在通过按下自动添加按钮734启动本处理后，在步骤s901中，人体检测单元810获得图像。该图像是在图像显示部510上显示的图像；这里，它是通过图像获得单元301获得的输入图像。在步骤s902中，人体检测单元810从步骤s901中获得的图像检测人体。然后，在步骤s903中，人体检测单元810针对检测到的人体执行追踪处理。这里，人体检测能够包括使用人像的图案匹配方法、基于特征量的方法、基于机械学习的方法等，并不依赖于特定的人体检测方法。接着，为了防止错误检测，在步骤s904中，人体检测单元810提取在预定或更多帧数范围内执行了追踪的人体。在步骤s905中，参数设置单元308将提取的人体的区域注册为候选区域。
在候选区域的注册中，能够检查追踪结果，并且能够将注册限于运动量小于预定值的人体。因此，例如在图7中，能够将与静止的人对应的人体区域711的周围自动注册为掩模区域，并且能够从目标中排除与正在移动的人对应的人体区域712。
如上所述，根据第二实施例，要在隐私保护图像中显示的背景图像设置中，能够容易地将具有高隐私保护效果的区域设置为限制区域。
<第三实施例>
在第一和第二实施例中，通过使用对限制区域的图像应用模糊处理或马赛克处理获得的图像作为背景掩模图像，或通过使用与初始背景图像中的限制区域对应的部分图像作为背景掩模图像来保护隐私。在第三实施例中，通过针对限制区域比针对其他区域设置更长的背景化时间而在限制区域中保护隐私。
即，在第三实施例中，通过对不同的区域设置不同的背景化时间而继续隐私保护效果。例如，将诸如椅子周围的区域等在图像中当前不存在但可能将来会存在的静止的人的区域设置为掩模区域，并且针对掩模区域比针对周围区域设置更长的背景化时间。因为从人坐在椅上时到人在背景图像中作为背景反映时的时间段比在周围区域中长，因此隐私保护效果会持续很长时间。
根据第三实施例的功能配置与根据第一实施例的功能配置(图3)相似。此外，设置对话框与根据第一实施例的设置对话框(图5)相似。下文描述了用于被设置为限制区域的区域的处理。如上所述，鉴于第一和第二实施例通过处理用于显示的背景图像(通过背景掩模图像的重叠)来保护隐私，第三实施例通过基于每个区域改变背景模板的背景化时间来保护隐私。
现在将说明背景化时间。根据背景差分法，从输入图像提取特征量，并与背景模板来进行加权混合。此时，通过提高现存背景的贡献率能够延长在背景图像中进行反映前的时间段。因此，能够将背景化时间定义为针对背景模板的输入图像的贡献率。这里，通过使贡献率成为0来选择完全固定的背景。
图10是示出通过根据第三实施例的背景模板更新单元302执行的背景差分处理的流程图。在步骤s1001中，背景模板更新单元302获得输入图像。在下一步骤s1002的处理中，在图像内针对所有部分区域执行步骤s1003到s1006。在步骤s1003中，背景模板更新单元302应用(选择)预先规定的背景化时间作为初始值。接着，在步骤s1004中，背景模板更新单元302识别目标部分区域是否属于限制区域。例如，如果限制区域中包括50％或更多的部分区域，则确定此部分区域属于限制区域。如果目标部分区域属于限制区域，则步骤s1005中，背景模板更新单元302应用(选择)用于限制区域的背景化时间(比用于其他区域的背景化时间长)。在步骤s1006中，基于设置的背景化时间更新此部分区域的背景模板。通过这种方式，针对属于限制区域的部分区域，应用比用于其他区域的背景化时间长的背景化时间。
如上所述，根据第三实施例，能够针对以隐私保护为目标的限制区域设置长的背景化时间。这样就减缓了在限制区域中长时间静止的人的背景化，由此能够保护隐私。
<变型例>
尽管在第三实施例中针对用户设置的限制区域比针对其他区域设置了更长的背景化时间，但当然可以如在第二实施例中那样基于人体检测的结果设置限制区域。在这种情况下，将在比预定阈值长的时间段内检测到人体的区域用作限制区域，并针对此区域比针对其他区域设置更长的背景化时间。此外，尽管在第二实施例中从当前影像获得基于人体检测的背景掩模候选区域，但关于这点并无特别限制。可以通过从过去的录像中检测人体来设置限制区域。在这种情况下，在过去的录像中，可以将检测到人体的时间段的累计值超过预定阈值的区域设置为限制区域。此外，在第三实施例中，可以针对通过前述方式设置的限制区域比针对其他区域设置更长的背景化时间。通过这种方式，将背景图像中的人像的反映限制在过去频繁检测到人体的区域中，并且能够获得更精确的隐私保护。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。