专利名称：图像合成设备及其控制方法
技术领域：
本发明涉及图像合成设备和控制这种设备的方法。
背景技术：
在显示运动画面和游戏视频的设备中，有着所显示面孔被另一面孔替代的情况。 例如有一种系统，其中为街头游戏机装备了摄像机，从而可以用用户的面孔取代游戏中出 现的人物的面孔(参见已登记日本实用新型3048628的说明书)。此外，有一种系统自动跟 踪运动画面中人物面孔的运动并能够组成图像，在该图像中，将面孔图像转换成期望的形 状(参见日本专利申请公开文本No. 2002-269546的说明书)。 不过，在已经拍摄了用户面孔的情况下，在显示用户的所拍摄面孔时会出现问题。 具体而言，尽管已经想到用另一面孔替换用户的拍摄的面 L。但对于这种简单的替换来说， 常常不能知道在替换之前用户面孔如何出现。
发明内容
因此，本发明的一个目的是进行这样的设置，使得即使用另一图像替换用户的图 像，仍然能够知道用户的情况如何。 根据本发明，上述目的是通过提供一种图像合成设备实现的，所述图像合成设 备包括图像感测装置，用于感测对象图像并输出表示所述对象图像的图像数据；面孔 图像检测装置(面孔图像检测手段)，用于从已经从所述图像感测装置输出的图像数据 表示的对象图像检测面孔图像；面孔情况检测装置(面孔情况检测手段)，用于检测面 孔情况，所述面孔情况是由所述面孔图像检测装置检测到的面孔图像表示的面孔取向 (faceorientation)和表情的至少一种；替换装置(替换手段)，用于利用与所述面孔情况 检测装置检测到的面孔情况一致的合成面孔图像替换所述面孔图像检测装置检测到的面 孔图像；以及显示控制装置(显示控制手段)，用于控制显示单元，以便显示其中的面孔图 像已经被所述替换装置用合成面孔图像替换的对象图像。 本发明还提供了一种适于上述图像合成设备的控制方法。具体而言，本发明提 供了一种控制图像合成设备的方法，包括如下步骤感测对象的图像并输出表示对象图像 的图像数据；从通过图像感测获得的图像数据表示的对象图像检测面孔图像；检测面孔情 况，所述面孔情况是由所述面孔图像检测处理检测到的面孔图像表示的面孔取向和表情的 至少一种；利用与通过面孔情况检测处理检测到的面孔情况一致的合成面孔图像替换已由 面孔图像检测处理检测到的面孔图像；以及控制显示单元，以便显示其中的面孔图像已经 被替换处理用合成面孔图像替换的对象图像。 根据本发明，感测对象的图像并从图像感测获得的对象图像检测面孔图像。检测 所检测到的面孔的情况，所述情况是面孔取向和情绪的表情之一或两者。利用与检测到的 面孔情况一致的合成面孔图像替换检测到的面孔图像。显示面孔图像已经被合成面孔图像 替换的对象图像。
由于利用作为合成面孔图像的另一面孔图像替换通过图像感测获得的对象图像中的面孔图像，因此即使在不能显示对象面孔的情况下也能显示整个感测到的对象图像。具体而言，替换的合成面孔图像表现出与检测到的面孔图像相同的取向和情绪表情，表情的范例有喜悦、愤怒、忧伤和高兴等。因此，尽管未显示对象图像中的面孔图像，但仍能够弄清对象即人等的面部取向和表情是什么。 该替换装置(a)利用与所述面孔检测装置检测到的面孔情况一致的合成面孔图像替换所述面孔图像检测装置检测到的面孔图像，该合成面孔图像是由针对每种面孔情况存储于合成面孔图像数据存储装置中的合成面孔图像数据表示的；或(b)将预定面孔图像转换成与面孔检测装置检测到的面孔情况一致的合成面孔图像，并利用通过转换获得的合成面孔图像替换由面孔图像检测装置检测到的面孔图像。 结合附图，从以下描述将明了本发明的其他特征和优点，在附图的所有图示中相似的附图标记表示相同或类似的部分。
图1是示出了图像合成设备电气配置的方框图； 图2A和2B示出了合成面孔图像的范例； 图3是示出了图像合成设备执行的处理的流程图； 图4示出了通过图像感测获得的对象图像范例； 图5示出了其中的面孔图像已被替换的对象图像范例； 图6示出了通过图像感测获得的对象图像范例； 图7示出了其中的面孔图像已被替换的对象图像的范例； 图8和9示出了根据另一个实施例的合成面孔图像的范例； 图10是示出了图像合成设备执行的处理的流程图； 图11示出了根据另一实施例的装饰范例；以及 图12示出了根据本实施例的合成面孔图像的范例。
具体实施例方式
现在将参考附图详细描述本发明的优选实施例。 图1是示出了根据本发明第一实施例的图像合成设备20的电气配置的方框图。
根据本实施例的图像合成设备20感测对象15的图像并显示面孔图像1，出于合成的目的，已经用面孔图像1替换了通过图像感测获得的对象图像中包含的面孔图像。为了实现这一 目的，图像合成设备20包括合成面孔图像输入单元9，用于输入表示合成面孔图像1的合成面孔图像数据。将从合成面孔图像输入单元9输入的合成面孔图像数据施加到并暂时存储在数据存储单元7中。 图像合成设备20还包括用于感测对象15的图像的摄像机11。当摄像机11感测到对象15的图像时，通过图像输入单元10向面孔图像检测单元4输入表示对象图像的图像数据。面孔图像检测单元4从通过感测对象15的图像获得的对象15的图像检测面孔图像的位置。在检测到面孔图像的位置时，可以利用在特定帧前面的帧中检测到的面孔图像的位置和面孔取向等以更高速度和精度执行检测处理，以便在执行检测处理的同时突出接近前一帧中检测到的面孔情况的面孔图像。向面孔情况区分单元3输入表示面孔图像的检测位置的数据和表示对象图像的数据。由面孔情况区分单元3区分检测到的面孔图像表示的面孔情况(面孔取向以及表示人的情绪的表情)。将表示面孔情况的数据输入到合成图像产生单元2。 也将数据存储单元7中存储的合成面孔图像数据输入到合成图像产生单元2。合
成图像产生单元2产生合成图像，在该合成图像中，感测到的对象图像中包含的面孔图像
已经被与该面孔图像的面孔取向和表情一致的合成面孔图像替换。例如，如果对象图像中
的面孔图像具有水平取向，将利用水平取向的合成面孔图像替换对象图像中的面孔图像。
此外，如果对象图像中的面孔图像表达的表情是愤怒的表情，那么将利用具有愤怒表情的
合成面孔图像替换对象图像中的面孔图像。于是可以事先针对每种面孔取向和表情产生和
存储面孔取向和表情一致的合成面孔图像，并可以读出面孔取向和表情与检测到的面孔部
分一致的合成面孔图像并与对象图像组合。此外，可以事先存储具有预定面孔取向和表情
的合成面孔图像，可以从所存储的合成面孔图像产生具有所检测面孔图像表达的面孔取向
和表情的合成面孔图像，并可以将所产生的合成面孔图像与对象图像组合。 从图像输出单元5向显示单元6施加表示已经与合成面孔图像组合的对象图像的
图像数据。结果，在显示单元6的显示屏上显示面孔图像已经被合成面孔图像替换的对象图像。 例如，在从人行道摄像机(pavement camera)广播视频的情况下，存在这样的情况，即将过路人拍摄在视频中而且在考虑到人的肖像权时最好不要广播过路人的面孔。在这种时候，不会按照实际情况广播过路人的面孔。与之形成对比，可以广播的是在考虑到过路人表情和面孔取向的情况下利用合成面孔图像替换了过路人面孔的视频。合成面孔图像可以是例示，例如"微笑面孔"标志或表示名人或动画要人的人物。此外，如果仅仅面孔取向就足够了，那么消除面孔图像并以可以看出面孔取向的方式显示边界就足够了。
图2A和2B示出了从预定合成面孔图像产生具有不同取向的面孔图像的方式。
图2A是预定合成面孔图像41的范例，这是一幅二维面孔图像。利用公知的软件从二维面孔图像产生三维图像。例如，在产生三维面孔图像时，利用一种被称为"线帧模型"的三维表示法通过表示固体轮廓的线条特定地表达三维图像。可以通过在线帧模型的控制点位置定义构成面孔的构成要素(例如眼睛、嘴、鼻子和眉毛)的方式调节它们，调节控制点位置以及控制三维面孔图像以变为调节的控制点位置，从而改变三维面孔图像的取向和表情。 此外，可以将右转线帧变换方法或笑脸线帧变换方法等作为表格事先存储起来，并可以根据变换方法变换合成面孔图像。 在图2B中，已经通过这种方式将预定的合成面孔图像41变为向左偏的合成面孔
图像42。显然，向左偏的取向不会构成限制，也可以对其他取向或表情做出改变。 图3是示出了图像合成设备20执行的处理的流程图。该处理检测对象面孔图像
上的表情并将对象图像和表情与检测到的表情一致的合成面孔图像组合。此外，合成面孔
图像不是通过事先产生多个合成面孔图像获得的合成面孔图像，而是通过从具有预定表情
的合成面孔图像产生具有检测到的表情的合成面孔图像而获得的合成面孔图像。 首先，向图像合成设备20输入表示有预定表情的合成面孔图像的合成面孔图像数据(步骤31)。将这样输入的合成面孔图像数据存储在数据存储单元7中。以固定周期，例如1/60秒不断感测对象的图像(步骤32)。 通过这种固定周期成像获得活动图像，从所获得的活动图像提取一个帧的对象图像(步骤33)。从对象图像的提取帧中检测到面孔图像(步骤34)。 图4是已提取的对象图像50的一个帧的范例。对象图像50包含人的图像51。从对象图像50检测到人的图像51的面孔图像52。 再次参考图3，检测所检测的面孔图像52表示的面孔取向(可以检测面孔的表情而不是取向，或者可以这样设置，从而检测取向和表情两者)(步骤35)。如果检测面孔取向，则产生将采用检测的面孔取向的合成面孔图像(逐个图案合成的面孔图像)(步骤36)。在实现了这一目的时，用所产生的逐个图案合成的面孔图像替换通过图像感测获得的对象图像的面孔图像(步骤37)。 图5是面孔图像52已经被替换的对象图像53的范例。 对象图像53包括人物图像54。人物图像54的面孔图像已经被逐个图案合成的面孔图像55替换。已经替换了面孔图像52的逐个图案合成的面孔图像55面向右方，这与替换之前图4中的面孔图像52所表示的面孔取向相同。尽管面孔图像已经替换，也可以在一定程度上看出原来的面孔图像的情况。 再次参考图3，在显示单元6的显示屏上显示面孔图像已经被逐个图案合成的面孔图像替换的对象图像(步骤38)。如果有后续帧(步骤39中的"是")，重复步骤33到38的处理。 在上述实施例中，对象图像中包含的面孔图像被具有与该面孔相同的取向的合成面孔图像替换。然而，对象图像中包含的面孔图像也可以被表情而不是取向与该面孔相同的合成面孔图像替换。 图6是图像感测获得的对象图像50A范例。 对象图像50A包括人物图像51A。以上述方式从人物图像51A中检测面孔图像52A。检测所检测的面孔图像52A的表情，用具有检测到的表情的合成面孔图像替换面孔图像52A。 图7是面孔图像52A已经被替换的对象图像56的范例。 对象图像56包括人物图像57，人物图像57的面孔图像已经被合成面孔图像58替换。假设已经判定图6中所示的对象图像的面孔图像52A的表情为微笑的表情，在图6中所示的对象图像56中替换的合成面孔图像58将是笑脸。即使在面孔图像已经替换的情况下，也可以查明其替换之前面孔图像52A上的表情。 在上述实施例中，区分面孔取向或表情，并利用合成面孔图像替换面孔图像。然而，可以这样设置，从而区分面孔取向和表情两者，并替换面孔取向和表情都一致的合成面孔图像。 图8到10示出了本发明的另一个实施例。本实施例事先产生合成面孔图像。
图8示出了具有不同取向的合成面孔图像的范例。 不同取向的合成面孔图像包括分别具有面向左取向、向左偏取向、前取向、向右偏取向和面向右取向的合成面孔图像71、72、73、74和75。这些不同取向的合成面孔图像71、72、73、74和75是事先产生和存储的。通过上述方式，选择取向与从通过图像感测获得的对象图像检测到的面孔图像取向一致的合成面孔图像，然后用所选的合成面孔图像替换对象图像中的面孔图像。 图9示出了具有不同表情的合成面孔图像范例。 具有不同表情的合成面孔图像包括分别表现出正常表情、惊讶表情、笑脸表情、哭泣表情和愤怒表情的合成面孔图像81、82、83、84和85。这些具有不同表情的合成面孔图像81、82、83、84和85是事先产生和存储的。通过上述方式，选择表情与从通过图像感测获得的对象图像检测到的面孔图像表情一致的合成面孔图像，然后用所选的合成面孔图像替换对象图像中的面孔图像。 在上述范例中，不同取向的合成面孔图像71、72、73、74和75以及具有不同表情的合成面孔图像81、82、83、84和85均已经产生和存储。然而，可以这样设置，从而针对每种取向产生和存储具有不同表情的合成面孔图像。在这种情况下，由于要针对每种取向存储具有不同表情的合成面孔图像，因此将存储25种面孔图像。 图10是示出了图像合成设备执行的处理的流程图。用类似的步骤标号表示图10中与图3所示那些相同的处理步骤，不需要对这些步骤再次详细加以描述。
向图像合成设备20输入表示有预定表情和取向的合成面孔图像的合成面孔图像数据(步骤31)。这样做完之后，如图8所示产生面孔取向一致的合成面孔图像(逐个图案合成的面孔图像)(或如图9所示产生的与表情一致的逐个图案合成的面孔图像)(步骤
61) 。在数据存储单元7中存储表示已产生的逐个图案合成的面孔图像的图像数据(步骤
62) 。 之后，以类似于图3所示处理的方式，检测通过图像感测获得的对象图像中的面孔图像，并检测面孔取向(表情)(步骤32到35)。如图8所示，从逐个图案合成的面孔图像选择面孔取向与检测到的面孔取向一致的图像(步骤63)，并用所选的图像替换面孔图像(步骤37)。在已经检测出面孔图像的表情的情况下，如图9所示，从逐个图案合成的面孔图像选择表情与检测到的表情一致的图像，并用所选的图像替换面孔图像。此外，在已经检测出面孔图像的面孔取向和表情两者的情况下，从多个逐个图案合成的面孔图像选择面孔取向和表情与检测到的面孔取向和表情一致的图像，并用所选的图像替换面孔图像。
图11和12示出了本发明的另一实施例。 本实施例向合成面孔图像添加了装饰。图11示出了与表情一致的装饰。装饰91、92、93、94和95分别是根据正常表情、惊讶表情、笑脸表情、哭泣表情和愤怒表情决定的，且这些装饰已经被存储。根据从对象图像检测到的面孔图像表情向合成面孔图像添加装饰。
图12示出了已经添加了装饰的合成面孔图像的范例。事先在存储器中存储的是具有正常表情的合成面孔图像101、具有惊讶表情的合成面孔图像102、具有笑脸表情的合成面孔图像103、具有哭泣表情的合成面孔图像104以及具有愤怒表情的合成面孔图像105，分别为这些合成面孔图像装备分别与根据正常表情、惊讶表情、笑脸表情、哭泣表情和愤怒表情的表情一致的装饰91、92、93、94和95。可以用表情和装饰与对象图像中面孔上的表情一致的合成面孔图像替换对象图像中的面孔图像。 此外，可以采取这样的布置，其中，用已经根据对象图像中面孔取向改变了装饰取向的合成面孔图像来取代对象图像中的面孔图像。 由于可以想到很多显然非常不同的本发明实施例而不脱离其精神和范围，显然，
7除了如所附权利要求界定的之外，本发明不限于其具体实施例。
权利要求
一种图像合成设备，包括图像感测装置，用于感测对象图像并输出表示所述对象图像的图像数据；面孔图像检测装置，用于从由已经从所述图像感测装置输出的图像数据表示的对象图像检测面孔图像；面孔情况检测装置，用于检测面孔情况，所述面孔情况是由通过所述面孔图像检测装置检测到的面孔图像表示的面孔取向和情绪表情中的至少一种；替换装置，用于利用与通过所述面孔情况检测装置检测到的面孔情况一致的合成面孔图像替换通过所述面孔图像检测装置检测到的面孔图像；以及显示控制装置，用于控制显示单元，以便显示其中的面孔图像已经被所述替换装置用合成面孔图像替换的对象图像。
2. 根据权利要求1所述的设备，其中所述替换装置利用与通过所述面孔检测装置检测到的面孔情况一致的合成面孔图像替换通过所述面孔图像检测装置检测到的面孔图像，该合成面孔图像是由已针对每种面孔情况存储于合成面孔图像数据存储装置中的合成面孔图像数据表示的；或者将预定面孔图像转换成与通过所述面孔检测装置检测到的面孔情况一致的合成面孔图像，并利用通过所述转换获得的合成面孔图像替换通过所述面孔图像检测装置检测到的面孔图像。
3. —种控制图像合成设备的方法，包括如下步骤感测对象图像并输出表示所述对象图像的图像数据；从由通过图像感测获得的图像数据表示的对象图像检测面孔图像；检测面孔情况，所述面孔情况是由通过所述面孔图像检测处理检测到的面孔图像表示的面孔取向和情绪表情中的至少一种；利用与通过所述面孔情况检测处理检测到的面孔情况一致的合成面孔图像替换通过所述面孔图像检测处理检测到的面孔图像；以及控制显示单元，以便显示其中的面孔图像已经被替换处理用合成面孔图像替换的对象图像。
全文摘要
本发明涉及图像合成设备及其控制方法。输入并存储用于替换面孔图像的合成面孔图像。感测对象的图像以获得对象图像。从对象图像检测面孔图像，检测通过面孔图像表示的面孔取向和表情。用于具有检测到的面孔取向和表情的合成面孔图像替换对象图像中的面孔图像。在显示单元上显示面孔图像已经被替换的对象图像。
文档编号G06T11/60GK101715069SQ20091017637
公开日2010年5月26日 申请日期2009年9月28日 优先权日2008年9月30日
发明者野中俊一郎 申请人:富士胶片株式会社