从动画卡通模板自动生产含有叠加脸孔的视频动画卡通的方法

专利名称：从动画卡通模板自动生产含有叠加脸孔的视频动画卡通的方法
技术领域：
本发明涉及自动录像制作。特别是，本发明是一个自动生产视频动画卡通的方法， 该视频动画卡通含有用户提供的脸孔，叠加在一个可分派的卡通人物的视频序列上。
背景技术：
一个视频动画卡通包括一序列将被一帧过后又一帧播放的图像帧。一个卡通人物 是指一个绘制成类似人类，动物或其他的物件，在视频动画卡通的一帧图像帧内的图像。人 类或其它动物的摄制或绘制的脸孔可能被叠加在每个卡通人物上。视频动画卡通内的每个 含有叠加脸孔的图像帧目前是以手工如下生产1.首先必须为图像帧提供卡通人物。他们可以事先被任何其他的方法所生产。2.每一个将被叠加的脸孔必须是从所有可用的脸孔当中选择出来的正确脸孔，并 显示出其所需的图像帧的相应的卡通人物的脸部表情。3.使用一个编辑图像的计算机软件为每个将被叠加的脸孔做必须的尺寸调整和 旋转，以适合其相应的图像帧的卡通人物。4.使用一个编辑图像的计算机软件为图像帧的每个将被叠加的脸孔做必须的剪 裁，定位和粘贴到相应的卡通人物上，以作为该卡通人物的脸孔。5.然后就可以将卡通人物，连同叠加的脸孔，叠加到一个可选的背景图像上，以产 生最终的图像帧。然后使用编辑视频的电脑软件，将所有的图像帧合并成最终的视频动画卡通，并 可以选择加入背景音频。该含有叠加的脸孔的视频动画卡通的手工生产耗时并且辛苦，解 释随着如下1.对于视频动画卡通的每个图像帧，被叠加的脸孔需要手工选择，调整尺寸，旋 转，剪裁和定位，以便适合相应的卡通人物。可能还需要增加一个背景图像。这一过程，即 使是非常有经验和快速的计算机软件的用户，通常每帧图像也需要20秒或更多。即使每个 图像帧只需要20秒，生产一分钟(60秒)长度，120帧，每秒2帧速率的视频动画卡通也将 需要40分钟(2400秒)。2.如果必须要改变被叠加的脸孔，每个受影响的图像帧就要重复这个过程。本发明的目的是通过使用可分派的卡通人物的视频序列，自动化和加快含有叠加 脸孔的视频动画卡通的生产。这些卡通人物是根据本发明的指导方针所绘制。连同本发明 的指导方针，本发明能够高度准确地检测并识别这些卡通人物原来的脸部，并正确地将相 应的用户提供的脸孔叠加在它们上面。有了本发明，不同的用户可以轻易和迅速地提供不 同的用户提供的脸孔和背景，至相同的可分派的卡通人物的视频序列，来产生许多不同的 最终的视频动画卡通。国际专利W002052565是另一个自动录像制作的方法。但是，它和本发明不同，因 为它反而使用“可分派的方式”来自动编辑用户提供的视频，并且没有提供具体的规定来检测和识别在视频内的脸孔。国际专利W096002898是一个自动绘制视频内用户提供的脸孔上的嘴巴的方法， 而中国专利CN1710613是一个自动绘制视频内的用户提供的脸孔的脸部表情的方法。这两 种方法和本发明不同，因为他们注重根据音频输入来绘制用户提供的脸孔，而并没有提出 具体的规定来检测，识别或更换一个视频内的脸孔。日本专利JP2002008057和美国专利20030228135是以用户提供的脸孔取代一个 视频内的一个真人的脸孔的两种方法。本发明和他们在以下方面不同1.本发明取代一个或多个卡通人物的脸部，该脸部是根据本发明的指导方针所绘 制，而日本专利JP2002008057和美国专利20030228135都被设计来取代一个真人的脸孔。2.本发明检测卡通人物的脸部的准确性高，因为卡通人物的脸部是根据本发明的 指导方针所绘制的。日本专利JP2002008057和美国专利20030228135都没有这么高的准 确性，因为真人的脸孔的计算机化检测并不完美。3.本发明高度准确地辨认，并且用相应的用户提供的脸孔取代，一个或多个卡通 人物的脸部。日本专利JP2002008057和美国专利20030228135都只关注绘制单一一个人 的脸孔，而没有制定准确的脸部识别方法。

发明内容
本发明的目的如下1.本发明的目的是自动化和加快含有用户提供的脸孔，叠加在卡通人物上的视频 动画卡通的生产。本发明是要明显的快过相应的手工过程。例如，要生产出每秒2帧，一 分钟长度的视频动画卡通，当使用普遍在目前市场上的个人计算机时，本发明应需要少过1 分钟，而相对的手工过程可以需要40分钟或以上。2.本发明的目的是，对于不同的用户提供的脸孔和背景，可重复。这让同一个含有 卡通人物的视频序列可以分派给许多不同的用户。然后，不同的用户可以提供不同的脸孔 和背景至相同的含有卡通人物的视频序列，以产生许多不同的最终的视频动画卡通。一个 生产和分派含有卡通人物的视频序列，给不同的用户的新行业就可能会被创建。发明的概要在这份文件中，一个“动画卡通模板”应指的是一个包括一序列卡通人物的视频卡 通，该动画卡通模板可分派给许多不同的用户。有了本发明，不同的用户可以添加不同的用 户提供的脸孔，背景图像和音频至相同的动画卡通模板，来自动产生许多不同的最终的视 频卡通。在这份文件中，一个“原来的脸部”应指的是一个动画卡通模板内的一个卡通人物 的脸部，一个用户提供的脸孔将叠加和覆盖在该脸部上。在这份文件中，一个“叠加的脸孔”应指的是一个用户提供的脸孔，该脸孔叠加和 覆盖在动画卡通模板内的一个卡通人物的原来的脸部上。在动画卡通模板内，背景和卡通人物的原来的脸部是根据本发明的指导方针所绘 制的。该指导方针被设计为自然和容易遵循。由于只是一套指导方针，当动画卡通模板被 分派给不同的用户时，成本或工作不会因而增加。根据本发明的指导方针，动画卡通模板的每帧图像帧内的卡通人物可能连同一个背景图像被完整地绘制。如果没有，背景就必须是一个能被一个背景检测算法检测到的一 致的颜色。同样的，如果用户提供的脸孔有一个背景，而且该背景是不可以叠加到卡通人物 上的，该背景也必须是一个能被一个背景检测算法检测到的一致的颜色。本发明的指导方针允许卡通人物的原来的脸部，连同它们的脸部颜色，脸部表情， 尺寸，旋转，位置与剪裁，非常准确和有效率地被一个简单的脸部检测算法所检测到。本发明涉及检测图像内颜色一致的区域(背景和原来的脸部)。为了确保这些区 域的颜色是真的一致，本发明可以使用任何现有的和已知的图像过滤算法(例如中值过 滤和K-means算法)来过滤掉噪声和细微的颜色变动，如果有的话，在图像内看似颜色一致 的区域内。本发明可以使用任何现有的和已知的背景检测算法来检测图像的颜色一致的背 景。图像不被检测为背景的其余区域就是检测到的前景。本发明可以使用任何现有的和已知的脸部检测算法来检测在动画卡通模板的图 像帧内的原来的脸部。但是，既然原来的脸部是根据本发明的指导方针所绘制，本发明就使 用一个特别设计来检测原来的脸部的脸部检测算法。该特设的脸部检测算法明显地更准 确，更快速，但比一般的脸部检测算法简单。该脸部检测算法也检测动画卡通模板内的原来 的脸部的脸部颜色，脸部表情，尺寸，旋转，位置与剪裁。对于每个用户提供的脸孔，用户将需要为其相应的原来的脸部指定一个脸部颜色 和一个脸部表情。如果没有，默认的脸部颜色和表情会被分配。对于动画卡通模板的图像 帧内的每个检测到的原来的脸部，本发明将选择拥有最佳匹配的用户指定的脸部颜色和表 情的用户提供的脸孔。然后根据检测到的原来的脸部的尺寸，旋转和位置，该选定的脸孔将 被调整尺寸，旋转和定位。如果图像帧内的其他前景物体对检测到的原来的脸部有任何剪 裁，该调整过尺寸，旋转过和定位过的选定的脸孔也会相应地被剪裁。同样的，该调整过尺 寸，旋转过和定位过的选定的脸孔的任何检测到的背景也会被剪裁掉。对于动画卡通模板的每帧图像帧，一个相应的最终的视频动画卡通的新图像帧会 被创建。用户提供的背景图像，如果有的话，会被调整尺寸以适合和填满这个新图像帧。动 画卡通模板的图像帧的检测到的前景，减去检测到的原来的脸部，将被粘贴到新图像帧内， 并在背景图像上，如果有的话。选定的，调整过尺寸，旋转过，定位过和剪裁过的用户提供的 脸孔，跟着被粘贴到新图像帧上各自的位置，并在背景和已粘贴的前景之上。每个新图像帧然后按其原来的视频序列被组装成最后的含有叠加脸孔的视频动 画卡通。可选的用户提供的音频，如果有的话，也可能被添加进最后的视频动画卡通内。


图1显示了一个软件程序的图形用户界面的一个例子，该例子是本发明的首选体 现。图2显示了本发明的概述，连同输入，输出和本发明的各个阶段。图3显示了本发明的两种不同的输出视频卡通的例子，该例子通过加入不同的用 户提供的脸孔和不同的背景到相同的动画卡通模板而被生产出来。图4显示了根据本发明的指导方针，绘制卡通人物的原来的脸部的正确和不正确 的方法的例子。
图5显示了一个方法的例子，该方法定位原来的脸部的眼睛和嘴巴至类似一个真 人的脸孔，以及用来确定该定位是否类似一个真人的脸孔。图6显示了根据本发明的指导方针所绘制，卡通人物的原来的脸部的各种脸部表 情的例子。图7显示了根据本发明的指导方针所绘制，卡通人物的原来的脸部的各种旋转的 例子。图8显示了一个本发明可以使用的背景检测算法的例子的流程图，连同该算法的 输入和输出的例子。图9显示了一个准确，快速而简单的脸部检测算法的流程图，连同该算法的输入 和输出的例子，该算法是特别设计来检测动画卡通模板的图像帧内的原来的脸。图10显示了本发明的“图像融合”阶段的数据流图，该阶段结合一帧动画卡通模 板的图像帧，用户提供的脸孔和一帧用户提供的背景图像，成为最终输出的视频动画卡通 的一帧图像帧。
具体实施例方式首选体现的说明自此之后将讨论本发明的首选体现的细节，并且参考伴随的图画。虽然提供了例 子，本发明无意受限于此首选体现，但是要给予尽可能广泛的范围，并且同在此披露的原则 和特点一致。本发明的首选体现，是一套在一台有足够快速计算能力的计算机上运行的计算机 软件程序。一台普遍在当前市场上的个人计算机，就能够提供所需的计算能力。图1显示 了一个该软件程序的图形用户界面的例子。该图形用户界面允许用户提供以下的输入1.指定一个在视频文件形式的动画卡通模板(图1文本框1. 1)。2.选择性地指定动画卡通模板的一致的背景颜色(图1组合框1. 2)。3.选择性地供应一个或多个用户提供的脸孔，其中的每个脸孔都是在图像文件的 形式(图1组合框1. 3和文本框1. 4)。4.对于每个用户提供的脸孔，选择性地指定其相应的卡通人物的原来的脸部的脸 部颜色和脸部表情(图1组合框1. 5)。如果没有，一个默认的脸部颜色或脸部表情将被分 配。5.选择性地提供一个或更多背景图像文件(图1组合框1. 6和文本框1. 7)。6.选择性地提供一个音频文件(图1文本框1. 8)7.指定一个在视频文件的形式的输出视频动画卡通(图1文本框1. 9)。在用户提供输入和点击“创建视频动画卡通”按钮后(图1项目1. 10)，软件程序 会利用本发明自动组合用户所有的输入，成为最终输出的含有叠加脸孔的视频动画卡通。 参考图2所示的发明概述，本发明会从以下的用户输入媒体自动生产含有叠加脸孔的视频 动画卡通1. 一个在一个视频形式的动画卡通模板。2. 一个或多个可选的用户提供的脸孔，其中的每个脸孔是在一个图像的形式。3. 一个或多个可选的背景图像。
4. 一个可选的音频。参考图2，本发明包括以下阶段1.根据本发明的指导方针的动画卡通模板的生产(图2项目2. 1)2.每个用户提供的脸孔的脸部颜色和表情的规格(图2项目2. 2)3.图像过滤(图2项目2. 3和2. 4)4.背景检测(图2项目2. 5和2. 6)5.脸部检测(图2项目2. 7)6.图像融合(图2项目2· S)7.录像制作(图2项目2· 9)阶段1和2是提供用户输入的“准备阶段”，而其余阶段3至7是自动组合输入媒 体成为最后输出的视频动画卡通的“自动视频生产阶段”。每个用户提供的脸孔可以在“图 像融合”阶段前，随时通过“图像过滤”和“背景检测”阶段。例如，它们可以在当每个用户 提供的脸孔被提供时通过。另一方面，由于动画卡通模板的图像帧是在一个序列中，每帧图 像帧将一帧过后又一帧地通过本发明的“自动视频生产阶段”。以下各节将说明本发明的每 个阶段。1、根据本发明的指导方针的动画卡通模板的生产这是一个提供动画卡通模板的准备阶段。一个动画卡通模板是一个包括卡通人物 的视频序列的视频动画卡通，该动画卡通模板可分派给许多不同的用户。有了本发明，不同 的用户可以添加不同的用户提供的脸孔，背景图像和音频至相同的动画卡通模板，以产生 许多不同的最终的视频动画卡通。图3显示了通过添加不同的用户提供的脸孔和不同的背 景至相同的动画卡通模板所制作的“视频动画卡通1”和“视频动画卡通2”，两个不同的最 后的视频动画卡通的图像帧的例子。虽然动画卡通模板可以由任何其他的方法制作，在动画卡通模板内，背景和卡通 人物原来的脸部必须根据本发明的指导方针所绘制。该指导方针被设计为自然和容易遵 循。由于只是一套绘制背景和原来的脸部的指导方针，当动画卡通模板被分派给许多不同 的用户时，成本或工作不会因而增加。以下的小节解释该背景和动画卡通模板的原来的脸 部的指导方针1.1背景的指导方针动画卡通模板的每个图像帧内的卡通人物可能连同一个背景图像被完整地绘制 成，如图3项目3.1所示。如果不是，背景就必须颜色一致并覆盖图像很显著的一大部分 (例如超过10% )，如图3项目3. 2和3. 3所示。此外，图像帧的大部分的边界(例如超 过50% )应是在该一致的背景颜色。对于图3项目3. 1，它没有颜色占有超过它50%的边 界，因此防止它的任何颜色被误以为是背景颜色。有了本发明的指导方针，颜色一致的背景可以准确而有效地被一个背景检测算法 检测到。然后，在本发明的“图像融合”的阶段，检测到的颜色一致的背景可能被一个可选 的用户提供的背景图像所取代。1. 2卡通人物的原来的脸部的指导方针本发明的指导方针允许原来的脸部，连同它们的脸部颜色，脸部表情，尺寸，旋转， 位置和剪裁，准确而且高效地被一个脸部检测算法检测到。该指导方针如下
1.参考图4项目4. 1，每个卡通人物原来的脸部必须有两只眼睛和一个嘴巴，并完 全嵌入在脸上。这两只眼睛和嘴巴是最有代表性的脸部特征，并被需要来显示脸部表情。 这是因为眼睛和嘴巴的形状和尺寸可以显着地改变。其他的脸部特征，如鼻子或胡须，的形 状和尺寸几乎是固定的。有了两只眼睛和嘴巴，就不需要其他的脸部特征。因此，图4项目 4. 4和4. 5不可以是原来的脸部，因为在它们之内的嵌入部分不是太少，就是太多。这也意 味着眼睛和嘴巴不能重叠，甚至互相接触。2.参考图4项目4. 1，该原来的脸部，除了眼睛和嘴巴，必须是在一个一致的颜色。 这个一致的颜色是该原来的脸部的脸部颜色。3.参考图4项目4.1，嘴巴必须明显大于每只眼睛，但并不是非常大(例如2至 10倍大于每只眼睛)。因此，图4项目4. 6不可以是原来的脸部，因为没有足够大的部分可 以是嘴巴。4.参考图4项目4. 1，两只眼睛必须有类似的尺寸(例如低于20%的差距)。因 此，图4项目4. 7不可以是原来的脸部，因为其中两个最小的部分没有类似的尺寸。5.参考图4项目4. 1，两只眼睛和嘴巴的尺寸，相对于原来的脸部完整而无剪裁的 圆形的尺寸，必须类似一个真人的脸孔(例如在2%至40%之间)。因此，图4项目4. 8不 可以是一个原来的脸部，因为它的嵌入部分都太小。在另一个极端，图4项目4. 9也不可以 是一个原来的脸部，因为它的嵌入部分都太大。6.参考图4项目4. 1，两只眼睛一定要大到有足够的可见度(例如对于一个320 乘240的图像，每只眼睛应该有至少25个像素)。如果眼睛太小，它们可能会被误诊为“椒 盐噪声”，并在本发明的“图像过滤”的阶段被低通滤波器过滤掉。7.参考图4项目4. 1，两只眼睛之间的最短距离必须足够容纳另一只眼睛的尺寸。 因此，对于图4项目4. 9，所有的部分也太过靠近在一起来形成一个原来的脸部。8.参考图4项目4. 1，原来的脸部的两只眼睛必须是在同一个一致的颜色，但明显 的和脸部颜色是不同的颜色。因此，图4项目4. 10不能是原来的脸部，因为它的两个较小 的嵌入式部分是不同的颜色。9.参考图4项目4. 1，原来的脸部内的一个嘴巴必须是在一个一致的颜色，但明显 的和脸部颜色是不同的颜色。为了提高脸部检测的准确性，原来的脸部的两只眼睛和嘴巴 可能需要是相同的一致的颜色。然而，这是可以选择的。10.参考图4项目4. 1，一个原来的脸部的眼睛和嘴巴的位置安排，必须类似一个 真正正常的人脸。因此，图4项目4. 11不可以是一个原来的脸部，因为它的眼睛和嘴巴的 位置安排并不类似一个真正正常的人脸。本发明可以使用任何方法来检查原来的脸部的眼 睛和嘴巴的位置安排。图5显示了一个方法的例子，说明如下10. 1.首先，两只眼睛的中心被排列在同一个水平，而嘴巴被置低于眼睛下(图5 项目5.1)。一只眼睛的“中心”始终被定义为是该眼睛的“质量的中心”。10. 2.第二，兴建一个正四方形，其左上和右上角分别位于两只眼睛的中心(图5 项目5. 2)。10. 3.第三，从正四方形的中心按比例将它扩大到两只眼睛都刚好在正四方形内 (图5项目5. 3)。10. 4.最后，扩大后的正四方形的下半部被分为三个相等的矩形子区域(图5项目5.4)。要像一个真人的脸孔，原来的脸部的嘴巴必须整个在扩大后的正四方形的下半部内， 而且嘴巴的中心必须位于中间的矩形子区域内。同样的，嘴巴的“中心”也始终被定义为是 该嘴巴的“质量的中心”。11.原来的脸部的尺寸和位置是它在图像帧内的实际尺寸和位置。12. 一个原来的脸部的脸部表情是对于脸上的眼睛和嘴巴的外观与形状的描述。 本发明可以使用任何方法来描述脸部表情。图6显示了这样的一个方法的例子，其中一个 长方形的眼睛或嘴巴被看成是闭的，而所有其他形状被看成是开的。例如，对于图6项目
6.5，其脸部表情是“左眼开，右眼闭，嘴巴闭”。虽然可以将脸部表情细分为更多不同形状， 该眼睛和嘴巴的形状应该被鲜明地绘制，以便脸部表情能被准确确认。13.参考图7，原来的脸部的旋转是眼睛和嘴巴在脸上一起旋转的角度，该旋转以 脸部的中心为轴心，并相对于垂直的位置。当该脸部是在垂直的位置时，两只眼睛的中心是 在同一个水平而嘴巴是在低于眼睛之下，旋转的角度是零度(图7项目7. 1)。14. 一个原来的脸部的剪裁是由于相同的图像帧中的其他物体部分掩盖了原来的 脸部。例如，在图3项目3. 1，3. 2和3. 3，戴帽子的卡通人物的黑色原来的脸部全都被帽子 部分剪裁。如果被叠加的脸孔不要被剪裁，那原来的脸部必须是完整的圆形。例如，在图3 项目3. 1，3. 2和3. 3，穿着长裙的卡通人物的灰色原来的脸部是完整的圆形，因此没有被剪 裁。如果原来的脸部不是完整的圆形，而是部分被其他物体所掩盖，那叠加的脸孔也将被剪 裁和部分被这些其他物体所掩盖。例如，在图3项目3. 8，3. 9，3. 10，3. 14，3. 15和3. 16，戴 帽子的卡通人物的叠加的脸孔全都被帽子剪裁。一个圆形的脸部被选为代表一个没有被剪 裁的脸部，是因为圆形比其他形状，像椭圆形，容易计算，但它仍然可以像一个真人的头部。15.在动画卡通模板的所有图像帧内，同一个卡通人物的原来的脸部，除了眼睛和 嘴巴，必须是相同的一致的脸部颜色。而不同的卡通人物的原来的脸部，必须是明显不同的 一致的脸部颜色。这允许每个卡通人物可以通过其脸部颜色准确地被确认。图3项目3. 1，
3.2和3. 3显示被绘制为黑色原来的脸部的卡通人物总是穿着裤子和戴一顶帽子，而被绘 制为灰色原来的脸部的总是穿着长裙。总体上说，一个原来的脸部是一个真正正常的人脸的简化图形(只有眼睛和嘴 巴)。因此，本发明对于绘制原来的脸部的指导方针是自然和容易遵循的。参考图4项目
4.2，一旦一个原来的脸部的两只眼睛和嘴巴被正确地绘制成一个群体，在原来的脸部内， 作为一个群体，它们可以被放置在任何地方，并且可以有任何旋转。事实上，作为一个可选 的提升，眼睛和嘴巴从原来的脸部的中心的移位(如图4项目4. 2所示)可以用来指示该 脸部的方向，例如“脸部转向左45度，向下30度”。参考图4项目4. 3，虽然该原来的脸部 也可能以任何方式被剪裁，不过眼睛和嘴巴必须继续完全嵌入在该脸部内。作为一个例子，图3项目3. 2显示了一个动画卡通模板的一帧有三个卡通人物的 图像帧最右边戴一顶帽子的卡通人物和中间穿着长裙的卡通人物都有按照本发明的指导 方针所绘制的原来的脸部，而最左边穿着小裙子的卡通人物有的是没有按照本发明的指导 方针所绘制的非原来的脸部。如图3项目3. 9和3. 15所示，该两个原来的脸部被叠加上用 户提供的脸孔，而最左边穿着小裙子的卡通人物的非原来的脸部将不会被叠加。只要原来的脸部是根据本发明的指导方针所绘制，本发明的脸部检测算法就可以 准确地检测和确认它们。为了进一步提高检测正确的原来的脸部的准确性，动画卡通模板的制作者也不可以在动画卡通模板内绘制同实际的原来的脸部有类似颜色的“类似原来的 脸部”的物体。这些物体可能会被误认为是实际的原来的脸部。2、每个用户提供的脸孔的脸部颜色和表情的规格这是一个用于指定输入的用户提供的脸孔的准备阶段。当一个用户提供一个或多 个用户提供的脸孔，对于每个用户提供的脸孔，用户必须为其相应的原来的脸部指定一个 脸部颜色和一个脸部表情。如果没有，本发明将指定一个默认的脸部颜色和表情。未来增 强后甚至可能会自动检测并指定每个用户提供的脸孔的脸部表情。该规范允许本发明为每个检测到的动画卡通模板的原来的脸部准确地选择最佳 匹配的用户提供的脸孔。如果需要更高的准确度，眼睛和嘴巴的颜色也可以被指定，检测和 匹配。然而，这是可选的。用户提供的脸孔被假定为是在传统的垂直位置。因此，没有必要 指定用户提供的脸孔的旋转，除非它不是垂直的。对于每个用户提供的脸孔，其相应的原来的脸部的表情是按照用来描述原来的脸 部的脸部表情的方法所指定的。例如，如果脸部表情是按照图6来描述，规格可以是“两 只眼睛开，嘴巴闭”，“左眼开，右眼闭，嘴巴开”，或任何眼睛和嘴巴的其他可能的组合，如图 6所示。当本发明检测到动画卡通模板的一个原来的脸部，它也会检测该原来的脸部的脸 部颜色和表情。根据检测到的脸部颜色，本发明将选择一组有最接近用户指定的脸部颜色 的用户提供的脸孔。如果有一个以上的独特的检测到的脸部颜色，对于每个独特的检测到 的脸部颜色，用户需要负责确保至少有一个用户提供的脸孔有用户指定的脸部颜色，同该 独特的检测到的脸部颜色接近。对于每个用户提供的脸孔，用户也需要负责指定一个脸部 颜色，该脸部颜色得足够接近其相应的原来的脸部的检测到的脸部颜色。在该组中选的有最接近用户指定的脸部颜色的用户提供的脸孔当中，本发明将根 据检测到的脸部表情，选择有最佳匹配的用户指定的脸部表情的用户提供的脸孔。如果有 两个或更多的最佳匹配，本发明可以选择任何其中之一。对于每个用户指定的脸部颜色，用 户可以选择提供任何数目(一个或更多)的不同用户指定的脸部表情的用户提供的脸孔。 显然的，如果一个用户指定的脸部颜色只有一个用户提供的脸孔，当一个有该脸部颜色的 原来的脸部被检测到时，该脸孔将总是被选中，无论是什么脸部表情。因此，有了用户指定的脸部颜色和表情，对于每个在动画卡通模板的图像帧内检 测到的原来的脸部，本发明将能够选择有最佳匹配的用户指定的脸部颜色和表情的用户提 供的脸孔。该选定的用户提供的脸孔将被叠加在相应的检测到的原来的脸部上。图3显示 了如何根据用户指定的脸部颜色和表情，选择用户提供的脸孔的例子。参考图3项目3. 1，3. 2和3. 3，灰色原来的脸部并穿着长裙子的卡通人物被检测到 有“两只眼睛闭，嘴巴开”的脸部表情。然而，由于“视频动画卡通1”只有一个用户提供的 脸孔是被指定为“灰色脸部”(图3项目3. 7)，不论脸部表情如何，这个用户提供的脸孔必 须被使用。同样的，图3项目3. 13必须被“视频动画卡通2”所使用。参考图3项目3. 1和3. 2，黑色原来的脸部和戴一顶帽子的卡通人物被检测到的脸 部表情是“两只眼睛开，嘴巴开”。因此，对于“视频动画卡通1”，与它匹配的用户提供的脸 孔是图3项目3. 6。对于图3项目3. 3，黑色原来的脸部和戴一顶帽子的卡通人物被检测到 的脸部表情是“两只眼睛开，嘴巴闭”。因此，对于“视频动画卡通1”，与它匹配的用户提供的脸孔反而是图3项目3.5。参考图3项目3. 1，虽然右边有一个粉红色原来的脸部和穿着小裙子的卡通人物， 可是没有用户提供的脸孔指定是“粉红色脸部”。因此在“视频动画卡通1”和“视频动画卡 通2”内，该粉红色的原来的脸部都没有被任何用户提供的脸孔叠加在上面。3、图像过滤本发明涉及检测(背景和卡通人物的原来的脸部)图像内的颜色一致的区域。图 像内的一个区域人的眼睛看上去可能是几乎颜色一致，但有可能会有有时不能被人眼所识 别的“椒盐噪声”(另一种颜色的小点)和细微的颜色变动。“椒盐噪声”和细微的颜色变 动可能是由于错误或图像产生时的噪声，或可能是由于当图像被编码成压缩数码图像或视 频格式，比如JPEG(联合图像专家组)图像或MPEG(运动图像专家组)视频，和该格式被解 码时的损失。本发明使用低通滤波器来过滤掉“椒盐噪声”，接着由一个颜色聚类算法来过滤掉 图像的看似颜色一致的区域内的细微颜色变动，如果有的话。输入的图像是动画卡通模板 的图像帧，和用户提供的脸孔图像。对于每一个输入图像，其相应的输出是一个类似，过滤 过，没有“椒盐噪声”，并在其颜色一致的区域内没有颜色变动的图像。虽然该算法可以将输 入图像作为输出图像修改，该算法最好还是反而输出到一个形状与尺寸和输入图像相同的 新图像。这样可以保存原来的输入图像供以后使用。虽然本发明可以使用任何已知，并有能力过滤掉“椒盐噪声”的低通滤波器，受推 荐的低通滤波器是也能保持良好的边缘的“中值滤波器”。如果输入图像已经保证是没有 “椒盐噪声”，低通滤波可以免去。本发明可以使用任何已知，并有能力将输入图像的看似颜 色一致的区域内的细微颜色变动过滤掉的颜色聚类算法。同样的，如果输入图像已经保证 在它们的颜色一致的区域内，颜色没有细微的变动，颜色聚类也可以免去。本发明可以使用 的颜色聚类算法的一个例子，"κ-means",其解释如下1.输入的图像应是动画卡通模板的一帧数码化的图像帧，或是一帧数码化的用户 提供的脸部图像，而且没有“椒盐噪声”。2. K-means算法检查输入图像内的每个像素的颜色。3.颜色非常相似(例如，在色彩上只有5%的差距)的输入图像的像素被组合在一起。4.为每组颜色非常相似的像素计算一个平均的颜色。5.开始时，输出图像被建造得和输入图像相同。然而，对于输出图像中的每个像 素，它的颜色被更改为，它在输入图像内相同的位置相应的像素的平均颜色。这样，在输出 图像内，一个颜色一致的区域的像素都具有完全相同的平均色。因此，在图像过滤后，本发明将有类似原来的图像的过滤图像，但没有“椒盐噪 声”，并在颜色一致的区域内没有颜色变动。4、背景检测本发明使用背景检测算法来检测颜色一致的图像背景。图像其余不被检测为背景 的区域就是检测到的前景。图8显示了本发明所需的背景检测算法的输入(图8项目8. 1) 和其相应的输出(图8项目8. 2，8. 5或8. 6)。该输入图像可能是一个过滤过的动画卡通模 板的图像帧(图2项目2. 5)，或是一个过滤过的用户提供的脸孔图像(图2项目2.6)。对于动画卡通模板的图像帧，用户可能会指定一个背景颜色。参考图8，对于每个输入的图像， 其相应的输出是它的背景颜色，如果有的话，和一个只有两个区域的新背景图像掩模背景 区域，和前景区域。原来的输入图像将会未经修改地被保存以供以后使用。本发明可以使用任何现有的和已知的背景检测算法来检测图像的颜色一致的背 景，该背景根据本发明的指导方针所绘制。图8显示了一个背景检测算法的例子的流程图， 该算法可以让本发明所使用。该流程图如下解释1.该背景检测算法从前面的“图像过滤”阶段(图8项目8. 1)的输出开始，该输 出是动画卡通模板的一帧过滤过的数码化图像帧，或者是一帧过滤过的数码化用户提供的 脸孔图像。2.如果用户指定了一个背景颜色，任何在图像内和沿着图像边界含有该用户指定 的背景颜色的区域，都被当作是背景(图8项目8. 2)。3.如果用户没有指定一个背景颜色，该背景检测算法将在图像内搜索一个尚未数 过的新颜色(图8项目8. 3)。4.对于每个被发现的未数过的新颜色，该背景检测算法将计算该未数过的新颜色 在这个图像中的像素数量。该背景检测算法也将计算该未数过的新颜色沿着图像边界的像 素数量(图8项目8. 4)。5.如果在图像内拥有该未数过的新颜色的像素数相当可观(例如图像内超过总 数10%的像素拥有该颜色)，该未数过的新颜色就被当作是一个一致的颜色。如果不是，该 未数过的新颜色就被当作是“被数过了”而不再受理。6.对于每个被发现的一致的颜色，如果大多数(例如超过50%的像素)沿着图 像的边界的像素有该一致的颜色，该一致的颜色就被当作是背景颜色。如果不是，该一致的 颜色就被当作是“被数过了”而不再受理。7.在图像内拥有背景颜色的区域被列为检测到的背景。图像的其余不被检测为背 景的区域就被列为检测到的前景。8.如果在计算了所有的颜色过后，还是没有背景颜色，该图像就被确认为没有背 景区域。也就是说，整个图像都是前景区域(图8项目8. 5)。9.参考图8项目8. 2和8. 6，一旦检测到背景，背景检测算法将创建一个同输入图 像相同形状和尺寸的新的数码化输出背景图像掩模。在该背景图像掩模内的象素只可以有 两个值一个显示背景，另一个显示前景。在输入图像内的相应位置，也是在检测到的背景 内的像素将有背景值(图8项目8. 2和8. 6的黑色区域)，而在输入图像内的相应位置，不 在检测到的背景内的像素将有前景值(图8项目8. 2和8. 6的白色区域)。对于一个动画卡通模板的每个图像帧，检测到的前景包含卡通人物和他们原来的 脸部，如果有的话。对于每个用户提供的脸孔图像，检测到的前景是用户提供的脸孔，同时 检测到的背景将被剪裁掉。5、脸部检测本发明采用了脸部检测算法来检测(在动画卡通模板的图像帧内的)卡通人物的 原来的脸部。图9显示了本发明所需要的脸部检测算法的输入与输出。其输入是动画卡通 模板的一个过滤过的数码化图像帧(图9项目9. 1)及其相应的背景图像掩模(图9项目 9. 2)。参考图9项目9. 3，其输出是检测到的原来的脸部的脸部颜色，脸部表情，尺寸，旋转，位置和剪裁。参考图9项目9. 4，在脸部检测时，输入的背景图像掩模也同时通过减去检测 到的原来的脸部的前景区域(而因此也将检测到的原来的脸部的区域加到背景上)被修改。本发明可以使用任何现有的和已知的脸部检测算法来检测卡通人物的原来的脸 部。然而，由于原来的脸部是根据本发明的指导方针所绘制，并遵循一个特定的模式，该脸 部检测算法可以被简化为模式识别算法，该模式识别算法明显地比一般的脸部检测算法更 准确，更快速，而且更简单。因此，本发明使用一个特别设计的模式识别算法，作为脸部检测 算法，来检测原来的脸部。图9显示了一个非常准确，快速而简单的模式识别算法的例子的流程图，该算法 可作为本发明的脸部检测算法使用。该流程图的解释如下1.参考图9项目9. 1和9. 2，该脸部检测算法从动画卡通模板的一帧过滤过的数 码化图像帧及其相应的背景图像掩模开始。2.参考图9项目9. 5，脸部检测算法将在图像帧的前景区域内(如背景图像掩模 的前景像素所表示)寻找一个新的未处理过的颜色一致的前景部分。一个颜色一致的前景 部分是一组在图像内颜色相同并且相邻和相连的像素。通过“洪水填充”每个未获“洪水填 充”像素可能找到这些部分。在“洪水填充”时，所有相邻和相连的像素(和跟它们相邻和 相连的像素，依此类推)而又相同颜色，将被组合在一起成为一个部分。3.被找到的颜色一致的前景部分，如果有的话，现在就被当作是“被处理过了”。4.参考图9项目9. 6，对于每个被发现的颜色一致的前景部分，该脸部检测算法将 计算嵌入在其中的其他颜色一致的前景部分的数目。如果数目并非三，该颜色一致的前景 部分就不被当作是原来的脸部，并不再受理。5.参考图9项目9. 7，如果数目是三，该脸部检测算法将会用该被发现的部分和其 三个嵌入部分，与本发明对于原来的脸部的指导方针作比较。如果该被发现的部分和其三 个嵌入部分不符合本发明对于原来的脸部的指导方针，该被发现的部分就不被当作是原来 的脸部，并不再受理。6.参考图9项目9. 8，如果该被发现的部分和它的三个嵌入式的部分附合本发明 对于原来的脸部的指导方针，该被发现的部分就被确认为是一个原来的脸部。该脸部检测 算法就能够再继续产生所需的输出，如图9项目9. 3所示的。7.对于每个被证实的原来的脸部，该脸部检测算法将假设嵌入在该被证实的原来 的脸部内，明显较大而颜色一致的部分为嘴巴，而其他两个较小而颜色一致的部分为眼睛。 包含着眼睛和嘴巴，颜色一致的前景部分就是该被证实的原来的脸部。8.对于每个被证实的原来的脸部，其脸部颜色是与它相关的颜色一致的前景部分 的颜色，但不包括眼睛和嘴巴。9.对于每个被证实的原来的脸部，脸部检测算法将检查眼睛和嘴巴的形状。如果 眼睛或嘴巴显得长方形并且长，那眼睛和嘴巴就被检测为“闭”。如果不是，那眼睛或嘴巴就 被检测为“开”。这些描述构成了被证实的原来的脸部的检测到的脸部表情。10.对于每个被证实的原来的脸部，该脸部检测算法将计算出一个刚好能容纳该 脸部的最小的水平矩形。该矩形的尺寸被定义为它的宽度和高度，而该矩形的位置是它的 中心。该矩形的尺寸和位置将被作为该被证实的原来的脸部的尺寸和位置。
11.对于每个被证实的原来的脸部，该脸部检测算法将计算出该脸部从垂直位置 的旋转角度，如图7所示。该角度是该被证实的原来的脸部的旋转。12.对于每个被证实的原来的脸部，在一个刚好能容纳该被证实的原来的脸部的 最小的矩形之内，该脸部检测算法将计算出最大可能的完整的圆形的尺寸。然后，该脸部检 测算法将用该被证实的原来的脸部的形状和尺寸，与该完整的圆形作比较。如果形状和尺 寸有明显的差异(例如超过10%不同)，那就检测到该被证实的原来的脸部被其他的物件 剪裁。如果没有，那就检测到该被证实的原来的脸部没有被剪裁。13.最后对于每个被证实的原来的脸部，其所有在输入背景图像掩模内的相应的 前景像素都被转换为背景像素，从而把它从前景内消除掉。14.参考图9项目9. 5，处理过一个发现到的部分或检测到一个原来的脸部之后， 该脸部检测算法将继续寻找和处理过滤过的图像帧的下一个新的和未处理的颜色一致的 前景部分。这一过程重复进行，直到没有新的未处理过的颜色一致的前景部分。该脸部检 测算法就会结束(图9项目9. 9)。6、图像融合在“图像融合”阶段，本发明自动将一帧动画卡通模板的图像帧与一个可选的背景 图像和一个或多个可选的用户提供的脸孔结合成最后的视频动画卡通的一帧图像帧。图10 显示了 “图像融合”阶段的输入和输出。该输出是最后的视频动画卡通的一帧图像帧(图 10项目10. 1)，而该输入如下所列1.动画卡通模板的一个图像帧(图10项目10.2)及其相应的背景颜色，如果有的话。2.图像帧的相应的背景图像掩模，如脸部检测算法所修改，而且不包括被检测到 的原来的脸部的前景区域(图10项目10. 3)。3. 一个可选的背景图像(图10项目10. 4)。4.可选的用户提供的脸孔及其相应的背景图像检测算法所检测到的背景图像掩 模。5.动画卡通模板的图像帧的被检测到的原来的脸部，如果有的话。每个被检测到 的原来的脸部包括脸部颜色，脸部表情，尺寸，旋转，位置和剪裁，就如脸部检测算法所检测 到的。图10显示了“图像融合”阶段的数据流图。该数据流图如下解释1.首先替最后的视频卡通构建一个新图像帧。2.如果用户提供了至少一个背景图像(图10项目10. 4)，其中一个背景图像(由 任何可能的方法所选定，例子随机或按照顺序)就被调整尺寸以便适应和填满新图像帧。3.如果没有背景图像，新图像帧就设置为一个用户指定的背景颜色，如果有的话。4.如果没有用户指定的背景颜色，但有一个动画卡通模板的图像帧的检测到的背 景颜色，新图像帧就设置为该检测到的背景颜色。5.该检测到的动画卡通模板的图像帧的前景(如在相应的背景图像掩模内的前 景像素所表示)，减去检测到的原来的脸部，然后被粘贴到新图像帧上，并在背景颜色或图 像之上。可选择沿着检测到的前景的边缘做边缘平滑处理，以便它与背景融合好。6.参考这份文件的“每个用户提供的脸孔的脸部颜色与表情的规范”这一节，对于每个被检测到的原来的脸部，本发明从所有可用的用户提供的脸孔当中，选择脸部颜色与 表情最匹配的用户提供的脸孔。7.每个已选定的用户提供的脸孔，如果有的话，然后根据检测到的原来的脸部的 尺寸和旋转被调整尺寸和旋转。被调整过尺寸和被旋转过的用户提供的脸孔的任何检测到 的背景区域将被剪裁掉。任何在图像旋转时引入的额外背景区域也将被剪裁掉。8.每个被调整过尺寸和被旋转的已选定的脸孔然后被放置在一个同图像帧同样 尺寸的新空图像内，在其相应的检测到的原来的脸部的位置上(图10项目10. 5)。9.每个检测到的原来的脸部如果有任何被其他在图像帧的前景的物体的剪裁，那 么每个被调整过尺寸，被旋转和被定位的已选定的脸孔也会相应地被剪裁。该剪裁是通过 消除每个被调整过尺寸，被旋转和被定位的已选定的脸孔，同背景图像掩模的前景的任何 重叠区域所做成的(图10项目10. 3)。10.每个被调整过尺寸，被旋转，被定位和被剪裁的已选定的脸孔(图10项目 10. 6)，如果有的话，然后被粘贴到新图像帧上，在其检测到的原来的脸部的相应的位置，并 在背景和已粘贴的检测到的前景的上面。再一次，可选择在每个已粘贴的脸孔的边缘做边 缘平滑处理，以便它同背景和已粘贴的检测到的前景融合好。在这种方式下，最终的视频动画卡通的每帧新图像帧都与动画卡通模板的相应的 图像有类似的前景，但可能有多一个用户提供的背景图像和一个或多个用户提供的脸孔叠 加在动画卡通模板的原来的脸部上(图10项目10. 1)。图3显示了“图像融合”阶段的三帧相应的输出图像帧的两个例子(图3项目3. 8， 3.9,3. 10和项目3. 14，3. 15，3. 16)，对于输入包括一个动画卡通模板的三帧图像帧组成的 视频序列(图3项目3.1，3. 2，3. 3)，一个背景图像和两个或更多个用户提供的脸孔。7、录 像制作参考图3，每帧从“图像融合”阶段输出的图像帧在原来的视频序列下被组装，以产 生最终的视频动画卡通。最后的视频动画卡通的图像帧序列因此和原来的动画卡通模板的 图像帧序列相同。在这一过程中，可选的音频可能被添加到最终的视频动画卡通内。从一个可以分派的动画卡通模板开始，本发明的最终结果是一个含有用户提供的 叠加脸孔和背景的视频动画卡通。
权利要求
一个生产有至少一个预期脸孔的预期数码图像的方法，包括提供一个有至少一个原来的脸部的原来的数码图像；处理该原来的数码图像以获得一组数码代表，该组数码代表定义在该原来的数码图像内的每个原来的脸部；从外部来源提供至少一个脸孔图像；为在该原来的数码图像内的每个原来的脸部，从来自外部来源的脸孔图像当中选择一个相应的脸孔图像，依赖定义在该原来的数码图像内的原来的脸部的该组数码代表；为在该原来的数码图像内的每个原来的脸部，修改被选定的相应的脸孔图像，依赖定义在该原来的数码图像内的原来的脸部的该组数码代表；及用被选定和修改过的相应的脸孔图像，在该原来的数码图像内的预期位置和预期尺寸，取代在该原来的数码图像内的每个原来的脸部，以产生有至少一个预期脸孔的预期数码图像。
2.如权利要求1所述的方法，其中该预期脸孔包括从任何可能的角度看得到的一个头 的一个部分。
3.如权利要求1所述的方法，其中每个原来的脸部包括一个按照一套指导方针所绘制 的前景区域。
4.如权利要求1所述的方法，其中该原来的数码图像包括至少一个原来的脸部及其他 的前景和/或背景区域。
5.如权利要求4所述的方法，其中该原来的数码图像的背景可能是一个能被用户提供 的图像的相应区域所替换的多余的区域。
6.如权利要求1所述的方法，其中每组数码代表包括在原来的数码图像内的原来的脸 部的位置和尺寸。
7.如权利要求6所述的方法，其中每组数码代表进一步包括在原来的数码图像内的原 来的脸部的脸部颜色。
8.如权利要求6所述的方法，其中每组数码代表进一步包括在原来的数码图像内的原 来的脸部的脸部表情。
9.如权利要求6所述的方法，其中每组数码代表进一步包括在原来的数码图像内的原 来的脸部的旋转。
10.如权利要求6所述的方法，其中每组数码代表进一步包括在原来的数码图像内的 原来的脸部的剪裁。
11.如权利要求10所述的方法，其中该原来的脸部的剪裁包括任何其他物件对原来的 脸部的部分阻挡和/或掩盖。
12.如权利要求1所述的方法，其中来自外部来源的每个脸孔图像都是一个前景是单 一一个预期脸孔的数码图像，而背景是一个将被剪裁掉和丢弃的多余的区域。
13.如权利要求12所述的方法，其中该脸孔图像包括单一的预期脸孔但不包括背景。
14.如权利要求12所述的方法，其中来自外部来源的每个脸孔图像被进一步提供了一 种脸部颜色。
15.如权利要求14所述的方法，其中来自外部来源而又没有被提供脸部颜色的每个脸 孔图像被分配一种默认的脸部颜色。2
16.如权利要求12所述的方法，其中来自外部来源的每个脸孔图像被进一步提供了一 个脸部表情。
17.如权利要求16所述的方法，其中来自外部来源而又没有被提供脸部表情的每个脸 孔图像被分配一个默认的脸部表情。
18.如权利要求1所述的方法，其中每个原来的脸部的相应的脸孔图像的选择包括 从所有来自外部来源的脸孔图像当中，选择那些脸部颜色与原来的脸部的脸部颜色最相似的脸孔图像；及从所有来自外部来源而脸部颜色又与原来的脸部的脸部颜色最相似的脸孔图像当中， 选择一个脸部表情与原来的脸部的脸部表情最相似的脸孔图像。
19.如权利要求1所述的方法，其中原来的脸部的每个被选定的相应的脸孔图像通过 在数码格式下的尺寸调整被修改，依赖该组定义原来的脸部的数码代表.。
20.如权利要求1所述的方法，其中原来的脸部的每个被选定的相应的脸孔图像通过 在数码格式下的旋转被修改，依赖该组定义原来的脸部的数码代表.。
21.如权利要求1所述的方法，其中原来的脸部的每个被选定的相应的脸孔图像通过 在数码格式下的剪裁被修改，依赖该组定义原来的脸部的数码代表和被选定的相应的脸孔 图像的多余的背景。
22.如权利要求1所述的方法，其中每个原来的脸部同被选定和修改过的相应的脸孔 图像的更换包括在数码格式下调整被选定和修改过的相应的脸孔图像的尺寸，至大到足以覆盖整个将 被更换的原来的脸部；及把调整过尺寸，被选定和修改过的相应的脸孔图像叠加到原来的数码图像内的原来的 脸部上，在覆盖整个原来的脸部的位置。
23.如权利要求22所述的方法，其中每个原来的脸部同被选定和修改过的相应的脸孔 图像的更换包括把整个原来的脸部更换成周围的背景颜色，或现有的用户提供的背景图像的相应的区 域；及把被选定和修改过的相应的脸孔图像叠加到原来的数码图像上，在一个依赖该组定义 原来的脸部的数码代表的位置。
24.如权利要求3所述的方法，其中为绘制每个原来的脸部的该套指导方针包括 定义原来的脸部为一个绘制在原来的数码图像内的前景区域，以类似并代表预期脸孔；定义原来的脸部为一个在原来的数码图像内并被其他(前景和/或背景)区域和/或 边缘包围的前景区域；定义原来的脸部为一个具有明显的边缘的前景区域，其中该明显的边缘将该原来的脸 部和原来的数码图像内的其他区域分隔开来；定义一个绘制在原来的数码图像内的原来的脸部的位置，为预期脸孔的预期位置；及 定义一个绘制在原来的数码图像内的原来的脸部的尺寸，为预期脸孔的默认预期尺寸。
25.如权利要求24所述的方法，其中的该套指导方针进一步定义原来的脸部为大部分面积颜色一致的前景区域。
26.如权利要求24所述的方法，其中的该套指导方针进一步定义原来的脸部的前景区 域含有其他的脸部特征。
27.如权利要求26所述的方法，其中脸部特征和原来的脸部的前景区域被不同的颜色 或边缘分隔开来。
28.如权利要求24所述的方法，其中为绘制每个原来的脸部的该套指导方针进一步包括定义原来的脸部的脸部颜色为依赖该原来的脸部的其中之一的颜色； 定义颜色相同的原来的脸部属于同一个人物；及 定义颜色不同的原来的脸部属于不同的人物。
29.如权利要求28所述的方法，其中原来的脸部的脸部颜色被定义为依赖该原来的脸 部的一个颜色一致的前景区域。
30.如权利要求29所述的方法，其中原来的脸部的脸部颜色反而被定义为依赖该原来 的脸部中的一个脸部特征的一种颜色。
31.如权利要求24所述的方法，其中为绘制每个原来的脸部的该套指导方针进一步包括为原来的脸部定义一个原来的形状；及定义(原来的脸部的)原来的形状的任何剪裁，为代表类似该原来的脸部的剪裁。
32.如权利要求24所述的方法，其中为绘制每个原来的脸部的该套指导方针进一步包括定义原来的脸部的垂直位置为依赖在数码图像内该原来的脸部的一个型状的一个方 向；及定义原来的脸部的旋转为该原来的脸部和该原来的脸部的垂直位置之间的角差。
33.如权利要求32所述的方法，其中原来的脸部的垂直位置，被定义为依赖该原来的 脸部内的脸部特征的位置安排。
34.如权利要求26所述的方法，其中在原来的脸部内的脸部特征的不同形状，被定义 为代表该原来的脸部的不同脸部表情。
35.如权利要求34所述的方法，其中在原来的脸部内的脸部特征的不同颜色，被定义 为代表该原来的脸部的不同脸部表情。
36.如权利要求26所述的方法，其中为绘制原来的脸部的脸部特征的该套指导方针包括定义脸部特征为包括两只眼睛及一个嘴巴； 定义两只眼睛的尺寸相似； 定义两只眼睛的每只都是一致的颜色； 定义嘴巴的尺寸大过两只眼睛的每只的尺寸； 定义嘴巴是一致的颜色；定义两只眼睛及嘴巴在原来的脸部内的位置安排，类似一个真人的眼睛及嘴巴的位置 安排；定义两只眼睛及嘴巴的尺寸相对于原来的脸部的尺寸，为类似一个真人的眼睛及嘴巴的尺寸相对于真人的脸部的尺寸；及定义一个原来的脸部的垂直位置，为两只眼睛在同一个水平，而嘴巴在两只眼睛下方。
37.一个系统，使用权利要求1的方法，为生产一段包括一系列至少有一个预期脸孔的 预期数码图像的输出视频，其中该系统的输入包括一段包括一系列至少有一个原来的脸部的原来的数码图像的输入视频；及 至少有其中一个脸孔图像。
38.如权利要求37所述的系统，其中系统的输入进一步包括至少一个用户提供的背景 图像，用来取代输入视频的原来的数码图像的多余的背景区域。
39.如权利要求37所述的系统，其中系统的输入进一步包括用户提供的音频。
40.如权利要求37所述的系统，其中系统生产的输出视频还进一步包括用户提供的音
全文摘要
本发明是一种自动生产含有用户提供的脸孔叠加在卡通人物上的视频动画卡通的方法。一个动画卡通模板储存原来的视频动画卡通，该视频动画卡通含有颜色一致的背景与根据本发明的指导方针所绘制的卡通人物的原来的脸部。一个背景检测算法用于检测颜色一致的背景，而一个脸部检测算法用于检测卡通人物的原来的脸部的脸部颜色，脸部表情，尺寸，旋转，位置与剪裁。检测到的颜色一致的背景可能被可选的用户提供的背景所取代。在用户提供的脸孔当中根据用户指定的脸部颜色与表情得出最匹配的脸孔，然后根据检测得到的尺寸，旋转，位置与剪裁叠加在相应的卡通人物的原来的脸部上，以产生最终的视频动画卡通。这个动画卡通模板可分发给许多不同的用户。有了本发明，不同的用户可以添加不同的用户提供的脸孔，背景图像和音频至相同的动画卡通模板，以产生许多不同的最终的视频动画卡通。
文档编号G06T13/80GK101884214SQ200880119112
公开日2010年11月10日 申请日期2008年8月6日 优先权日2007年12月5日
发明者萧煜权 申请人:双子资讯私人有限公司