专利名称：自适应闭群漫画生成的制作方法
技术领域：
本发明涉及一种用于基于对象(subject)的闭群而生成对象的漫画图像的方法和系统。具体地，本发明涉及根据加入和离开闭群的对象而自适应地生成漫画。
背景技术：
在本领域已知多种自动漫画生成方法和系统。Brennan，S.E.在“Caricature GeneratorThe Dynamic Exaggeration of Faces byComputer”(Leonardo，Vol.18no.3，pp.170-178)中描述了一种漫画的计算模型，其允许根据照片生成二维线条绘制的漫画。用户描画(trance over)原始图像(通过在图像上放置一组标记)来生成对象的线条画。图15中示出了这种原始图像和所得线条画的一个示例。这里，图15(a)中所示的原始图像产生图15(b)中所示的线条画。
已经获得对象的线条画之后，则将该线条画与“平均(mean)”或“典型”人脸(是指通常包括相同种族、性别和肤色作为对象的一群的平均人脸)的对应线条画进行比较。由此，对于图15(a)中所示的白种高加索男性，通常将采用“平均”白种高加索男性的典型人脸。在某些情况下，可采用来自不同民族的典型人脸。
Rowland等人在“Transforming Facial Images in 2 and 3-D”(Imagina 97-Conferences-ACTES/Proceedings，Feb，Monte Carlo，(1997)，pp159-175)中描述了如何按如下方式获得典型人脸。可将典型定义为人脸集合上的一致性的表示。例如，典型男性高加索人脸可包含对于高加索人脸一致的全部内容，并可通过利用一组高加索人脸计算平均人脸而生成。
为了获得一群人脸的典型形状，首先对各人脸的描绘数据进行“归一化”，使得人脸名义上具有相同的尺寸和取向。左和右瞳孔中心提供了这一处理的便捷标记点。第一步是计算全部人口的平均左眼位置和平均右眼位置。下一步是对全部特征点的(x，y)位置进行统一平移、缩放以及旋转，由此使各人脸归一化以将左眼映射到平均左眼位置，并将右眼映射到平均右眼位置。该处理除了对人脸尺寸和对准(alignment)进行标准化以外，保持各人脸内的多个特征之间的全部空间关系。然后可以计算各剩余模板特征点(在对准之后)的平均位置，所得数据构成针对给定人口的平均形状。然后可以获得所得“平均”或典型人脸的线条画。图16中示出了平均人脸的示例线条画。
一旦形成了针对人脸集合的典型，就可以通过强调单个人脸与相关典型之间的差异来生成漫画。在针对示例人脸的眼睛位置对典型中的特征位置数据归一化之后，可以将示例人脸上的全部特征点从其在典型人脸上的对应部移开给定百分比，如图9所示。该百分比是漫画量，并在外推典型与示例人脸之间的变体时加以考虑。如果百分比为100％，则处理结果将为典型，如果百分比为50％，则结果将处于典型与示例人脸之间的变体的中间，如果百分比为0％，则返回示例人脸，如果百分比为-50％，则得到原始人脸的漫画。更一般地，小于0％的任何百分比都将得到漫画人脸。式1.1以数学形式表述了Brennan的漫画形成算法。
Q＝P+b(P-S)(式1.1)其中Q为漫画模型的特征点，P为单个头部模型的特征点，S为平均均头部模型的特征点，并且b为漫画生成系数。
图17中示出了根据Brennan算法并采用20％的漫画系数b而生成的图15(b)中的线条画的示例漫画图像。
Benson和Perrett在“Synthesising continuous-tone caricatures”(Image and Vision Computing 9，123-9)中扩展了该技术来利用计算机变体技术生成照片漫画。然而，基本的基础漫画算法与Brennan算法相同。此外，如在“On the Detection of Feature Points of 3D FacialImage and Its Application to 3D Facial Caricature”(Fujiwara，T.，Nishihara，T.，Tominaga，M.，Kato，K.，(1998))”和“From 2Dphotographs to 3D caricatures”(Shadbolt，A.，(2003)，http://www.dcs.shef.ac.uk/~u0as2)中所分别描述的，通过将漫画生成算法应用于各顶点或应用于3D网格控制点，可容易地将相同的漫画生成技术扩展到3D。当将漫画生成算法应用于网格的控制点时，则在网格中的其余部分上对所得的漫画控制点进行插值来产生3D漫画。图10示出了根据原始3D头部模型(左栏)和平均模型所生成的3D漫画(右栏)。
对于计算的漫画的其他方面，在Rhodes，G.和Brennan，S.E.(1987)的“Identification and Rating of CaricaturesImplications forMental Representations of Faces”(Cognitive Psychology，19，473-497)中已经示出，与未生成漫画的人脸相比，对人脸生成漫画使得对作为对象的漫画人脸识别得更好。在“In the Eye of the Beholder-The Science of Face Perception”(Bruce，V.and Young，A.2000，ISBN 0-190852439-0at p.121-123)给出了一个示例，其中对两个相似的双胞胎的照片进行处理来提供这两幅照片的“平均”图像以及在该“平均”图像与实际照片之间识别出的差异。然后根据识别出的差异执行进一步的图像处理来夸大差异，从而突出该对双胞胎的朋友和家人可以掌握的差异，以能够识别双胞胎的每一个。实际上，在该工作中形成了对象的闭群(closed group)(这两个双胞胎)，并对该闭群取平均，然后以偏离该平均的方式对对象的图像进行漫画，以使得该图像更可识别。在该书第5章中描述了用来进行漫画生成的精确图像处理。
尽管Bruce和Young的上述工作引入了根据闭群形成平均图像的概念，并且以偏离该平均的方式对群中成员图像的夸大使得这些图像可被辨识，但是在实践中在群内成员可能随时间而变化的情况下实现这些技术依然存在问题。
发明内容
本发明提出通过提供用来生成作为闭群成员的对象的漫画图像的方法和系统而对由Bruce和Young提出的闭群图像夸大概念进行实际应用，其中闭群的成员可随时间而变化。更具体地，本发明提出了一种用来生成对象的漫画图像的方法和系统，其中当对象加入和离开它们作为其成员的闭群时修改每个对象的漫画图像。通过如此修改漫画图像，可确保每幅漫画图像可保持与群内其他图像最大程度地相区别，从而确保对图像的识别可保持在较高水平。
鉴于上述情况，根据第一方面提供了一种用来生成漫画图像的方法，该方法包括以下步骤存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；接收新对象的图像表示；并且根据所存储的所述多个对象的图像表示和接收到的新对象的图像表示来生成新对象的漫画图像表示。
在第一方面中，当新成员希望加入对象的闭群时，通过在生成新成员的漫画时考虑现有成员的图像，可创建夸大了该新成员与现有成员之间的差异的该新成员的漫画图像。按照这种方式可使新成员的漫画图像与其他漫画图像表示最大程度地相区别。
根据第二方面，本发明进一步提供了一种生成漫画图像的方法，该方法包括以下步骤存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；接收新对象的图像表示；并且根据所存储的对象的图像表示和接收到的新对象的图像表示来生成所述对象的替代漫画图像表示。
在第二方面中，当新成员希望加入对象的闭群时，通过考虑现有成员和新成员的图像可创建夸大现有成员之间差异的现有成员的替代漫画图像。按照这种方式，将成员的替代漫画图像保持为可最大程度地彼此相区别。
在第二方面中，优选地进一步包括如下步骤根据所存储的所述多个对象的图像表示和接收到的新对象的图像表示，来生成新对象的漫画图像表示。在创建了现有成员的替代漫画图像和新成员的新漫画图像两者的情况下，可使所述这些漫画图像最大程度地彼此相区别。
在本发明的第一或第二方面中，该生成步骤优选地进一步包括以加权的方式根据接收到的新对象的图像表示来生成一个或者多个漫画图像表示，其中与新图像表示相关联的加权因子通常随时间而增大，并且每当修改了加权因子时重新生成漫画图像表示。这将避免对任一特定成员的漫画图像表示的剧烈且可能引起干扰性的阶跃变化，从而允许新成员的影响随时间变化而被逐渐地引入群内。
根据第三方面，进一步提供了一种用来生成漫画图像的方法，该方法包括以下步骤存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；接收指示存储有其图像表示的多个对象中的特定的一个或多个对象的离开信号；并且还在至少部分地减少了所指示对象的图像表示的情况下，根据所存储的所述多个对象的图像表示来生成替代漫画图像表示。
在第三方面中，在已存在一群对象的漫画的情况下，当一对象希望离开该群时，可基于剩余的群成员来生成替代漫画图像，但是如果需要的话，至少要部分地考虑要离开该群的那些对象的图像表示。这使得漫画图像表示可被修改，从而这些漫画图像可保持最大程度地彼此相区别，但是如果需要的话，可通过在生成处理中至少部分地包括已经离开该群的那些成员的图像表示，来避免外表上的阶跃变化。
优选地，在第三方面中，所指示对象的图像表示根据加权因子而随时间递减，其中每当修改了加权因子时重新生成漫画图像表示。这使得已离开该群的对象随时间而对所生成的漫画影响愈小。
根据第四方面，本发明进一步提供了一种计算机程序或一组计算机程序，其被设置为使得当由计算机系统执行时，该计算机程序或一组计算机程序使得计算机系统按如前述第一、第二或第三方面所述的方式进行操作。
此外，根据第五方面，还提供了一种计算机可读存储介质，其被设置为存储根据本发明第四方面的计算机程序。该计算机可读存储介质可以是能够由计算机读取的任一磁、光、磁光、固态或其他存储介质。
根据第六方面，本发明还提供了一种用来生成漫画图像的系统，该系统包括存储装置，被设置成用来存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；输入装置，用来接收新对象的图像表示；以及处理装置，被设置成用来根据所存储的所述多个对象的图像表示和所接收到的新对象的图像表示来生成新对象的漫画图像表示。
在第六方面中，获得了如前在第一方面中所描述的相应优点和其他特征。
根据第七方面，本发明还提供了一种用于生成漫画图像的系统，该系统包括存储装置，被设置成用来存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；输入装置，用于接收新对象的图像表示；以及处理装置，被设置成用来根据所存储的所述多个对象的图像表示和所接收到的新对象的图像表示来生成所述多个对象的替代漫画图像表示。
在第七方面中，获得了如前在第二方面中所描述的相应优点和其他特征。
另外，根据本发明第八方面，提供了一种用于生成漫画图像的系统，该系统包括存储装置，被设置成用来存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；接收装置，用来接收表示存储有其图像表示的所述多个对象中的特定一个或多个的离开信号；以及处理装置，被设置成用来在至少部分地减弱了所指示对象的图像表示的情况下根据所存储的对象的图像表示来生成替代漫画图像表示。
在第八方面中，获得了如前在第三方面中所描述的相应优点和其他特征。
通过以下仅以示例方式给出并参照附图的对本发明实施例的描述，其他特征和优点将变得明了，其中类似的附图标号指示类似部分，并且其中图1是可以形成本发明的操作环境的计算机系统的例示，以及对由本发明实施例所需的各种计算机程序和数据的表示；图2是例示由所述本发明实施例执行的步骤的流程图；图3是例示由所述本发明实施例执行的步骤的流程图；图4是由所述本发明实施例生成的示例漫画图像表示；图5是由所述本发明实施例生成的第二示例漫画图像表示；图6是由所述本发明实施例生成的第三示例漫画图像表示；图7是可以利用本发明实施例的示例应用程序的画面拍摄(shot)；图8是可以利用本发明实施例的示例应用程序的另一画面拍摄；图9是例示了现有技术的Brennan漫画生成算法的概念的图；图10是利用现有技术生成的漫画图像表示的示例；图11是例示由所述本发明实施例执行的步骤的流程图；图12是可以由本发明的优选实施例采用的与时间相关的加权函数的曲线图；图13是可以由本发明的优选实施例采用的与时间相关的加权函数的曲线图；图14是例示由所述本发明实施例执行的步骤的流程图；图15(a)是高加索男性的照片图像表示；图15(b)是与图15(a)相对应的示例输入图像表示的图，并且属于由现有技术Brennan算法以及由本发明的一些实施例所采用的类型；图16是现有技术的示例平均人脸；图17是利用图15(b)的输入图像、图16的平均人脸以及现有技术Brennan算法而生成的示例漫画图像表示；图18是例示利用由成员的闭群所生成的平均人脸的效果的漫画图像表示的表；以及图19是根据本发明实施例所生成的漫画图像表示的表，并且该表例示出了当成员加入和离开闭群时漫画图像表示中的变化。
具体实施例方式
下面将参照图1至3以及图11至14来描述本发明的示例实施例。将参照图4至6来进一步描述利用所述的本发明实施例而生成的示例输出漫画图像表示；然后将参照图7和8来描述可以利用本发明概念的示例应用。
本发明实施例提供了主要以软件形式实现的、且采用已知的现有技术计算漫画算法(例如，先前引用Brennan描述的算法，或者在本申请人于2003年5月15日提交的在先未决英国专利申请No.0311208.3中描述的申请人自己的“基于特征漫画生成”算法，在此同时提交该在先未决英国专利申请的副本以在提交本申请时可获得)的自适应闭群漫画生成方法和系统。具体地，本发明实施例提供了要根据成员加入和离开闭群而进行修改的该闭群的成员的漫画图像表示。
为了提供上述功能，根据本发明实施例并参照图1，提供了通用计算机系统10，其配备有诸如硬盘驱动器、光盘驱动器、dvd驱动器等的计算机可读存储介质12，在计算机可读存储介质12上存储有用来控制通用计算机系统以执行本发明的各种数据和计算机可执行程序。更具体地，在计算机可读存储介质12上设置有漫画生成器程序24、平均人脸生成器程序22、控制程序20、对象图像库14、漫画图像库16、以及数据库18。稍后将详细描述程序20、22以及24中的每一个的操作以及各个库14、16和18中的内容。
如上所述，本发明实施例的目的是提供一种自适应闭群漫画处理和系统，图14例示了这种方法和系统所涉及的一般步骤。具体地，参照图14，在步骤14.2处，由本发明实施例执行的第一操作是形成成员的闭群，并且这一操作如何执行最终取决于本发明实施例所涉及的应用。例如，在群会议应用或在线游戏应用中，单个用户可利用中央服务器等进行登记，并且将他/她们自己的人脸图像发送至服务器用来处理成漫画。然而执行这一步骤，在步骤14.2结束时已经获得成员的闭群及这些成员的人脸图像表示。
通常在步骤14.4处执行的下一步骤是计算所述群成员的漫画图像表示。步骤14.4中包含的单个步骤示于图11中。这里，在步骤11.2处，接收形成闭群的成员的图像。接下来，在步骤11.4处，使用这些图像来计算新的平均或“典型”人脸图像，并且这可以按照先前针对Brennan现有技术描述的方式相同的方式来执行。因此步骤11.4的输出是与步骤11.2处接收到的图像的闭群的平均相对应的平均人脸图像。因此，步骤11.4处计算的平均人脸仅受到闭群成员的人脸图像表示的影响，而不受其他人脸图像表示的影响。这是闭群成员而不是其他成员的平均人脸图像。
在计算了这种闭群平均人脸之后，在步骤11.6处，利用在步骤11.4处计算的平均人脸来为该闭群中的各个成员生成新的漫画图像。如前所述，在本发明实施例中采用的精确计算漫画算法可以是现有技术中已知的算法(例如，Brennan算法，或者先前引用的申请人自己的“基于特征漫画生成”算法)中的任何一个。通常，这种算法允许用户设置确定所应用的漫画生成级别的漫画生成系数(b)，并且如果必须或可获得，步骤11.6优选地包括要求用户设置这种级别的步骤。无论如何进行漫画生成，然而步骤11.6的结果都是利用闭群的平均人脸来针对闭群的各个成员获得漫画图像表示。如在先前说明中所讨论的，采用闭群平均人脸确保所得漫画图像表示可最大程度地彼此相区别。
一旦已生成了各个新漫画，则在步骤11.8处输出漫画图像用于显示和/或存储。
返回至图14，一旦在步骤14.4处执行了图11中的处理步骤，则结果为已经形成了成员的闭群，并且针对闭群中的每个成员都可获得漫画图像。然而根据本发明实施例，一旦已经获得了初始闭群漫画图像表示，则在步骤14.6处只要成员加入或离开该闭群就修改所获得的漫画图像表示。如前所述，这确保了漫画图像表示最大程度地保持彼此相区别，因此即使成员加入或离开闭群也可保持对各图像的可识别性。
考虑本发明实施例的上述整体操作，返回图1，上述操作可与设置于计算机可读存储介质12中的各种程序和库相关。更具体地，为了形成漫画图像表示的初始闭群，可将闭群成员的人脸图像存储在对象图像库14中。平均人脸生成器程序22随后在步骤11.4处进行操作，以利用所存储的对象图像来计算新的平均人脸，并将新的闭群平均人脸存储在数据库18中。随后在步骤11.6处使用闭群平均人脸以及由漫画生成器程序24从对象图像库14检索出的各相应的闭群成员人脸图像，以生成新的各漫画图像表示。将各个所生成的漫画图像表示存储在漫画图像库16中。由控制程序20来整体协调漫画生成器程序24和平均人脸生成器程序22中的每一个程序的操作。
图4、5和6中示出了示例闭群漫画图像表示。在图4中，闭群包括两个成员，在视窗最下一行图像中加亮显示了这两个成员的人脸图像。随后在这两个人脸图像的正上方示出了所得虚拟现实型“3D”漫画图像表示。类似地，在图5和图6中，通过在各视窗底部的突出人脸图像来例示已用作漫画生成处理中所使用的平均人脸基础的闭群。通过对图4、5和6中的各漫画图像表示进行比较，将看到对于用来形成平均人脸的各不同闭群，获得了同一人的不同漫画图像表示。尽管差异微小，但是如由Bruce和Young的关于相似双胞胎所作的工作所证实的，即使稍微夸大群成员之间的外表差异也将有助于对其进行识别。
对闭群漫画生成的利用的另一示例应用示于图7中。具体地，图7例示了对群消息收发应用的图形用户界面，其中群中的各成员由所示人脸图像来表示。图7例示了在未被生成漫画时的人脸图像。然而在图8，图7中的基础人脸图像已由闭群的各成员的漫画图像表示(其已利用通过对图7的人脸图像取平均而获得的平均人脸来生成)所替代。将图8与图7进行比较，将看到，该群的多个成员的各自的人脸图像的区别特征在图8中被强调，由此使得各单个成员更可被识别。另外，群消息收发应用通过向用户显示消息以及发送该消息的群成员的标识来进行操作。用户可通过填写输入框并点击发送按钮来发送自己的消息。这种简单的消息收发应用在本领域内是公知的，但是采用闭群漫画图像表示的图形用户界面提高了单个成员中的每一个的可识别性。
到目前为止，我们已经关注了如何获得初始群漫画图像表示，以及可以如何利用它们。然而本发明实施例还关注当闭群成员加入或离开该群时，如何修改该闭群漫画图像表示。下面将分别参照图2和图3来描述如何处理成员加入或离开。
参照图2，假设已经利用特定应用(例如，上述消息收发应用)形成了闭群成员，并且假设在该应用中正使用漫画图像表示来表示各成员。此外，还假设一服务器正被使用来为该应用提供主机，并且在需要时能够计算新的漫画图像表示。
参照图2，假设一新成员要加入闭群。在这种情况下，在该实施例中新成员向作为该闭群正使用的应用的主机的服务器发出信号，在步骤2.2发送希望加入该群的指示以及该新对象的人脸图像。作为该应用主机的服务器接收到该加入信号，并在步骤2.4处接收该对象的图像。
在接收到新对象的图像之后，为了保持闭群成员的漫画图像表示可最大程度地彼此相区别，必须重新计算用来生成漫画图像表示的平均人脸，以考虑在步骤2.4处接收到的新对象的图像。然而，如果要使得所接收到的新的人脸图像对要计算的新的平均人脸具有与对该群成员中的每个其他人脸图像相同的影响，则可能的是，在使用新的平均人脸来生成替代漫画图像表示时该群成员的漫画图像表示会经历阶跃变化。然而，在本发明的一些实施例中，这种阶跃变化是可接受的，在优选实施例中，采用与时间相关的加权函数，该加权函数将新人脸图像对平均图像的贡献加权为随时间递增的函数。这种函数的一个示例示于图12中，其为递增的余弦形式，但是应当注意本发明实施例并不限于这种函数形式，而是可以采用任何与时间相关的递增函数。
为了将该函数应用于对新平均人脸的计算，在步骤2.6处平均人脸生成器程序22访问数据库18，数据库18可存储实现图12中的函数的查找表等。在查找表的情况下，要应用于所接收的新人脸图像的加权值是按照自接收到加入请求起的时间而索引的，使得首次考虑新的接收到的人脸图像计算新的平均人脸时，该人脸图像对所得的新的平均人脸的权重很小。也就是说，在步骤2.6处平均人脸发生器程序22利用现有闭群成员的人脸图像来计算新的平均人脸，而要加入闭群的新成员的新的人脸图像对平均图像仅有很小的贡献。
已经获得这种新的平均人脸之后，在步骤2.8处漫画生成器程序24为新的闭群成员生成新的漫画图像，并将新生成的漫画图像表示存储在漫画图像库16中。如前所述，漫画生成器程序24运行诸如Brennan算法的任何已知漫画生成算法，来产生漫画图像表示。如果算法要求或允许用户来设置漫画系数值，则由漫画生成器程序24来提供用户界面以允许这种操作。
接下来，漫画生成器程序24在步骤2.10处利用在步骤2.6处刚计算的新的平均人脸，为现有闭群成员中的每一个生成替代漫画图像。也将替代漫画图像表示存储在漫画图像库16中。一旦为现有闭群成员中的每一个生成了替代漫画图像表示，则可输出在漫画图像库中存储的全部新生成的漫画图像表示，以用于显示和/或存储或者由利用本发明实施例的应用用于其他用途。
因此在这一点上，已经为现有成员中的每一个生成了替代漫画图像表示，并且已为将加入该闭群的新成员生成了新的漫画图像表示，但是在每种情况下，新成员的人脸图像对用来生成新的漫画图像表示图像的平均人脸的影响是最小的。
在步骤2。12之后，处理进行到步骤2.14，在步骤2.14处进行估计以确定在平均人脸计算中，新闭群成员的人脸图像是否已被给予了最大权重。如果情况如此，即在平均人脸计算中，对新成员的人脸图像给予了与现有成员的人脸图像中的每一个的相等的权重，则在该实施例的背景下，新成员已完全结合在该闭群中，因此处理可以结束。然而如果情况不是这样，即在平均人脸计算中未对新成员的人脸图像给予与现有成员的人脸图像的相等的权重，则处理进行到步骤2.16，在步骤2.16增大给予新成员的人脸图像的权重。在这种情况下，如果由查找表来表示加权函数，则在随后的平均人脸计算中可访问并采用下一个值。虽然实现了加权函数，然而应当理解，对于包括步骤2.6至2.16的循环的每一次迭代，在平均人脸计算中给予新成员的人脸图像的权重是递增的。
一旦加权值在步骤2.16处递增，则处理返回至步骤2.6处的平均人脸计算，在步骤2.6处计算新的平均人脸，并且在新的平均人脸计算中采用新成员的人脸图像的增大后的权重。然后处理如前所述经过步骤2.8、2.10和2.12返回至步骤2.14处的估计。
根据以上描述和图2，因此应当明白重复由步骤2.6至2.16形成的循环，直到新成员已完全并入闭群中。通过允许新成员的人脸图像对平均人脸计算的影响随时间稳步增加，并且通过每当权重改变时为现有成员和新成员生成新的替代漫画图像，可以避免对现有成员外表的剧烈阶跃变化，并且相反地外表将稳步修改成包含有新成员。按照这种方式，除了避免了对现有漫画图像表示外表的干扰性的大的阶跃变化以外，还保持了采用闭群平均来保持对各漫画图像的最大可识别性的优点。
当现有成员离开闭群时还可应用类似的考虑。接下来将参照图3和13来描述当现有成员离开该群时由本发明实施例所执行的处理。
首先参照图13，图13示出了采用随时间而递减的形式的关于正离开群的成员的人脸图像对平均人脸的贡献随时间而变化的加权函数。如同图12中的当新成员加入闭群时所采用的加入加权函数，图13的离开加权函数是递增的余弦函数，尽管并不一定是这种形式的函数，并且应当理解，可以采用任何与时间相关的递减函数。类似地，如同图12中的加入加权函数，通过利用在数据库18中存储的查找表等可以实现图13的离开加权函数。此外，在本发明的不关注漫画图像表示中的剧烈阶跃变化的其他实施例中，可以无需采用这种加权函数。
下面转向图3，该图例示了当现有闭群成员希望离开该群时执行的处理步骤。首先，在步骤3.2处希望离开该闭群的成员向运行他希望离开的闭群应用的主机发出信号。在步骤3.2处主机接收到该离开信号，这使得主机使用平均人脸发生器程序22来在步骤3.4处利用要留下的群成员的人脸图像计算新的平均人脸，并应用图13中的权重来确定要离开该群的成员的人脸图像对新的平均人脸计算的贡献。因此，在步骤3.4，平均人脸生成器程序22访问数据库18中的离开加权函数，以确定根据自接收到离开信号起的时间应采用的加权值，并且然后在新的平均人脸计算中将所确定的加权值应用到要离开该群的成员的人脸图像。因此步骤3.4的结果是基于要留在该群内的成员的人脸图像以及要离开该群的成员的人脸图像(尽管被部分减弱了)而计算出新的平均人脸。
已经获得了新的平均人脸之后，在步骤3.6处，漫画生成器程序24为要留下的闭群成员生成替代漫画图像表示。将替代漫画图像表示存储在漫画图像库16中，并还在步骤3.8处输出以用于显示和/或存储，或者由利用本实施例的应用用于其他用途。
在步骤3.8之后，在步骤3.10处进行估计来确定在步骤3.4处的新的平均人脸计算中是否将最小权重(即，零)应用于要离开群的成员的人脸图像。如果已经应用了最小的权重，则结果是已离开群的成员的人脸图像对新的平均人脸计算根本没有影响，即所生成的平均人脸仅为剩余群成员的平均。在这种情况下，已离开群的成员已彻底从群中脱离。
如果步骤3.10处的估计确定没有应用最小权重，则在步骤3.12处应用于已离开的成员的人脸图像的权重根据图13中的加权函数而递减。然后处理返回至步骤3.4，在步骤3.4处利用新的降低的权重来计算新的平均人脸以确定已离开的成员的人脸图像对平均人脸的影响程度。然后连续重复步骤3.4至3.12的处理循环直到权重减为零。
这种处理的效果是除了最终随着时间流逝已离开群的成员的人脸图像不再表现在平均人脸中，还避免了剩余群成员外表的阶跃变化，使得用来生成替代漫画图像表示的平均人脸仅是剩余成员的平均。这种操作确保即使当成员离开闭群时，也可修改漫画图像表示以保持最大程度地彼此相区别。
图18和19中示出了例示自适应闭群漫画效果的本发明的实施例的示例输出漫画图像表示。利用闭群成员的线条画图像表示作为输入图像，并通过利用Brennan算法作为漫画生成技术，采用-1(-100％)的漫画系数(b)，来生成这些漫画图像表示。
图18的表中的图像证实了漫画相对于闭群平均、而不相对于标准平均的优点。输入图像示于最上一行，第二行和第三行示出了针对最左边的平均的漫画。在第二行，该平均是利用FaceBend应用(G.M.Townsend，1997-http://www.cs.arizona.edu/icon/library/gprogs/facebend.htm)而提供的平均，并可比得上Brennan算法的文献中所用的平均人脸。在第二行中，根据该群内的人脸的输入图像来计算平均。该闭群平均捕捉了该组群的共同元素；这些示例是年龄大概在18到32岁之间的男性。同样地，在平均图像中捕捉了更短的头发、更窄的眉毛、更大的鼻子、更高的发线，并且未在所得漫画中强调它们。
图19中的图像的表证实了当人脸加入和离开群时的动态行为。在最左边一栏中给出了当前的平均人脸，可以观察到其被计算为包含对其漫画图像表示随群成员而改变的成员的闭群的平均。
本发明实施例的应用很广泛。例如，本发明可用于如前所描述的消息收发应用中，或者用于其他可视会议应用中。另外，预期本发明还可应用于在线游戏应用，在该线游戏应用中各玩家除了可随时加入或离开游戏以外，各玩家可或组队或单独玩游戏。当在游戏中以化身来表示玩家时，可根据本发明的原理来将化身的人脸特征生成漫画，使得各玩家的化身保持与其他玩家最大程度地相区别。
其他可能用途的示例是在地址簿应用中。这里，人物图像可以用来表示该人在地址簿应用中的详情。为了确保图像可被最大程度地识别，可使用本发明实施例通过以地址簿中的条目作为闭群，来提供由该应用使用的漫画图像表示。当向地址簿添加一条目(这与新成员加入由现有地址簿条目构成的成员的闭群的情况相同)时，如上所述，本发明实施例可用于计算新条目的新漫画图像表示，并还用来重新计算现有漫画图像表示。类似地，当要从地址簿中删除一条目(这与成员离开地址簿条目闭群的情况相同)时，从而可以使用上述成员离开程序来重新计算剩余条目的漫画图像表示。
除非上下文明确要求，否则在整个说明书和权利要求中，应将词语“包括(comprise，comprising)”等解释为包含的涵义，而非排它或穷举的涵义；也就是说，是“包括但不限于”的意思。
此外，为避免引起疑问，在参考现有技术文献或公开(其内容无论作为整体或者部分地对于作为本领域技术人员的预期读者来理解本发明任何实施例的操作或实现都是必须的)的情况下，则将所述内容视为通过引用而并入于此。
权利要求
1.一种生成漫画图像的方法，包括以下步骤存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；接收新对象的图像表示；并且根据所存储的所述多个对象的图像表示和所接收的新对象的图像表示来生成新对象的漫画图像表示。
2.一种生成漫画图像的方法，包括以下步骤存储所述多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；接收新对象的图像表示；并且根据所存储的所述多个对象的图像表示和所接收的新对象的图像表示来生成所述多个对象的替代漫画图像表示。
3.根据权利要求2所述的方法，进一步包括以下步骤根据所存储的所述多个对象的图像表示和所接收的新对象的图像表示来生成新对象的漫画图像表示。
4.根据前述任一权利要求所述的方法，其中所述生成步骤包括以加权的方式根据接收到的新对象的图像表示生成漫画图像表示的步骤，其中与新图像表示相关联的加权因子随时间递增，并且每当加权因子被修改时重新生成漫画图像表示。
5.根据前述任一权利要求所述的方法，其中所述多个对象形成对象的闭群，并且只要当新对象加入该闭群时就执行所述方法。
6.一种生成漫画图像的方法，包括以下步骤存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；接收表示存储有其图像表示的所述多个对象中的特定的一个或多个的离开信号；并且在至少部分地减弱所指示对象的图像表示的情况下，根据所存储的对象的图像表示来生成替代漫画图像表示。
7.根据权利要求6所述的方法，其中所述指示对象的图像表示根据加权因子而随时间递减，其中每当加权因子被修改时重新生成漫画图像表示。
8.根据权利要求6或7所述的方法，其中所述多个对象形成对象的闭群，并且只要当这些对象中的一个或更多个离开该闭群时就执行所述方法。
9.一种计算机程序或一组计算机程序，其被设置为使得当由计算机系统执行时，该计算机程序或一组计算机程序使得计算机系统执行前述权利要求中的任一项的方法。
10.一种计算机可读存储介质，其存储有根据权利要求9所述的计算机程序或所述计算机程序组中的至少一个。
11.一种用来生成漫画图像的系统，包括存储装置，被设置成用来存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；输入装置，用来接收新对象的图像表示；以及处理装置，被设置成根据所存储的多个对象的图像表示和所接收的新对象的图像表示来生成新对象的漫画图像表示。
12.一种用于生成漫画图像的系统，包括存储装置，被设置成用来存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；输入装置，用于接收新对象的图像表示；以及处理装置，被设置成用来根据所存储的所述多个对象的图像表示和所接收的新对象的图像表示来生成所述多个对象的替代漫画图像表示。
13.根据权利要求12所述的系统，其中所述处理装置被进一步设置成根据所存储的所述多个对象的图像表示和所接收的新对象的图像表示来生成新对象的漫画图像表示。
14.根据权利要求11至13中的任一项所述的系统，其中所述处理装置被进一步设置成以加权的方式根据所接收到的新对象的图像表示来生成漫画图像表示，其中与新图像表示相关联的加权因子随时间递增，并且每当加权因子被修改时重新生成漫画图像表示。
15.根据权利要求11至14中的任一项所述的系统，其中所述多个对象形成对象的闭群，并且只要当新对象加入该闭群时就操作所述系统。
16.一种用于生成漫画图像的系统，包括存储装置，被设置成用来存储多个对象的图像表示及所述多个对象的对应的各自的漫画图像表示；接收装置，用来接收表示存储有其图像表示的所述多个对象中的特定的一个或多个的离开信号；以及处理装置，被设置成用来在至少部分地减弱所指示对象的图像表示的情况下根据所存储的所述多个对象的图像表示来生成替代漫画图像表示。
17.根据权利要求16所述的系统，其中所述指示对象的图像表示根据加权因子而随时间递减，其中每当加权因子被修改时重新生成漫画图像表示。
18.根据权利要求16或17所述的系统，其中所述多个对象形成对象的闭群，并且只要当所述多个对象中的一个或更多个离开该闭群时就操作所述系统。
全文摘要
一种用于生成所述多个对象的漫画图像的方法和系统，其中当对象加入和离开它们作为其成员的闭群时修改各对象的漫画图像。通过按照这种方式修改漫画图像，可以确保各漫画图像保持与群内的其他图像最大程度地相区别，从而确保对图像的识别保持在较高水平。
文档编号G06T11/00GK1906639SQ200480040452
公开日2007年1月31日 申请日期2004年12月31日 优先权日2004年1月15日
发明者大卫·约翰·查廷, 亚当·沙达博特, 杰里米·迈克尔·索恩 申请人:英国电讯有限公司