专利名称：在原始图像上叠加用户图像的方法和设备的制作方法
技术领域：
本发明与图像处理技术有关，具体地说，与修改一个图像序列使用户可以参与这个图像序列的方法和设备有关。
背景技术：
消费市场提供各式各样的媒体和娱乐选择。例如，有各种支持各种媒体格式的媒体播放机，可以为用户带来数量几乎不受限制的媒体内容。此外，可得到各种支持各种格式的视频游戏系统，使用户可以进行数量几乎不受限制的电视游戏。然而，许多用户可能很快就会对这样的传统媒体和娱乐选项失去兴趣。
虽然可能有大量的内容选项，但一个给定的内容选择通常具有固定的演员阵容或动画角色。因此，许多用户常常会失去兴趣去观看在一个给定的内容选择中的演员或角色阵容，特别是在演员或者角色是用户所陌生的时侯。此外，许多用户愿意参与一个给定的内容选择或者观看演员或角色被替换了的内容选择。然而，当前还没有一种机制使一个用户可以参与一个给定的内容选择或者替代内容选择中的任何演员或角色。
因此需要有一种可以将一个图像序列修改成包含一个用户的图像的方法和设备。还需要有一种可以将一个图像序列修改成使一个用户可以参与这个图像序列的方法和设备。
发明内容
概括地说，本发明揭示了一种图像处理系统，使一个用户可以参与一个给定的内容选择或者替代这个内容选择中的任何演员或角色。本发明使一个用户可以通过用一个相应的用户(或一个所选的第三方)的图像代替在原始图像序列中的一个演员的图像来修改一个图像或图像序列。
首先对原始图像序列进行分析，对于每个帧，估计与需替换的演员关联的各个参数，诸如演员的头部姿势、面部表情和照明特性之类。还得出用户(或所选的第三方)的一个静态模型。面部综合技术按照与所选演员关联的估计参数修改用户模型，因此如果演员具有一个给定的头部姿势和面部表情，就按此修改静态的用户模型。视频集成阶段将经修改的用户模型叠加到原始图像序列中的演员上，产生在原来演员的位置上含有用户(或所选的第三方)的一个输出视频序列。
从以下结合附图所作的详细说明中可以更全面地理解本发明，看到本发明的其他特征和优点。在这些附图中
图1例示了按照本发明设计的一个图像处理系统；图2例示了按照本发明执行的操作的总体示意图；图3为说明图1的面部分析过程的一个示范性实现的流程图；图4为说明图1的面部面部综合过程的一个示范性实现的流程图；以及图5为说明图1的视频集成过程的一个示范性实现的流程图。
具体实施例方式
图1例示了按照本发明设计的图像处理系统100。按照本发明的一个方面，图像处理系统100通过用相应用户的图像(或者部分图像，例如用户的面部)代替原始图像序列中的一个演员的图像(或者部分图像，例如演员的面部)使一个或多个用户可以加入一个图像或图像序列，诸如一个视频序列或视频游戏序列之类。需替换的演员可以由用户从图像序列中选择，也可以是预先确定或者动态确定的。在一个变形中，图像处理系统100可以对输入图像序列进行分析，根据例如演员出现的帧数或者演员具有特写镜头的帧数对输入图像序列中所包括的这些演员排名。
首先，对原始图像序列进行分析，对于每个帧，估计与需替换的演员关联的各个参数，诸如演员的头部姿势，面部表情和照明特性之类。此外，还得出用户(或者一个第三者)的静态模型。用户(或者第三者)的静态模型可以从一个面部数据库得到，或者可以从用户头部的二或三维图像得到。例如，可用市售的CyberScan技术公司(CyberScan Technologies of Newtown，PA)的Cyberscan光学测量系统来得到静态模型。然后用面部综合技术按照与所选演员关联的估计参数修改用户模型。具体地说，用演员参数驱动用户模型，因此如果演员具有一个给定的头部姿势和面部表情，就按此修改静态的用户模型。最后，视频集成阶段将经修改的用户模型覆盖或叠加到原始图像序列中的演员上，产生一个用户处在原来演员的位置上的输出视频序列。
图像处理系统100可以体现为任何含有一个诸如中央处理单元(CPU)之类的处理器150和诸如RAM和ROM之类的存储器160的计算设备，诸如个人计算机或工作站之类。在另一个实施例中，在这里所揭示的图像处理系统100可以实现为一个专用集成电路(ASIC)，例如作为一个图像处理系统或数字电视的一部分。如图1所示和下面分别结合图3至5进一步说明的那样，图像处理系统100的存储器160包括一个面部分析过程300、一个面部综合过程400和一个视频集成过程500。
概括地说，面部分析过程300对原始图像序列110进行分析，估计与需替换的演员关联的所关注的参数，诸如演员头部姿势、面部表情和照明特性之类。面部综合过程400按照面部分析过程300产生的参数修改用户模型。最后，视频集成过程500将经修改的用户模型叠加到原始图像序列110中的演员上，产生用户处在原来演员的位置上的一个输出视频序列180。
如在该技术领域内所知的，在这里所说明的方法和设备可以作为一种本身包括一个体现为计算机可读代码装置的计算机可读媒体的制品分销。这个计算机可读程序代码装置可与一个计算机系统配合工作，实现执行在这里所说明的方法的所有或一些步骤或者创建在这里所说明的设备。计算机可读媒体可以是可记录媒体(例如软盘，硬盘驱动器，光盘，或者存储卡)，也可以是传输媒体(例如包括光纤的网络，万维网，电缆，或者采用时分多址、码分多址的无线信道或其他射频信道)。任何可以存储适合与计算机系统一起使用的信息的已知或已开发的媒体都可以使用。计算机可读代码装置是任何使计算机可以读取诸如在磁媒体上磁性变化或光盘表面上高度变化之类的指令和数据。
存储器160将处理器150配置成可以实现在这里所揭示的方法、步骤和功能。存储器160可以是分布式的或本机的，处理器可以是分布式的或单一的。存储器160可以实现为一个电、磁或光存储器，也可以是这些或其他类型的存储装置的任何组合。所谓“存储器”应该广义地理解为足以容纳处理器150能从可寻址空间读出的或写入可寻址空间的任何信息。按此，网络上的信息仍然是在图像处理系统100的存储器160内，因为处理器150可以从网络中提取这信息。
图2例示了由本发明执行的操作的总体示意图。如图2所示，首先，由面部分析过程300如下面将结合图3所说明的那样分析原始图像序列210的每个帧，估计需替换的演员的各个所关注的参数，诸如演员的头部姿势、面部表情和照明特性之类。此外，从例如对准用户的摄像机220-1或面部数据库220-2得到用户(或第三方)的静态模型230。产生静态模型230的方式下面在“头部/面部的三维模型”这节中还要说明。
此后，下面将结合图4说明的面部综合过程400按照面部分析过程300产生的演员参数修改用户模型230。因此，用演员参数驱动用户模型230，从而如果演员具有一个给定的头部姿势和面部表情，就按此修改静态的用户模型。如所示图2，视频集成过程500将经修改的用户模型230′叠加到原始图像序列210中的演员上，产生用户处在原来演员的位置上的一个输出视频序列250。
图3为说明面部分析过程300的一个示范性实现的流程图。如上面所指出的，面部分析过程300对原始图像序列110进行分析，估计出与需替换的演员关联的各个所关注的参数，诸如演员的头部姿势、面部表情和照明特性。
如图3所示，面部分析过程300首先在步骤310期间接收到用户对需替换的演员的选择。如上面所指出的，可以采用一个默认的演员选择，或者需替换的演员可以根据例如图像序列110内出现的频率自动选择。此后，面部分析过程300在步骤320期间执行对当前图像帧的面部检测，标识图像内的所有演员。面部检测可以按照在例如转让给本发明的受让方的国际专利WO9932959“基于姿势的选项选择的方法和系统”(“Method and System for Gesture Based OptionSelection”)、Damian Lyons和Daniel Pelletiet的“识别人体特征的行扫描计算机视觉算法”(“A Line-Scan Computer VisionAlgorithm for Identifying Human Body Features”，Gesture′99，85-96 France(1999))、Ming-HsuanYang和Narendra Ahuja的“检测彩色图像内人的面部”(“Detecting Human Faces in ColorImages”，Proc.of the 1998 IEEE Int′1 Conf.on ImageProcessing(ICIP，98)，Vol.1，127-130，(October，1998))和I.Haritaoglu、D.Harwood、L.Davis的“Hydra操作系统利用轮廓的多人检测和跟踪”(“HydraMultiple People Detectionand Tracking Using Silhouettes”，Computer Vision and PatternRecognition，Second Workshop of Video Surveillance(CVPR，1999))中所揭示的原理执行，这些文献在这里都列为参考予以引用。
此后，在步骤330期间对在上一步骤中检测到的面部之一运用面部识别技术。面部识别可以按照在例如在这里列为参考予以引用的Antonio Colmenarez和Thomas Huang的“最大似然面部检测”(“Maximum Likelihood Face Detection”，2nd Int′1 Conf.onFace and Gesture Recognition，307-311 Killinglon，Vermont(October 14-16，1996))或Srinivas Gutta等人的“应用混合分类器的面部和姿势识别”(“Face and Gesture Recognition UsingHybrid Classifiers”，2d Int′1 Conf.on Face and GestureRecognition，164-169，Killington，Vermont(October 14-16，1996))中所揭示的原理执行。
在步骤340期间执行测试，确定所识别的面部是否符合需替换的演员。如果在步骤340期间确定当前的面部不符合需替换的演员，就在步骤350期间执行另一个测试，确定是否在需测试的图像内有检测到的另一个演员。如果在步骤350期间确定在需测试的图像内有检测到的另一个演员，程序控制就返回到步骤330，以上面所述的方式处理检测到的另一个面部。然而，如果在步骤350期间确定在需测试的图像内没有检测到的其他演员，于是程序控制结束。
如果在步骤340期间确定当前的面部符合需替换的演员，于是在步骤360期间估计演员的头部姿势，在步骤370期间估计面部表情，以及在步骤380期间估计照明。演员的头部姿势可以在步骤360期间例如按照在这里列为参考予以引用的Srinivas Gutts等人的“人面部的性别、民族和姿势的混合专家分类”(“Mixture of Experts forClassification of Gender、Ethnic Origin and Pose of HumanFaces”，IEEE Transactions on Neural Networks，11(4)，948-960(July 2000))中所揭示的原理估计。演员的面部表情可以在步骤370期间例如按照在这里列为参考予以引用的Antonio Colmenarez等人的“植入的面部和面部表情识别的概率准则”(“A ProbabilisticFramework for Embedded Face and Facial ExpressionRecognition”，Vol.1，592-597，IEEE Conference on ComputerVision and Pattern Recognition，Fort Collins，Colorado(June23-25，1999))中所揭示的原理估计。演员的照明可以在步骤380期间例如按照在这里列为参考予以引用的J.Stander的“基于三维对象的分析综合编码的照明估计方法”(“An IlluminationEstimation Method for 3D-Object-Based Analysis-SynthesisCoding”，COST 211 European Workshop on New Techniques forCoding of Video Signals at Very Low Bitrates，Hanover，Germany，4.5.1-4.5.6(December 1-2，1993))中所揭示的原理估计。
头部/面部的三维模型如上面所指出的，用户(或第三方)的静态模型230从例如对准用户的摄像机220-1或面部数据库220-2得到。对于产生三维用户模型的更详细的讨论可参见例如在这里列为参考予以引用的LawrenceS.Chen和Jorn Osterman的“采用个性化三维头部模型的赋有生气的说话头部”(“Animated Talking Head with Personalized 3D HeadModel”，Proc.of 1997 Workshop of Multimedia SignalProcessing，274-279，Princeton，NJ(June 23-25，1997))。此外，如上面所指出的，可用市售的CyberScan技术公司(CyberScanTechnologies of Newtown，PA)的Cyberscan光学测量系统来得到静态模型。
概括地说，用一个几何模型截获用户的头部在三维空间内的形状。几何模型通常呈距离数据的形式。用一个外观模型截获用户头部表面的纹理和颜色。外观模型通常呈彩色数据的形式。最后，用一个表示模型截获传送面部表情的用户面部非刚性变形、嘴唇活动和其他信息。
图4为说明面部综合过程400的一个示范性实现的流程图。如上面所指出的，面部综合过程400按照面部分析过程300产生的参数修改用户模型230。如图4所示，面部综合过程400首先在步骤410期间提取面部分析过程300产生的参数。
此后，面部综合过程400在步骤420期间用头部姿势参数旋转、转换和/或重新缩放静态模型230，以适合在输入图像序列110内需替换的演员的位置。面部综合过程400然后在步骤430期间用面部表情参数使静态模型230变形，以符合输入图像序列110内需替换的演员的面部表情。最后，面部综合过程400在步骤440期间用照明参数调整静态模型230的图像的若干特征，诸如颜色、强度、对比度、噪声和阴影，以符合输入图像序列110的特性。此后，程序控制结束。
图5为说明视频集成过程500的一个示范性实现的流程图。如上面所指出的，视频集成过程500将经修改的用户模型叠加到原始图像序列110中的演员上，产生用户处在原来演员所处的位置上的一个输出视频序列180。如图5所示，视频集成过程500首先在步骤510期间获取原始图像序列110。视频集成过程500然后在步骤520期间从面部综合过程400获取经修改的用户静态模型230。
视频集成过程500此后在步骤530期间将经修改的用户静态模型230叠加到原始图像110内演员的图像上，产生含有处在演员的位置上具有演员的姿势和面部表情的用户的输出图像序列180。此后，程序控制结束。
应理解的是，在这里所示出和说明的这些实施例和变形只是为了例示本发明的原理，熟悉该技术领域的人员在不背离本发明的专利保护范围和精神的情况下可以作出各种修改。
权利要求
1.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的方法，所述方法包括下列步骤分析所述原始图像(210)，确定所述演员的至少一个参数；获得所述第二人员的一个静态模型(230)；按照所述所确定的参数修改所述静态模型(230)；以及将所述经修改的静态模型(230)叠加在所述图像内所述演员的至少一个相应部分上。
2.权利要求1的方法，其中所述经叠加的图像(250)在所述演员的位置含有所述第二人员的至少一个相应部分。
3.权利要求1的方法，其中所述参数包括一个所述演员的头部姿势。
4.权利要求1的方法，其中所述参数包括一个所述演员的面部表情。
5.权利要求1的方法，其中所述参数包括一些所述原始图像(210)的照明特性。
6.权利要求1的方法，其中所述静态模型(230)是从一个面部数据库(220-2)中获得的。
7.权利要求1的方法，其中所述静态模型(230)是从一个或多个所述第二人员的图像中得出的。
8.一种用一个第二人员的图像替换一个原始图像(210)内的一个演员的方法，所述方法包括下列步骤分析所述原始图像(210)，确定所述演员的至少一个参数；以及用第二人员的一个静态模型(230)替换所述图像内所述演员的至少一个部分，其中所述静态模型(230)按照所述所确定的至少一个参数修改。
9.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的系统(100)，所述系统包括一个存储计算机可读代码的存储器(160)；以及一个与所述存储器(160)连接的处理器(150)，所述处理器(150)配置成实现所述计算机可读代码，所述计算机可读代码配置成分析所述原始图像(210)，确定所述演员的至少一个参数，获得所述第二人员的一个静态模型(230)，按照所述所确定的参数修改所述静态模型(230)，以及将所述经修改的静态模型(230)叠加在所述图像内所述演员的至少一个相应部分上。
10.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的系统(100)，所述系统包括一个存储计算机可读代码的存储器(160)；以及一个与所述存储器(160)连接的处理器(150)，所述处理器(150)配置成实现所述计算机可读代码，所述计算机可读代码配置成分析所述原始图像(210)，确定所述演员的至少一个参数，以及用第二人员的一个静态模型(230)替换所述图像内所述演员的至少一个部分，其中所述静态模型(230)按照所述所确定的参数修改。
11.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的制品，所述制品包括一个具有计算机可读代码装置的计算机可读媒体，所述计算机可读程序代码装置包括一个分析所述原始图像(210)以确定所述演员的至少一个参数的步骤，一个获得所述第二人员的一个静态模型(230)的步骤，一个按照所述所确定的参数修改所述静态模型(230)的步骤，以及一个将所述经修改的静态模型(230)叠加在所述图像内所述演员的至少一个相应部分上的步骤。
12.一种用一个第二人员的一个图像替换一个原始图像(210)内的一个演员的制品，所述制品包括一个具有计算机可读代码装置的计算机可读媒体，所述计算机可读程序代码装置包括一个分析所述原始图像(210)以确定所述演员的至少一个参数的步骤，以及一个用第二人员的一个静态模型(230)替换所述图像内所述演员的至少一个部分的步骤，其中所述静态模型(230)按照所述所确定的参数修改。
全文摘要
本发明揭示了一种图像处理系统，使一个用户可以参与一个给定的内容选择或者替代这个内容选择中的任何演员或角色。用户可以通过用相应用户(或者一个所选的第三方)的图像替换演员的图像来修改一个图像。对每个帧估计出与需替换的演员关联的各个参数。得出用户(或者所选的第三方)的一个静态模型。用一种面部综合技术按照所估计的与所选的演员关联的参数修改用户模型。在视频集成阶段将经修改的用户模型叠加到原始图像序列中的演员上，产生在原来演员的位置上含有用户(或所选的第三方)的一个输出视频序列。
文档编号G06T17/00GK1522425SQ02813446
公开日2004年8月18日 申请日期2002年6月21日 优先权日2001年7月3日
发明者S·V·R·古塔, A·科尔梅纳雷斯, M·特拉科维克, S V R 古塔, 纺衫姿, 莆 申请人:皇家菲利浦电子有限公司