用于生成用户定制的计算机生成动画的方法和系统与流程

本申请要求2015年6月10日提交的名称为“用于生成用户定制的计算机生成动画的方法和系统(METHOD AND SYSTEM FOR GENERATING A USER-CUSTOMIZED COMPUTER-GENERATED ANIMATION)”美国专利申请序号14/735,960的优先权，该申请的全部内容因所有目的合并于本文中。

技术领域

本申请一般地涉及用户生成内容，更具体地涉及用于生成用户定制版本的预存在内容如计算机生成动画或视频片段的系统和方法。

背景技术：

计算机动画是利用计算机图形来生成动画图像的过程。图1描绘了计算机生成图像的示例。计算机生成场景可包括虚拟环境，虚拟环境包含各种对象(例如，树、石头、云等)以及人物(例如，动物、人等)。例如，人物的模型可以被创建且随后移动或变形而模拟运动。场景的图像在选定的时刻或帧被渲染以创建动画视频。

当前的技术允许用户在交互式计算机图形环境中控制一些视觉方面。例如，在当前的视频游戏中，用户可以选择可控人物的一些视觉特性(例如，人物头发、皮肤或衣物的颜色)。然而，用户经常被限制于从多种预定特性(例如，颜色、样式等)选择。现有技术也不提供定制先前已经创建的内容的能力，诸如现有的动画电影、展览等。

发明概述

下面描述了用于生成诸如计算机生成动画或现场录制视频片段的用户定制版本的预存在数字内容的技术。

在一些实施例中，用于生成用户定制的计算机生成动画的方法包括：接收数字内容，以及确定所述数字内容的可修改部分。数字内容包括计算机生成动画。确定数字内容的可修改部分，并且接收包括数字内容的可修改部分的表示的设计模板。通过对数字内容的可修改部分的表示执行图像分析来生成模板图像数据。基于模板图像数据来生成数字内容的修正部分，其中修正部分是数字内容的可修改部分的修正版本。生成且使得显示包括具有数字内容的修正部分的计算机生成动画的版本的更新的数字内容。

在一些实施例中，在接收到设计模板之前，提供设计模板用于编辑，并且接收所提供的设计模板的编辑版本。在一些实施例中，提供设计模板包括提供包含设计模板的用户界面。任选地，接收表示用户界面上的用户输入的数据，并且根据所述用户输入来编辑设计模板。

在一些实施例中，生成模板图像数据包括：确定数字内容的可修改部分的表示的颜色轮廓。在一些实施例中，生成数字内容的修正部分包括：基于可修改部分的表示的颜色轮廓来确定修正部分的颜色轮廓。在一些实施例中，生成数字内容的修正部分包括：基于所述数字内容的可修改部分的表示的颜色轮廓来渲染修正部分。、

在一些实施例中，生成更新后的数字内容包括：将修正版本映射到数字内容的可修改部分上。在一些实施例中，生成更新后的数字内容包括：利用修正部分来渲染数字内容。在一些实施例中，生成没有可修改部分的数字内容的版本，并且修正部分覆盖到没有可修改部分的数字内容的版本上。

附图说明

专利或申请文件包含了按颜色执行的至少一幅图。该专利或专利申请公开的带有彩色图的副本将应请求且支付必要费用的情况下由官方来提供。

图1描绘了根据一些实施例的数字内容的示范性的实施例。

图2A描绘了根据一些实施例的示范性的设计模板。

图2B描绘了根据一些实施例的编辑后的设计模板。

图3A描绘了根据一些实施例的修正的数字内容的示范性的图像。

图3B描绘了根据一些实施例的修正的数字内容的另一示范性的图像。

图4描绘了根据一些实施例的用于生成用户定制内容的示范性的过程的流程图。

图5描绘了根据一些实施例的用于生成用户定制内容的示范性的合成图像。

图6描绘了根据一些实施例的示范性的计算系统。

在图中描绘的实施例仅为示范性的。本领域技术人员将易于根据下面的论述认识到，本文示出的结构和方法的替选实施例能够被采用，而不偏离本文所描述的原理。

发明详述

下面的说明阐述了具体的配置、参数等。然而，应当认识到，该描述不旨在限制本公开，而是被提供作为示范性的实施例的描述。

图1描绘了包括图像102的数字内容100的示例。图像102是计算机生成图像，包括背景104、女孩106、动物108和虚构人物110。在图示的实施例中，数字内容100是计算机生成动画，其中图像102是单帧。然而，应当认识到，在一些实施例中，数字内容100可以至少部分地包括其它类型的内容(例如，现场录制视频片段或非计算机生成内容)并且可以包括独立图像或多个图像(例如，视频)。

数字内容100包括能够修改的至少一部分。该部分可称为可修改部分。在一些实施例中，由于下文将清楚论述的原因，可修改部分可称为用户可编辑部分或颜色使能部分。数字内容100的任意部分能够被确定为可修改部分。在本示例中，数字内容100的可修改部分包括图像102所描绘的虚构人物110所占据的部分。在一些实施例中，可修改部分包括背景104的部分、女孩106或动物108。可修改部分可包含在数字内容100中所包括的图像中的一些或全部中(例如，计算机生成动画或现场录制视频片段的一个或多个帧。

图2A描绘了包括数字内容100的可修改部分的表示202的可编辑设计模板200的示例。更具体地，设计模板200包括虚构人物110的表示202。在图2A中，表示202全部着白色的虚构人物110的空白行绘图，而没有任何阴影、纹理等。在一些实施例中，表示202均匀地着以除了白色之外的颜色或者部分地着色(例如，仅一些部分保留为空白以表明仅空白部分可供编辑)。在图2A中，表示202周围的背景空间也是白色的。在一些实施例中，背景是与表示202不同的颜色或样式。

图2B描绘了设计模板200的编辑版本210的示例。在一些实施例中，能够通过例如添加颜色或特征到设计模板200的部分或者改变设计模板200的部分的颜色来编辑设计模板200。在图2B中，不同的颜色已经添加到表示202的各部分，并且绿色S形符号204已经添加到对应于人物110所穿的背心的位置。

所编辑的设计模板210能够用于修改数字内容100中的虚构人物110的外观。图3A示出了除了虚构人物110替换成修正后的虚构人物302之外与图1所示的图像102几乎系统的图像300的示范性的修正版本。修正的虚构人物302是表现为在编辑的设计模板210中提供的虚构人物110的修改后的版本。更特别地，修正的虚构人物302包括添加到设计模板200中的表示202的颜色和特征。修正后的虚构人物302能够在整个数字内容100中使用。图3B示出了数字内容100的计算机生成动画中的另一示范性的图像310，其中修正的虚构人物302从不同的视角显示，同时保持与编辑后的设计模板210一致的外观。

上文所描述的技术可用于基于预存在内容来创建用户生成内容。例如，用户可以编辑设计模板，然后，设计模板用于修改现有内容的部分，诸如电影。通过这种方式，消费者可以例如对电影人物进行重着色或添加图形特征，然后观看有他或她所设计的人物的电影。该技术可应用于电影的各部分。例如，使用不同的模板消费者可能定制女孩106的头发颜色、动物108上的标记物的颜色和样式、背景104的颜色、电影中虚构人物110所生活的房屋的特征(未示出)、或者在模板上表示的数字内容100的任何其它部分。这些技术因此可允许用户创建电影的定制版本，从而对用户而言提高娱乐价值。

现在转到图4，上文所描述的技术的附加的实施例和任选的特征参考示范性的过程400进行论述。图4描绘了示出用于修改数字内容的过程400的流程图。在一些实施例中，过程400的部分在一个或多个计算系统上执行，诸如下文参考图6所描述的计算系统600。过程400的部分可在用户本地的计算系统上执行。过程400的一些部分可由远程计算系统(例如，因特网上的服务器)提供作为服务。过程400中的一些操作可组合，一些操作的次序可改变，一些操作可省去。

在框402中，接收数字内容(例如，数字内容100)。在一些实施例中，数字内容包括一个或多个图像、视频、电影、计算机生成环境、背景、场景、计算机生成动画资产(例如，人物、对象或其部分)、计算机生成图像、计算机生成动画、二维影像、三维影像或其组合或部分。在一些实施例中，从本地计算系统(例如，智能手机、平板设备或计算机)或者从远程计算系统(例如，通过因特网访问的服务器)的存储器中接收数字内容。

在框404中，确定数字内容的一部分(例如，虚构人物110)。所确定的部分可称为可修改部分。在一些实施例中，该部分包括图像的指定区域(例如，图像的边缘周围的边界)、图像中的普通区域(例如，背景或表面，诸如湖或草地)、或特定的对象、人物、人等所占据的图像的区域。对于包括多个图像的数字内容，可修改部分所占据的位置可以在各图像中相同或者从一个图像到一个图像变化(例如，可修改部分可以随着视频中对象移动而移动)。在计算机生成动画的背景下，可修改部分可包括例如计算机生成的动画资产(例如，人物、对象或其部分)、计算机生成环境、背景、或场景、或计算机生成图像或动画中的区域、对象或人物。电影、视频、计算机生成动画等的一帧或多帧可包括可修改部分的至少部分。在一些实施例中，内容的多于一个的部分被确定为可修改部分的部分。

在框406中，接收设计模板(例如，设计模板200)。设计模板包括可修改部分的表示(例如，表示202)。在一些实施例中，从本地存储器或远程设备接收设计模板。任选地，设计模板包括多于一个表示，其中每个表示代表了数字内容的不同的可修改部分或者可修改部分的不同的部分。

在一些实施例中，设计模板200是物理模板，诸如纸张，其能够利用例如铅笔、标记器、粉笔等来编辑。任选地，编辑的模板经过扫描，转换成数字图像，并且发送且由计算系统接收。在一些实施例中，物理模板通过扫描机来扫描或者通过拍摄模板的数字照片来扫描(例如，通过智能手机)。如图2A-2B所示，设计模板可包括快速响应(QR)码206或能够用于确定与设计模板相关联的特定的枢转内容或可修改部分的其它指示。

在一些实施例中，设计模板200是电子模板。电子模板可被显示以便在电子显示器(例如，电视、计算机监视器、触摸屏等)上进行数字编辑。任选地，设计模板显示在提供模板编辑能力的计算机应用的图形用户界面上。在一些实施例中，应用运行于台式或膝上型计算机、平板设备、智能手机或其它电子设备上，它们可以本地地或者从远程计算系统访问设计模板。在一些实施例中，根据在图形用户界面上检测到的用户输入来编辑模板。例如，用户可以执行输入以编辑模板。可接收表示用户输入的数据，然后可根据用户输入来修改设计模板。

在框408中，通过对包括可修改部分的表示的设计模板执行图像分析来生成模板图像数据。图像分析可包括图像处理以确定设计模板的颜色内容和/或空间特性。模板图像数据可包括模板中的表示的颜色轮廓。在一些实施例中，颜色轮廓是通过在各位置对设计模板采样且确定每个采样点的颜色值来确定的。表示的颜色轮廓可因此包括与设计模板上的位置相关联的颜色值(例如，可修改部分的表示所占据的位置)。

任选地，图像分析包括确定与设计模板相关联的数字内容或可修改部分。该确定可基于图像处理的结果以识别快速响应(QR)码206的表示或分析或者关于设计模板的其它标识信息。

在框410中，基于在框408处由设计模板生成的模板图像数据来生成数字内容的可修改部分的修正版本。因此，修正部分基于接收到的设计模板的特性。

在一些实施例中，基于设计模板中的表示的颜色轮廓来确定修正版本的颜色轮廓。生成修正部分可包括例如，将模板图像数据的颜色值映射到可修改部分的对应点上。可修改部分的表示上的点的颜色值可以映射到实际的可修改部分的对应位置上。设计模板上的对应采样点不存在的修正部分上的点处的颜色值可被内插或外推。所使用的外推的程度可取决于设计模板上表示(或未表示)的可修改部分的量。在诸如图2A，2B，3A和3B所示的情况下，例如，可修改部分的很大部分没有表示在设计模板上(例如，图3B显示出虚构人物110的背部，而表示202主要包括前视图)。

在一些实施例中，模板图像数据映射到数字内容的每个图像或帧的二维坐标系上。也即，对于每个帧，确定可修改部分的可视部分(例如，虚构人物110的可视部分)，并且仅对应于可视部分的颜色值映射到平面上。

在一些实施例中，模板数据映射到计算机生成资产的三维模型上。对于模型的整个表面可以确定颜色值，然后颜色值能够用于渲染修正(例如，重新着色)的计算机生成资产的图像。

在一些实施例中，生成可修改部分的修正版本还包括：确定可修改部分的修正版本的纹理和/或阴影。在已经根据设计模板对可修改部分着色之后，利用各种已知技术来确定和添加纹理和/或阴影。在一些实施例中，来自原始可修改部分的纹理和阴影信息应用于重新着色的版本。再使用纹理和阴影数据可具有减少生成修正版本所需的计算资源和时间的益处。

还应当认识到，为美感或其它原因，从设计模板映射到可修改部分的颜色值中的至少一些可被去除、增强、移位或以其它方式更改。

在框412中，生成数字内容的更新版本(例如，图像300)。更新的数字内容包括修正后的可修改部分(例如，修正的虚构人物302)。

在一些实施例中，生成更新后的数字内容包括将修正部分映射到初始数字内容的可修改部分上。

在一些实施例中，生成更新后的数字内容包括生成诸如图5所示的合成图，图5示出了具有子图像502、504、506和508的示范的图像500。利用计算机生成图像102和在框404中确定的可修改部分底层的数据(例如，计算机生成动画资产、模型、灯光、颜色、纹理等)来渲染图像500。

子图像502包括除了可修改部分110之外包含在图像102中的全部的数字内容100。在缺少可修改部分110的情况下，子图像502包括数字内容100的于图像102中不可见的部分，诸如例如虚构人物110的脚下的阴影以及虚构人物110后面的背景的部分。子图像504仅包括可修改部分110的原始版本(例如，在图像102中可见的虚构人物110的部分)。在一些实施例中，子图像504仅生成为保留可修改部分110的原始版本。子图像506包括包含了用于修正的可修改部分(例如，修正的虚构人物302)的纹理和阴影数据的表示510。在一些实施例中，子图像506包括来自原始可修改部分110的纹理和阴影信息。子图像508是指示可修改部分的位置的二进制图像。由可修改部分占据的区域512是白色的，而图像的其余部分是黑色的，其中黑色指示没有内容。

在一些实施例中，通过将修正后的可修改部分的颜色值映射到子图像508中的占据的区域512上来生成更新后的数字内容。然后，来自子图像506的纹理和阴影能够应用于子图像208中的区域512。显然，在该实施例中，加纹理和加阴影被执行为框412的部分，而不是如上所述的框410的部分。在应用了阴影和纹理后，子图像508(现在包含了修改部分的着色的、加纹理的和加阴影的修正版本)被覆盖或者应用到子图像502之上，得到图3A所示的图像300。

虽然此处参考框412描述了图像500，但是应当认识到，在确定了可修改部分之后的任意时间能够生成图像500(例如，作为框404的部分)。而且，应当认识到可以将子图像502、504、506和508处置(例如，存储，访问或处理)为独立的图像，而不影响执行上述技术的能力。

在一些实施例中，不是如上所述将修正版本映射到子图像508上且从子图像506添加纹理和阴影，能够渲染修正后的可修改部分的图像。这对于模板图像数据已经映射到计算机生成资产的三维模型上的实施例而言是可能的。然后，修正后的可修改部分的渲染图像应用于子图像502之上，再次得到图3A所示的图像300。在又一实施例中，连同修正后的可修改部分一起重新渲染整个图像300。渲染(或重新渲染)修正部分或整个图像可能需要额外的时间和/或计算资源，但是也可以提供更高品质的影像(例如，更高分辨率)。

在框414，显示数字内容的更新后的版本。在一些实施例中，更新后的数字内容显示在本地设备的本地显示器上。在一些实施例中，更新后的数字内容发送到远程设备以供显示(例如，作为图像文件、视频文件、多媒体文件或经由流视频)。

图6描绘了被配置为执行上述过程中的任一个的示范性的计算系统600的组件。在一些实施例中，计算系统600是台式计算机、平板计算机、智能手机、服务器、媒体播放器(例如，DVD播放器)、视频游戏控制台等。计算系统600可以包括例如处理单元，处理单元包括一个或多个处理器、存储器、存储设备以及输入/输出设备(例如，监视器、触摸屏、键盘、照相机、触针、绘图设备、盘驱动器、USB、因特网连接、近场无线通信、蓝牙等)。然而，计算系统600可以包括用于实施过程(例如，过程400)的一些或全部方面的电路系统或其它专用硬件。在一些操作设置中，计算系统600可以配置为包括一个或多个单元的系统，每个单元被配置为以软件、硬件、固件或其某种组合来实施过程的一些方面。

在计算系统600中，主系统602可包括带总线的主板604，总线连接输入/输出(“I/O”)部606、一个或多个中央处理单元(“CPU”)608以及存储器部610，存储器部可具有与其相关的闪存卡612。存储器部610可包含用于实施过程400的至少部分的计算机可执行指令和/或数据。I/O部606任选地连接到显示器624、照相机626、键盘614、磁盘存储单元616或媒体驱动单元618。媒体驱动单元618能够对可以包含程序622和/或数据的非暂态性的计算机可读存储介质620进行读/写。

基于上述过程的结果的至少一些值能够被保存以便后来使用。另外，非暂态性的计算机可读存储介质能够用来存储(例如，有形地体现)用于借助计算机执行上述任一过程的一个或多个计算机程序。计算机程序可通过例如通用编程语言(例如，Pascal、C、C++、Java等)或者某专业化的专用语言来编写。

为示例和说明的目的已经提供了具体实施例的前文描述。这些描述不意在穷尽或将权利要求的范围限制为公开的精确形式，并且应当理解的是，根据上述的教导，许多修改和变型例是可能的。