基于二维媒体内容生成三维用户体验的制作方法

所公开的实施方案大体上涉及图像转换技术的领域，且具体来说，涉及一种基于二维(2d)媒体内容生成三维(3d)效果的方法以及一种实施所述方法的系统。

背景技术：

随着使用具有特殊效果的图像或视频的日益普及，用户正寻找生成具有一些有趣的3d效果的媒体内容的创造性且方便的方式。例如，用户可以选择在帧或模板内重新定位照片或视频以使照片或视频看起来更有趣。帧或模板通常包含一些特殊的设计或图案，以补充照片或视频中的内容。但是，用户与现有照片或视频内的任何元素没有任何交互。媒体内容中的任何元素与模板之间没有关系。组合的照片/视频与模板的最终组合效果似乎并不生动。

技术实现要素：

本申请的目标是不借助任何3d眼镜生成具有3d效果的图像或视频，并且突显主要对象在媒体内容中的运动，以便扩展用户与媒体内容的交互并在生成媒体内容时丰富用户的体验。

为了实现上述有益效果，本申请涉及在二维显示器上生成三维(3d)效果的方法，所述方法包含以下步骤：在具有一个或多个处理器和存储器的计算装置处，存储一个或多个程序以由一个或多个处理器执行；接收图像帧序列；识别移动对象在所述图像帧序列中的位置；以及在所述显示器上呈现具有预定前景模板的所述图像帧序列，所述预定前景模板覆盖在所述显示器上呈现的每个图像帧的至少一部分，其进一步包含：当所述移动对象在所述图像帧序列中的相应一个图像帧内的位置与所述预定前景模板之间存在重叠时：在所述图像帧内识别被所述预定前景模板覆盖的所述移动对象的至少一部分，以及在所述显示器上，在所述预定前景模板前方呈现所述移动对象的覆盖部分，而在所述预定前景模板后方呈现所述图像帧的其余部分。

在本申请的实施方案中，所述步骤进一步包含：识别图像帧序列中的静态背景，所述静态背景不同于预定前景模板。

在本申请的实施方案中，在预定前景模板后方呈现的图像帧的其余部分包括未被所述预定前景模板和静态背景覆盖的移动对象的其余部分。

在本申请的实施方案中，计算装置包含相机。

在本申请的实施方案中，接收图像帧序列包含记录视频剪辑。

在本申请的实施方案中，预定前景模板选自多个前景模板。

在本申请的实施方案中，预定前景模板包含覆盖图像帧的多个边缘的帧。

在本申请的实施方案中，被预定前景模板覆盖的移动对象的部分在所述预定前景模板上方的图像帧的边缘处呈现。

在本申请的实施方案中，移动对象是人物角色，并且识别移动对象的位置包括通过人脸识别来识别所述人物角色的位置。

在本申请的实施方案中，识别移动对象的位置包括通过运动识别来识别所述移动对象的所述位置。

在本申请的实施方案中，移动对象包含人、动物或车辆，或其任何组合。

在本申请的实施方案中，在显示器上呈现具有预定前景模板的图像帧序列的步骤包含呈现具有3d效果的视频剪辑。

本申请的另一目标是提供一种装置，以便生成具有3d效果的图像或视频并且突显主要对象在媒体内容中的运动。

为了实现上述有益效果，本申请涉及移动装置，所述移动装置包含：显示器；一个或多个处理器；以及存储有指令的存储器，所述指令在由所述一个或多个处理器执行时使所述处理器执行操作，所述操作包含以下步骤：接收图像帧序列；识别移动对象在所述图像帧序列中的位置；以及在所述显示器上呈现具有预定前景模板的所述图像帧序列，所述预定前景模板覆盖在所述显示器上呈现的每个图像帧的至少一部分，其进一步包含：当所述移动对象在所述图像帧序列中的相应一个图像帧内的位置与所述预定前景模板之间存在重叠时：在所述图像帧内识别被所述预定前景模板覆盖的所述移动对象的至少一部分，以及在所述显示器上，在所述预定前景模板前方呈现所述移动对象的覆盖部分，而在所述预定前景模板后方呈现所述图像帧的其余部分。

根据本申请的一些实施方案，本申请涉及一种存储有指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述处理器执行操作，所述操作包含以下步骤：接收图像帧序列；识别移动对象在所述图像帧序列中的位置；以及在显示器上呈现具有预定前景模板的所述图像帧序列，所述预定前景模板覆盖在所述显示器上呈现的每个图像帧的至少一部分，其进一步包含：当所述移动对象在所述图像帧序列中的相应一个图像帧内的位置与所述预定前景模板之间存在重叠时：在所述图像帧内识别被所述预定前景模板覆盖的所述移动对象的至少一部分，以及在所述显示器上，在所述预定前景模板前方呈现所述移动对象的覆盖部分，而在所述预定前景模板后方呈现所述图像帧的其余部分。

本申请的其它特征和优点可以从结合借助于本申请原理的实例而展示的附图进行的以下详细描述中变得显而易见。

附图说明

通过结合附图对本发明的各个方面的以下详细描述，将更清楚地理解本发明的前述实施方案以及另外的实施方案。在附图的多个视图中，相同的参考标号指代对应的部件。

图1是根据本申请的一些实施方案的3d效果媒体内容生成方法的示例性实施方案的示意性流程图。

图2a是根据本申请的一些实施方案的在选择和应用预定模板之前显示在装置的显示器上的示例性图像帧的示意图。

图2b是根据本申请的一些实施方案的在选择和应用预定前景模板之前显示在装置的显示器上的示例性图像帧的示意图。

图3a是根据本申请的一些实施方案的在应用预定前景模板的显示器上示出的示例性图像帧的示意图，其中从背景识别一个主要对象。

图3b是根据本申请的一些实施方案的在应用预定前景模板的显示器上示出示例性图像帧的示意图，其中从背景识别多于一个主要对象。

图4a是根据本申请的一些实施方案的示出在3d呈现过程之前具有前景模板的图像帧层的示例性示意图。

图4b是根据本申请的一些实施方案的示出在前方移动部分的识别过程期间具有前景模板的图像帧层的相对位置的示例性示意图。

图4c是根据本申请的一些实施方案的示出在前方移动部分的识别过程期间具有前景模板的图像帧层的相对位置的示例性示意图。

图4d是根据本申请的一些实施方案的示出在3d呈现过程之后具有前景模板的图像帧层的相对位置的示例性示意图。

图5a是根据本申请的一些实施方案的在完成3d生成过程之后具有一个主要对象的带有前景模板的图像帧的示例性示意图。

图5b是根据本申请的一些实施方案的在3d生成过程之后具有一个主要对象的带有前景模板的图像帧的示例性示意图。

图6a是根据本申请的一些实施方案的在完成3d生成过程之前具有多于一个主要对象的带有前景模板的图像帧的示例性示意图。

图6b是根据本申请的一些实施方案的在3d生成过程之后具有多于一个主要对象的带有前景模板的图像帧的示例性示意图。

图7是根据本申请的一些实施方案的用于在二维显示器上生成三维(3d)效果的计算装置的组件的示意性结构图。

具体实施方式

以下实施方案的描述参考附图，以便示出可以由本申请实施的具体实施方案。本申请中提到的方向术语，例如“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”、“侧”仅用作附图方向的参考。因此，所使用的方向术语仅用于解释和理解本申请，而不是限制本申请。在图中，具有相似结构的单元用相同的参考标号表示。

图1是根据本申请的一些实施方案的3d效果媒体内容生成方法的示例性实施方案的示意性流程图。

在步骤s101中，在一个实施例中，用户从存储于装置中的多个模板中选择前景模板，所述装置包含相机或连接到相机。例如，装置可以是移动电话、数码相机，或可以捕获照片或视频的任何装置。装置可以包含微处理器、存储器，以及存储于存储器中的一些软件程序。软件程序由一个或多个处理器执行。或者，装置可以包含设计用于例如专用集成电路的特定应用的一些硬件程序。用户可以从多个模板可用于选择的用户界面中选择前景模板。

模板还可以存储在网站，例如，云系统或任何存储介质上。并且，用户可以将模板加载到装置，随后选择模板。在某一其它例子中，用户可以直接从因特网检索模板。

在一些实施例中，装置包含预定前景模板可以在其上示出的显示器。

在具体实施过程中，模板覆盖如图2b中所说明的照片或图像帧的至少一部分。当要记录的媒体内容是由图像帧序列组成的视频时，模板覆盖在显示器上呈现的每个图像帧的至少一部分。在一些实施例中，由用户选择的预定模板是帧。在一些实施例中，预定模板覆盖图像帧的一些边缘。在一些实施例中，预定模板是空白的。在某一其它实施例中，预定模板是具有图案的图像。在又一实施例中，模板被定制为要捕获的视频或照片内容。

在步骤s102中，在一个实施例中，在用户选择预定模板之后，用户开始通过使用装置来记录视频剪辑。所记录的视频剪辑包含从相机或扫描机器接收的图像帧序列，所述相机或扫描机器包含记录装置或连接到记录装置。

在步骤s103中，装置随后从图像帧序列识别主要对象的位置。主要对象可以包含移动对象和/或聚焦对象。由处理器执行的应用可以用于通过例如人脸识别或运动检测的技术识别移动对象或聚焦对象的位置。背景与主要对象分开。在一些实施例中，背景是静态的。在一个实施例中，可以如图3a中所说明识别单个移动对象。在另一实施例中，可以如图3b中所示识别多个移动对象。移动对象可以是人、动物或车辆，或其组合中的任一个。不需要移动对象或聚焦对象的所有部分都移动。移动或聚焦对象可以通过其形状识别。

在步骤s104中，装置进一步识别在步骤s103中识别的移动对象或聚焦对象的至少一部分。移动对象的部分具有移动。移动处于移动对象的其余部分前方。

在步骤s105中，装置在显示器上在预定前景模板前方呈现来自步骤s104的所识别部分。然而，移动对象或聚焦对象的其余部分以及静态背景在显示器上在预定前景模板后方呈现。

图2a是在选择和应用预定模板之前显示在计算装置25的显示器23上的示例性图像帧21的示意图。图像帧21的大小与显示器23的大小相同。代表性计算装置25的实例包含但不限于手持式计算机、可穿戴计算装置、个人数字助理(pda)、平板计算机、膝上型计算机、台式计算机、蜂窝电话、智能电话、增强型通用分组无线电服务(egprs)移动电话、媒体播放器、导航装置、游戏控制台、电视机、遥控器、销售点(pos)终端、车载计算机、电子书阅读器，或这些数据处理装置或其它数据处理装置中的任何两个或多于两个的组合。

图2b是在选择和应用预定前景模板27之后显示在计算装置25的显示器23上的示例性图像帧21的示意图。预定模板覆盖图像帧21的至少一部分。在一些情况下，如图2b中所说明，预定模板27具有覆盖图像帧21的边缘的帧的形状。

图3a是在显示器32上示出的应用了预定前景模板33的示例性图像帧31的示意图。在图像帧31内，从背景35识别一个移动对象或一个聚焦对象34。移动对象是具有运动的对象。聚焦对象通常是相机聚焦的对象。移动对象或聚焦对象是在图像帧31上捕获的主要对象。移动或聚焦对象的一些部分可以是静态的。

图3b是在显示器32上示出的应用了预定前景模板33的示例性图像帧36的示意图。在图像帧36内，从背景35识别多于一个移动对象或聚焦对象。移动对象或聚焦对象是在图像帧36上捕获的主要对象中的一个。例如，在图3b中，可以识别三个单独对象，例如对象37、对象38和对象39。在一些情况下，所识别对象之间可能不存在重叠。在一些情况下，单独识别的对象之间可能存在一些重叠。

图4a是示出在3d呈现过程之前具有前景模板41的图像帧层的示例性示意图。图4b和图4c是示出具有前景模板41的图像帧层的相对位置的示例性示意图。图4d是示出在3d呈现过程之后具有前景模板41的图像帧层的相对位置的示例性示意图。

如在图1中的步骤s101中所描述，前景模板41放置于图像帧的其余层前方。如在步骤s103中所描述，移动对象或聚焦对象46的位置与背景44分离。根据步骤s104，具有前方移动42的移动对象的部分相对于移动对象43的其余部分进一步分离。如在步骤s105中所说明，对象42的部分在前景模板41的上方或前方定位或呈现，如图4d中所示。在一个实施例中，具有前方移动42的移动对象的部分可以是对象46的一部分。在另一实施例中，具有前方移动42的移动对象的部分可以包含对象46的多个部分。然而，在另一实施例中，具有前方移动42的移动对象的部分可以包含多个移动对象。

在一个实例中，预定移动位置线45放置于移动对象或聚焦对象46之前，如图4a中所示。当如图4c和步骤s105中所说明，具有前方移动42的移动对象的部分在移动位置线45前方移动时，对象42的部分在前景模板41的上方或前方定位或呈现，如图4d中所示。

图5a是在完成图1中描述的3d生成过程之前具有选定前景模板52的图像帧51的示例性示意图。图5b是在图1中描述的3d生成过程之后具有前景模板52的图像帧51的示例性示意图。

在图5a中所说明的一个实例中，识别如步骤s103中所描述与背景54分离的一个移动对象或聚焦对象53。在一些实施例中，根据步骤104，对象55的一部分识别为与前景模板重叠。最后，如图5b中所示，根据步骤105，在前景模板52的前方呈现与前景模板重叠的对象57的部分。图5b中的前方移动部分57和图5a中的前方移动部分55是同一对象53的同一部分。在一些实施例中，与呈现之前的对象55的部分相比，在前景模板52上方呈现的具有前方移动57的对象图像的部分具有较大尺寸。

在还如图5a中所示的一个实施例中，当在对象55的前方移动部分与前景模板52之间存在处于前景模板52后方的重叠58时，在前景模板52前方呈现重叠58，如图5b中所示。在一个实例中，当前景模板52覆盖图像帧51的一个或多个边缘59时。重叠58在前景模板52上的图像帧51的边缘59处呈现，如图5b中所示。

图6a是在完成图1中描述的3d生成过程之前具有选定前景模板62的图像帧61的示例性示意图。图6b是在图1中描述的3d生成过程之后具有前景模板62的图像帧61的示例性示意图。在图6a中所说明的一个实例中，识别如步骤s103中所描述与背景65分离的两个移动对象或聚焦对象63和64。此外，根据步骤104，一个对象64识别为相对于另一对象63前方移动。最后，如图6b中所示，根据步骤105，在前景模板62前方呈现前方移动对象66。图6b中的前方移动对象66和图6a中的前方移动对象64是同一对象。在一些实施例中，与呈现之前的对象64相比，在前景模板上方呈现的具有前方移动66的对象图像具有较大尺寸。

在还如图6a中所示的一个实施例中，当在移动对象64与前景模板62之间存在处于前景模板62后方的重叠部分67时，在前景模板62前方呈现移动对象64的重叠部分67，如图6b中所示。在一个实例中，当前景模板62覆盖图像帧61的一个或多个边缘68时。重叠部分67在前景模板62上的图像帧51的边缘68处呈现，如图6b中所示。

通过本文所描述过程的最终呈现图像帧具有3d效果。尽管媒体或视频内容由最终呈现的图像帧序列组成，但是媒体内容在2d显示器上具有特殊3d效果。所述过程促进用户与视频的交互。用户可以在不借助任何3d眼镜的情况下观察到3d效果。在一些实施例中，在用户记录视频时，可以应用本文所描述的3d过程。在一些实施例中，本文所描述的3d过程可以通过软件应用程序或硬件装置应用于已经记录的视频，并且在这种情况下，不需要具有相机的装置。

图7是根据本申请的一些实施方案的用于在二维显示器上生成三维(3d)效果的计算装置25的组件的示意性结构图。计算装置25包含一个或多个处理器402，用于执行存储于存储器412中的模块、程序和/或指令并由此执行预定义操作；一个或多个网络或其它通信接口410；存储器412；以及用于将这些组件互连的一个或多个通信总线414。在一些实施方案中，计算装置25包含用户界面404，所述用户界面包括显示装置408以及一个或多个输入装置406(例如，键盘或鼠标)在一些实施方案中，存储器412包含高速随机存取存储器，例如dram、sram或其它随机存取固态存储器装置。在一些实施方案中，存储器412包含非易失性存储器，例如一个或多个磁盘存储装置、光盘存储装置、闪存存储器装置或其它非易失性固态存储装置。在一些实施方案中，存储器412包含远离处理器402定位的一个或多个存储装置。存储器412，或替代地存储器412内的一个或多个存储装置(例如，一个或多个非易失性存储装置)包含非暂时性计算机可读存储介质。在一些实施方案中，存储器412或存储器412的计算机可读存储介质存储以下程序、模块和数据结构或其子集：

·操作系统416，其包含用于处理各种基本系统服务和用于执行硬件相关任务的程序；

·网络通信模块418，其用于通过通信网络接口410和一个或多个通信网络(有线或无线)，例如因特网、其它广域网、局域网、城域网等将计算装置25连接至其它计算机；以及

·3d效果再现模块420，用于在二维显示器408上生成三维效果，所述模块还包含将由模块处理的一个或多个图像帧422以及由模块用于覆盖显示器的部分的一个或多个前景模板424。

在本申请的实施例中，装置可以包括一个或多个处理器和合适的存储器。在存储器中，存储用于执行本申请的一个或多个步骤的合适软件程序。替代地，本申请的步骤可以实施于硬件，例如专用集成电路(asic)中。本申请还可以包括在非暂时性计算机可读存储介质上的指令，并且所述指令可以由一个或多个处理器执行。本申请的每个步骤可以实施为硬件组件，或替代地实施为例如在每个步骤的一个或多个处理器上运行的软件。

总而言之，本申请与前述内容中的示例性实施方案一起公开，但是示例性实施方案并不意图限制本申请。在不脱离本申请的精神和范围的情况下由本领域的一般技术人员进行各种变化和修改处于本申请的范围内。因此，本申请的保护范围受所附权利要求书限制。

虽然上文描述了特定实施方案，但是应理解，并不意图将本发明限制于这些特定实施方案。相反，本发明包含在所附权利要求书的精神和范围内的替代、修改和等同物。阐述众多具体细节以提供对本文所展示的主题的透彻理解。但本领域的一般技术人员将明白，可以在没有这些具体细节的情况下实践主题。在其它情况下，未详细描述众所周知的方法、程序、组件和电路，以免不必要地混淆实施方案的各方面。

尽管术语第一、第二等可以在本文中用于描述各种元件，但这些元件不应受这些术语的限制。这些术语仅用于将一个元件与另一元件区分开来。本文中用于本发明的描述中的术语是仅出于描述具体实施方案的目的且并不希望限制本发明。如在本发明的描述和所附权利要求书中所使用的，单数形式“一”、“一个”和“所述”旨在也包含复数形式，除非上下文另外明确说明。还将理解，如本文中所使用的术语“和/或”指代且涵盖相关联的所列项目中的一个或多个的任何和所有可能组合。将进一步理解，当在本说明书中使用时，术语“包含(includes、including)”和/或“包括(comprises、comprising)”指定所述特征、操作、元件和/或组件的存在，但是不排除存在或添加一个或多个其它特征、操作、元件、组件和/或其群组。

如本文所使用，术语“如果”可以被解释为表示“当......时”或“在......后”或“响应于确定”或“根据确定”或“响应于检测”，取决于上下文，陈述的先决条件为真。类似地，短语“如果确定[陈述的先决条件为真]”或“如果[陈述的先决条件为真]”或“当[陈述的先决条件为真]时”可以被解释为表示“在确定......后”或“响应于确定”或“根据确定”或“在检测......后”或“响应于检测”，取决于上下文，陈述的先决条件为真。

尽管各图中的一些以特定次序说明多个逻辑阶段，但是可以重新排序不依赖于次序的阶段，并且可以组合或分解其它阶段。虽然具体提到了一些重新排序或其它分组，但是其它重新排序或分组对于本领域的一般技术人员来说是显而易见的，因此不提供详尽的替代方案列表。此外，应认识到，这些阶段可以用硬件、固件、软件或其任何组合来实施。

出于阐释的目的，已参考具体实施方案描述了前述描述。然而，以上说明性论述并不意图为详尽的或将本发明限于所公开的精确形式。鉴于以上教示，许多修改和变化是可能的。选择和描述实施方案是为了最好地解释本发明的原理及其实际应用，由此使得本领域的其它技术人员能够最佳地利用本发明以及具有适合于所预期的具体用途的各种修改的各种实施方案。实施方案包含在所附权利要求书的精神和范围内的替代、修改和等同物。阐述众多具体细节以提供对本文所展示的主题的透彻理解。但本领域的一般技术人员将明白，可以在没有这些具体细节的情况下实践主题。在其它情况下，未详细描述众所周知的方法、程序、组件和电路，以免不必要地混淆实施方案的各方面。