具有三维感知的视频通信的制作方法
【专利摘要】一般地，本公开通过基于标识、切分和跟踪图像的前景和背景层所生成的视差效应来提供用于具有三维感知图像呈现的实时视频通信的方法和系统。所述系统可包括：图像切分模块，配置成将当前本地视频帧分为本地前景层和本地背景层，并且基于本地前景层和本地背景层之间估计的边界来生成本地前景掩模，其中，当前本地视频帧包括本地颜色视频图像帧和本地图像深度数据帧；面部跟踪模块，配置成基于当前本地视频帧以及一个或多个先前本地视频帧来跟踪本地用户的面部的位置；背景层估计模块，配置成估计与从远程视频处理器接收的当前远程视频帧和远程前景掩模关联的远程背景层；以及图像呈现模块，配置成基于所估计的远程背景层、从远程视频处理器接收的当前远程视频帧和远程前景掩模、以及本地用户的面部的所跟踪的位置来呈现3D感知图像。
【专利说明】具有三维感知的视频通信
【技术领域】
[0001] 本公开涉及实时视频通信，并且更具体地涉及具有三维感知的实时视频通信。
【背景技术】
[0002] 例如各自在计算机上的本地用户和远程用户之间的视频通信变得日益常见和可 用。这归因于内置视频摄像机和麦克风的个人计算机的流行以及高速互联网连通性的日益 可用性。但是，由于通常与三维（3D)成像关联的所增加的硬件复杂性，大多数视频通信限 于提供二维（2D)屏幕图像。这些复杂性可包括使用双摄像机、具有同步和校准的昂贵显示 技术和难度。
[0003] 但是，3D视频通信是值得期望的。深度感知向用户提供视觉提示，并且这些提示可 增强与通信体验关联的空间和现实的感觉。如果能够以减少的成本并且无需对诸如第二摄 像机或复杂显示器之类的附加硬件的要求来提供深度感知，则可由此增加用户体验的质量 和满意。
【专利附图】
【附图说明】
[0004] 随着下面的详细描述继续并且在参考附图时，所要求保护的主题的实施例的特征 和优点将变得明显，在附图中，相似的标号描绘相似的部分，并且其中： 图1示出与本公开一致的视频通信系统的一个示范性实施例的顶级系统图； 图2示出与本公开一致的视频通信系统的一个示范性实施例的框图； 图3示出与本公开一致的示范性实施例的前景切分（segmentation)模块的附加框图 细节； 图4示出与本公开的示范性实施例一致的前景掩模(mask)和边界轮廓； 图5示出与本公开一致的示范性实施例的背景估计模块的附加框图细节； 图6示出与本公开一致的示范性实施例的操作的流程图。
[0005] 虽然下面的详细描述将通过对说明性实施例进行参考来继续，但是本领域技术人 员将明白其许多的备选、修改和变形。
【具体实施方式】
[0006] -般地，本公开提供用于具有三维（3D)感知图像的实时视频通信的方法和系统， 该三维感知图像通过基于标识、切分和跟踪图像的前景和背景层所生成的视差效应来呈 现。本地视频图像帧可在本地系统或平台中从本地摄像机获得，并且被切分为前景层和背 景层。与层边界有关的信息可连同本地视频图像被传送到远程系统。远程系统可类似将远 程视频图像和关联的层边界信息提供给本地系统。可检测并且在多个视频帧上跟踪本地用 户的面部的位置。本地系统可生成具有3D感知的图像，该具有3D感知的图像要通过其中远 程前景和远程背景层相对于彼此移动的运动视差的引入在本地显示器上显示给本地用户。 通过跟踪本地用户的面部位置来控制相对运动。背景运动可相对于前景运动处于降低的速 率，从而能够使用每个平台上的单个摄像机来实现实时视频流传送中的3D感知。
[0007] 图1示出与本公开一致的一个示范性实施例的顶级系统图100。该系统可在本地 用户120和远程用户122之间提供具有3D感知的流传送视频通信。本地视频摄像机102 获得一个或多个图像帧，所述一个或多个图像帧可包括在背景场景或环境118前面的本地 用户120。本地视频摄像机102可关联于或集成到本地计算机系统或平台，诸如，例如，膝 上型计算机或计算机监视器、或者它可以是独立的摄像机。在一些实施例中，本地视频摄像 机102可获得颜色视频图像和深度图像这两者，如下面将更详细地解释的。本地视频帧可 被提供给本地3D感知处理模块104,其可将图像切分为本地前景和背景层，从而创建本地 前景掩模以及跟踪本地用户的面部的位置，如下面将更详细地解释的。本地前景掩模和本 地视频颜色帧可随后在网络106上被传送到与远程用户122的远程计算机系统或平台关联 的远程3D感知处理模块110。远程3D感知处理模块110可为远程用户122提供本地3D感 知处理模块为本地用户122提供的相同或类似的功能性。
[0008] 本地3D感知处理模块104可在网络106上接收可连同本地用户的面部的所跟踪 位置使用的远程前景掩模和远程视频颜色帧，以在本地显示器108上呈现具有3D感知的远 程用户和远程背景的图像。3D感知可基于视差运动，该视差运动响应于本地用户的面部的 位置在所显示的前景（例如，远程用户）和所显示的远程背景环境之间生成。例如，当本地 用户的面部移向本地用户的左方时，远程用户将在本地观看显示器上相对于远程背景显现 为右移。
[0009] 在下面的讨论中，关注将集中在来自本地用户视角的视频通信上。但是，将领会 至IJ，这样做是为了便于解释，并且所公开的原理和所描述的示范性实施例可等同地服务于 相对于远程用户的通信。因此，可实现具有3D感知的双向流传送视频通信。另外，在以下描 述中，本地和远程系统可在功能性上被视为互相镜像以作为优先实施例。但是，将领会到， 在备选实施例中，可基于对于具体应用或实现的适合性和便利来在本地和远程平台之间重 新分布所描述的处理块的任何一个或所有。
[0010] 在一些实施例中，例如可在本地和远程显示器的任一个或两个上以并排布局来显 示本地图像和远程图像这两者。在这样的情况中，将领会到，可针对任何或所有这样的图像 来应用本文公开的3D感知呈现技术。
[0011] 图2示出与本公开一致的视频通信系统的一个示范性实施例的框图200。本地3D 感知处理模块104被示出包括图像切分模块202、面部跟踪模块204、背景估计模块208和 图像呈现模块206。图像切分模块202可将来自由本地摄像机102提供的本地视频流的图 像切分为本地前景层和本地背景层。可基于前景和背景层之间的所估计的边界来生成本地 前景掩模，如下面将更详细的描述的。网络传送模块210可在网络106上将本地前景掩模连 同本地视频帧发送到远程系统。在下面所述的一些实施例中，本地视频帧可包括图像深度 信息和颜色图像信息这两者，在该情况中，可不需要将图像深度信息分量发送到远程系统。
[0012] 面部跟踪模块204可跟踪本地用户的面部的位置。面部的位置可从本地视频流的 图像帧到图像帧在时间上被跟踪。面部跟踪模块能够确定例如在图像帧内用户何时从左移 到右,或者反之亦然。
[0013] 网络接收模块212在网络106上从远程系统接收远程视频颜色巾贞和远程前景掩 模。远程视频颜色帧可包括例如远程用户的远程背景和远程前景两者。背景估计模块208 接受远程视频颜色帧和远程前景掩模作为输入，并且提取远程背景层。背景估计模块208 随后生成远程背景层的估计，所述远程背景层的估计包括当前从远程前景对象来看可能模 糊的远程背景的区域，如下面将更详细地讨论的。
[0014] 所估计的远程背景、远程视频颜色帧、远程前景掩模和本地所跟踪的面部位置都 被提供给图像呈现模块206。图像呈现模块206基于远程前景掩模从远程视频颜色帧中提 取远程前景图像，并且将所提取的远程前景在由本地跟踪的面部位置确定的偏移位置上合 成到所估计的远程背景上。可随着本地用户移动从帧到帧而不同的偏移在所呈现的图像中 生成基于视差的3D感知。对于背景图像的偏移位移认可被计算为= +知*￡/，并且 对于前景图像的偏移位移仿可被计算为Oj =-% =5Vi,其中，￡/表示包括与本地跟踪的面部 位置关联的方向和距离的运动向量。比例因子和％-般在〇到1的范围中。K f因子前面 的负号指示前景偏移在本地用户运动的相反方向中。
[0015] 图3示出与本公开一致的图像切分模块202的示范性实施例的附加框图细节300。 图像切分模块202被示出包括粗略切分模块306和边界精制模块308。本地摄像机102被示 出包括深度成像摄像机302和颜色成像摄像机304。深度成像摄像机302可与颜色成像摄 像机304时间同步和空间对齐。粗略切分模块306从深度成像摄像机302获得深度图像数 据，并且应用去噪过滤310、阈值化312和连接分量分析（connected component analysis, CCA)314以生成粗略本地前景掩模。在一些实现中，去噪过滤器310可以是中值过滤器或 水平集（level-set)过滤器。阈值化模块312可基于深度数据的阈值化将图像切分为初始 前景和背景层。可基于视频通信中的深度数据具有双模概率分布的假设来采用适应性阈值 化。例如，可使用其中k=2的k-均值聚类（clustering)从每个深度图像的直方图来选择 最佳阈值。连接分量分析模块314可过滤掉前景掩模中相对较小的区域以生成具有改进连 通性的前景掩模。
[0016] 由粗略切分模块306生成的粗略本地前景掩模可在对象边界包括不精确度。为此 原因，由颜色成像摄像机304提供的颜色图像和粗略前景掩模被提供给边界精制模块308， 边界精制模块308执行层绑定（banding)316、图裁剪处理318、并且应用平滑过滤器320以 生成精制的本地前景掩模。如图4中所示，层绑定模块316在粗略切分的前景层的轮廓402 上操作。沿着轮廓402的内部的N个像素宽度的第一带408被标识为"大致前景"。沿着轮 廓402的外部的同样N个像素宽度的第二带406被标识为"大致背景"。前景区内部的所有 剩余像素410被标识为"前景"，并且前景区外部的所有剩余像素404被标识为"背景"。所 有像素及其带标识以及来自颜色图像的关联颜色值被传递到图裁剪模块318以生成具有 增加精确度的前景边界。可以是高斯过滤器的平滑过滤器模块320平滑前景边界以生成精 制的本地前景掩模。
[0017] 图5示出与本公开一致的背景估计模块208的示范性实施例的附加框图细节500。 背景估计模块208被示出包括背景初始化模块502、全局背景图像和像素历史存储器模块 504和背景更新模块506。背景估计模块208为两个目的来跟踪远程用户的环境的全局背 景图像。首先，所呈现的3D感知视图通常会将远程场景的视图从不同于远程物理摄像机实 际角度的角度呈现给本地用户，并且因此需要综合或估计来自远程摄像机由前景中的远程 用户挡住的远程背景的部分。但是，前景人物一般不是静态的，并且不将持续挡住背景的相 同部分，因此跟踪背景允许随时间聚合未挡住的区域以创建全局背景图像。第二个目的由 以下事实引起：远程背景环境一般也不是静态的。场景可改变，人们可经过和/或照明环境 可变化。背景跟踪允许对这些改变的适应。
[0018] 背景初始化模块502使用来自第一视频帧的所提取的远程背景层的像素来初始 化全局背景图像。背景更新模块506通过结合来自新接收的视频帧的所提取的远程背景层 的新背景像素以及为该目的在存储器模块504中维护更新的背景图像和像素历史来更新 全局背景图像。
[0019] 在初始化期间，使用远程用户的第一视频帧中的所有可见背景像素来初 始化全局背景图像504中对应的背景像素，即=全局背景图像中的剩余 背景像素由远程前景挡住，并且保持未初始化。
[0020] 在背景更新506期间，第i个视频帧中的每个可见背景像素PiIfjt;_ Vj与其对应的全 局背景图像像素-起被检查。如果先前已经被挡住并且未被初始化， 则其被更新为= Pii+A-，"V.)。已经被初始化,则其被更新为 Bi(XlV) =w{x,y)*Pi(XtY) +(I-w{x,y)} * 其中，Mifiyj由和的像素历史之间的相似度的测量来确定。例如，每 个全局背景图像像素的N个最新的颜色值可被记录为像素的历史^ 2,...， 并且14-可由P,.(x,_vj和三维红-绿-蓝（R，G，B)颜色空间中的刃的平 均值之间的归一化距离来确定。例如， =I - IPi(XtV)-avg( Η^χ,γ))/(3*255)， 其中，IJ可以是任何距离度量，诸如例如LI或L2距离度量。
[0021] 如果ft.成Vj已经被初始化，但是第i个视频帧中其对应的像素是前景像素，则 它可被更新为= /KxjJ。但是，由于背景照明改变和/或摄像机自动白平衡调 节，背景像素的强度可从一个帧到下一个帧显著地改变。假设该强度改变能够由线性函数 来模型化,刃可被更新为 Bi(XfV) = a + I? * Bi^1(XfY), 其中，a和b可通过求解以下线性方程来计算： /,= a + h * Ii-J, 其中，/,·和/w分别是当前和前一个远程视频帧的背景区域的平均强度。
[0022] 图6示出与本公开一致的示范性实施例的操作的流程图600。在操作610,将当前 本地视频帧切分为本地前景层和本地背景层。在操作620,基于本地前景层和本地背景层之 间所估计的边界来生成本地前景掩模。在操作630,将当前本地视频帧和本地前景掩模传送 到远程视频处理器，该远程视频处理器配置成基于当前本地视频帧和本地前景掩模来呈现 3D感知图像。在操作640,从远程视频处理器接收当前远程视频帧和远程前景掩模。在操 作650,基于当前本地视频帧以及一个或多个先前本地视频帧来跟踪本地用户的面部的位 置。在操作660,基于当前远程视频帧和远程前景掩模来估计远程背景层。在操作670,基 于所估计的远程背景层、远程前景掩模、当前远程视频帧和本地用户的面部的所跟踪的位 置来呈现3D感知图像。
[0023] 在一些实施例中，在本地和远程平台的任何一个或两者，双摄像机可以是可用的。 当双摄像机可用时，附加深度信息可从这两个摄像机之间的像素差异来获得。该附加深度 信息可补充或替换从先前所述的深度成像摄像机所获得的深度信息。
[0024] 本文所述的方法的实施例可在包括一个或多个存储媒体的系统中实现，所述一个 或多个存储媒体具有个别或组合地存储于其上的指令，所述指令当由一个或多个处理器运 行时执行所述方法。这里，处理器可包括，例如，系统CPU(例如，核处理器）和/或可编程 电路。因此，意图的是，根据本文所述方法的操作可被分布在多个物理设备上，诸如若干不 同的物理位置处的处理结构。同样，意图的是，可个别或子组合地执行方法操作，如本领域 的技术人员将理解的。因此，并非每个流程图的所有操作需要被执行，并且本公开明确意图 的是，能够实现这样的操作的所有子组合，如本领域的普通技术人员将理解的。
[0025] 存储媒体可包括任何类型的有形媒体，例如，包括软盘、光盘、紧致盘只读存储器 (⑶-ROM)、紧致盘可重写（⑶-RW)、数字通用盘（DVD)和磁-光盘的任何类型的盘，诸如只 读存储器（ROM)、诸如动态和静态RAM的随机存取存储器（RAM)、可擦除可编程只读存储器 (EPROM)、电可擦除可编程只读存储器（EEPROM)、闪速存储器、磁或光卡之类的半导体设备， 或者适合存储电子指令的任何类型的媒体。
[0026] 如本文任何实施例中使用的"电路"可包括，例如，单个或任何组合的硬连线电路、 可编程电路、状态机电路和/或存储由可编程电路运行的指令的固件。应用可作为可在诸 如主机处理器或其它可编程电路之类的可编程电路上运行的代码或指令而被实施。如本文 任何实施例中使用的模块可作为电路被实施。电路可作为诸如集成电路芯片之类的集成电 路被实施。
[0027] 因此，本公开通过基于标识、切分和跟踪图像的前景和背景层所生成的视差效应 来提供用于具有三维感知图像呈现的实时视频通信的方法和系统。
[0028] 所述方法可包括将当前本地视频帧切分为本地前景层和本地背景层。该示例的方 法还可包括基于本地前景层和本地背景层之间估计的边界来生成本地前景掩模。该示例的 方法还可包括将当前本地视频帧和本地前景掩模传送到远程视频处理器，所述远程视频处 理器配置成基于当前本地视频帧和本地前景掩模来呈现3D感知图像。该示例的方法还可 包括从远程视频处理器接收当前远程视频帧和远程前景掩模。该示例的方法还可包括跟踪 本地用户的面部的位置，所述跟踪基于当前本地视频帧以及一个或多个先前本地视频帧。 该示例的方法还可包括基于当前远程视频帧和远程前景掩模来估计远程背景层。该示例的 方法还可包括基于所估计的远程背景层、远程前景掩模、当前远程视频帧和本地用户的面 部的所跟踪的位置来呈现3D感知图像。
[0029] 另一个示例方法包括前述的操作，并且当前本地视频帧包括本地颜色视频图像帧 和本地图像深度数据帧，并且以及，传送当前本地视频帧包括传送本地颜色视频图像帧。
[0030] 另一个示例方法包括前述的操作，并且生成本地前景掩模还包括基于本地图像深 度数据帧来生成粗略前景掩模，并且还包括基于粗略前景掩模和本地颜色视频图像帧来生 成精制的前景掩模。
[0031] 另一个示例方法包括前述的操作，并且生成粗略前景掩模还包括去噪过滤、阈值 化和连接分量分析。
[0032] 另一个示例方法包括前述的操作，并且生成精制的前景掩模还包括层绑定、图裁 剪处理和平滑过滤。
[0033] 另一个示例方法包括前述的操作，并且所述呈现还包括基于远程前景掩模从当前 远程视频帧提取远程前景层，并且合成所提取的远程前景层和所估计的远程背景层，并且 所提取的远程前景层被定位在相对于所估计的远程背景层的偏移，该相对的偏移基于本地 用户的面部的所跟踪的位置。
[0034] 另一个示例方法包括前述的操作，并且所估计的远程背景层被定位在第一偏移， 认=,并且所提取的远程前景层被定位在第二偏移，込=今并且J是包括与本 地用户的面部位置的所跟踪的位置关联的方向和距离的运动向量,?是〇到1的范围中的 比例因子，并且％是0到1的范围中的比例因子。
[0035] 另一个示例方法包括前述的操作，并且％>知，并且选择Jt jPb以在所呈现的3D 感知图像中生成视差。
[0036] 根据另一个方面提供一种系统。该系统可包括图像切分模块，其配置成将当前本 地视频帧切分为本地前景层和本地背景层，并且基于本地前景层和本地背景层之间估计的 边界来生成本地前景掩模，并且当前本地视频帧包括本地颜色视频图像帧和本地图像深度 数据帧。该示例的系统还可包括面部跟踪模块，其配置成基于当前本地视频帧以及一个或 多个先前本地视频帧来跟踪本地用户的面部的位置。该示例的系统还可包括背景层估计模 块，其配置成估计与从远程视频处理器接收的当前远程视频帧和远程前景掩模关联的远程 背景层。该示例的系统还可包括图像呈现模块，其配置成基于所估计的远程背景层、从远程 视频处理器接收的当前远程视频帧和远程前景掩模、以及本地用户的面部的所跟踪的位置 来呈现3D感知图像。
[0037] 另一个示例系统包括前述组件，并且图像切分模块还包括配置成基于本地图像深 度数据帧来生成粗略前景掩模的粗略切分模块，并且还包括配置成基于粗略前景掩模和本 地颜色视频图像帧来生成精制的前景掩模的边界精制模块。
[0038] 另一个示例系统包括前述组件，并且粗略切分模块还包括去噪过滤模块、耦合到 去噪过滤模块的阈值化模块以及耦合到阈值化模块的连接分量分析模块。
[0039] 另一个示例系统包括前述组件，并且边界精制模块还包括层绑定模块、耦合到层 绑定模块的图裁剪处理模块、以及耦合到图裁剪处理模块的平滑过滤。
[0040] 另一个示例系统包括前述组件，并且呈现模块还配置成基于远程前景掩模从当前 远程视频帧来提取远程前景层，并且合成所提取的远程前景层和所估计的远程背景层，并 且所提取的远程前景层被定位在相对于所估计的远程背景层的偏移，该相对的偏移基于本 地用户的面部的所跟踪的位置。
[0041] 另一个示例系统包括前述组件，并且呈现模块还配置成使所估计的远程背景层定 位在第一偏移，认=M，并且使所提取的远程前景层定位在第二偏移,= -λ'/ 并 且rf是包括与跟踪的本地用户的面部位置关联的方向和距离的运动向量，是0到1的范 围中的比例因子,并且％是0到1的范围中的比例因子。
[0042] 另一个示例系统包括前述组件，并且Ay > Afe,并且选择~和&以在所呈现的3D感 知图像中生成视差。
[0043] 根据另一个方面，提供至少一个计算机可读存储媒体，其具有存储于其上的指令， 所述指令当由处理器运行时，使所述处理器执行如上面的示例中所描述的方法的步骤。 [0044] 本文已经采用的术语和表达用作描述性的而非限制性的术语，并且并不意图在这 样的术语和表达的使用中排除所示和所描述的特征（或其部分）的任何等同，并且认识到， 各种修改在权利要求的范围内是可能的。因此，权利要求意图涵盖所有这样的等同。本文 已经描述了各种特征、方面和实施例。如本领域的技术人员将理解的，所述特征、方面和实 施例易于互相组合以及变形和修改。因此，本公开应被认为包含这样的组合、变形和修改。
【权利要求】
1. 一种用于生成三维（3D)感知的方法，所述方法包括： 将当前本地视频帧切分为本地前景层和本地背景层； 基于所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模； 将所述当前本地视频帧和所述本地前景掩模传送到远程视频处理器，所述远程视频处 理器配置成基于所述当前本地视频帧和所述本地前景掩模来呈现3D感知图像； 从所述远程视频处理器接收当前远程视频帧和远程前景掩模； 跟踪本地用户的面部的位置，所述跟踪基于所述当前本地视频帧以及一个或多个先前 本地视频帧； 基于所述当前远程视频帧和所述远程前景掩模来估计远程背景层；以及 基于所述估计的远程背景层、所述远程前景掩模、所述当前远程视频帧和所述本地用 户的面部的所述跟踪的位置来呈现3D感知图像。
2. 如权利要求1所述的方法，其中，所述当前本地视频帧包括本地颜色视频图像帧和 本地图像深度数据帧，并且其中，所述传送所述当前本地视频帧包括传送所述本地颜色视 频图像帧。
3. 如权利要求2所述的方法，其中，所述生成所述本地前景掩模还包括基于所述本地 图像深度数据帧来生成粗略前景掩模，并且还包括基于所述粗略前景掩模和所述本地颜色 视频图像帧来生成精制的前景掩模。
4. 如权利要求3所述的方法，其中，所述生成所述粗略前景掩模还包括去噪过滤、阈 值化和连接分量分析。
5. 如权利要求3所述的方法，其中，所述生成所述精制的前景掩模还包括层绑定、图 裁剪处理和平滑过滤。
6. 如权利要求1、4或5所述的方法，其中，所述呈现还包括基于所述远程前景掩模从 所述当前远程视频帧提取远程前景层，并且合成所述提取的远程前景层和所述估计的远程 背景层，其中，所述提取的远程前景层被定位在相对于所述估计的远程背景层的偏移，所述 相对的偏移基于所述本地用户的面部的所述跟踪的位置。
7. 如权利要求6所述的方法，其中，所述估计的远程背景层被定位在第一偏移， O/ = +1 ,并且所述提取的远程前景层被定位在第二偏移，认=今％其中，ii是包括 与所述本地用户的面部位置的所述跟踪的位置关联的方向和距离的运动向量，fc是O到1 的范围中的比例因子，并且％是O到1的范围中的比例因子。
8. 如权利要求7所述的方法，其中，％> ",并且选择％和知以在所述呈现的3D感知 图像中生成视差。
9. 一种用于生成三维（3D)感知的系统，所述系统包括： 图像切分模块，配置成将当前本地视频帧切分为本地前景层和本地背景层，并且基于 所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模，其中，所述当前 本地视频帧包括本地颜色视频图像帧和本地图像深度数据帧； 面部跟踪模块，配置成基于所述当前本地视频帧以及一个或多个先前本地视频帧来跟 踪本地用户的面部的位置； 背景层估计模块，配置成估计与从远程视频处理器接收的当前远程视频帧和远程前景 掩模关联的远程背景层；以及 图像呈现模块，配置成基于所述估计的远程背景层、从所述远程视频处理器接收的所 述当前远程视频帧和所述远程前景掩模、以及所述本地用户的面部的所述跟踪的位置来呈 现3D感知图像。
10. 如权利要求9所述的系统，其中，所述图像切分模块还包括配置成基于所述本地 图像深度数据帧来生成粗略前景掩模的粗略切分模块，并且还包括配置成基于所述粗略前 景掩模和所述本地颜色视频图像帧来生成精制的前景掩模的边界精制模块。
11. 如权利要求10所述的系统，其中，所述粗略切分模块还包括去噪过滤模块、耦合 到所述去噪过滤模块的阈值化模块以及耦合到所述阈值化模块的连接分量分析模块。
12. 如权利要求10所述的系统，其中，所述边界精制模块还包括层绑定模块、耦合到 所述层绑定模块的图裁剪处理模块、以及耦合到所述图裁剪处理模块的平滑过滤。
13. 如权利要求9、11或12所述的系统，其中，所述呈现模块还配置成基于所述远程前 景掩模从所述当前远程视频帧来提取远程前景层，并且合成所述提取的远程前景层和所述 估计的远程背景层，其中，所述提取的远程前景层被定位在相对于所述估计的远程背景层 的偏移，所述相对的偏移基于所述本地用户的面部的所述跟踪的位置。
14. 如权利要求13所述的系统，其中，所述呈现模块还配置成使所述估计的远程 背景层定位在第一偏移，〇/= +b ，并且使所述提取的远程前景层定位在第二偏移， O2 = -# M,其中，是包括与所述跟踪本地用户的面部位置关联的方向和距离的运动向 量是〇到1的范围中的比例因子，并且#是〇到1的范围中的比例因子。
15. 如权利要求14所述的系统，其中，4,并且选择A/和知以在所述呈现的3D感 知图像中生成视差。
16. -种计算机可读存储媒体，具有存储于其上的指令，所述指令当由处理器运行时 导致用于生成三维（3D)感知的以下操作，所述操作包括： 将当前本地视频帧切分为本地前景层和本地背景层； 基于所述本地前景层和所述本地背景层之间估计的边界来生成本地前景掩模； 将所述当前本地视频帧和所述本地前景掩模传送到远程视频处理器，所述远程视频处 理器配置成基于所述当前本地视频帧和所述本地前景掩模来呈现3D感知图像； 从所述远程视频处理器接收当前远程视频帧和远程前景掩模； 跟踪本地用户的面部的位置，所述跟踪基于所述当前本地视频帧以及一个或多个先前 本地视频帧； 基于所述当前远程视频帧和所述远程前景掩模来估计远程背景层；以及 基于所述估计的远程背景层、所述远程前景掩模、所述当前远程视频帧和所述本地用 户的面部的所述跟踪的位置来呈现3D感知图像。
17. 如权利要求16所述的计算机可读存储媒体，其中，所述当前本地视频帧包括本地 颜色视频图像帧和本地图像深度数据帧，并且其中，所述传送所述当前本地视频帧包括传 送所述本地颜色视频图像帧。
18. 如权利要求17所述的计算机可读存储媒体，其中，所述生成所述本地前景掩模还 包括基于所述本地图像深度数据帧来生成粗略前景掩模的操作，并且还包括基于所述粗略 前景掩模和所述本地颜色视频图像帧来生成精制的前景掩模。
19. 如权利要求18所述的计算机可读存储媒体，其中，所述生成所述粗略前景掩模还 包括去噪过滤、阈值化和连接分量分析的操作。
20. 如权利要求18所述的计算机可读存储媒体，其中，所述生成所述精制的前景掩模 还包括层绑定、图裁剪处理和平滑过滤的操作。
21. 如权利要求16、19或20所述的计算机可读存储媒体，其中，所述呈现还包括基于 所述远程前景掩模从所述当前远程视频帧提取远程前景层、以及合成所述提取的远程前景 层和所述估计的远程背景层的操作，其中，所述提取的远程前景层被定位在相对于所述估 计的远程背景层的偏移，所述相对的偏移基于所述本地用户的面部的所述跟踪的位置。
22. 如权利要求21所述的计算机可读存储媒体，其中，所述估计的远程背景层被定 位在第一偏移，= ，并且所述提取的远程前景层被定位在第二偏移，（A = -Ai 其中，是包括与所述本地用户的面部位置的所述跟踪的位置关联的方向和距离的运动向 量'是〇到1的范围中的比例因子，并且Αγ是0到1的范围中的比例因子。
23. 如权利要求22所述的计算机可读存储媒体，其中，％ > Afr,并且选择A/和知以在所 述呈现的3D感知图像中生成视差。
【文档编号】H04N13/04GK104380704SQ201380033428
【公开日】2015年2月25日 申请日期:2013年7月24日 优先权日:2012年7月30日
【发明者】Y.吴, W.孙, M.M.楚, E.德雷沙, P.穆斯, L.B.艾恩斯沃思, G.舍马克, I.V.科津特塞夫 申请人:英特尔公司