遥现体验的制作方法

当人们以面对面讨论进行交互时，他们能够以各种方式进行交流，诸如语音、手势、眼睛注视、他们如何使他们自己彼此确定方向等。存在用于远程个体的音频/视频会议的技术，这些技术捕捉语音和图像，但是丢失了面对面交流的其他方面。当前的概念能够提供音频/视频会议，该音频/视频会议能够仿真这些其他方面中的一些方面以提供更为有效且令人满意的用户体验。

技术实现要素：

本描述涉及经由遥现体验的远程协作。一个示例能够包括交互式数字显示设备。该示例还能够包括虚拟用户呈现组件，虚拟用户呈现组件被配置为在交互式数字显示设备上生成包括远程用户的虚拟表示的图形用户界面。图形用户界面能够被配置为以将远程用户的虚拟表示与远程用户在交互式数字显示设备上的交互进行相关的方式来呈现远程用户。例如，该相关可能牵涉到将远程用户的图像连接至这些交互。例如，这种相关能够以与交互式数字显示设备的本地用户成并排或镜像的关系来完成。

上文所列出的示例意图为提供快速参考以辅助读者并且不意图为限定本文所描述的概念的范围。

附图说明

附图图示了本文中所传达的概念的实施方式。所图示的实施方式的特征能够通过结合附图参考以下描述而更容易地被理解。各种附图中的相似参考标号被使用在任何可以指示相似元素的地方。进一步地，每个参考标号的最左侧数字传达了该参考标号首次被引入的附图和相关联的讨论。

图1-图4示出了依据当前概念的一些实施方式的示例远程协作系统场景。

图5-图7示出了依据当前概念的一些实施方式的示例远程协作系统。

图8示出了依据当前概念的一些实施方式的示例协作过程。

图9-图13示出了依据当前概念的一些实施方式的与图1-4的一些场景的远程可视化方面有关的附加细节。

图14-图15示出了依据当前概念的一些实施方式的远程可视化技术的流程图示例。

具体实施方式

概述

本专利涉及对共址用户的真实生活交互进行模仿的视频会议。从一个视角来看，本视频会议概念能够被称作“沉浸板”(ImmerseBoard，例如仿真的面对面白板协作)。沉浸板能够表现为用于通过交互式数字显示设备进行远程协作的系统，其给予参与者(“用户”)3-D沉浸式体验。该系统能够将交互式数字显示设备(例如，触敏显示器或数字白板)与深度相机(诸如，传感器)相结合。通过深度图像的3-D处理以及用户图像的渲染，沉浸板能够仿真物理白板上的或者替换地是镜面上的并排书写，以及其他事物。沉浸板能够允许用户更好地估计他们的远程搭档的眼睛注视方向、手势方向和注意力、和/或同意程度。此外，这些因素能够转换为经提高的在一起的感觉以及更为愉悦的遥现体验。

物理白板能够通过允许处于相同地点的人们以书写形式共享他们的想法来增强他们之间的协作。书写表示的存在进而能够允许用户通过指点、注视的方向、和/或其他形式的手势，在物理方面表达出他们对这些想法的关系。除了书写信息本身之外，这些可能是物理白板能够超出共址的人们之间的协作的通常重要元素以外增强协作的重要方式，诸如眼神接触、身体姿态、人际距离等。

当协作者为远程时，交互式数字显示设备(例如，数字白板或触敏显示器)能够使得远程协作者有可能图形地共享他们的想法。数字白板共享是在一些现代视频会议系统中找到的设施。然而，它被用来通过书写传达信息。对于用户而言失去了通过指点、注视和其他形式的手势互相关联和/或与书写进行关联的能力。当前的概念能够保留这样的情境，就像用户是共址的(例如，在相同的白板处)。因此，当从一个视角来看时，当前的实施方式能够解决如下的技术问题：使得远程参与者感觉上好像他们共址于所共享的白板周围。

当前的实施方式能够利用沉浸式遥现来保留远程用户与数字白板的物理关联。在沉浸式遥现中，远程环境的各方面能够被捕捉、传输和共享，从而用户能够在大的视场中以恰当的视角看到和听到彼此(可能是原物大小)，就像他们在相同的地点一样。远程用户以及他们的环境的部分能够以3-D被捕捉并且被混合到共同的3-D虚拟环境中，在该3-D虚拟环境中用户可以进行交互。用户还能够操控所共享的内容。

当前概念的实施方式能够围绕远程数字白板协作来创建沉浸式体验。图1-2、3和4中分别示出了这些沉浸式条件中的三个条件，称为混合条件、镜面条件和倾斜板面条件。随后关于图10-13来描述用于实现这些条件的细节。

用户体验示例

图1-2示出了在系统100上完成的上文所提到的混合条件沉浸板的示例。系统100能够包括第一和第二交互式数字显示设备(“设备”)102(1)和102(2)。图形用户界面(GUI)103能够被呈现在设备102上。系统100能够被划分为本地用户环境104(例如，第一用户环境)和远程用户环境106(例如，第二用户环境)。本地用户108(例如，第一用户)能够出现在本地用户环境104中，而远程用户110(例如，第二用户)能够出现在远程用户环境106中。远程用户110的虚拟表示(例如，虚拟远程用户)112能够在远程用户环境中被捕捉并且被呈现在设备102(1)上。类似地，本地用户108的虚拟表示(例如，虚拟本地用户)114能够在本地用户环境中被捕捉并且被呈现在设备102(2)上。注意，“本地”和“远程”是任意的并且可以简单地是“第一”和“第二”。因此，对第一用户是本地的对第二用户则是远程的，并且对第二用户是本地的对第一用户则是远程的。

在这一实施方式中，不是直接处于“本地”用户前面的设备102的虚拟用户显示部分被用来呈现虚拟用户。例如，虚拟远程用户112被呈现在处于本地用户108右侧的虚拟用户显示部分116(1)中。类似地，虚拟本地用户114被呈现在处于远程用户110左侧的虚拟用户显示部分116(2)上。

GUI 103的分离交互式部分118(例如，虚拟绘制表面)能够被用于书写、绘图等。因此，GUI 103能够包括虚拟用户显示部分116和交互式部分118。例如，GUI 103(1)能够包括虚拟用户显示部分116(1)和交互式部分118(1)，并且GUI 103(2)能够包括虚拟用户显示部分116(2)和交互式部分118(2)。

进一步注意，虽然本地用户的表示被呈现在虚拟用户显示部分116(2)中，但是用户相对于设备的移动能够在虚拟用户显示部分116(2)与交互式部分118(2)之间被相关。在这个示例中，该相关可能牵涉到用户手臂的表示从虚拟用户显示部分116(2)“延伸”至交互式部分118(2)。例如，在所图示的示例中，本地用户108正在指点设备102(1)的交互式部分118(1)中的“O”处。通过呈现她指点设备102(2)的交互式部分118(2)中的对应“O”处的手部，并且将她的手臂从她在虚拟用户显示部分116(2)中的图像(例如，虚拟本地用户114)“延伸”至如在120处所指示的她的手部，她的动作能够在设备102(2)上被模仿。因此，她的动作以模仿面对面交互(其中她可以伸手并指点“O”处)的方式而容易地在视觉上被传达给远程用户110。

作为总结，图1示出了本地用户108相对于设备102(1)所执行的用户命令以及用户命令如何被呈现在远程用户环境106中。

图2示出了远程用户110所执行的用户命令以及用户命令如何被呈现在本地用户环境104中。在这个示例中，远程用户110通过利用他的手指(或者替换地利用数字笔)在设备102(2)的交互式部分118(2)上数字地写出“X”来执行用户命令。在本地用户环境104中，远程用户手部的表示被示出为在交互式部分118(1)上的对应地点写出“X”。通过将202处的远程用户手臂从虚拟用户显示部分116(1)“延伸”至远程用户手部在交互式部分118(1)中的表示，远程用户手部的表示能够被连接至虚拟远程用户112。注意，虽然使用了“延伸的”手臂来将用户的图像与内容进行相关，但是也能够使用其他的视觉表示技术。例如，除了其他的相关技术之外，箭头可以将用户连接至内容，或者“光束”可以指向沿着从用户图像到内容的表面。因此，除了其他事物之外，与用户手臂的原物大小的表示相对地，光束或箭头能够被用作用户手臂的符号表示。

在上述场景中，每个用户能够看到其他用户正在做什么，看到他们的姿态，看到他们的相对位置，和/或看到他们与设备的交互。

作为总结，从一个视角来看，系统100中所描绘的混合条件能够被特性化为对利用白板的2-D视频会议的修改，将远程人物的手部延伸出视频窗口(例如，虚拟用户显示部分)之外以到达他或她正在指点或书写的地点。这被图示在图1和2中，它们被划分为系统100的本地用户环境和远程用户环境。

图3示出了系统300上的示例倾斜板面沉浸板实施方式。简要地说，从一个视角来看，该倾斜板面能够在物理白板上书写的同时仿真并排的协作。

在这种情况下，相应设备102的显示区域302被指定。图形用户界面(GUI)303能够被呈现在显示区域302上，其包括能够被呈现在显示区域302上的虚拟绘制表面304。其他用户的虚拟表示能够被呈现在虚拟绘制表面304之外的显示区域302上。例如，相对于本地用户环境104，虚拟远程用户112被呈现，并且相对于远程用户环境106，虚拟本地用户114被呈现。在这一特定实施方式中，虚拟绘制表面304总体上是矩形的，但是情况并非需要是这样。正如一些其他所描述的条件，在一些实施方式中，虚拟用户(例如，虚拟远程用户112和虚拟本地用户114)的整个上身能够以原物大小被看到，从而关于设备102以及关于其他用户这两者传达了身体姿态、身体接近度、手势方向、指点方向、以及眼睛注视方向。然而，为了将虚拟用户的图像适配在设备上，矩形绘制表面的图像能够以角度α(诸如10至45度)向后倾斜，并且符合透视法地被渲染。也就是说，绘制表面现在是虚拟的；因此是术语虚拟绘制表面。通过向虚拟绘制表面304的作为GUI 303的一部分的投影上进行书写，用户能够在虚拟绘制表面304上进行书写。与此同时，用户能够看到彼此，就像他们是并排的那样。

一些实施方式能够通过在检测到或预测到书写手势的情况下依照显示区域302对虚拟绘制表面进行临时修正，而避免用户在带角度的或倾斜的虚拟绘制表面304上进行书写。替换地，这一选项可以被提供给用户以用于在他们想要进行书写时的手动实施。在手动模式中，用户能够选择(例如，按下按钮或执行控制手势)以在倾斜的与修正的虚拟绘制表面之间进行切换。在自动模式中，当用户的手部接近于数字白板时，该板面能够自动地被修正。当用户将他们的手部撤离设备和/或撤步远离设备时，虚拟绘制表面符合透视法地向后倾斜。在任一种情况下，在一些实施方式中，当虚拟绘制表面被修正时，远程用户不再是可见的，但是情况并非需要是这样。因此，用户通常将使用倾斜板面来观看存在的远程用户，并且将使用修正的板面来书写详细的勾画。倾斜和修正仅是为了本地用户的益处的可视化，并且能够在任一侧独立地进行。

图4示出了系统400所实施的镜面条件的沉浸板的示例。从一个视角来看，该镜面条件能够在物理镜面(例如，镜像关系)上书写的同时仿真并排的协作。

图4中所示出的镜面条件能够被认为是对镜面比喻(metaphor)的仿真。在这种实施方式中，每个虚拟用户的身体的一部分(诸如他们的上身)能够以原物大小被呈现，从而关于设备102以及关于本地用户(例如，其他用户)这两者传达了身体姿态、身体接近度、手势方向、指点方向、以及眼睛注视方向。两个用户都能够在GUI 403的整个显示区域402上进行书写，并且在显示区域的任何部分中看到彼此，就像它是一个大的镜面。

第一眼看上去，该镜面条件可能看起来等同于通过玻璃墙观看到彼此，但是该比喻是不正确的。如果一个人在玻璃墙上书写字符，则另一个人看到反向书写的字符。镜面是正确的比喻，因为用户处于书写表面的相同侧并且因此共享相同的左/右几何形式。先前的允许用户通过清晰板面而面对彼此的远程协作系统对2-D视频进行翻转以解决书写问题。如图10中所示出的，本镜面可视化仅翻转深度，而将书写保留在正确的左/右方向上。

图1-图4提供了三种沉浸板实施方式。注意，这些实施方式能够用来将板面的显示区域与其他用户虚拟地连接。每个用户能够看到其他用户关于数字白板正在做什么，并且能够看到他们正在看向何处、他们的脸、表情、眼睛注视方向等。因此，不是在数字白板的一部分上看到其他人的脸并且然后看到突然出现在板面的另一部分上的内容，而是用户能够看到在板面上进行书写的其他用户的身体和他们写在板面上的内容、以及在他们书写的同时看到他们的脸。

有效的远程协作经常牵涉到内容共享(例如，文档或书写)以及自然交流(例如，语音、手势、和/或眼神接触)。这一章节描述了实现沉浸式远程白板协作的沉浸板的一些底层设计原理。

眼神接触和面部表情可能是人们用于协作的关键社交工具。然而，已有的视频会议系统不能准确地传达眼睛注视意识，因为相机没有被定位在远程人物的眼睛图像处。这使得远程交流由于对彼此的注意力的不良理解而不太有效。当前的实施方式能够支持现实的眼神接触。

注意力意识对于远程协作而言经常是重要的，因为它有助于理解远程用户的兴趣和情境。特别是对于白板协作而言，用户经常通过语音、观看、书写、触摸、或手指指点而将注意力放到协作者的讲话或者板面上的内容。因此，一些当前的实施方式能够交流远程用户、白板与本地用户之间的准确的三向几何关系，特别是对于眼睛注视方向和手部位置而言。

远程协作在远程用户的动作(例如，绘图、指点、选择)能够准确地被预测的情况下可能是更有效的。类似于注意力意识，这也可能牵涉到协作系统每当有可能的时候都捕捉并且忠实渲染远程用户的信息。这可能包括(多个)远程用户在白板上的原物大小的表示以及远程用户与白板的几何关系的准确呈现。

其他实施方式也被考虑用于关于数字白板来实现这些特征。例如，为了图示的简便，图1-4中的设备102的形状因子在本地和远程环境这两者中非常类似。然而，情况并非需要是这样。例如，图7示出了采用大形状因子的数字白板和小形状因子的平板类型设备的示例实施方式。技术人员应当认识到还有其他的实施方式。

还注意到，虽然仅单个用户被示出在本地用户环境中并且单个用户被示出在远程用户环境中，但是这些环境之一或两者可以由与数字白板进行交互的一群人所占据。进一步地，一些实施方式可以一次与多于两个环境一起进行操作(例如，在三个或更多地点的三个或更多用户在沉浸板会议中进行交互)。

进一步注意，出于解释的目的，相同的混合配置被示出在图1的本地环境和远程环境中。然而，远程用户可能选取使用图3的倾斜条件或图4的镜面条件，而本地用户利用混合条件。进一步地，单个用户可以在条件之间进行切换而不影响其他用户。例如，本地用户可以针对某些交互使用混合条件，并且然后针对其他交互切换至倾斜条件而不影响远程用户。选择条件的能力能够手动地被执行。替换地或另外地，一些实施方式能够自动地执行选择，诸如基于各种用户偏好和/或使用参数，诸如书写频率或指点显示器上的内容。

示例系统

图5示出了与上文所介绍的系统100相类似的系统500上的一种沉浸板实施方式。该系统图示了表现为设备502(1)和设备502(2)的两种设备配置。这两个设备都包括屏幕或显示器504、外壳505和传感器506。各种类型的传感器506在下文被描述，并且特别被描述的一种类型是深度相机，一般被称为红绿蓝+深度(RGBD)相机507。这些设备还能够包括(多个)处理器508、存储装置/存储器510、通信组件512、以及虚拟用户呈现组件514。设备502能够替换地或另外地包括其他元件，诸如总线、图形卡(例如，图形处理单元(GPU)、网络硬件)、扬声器等，它们出于简明的目的没有在此被图示和讨论。

在所图示的配置中，显示器504是触敏显示器。然而，情况并非需要是这样，另外的传感器可以被用来检测接近于显示器的用户命令以在非触敏显示器上创建触摸显示器功能的印象。进一步注意，当前的实施方式不限制于具体类型的显示器。相对照地，可工作的实施方式能够利用投影显示器、发光二极管(LED)显示器、液晶显示器、电致发光显示器、等离子显示器、和/或其他正在开发或还将要开发的显示器类型而被完成。

传感器506能够包括各种类型的传感器，除了其他类型之外，包括触摸传感器、麦克风、电容性传感器、和/或相机。如上文所提到的，一些传感器能够是RGBD相机507或者是被配置为检测3-D图像(例如，RGBD图像)的其他传感器。针对深度方面能够利用各种技术。例如，除了其他技术之外，能够使用非可见光谱图案化，能够使用飞行时间，和/或能够使用立体相机。在一种实施方式中，除了其他情况之外，RGBD相机507能够表现为由Microsoft公司所提供的Kinect深度相机，或者Intel的RealSense 3-D相机。还注意到，虽然与每个设备502一起仅图示了单个RGBD相机507的集合，但是其他实施方式可以利用更多的RGBD相机507的集合。例如，这些设备可以在每一侧而不是仅在一侧具有RGBD相机507的集合。替换地或另外地，RGBD相机507并不需要是相同的。例如，RGBD相机507的给定集合可以包含一些近场传感器和一些远场传感器、或者一些指向捕捉接近于显示器的图像的传感器和一些指向捕捉距显示器更远的图像的传感器(例如，参见图7)。除了其他优点之外，这样的配置可以允许用户的改进的3-D映射。又另一种配置可以利用指向显示器的其他传感器，诸如在墙壁或天花板上并且指向显示器的传感器，来提供进一步的3-D数据(参见图6-7)。当然，更高分辨率的传感器能够提供更为逼真的3-D信息和视频质量。如果资源(诸如处理资源和/或网络带宽)是可用的，则更高分辨率的传感器能够对增强的用户体验作出贡献。例如，更高的视频质量能够允许用户更容易地看到远程用户眼睛的可视化。

注意，RGBD相机507能够以使得RGBD相机捕捉显示器504的方式被定位(或者可定位)。在一些情况下，RGBD相机507能够被安装在保护显示器504的外壳505之中或之上。在其他情况下，RGBD相机507可以可展开地固定至外壳。例如，RGBD相机507可以被定位在铰链支架中，铰链支架能够相对外壳被存放(例如，存放位置)并且然后被展开到捕捉位置，捕捉位置允许RGBD相机507捕捉显示器前方的区域。在更为其他的配置中，RGBD相机507能够在物理上与显示器分离(例如，参见图6)并且通过有线或无线机制与显示器和/或其他系统元件进行通信。

其他传感器506(诸如显示器中的触摸传感器)能够捕捉用户与显示器的交互，诸如触摸和/或书写(数字书写)。RGBD相机然后能够被校准至显示器，以使得显示器上的3-D点被映射到由RGBD相机所捕捉的3-D点。这种校准的示例在下文关于图9被描述。一旦被校准，显示器504的数字内容能够从显示器504和触摸传感器506被获得，并且用户的图像和深度信息能够从RGBD相机507被获得。换一种方式来说，除了其他事物之外，这一数据集合(例如，设备环境数据)能够包括笔画数据(位置和颜色)、彩色视频数据、深度视频数据、以及骨骼数据。这一数据集合(例如，设备环境数据)然后能够被处理以用于在其他设备上的呈现。

通信组件512能够促进发送和接收数据，诸如网络516上的设备环境数据。除了其他事物之外，通信组件能够表现为以太网端口、USB端口、HDMI端口、WiFi硬件、和/或蜂窝硬件中的一个或多个，或者与它们协同工作。

虚拟用户呈现组件514能够使用彩色和深度数据来提取不带有背景的用户的图像和3-D点云，而骨骼数据能够允许虚拟用户呈现组件514跟踪用户四肢的位置。(这个方面关于图9被图示)。深度数据和骨骼数据能够被表达在进行捕捉的传感器(例如，RGBD相机507)的坐标系统中。为了理解用户关于显示器的姿势，进行发送的虚拟用户呈现组件514能够将来自传感器的坐标系统的数据变换为显示器的坐标系统。在一些实施方式中，这可能牵涉到传感器关于显示器的姿势的在先校准。下文关于图8来描述示例校准技术。简要地，从图5注意到，传感器(例如，RGB相机507(1))被定位至显示器504(1)的侧方，并且可能朝向显示器略微成角度以捕捉直接处于显示器前方的区域。如此，该校准能够用来将空间中的3-D点(诸如显示器上的各种位置处的那些3-D点)映射到从传感器视角来看的对应点。该校准然后能够被用来对显示器504(1)与传感器506(1)之间的其他3-D点进行相关。

虚拟用户呈现组件514能够利用来自各种传感器的信号来创建沉浸板体验。如上文所提到的，为了利用各种信号，虚拟用户呈现组件514能够将信号互相校准。这一校准方面与之前可能的相比能够允许更大的设计灵活度。例如，在之前的解决方案中，相机趋向于被安装在显示器之后(例如，在与用户相对的一侧)。相机通过显示器捕捉用户的图像。相对照地，当前的概念不要求通过显示器进行成像。替代地，传感器(例如，相机)能够被定位在显示器的平面中和/或在该平面的与用户相同的一侧。虚拟用户呈现组件514能够将显示器和传感器关于3-D坐标进行校准以允许各种数据的有意义使用。下文关于图8描述了虚拟用户呈现组件如何能够校准来自各种传感器的信号的示例。

进一步地，之前的技术趋向于将从本地设备所捕捉的视频简单地显示在远程设备上并且反之亦然。相对照地，虚拟用户呈现组件514能够对视频进行处理以提供更为准确模仿的面对面交互的各种可视化场景。示例关于上文的图1-4被图示。例如，虚拟用户呈现组件514能够执行视频处理，以将用户的图像从背景分离并且允许上文所描述的屏幕倾斜和手臂“延伸”特征。

视频处理能够被解释为开始于标准视频条件，其中显示器504的左侧或右侧被保留用于标准2-D视频，留下大块的显示区域作为共享的书写表面。出于解释的目的，设备502(1)能够被称为“左侧”，因为显示器504(1)在传感器(例如，RGBD相机507(1))的左侧。设备502(2)能够被称为“右侧”，因为显示器504(2)在传感器506(2)的右侧。

视频能够被相应传感器506(例如，RGBD相机507)中以彩色相机为形式的传感器506所捕捉，并且被显示在设备502与相机的相同侧上，从而眼睛注视差异α例如大约为15度。显示器504能够足够大以示出原物大小的远程用户的上身。

虚拟用户呈现组件514能够对视频进行处理，以使得背景被去除并且用户恰当地被加框而无论他/她站在何处。例如，(多个)传感器506(诸如RGBD相机507)能够捕捉用户和背景这两者，但是背景部分趋向于不是有用的。实际上，背景部分经常造成分心，因为远程房间通常不趋向于具有相同的环境。一些当前的实施方式能够执行前景-背景划分并且仅将用户的图像发送给远程侧(例如，发送给其他用户)。

能够采用各种系统配置。例如，在本地资源和远程资源相对类似的情形中，每个虚拟用户呈现组件514能够校准来自其相应显示器504和RGBD相机507的数字内容。虚拟用户呈现组件514能够将与用户有关的数据从背景图像数据分离出来。虚拟用户呈现组件514能够将用户图像数据和显示器内容的相关改变发送给其他虚拟用户呈现组件514。在其他配置中，个体虚拟用户呈现组件514可能是资源受约束的并且可以发送未处理的显示内容和RGBD图像数据以便在其他虚拟用户呈现组件514处进行处理。更为其他的实施方式可以利用基于服务器的(例如，基于云的资源)来执行一些或全部的处理。例如，虚拟用户呈现组件514(1)可以将来自显示器504(1)的显示内容、来自RGB相机507(1)的图像数据、来自传感器506(1)的音频数据、以及校准数据发送给虚拟用户呈现组件514(3)。类似地，虚拟用户呈现组件514(2)可以将其来自显示器504(2)的显示内容、来自RGB相机507(2)的图像数据、来自传感器506(2)的音频数据、以及校准数据发送给虚拟用户呈现组件514(3)。虚拟用户呈现组件514(3)可以处理来自虚拟用户呈现组件514(1)的数据并且将其发送以用于在设备502(2)上的呈现。虚拟用户呈现组件514(3)可以处理来自虚拟用户呈现组件514(2)的数据并且将其发送以用于在设备502(1)上的呈现。当然，处理也能够基于处理资源、存储资源、和/或网络带宽资源而被分布在各种设备上。例如，个体设备可能是资源受约束的但是可以执行初始处理以减少网络带宽的使用，否则网络带宽可能不足以维持有质量的沉浸板体验。因此，当前的实施方式可能牵涉到与所显示内容有关的信息、用户的虚拟图像、校准信息和音频信息。这种信息能够在一个或多个地点由一个或多个设备进行处理以完成沉浸板体验。

在一些实施方式中，在给定地点处的多个设备可以协同地运转以提供沉浸板体验。例如，智能电话可能具有麦克风、扬声器和RGBD相机。智能电话可以被放置在与触敏显示器相关联的支架中。智能电话的RGBD相机可以被校准到触敏显示器(参见图8)。智能电话然后可以在触敏显示器捕捉所显示的内容数据的同时捕捉音频和视频数据。这一数据能够被处理以用于在远程沉浸板环境上的呈现，同时来自远程沉浸板环境的数据被接收并且被显示在触敏显示器上并且从智能电话的扬声器被发出。

从一个视角来看，设备502能够被认为是计算机。处理器508能够执行以计算机可读指令为形式的数据来提供功能。数据(诸如计算机可读指令和/或用户相关数据)能够被存储在存储装置510上，诸如能够在计算机内部或外部的存储装置。除了其他可能之外，存储装置能够包括易失性或非易失性存储器、硬驱动器、闪存设备、和/或光存储设备(例如，CD、DVD等)中的任何一个或多个。如本文所使用的，术语“计算机可读介质”能够包括信号。相对照地，术语“计算机可读存储介质”排除信号。计算机可读存储介质包括“计算机可读存储设备”。除了其他可能之外，计算机可读存储设备的示例包括诸如RAM的易失性存储介质，以及诸如硬驱动器、光盘和闪存的非易失性存储介质。

在一些配置中，设备502能够包括片上系统(SOC)类型的设计。在这样的情况下，计算机所提供的功能能够被集成在单个SOC或多个耦合的SOC上。一个或多个处理器能够被配置为利用共享资源(诸如，存储器、存储装置等)和/或一个或多个专用资源(诸如，被配置为执行某些具体功能的硬件块)进行协作。因此，如本文所使用的术语“处理器”也能够指代中央处理单元(CPU)、图形处理单元(GPU)、控制器、微控制器、处理器核心、或者适合用于常规计算架构以及SOC设计这两者中的实施方式的其他类型的处理设备。

其他计算机的示例能够包括传统计算设备，诸如个人计算机、台式计算机、笔记本计算机、蜂窝电话、智能电话、个人数字助理、板式或平板类型的计算机、相机、大型显示设备、投影设备、交互式数字显示器、和/或无数不断演进或还将被开发的类型的计算设备中的任何计算设备。在一些情况下，显示设备能够包括计算机元件，并且因此被认为是计算机。在其他情况下，显示设备能够与计算机进行通信并且由计算机进行控制。注意，上述分组仅是出于示例的目的，不意图作为限制，并且能够包括重叠。例如，智能电话和平板类型的计算机也能够被描述为交互式数字显示器，因为它们趋向于具有触摸屏。

图6-7图示了另外的沉浸板系统。图6示出了在家庭厨房环境中所采用的系统600。在这种情况下，系统600牵涉到设备502(3)以及两个传感器集合506(3)和506(4)。该设备能够与远程设备(未示出)进行通信以创建沉浸板体验。

图7示出了另一系统700。在这种系统配置中，设备502(4)简单地用作触敏显示器。计算设备702能够通信地耦合至设备502(4)和传感器506(5)-506(8)。虚拟用户呈现组件(图5)能够表现在计算设备702上。相对照地，设备502(5)表现为移动设备，在这种情况下是平板类型的移动设备。在这种实施方式中，移动设备能够具有多个传感器集合506。两个传感器集合506(9)和506(10)能够表示两个RGBD相机集合。在这个示例中，第一RGBD相机集合能够总体上平行于触敏显示器被定向以捕捉接近于显示器的用户动作。第二传感器集合能够被定向为捕捉显示器前方的区域(例如，用户704的头部和/或躯干在使用设备时可能位于的区域)。计算设备702能够处理来自传感器506(5)-506(8)和/或来自设备502(5)的信号，以生成在设备502(4)上被呈现为图形用户界面(GUI)706(1)的沉浸板体验。类似地，设备502(5)能够处理来自传感器506(9)-506(10)和/或来自设备502(6)的信号，以生成在设备502(5)上被呈现为图形用户界面(GUI)706(2)的沉浸板体验。

校准条件

图8示出了用于校准设备502(1)的技术。在这种情况下，虚拟用户呈现组件514(1)(图5)能够使得GUI 804被生成，GUI 804能够校准来自多个传感器的信号；在这种情况下是显示器504(1)的触摸传感器(未示出)以及RGBD相机507(1)。

GUI 804能够包括多个点(在这种情况下是四个点806(1)-806(4))以及用于用户依次触摸这四个点的指令。实例一示出了用户触摸点806(1)，并且实例二示出了用户触摸点806(3)。当用户轻拍到点时，虚拟用户呈现组件514(1)能够从骨骼信息记录他的3-D手部位置。从这四个3-D位置，虚拟用户呈现组件514(1)能够计算将相机和板面的坐标系统进行关联的变换矩阵。当然，点的数目以及它们在显示器上的相对地点仅是说明性的，并且其他配置也被考虑以促进显示器与传感器之间的3-D校准。换一种方式来说，当用户触摸到这些点时，虚拟用户呈现组件514(1)同时接收到来自显示器504(1)的触摸传感器的信息以及来自RGBD相机507(1)的用户RGBD数据。从这一信息，虚拟用户呈现组件514(1)能够将RGBD相机所捕捉的区域校准到显示器。

注意，校准可以是一次性事件或者可以是再次发生的事件。例如，参考图5，设备502(1)在制造时可以包括显示器504(1)和传感器506(1)这两者。在传感器的定向相对于显示器永久固定的配置中，校准可以由制造方来执行。在一种这样的实施方式中，传感器可以被构建到还包含显示器的设备外壳之中或之上，并且因此它们的相对定向是永久固定的。在其他配置中，传感器相对于显示器的位置和/或定向可以是可调节的。如此，校准能够诸如由安装方、IT人员、和/或终端用户在设备的设置之后执行。在更为其他的配置中，一个或多个元件可以被购买并且通信地被耦合以允许沉浸板实施方式被实现。例如，用户可以具有数字白板并且可以购买传感器和相关联的沉浸板计算机可读指令。用户可以将传感器和数字白板通信地耦合，在物理上将传感器相对于该数字白板进行定向并且将沉浸板计算机可读指令安装在数字白板或另一设备上(例如参见图7)，并且然后将传感器校准到数字白板。重校准可能在传感器被碰触的情形或者某种其他使用情况场景中被采用。

一旦传感器的RGBD数据被变换为显示器的坐标系统，其能够被处理并且利用不同的可视化被渲染。一些实施方式能够使用C++和OpenGL用于2-D/3-D视频处理和渲染。

沉浸板条件

以下的讨论按照关于图5所介绍的系统组件来解释图1-4的所图示的沉浸板配置。该讨论还参考图8-13，它们更为详细地图示了具体的方面。如此，以下的描述可以在图1-5与图8-13之间来回地进行参考。

混合条件

图1-2中所图示的混合条件是视频条件和3-D体验的混合。在该混合条件中，远程用户的手部在如图2所示出的交互式部分118上进行书写时能够伸出视频窗口(例如，虚拟用户显示部分116)之外以作出手势、指点、或者触摸显示器。从远程用户的手部位置，本地用户经常能够理解远程用户的意图以及他的注意力(例如，他看向何处)。

如图9中所示出的，虚拟用户呈现组件514(图5)能够使用来自传感器506(图5)的3-D深度和骨骼信息来实施该混合条件以引导2-D彩色视频处理。具体地，依据一些实施方式，(A)示出源RGB图像，(B)示出所提取的人的图像，(C)示出划分结果，(D)示出骨骼，并且(E)示出渲染结果。

传感器506和/或507(图5)能够确定前景(例如，用户)和背景像素。每个前景像素能够具有3-D坐标。虚拟用户呈现组件514(图5)能够使用这些3-D坐标根据像素与骨骼中的骨头的3-D接近度将像素划分为身体部分。前景像素能够在显示器的视频窗口内被加框以使得上身像素被显示。(这与在视频条件中是相同的。)分别针对图1和2的伸出或延伸的手臂120和202，虚拟用户呈现组件514(图5)能够从2-D图像提取手臂和手部像素，并且将手部像素移动至设备502(图5)上的适当地点。虚拟用户呈现组件514能够使用如图1-2中所图示的纹理映射和形变，对手臂的图像进行延伸以将虚拟用户显示部分116中的上身无缝地连接至交互式部分118中的手部。

除了所延伸的手臂之外，前景图像能够与来自RGBD相机的RGB数据相同。因此，图像质量和眼睛注视差异能够与视频条件中相同。

图10示出了沉浸板如何能够通过将3-D有色点云从传感器坐标系统(例如，RGBD相机的坐标系统)变换为设备坐标系统(例如，显示区域坐标系统)并且然后翻转z轴(z至-z)来实施镜面条件的示例。远程用户的点云能够使用3-D多边形网格被渲染。远程用户从其被渲染到显示器上的视点能够被固定在默认位置，或者为了(可能地)最大准确性而能够跟踪观察者的头部。

当在两侧都使用头部跟踪时，用户之间的相对几何能够是精确的，并且在视频质量足够高的情况下眼神接触是可能的。此外，如图11中所示出的，头部跟踪能够允许任一用户进行移动以在板面上的任一图形周围或远程用户的周围查看。然而，在一些实施方式中，远程用户的没有被他的传感器所看到的一侧不能被渲染，导致了所感知的视觉质量的显著损失。一些实施方式能够采用处于设备另一侧的第二传感器来解决该问题(例如，参见图7)。

注视校正

在一些实施方式中，虚拟用户呈现组件514(图5)能够减少用户之间的注视分歧。例如，关于图3，远程用户的图像能够尽可能接近于传感器506/507(图5)被放置。因此，分别如图12的实例(A)和(B)中所示出的，倾斜方向针对左侧板面和右侧板面能够是不同的。对于左侧板面，传感器能够位于右侧，并且虚拟板面向左侧倾斜(实例(A))。对于右侧板面，RGBD相机能够位于左侧，并且虚拟板面向右侧倾斜(实例(B))。作为副产品，这能够增加由本地用户所看到的并且由远程传感器(例如，RGBD相机)所捕捉到的远程用户的重叠，潜在地导致了与镜面条件相比更高的图像质量。

然而，当远程用户在倾斜板面上书写时，他/她实际是在被投影到设备的物理表面上的倾斜虚拟表面的图像上进行书写。因此，如果虚拟用户呈现组件514如镜面条件下那样直接重构物理环境并且仅改变视点，则远程用户可能指点错误的地方并且看向虚拟环境中的板面的角落，如图12的实例(B)中所示出的那样。图12的实例(C)示出了如何能够实现正确的触摸点和眼睛方向。虚拟用户呈现组件514能够将所捕捉到的人物绕虚拟板面的角落旋转45度，因此校正虚拟环境中远程用户的眼睛方向。另外，该系统能够延长远程用户的手臂以到达虚拟环境中的正确位置。

为了延长远程用户的手臂，虚拟用户呈现组件514能够计算虚拟环境中的适当手部位置。例如，如果用户正在触摸物理板面，则这对应于虚拟板面上的位置(图13实例(A))。手部被移动至虚拟环境中的这个位置。然而，如果仅手部被移动至这个位置，则它将从身体断开(图13实例(B)处)。因此，虚拟用户呈现组件514能够使用系数α对手部(α＝1.0)、手臂(0.0<α<1.0)和肩部(α＝0.0)上的点的位置进行插值。虚拟用户呈现组件514还能够基于设备坐标系统中的手部骨骼位置来使用系数β以仅在板面附近执行插值。虚拟用户呈现组件514能够具有两个阈值：min(＝10cm)和max(＝20cm)。如果用户的手部比min更近，则β为1.0。如果它比max更远，则β为0.0。否则，β线性地被确定(0<β<1.0)。虚拟用户呈现组件514能够将手部、手臂或肩部上的每个点变换为点

P_t＝P_h(1-αβ)+P_p(αβ) (1)

其中P_h是原点并且P_p是投影点。

调色板

虚拟用户呈现组件514能够提供具有绘图颜色和橡皮擦的调色板。在一些实施方式中，三种类型的调色板菜单被支持：固定、侧滑和弹出。在一些实施方式中，固定调色板处于屏幕底部。侧滑调色板能够在用户的手部接近于显示器左侧或右侧时出现。弹出调色板能够由非主导手部在其停留接近于板面时所触发。

注意，为了解释的简便，分开地解释了这三种条件。然而，一些实施方式能够利用全部三种条件并且在给定的用户场景中自动地选择(或允许用户选择)使用哪种条件。

方法示例

图14示出了示例方法1400。

在这种情况下，在框1402处，该方法能够接收与远程用户有关的图像数据。

在框1404处，该方法能够在本地显示设备上以视图呈现远程用户的虚拟版本，该视图关于本地显示设备的水平边缘成有角度的视角。一个这样的示例关于图3被图示。

图15示出了另一示例方法1500。

在这种情况下，在框1502处，该方法能够接收数据，该数据有关于远程用户以及远程用户的与远程显示设备进行交互的手部的可视化。

在框1504处，该方法能够呈现图形用户界面，该图形用户界面包括用于呈现远程用户的视觉表示的第一部分以及用于由远程用户与本地用户的交互的第二部分。

在框1506处，该方法能够呈现用户的手部的虚拟表示，用户的手部在第二部分上进行交互并且将远程用户的手臂的虚拟表示从第一部分中的远程用户的虚拟表示人为地延长至用户的手部在第二部分中的虚拟表示。方法1500的示例表示在图1-2中被显示。

所描述的方法能够由上文关于图1-8所描述的系统和/或设备来执行，和/或由其他设备和/或系统来执行。这些方法被描述的顺序不意图为被解释为限制，并且任何数目的所描述动作能够以任何顺序被组合来实施该方法或替换方法。此外，方法能够以任何适合硬件、软件、固件或者它们的组合来实施，以使得设备能够实施该方法。在一种情况下，方法作为指令集合被存储在计算机可读存储介质上，以使得计算设备的执行引起计算设备执行该方法。