受控三维通信端点的制作方法
【专利说明】受控三维通信端点
[0001]背景
[0002]当前视频会议技术通常使用单个相机来捕捉本地场景的RGB数据(来自红、蓝以及绿(RGB)色彩模型)。这一本地场景通常包括参与视频会议的人，称为会议参与者。数据随后被实时传送到远程位置并随后显示给处于与其他会议参与者不同的位置处的另一会议参与者。
[0003]尽管在视频会议技术中已取得了帮助提供更高分辨率捕捉、压缩、以及传输的进步，但该体验通常达不到重建亲临会议的面对面体验。这一点的一个原因是典型的视频会议体验缺少眼睛注视以及其他纠正对话几何。例如，通常，被远程捕捉的人没有像在面对面对话中体验到的那样看向你的眼睛。此外，缺少像运动视差和图像深度以及改变场景中的视角的自由度等三维(3D)元素，因为只存在捕捉该场景以及会议参与者的单个固定摄像机。
【发明内容】
[0004]提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
[0005]受控三维(3D)通信端点系统和方法的各实施例对在线会面或会议中的参与者之间的亲临通信进行仿真。另外，受控3D通信端点系统和方法的各实施例允许容易地伸缩包含参与者的虚拟环境，使得附加参与者可通过仅仅增加虚拟环境中包含的虚拟桌的大小而被添加。此外，受控端点允许观看者感觉如同其他参与者与他在同一房间中一样。
[0006]具体而言，受控3D通信端点系统和方法的各实施例使用端点处的多个相机群来捕捉参与者的3D视频图像。受控端点中的多个相机群被安排成使得它们允许绕参与者360度来捕捉该参与者。根据视频所捕捉的数据，为参与者创建几何代理。使用来自捕捉的视频的RGB数据和深度信息，为每一参与者创建几何代理。
[0007]场景几何由该系统和方法的各实施例根据亲临通信中会存在的眼睛注视和对话几何来创建。场景几何的一般概念是创建参与者之间的相对几何。场景被实际上对齐以模拟现实生活场景，如同参与者在同一物理位置且参与亲临通信。
[0008]场景几何使用虚拟框来保持参与者之间的相对、一致的几何。具有两个参与者的会议(或一对一(1:1)场景几何)包括占据两个参与者的相应监视器(未示出)前方的空间的两个框。在存在三个参与者时，场景几何包括按等距的方式绕虚拟圆桌放置的三个虚拟框。
[0009]场景几何还包括虚拟相机。虚拟相机是来自多个相机群中的两者或更多者的图像的合成，以获得没有被任何一个相机群单独捕捉的相机视图。这允许该系统和方法的各实施例获得人们之间的自然眼睛注视以及联系。脸部跟踪技术可被用来通过帮助虚拟相机保持与观看者的眼睛注视对齐来改进性能。这意味着虚拟相机保持水平且在垂直和水平两个方向上与观看者的眼睛对齐。虚拟相机与脸部跟踪交互，以创建具有用户看向该用户的眼睛正在看向的位置的虚拟视点。因而，如果用户正看向远方，则虚拟视点始自用户看向远方的角度。如果用户正在看另一参与者，则虚拟视点始自用户正在看该另一参与者的角度。这不是通过人工使其看起来像用户正在看另一参与者来完成的，而是通过创建正确地表示用户正在看何处的虚拟几何来完成的。
[0010]几何代理被相对于彼此渲染且与场景几何一起被放置到虚拟环境中。所渲染的几何代理和场景几何被传送给参与者中的每一个。虚拟环境被显示给端点的受控环境中的观看者(他也是参与者之一)。具体而言，每一端点包含使用虚拟视点向观看者显示虚拟环境的显示设备配置。虚拟视点依赖于观看者的眼睛的位置和定向。取决于眼睛的位置和定向，观看者看到会议中的其他参与者的不同角度以及虚拟环境的其他方面。
[0011]现实空间与虚拟空间的配准确保所显示的图像是观看者在她正在察看虚拟环境中其他参与者的情况下会看到的。另外，脸部跟踪技术可被用来跟踪观看者的眼睛以知晓虚拟视点应当显示什么。为了以高效的方式大规模地为参与者创建真实几何且为了帮助维护参与者全部都在一个物理位置的假象，控制端点的大小和布局使得更易于构建解决方案。
[0012]显示设备配置包含多个显示设备(如监视器或屏幕)。显示设备配置控制端点环境，使得显示设备被安排成绕观看者至少180度。这确保观看者具有沉浸式体验并且感觉如同他实际上与其他参与者在同一物理空间。
[0013]该系统和方法的各实施例还允许容易的可扩展性。具体而言，在一些实施例中，虚拟桌是具有第一直径的圆形(或环形)虚拟桌。参与者中的每一个的几何代理被绕该虚拟桌置于虚拟环境中。这确保观看者可以看到围绕虚拟桌的参与者中的每一个。如果更多参与者被添加到在线会议中，则虚拟圆桌的大小被扩展到大于第一直径的第二直径。第二直径可以是大于第一直径的任何直径。这一扩展将参与者中的每一个仍然保持在视野中以供观看，且给出了与其他参与者一起绕桌处于同一房间的假象。
[0014]该系统和方法的各实施例还包括促进在单个端点处的多个参与者。在一些实施例中，脸部跟踪技术跟踪两个不同的脸并随后向不同的观看者提供不同视图。在其他实施例中，端点处的多个参与者中的每一个佩戴眼镜，并且在一些实施例中，该眼镜上具有快门，快门向每一佩戴者示出由监视器显示的被调谐到每一对眼镜的交替帧。其他实施例使用具有多个观看角度的监视器，使得正在从右侧观看监视器的观看者看到一个场景且正在从左侧观看监视器的另一观看者看到不同场景。
[0015]应当注意，替换实施例也是可能的，并且此处所讨论的步骤和元素可取决于特定实施例而改变、添加或消除。这些替换实施例包括可使用的替换步骤和替换元素，以及可做出的结构上的改变，而不脱离本发明的范围。
[0016]附图简述
[0017]现在参考附图，在全部附图中，相同的附图标记表示相应的部分:
[0018]图1是示出在计算环境中实现的受控三维(3D)通信端点系统和方法的各实施例的一般概览的框图。
[0019]图2是示出图1所示的3D通信处理系统的系统细节的框图。
[0020]图3是示出图1所示的受控3D通信端点和方法的各实施例的相机群的示例性实施例的细节的框图。
[0021]图4示出使用四个相机群的相机群布局(诸如图2所示)的示例性实施例。
[0022]图5示出使用三个显示设备的显示设备配置(诸如图1所示)的示例性实施例。
[0023]图6示出其上可实现此处描述且在图1-5和7-15中所示的3D通信窗口系统和方法的各实施例和元素的通用计算机系统的简化示例。
[0024]图7是示出图1所示的受控3D通信端点系统的总体操作的流程图。
[0025]图8是示出图1所示的3D通信处理系统的总体操作的流程图。
[0026]图9示出扩展该系统和方法的各实施例以容纳附加端点的示例性实施例。
[0027]图10示出创建单个会议参与者的几何代理的示例性概览。
[0028]图11示出当在线会议中存在两个参与者(在两个不同的端点处)时参与者之间的场景几何的示例性实施例。
[0029]图12示出当在线会议中存在处于三个不同端点处的三个参与者时参与者之间的场景几何的示例性实施例。
[0030]图13示出基于参与者正在看的位置的虚拟相机的示例性实施例。
[0031]图14示出通过基于观看者所面向的位置的运动视差来提供深度的示例性实施例。
[0032]图15示出使用具有多个观看角度的监视器处理单个端点处的多个参与者的技术的示例性实施例。
[0033]详细描述
[0034]在以下对受控三维(3D)通信端点系统和方法的描述中，对附图进行了参考，附图形成了该描述的一部分，并且其中作为说明示出了可实践3D通信端点系统和方法的各实施例的一个具体示例。可以理解，可以利用其他实施例，并且可以作出结构上的改变而不背离所要求保护的主题的范围。
[0035]1.系统概览
[0036]受控3D通信端点系统和方法的各实施例创建用于沉浸式在线会议和会面的受控捕捉和观看空间。该系统和方法的各实施例确保在参与者加入在线会议或会面时各端点处的一致性。各端点在在线会议期间是完全受控的，包括光照、房间设计、以及几何形状。此夕卜，端点包括用于捕捉和观看3D沉浸式会议的装备，使得对观看者而言，其他参与者看起来实际上与该参与者处于同一房间(或同一物理空间)。
[0037]端点是包含在线会议或会面的各参与者中的至少一者的物理位置，如房间或其他类型的环境。每一在线会议具有至少两个端点，其中每一端点具有至少一个参与者。每一端点可具有两个或更多个参与者。下文详细讨论处理具有两个或更多个参与者的端点的方式。
[0038]图1是示出在计算环境中实现的受控三维(3D)通信端点系统100和方法的各实施例的一般概览的框图。系统100和方法的各实施例包括一起工作来为在线会面或会议的参与者创建沉浸式体验的各种组件和系统。
[0039]如图1所示，系统100和方法包括促进参与者的沉浸式体验的3D通信处理系统105。3D通信处理系统105被实现在计算设备110上。这一计算设备可以是单个计算设备或可以分布在多个设备上。此外，计算设备110实际上可以是具有处理器的任何设备，包括台式计算机、平板计算设备以及嵌入式计算设备。
[0040]系统100和方法的各实施例包括至少两个端点。出于教学和易于解释的目的，图1只示出了两个端点。然而，应当注意，系统100和方法的各实施例可包括若干更多端点。此夕卜，虽然图1中的每一端点仅示出了单个参与者，但应当注意，任何数量的参与者可被包括在任何端点处。
[0041]系统100和方法的各实施例包括第一端点115和第二端点120。在图1中，第一端点115和第二端点120被示出在平面图中。换言之，如果第一和第二端点115、120是房间，则图1是房间的平面图。
[0042]第一端点115包括其中包含的第一参与者125。第一端点115还包含多个捕捉和观看设备。第一端点115处的观看设备包括第一监视器130、第二监视器135、以及第三监视器140。观看设备向第一参与者125提供在线会议中的沉浸式体验，使得第一参与者125感觉好像他与其他参与者一起在该房间中。
[0043]系统100和方法的各实施例包括具有被安排成使得它们至少绕参与者180度的监视器或屏幕的监视器配置。监视器的配置可实际上是任何安排，只要它们绕参与者至少180度来放置。如下文