[0097]现在将讨论受控3D通信端点系统100和方法的各实施例的操作细节。这包括系统100的可伸缩性、几何代理创建、以及场景几何的创建的细节。此外，还讨论了虚拟相机的概念、将运动视差和深度添加到几何代理和场景几何、以及处理同一环境中的一个以上参与者并观看同一显示设备或监视器。
[0098]V.A.可伸缩性
[0099]受控3D通信端点系统100和方法的各实施例是可伸缩的。这意味着每当附加端点被添加到在线会议时，系统100和方法的各实施例可容易地扩展以容纳该附加端点。图9示出扩展系统100和方法的各实施例以容纳附加端点的示例性实施例。
[0100]因为至少180度的显示设备配置，可伸缩性被增强。例如，如果单个平面屏幕在墙上且存在两个端点，每一端点具有一参与者，则这两个参与者可被置于虚拟环境中的圆桌处。每一参与者将能够看到另一参与者。如果这被扩展且如果10个端点处的10个参与者尝试加入在线会议，则观看者可从他跨桌看到人，但每一其他人将迷失在人群中。然而，使用至少180度显示设备配置，只要屏幕上的参与者在虚拟环境中围成一圈，则该圈可被做得如需要的那样大，并且观看者将仍然能够看到每一参与者。
[0101]当然，这意味着越多参与者被添加，虚拟桌就必须越大。在某一时刻，参与者的数量变得如此之大，以致于该桌的最远端的参与者太小，使得观看者不能识别他们。此外，尽管虚拟桌不需要是圆形的，但使用其他形状会存在遮挡且人们开始彼此阻挡。
[0102]如图9所示，虚拟环境900示出了系统100和方法的各实施例如何将参与者几何代理相对于彼此进行安排。在图9的左侧，三个参与者905、906、907被安排成围绕第一虚拟圆桌910。在这一虚拟环境中，参与者905、906、907中的每一个通过虚拟窗口观看在线会议。具体而言，虚拟窗口 920、925、930被分别定位在三个参与者905、906、907中的每一个的前方。这些虚拟窗口 920、925、930向三个参与者905、906、907给出了绕第一虚拟圆桌910的虚拟视点。这允许每一参与者感觉好像他实际上与其他参与者一起在房间中。
[0103]箭头935指示附加端点已被添加到虚拟环境900。在添加了附加参与者的情况下，第一虚拟圆桌910已被扩张成第二虚拟圆桌940。八个参与者950、951、952、953、954、955、956、957被安排成围绕第二虚拟圆桌940。此外，多个虚拟窗口 960被定位在八个参与者950、951、952、953、954、955、956、957中的每一个的前方。多个虚拟窗口 960中的每一个向参与者950、951、952、953、954、955、956、957给出绕第二虚拟圆桌940的虚拟视点。这向每一参与者给出参与者中的每一个一起在一个大虚拟房间中的假象。
[0104]V.B.几何代理创建
[0105]捕捉和创建组件200的另一部分是几何代理创建模块245。模块245为会议或会面中的各参与者中的每一个创建几何代理。根据相机群300捕捉到的距离数据来计算深度信息。一旦获得了深度信息，就根据捕捉到的深度信息中包含的深度点来创建稀疏点云。随后使用已知方法和捕捉到的深度信息来生成密集深度点云。在一些实施例中，根据密集点云来构建网格并根据该网格生成几何代理。在替换实施例中，密集点云被纹理化以生成几何代理。
[0106]图10示出创建单个会议参与者的几何代理的示例性概览。如图10所示，从相机群300的RGB相机捕捉RGB数据1000。另外，根据相机群300获得的深度数据来计算深度信息1010。RGB数据1000和深度信息1010被加在一起以创建单个会议参与者的几何代理250。这一几何代理创建是针对参与者中的每一个来执行的，使得每一参与者具有对应的几何代理。
[0107]V.C.3D体积的配准以及3D空间的对齐
[0108]受控3D通信端点系统100和方法的各实施例的第二组件是场景几何组件210。这包括相机群300捕捉的3D体积的配准和3D空间的对齐两者。场景几何组件210的一般概念是创建会议参与者之间的相对几何。需要将场景确切地对齐，如同参与者在同一物理位置且参与亲临通信一样。
[0109]系统100和方法的各实施例创建作为锚定在端点(或捕捉环境)处的3D场景的场景几何。为了实现这一点，具有对包含参与者中的每一个的环境的精确估计是合乎需要的。一旦获得了这一点，则系统100和方法的各实施例计算显示设备(或监视器)与相机的精确配准。这产生了与真实世界对齐的虚拟空间中的定向。换言之，虚拟空间与真实空间对齐。这一配准和对齐是使用已知方法来实现的。在系统100和方法的优选实施例中，在制造时执行校准。在其他实施例中，使用环境中的参考对象来执行校准。
[0110]场景几何寻求创建本地参与者与远程参与者之间的相对几何。这包括创建眼睛注视和对话几何，如同参与者处于亲临会议中一样。使眼睛注视和对话几何正确的一种方式是具有参与者之间的相对、一致的几何。在一些实施例中，这通过使用虚拟框来实现。具体而言，如果在参与者一起处于房间中时，围绕真实空间中的参与者来绘制框，则这些虚拟框按照虚拟布局被重新创建来创建场景几何。几何的形状不像它在参与者之间的一致性那样要紧。
[0111]某些输入形状因子(像单个监视器或多个监视器)将影响最优布局以及解决方案的可伸缩性。场景几何还依赖于参与者的数量。具有两个参与者(本地参与者和远程参与者)的会议是与存在三个或更多个参与者的情况下的场景几何不同的一对一(1:1)场景几何。此外，如将从以下示例看到的，场景几何包括参与者之间的眼睛注视。
[0112]图11示出当在线会议中存在两个参与者(在两个不同的端点处)时参与者之间的场景几何的示例性实施例。如图11所示，1:1会议的这一场景几何1100包括第三参与者1110以及第四参与者1120。这些参与者不在同一物理位置。换言之，他们在不同的端点处。
[0113]在1:1会议的这一场景几何1100中，该几何包括占据参与者1100、1120的相应显示设备或监视器(未示出)的前方空间的两个框。第一虚拟框1130被绘制成围绕第三参与者1110且第二虚拟框1140被绘制成围绕第四参与者1120。假定同样大小的监视器和一致的设置允许系统100和方法的各实施例知晓场景几何是正确的，而无需对捕捉到的数据的任何操纵。
[0114]在系统100和方法的替换实施例中，存在多个远程参与者，且几何与1:1会议的场景几何1100不同。图12示出当在线会议中存在处于三个不同端点处的三个参与者时参与者之间的场景几何的示例性实施例。这是3端点会议的场景几何1200。如上所述，端点是包含会议或会面的参与者的环境。在3端点会议中，存在处于三个不同物理位置的参与者。
[0115]在图12中，3端点会议的场景几何1200包括围绕虚拟圆桌1235的参与者#11210、参与者#21220、以及参与者#31230。虚拟框#11240被绘制成围绕参与者#11210，虚拟框#21250被绘制成围绕参与者#21220，且虚拟框#31260被绘制成围绕参与者#31230。虚拟框1240、1250、1260中的每一个被放置成以等距的方式围绕虚拟圆桌1235。这创建了 3端点会议的场景几何1200。注意，这一场景几何可针对附加端点来被扩展，如以上相关于可伸缩性来讨论的。
[0116]V.D.虚拟相机
[0117]场景几何组件210还包括虚拟相机。虚拟相机定义透视投影，根据该透视投影，将渲染3D几何代理的新颖视图。这允许系统100和方法的各实施例获得人们之间的自然眼睛注视以及联系。当前视频会议中的一个故障因人们没有看向相机所处的位置而发生，使得该会议中的远程参与者感觉如同另一人没有看他们。这是不自然的并且通常不会发生在亲临对话中。
[0118]系统100和方法的各实施例中的虚拟相机是使用来自场景几何的虚拟空间和每一参与者的3D几何代理(具有详细纹理信息)创建的。这一虚拟相机没有绑定到被用于捕捉图像的真实相机群的位置。此外，系统100和方法的一些实施例使用脸部跟踪(包括眼睛注视跟踪)来确定各参与者位于何处以及他们在他们的虚拟空间中看向何处。这允许基于参与者在看向场景中的何处来创建虚拟相机。这用于准确地传达参与者对其他参与者的正确注视并向他们提供正确视图。因而，虚拟相机促进了会议参与者之间的交互的自然眼睛注视和对话几何。
[0119]这些虚拟相机是通过创建场景几何并在该几何中放入额外的人或物来创建的。根据相机群获得的多个视角，虚拟相机能够在场景几何中四处移动。例如，如果头部被认为是气球，则该气球的前方将被该气球前方的相机群捕捉，且该气球的一侧将被该气球的该侧上的相机群捕捉。通过合成来自这两个相机群的图像，虚拟相机可被创建在正前方和该侧之间的任何位置。换言之，虚拟相机视图被创建成来自覆盖特定空间的不同相机的图像的合成。
[0120]图13示出基于参与者正在看的位置的虚拟相机的示例性实施例。这也可被认为是使用虚拟注视来获得自然眼睛注视。如图13所示，监视器400将远程参与者410显示给本地参与者1300。监视器400包括四个相机群300。虚拟眼睛注视框1310被绘制成围绕远程参与者1320的眼睛和本地参与者1330的眼睛。虚拟眼睛注视框1310是水平的，使得在虚拟空间中，远程参与者1320的眼睛和本地参与者1330的眼睛正在互相看。
[0121]虚拟相机的一些实施例使用脸部跟踪来提高性能。脸部跟踪帮助系统100和方法的各实施例改变视角，使得各参与者面向彼此。脸部跟踪帮助虚拟相机与观看者的眼睛注视保持水平。这模仿人眼在亲临对话期间的工作方式。虚拟相机与脸部跟踪交互，以创建用户直接看向另一参与者的情况下的虚拟视点。换言之，脸部跟踪被用来改变虚拟相机的虚拟视点。
[0122]V.E.通过运动视差的深度
[0123]系统100和方法的第三组件是虚拟视点组件220。一旦经渲染的几何代理和场景几何被传送给各参与者，它被渲染在参与者的监视器上。为了增加显示在监视器上的场景的真实性，使用运动视差的深度被添加，以提供在观看某事物的某人的位置改变时发生的、视图中的有细微差别的改变。
[0124]运动视差是使用在观看者的头部移动时使相机视图改变的高速头部跟踪来添加的。这创建了深度的假象。图14示出通过基于观看者所面向的位置的运动视差来提供深度的示例性实施例。如图14所示，具有四个相机群300的监视器400显示远程参与者41