0的图像。注意到，在图14中，远程参与者410被示为虚线人物1400和实现人物1410。虚线人物1410示出了远程参与者410正看向其左侧并且因而具有包括虚线参与者1430的第一视野1420。实线人物1410示出了远程参与者410正看向其右侧并且因而具有包括实线参与者1450的第二视野1440。
[0125]在远程参与者410的视点从一侧移至另一侧时，他对其他空间的视角变化。这向远程参与者410给出了其他参与者和其他参与者所处的房间(或环境)的不同视图。因而，如果远程参与者向左、右、上、或下移动，则他将看到该远程参与者410正与其交互的参与者的稍微不同的视图，并且该人之后的背景也改变。这向场景给出了深度的感觉，并且向场景中的人给出了在他们亲身与某人交谈时得到的体积的感觉。远程参与者的视点是使用头部跟踪或低等待时间脸部跟踪技术来跟踪的。通过运动视差的深度动态地增强了体积感，同时提供移动的完全自由度，因为观看者不被锁定到一个相机视角。
[0126]V.F.单个端点处的多个参与者
[0127]系统100和方法的各实施例还包括一端点处存在一个以上参与者的情况。用于通过运动视差的深度的以上技术对单个观看者而言由于跟踪该观看者以及基于他们的观看角度和位置在监视器上提供适当视图的能力而工作良好。然而，在同一端点处存在第二人并观看同一监视器的情况下，这不能工作，因为监视器一次只能提供一个场景并且它将锁定到一个人。这使得视图脱离了没有被跟踪的另一观看者。
[0128]系统100和方法的各实施例有若干方式来解决这一问题。在一些实施例中，使用向不同观看者提供不同图像的监视器。在这些实施例中，脸部跟踪技术跟踪两个不同的脸并随后向不同的观看者提供不同视图。在其他实施例中，运动视差被移除且固定虚拟相机被锁定在监视器的中心。在一个以上参与者处于一端点处时，这创建了未达标准的体验。在又一些其他实施例中，在端点处的多个参与者中的每一个都佩戴眼镜。每一副眼镜被用来提供不同视图。在又一些其他实施例中，眼镜上具有向每一佩戴者示出与监视器不同的帧的快门。监视器所显示的交替帧被调谐到每一副眼镜，并且基于每一观看者的位置向该观看者提供正确图像。
[0129]另一实施例使用具有多个观看角度的监视器。图15示出使用具有多个观看角度的监视器处理单个端点处的多个参与者的技术的示例性实施例。这向监视器前方的每一观看者提供了远程参与者410以及远程参与者410之后的房间的不同视图。
[0130]如图15所示，具有透镜显示器(这允许多个观看角度)且具有四个相机群300的监视器1500正在显示远程参与者410。第一观看者1510正在从监视器1500的左侧看监视器1500。第一观看者1520的眼睛正在从左侧看监视器1500且具有监视器1500的左视野1530。第二观看者1540正在从监视器1500的右侧看监视器1500。第二观看者1550的眼睛正在从右侧看监视器1500且具有右视野1560。因为监视器1500上的透镜显示，左视野1530和右视野1560是不同的。换言之，向第一观看者1510和第二观看者1540提供了远程参与者410以及远程参与者410之后的房间的不同视图。因而，即使第一观看者1510和第二观看者1541并排，他们也会基于他们的视点而在监视器1500上看到不同事物。
[0131]此外，尽管用专门描述结构特征和/或方法动作的语言描述了主题，但是应当理解，在后附权利要求书中限定的主题并不一定局限于上述特定的特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
【主权项】
1.一种用于仿真亲临通信的方法，包括: 捕捉本地端点处的本地参与者的三维视频； 使用捕捉到的三维视频为所述本地参与者创建本地几何代理； 生成与亲临通信一致的具有正确眼睛注视的场景几何和对话几何； 将所述本地几何代理置于所述场景几何中以创建虚拟环境；以及将所述本地几何代理和所述场景几何传送给远程端点处的远程参与者，其中所述本地端点和所述远程端点处于不同物理位置，以仿真所述本地参与者与所述远程参与者之间的亲临通信。
2.如权利要求1所述的方法，其特征在于，还包括使用多个相机群以受控的方式捕捉所述本地端点处的所述三维视频，所述多个相机群绕所述本地参与者360度捕捉与所述本地参与者有关的RGB数据和深度信息两者。
3.如权利要求2所述的方法，其特征在于，还包括添加所述RGB数据和所述深度信息以创建所述本地几何代理。
4.如权利要求1所述的方法，其特征在于，还包括: 捕捉所述远程端点处的所述远程参与者的三维视频； 为所述远程参与者创建远程几何代理； 将所述远程几何代理置于所述场景几何和虚拟环境中；以及 在所述场景几何和虚拟环境中，将所述本地几何代理和所述远程几何代理两者向彼此渲染。
5.如权利要求4所述的方法，其特征在于，还包括将经渲染的本地几何代理、经渲染的远程几何代理、以及所述场景几何传送给所述本地端点和所述远程端点。
6.如权利要求1所述的方法，其特征在于，还包括在占据绕所述远程参与者至少180度的空间的显示设备上将所述虚拟环境显示给所述远程端点处的所述远程参与者，以向所述远程参与者提供所述虚拟环境的虚拟视点。
7.如权利要求6所述的方法，其特征在于，所述显示设备包括布置在所述远程参与者前方的第一显示设备、在所述第一显示设备的一侧的第二显示设备、以及在所述第一显示设备的另一侧的第三显示设备。
8.如权利要求7所述的方法，其特征在于，进一步包括: 将所述第二显示设备定位成与所述第一显示设备呈直角；以及 将所述第三显示设备定位成与所述第一显示设备呈直角。
9.如权利要求7所述的方法，其特征在于，进一步包括: 将所述第二显示设备定位成与所述第一显示设备呈小于90度的第一角度；以及 将所述第三显示设备定位成与所述第一显示设备呈小于90度的第二角度。
10.如权利要求9所述的方法，其特征在于，还包括将所述第一角度和所述第二角度设置成彼此相等。
11.如权利要求4所述的方法，其特征在于，进一步包括: 在所述虚拟环境中定义虚拟桌；以及 将所述本地几何代理和所述远程几何代理围绕所述虚拟桌放置，以在所述虚拟环境中仿真所述亲临通信。
12.如权利要求11所述的方法，其特征在于，还包括将所述虚拟桌定义成具有带第一直径的圆形。
13.如权利要求12所述的方法，其特征在于，进一步包括: 通过将参与者的数量从两个参与者增加到两个以上参与者来扩展虚拟环境； 将所述虚拟桌的大小从第一直径增加到第二直径，其中所述第二直径大于所述第一直径；以及 将所述参与者中的每一个的几何代理置于所述虚拟桌处。
14.如权利要求6所述的方法，其特征在于，还包括使用运动视差将深度添加到所述虚拟视点。
15.如权利要求14所述的方法，其特征在于，进一步包括: 跟踪所述远程参与者的头部；以及 基于所述远程参与者的头部的位置和定向通过所述虚拟视点改变显示给所述远程参与者的事物。
16.一种受控三维(3D)端点系统，包括: 多个相机群，所述多个相机群布置在第一端点四周以捕捉所述第一端点处的参与者的3D视频，使得绕所述参与者360度被所述多个相机群捕捉； 通过添加来自所述3D视频的捕捉到的RGB数据和捕捉到的深度信息来获得的所述参与者的几何代理； 与亲临通信一致以用于创建虚拟环境的具有正确眼睛注视的场景几何和对话几何；以及 显示设备配置，所述显示设备配置具有位于第二端点处的的多个显示设备，使得所述显示设备绕所述第二端点处的观看者至少180度来放置，以使所述观看者能够通过虚拟视点来观看所述参与者，其中在所述虚拟环境中所述观看者对所述参与者的视角基于所述观看者的头部的位置和定向而变化。
17.如权利要求16所述的受控3D端点系统，其特征在于，还包括: 位于在所述虚拟环境中的虚拟圆桌；以及 围绕所述虚拟圆桌放置的所述参与者的经渲染的几何代理，连同在线会议的其他端点处的其他参与者。跟踪所述远程参与者的头部；以及
18.一种用于伸缩在线会议中的参与者的数量的方法，包括: 在端点处组织受控捕捉环境，所述端点具有绕所述端点中的每一个布置的多个相机群； 使用所述多个相机群捕捉所述每一端点处的每一参与者的三维视频； 为所述参与者中的每一个创建几何代理； 基于参与者的数量来生成场景几何，所述场景几何包括虚拟桌； 在与亲临通信相一致的所述场景几何中将所述几何代理中的每一个向彼此进行渲染； 将经渲染的几何代理围绕所述虚拟桌置于所述场景几何中，以创建虚拟环境； 组织所述端点处的受控观看环境，所述端点具有围绕所述端点处的参与者至少180度来缠绕的显示设备； 使用所述显示设备向所述受控观看环境中的所述参与者显示所述虚拟环境； 基于每一参与者的头部的位置和定向来改变观看所述显示设备的参与者的虚拟视占.V， 增加参与者的数量，使得附加参与者被添加；以及 增加所述虚拟桌的大小以容纳所述附加参与者。
19.如权利要求18所述的方法，其特征在于，还包括将所述虚拟桌定义成具有直径的虚拟圆桌。
20.如权利要求19所述的方法，其特征在于，增加所述虚拟桌的大小还包括增加所述虚拟圆桌的直径以容纳所述附加参与者。
【专利摘要】一种用于仿真在线会面或会议中的各参与者之间的亲临通信并在附加参与者加入时提供虚拟环境的容易伸缩的受控三维(3D)通信端点系统和方法。这向参与者给出了其他参与者与观看者处于同一房间且绕同一桌而坐的假象。受控通信端点包括绕参与者360度来捕捉参与者的视频的多个相机群。受控通信端点还包括包含被放置成绕参与者至少180度且显示包含其他参与者的几何代理的虚拟环境的显示设备的显示设备配置。将参与者置于虚拟圆桌处并在附加参与者被添加时增加虚拟桌的直径容易地实现了可伸缩性。
【IPC分类】H04N7-15
【公开号】CN104782122
【申请号】CN201380053160
【发明人】Y·C·史密斯, E·G·朗, C·F·惠特玛, Z·张
【申请人】微软公司
【公开日】2015年7月15日
【申请日】2013年10月9日
【公告号】EP2907302A2, US8976224, US20140098183, US20150163454, WO2014058931A2, WO2014058931A3