基于远程用户视场的相机定向的制作方法

背景技术：

1、视频会议技术已经变得越来越普遍。这种技术现在在世界范围内广泛用于各种个人和商业通信。例如，在电话会议或其他视频会议期间，个人可以通过数码相机捕获并传输给参与者的图像和声音进行“互动”并进行面对面的对话。为了提供更吸引人的视频会议体验，一组被称为“远程呈现”的技术被引入，其目的是让不同地理位置的参与者感觉好像他们在同一个位置。与传统的视频会议方案相比，远程呈现提供了一定的改进，包括为位于不同地理位置的视频会议参与者提供沉浸式体验。通过提供足够的沉浸式体验，参与者可以感受到与在同一位置彼此面对面的相同程度的信任和同理心。然而，为了提供足够的沉浸式体验，有必要同时从多个角度捕获当地场景的多个图像，并将捕获到的图像传输到远程站点。因此，可能需要同时操作大量高速和高性能相机(例如，光场相机)，从而产生大量数据，这些数据需要经由通信网络进行编码并传输到远程站点。因此，对于用于提供足够沉浸式体验的远程呈现技术更有效实现，仍然存在重要的领域。

技术实现思路

1、在一种实现中，用于捕获用于传输到远程系统的本地图像的系统包括：显示器，具有面向本地主体的前表面和与前表面相对面向的后表面；图像捕获单元，包括(i)被定位在显示器的后表面并被配置为通过显示器捕获本地图像的相机，以及(ii)被配置为定向相机的相机定向单元；处理器；以及与处理器通信的计算机可读介质。计算机可读介质包括可执行指令，当处理器执行该指令时，使处理器控制系统执行经由通信网络从远程系统接收远程主体的第一远程视场(fov)的功能；基于接收到的第一远程fov，相机定向单元将相机定向在第一取向中，其中被定向在第一取向中的相机具有与从远程系统接收到的第一远程fov相对应的第一本地fov；在将相机定向在第一取向中时，使图像捕获单元通过显示器捕获第一本地图像；以及经由通信网络向远程系统传输所捕获的第一本地图像。

2、在另一种实现中，非暂态计算机可读介质存储可执行指令，当该指令被处理器执行时，使处理器控制系统执行：经由通信网络从远程系统接收远程主体的第一远程视场(fov)；基于接收到的第一远程fov，将相机定向在第一取向中，该相机被定位在显示器的后表面上，其中被定向在第一取向中的相机具有与从远程系统接收到的第一远程fov相对应的第一本地fov；在将相机定向在第一取向中时，使该相机通过显示器捕获本地图像；以及经由通信网络将捕获到的第一本地图像传输到远程系统。

3、在另一种实现中，一种操作用于捕获用于传输到远程系统的本地图像的系统的方法，该系统包括(i)显示器，具有面向本地主体的前表面和与前表面相对面向的后表面，以及(ii)相机，被定位在显示器的后表面上并且被配置为通过显示器捕获本地图像，包括：经由通信网络从远程系统接收远程主体的第一远程视场(fov)；基于接收到的第一远程fov，将相机定向在第一取向中，其中被定向在第一取向中的相机具有与从远程系统接收到的第一远程fov相对应的第一本地fov；在将相机定向在第一取向中时，使相机通过显示器捕获第一本地图像；以及经由通信网络向远程系统传输所捕获的第一本地图像。

4、在另一种实现中，用于捕获用于传输到远程系统的本地图像的系统包括处理器和与该处理器通信的计算机可读介质。该计算机可读介质包括可执行指令，当该指令被处理器执行时，使处理器控制系统执行功能：经由通信网络从远程系统接收远程主体的远程视场(fov)；基于接收到的远程视场，将相机定向在第一取向中，其中被定向在第一取向中的相机具有与从远程系统接收到的远程fov相对应的本地fov；检测本地主体相对于本地fov的位置、头部面向方向和眼睛注视方向中的至少一者；基于所检测到的本地主体相对于本地fov的位置、头部面向方向和眼睛注视方向中的至少一者，确定本地主体不被定位在本地fov的中心处或本地主体不是正在注视本地fov的中心处；将相机定向在第二取向中，该第二取向至少偏移第一本地fov中心与所检测到的本地主体位置之间的距离和第一本地fov中心与所检测到的本地主体的头部面向方向或眼睛注视方向之间的角度差中的一者；使相机利用第二取向来捕获本地图像；以及经由通信网络将所捕获的第一本地图像传输到远程系统。

5、提供本摘要是为了以简化的形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本摘要不旨在确定权利要求的主题的关键特征或基本特征，也不旨在用于限制权利要求的主题的范围。此外，所要求保护的主题不限于解决本公开任何部分中所指出的任何或所有缺点的实现。

技术特征：

1.一种用于捕获用于向远程系统传输的本地图像的系统，包括：

2.根据权利要求1所述的系统，其中为了使所述相机定向单元将所述相机定向在所述第一取向中，所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：使所述相机定向单元旋转所述相机或者控制所述相机的缩放。

3.根据权利要求2所述的系统，其中为了使所述相机定向单元将所述相机定向在所述第一取向中，所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：使所述相机定向单元在所述显示器的所述后表面上移动所述相机。

4.根据权利要求3所述的系统，其中为了使所述相机定向单元将所述相机定向在所述第一取向中，所述指令在由所述处理器执行时还使所述处理器控制所述系统执行以下至少一项：

5.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：处理所捕获的所述第一本地图像，以模拟所述相机的旋转、移动和缩放中的至少一项。

6.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：

7.根据权利要求1所述的系统，其中所述指令在由所述处理器执行时还使所述处理器控制所述系统执行以下至少一项：

8.根据权利要求7所述的系统，其中为了使所述相机定向单元将所述相机定向在所述第一取向中，所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：

9.根据权利要求7所述的系统，其中为了使所述相机定向单元将所述相机定向在所述第一取向中，所述指令在由所述处理器执行时还使所述处理器控制所述系统执行：

10.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储可执行指令，所述可执行指令在由处理器执行时使所述处理器控制系统执行：

11.一种操作用于捕获用于传输到远程系统的本地图像的系统的方法，所述系统包括(i)显示器，具有面向本地主体的前表面和与前表面相对面向的后表面，以及(ii)相机，被定位在所述显示器的所述后表面上并且被配置为通过所述显示器捕获本地图像，所述方法包括：

12.根据权利要求11所述的方法，其中将所述相机定向在所述第一取向中包括：旋转所述相机，或者控制所述相机的缩放。

13.根据权利要求12所述的方法，其中将所述相机定向在所述第一取向中还包括：在所述显示器的所述后表面上移动所述相机。

14.根据权利要求13所述的方法，其中将所述相机定向在所述第一取向中还包括以下至少一项：

15.根据权利要求13所述的方法，还包括：处理所捕获的所述第一本地图像，以模拟所述相机的旋转、移动和缩放中的至少一项。

技术总结
在包括处理器和与处理器通信的计算机可读介质的系统中，计算机可读介质包括可执行指令，当由处理器执行时，使处理器控制系统经由通信网络从远程系统接收远程主体的第一远程视场(FOV)；基于接收到的第一远程FOV，使相机定向单元在第一取向上定向相机，其中定向在第一取向上的相机具有与从远程系统接收到的第一远程FOV相对应的第一本地FOV；在第一取向上定向相机后，使图像捕获单元通过显示器捕获第一本地图像；以及经由通信网络向远程系统传输所捕获的第一本地图像。

技术研发人员：B·F·卡特勒,张文宇,S·G·福韦尔斯
受保护的技术使用者：微软技术许可有限责任公司
技术研发日：
技术公布日：2024/1/15