3D图像数据流的交互式处理的制作方法

本申请案例涉及一种用于处理3d图像数据流的方法以及被配置为处理3d图像数据流的对应实体。此外，提供了一种包括程序代码的计算机程序和一种包括计算机程序的载体。

背景技术：

1、最近，远程会议和虚拟通信的重要性迅速增长。在这种背景下，点云或任何3d图像数据流从深度相机被流传输到xr(扩展现实)设备，诸如增强现实(ar)、混合现实(mr)或虚拟现实(vr)设备。点云(例如，3d图像帧)由深度相机(诸如intel realsense或microsoftkinect)捕获。最近的智能电话和平板电脑配备有可以捕获3d图像帧的激光雷达传感器。

2、网格、纹理和uv图通常被用于表示所捕获的3d内容。网格是一种定义ar/vr中的对象的形状的数据结构。存在不同的网状拓扑类型，例如，多边形、三角形、线或点网格。类型指示使用三角剖分、点或线来创建网格表面的方式，其中，每条线由两个顶点索引等组成。网格包含定义3d对象的形状的边和顶点。

3、uv映射是将2d图像投影到3d模型的表面以进行纹理映射的3d建模过程。利用uv映射，可以向构成3d对象的多边形添加颜色。uv映射过程涉及将图像中的像素分配到多边形上的表面映射。渲染计算使用uv纹理坐标来确定如何绘制三维表面。

4、纹理是对象的数字2d图片(也被称为rgb图像)。网格、纹理和uv的组合创建在3d图像流中表示的场景的3d表示。通过从网格和纹理提取人并应用uv，可以创建可从不同角度捕获的人的3d表示。可以考虑用于生成3d表示的其他格式，诸如几何点云、rgb加深度等。

5、3d媒体的渲染是已知的，其中，可以在xr设备上渲染3d图像流。可替代地，渲染发生在被连接到xr设备的移动设备或服务器上。在某些情况下，使用了基于来自xr设备的姿势估计的分割渲染方法。xr设备向例如位于xr设备附近的边缘云处的服务器提供6-dof(自由度)头部姿势估计。边缘云仅渲染用户视图并将它编码为2d视频。经编码的视频流被发送到xr设备，该xr设备对该流进行解码并在眼镜上进行显示。

6、在图1中示出了使用实时捕获的3d流进行的xr的沉浸式通信。实时捕获的3d流可以被用于两个或更多个ue之间的实时会话服务。以3d表示(例如，点云、网格等)捕获的来自3d相机10的实时馈送与音频一起被提供给发送ue 20。在处理和编码之后，经压缩的3d视频和音频流通过数据网络30(例如，诸如5g网络之类的蜂窝网络)来发送。诸如5g电话之类的移动实体40对3d视频和音频流进行解码、处理和渲染，并将其提供给用户50的ar眼镜60以用于显示。可以通过在接收方侧添加3d相机和在发送方侧添加ar眼镜并应用类似的工作流程来将该用例扩展为双向。

7、图1中架构的问题在于，3d内容的渲染独立于ar眼镜使用情况和场景中的3d人的投影。另外，将实时捕获的3d流(诸如网格和点云)从相机发送到xr设备可能会对网络提出很高的带宽要求。

8、上面提到的分割渲染是一种基于来自xr设备的姿势估计来优化场景渲染的优化。然而，这对于实时会话服务来说是一个挑战，因为它需要将实时捕获的3d内容从捕获相机递送到边缘云。一种替代方法是将姿势信息提供给相机捕获侧。然而，这会增加2d视频的传输延时并影响用户体验。

9、因此，需要克服上面提及的问题并提供一种更灵活的方法以用于在xr设备中表示3d视觉外观，同时考虑到在xr设备的用户处的情况并满足用于xr会话服务的实时要求。

技术实现思路

1、这种需要通过独立权利要求的特征来满足。其他方面在从属权利要求中描述。

2、根据第一方面，提供了一种用于操作处理实体的方法。

3、根据第一方面，提供了一种用于处理3d图像数据流的方法，其中，该方法由处理实体执行，该处理实体接收第一3d图像数据流，该第一3d图像数据流包括至少一个人的初步视觉外观，其中，该至少一个人的初步视觉外观将要被发送到扩展现实设备以用于显示。例如，可以在带宽方面限制第一3d图像流以满足对网络的实时传输要求。此外，确定要被添加到该人的视觉外观的附加部分，其用于将初步视觉外观完成为将要在扩展现实设备处显示的最终视觉外观。该处理实体进一步从扩展现实设备接收影响在扩展现实设备处的该人的最终视觉外观的参数，并基于所接收到的参数，将附加部分修改为经适配的附加部分。生成该人的最终视觉外观，包括将经适配的附加部分添加到该人的初步视觉外观。最后，通过通信网络将最终视觉外观发送到扩展现实设备。

4、此外，提供了对应的处理实体，其被配置为如上面所讨论或如下面进一步详细讨论地进行操作。

5、该处理实体可以包括存储器和至少一个处理单元，其中，该存储器包含至少一个处理单元可执行的指令，这些指令在由至少一个处理单元执行时使至少一个处理单元执行如上面所讨论或如下面进一步详细说明的方法。

6、作为替代，该处理实体可以包括第一模块，其被配置为接收第一3d图像数据流，该第一3d图像数据流包括初步视觉外观。该处理实体的第二模块可以被配置为确定要被添加到人的视觉外观的附加部分，其用于将初步视觉外观完成为最终视觉外观。第三模块被配置为从扩展现实设备接收影响该人的最终视觉外观的参数，并且可以提供第四模块，其被配置为基于所接收到的参数，将附加部分修改为经适配的附加部分。第五模块被配置为生成具有所添加的经适配的附加部分的该人的最终视觉外观，并且第六模块被配置为通过通信网络将最终视觉外观发送到扩展现实设备。

7、利用上面讨论的方法和处理实体，可以使在扩展现实设备处显示的视觉外观适配在扩展现实设备处发生的情况。

8、此外，提供了一种包括程序代码的计算机程序，其中，该程序代码的执行使处理实体的至少一个处理单元执行如上面所讨论或如下面进一步详细说明的方法。

9、此外，还提供了一种包括计算机程序的载体，其中，该载体是电信号、光信号、无线电信号、或计算机可读存储介质之一。

10、应当理解，在不背离本发明的范围的情况下，上面所提及的特征和下面将要说明的特征不仅可以在所指示的各个组合中使用，而且还可以在其他组合中或单独地使用。除非另外明确提及，否则上面所提及的各方面和下面所描述的实施例的特征可以在其他实施例中彼此组合。

技术特征：

1.一种用于处理3d图像数据流的方法，所述方法包括：在处理实体(100)处：

2.根据权利要求1所述的方法，其中，所述参数包括以下中的至少一项：从所述扩展现实设备的用户(20)到向所述用户显示的所述最终视觉外观(80)的距离，以及所述扩展现实设备的所述用户(20)正在观看所述最终视觉外观(80)的视角。

3.根据权利要求1或2所述的方法，其中，修改所述附加部分包括：适配所述附加部分的粒度。

4.根据权利要求2和3所述的方法，其中，随着从所述用户(20)到所述最终视觉外观(80)的距离减小，所述粒度被适配到更细的粒度。

5.根据权利要求2和3或4所述的方法，其中，所述附加部分的不同的表示质量水平是可用的，并且根据所述距离，针对所述经适配的附加部分(54，55)选择所述不同的表示质量水平之一。

6.根据权利要求5所述的方法，其中，所述不同的表示质量水平包括以下中的至少一项：

7.根据权利要求5或6所述的方法，其中，基于恰可察觉差来选择所述不同的表示质量水平之一，所述恰可察觉差指示根据从所述用户到所述最终视觉外观的距离的2个不同的表示质量水平之间的差异。

8.根据权利要求2至7中任一项所述的方法，其中，生成所述最终视觉外观(80)包括：渲染所接收并经修改的视觉外观，其中，根据所接收到的视角来适配经修改的视觉外观的渲染。

9.根据权利要求8所述的方法，其中，当所接收到的视角随时间变化超过阈值角度时，适配所述渲染。

10.根据前述权利要求中任一项所述的方法，其中，所述附加部分与所述人(50)的头部、颈部和肩部中的至少一项有关。

11.根据前述权利要求中任一项所述的方法，其中，所述附加部分包括以下中至少一项的3d表示：

12.根据前述权利要求中任一项所述的方法，其中，所述最终视觉外观(80)作为被发送到所述扩展现实设备的最终3d图像数据流的一部分被发送到所述扩展现实设备。

13.一种处理实体，被配置为处理3d图像数据流，其中，所述处理实体可操作以：

14.根据权利要求13所述的处理实体，其中，所述参数包括以下中的至少一项：从所述扩展现实设备的用户(20)到向所述用户显示的所述最终视觉外观(80)的距离，以及所述扩展现实设备的所述用户(20)正在观看所述最终视觉外观(80)的视角。

15.根据权利要求13或14所述的处理实体，为了修改所述附加部分，进一步可操作以适配所述附加部分的粒度。

16.根据权利要求14和15所述的处理实体，进一步可操作以随着从所述用户(20)到所述最终视觉外观(80)的距离减小，将所述粒度适配到更细的粒度。

17.根据权利要求14和15或16所述的处理实体，其中，所述附加部分的不同的表示质量水平是可用的，并且根据所述距离，针对所述经适配的附加部分(54，55)选择所述不同的表示质量水平之一。

18.根据权利要求17所述的处理实体，其中，所述不同的表示质量水平包括以下中的至少一项：

19.根据权利要求17或18所述的处理实体，进一步可操作以基于恰可察觉差来选择所述不同的表示质量水平之一，所述恰可察觉差指示根据从所述用户到所述最终视觉外观的距离的2个不同的表示质量水平之间的差异。

20.根据权利要求14至19中任一项所述的处理实体，为了生成所述最终视觉外观(80)，进一步可操作以渲染所接收并经修改的视觉外观，并根据所接收到的视角来适配经修改的视觉外观的渲染。

21.根据权利要求20所述的处理实体，进一步可操作以在所接收到的视角随时间变化超过阈值角度时，适配所述渲染。

22.根据权利要求13至21中任一项所述的处理实体，其中，所述附加部分与所述人(50)的头部、颈部和肩部中的至少一项有关。

23.根据权利要求13至22中任一项所述的处理实体，进一步可操作以将所述最终视觉外观(80)作为被发送到所述扩展现实设备的最终3d图像数据流的一部分发送到所述扩展现实设备。

24.根据权利要求13至23中任一项所述的处理实体，其中，所述附加部分包括以下中至少一项的3d表示：

25.根据权利要求中任一项所述的处理实体，进一步包括存储器和至少一个处理单元，所述存储器包含指令，所述指令在由所述至少一个处理实体执行时使所述至少一个处理单元执行根据权利要求1至13中任何一项所述的方法。

26.一种计算机程序，包括要由处理实体执行的程序代码，其中，所述程序代码的执行使所述至少一个处理单元执行根据权利要求1至13中任何一项所述的方法。

27.一种载体，包括根据权利要求26所述的计算机程序，其中，所述载体是电信号、光信号、无线电信号、以及计算机可读存储介质之一。

技术总结
本申请涉及一种用于处理3D图像数据流的方法，该方法包括：在处理实体处，接收第一3D图像数据流，该第一3D图像数据流包括至少人的初步视觉外观，其中，该人的初步视觉外观将要被发送到扩展现实设备以用于显示，确定要被添加到该人的视觉外观的附加部分，其用于将初步视觉外观完成为将要在扩展现实设备处显示的最终视觉外观。从扩展现实设备接收影响在扩展现实设备处的该人的最终视觉外观的参数，基于所接收到的参数，将附加部分修改为经适配的附加部分，以及生成该人的最终视觉外观，包括将经适配的附加部分(82，83)添加到该人的初步视觉外观，‑通过通信网络将最终视觉外观发送到扩展现实设备。

技术研发人员：A·埃尔埃塞利,N·秋迪娜,E·阿坎,J·C·埃韦特
受保护的技术使用者：瑞典爱立信有限公司
技术研发日：
技术公布日：2024/2/19