用于点云的自适应流式传输的方法和装置与流程

背景技术：

1、高质量3d点云最近已经作为沉浸式媒体的高级表示出现。点云由使用指示每个点的定位的坐标以及一个或多个属性(例如与每个点相关联的颜色、透明度、获取时间、激光的反射率或材料属性等)在3d空间中表示的一组点组成。可以以多种方式捕获用于创建点云的数据。例如，一种用于捕捉点云的技术是使用多个相机和深度传感器。光检测和测距(lidar)激光扫描仪也通常用于捕获点云。为了使用点云来逼真地重建对象和场景所需的点的数量是数百万(或者甚至数十亿)的量级。因此，有效的表示和压缩对于存储和传输点云数据是必要的。

2、捕捉和渲染3d点的技术的最新进展已经引起在远程呈现、虚拟现实和大规模动态3d图领域的新颖应用。iso/iec jtc1/sc29/wg11移动画面专家组(mpeg)的3d图形子组当前正致力于开发两个3d点云压缩(pcc)标准：用于静态点云(用于静止对象的点云)的基于几何结构的压缩标准，以及用于动态点云(用于移动对象的点云)的基于视频的压缩标准。这些标准的目标是支持3d点云的高效且可互操作的存储和传输。这些标准的要求之一是支持点云几何结构坐标和属性的有损和/或无损译码。

技术实现思路

技术特征：

1.一种解码节点，包括：

2.根据权利要求1所述的解码节点，其中所述处理器还被配置为解析所述dash mpd以生成所述dash mpd的表示。

3.根据权利要求1所述的解码节点，其中所述处理器还配置为基于用于所述编解码器属性的所述值或所述初始化分段中的一者或多者来识别可用点云媒体内容。

4.根据权利要求1所述的解码节点，其中所述处理器还被配置为基于所述v-pcc分量描述符来确定唯一点云的数量。

5.根据权利要求1所述的解码节点，其中所述处理器还被配置为通过下载用于所述主as的所述初始化分段来流式传输所述pc。

6.根据权利要求5所述的解码节点，其中所述处理器还配置为：

7.根据权利要求6所述的解码节点，其中所述处理器还被配置为将所述时间对齐的分段与相应的初始化分段连接。

8.根据权利要求7所述的解码节点，其中所述处理器还被配置为使用所述时间对齐的分段来生成v-pcc比特流。

9.根据权利要求8所述的解码节点，其中所述处理器还配置为解码所述v-pcc比特流。

10.根据权利要求1所述的解码节点，其中国际标准化组织(iso)基本媒体文件格式(isobmff)被用作用于v-pcc内容的媒体容器，并且其中所述主as的所述初始化分段包含含有一个或多个v-pcc组框实例的元框，以提供与v-pcc轨迹相关联的元数据信息。

11.根据权利要求1所述的解码节点，其中所述主as的所述初始化分段包含指示在自适应级别的单个初始化分段的信息、以及用于所述主as的多个表示的v-pcc序列参数集。

12.根据权利要求1所述的解码节点，其中所述主as包含指示针对所述pc的多个表示中的每个表示的初始化分段的信息，并且其中对应于所述pc的表示的每个初始化分段包含用于该表示的v-pcc序列参数集。

13.根据权利要求1所述的解码节点，其中所述v-pcc分量描述符包含指示用于对所对应的pc分量进行编码的编解码器的视频编解码器属性的信息。

14.所对应的权利要求1所述的解码节点，其中所述as包含指示角色描述符dash元素的信息，所述角色描述符dash元素具有指示所对应的v-pcc分量的几何结构、或属性中的一者的值。

15.根据权利要求1所述的解码节点，其中所述解码节点是dash流式传输客户端。

16.一种用于解码节点使用超文本传输协议(http)经由网络流式传输与点云(pc)相对应的pc数据(pcd)的方法，并且所述解码节点包含包括pc的多个基于视频的pc压缩(v-pcc)分量，所述方法包括：

17.根据权利要求16所述的方法，其中还包括解析所述dash mpd以生成所述dash mpd的表示。

18.根据权利要求16所述的方法，还包括基于用于所述编解码器属性的所述值或所述初始化分段中的一者或多者来识别可用点云媒体内容。

19.根据权利要求16所述的方法，还包括基于所述v-pcc分量描述符来确定唯一点云的数量。

20.根据权利要求16所述的方法，还包括通过下载用于所述主as的所述初始化分段来流式传输所述pc。

21.根据权利要求20所述的方法，还包括：

22.根据权利要求21所述的方法，还包括将所述时间对齐的分段与相应的初始化分段连接。

23.根据权利要求22所述的方法，还包括使用所述时间对齐的分段来生成v-pcc比特流。

24.根据权利要求23所述的方法，还包括解码所述v-pcc比特流。

25.根据权利要求16所述的方法，其中国际标准化组织(iso)基本媒体文件格式(isobmff)被用作用于v-pcc内容的媒体容器，并且其中所述主as的所述初始化分段包含含有一个或多个v-pcc组框实例的元框，以提供与v-pcc轨迹相关联的元数据信息。

26.根据权利要求16所述的方法，其中所述主as的所述初始化分段包括指示在自适应级别的单个初始化分段的信息、以及用于所述主as的多个表示的v-pcc序列参数集。

27.根据权利要求16所述的方法，其中所述主as包含指示针对所述pc的多个表示中的每个表示的初始化分段的信息，并且其中对应于所述pc的表示所对应的每个初始化分段包含用于该表示的v-pcc序列参数集。

28.根据权利要求16所述的方法，其中所述v-pcc分量描述符包含指示用于对所对应的pc分量进行编码的编解码器的视频编解码器属性的信息。

29.根据权利要求15所述的方法，其中所述as包含指示角色描述符dash元素的信息，所述角色描述符dash元素具有指示所对应的v-pcc分量的几何结构、占用率图或属性中的一者的值。

30.一种编码设备，其包括处理器，所述处理器经配置以：

31.根据权利要求29所述的编码设备，其中所述编码视频比特流是基于视频的点云压缩(v-pcc)比特流。

32.一种解码设备，包括处理器，所述处理器被配置为：

技术总结
旨在使用诸如MPEG DASH等自适应HTTP流式传输协议来自适应流式传输V‑PCC(基于视频的点云压缩)数据的方法、装置和系统。方法包括在DASH MPD中用信号通知所述点云的所述点云数据，包括：用于点云的主适配集，该主适配集至少包括(1)@编解码器属性，其被设置为标志所述对应适配集对应于V‑PCC数据的唯一值，以及(2)含有用于所述点云的表示的至少一个V‑PCC序列参数集的初始化分段；以及多个分量适配集，每个分量适配集对应于V‑PCC分量中的一者，并且至少包含(1)标识所对应的V‑PCC分量的类型的VPCC分量描述符，以及(2)所述V‑PCC分量的至少一个性质；以及通过所述网络传送DASH比特流。

技术研发人员：阿赫麦德·哈姆扎,贺勇
受保护的技术使用者：VID拓展公司
技术研发日：
技术公布日：2024/4/17