用于网格压缩的边界UV2XYZ索引的预测编解码的制作方法

本公开涉及一组高级视频编解码技术。更具体地，本公开涉及用于高效网格压缩的边界顶点的uv到xyz(uv2xyz)索引的编解码方法。

背景技术：

1、3d捕捉、建模和渲染方面的进步已经促进了3d内容在多个平台和设备上的无处不在。如今，可以捕捉到婴儿在一个大洲迈出的第一步并能够让祖父母在另一个大洲看到(也许还可以互动)，并且享受与孩子的完全沉浸式体验。然而，为了实现这种真实性，模型正在变得越来越复杂，大量数据与这些模型的创建和使用相关联。3d网格被广泛用于表示这种沉浸式内容。

2、动态网格序列可能需要大量数据，因为它可能包含大量的随时间变化的信息。因此，需要高效压缩技术来存储和传输这些内容。网格压缩标准ic、meshgrid和famc是由运动图像专家组mpeg先前开发的，用于处理具有恒定连通性、时变几何性质和顶点属性的动态网格。然而，这些标准没有考虑时变属性图(time varying attribute maps)和连通性信息。dcc(数字内容创建)工具通常生成这样的动态网格。相比之下，对于体积采集技术来说，生成恒定连通性的动态网格是一个挑战，尤其是在实时约束的情况下。现有的标准不支持此类内容。运动图像专家组mpeg正在计划开发一种新的网格压缩标准，以直接处理具有时变连通性信息和可选的时变属性图的动态网格。该标准针对各种应用(比如实时通信、存储、自由视点视频、增强现实ar和虚拟现实vr)的有损压缩和无损压缩。还考虑了诸如随机接入和可伸缩/渐进式编码的功能。

技术实现思路

1、以下呈现本申请的一个或多个实施例的简化概要，以便提供对这些实施例的基本理解。该概要不是对所有预期实施例的广泛概述，并且旨在既不标识所有实施例的关键或重要元素，也不描述任何或所有实施例的范围。其唯一目的是以简化形式呈现本申请的一个或多个实施例的某些概念，作为稍后呈现的更详细描述的前奏。

2、本公开提供了一种用于高效网格压缩的边界顶点的uv2xyz索引的方法。

3、根据一些实施例，提供了一种由至少一个处理器执行的方法。该方法包括从编码器接收已编码视频码流。该方法还包括从已编码视频码流中检索网格，该网格包括描述体积对象的一个或多个表面的多个多边形。该方法还包括根据uv到xyz索引数组中的一个索引中包括的至少一个先前已编码值，来预测uv到xyz索引数组中的另一个索引的当前值，其中，uv到xyz索引数组包括多个索引，多个索引将与网格相关联的每个二维(2d)uv顶点对应于到与网格相关联的三维(3d)xyz顶点。该方法还包括导出与uv到xyz索引数组中的另一个索引的当前值相关联的预测残差。该方法还包括基于uv到xyz索引数组中的另一个索引的所预测的当前值和所导出的预测残差，来重建边界uv坐标。

4、根据一些实施例，提供了一种装置，包括用于存储程序代码的至少一个存储器和用于读取程序代码并按照程序代码的指令操作的至少一个处理器。程序代码包括接收代码，用于使得至少一个处理器从编码器接收已编码视频码流。程序代码还包括检索代码，用于使得至少一个处理器从已编码视频码流中检索网格，该网格包括描述体积对象的一个或多个表面的多个多边形。程序代码还包括预测代码，用于使得至少一个处理器根据uv到xyz索引数组中的一个索引中包括的至少一个先前已编码值来预测uv到xyz索引数组中的另一个索引的当前值，其中，uv到xyz索引数组包括多个索引，多个索引将与网格相关联的每个二维(2d)uv顶点对应到与网格相关联的三维(3d)xyz顶点。程序代码还包括导出代码，用于使得至少一个处理器导出与uv到xyz索引数组中的另一个索引的当前值相关联的预测残差。程序代码还包括重建代码，用于使得至少一个处理器基于uv到xyz索引数组中的另一个索引的所预测的当前值和所导出的预测残差来重建边界uv坐标。

5、根据一些实施例，提供了一种非暂时性计算机可读存储介质，存储有指令，该指令当由至少一个处理器执行时，使得至少一个处理器从编码器接收已编码视频码流。该指令还使得至少一个处理器从已编码视频码流中检索网格，该网格包括描述体积对象的一个或多个表面的多个多边形。该指令还使得至少一个处理器根据uv到xyz索引数组中的一个索引中包括的至少一个先前已编码值来预测uv到xyz索引数组中的另一个索引的当前值，其中，uv到xyz索引数组包括多个索引，多个索引将与网格相关联的每个二维(2d)uv顶点对应到与网格相关联的三维(3d)xyz顶点。该指令还使得至少一个处理器导出与uv到xyz索引数组中的另一个索引的当前值相关联的预测残差。该指令还使得至少一个处理器基于uv到xyz索引数组中的另一个索引的所预测的当前值和所导出的预测残差来重建边界uv坐标。

6、附加实施例将在下面的描述中阐述，并且部分地将从描述中变得显而易见，和/或可以通过实践本申请的所呈现的实施例来了解。

技术特征：

1.一种由解码器中的至少一个处理器执行的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述预测残差通过定长编码方式进行编码。

3.根据权利要求1所述的方法，其特征在于，所述预测残差通过指数哥伦布编码方式进行编码。

4.根据权利要求1所述的方法，其特征在于，所述预测残差通过一元编码方式进行编码。

5.根据权利要求1所述的方法，其特征在于，所述预测残差通过包括在所述已编码视频码流中的一个或多个语法元素进行编码，所述一个或多个语法元素指定所述预测残差的大小和符号。

6.根据权利要求1所述的方法，其特征在于，所述uv到xyz索引数组被编码为游程长度方向的元组。

7.根据权利要求1所述的方法，其特征在于，所述uv到xyz索引数组是边界环。

8.一种装置，其特征在于，所述装置包括：

9.根据权利要求8所述的装置，其特征在于，所述预测残差通过定长编码方式进行编码。

10.根据权利要求8所述的装置，其特征在于，所述预测残差通过指数哥伦布编码方式进行编码。

11.根据权利要求8所述的装置，其特征在于，所述预测残差通过一元编码方式进行编码。

12.根据权利要求8所述的装置，其特征在于，所述预测残差通过包括在所述已编码视频码流中的一个或多个语法元素进行编码，所述一个或多个语法元素指定所述预测残差的大小和符号。

13.根据权利要求8所述的装置，其特征在于，所述uv到xyz索引数组被编码为游程长度方向的元组。

14.根据权利要求8所述的装置，其特征在于，所述uv到xyz索引数组是边界环。

15.一种非暂时性计算机可读存储介质，其特征在于，其上存储有指令，所述指令当由至少一个处理器执行时使得所述至少一个处理器：

16.根据权利要求15所述的非暂时性计算机可读存储介质，其特征在于，所述预测残差通过定长编码方式进行编码。

17.根据权利要求15所述的非暂时性计算机可读存储介质，其特征在于，所述预测残差通过指数哥伦布编码方式进行编码。

18.根据权利要求15所述的非暂时性计算机可读存储介质，其特征在于，所述预测残差通过一元编码方式进行编码。

19.根据权利要求15所述的非暂时性计算机可读存储介质，其特征在于，所述预测残差通过包括在所述已编码视频码流中的一个或多个语法元素进行编码，所述一个或多个语法元素指定所述预测残差的大小和符号。

20.根据权利要求15所述的非暂时性计算机可读存储介质，其特征在于，所述uv到xyz索引数组被编码为游程长度方向的元组。

技术总结
本申请提供了一种方法和装置，包括：从编码器接收已编码视频码流；从已编码视频码流中检索网格，网格包括描述体积对象的一个或多个表面的多个多边形；根据UV到XYZ索引数组中的一个索引中包括的至少一个先前已编码值，来预测UV到XYZ索引数组中的另一个索引的当前值，其中，UV到XYZ索引数组包括多个索引，多个索引将与网格相关联的每个二维(2D)UV顶点对应到与网格相关联的三维(3D)XYZ顶点；导出与UV到XYZ索引数组中的另一个索引的当前值相关联的预测残差；以及基于UV到XYZ索引数组中的另一个索引的所预测的当前值和所导出的预测残差，来重建边界UV坐标。

技术研发人员：张翔,黄超,田军,许晓中,刘杉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/1/15