用于网格压缩的位移译码的制作方法

1.本公开内容涉及包括基于网格实例的无损网格译码技术和有损网格译码技术的先进视频译码技术的集合。2.相关技术的描述3d(three-dimensional，3d)捕获、建模和渲染的进展促进了3d内容在若干平台和设备上的普遍存在。如今，可以在一个洲捕获婴儿迈出的第一步，并且使得祖父母能够在另一洲观看(并且可能还有交互)并享受与孩子的完全沉浸式体验。然而，为了实现这样的真实感，模型变得越来越复杂，并且大量的数据与这些模型的创建和消耗相联系。vmesh是正在进行的用于压缩静态和动态网格的mpeg(moving picture expertsgroup，mpeg)标准。vmesh将输入网格分成简化的基础网格和残差网格。可以以高质量对基础网格进行编码，而可以利用细分表面拟合和位移编码对剩余网格进行编码以利用局部特性。然而，复杂网格通常包含关于多个实例的信息以关联相关联的纹理图。该信息在编码时可用。另一方面，网格可以基于其特性被分割为若干部分。例如，在人类网格的面部区域中存在更多的多边形。因此，对网格中的所有实例、对象、部分应用恒定量化步长会导致大的量化误差，网格区域可能不是同等重要的，在网格的不同部分中面的数目可能显著不同，并且基础网格可能比原始网格和位移更简单，因此对比特深度的精度的要求可能较低。因此，出于这些原因中的任何一个原因，需要对视频译码技术中出现的这些问题的技术解决方案。

背景技术：

技术实现思路

1、包括方法和装置，该装置包括：存储器，该存储器被配置成存储计算机程序代码；以及一个或多个处理器，所述一个或多个处理器被配置成访问计算机程序代码并且按照计算机程序代码所指示的进行操作。该计算机程序被配置成使处理器实现下述：获得代码，该获得代码被配置成使至少一个处理器获得至少一个三维(3d)视觉内容的体积数据；得出代码，该得出代码被配置成使至少一个处理器从该体积数据的帧得出网格，该网格包括多个基础网格顶点；确定代码，该确定代码被配置成使至少一个处理器基于从所述多个基础网格顶点中的是所述多个基础网格顶点中的邻近基础网格顶点的至少一个基础网格顶点到该至少一个顶点的一系列投影，确定不是所述基础网格顶点的至少一个顶点的位移；预测代码，该预测代码被配置成使至少一个处理器至少基于所确定的位移来预测至少一个顶点；以及编码代码，该编码代码被配置成使至少一个处理器基于确定所预测的至少一个顶点对该体积数据进行编码。

2、根据示例性实施方式，对该体积数据进行编码包括对从投影顶点到该至少一个顶点的标量距离进行编码。

3、根据示例性实施方式，所述一系列投影包括确定该投影顶点在从所述多个基础网格顶点中的第一基础网格顶点到所述多个基础网格顶点中的第二基础网格顶点的线上，并且该标量距离垂直于所述线。

4、根据示例性实施方式，所述一系列投影还包括将近邻顶点得出为在所述线上，并且确定该投影顶点在所述线上包括将第二标量距离应用于该近邻顶点。

5、根据示例性实施方式，所述一系列投影包括：确定第一邻近顶点在从所述多个基础网格顶点中的第一基础网格顶点到所述多个基础网格顶点中的第二基础网格顶点的第一线上；以及确定该投影顶点距该第一邻近顶点一定距离。

6、根据示例性实施方式，所述一系列投影还包括：确定第二邻近顶点在从所述多个基础网格顶点中的第一基础网格顶点到所述多个基础网格顶点中的第三基础网格顶点的第二线上；以及确定该投影顶点距第一邻近顶点和第二邻近顶点两者所述距离。

7、根据示例性实施方式，对该体积数据进行编码包括对从该投影顶点到该至少一个顶点的距离进行编码。

8、根据示例性实施方式，所述多个基础网格顶点限定该网格的面，所述一系列投影还包括：将该面细分为多个子划分；以及确定所述子划分中的到该投影顶点最近的子划分点。

9、根据示例性实施方式，对该体积数据进行编码包括对从该最近的子划分点到该至少一个顶点的距离进行编码。

10、根据示例性实施方式，该网格的面包括四边形面。

技术特征：

1.一种用于视频编码的方法，所述方法由至少一个处理器执行并且包括：

2.根据权利要求1所述的用于视频编码的方法，其中，

3.根据权利要求2所述的用于视频编码的方法，其中，

4.根据权利要求3所述的用于视频编码的方法，其中，

5.根据权利要求1所述的用于视频编码的方法，其中，所述一系列投影包括：

6.根据权利要求5所述的用于视频编码的方法，其中，所述一系列投影还包括：

7.根据权利要求6所述的用于视频编码的方法，其中，

8.根据权利要求6所述的用于视频编码的方法，其中，

9.根据权利要求8所述的用于视频编码的方法，其中，

10.根据权利要求8所述的用于视频编码的方法，其中，

11.一种用于视频编码的装置，所述装置包括：

12.根据权利要求11所述的用于视频编码的装置，其中，

13.根据权利要求12所述的用于视频编码的装置，其中，

14.根据权利要求13所述的用于视频编码的装置，其中，

15.根据权利要求11所述的用于视频编码的装置，其中，所述一系列投影包括：

16.根据权利要求15所述的用于视频编码的装置，其中，所述一系列投影还包括：

17.根据权利要求16所述的用于视频编码的装置，其中，

18.根据权利要求16所述的用于视频编码的装置，其中，

19.根据权利要求18所述的用于视频编码的装置，其中，

20.一种非暂态计算机可读介质，其存储有程序，所述程序使计算机进行下述操作：

技术总结
一种方法和装置包括计算机代码，该计算机代码被配置成使一个或多个处理器进行下述操作：获得至少一个三维(3D)视觉内容的体积数据；从该体积数据的帧得出网格，该网格包括多个基础网格顶点；基于从所述多个基础网格顶点中的是所述多个基础网格顶点中的邻近基础网格顶点的至少一个基础网格顶点到不是所述基础网格顶点的至少一个顶点的一系列投影，确定该至少一个顶点的位移；至少基于所确定的位移来预测该至少一个顶点；以及基于所预测的至少一个顶点对该体积数据进行编码。

技术研发人员：阮景上,许晓中,黄超,张翔,刘杉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：
技术公布日：2024/5/16