用于对动画3D对象的至少一个属性进行编码/解码的方法和装置与流程

本发明实施方案总体涉及一种用于动画网格的编码/解码的方法和装置。

背景技术：

1、可以通过使用在空间上调度的一组物理捕获设备(视频、红外光，…)捕获动画模型来实现自由视点视频。随后可以对经捕获的动画序列进行编码并将其传输到终端，以便以六自由度(6dof)从任何虚拟视点进行播放。存在用于对动画模型进行编码的不同方法。例如，动画模型可以表示为图像/视频、点云或纹理网格。

2、在基于图像/视频的方法中，存储一组视频流加上附加元数据，并且执行扭曲或任何其他重投影以在回放时从虚拟视点产生图像。这种解决方案需要大量的带宽并且引入许多伪影。

3、在点云方法中，由一组输入动画图像重建动画3d点云，从而产生更紧凑的3d模型表示。随后可以将动画点云投影在包裹动画点云的体积的平面上并将经投影的点(也称为补块(patch))编码到一组2d编码视频流(例如，使用hevc、avc、vvc…)中以用于递送该动画点云。这种解决方案是例如在mpeg v-pcc标准(“iso/iec jtc1/sc29 wg11，w19332，v-pcc编解码器说明”，alpbach，austria，2020年4月)中开发的。然而，模型的实质在空间扩展方面非常有限，并且可能出现一些伪影，诸如表面上的针对近距离视图的孔穴。

4、在纹理网格方法中，由一组输入动画图像重建动画纹理网格，诸如例如在以下文献中：[1]a.collet、m.chuang、p.sweeney、d.gillett、d.evseev、d.calabrese、h.hoppe、a.kirk和s.sullivan，“high-quality streamable free-viewpoint video”，acmtransaction on graphics(siggraph)，2015；或者j.carranza，c.theobalt、m.a.magnor和h.-p.seidel，“free-viewpoint video of human actor”，acm siggraph，2003。这种重建通常经历作为体素或点云的中间表示。网格的特征为：几何定义可以非常低，并且光度测定纹理图集可以被编码在标准视频流中。点云解决方案可能需要“复杂”且“有损”的隐式或显式投影(如在v-pcc中)，以获得与基于视频的编码方法兼容的平面表示。对应地，纹理网格编码依赖于纹理坐标(uv)来执行纹理图像到网格的三角形的映射。

技术实现思路

1、根据一个实施方案，提供了一种用于对动画3d对象的至少一个属性的至少一个分量进行编码的方法。该方法包括：将至少一个属性的至少一个分量的值重构成第一子集和第二子集，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值；以及对值的第一子集和值的第二子集进行编码。

2、根据另一个实施方案，提供了一种用于对动画3d对象的至少一个属性的至少一个分量进行编码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置用于：将至少一个属性的值重构成第一子集和第二子集，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值；以及对第一子集进行编码并对值的第二子集进行编码。

3、根据另一个实施方案，提供了一种用于对动画3d对象的至少一个属性的至少一个分量进行解码的方法，其中解码包括：对值的第一子集和值的第二子集进行解码；以及由第一子集和第二子集重建至少一个属性的至少一个分量，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值。

4、根据另一个实施方案，提供了一种用于对动画3d对象的至少一个属性的至少一个分量进行解码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置用于：对值的第一子集和值的第二子集进行解码；以及由第一子集和第二子集重建至少一个属性，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值。

5、根据另一个实施方案，提供了一种用于对3d对象进行编码/解码的方法，该方法包括对3d对象的至少一个属性的至少一个分量至少进行编码/解码。

6、根据另一个实施方案，提供了一种用于对3d对象进行编码/解码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置用于：对3d对象的至少一个属性的至少一个分量至少进行编码/解码。

7、根据另一个实施方案，提供了一种包括动画3d对象的至少一个属性的编码的比特流，该比特流包括编码视频数据和编码元数据，该编码视频数据表示动画3d对象的至少属性的至少一个分量的值的第一子集；编码元数据表示动画3d对象的至少一个属性的至少一个分量的值的第二子集，所述至少一个属性被重构成值的第一子集和第二子集，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值。

8、一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述任一实施方案的编码方法或解码方法中的任一者。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有指令，该指令用于根据上述方法对3d对象或动画3d对象的至少一个属性的至少一个分量进行编码或解码。一个或多个本发明实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。一个或多个本发明实施方案还提供了一种用于发送或接收根据上述方法生成的比特流的方法和装置。

技术特征：

1.一种方法，包括：对动画3d对象的至少一个属性的至少一个分量进行编码，其中编码包括：

2.一种装置，包括一个或多个处理器，其中所述一个或多个处理器被配置为对动画3d对象的至少一个属性的至少一个分量进行编码，其中编码包括：

3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中使用基于视频的编码器来对所述第一子集进行编码。

4.根据权利要求1或3中任一项所述的方法或根据权利要求2至3中任一项所述的装置，其中使用基于视频的编码器来对所述第二子集进行编码或者将其编码为元数据。

5.根据权利要求1或3至4中任一项所述的方法，还包括，或根据权利要求2至4中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于将所述值的第一子集封装到视频的图像的至少一个分量中。

6.根据权利要求1或3至5中任一项所述的方法，或根据权利要求2至5中任一项所述的装置，其中将所述至少一个属性的所述至少一个分量的值重构成第一子集和第二子集包括：对所述值的第一子集进行无损量化。

7.根据权利要求1或3至5中任一项所述的方法，或根据权利要求2至5中任一项所述的装置，其中将所述至少一个属性的所述至少一个分量的值重构成第一子集和第二子集包括：

8.根据权利要求7所述的方法或装置，其中所述半径参数被确定为所述至少一个属性的所述至少一个分量的所述值的半最大偏差。

9.根据权利要求7或8所述的方法或装置，其中将所述至少一个属性的所述至少一个分量的值重构成第一子集和第二子集包括：根据所述半径参数来确定用于在没有损失的情况下量化所述值的第一子集的比特数。

10.根据权利要求7至9中任一项所述的方法或装置，其中针对所述至少一个属性的所有分量确定相同的半径参数。

11.根据权利要求7至9中任一项所述的方法或装置，其中针对所述至少一个属性的每个分量确定不同的半径参数。

12.根据权利要求7至11中任一项所述的方法或装置，其中针对所述动画3d对象的至少一个帧确定所述半径参数。

13.根据权利要求7至12中任一项所述的方法或装置，其中针对所述动画3d对象的至少两个帧中的每个帧确定半径参数，并且根据所确定的半径参数中的最大值来确定所述值范围。

14.根据权利要求3至13中任一项所述的方法或装置，其中所述值的第一子集包括所述至少一个属性的所述至少一个分量的所述值，并且其中在所述第一子集中用根据所述第一子集的至少一个值确定的值来替换与属于所述第二子集的值相对应的至少一个值。

15.根据权利要求3至13中任一项所述的方法或装置，其中所述值的第一子集包括所述至少一个属性的所述至少一个分量的值，其中属于所述第二子集的值被去除。

16.根据权利要求1或3至15中任一项所述的方法或根据权利要求2至15中任一项所述的装置，其中当所述第二子集被编码为元数据时，对所述第二子集的值进行熵编码。

17.根据权利要求1或3至15中任一项所述的方法或根据权利要求2至15中任一项所述的装置，其中当所述第二子集被编码为元数据时，对所述第二子集的值进行原始编码。

18.根据权利要求1或3至17中任一项所述的方法或根据权利要求2至17中任一项所述的装置，其中对所述值的第二子集进行编码包括：针对所述第二子集的至少一个值，对所述至少一个值在所述至少一个属性的所述至少一个分量中的位置进行编码。

19.根据权利要求1或3至18中任一项所述的方法，还包括，或根据权利要求2至18中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于：

20.根据权利要求1或3至19中任一项所述的方法，还包括，或根据权利要求2至19中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于：

21.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有指令，所述指令用于使一个或多个处理器执行根据权利要求1、3至20中任一项所述的方法。

22.一种方法，包括：对动画3d对象的至少一个属性的至少一个分量进行解码，其中解码包括：

23.一种装置，包括一个或多个处理器，其中所述一个或多个处理器被配置为对动画3d对象的至少一个属性的至少一个分量进行解码，其中解码包括：

24.根据权利要求22所述的方法或根据权利要求23所述的装置，其中使用基于视频的解码器来对所述第一子集进行解码。

25.根据权利要求22或24中任一项所述的方法或根据权利要求23至24中任一项所述的装置，其中使用基于视频的解码器来对所述第二子集进行解码或者将其解码为元数据。

26.根据权利要求22或24至25中任一项所述的方法或根据权利要求23至25中任一项所述的装置，其中对所述值的第一子集进行解码包括：从视频的图像的至少一个分量解封装所述值。

27.根据权利要求22或24至26中任一项所述的方法，或根据权利要求23至26中任一项所述的装置，其中由所述第一子集和所述第二子集重建所述至少一个属性的所述至少一个分量包括：对所述值的第一子集进行逆量化。

28.根据权利要求22或24至27中任一项所述的方法，还包括，或根据权利要求23至27中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于：

29.根据权利要求22或24至28中任一项所述的方法或根据权利要求23至28中任一项所述的装置，其中当所述第二子集被解码为元数据时，对所述第二子集的值进行熵编码。

30.根据权利要求22或24至28中任一项所述的方法或根据权利要求23至28中任一项所述的装置，其中当所述第二子集被解码为元数据时，对所述第二子集的值进行原始编码。

31.根据权利要求22或24至30中任一项所述的方法或根据权利要求23至30中任一项所述的装置，其中对所述值的第二子集进行解码包括：针对所述第二子集的至少一个值，对所述至少一个值在所述至少一个属性的所述至少一个分量中的位置进行解码。

32.根据权利要求31所述的方法或装置，其中由所述第一子集和所述第二子集重建所述至少一个属性的所述至少一个分量包括：在经解码的值的第一子集中，用来自经解码的第二子集的对应值来替换位于属于所述第二子集的值的位置处的值。

33.根据权利要求31所述的方法或装置，其中由所述第一子集和所述第二子集重建所述至少一个属性的至少一个分量包括：在所述经解码的值的第一子集中、在对应位置处，插入来自经解码的第二子集的值。

34.根据权利要求22或24至33中任一项所述的方法，还包括，或根据权利要求23至33中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于：

35.根据权利要求1至20、22或24至34中任一项所述的方法或根据权利要求2至20或23至34中任一项所述的装置，其中值集包括残差预测值。

36.根据权利要求1至20、22或24至35中任一项所述的方法或根据权利要求2至20或23至35中任一项所述的装置，其中所述至少一个属性包括以下中的至少一者：所述3d对象的几何坐标、帧图集中的纹理坐标、法线坐标、颜色数据或通用数据。

37.根据权利要求1至20、22或24至36中任一项所述的方法或根据权利要求2至20或23至36中任一项所述的装置，其中所述动画3d对象为动画点云或动画3d网格。

38.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有指令，所述指令用于使一个或多个处理器执行根据权利要求1至20、22或24至37中任一项所述的方法。

39.一种设备，包括：

40.根据权利要求39所述的设备，包括tv、手机、平板电脑或机顶盒。

41.一种比特流，包括：

42.根据权利要求41所述的比特流，还包括用于确定所述第一子集和所述第二子集的半径参数。

43.根据权利要求41或42所述的比特流，还包括语法元素，所述语法元素指示是否启用对至少一个属性的所述至少一个分量的值的重构。

44.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有根据权利要求41至43中任一项所述的比特流。

45.一种装置，包括：

46.一种方法，包括：访问包括根据权利要求41至44中任一项所述的信号的数据；以及传输所访问的数据。

技术总结
本发明公开了一种用于对动画3D对象的至少一个属性的至少一个分量进行编码的方法、装置以及用于对动画3D对象的至少一个属性的至少一个分量进行解码的方法和装置。该动画3D对象的该至少一个属性的该至少一个分量通过以下进行编码：将属性的值重构成第一子集和第二子集，其中该值的第一子集包括该至少一个分量的在值范围内的值，并且该值的第二子集包括该至少一个分量的在该值范围之外的值；以及对该值的第一子集和该值的第二子集进行编码。

技术研发人员：J-E·马维,J-C·舍韦,Y·奥利维尔,P·安德里文
受保护的技术使用者：交互数字CE专利控股有限公司
技术研发日：
技术公布日：2024/1/13