本申请涉及视觉数据处理,具体涉及一种三维真人模型处理方法、处理装置、电子设备及计算机可读存储介质。
背景技术:
1、高保真真人模型作为人体化身逐渐成为“元宇宙”的关键元素之一,在虚拟教学和远程会议等vr/ar场景中发挥着重要作用。高精度的真人模型通常以点云、网格等3d格式呈现,在实际应用中由于数据量较为庞大,存储和传输效率较低,迫切需要一种高效和智能的压缩方案。
2、然而,相关技术中面向三维数据的压缩方法在处理真人模型时面临以下困境:相关技术忽略了整体的视觉感知,三维真人模型传输后的视觉质量较差,尤其是在极低的码率下,通过以这些信号为导向的压缩方法得到的重建模型视觉质量差、很难满足视觉感官的要求。
技术实现思路
1、本申请的目的是提供一种三维真人模型处理方法、处理装置、电子设备及计算机可读存储介质,以提高三维真人模型传输后的视觉质量。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念,以此作为后面的详细说明的序言。
2、根据本申请实施例的一个方面,提供一种三维真人模型处理方法,包括:
3、将输入的三维真人模型划分为粗粒度层和细粒度层;
4、基于原始参数化真人模型smpl、所述粗粒度层和所述细粒度层,获取与所述输入的三维真人模型相对应的编码数据;
5、根据所述编码数据在解码端重建并输出三维真人模型。
6、在本申请的一些实施例中,所述将输入的三维真人模型划分为粗粒度层和细粒度层,包括:
7、根据视觉感知特征粒度将所述输入的三维真人模型的数据分解为用于表示体型和姿态的粗粒度层以及用于表示衣服褶皱和面部表情的细粒度层。
8、在本申请的一些实施例中,所述基于原始参数化真人模型smpl、所述粗粒度层和所述细粒度层,获取与所述输入的三维真人模型相对应的编码数据,包括:
9、通过法线贴图映射获取所述细粒度层的正面法线贴图;
10、基于所述正面法线贴图获取背面法线贴图;
11、基于所述原始smpl、所述粗粒度层和所述正面法线贴图,获取所述粗粒度层参数数据;
12、根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码,得到与所述输入的三维真人模型相对应的编码数据。
13、在本申请的一些实施例中,所述基于所述原始smpl、所述粗粒度层和所述正面法线贴图,获取所述粗粒度层参数数据,包括:
14、通过基于回归的三维拟合对原始smpl模型以及所述输入的三维真人模型进行拟合,得到三维拟合后的smpl;
15、通过基于优化的二维约束对所述三维拟合后的smpl以及所述正面法线贴图进行处理,得到二维约束后的smpl;
16、提取所述二维约束后的smpl的参数,得到所述粗粒度层参数数据。
17、在本申请的一些实施例中,所述基于所述正面法线贴图获取背面法线贴图,包括:
18、利用基于姿态一致性的预测方式获取所述正面法线贴图的残差图,利用所述残差图作为所述背面法线贴图。
19、在本申请的一些实施例中,所述根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码,得到与所述输入的三维真人模型相对应的编码数据,包括:
20、使用基于深度学习的图像编码方式对所述残差图和所述正面法线贴图进行编码,得到图像编码数据;
21、对所述图像编码数据与所述粗粒度层参数数据进行编码,得到所述编码数据。
22、在本申请的一些实施例中,所述根据所述编码数据在解码端重建并输出三维真人模型,包括:
23、在解码端解码所述编码数据,得到解码后的正面法线贴图、解码后的残差图和解码后的粗粒度层参数数据;
24、通过基于姿态一致性的生成方式处理所述解码后的残差图,得到解码后的背面法线贴图;
25、根据所述原始smpl和所述解码后的粗粒度层参数数据生成解码二维约束后的smpl;
26、利用所述解码二维约束后的smpl、所述解码后的正面法线贴图以及所述解码后的背面法线贴图重建并输出三维真人模型。
27、根据本申请实施例的另一个方面,提供一种三维真人模型处理装置,包括:
28、粒度层划分模块,用于将输入的三维真人模型划分为粗粒度层和细粒度层;
29、编码数据获取模块,用于基于原始参数化真人模型smpl、所述粗粒度层和所述细粒度层,获取与所述输入的三维真人模型相对应的编码数据;
30、模型重建模块,用于根据所述编码数据在解码端重建并输出三维真人模型。
31、根据本申请实施例的另一个方面,提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序,以实现本申请任一实施例所述的三维真人模型处理方法。
32、根据本申请实施例的另一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行,以实现本申请任一实施例所述的三维真人模型处理方法。
33、本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果:
34、本申请实施例提供的三维真人模型处理方法,将输入的三维真人模型划分为粗粒度层和细粒度层,基于原始参数化真人模型smpl、所述粗粒度层和所述细粒度层,获取与所述输入的三维真人模型相对应的编码数据,根据所述编码数据在解码端重建并输出三维真人模型,提高了三维真人模型传输后的视觉质量,能够在保证视觉感知效果的基础上极大节省三维真人模型传输过程中的码率。
1.一种三维真人模型处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将输入的三维真人模型划分为粗粒度层和细粒度层,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于原始参数化真人模型smpl、所述粗粒度层和所述细粒度层,获取与所述输入的三维真人模型相对应的编码数据,包括:
4.根据权利要求3所述的方法,其特征在于,所述基于所述原始smpl、所述粗粒度层和所述正面法线贴图,获取所述粗粒度层参数数据,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述正面法线贴图获取背面法线贴图,包括:
6.根据权利要求3所述的方法,其特征在于,所述根据所述粗粒度层参数数据、所述正面法线贴图和所述背面法线贴图进行编码,得到与所述输入的三维真人模型相对应的编码数据,包括:
7.根据权利要求1-6任一项所述的方法,其特征在于,所述根据所述编码数据在解码端重建并输出三维真人模型,包括:
8.一种三维真人模型处理装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序,以实现如权利要求1-7中任一项所述的三维真人模型处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行,以实现如权利要求1-7中任一项所述的三维真人模型处理方法。