一种多重散射分布生成网络训练方法、渲染方法及装置与流程

本公开涉及三维重建领域，尤其涉及一种多重散射分布生成网络训练方法、渲染方法及装置。

背景技术：

1、体积介质也称为参与介质，光线穿过类似云、烟、雾、尘埃、玉石、牛奶、皮肤、蜡、果肉等体积介质时，会产生数万次折射、散射、吸收等现象。如何逼真且高效的渲染体积介质，一直困扰着学术界和产业界。对于逼真的渲染效果而言，一般采用体渲染方法来模拟光线在体积介质中的真实传输过程，即在三维体积内部通过路径追踪来求解辐射传输方程，很精确，但开销巨大，无法实时渲染。以云为例，即使以今天的计算能力，使用蒙特卡洛路径跟踪渲染1280×720的云也需要大约一天的时间才能收敛。

技术实现思路

1、本公开实施例提供了一种多重散射分布生成网络训练方法、渲染方法及装置，用以解决现有的对三维体积介质进行渲染时计算量大无法实现实时渲染的问题。

2、基于上述问题，第一方面、提供一种多重散射分布生成网络训练方法，包括：

3、预先构建多重散射分布生成网络；所述网络包括针对不同采样特征分别进行特征提取的分支网络模块，以及结果处理模块；

4、采用预设采样模板对待训练三维体积介质进行预设特征采样，所述预设特征采样包括：密度特征采样、透射特征采样、以及相位特征采样；

5、针对每种特征采样得到的采样特征，将该采样特征输入对应的分支网络模块，在该分支网络经过注意力机制处理，以及对配置参数融合处理，得到对该采样特征的特征提取结果；所述配置参数基于确定散射分布所采用预设算法确定；

6、将各采样特征对应的分支网络模块分别输出的特征提取结果进行融合处理后，输入所述结果处理模块得到预测的多重散射分布结果；

7、基于预测的多重散射分布结果以及确定的多重散射分布真值对所述多重散射分布生成网络进行训练。

8、在结合第一方面的任一种可能的实施方式中，所述预设采样模板包括漫反射采样模板和高光采样模板；所述漫反射采样模板包括第一层数的同心球体，且在球心、最内层球体内区域、以及相邻两层球体之间区域分别均匀分布有第一预设数量的第一模板点；所述高光采样模板包括从入射光穿入三维体积介质的入射点，至作为采样点的三维体积介质粒子，沿入射光方向平均分成第二层数，且每一层包含第二预设数量的第二模板点；

9、采用预设采样模板对待训练三维体积介质进行预设特征采样，包括：针对使用所述漫反射采样模板和所述高光采样模板对所述三维体积介质的每次采样，将该次采样时作为采样点的体积介质粒子与所述漫反射采样模板的球心对应，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样。

10、在结合第一方面的任一种可能的实施方式中，所述方法还包括：确定所述漫反射模板各层球体的半径；

11、确定所述漫反射采样模板各层球体的半径，包括：针对所述漫反射采样模板每层球体，为该层球体内每个第一模板点确定该层球体内与该第一模板点距离最近的第一模板点，并确定该第一模板点对应的最短距离；基于每个第一模板点对应的最短距离确定最短距离的平均值，得到该层球体对应的最短距离平均值；基于该层球体对应最短平均距离以及控制模板重叠率的经验参数确定该层球体的半径，且满足：最短平均距离越小，对应球体层半径越大；其中，每层球体内第一模板点包括该层球体表面与和与该层球体向内相邻层球体表面之间的第一模板点。

12、在结合第一方面的任一种可能的实施方式中，针对预设特征为透射特征的情况，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样，包括：基于所述待训练三维体积介质的原始分辨率，对所述待训练三维体积介质的密度场进行降采样，得到第三预设数量个分辨率等级的密度场；针对每个分辨率等级的密度场，通过预设分级透射场算法确定该分辨率等级的密度场下，光线从该采样点分别传播至各模板点的分级透射场； 针对每个模板点，将该模板点与该采样点针对各分辨率等级密度场分别确定的分级透射场，输入预设权重预测网络模型，按照对应预测权重对输入的各分级透射场叠加处理，得到该模板点与该采样点对应的透射特征；所述模板点包括：第一模板点以及第二模板点。

13、在结合第一方面的任一种可能的实施方式中，针对预设特征为相位特征的情况，通过所述第一模板点以及所述第二模板点，对该采样点进行预设特征采样，包括：针对每个模板点，基于入射光线传播到该模板点再经过该采样点沿相机方向出射过程中入射光线的入射角和出射光线的出射角，以及预设相位函数，确定该模板点相对于该采样点的相位特征；所述模板点包括：第一模板点以及第二模板点；

14、针对每个模板点，基于入射光线传播到该模板点再经过该采样点沿相机方向出射过程中入射光线的入射角和出射光线的出射角，以及预设相位函数，确定该模板点相对于该采样点的相位特征，包括：针对每个模板点，在入射角变换范围上对预设相位函数进行积分，得到入射光线方向的第一体积相位，以及在出射角变化范围上对预设相位函数进行积分，得到相机方向的第二体积相位；将所述第一体积相位与所述第二体积相位的乘积确定为该模板点相对于该采样点的相位特征。

15、在结合第一方面的任一种可能的实施方式中，所述三维体积介质包括：气态类型三维体积介质、固液态类型三维体积介质、以及皮肤类型三维体积介质；

16、所述方法还包括：为不同类型的待训练三维体积介质确定对应的预设相位函数；

17、为不同类型的待训练三维体积介质确定对应的预设相位函数，包括：将各向同性相位函数确定为空气类型的待训练三维体积介质对应的预设相位函数；将hg相位函数确定为气态类型待训练三维体积介质对应的预设相位函数；将双峰亨尼-格林斯坦hg相位函数确定为固液态类型待训练三维体积介质对应的预设相位函数；将多峰hg相位函数确定为皮肤类型待训练三维体积介质对应的预设相位函数。

18、在结合第一方面的任一种可能的实施方式中，针对每种预设采样模板，为该种预设采样模板设置有与不同采样特征分别对应的分支网络模块；且所述分支网络模块并行对对应采样特征进行处理；

19、针对每种特征采样得到的采样特征，将该采样特征输入对应的分支网络模块，在该分支网络经过注意力机制处理，以及对配置参数融合处理，得到对该采样特征的特征提取结果，包括：针对为对应预设采样模板以及对应采样特征设置的分支网络模块，确定该预设采样模板第一层包含的模板点针对该采样特征进行采样得到的第一采样特征；将该预设采样模板的第一层作为当前层，迭代执行如下步骤：将该第一采样特征与配置参数进行融合处理并输入注意力模块；将注意力模块输出的结果经过第一全连接模块处理后，与该预设采样模板当前层的下一层包含的模板点针对该采样特征采样得到的第二采样特征进行融合处理；融合后的结果经过第二全连接模块处理后再与该第一采样特征进行融合处理，得到当前层输出的特征提取结果；若当前层的下一层不为最后一层，则将当前层的输出特征作为新的第一采样特征，并将当前层的下一层作为新的当前层，返回执行与配置参数进行融合处理的步骤；若当前层的下一层为最后一层，则输出该预设采样模板当前层输出的特征提取结果；

20、将各采样特征对应的分支网络模块分别输出的特征提取结果进行融合处理后，输入所述结果处理模块得到预测的多重散射分布结果，包括：将各采样特征对应的分支网络模块分别输出的特征提取结果进行融合处理后，输入全连接模块或者多层感知器mlps网络模块，并输出预测的多重散射分布结果。

21、在结合第一方面的任一种可能的实施方式中，所述注意力模块包括：挤压模块、权重系数生成模块、和激励模块；

22、注意力模块采用如下方式对输入进行处理：所述挤压模块基于输入的融合后的第一采样特征和配置参数，确定注意力向量；所述注意力向量包括如下维度：第一采样特征的最大池化维度、第一采样特征的平均池化维度、每个配置参数对应的维度；将所述注意力向量输入所述权重系数生成模块经过激活处理得到所述注意力向量各个维度的权重系数；通过所述激励模块将经过对应权重系数处理后的注意力特征输出。

23、在结合第一方面的任一种可能的实施方式中，为每种采样特征分别设置对应的分支网络模块；且所述分支网络模块并行对对应采样特征进行处理；

24、针对每种特征采样得到的采样特征，将该采样特征输入对应的分支网络模块，在该分支网络经过注意力机制处理，以及对配置参数融合处理，得到对该采样特征的特征提取结果，包括：针对为对应采样特征设置的分支网络模块，确定该采样特征对应的采样类型特征空间，并将采样类型特征空间包含的采样特征输入注意力模块；并将注意力模块输出的结果和配置参数在融合模块进行融合，得到该分支网络模块输出的针对应采样特征的特征提取结果；其中，所述采样特征对应的采样类型特征空间包括：针对该采样特征，采用预设采样模板对所述待训练三维体积介质三维空间中的体积介质粒子完成预设次数采样，该预设次数采样使用的预设采样模板所包含的模板点总数构成的三维空间；所述注意力模块包括三维变形器transformer网络模块；所述融合模块包括三维u型网络unet模块；

25、将各采样特征对应的分支网络模块分别输出的特征提取结果进行融合处理后，输入所述结果处理模块得到预测的多重散射分布结果，包括：将各采样特征对应的分支网络模块分别输出的特征提取结果进行融合处理后，输入全连接模块或者mlps网络模块，并输出预测的多重散射分布结果。

26、在结合第一方面的任一种可能的实施方式中，所述预设算法包括辐射传输方程，或在体积介质不发光，以及介质反照率恒定的设定条件下，对辐射传输方程进行简化处理并积分得到的辐射传输方程简化方程；所述辐射传输方程为光线在体积介质粒子处沿传播方向穿过体积介质时的出射光线辐射强度变化方程；所述配置参数基于确定散射分布所采用预设算法确定，包括：从辐射传输方程中提取同向散射项，通过所述辐射传输方程简化方程以及入射光线吸收方程对所述散射项进行变换得到同向散射方程；所述同向散射方程以体积介质粒子和光线在介质粒子处穿过体积介质方向为自变量，以多重散射分布为因变量，且所述同向散射方程至少包含如下参数：相位函数、反照率、及分阶段同向散射项；则所述配置参数包括至少如下之一：hg相位函数的不对称参数、反照率、入射光线和相机方向的夹角。

27、在结合第一方面的任一种可能的实施方式中，基于预测的多重散射分布结果以及采用所述预设算法确定的多重散射分布真值对所述多重散射分布生成网络进行训练，包括：基于光线散射分布项和反照率构建损失函数；将预测的多重散射分布结果和预设算法确定的多重散射分布真值带入所述损失函数确定损失；基于确定的损失，对所述多重散射分布生成网络进行训练。

28、第二方面、提供一种多重散射分布渲染方法，包括：

29、获取待渲染三维体积介质；

30、采用预设采样模板对待渲染三维体积介质进行预设特征采样，所述预设特征采样包括：密度特征采样、透射特征采样、以及相位特征采样，并将采样结果预先存储；

31、将预先存储的针对不同采样特征的采样结果输入如第一方面或者结合第一方面的任一种实施例训练得到的多重散射分布生成网络，得到预测的散射分布结果；

32、将所述散射分布结果带入辐射传输方程中，为待渲染三维体积介质渲染出散射效果。

33、第三方面、提供一种多重散射分布渲染相关装置，包括：提供如第一方面或者结合第一方面的任一种实施例所述的多重散射分布生成网络训练方法的步骤对应功能模块的多重散射分布生成网络训练装置；或者如第二方面所述的多重散射分布渲染方法的步骤对应功能模块的多重散射分布渲染装置。

34、第四方面、提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面或者结合第一方面的任一种实施例所述的多重散射分布生成网络训练方法的步骤，或者如第二方面所述的多重散射分布渲染方法的步骤。

35、第五方面、提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面或者结合第一方面的任一种实施例所述的多重散射分布生成网络训练方法的步骤，或者如第二方面所述的多重散射分布渲染方法的步骤。

36、本公开实施例的有益效果包括：

37、本公开实施例提供的一种多重散射分布生成网络训练方法、渲染方法及装置，在多重散射分布生成网络训练方法中，预先构建了多重散射分布生成网络，采用预设采样模板对待训练三维体积介质进行预设特征采样，即密度特征采样、透射特征采样、以及相位特征采样，并将采样结果预先存储；针对每种特征采样得到的采样特征，将该采样特征输入对应的分支网络模块，在该分支网络经过注意力机制处理，以及对配置参数融合处理，得到对该采样特征的特征提取结果；将各采样特征对应的分支网络模块分别输出的特征提取结果进行融合处理后，输入结果处理模块得到预测的多重散射分布结果；基于预测的多重散射分布结果以及确定的多重散射分布真值对所述多重散射分布生成网络进行训练。由于预设采样特征表征了三维体积介质散射相关属性，配置参数是基于确定散射分布所采用预设算法确定的，在多重散射分布生成网络训练过程中，将配置参数与采样特征相融合，使得训练出的多重散射分布生成网络能够模拟出光线在三维体积介质中的真实散射分布；与现有技术中通过复杂算法为三维体积介质渲染散射效果相比，本公开实施例用更少的计算量获得同等渲染质量，为实现实时渲染打下坚实基础；

38、在多重散射分布渲染方法中，可以预先为待渲染的三维体积介质进行预设特征采样，并将得到的采样结果预先存储；在进行渲染时，可以将预先存储的采样结果输入预先训练的多重散射分布生成网络，得到预测的散射分布结果；最后将散射分布结果带入辐射传输方程中，为待渲染三维体积介质渲染出散射效果。由于特征采样是预先进行的，采样结果也是预先存储的，渲染时可以直接获取并使用，不但采用多重散射分布生成网络预测光线在三维体积介质中的散射分布减少了计算量，节约了计算时间，预先进行采样结果的存储，能够进一步提升渲染效率，实现了实时为待渲染三维体积介质渲染出散射效果。