材质表面反射参数的估计方法、装置、设备及存储介质与流程

本技术涉及图形渲染，具体地涉及一种材质表面反射参数的估计方法、装置、设备及存储介质。

背景技术：

1、渲染技术是动漫、电影制作及虚拟现实的主要技术。当前的渲染技术主要有两种发展方向，一种是追求真实的照片级图像质量的渲染(photorealistic rendering,pr)；一种是追求特殊艺术效果的非真实渲染(non-photorealistic rendering,npr)。真实感渲染是目前大多三维作品追求的效果，研究要点主要集中在真实性。随着技术的发展，真实感渲染越来越倾向于测量真实感材质来提高渲染质量。

2、真实感材质的测量需要通过材质采集设备采集真实世界中各种材质的信息，将采集的信息采用相关函数，例如双向反射分布函数(bidirectional reflectancedistrbution function，brdf)或者空间变化双向反射分布函数(spatially varyingbidirectional reflectance distrbution function,svbrdf)对物体的表面反射特性进行描述，进而可以在三维模型进行渲染时采用获取的相关材质模型参数通过渲染引擎进行渲染，使渲染后的三维模型能够逼真地模拟现实世界的物体和场景。

3、由于真实世界中的物体由多种材质混合而成，通常采用空间变化的双向反射分布函数(spatially-varying bidirectional reflectance distribution function，svbrdf)描述物体表面的发射特性。svbrdf是brdf的一种引申，表示基于空间位置变化的brdf函数。svbrdf主要针对存在纹理变化的材质(带有图案的卡纸、带有花纹的布料等)的表面属性进行表征。由于svbrdf主要面向有图案的卡纸、有花纹的布料等具有纹理变化的材质，这类材质在纹理上的视觉效果最为显著，而材质的纹理信息通过材质的漫反射系数来表征。因此，材质的漫反射系数的准确性越高，则渲染出的场景越真实。为了测量出svbrdf的材质表面反射参数，在一些技术中通过测角反射计采集待测材质表图像。测角反射计通常由照亮待测材质的光源和捕捉该待测材质反射光的成像传感器组成。光源能够从不同方位照明，成像传感器能够从待测材质周围半球的不同方位捕获数据。目前，在测角反射计进行待测材质表面图像采集时，需按照预设顺序依次开启光源，成像传感器按照采集次序依次进行待测材质表面图像的采集。在图像采集过程中，每组角度下成像传感器为了图像亮暗部信息的完整性会进行曝光调节，在采集如绒布、毛衣等极端漫反射(表面粗糙、吸光，不同角度下的高光都很弱)材质时，增大曝光时间，已采集更多的材质细节。但是在增大曝光时间时，同时会增大图像的噪声，造成采集的图像噪声较多，且图像材质采集的效率较低。而在常规曝光时间采集图像时，成像较暗，因而会损失很多图像暗部细节。在根据上述方式采集的材质表面图像利用预设拟合算法，可以估计出待测材质对应的svbrdf的材质表面反射参数，但是材质重建效果的真实性一般。

技术实现思路

1、有鉴于此，本技术提供一种材质表面反射参数的估计方法、装置、设备及存储介质，以利于解决现有技术中材质采集效率低且材质重建效果的真实性一般的问题。

2、第一方面，本技术实施例提供了一种材质表面反射参数的估计方法，包括：

3、获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数；所述采集参数用于表征所述目标材质图像采集时的采集条件；

4、根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数，利用预设拟合算法，估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数；所述预设材质表面模型用于表征目标材质表面反射光线的分布；

5、根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数，利用所述预设拟合算法，重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。在本技术实施例中，通过多次拟合算法估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数，使得计算出的漫反射系数更准确，进而可以提高材质渲染真实性效果。

6、在第一方面的一种可能的实现方式中，所述采集参数包括：图像采集器件采集目标材质图像时图像采集器件的采集位置及采集角度、曝光时间及图像采集器件采集目标材质图像时点亮的光源的位置及光照角度。

7、在第一方面的一种可能的实现方式中，所述根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数，利用预设拟合算法，估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数包括：

8、针对采集的多个目标材质图像中每个目标材质图像，根据所述目标材质图像的采集角度，获取所述目标材质图像对应的目标视角图像；根据所述目标材质图像的采集角度及所述目标材质图像对应的点亮的光源的光照角度，确定所述目标材质图像对应的每个颜色通道的反射光辐射率基准值；根据所述目标材质图像对应的每个颜色通道的反射光辐射率基准值、所述目标材质图像的曝光时间、所述目标视角图像中每个像素点的每个颜色通道的像素值，计算所述目标视角图像中每个像素点在每个颜色通道的反射光辐射率；根据所述目标材质图像的采集位置及采集角度、所述目标材质图像对应的点亮的光源的位置及光照角度确定所述目标视角图像中每个像素点的采集角度及点亮的光源的光照角度；

9、针对第一目标视角图像中每个像素点，根据所述第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率，利用预设拟合算法，估计该像素点及所述第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数；其中，所述第一目标视角图像是多个目标视角图像中任一个目标视角图像；所述其他目标视角图像是所述多个目标视角图像中除所述第一目标视角图像之外的目标视角图像。这样，由于目标视角是最大程度避开高光，拍摄到未过曝图像的视角，因此，目标材质图像对应的目标视角图像可以剔除图像中过曝区域，避免了饱和部分对高光反射参数及漫反射系数确定的准确性影响。从而在针对第一目标视角图像中每个像素点，获取第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率，估计装置可以利用预设拟合算法，估计该像素点及第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数时，由于避免了饱和部分对高光反射参数及漫反射系数确定的准确性影响，可以提高第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数的准确性，从而可以提高材质渲染真实性效果。

10、在第一方面的一种可能的实现方式中，所述根据所述目标材质图像的采集角度，获取所述目标材质图像对应的目标视角图像包括：

11、根据所述目标材质图像的采集角度，确定所述目标材质图像是否目标视角图像；

12、在所述目标材质图像不是目标视角图像时，则根据所述目标材质图像的采集角度，对所述目标材质图像进行目标视角校正处理，得到目标材质图像对应的目标视角图像。

13、在第一方面的一种可能的实现方式中，所述针对第一目标视角图像中每个像素点，根据所述第一目标视角图像中该像素点及第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率，利用预设拟合算法，估计该像素点及所述第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数包括：

14、根据每个目标视角图像中每个像素点的像素坐标及像素值，将所述每个目标视角图像内的像素点划分为至少一类像素；

15、针对第一目标视角图像中的每类像素，根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中每个像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率，利用预设拟合算法，估计该类像素及第一类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。

16、由于在估计预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数时，使用的像素点越多越准确。因此，在本技术实施例中，为了更准确的确定出材质表面反射参数，将每个目标视角图像中的像素点划分为不同类像素，每类像素中包含至少一个像素点，此时针对不同类像素进行相应的预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。这样可以提高每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数的准确性。

17、在第一方面的一种可能的实现方式中，所述根据每个目标视角图像中每个像素点的像素坐标及像素值，将所述每个目标视角图像内的像素点划分为至少一类像素包括：

18、获取预设目标采集角度的目标视角图像；

19、根据预设目标采集角度的目标视角图像中每个像素点的像素值及像素点的像素坐标，利用预设聚类算法，将所述预设目标采集角度的目标视角图像中的像素点划分为至少一类像素；

20、根据所述预设目标采集角度的目标视角图像中的像素点划分的至少一类像素，将其他采集角度的目标视角图像中对应像素坐标的像素点划分为所述至少一类像素。这样提高了分类速度，降低了分类的复杂性。

21、在第一方面的一种可能的实现方式中，所述根据采集的多个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计出的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数，利用所述预设拟合算法，重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数包括：

22、根据已估计出的所述第一目标视角图像中每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数，确定第二目标视角图像中各个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数；所述第二目标视角图像是目标像素点的数量不大于预设数量阈值的目标视角图像；所述第二目标视角图像中目标像素点是第二目标视角图像中像素值大于预设亮度阈值的像素点；

23、针对第三目标视角图像中每个像素点，根据所述第三目标视角图像中该像素点及第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数，利用所述预设拟合算法，重新估计该像素点及所述第二像素点在预设材质微表面模型中每个颜色通道的漫反射系数；其中，所述第二像素点是所述第二目标视角图像中除所述第三目标视角图像之外的其他第二目标视角图像中，与所述第三目标视角图像的该像素点相同像素坐标的像素点；所述第三目标视角图像是所述第二目标视角图像中任一个第二目标视角图像。

24、这样通过对漫反射系数的重新估计，可以提高漫反射系数的估计准确性，即为提高了svbrdf重建结果中纹理部分的准确性。这样一来，使用该svbrdf的材质表面反射参数进行图像渲染时，可以呈现出更为真实的材质渲染效果，提高渲染效果。

25、在第一方面的一种可能的实现方式中，还包括：

26、根据所述第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数，形成目标材质对应的预设材质微表面模型的高光反射参数贴图；

27、根据重新估计的第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数，形成目标材质对应的预设材质微表面模型的漫反射系数贴图。这样容易存储及查找，提高了目标材质在预设微表面模型的反射参数获取的便捷性。

28、在第一方面的一种可能的实现方式中，高光反射参数包括：高光系数及高光项参数；

29、所述预设材质微表面模型包括：fr＝kdfd+ks(f1+f2+…+fm)；

30、其中，fr表示反射光辐射率，∈d表示漫反射系数，fd表示漫反射项参数，ks表示高光系数，fm表示与目标材质图像的第m个光照光源相关的高光项参数；m为大于0的整数。

31、这样，由于高光项参数与光源相关，在本技术实施例中，预设材质微表面模型中的高光项参数与目标材质图像的光照光源的数量相对应。在目标材质图像的光照光源有至少一个时，预设材质微表面模型中的高光项参数包含有至少一个，这样与点亮多个光源进行目标材质图像采集相应，在进行数据拟合过程中，需要利用多项高光项参数进行预设微表面模型的拟合，以保证测量与拟合的数据一致性。

32、在第一方面的一种可能的实现方式中，所述高光项参数包括：法向量、菲涅尔基础反射率、粗糙度中的至少一个。

33、在第一方面的一种可能的实现方式中，

34、其中，lm表示第m个点亮的光源的光照角度，vi表示第i个图像采集器件的采集角度；i为大于0的整数；hm表示第m个点亮的光源的光照角度与第i个图像采集器件的采集角度间的半角向量，n表示法向量；d(hm)表示预设材质微表面模型的法向分布项，f(vm)表示预设材质微表面模型的菲涅尔反射项，g(lm，vi，hm)表示预设材质微表面模型的几何遮蔽项；

35、α表示目标材质的粗糙度，表示半角向量hm与法向量n间的夹角；

36、f0表示目标材质表面的基础反射率；

37、这样，预设材质微表面模型的实现方式简单，降低目标材质反射参数估计的复杂性，易于实现。

38、在第一方面的一种可能的实现方式中，所述目标材质包括极端漫反射材质；

39、所述获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数包括：

40、获取在至少两个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。这样一来，在本技术实施例中，针对极端漫反射材质，可以采用多光源照射下采集其表面图像的方式来采集目标材质图像。通过同时点亮特定组合的多个方向光源，提高材质表面的辐照度，在图像采集器件使用床柜曝光时间下采集图像时，可以提高目标材质成像的亮度，在节省采集时间的同时可以保证图像暗部细节也被采集到，提高了采集数据的信噪比，进而提升了材质表面反射参数的准确性，即为提升了svbrdf重建结果的准确性。

41、第二方面，本技术实施例提供了一种材质表面反射参数的估计装置，包括：

42、获取单元，用于获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数；所述采集参数用于表征所述目标材质图像采集时的采集条件；

43、处理单元，用于根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数，利用预设拟合算法，估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数；所述预设材质表面模型用于表征目标材质表面反射光线的分布；

44、所述处理单元，还用于根据采集的每个目标材质图像的每个颜色通道的像素值、每个目标材质图像的采集参数及已估计的目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数，利用所述预设拟合算法，重新估计所述目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。

45、在第二方面的一种可能的实现方式中，所述采集参数包括：图像采集器件采集目标材质图像时图像采集器件的采集位置及采集角度、曝光时间及图像采集器件采集目标材质图像时点亮的光源的位置及光照角度。

46、在第二方面的一种可能的实现方式中，所述处理单元，具体用于针对采集的多个目标材质图像中每个目标材质图像，根据所述目标材质图像的采集角度，获取所述目标材质图像对应的目标视角图像；根据所述目标材质图像的采集角度及所述目标材质图像对应的点亮的光源的光照角度，确定所述目标材质图像对应的每个颜色通道的反射光辐射率基准值；根据所述目标材质图像对应的每个颜色通道的反射光辐射率基准值、所述目标材质图像的曝光时间、所述目标视角图像中每个像素点的每个颜色通道的像素值，计算所述目标视角图像中每个像素点在每个颜色通道的反射光辐射率；根据所述目标材质图像的采集位置及采集角度、所述目标材质图像对应的点亮的光源的位置及光照角度确定所述目标视角图像中每个像素点的采集角度及点亮的光源的光照角度；

47、针对第一目标视角图像中每个像素点，根据所述第一目标视角图像中该像素点及其他目标视角图像中与该像素点相同像素坐标的第一像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率，利用预设拟合算法，估计该像素点及所述第一像素点在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数；其中，所述第一目标视角图像是多个目标视角图像中任一个目标视角图像；所述其他目标视角图像是所述多个目标视角图像中除所述第一目标视角图像之外的目标视角图像。

48、在第二方面的一种可能的实现方式中，所述处理单元，具体用于根据所述目标材质图像的采集角度，确定所述目标材质图像是否目标视角图像；

49、在所述目标材质图像不是目标视角图像时，则根据所述目标材质图像的采集角度，对所述目标材质图像进行目标视角校正处理，得到目标材质图像对应的目标视角图像。

50、在第二方面的一种可能的实现方式中，所述处理单元，具体用于根据每个目标视角图像中每个像素点的像素坐标及像素值，将所述每个目标视角图像内的像素点划分为至少一类像素；

51、针对第一目标视角图像中的每类像素，根据第一目标视角图像中该类像素及其他目标视角图像中与该类像素相同的第一类像素中每个像素点的采集角度、点亮的光源的光照角度及在每个颜色通道的反射光辐射率，利用预设拟合算法，估计该类像素及第一类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数。

52、在第二方面的一种可能的实现方式中，所述处理单元，具体用于获取预设目标采集角度的目标视角图像；

53、根据预设目标采集角度的目标视角图像中每个像素点的像素值及像素点的像素坐标，利用预设聚类算法，将所述预设目标采集角度的目标视角图像中的像素点划分为至少一类像素；

54、根据所述预设目标采集角度的目标视角图像中的像素点划分的至少一类像素，将其他采集角度的目标视角图像中对应的像素坐标的像素点划分为所述至少一类像素。

55、在第二方面的一种可能的实现方式中，所述处理单元，具体用于根据已估计出的所述第一目标视角图像中每类像素在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数，确定第二目标视角图像中各个像素点的已估计出的在预设材质微表面模型中每个颜色通道的高光反射参数和漫反射系数；所述第二目标视角图像是目标像素点的数量不大于预设数量阈值的目标视角图像；所述第二目标视角图像中目标像素点是第二目标视角图像中像素值大于预设亮度阈值的像素点；

56、针对第三目标视角图像中每个像素点，根据所述第三目标视角图像中该像素点及第二像素点的采集角度、点亮的光源的光照角度、在每个颜色通道的反射光辐射率、已估计出的在预设微表面模型中每个颜色通道的高光反射参数和漫反射系数，利用所述预设拟合算法，重新估计该像素点及所述第二像素点在预设材质微表面模型中每个颜色通道的漫反射系数；其中，所述第二像素点是所述第二目标视角图像中除所述第三目标视角图像之外的其他第二目标视角图像中，与所述第三目标视角图像的该像素点相同像素坐标的像素点；所述第三目标视角图像是所述第二目标视角图像中任一个第二目标视角图像。

57、在第二方面的一种可能的实现方式中，所述处理单元，还用于根据所述第一目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的高光反射参数，形成目标材质对应的预设材质微表面模型的高光反射参数贴图；

58、根据重新估计的第三目标视角图像中每个像素点在预设材质微表面模型中每个颜色通道的漫反射系数，形成目标材质对应的预设材质微表面模型的漫反射系数贴图。

59、在第二方面的一种可能的实现方式中，高光反射参数包括：高光系数及高光项参数；

60、所述预设材质微表面模型包括：fr＝kdfd+ks(f1+f2+…+fm)；

61、其中，fr表示反射光辐射率，kd表示漫反射系数，fd表示漫反射项参数，ks表示高光系数，dm表示与目标材质图像的第m个光照光源相关的高光项参数；m为大于0的整数。

62、在第二方面的一种可能的实现方式中，所述高光项参数包括：法向量、菲涅尔基础反射率、粗糙度中的至少一个。

63、在第二方面的一种可能的实现方式中，

64、其中，lm表示第m个点亮的光源的光照角度，vi表示第i个图像采集器件的采集角度；i为大于0的整数；hm表示第m个点亮的光源的光照角度与第i个图像采集器件的采集角度间的半角向量，n表示法向量；d(hm)表示预设材质微表面模型的法向分布项，f(vm)表示预设材质微表面模型的菲涅尔反射项，g(lm，vi，hm)表示预设材质微表面模型的几何遮蔽项；

65、α表示目标材质的粗糙度，表示半角向量hm与法向量n间的夹角；

66、f0表示目标材质表面的基础反射率；

67、

68、在第二方面的一种可能的实现方式中，所述目标材质包括极端漫反射材质；

69、所述处理单元，具体用于获取在至少两个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。

70、第三方面，本技术实施例提供了一种电子设备，包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被所述处理器执行时，触发所述电子设备执行上述第一方面任一项所述的方法。

71、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述第一方面任一项所述的方法。

72、采用本技术实施例所提供的方案，获取在至少一个光源的光照下采集的多个目标材质图像及每个目标材质图像的采集参数。根据采集的多个目标材质图像的每个颜色通道的像素值及每个目标材质图像的采集参数，利用预设拟合算法估计目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数及漫反射系数；根据采集的多个目标材质图像的目标颜色通道的像素值、每个目标材质图像的采集参数及目标材质图像在预设材质微表面模型中每个颜色通道的高光反射参数，利用预设拟合算法，重新估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数。这样一来，在本技术实施例中，通过多次拟合算法估计目标材质图像在预设材质微表面模型中每个颜色通道的漫反射系数，使得计算出的漫反射系数更准确，进而可以提高材质渲染真实性效果。并且，在本技术中目标材质图像是在至少一个光源的光照条件下采集，减少了采集的图像暗部信息损失及图像噪声，提高了目标材质图像采集的准确性同时提升了目标材质图像的采集效率，可以进一步提高漫反射系数估计的准确性，提高材质渲染真实性效果。