一种材质提取方法、装置、设备及存储介质与流程

本技术实施例涉及人工智能，尤其涉及一种材质提取方法、装置、设备及存储介质。

背景技术：

1、随着人工智能技术的快速发展，能够越来越好地应用到虚拟场景或实物场景等多种场景的建筑搭建中，在建筑搭建中建筑的主体结构即建筑立面，其通常包括墙面、窗户、阳台和装饰等结构，能够用于确定一栋建筑的主要风格和用途，是建筑设计中最关键的部分，故对建筑立面的分析可以在虚拟场景或实物场景等场景的搭建中起到重要作用，因此一直受到广泛的关注。

2、而墙面又是建筑中最常见的元素，不同的墙面材质决定了墙面的整体风格，同时对建筑的采光和散热等用途都有很大的影响，故如何高效快速地从建筑图片中提取墙面材质是目前一个亟需解决的重要问题。

3、目前，常用材质分类方法通常是依靠人工经验筛选的方式从目标图片中提取出比较有代表性的墙面区域块，再将筛选出的墙面区域块送入一个训练好的神经网络分类器中，输出墙面材质的分类结果，然后，基于分类结果确定最匹配的墙面材质。但是，一方面，该方法不仅需要预先准备大量的标注数据来训练神经网络，还需要维护训练图片的质量，导致材质提取成本增高；另一方面，该方法过于依赖人工经验筛选的方式才能提取到目标图片中比较有代表性的墙面区域块，容易受到人工经验的影响，增加后续对材质提取的干扰，影响材质提取的效率和准确率，从而导致在下游的使用场景中难以基于提取到的墙面材质对建筑墙面进行高精度的还原。

技术实现思路

1、本技术实施例提供了一种材质提取方法、装置、设备及存储介质，用于基于特征互信息快速准确地确定目标图像块，无需依赖人工经验筛选，避免受到人工经验的影响，增加后续对材质提取的干扰，从而影响材质提取的效率和准确率，且不需要训练能够对目标图像块进行材质分类处理的模型，不仅能够有效降低材质提取成本增高，而且部署简单和计算复杂度低，从而能够在一定程度上提高获取材质的效率，此外，不仅能够准确提取出目标材质图像，还能够基于纹理分配获知材质的纹理属性等重要信息，以使后续能够在下游的使用场景基于目标材质图像的纹理属性实现对虚拟模型的高保真的还原。

2、本技术实施例一方面提供了一种材质提取方法，包括：

3、对待处理图像进行分割处理，得到目标分割区域，并将目标分割区域划分为n个待处理图像块，其中，目标分割区域用于表示待处理图像中的非背景区域，n为大于的整数；

4、分别计算每两个待处理图像块之间的特征互信息，并基于特征互信息，从n个待处理图像块中确定目标图像块；

5、将目标图像块与候选材质图像集合中的每个候选材质图像分别进行纹理匹配，得到每个候选材质图像对应纹理匹配结果；

6、基于每个候选材质图像对应纹理匹配结果，从候选材质图像集合中确定目标材质图像。

7、本技术另一方面提供了一种材质提取装置，包括：

8、获取单元，用于对待处理图像进行分割处理，得到目标分割区域，并将目标分割区域划分为n个待处理图像块，其中，目标分割区域用于表示待处理图像中的非背景区域，n为大于的整数；

9、确定单元，用于分别计算每两个待处理图像块之间的特征互信息，并基于特征互信息，从n个待处理图像块中确定目标图像块；

10、处理单元，用于将目标图像块与候选材质图像集合中的每个候选材质图像分别进行纹理匹配，得到每个候选材质图像对应纹理匹配结果；

11、确定单元，还用于基于每个候选材质图像对应纹理匹配结果，从候选材质图像集合中确定目标材质图像。

12、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，

13、处理单元，还用于基于目标图像块的颜色值，对目标材质图像进行重着色处理，得到重着色材质图像；

14、处理单元，还用于基于重着色材质图像，对待处理图像对应的虚拟模型进行渲染，得到目标虚拟模型。

15、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，确定单元具体可以用于：

16、基于每个待处理图像块中每个像素点的像素值，计算每个待处理图像块的纹理特征；

17、基于每个待处理图像块的纹理特征，分别计算每个待处理图像块与其他n-1个待处理图像块之间的纹理特征相似度的和值；

18、将数值最大的纹理特征相似度的和值所对应的待处理图像块，作为目标图像块。

19、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，确定单元具体可以用于：

20、对目标图像块进行平滑处理，得到目标图像块中每个像素点对应的颜色值，并基于目标图像块中每个像素点对应的颜色值，计算目标图像块的颜色平均值；

21、基于目标图像块的颜色平均值，从随机初始化的m个颜色灰度粒子中，确定目标颜色灰度粒子，其中，m为大于等于1的整数；

22、将目标颜色灰度粒子的颜色灰度值与目标材质图像的颜色值进行相乘，得到重着色材质图像。

23、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，确定单元具体可以用于：

24、获取每个颜色灰度粒子在当前时刻对应的当前颜色灰度值；

25、分别计算目标图像块的颜色平均值与每个颜色灰度粒子的当前颜色灰度值之间平方误差，得到每个颜色灰度粒子在对应的当前时刻误差；

26、若数值最小的当前时刻误差小于误差阈值，则将数值最小的当前时刻误差对应的颜色灰度粒子，确定为目标颜色灰度粒子。

27、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，

28、处理单元，还用于若数值最小的当前时刻误差大于误差阈值，则基于数值最小的当前时刻误差更新每个颜色灰度粒子在下一个时刻对应的颜色灰度值，得到每个颜色灰度粒子的更新颜色灰度值；

29、处理单元，还用于分别计算目标图像块的颜色平均值与每个颜色灰度粒子的更新颜色灰度值之间平方误差，得到每个颜色灰度粒子在对应的下一时刻误差；

30、确定单元，还用于若数值最小的下一时刻误差小于误差阈值，则将数值最小的下一时刻误差对应的颜色灰度粒子，确定为目标颜色灰度粒子。

31、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，处理单元具体可以用于：

32、将每个待处理图像块的每个像素点作为圆心，以及半径阈值作为半径，在待处理图像块中遍历半径范围内的每个像素点对应的第一关联像素点；

33、基于每个像素点的像素值以及每个像素点对应的第一关联像素点的像素值，计算每个像素点对应的局部特征值；

34、基于每个像素点的局部特征值整理得到每个待处理图像块的纹理特征。

35、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，处理单元具体可以用于：

36、基于每个待处理图像块的纹理特征，分别计算每个待处理图像块与其他n-1个待处理图像块之间的纹理余弦相似度；

37、基于每个待处理图像块的纹理特征，分别计算每个待处理图像块与其他n-1个待处理图像块之间的纹理结构相似度；

38、将每个待处理图像块与其他n-1个待处理图像块之间的纹理余弦相似度以及纹理结构相似度进行加和，得到纹理特征相似度的和值。

39、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，处理单元具体可以用于：

40、基于每个候选材质图像中每个像素点的像素值，计算每个候选材质图像的材质纹理特征；

41、基于目标图像块的纹理特征以及每个候选材质图像的材质纹理特征，分别计算目标图像块与每个候选材质图像之间的纹理特征相似度，并将纹理特征相似度作为每个候选材质图像对应纹理匹配结果。

42、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，处理单元具体可以用于：

43、将每个候选材质图像的每个像素点作为圆心，以及半径阈值作为半径，在每个候选材质图像中遍历半径范围内的每个像素点对应的第二关联像素点；

44、基于每个像素点的像素值以及每个像素点对应的第二关联像素点的像素值，计算每个像素点对应的局部特征值；

45、基于每个像素点的局部特征值整理得到每个候选材质图像的纹理特征。

46、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，

47、处理单元，还用于对训练样本图像集合进行数据增强处理，得到增强处理后的扩展样本图像集合，其中，扩展样本图像集合中每个样本图像有对应的分割标注标签；

48、处理单元，还用于将扩展样本图像集合中每个样本图像作为分割模型的输入数据，以及将分割标注标签作为分割模型的结果数据，对分割模型进行模型参数的更新；

49、获取单元具体可以用于：

50、将待处理图像输入至训练好的分割模型中，通过训练好的分割模型输出目标分割区域，并将目标分割区域划分为n个待处理图像块。

51、在一种可能的设计中，本技术实施例另一方面的一种实现方式中，

52、获取单元，还用于基于每个原始材质的材质属性，对每个原始材质进行排列重组、角度转换处理，生成调整材质图像；

53、处理单元，还用于基于目标图像块的尺寸，对每个调整材质图像进行尺寸调整，得到候选材质图像，以获取候选材质图像集合。

54、本技术另一方面提供了一种计算机设备，包括：存储器、处理器以及总线系统；

55、其中，存储器用于存储程序；

56、处理器用于执行存储器中的程序时实现如上述各方面的方法；

57、总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

58、本技术的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

59、从以上技术方案可以看出，本技术实施例具有以下有益效果：

60、通过对待处理图像进行分割处理，以获取到待处理图像中的非背景区域，即目标分割区域，再将目标分割区域划分为n个待处理图像块，并分别计算每两个待处理图像块之间的特征互信息，进而，基于特征互信息，从n个待处理图像块中确定目标图像块，然后，将目标图像块与候选材质图像集合中的每个候选材质图像分别进行纹理匹配，以获取到每个候选材质图像对应纹理匹配结果，并基于每个候选材质图像对应纹理匹配结果，从候选材质图像集合中确定目标材质图像。通过上述方式，一方面，能够计算目标分割区域划中的n个待处理图像块的每两个待处理图像块之间的特征互信息，即可基于特征互信息快速准确地确定目标图像块，无需依赖人工经验筛选，避免受到人工经验的影响，增加后续对材质提取的干扰，从而影响材质提取的效率和准确率，且不需要训练能够对目标图像块进行材质分类处理的模型，不仅能够有效降低材质提取成本增高，而且部署简单和计算复杂度低，从而能够在一定程度上提高获取材质的效率，另一方面，还能够通过将目标图像块与候选材质图像集合中的每个候选材质图像分别进行纹理匹配方式，不仅能够准确提取出目标材质图像，还能够基于纹理分配获知材质的纹理属性等重要信息，以使后续能够在下游的使用场景基于目标材质图像的纹理属性实现对虚拟模型的高保真的还原。