痘痘类别预测模型的训练方法及相关装置与流程

本技术实施例涉及图像处理，尤其涉及一种痘痘类别预测模型的训练方法及相关装置。

背景技术：

1、随着移动通信技术的快速发展以及人民生活水平的提升，各种智能终端已广泛应用于人民的日常工作和生活，使得人们越来越习惯于使用app等软件，使得美颜自拍、拍照测肤等功能的app需求也变得越来越多，因此不少的用户希望此类app能够自动分析出脸部的痘痘情况，根据痘痘类别情况，有针对性提出皮肤改善方案。

2、目前，痘痘类别的识别通常采用神经网络进行训练，得到训练后的神经网络模型进行识别，但是由于痘痘类别之间可区别的特征不明显，可区分度较低，同时痘痘图像的分辨率较低，图像质量较差，容易导致训练出的模型的痘痘识别的准确度偏低。

技术实现思路

1、本技术实施例提供一种痘痘类别预测模型的训练方法及相关装置，以提高预测痘痘类别的准确率。

2、第一方面，本技术实施例提供一种痘痘类别预测模型的训练方法，痘痘类别预测模型包括特征提取模块、transformer模型模块和分类器模块，方法包括：

3、获取图像数据集，其中，图像数据集包括多种痘痘类别的痘痘图像；

4、组合若干个痘痘图像，生成若干个痘痘图像块，其中，每一痘痘图像块包括相同数量的痘痘图像；

5、基于特征提取模块，对痘痘图像块进行处理，生成处理之后的痘痘图像块；

6、基于transformer模型模块，对处理之后的痘痘图像块进行特征提取，以得到处理之后的痘痘图像块对应的编码特征，其中，transformer模型模块通过注意力机制对处理之后的痘痘图像块进行特征提取；

7、基于分类器模块，对编码特征进行痘痘类别预测，以得到痘痘图像对应的痘痘类别；

8、构建损失函数，基于损失函数对痘痘类别预测模型进行训练，直至损失函数收敛，其中，损失函数包括多类别加权交叉熵损失。

9、在一些实施例中，特征提取模块包括嵌入层，基于特征提取模块，对痘痘图像块进行处理，生成处理之后的痘痘图像块，包括：

10、将痘痘图像块对应的向量输入到嵌入层，生成处理之后的痘痘图像块对应的特征向量，其中，特征向量的大小与痘痘类别的种类数量相关，嵌入层的网络结构为全连接层。

11、在一些实施例中，方法还包括：

12、生成类别块，将类别块与处理之后的痘痘图像块进行合并，得到拼接块，具体包括：

13、生成类别块，其中，类别块对应一随机向量，将类别块对应的随机向量与处理之后的痘痘图像块对应的特征向量进行合并，得到拼接块对应的拼接向量。

14、在一些实施例中，基于transformer模型模块，对处理之后的痘痘图像块进行特征提取，以得到处理之后的痘痘图像块对应的编码特征，包括：

15、基于transformer模型模块，对拼接块进行特征提取，以得到拼接块对应的编码特征，其中，transformer模型模块通过注意力机制对拼接块进行特征提取。

16、在一些实施例中，transformer模型模块包括归一化层、注意力机制层以及感知机层，基于transformer模型模块，对拼接块进行特征提取，以得到拼接块对应的编码特征，包括：

17、pe′＝ln(pe)

18、pe″＝attention(pe′)+pe′

19、pe″′＝mlp(ln(pe″))+pe″

20、其中，pe为拼接块对应的特征向量，ln为线性变换，pe′为对拼接块对应的特征向量进行线性变换得到的特征向量，attention为注意力网络变换，attention(pe′)为对特征向量pe′进行注意力网络变换得到的特征向量，pe″为特征向量pe′和对特征向量pe′进行注意力网络变换得到的特征向量的向量和,mlp(ln(pe″))为先对特征向量pe″进行线性变换，再将线性变换得到的特征向量输入到感知机层得到的特征向量，pe″′为transformer模型模块进行一次编码得到的特征向量。

21、在一些实施例中，注意力机制层的计算公式包括：

22、q＝x*wq

23、k＝x*wk

24、v＝x*wv

25、

26、其中，x为拼接块对应的拼接向量，q为查询向量，k为键向量，v为值向量，wq为拼接向量x进行线性映射到查询向量q的参数矩阵，wk为拼接向量x进行线性映射到键向量k的参数矩阵，wv为拼接向量x进行线性映射到值向量v的参数矩阵，kt为键向量k的转置，dk为键向量k的列数，softmax为按列进行归一化的函数，attention(q,k,v)为关系权重。

27、在一些实施例中，方法还包括：

28、通过多次调用transformer模型模块，多次对拼接块进行特征提取，以得到拼接块对应的编码特征，其中，每一次调用transformer模型模块的输入向量和输出向量的大小不变。

29、在一些实施例中，痘痘类别预测模型的损失函数为：

30、

31、其中，loss为多类别加权交叉熵损失，z为痘痘图像的总数量，n为痘痘类别的数量，wi为第i类别的类别权重，为真实的第j个样本预测为第i类别的痘痘的概率，为预测的第j个样本预测为第i类别的痘痘的概率。

32、在一些实施例中，痘痘类别包括粉刺、痘后红斑、炎症性丘疹、脓包、结节和囊肿中的至少一种。

33、第二方面，本技术实施例提供一种痘痘类别的预测方法，包括：

34、获取待预测的痘痘图像；

35、将待预测的痘痘图像输入痘痘类别预测模型，得到待预测的痘痘图像对应的痘痘类别，其中，痘痘类别预测模型是基于第一方面的方法进行训练得到的。

36、第三方面，本技术实施例提供一种电子设备，包括：

37、至少一个处理器，以及

38、与至少一个处理器通信连接的存储器，其中，

39、存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面的方法。

40、第四方面，本技术实施例提供一种非易失性计算机可读存储介质，非易失性计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使电子设备执行如第一方面或第二方面的方法。

41、本技术实施例的有益效果：区别于现有技术的情况，本技术实施例提供的一种痘痘类别预测模型的训练方法及相关装置，该痘痘类别预测模型包括特征提取模块、transformer模型模块和分类器模块，该方法包括：获取图像数据集，其中，图像数据集包括多种痘痘类别的痘痘图像；组合若干个痘痘图像，生成若干个痘痘图像块，其中，每一痘痘图像块包括相同数量的痘痘图像；基于特征提取模块，对痘痘图像块进行处理，生成处理之后的痘痘图像块；基于transformer模型模块，对处理之后的痘痘图像块进行特征提取，以得到处理之后的痘痘图像块对应的编码特征，其中，transformer模型模块通过注意力机制对处理之后的痘痘图像块进行特征提取；基于分类器模块，对编码特征进行痘痘类别预测，以得到痘痘图像对应的痘痘类别；构建损失函数，基于损失函数对痘痘类别预测模型进行训练，直至损失函数收敛，其中，损失函数包括多类别加权交叉熵损失。

42、一方面，通过收集多种痘痘类别的痘痘图像，组合若干个痘痘图像，生成若干个痘痘图像块，并基于特征提取模块，对痘痘图像块进行处理，生成处理之后的痘痘图像块，本技术能够更好地对痘痘图像进行预处理；

43、另一方面，通过transformer模型模块的注意力机制对处理之后的痘痘图像块进行特征提取，再通过构建包括多类别加权交叉熵损失的损失函数进行模型训练，通过注意力机制，使得模型能够更加关注于痘痘特征在不同环境下的差异，从而提升痘痘类别识别的准确度。