模型训练方法、特征提取方法、装置、设备及介质与流程

本技术涉及数据处理，尤其涉及一种特征提取模型训练方法、卷积神经网络训练方法、模型训练方法、特征提取方法、装置、设备及介质。

背景技术：

1、隐私计算中的多方安全计算(secure multi-party computation，mpc)是在无可信第三方情况下，多个参与方协同完成计算目标，并保证每个参与方除计算结果外均不能得到其他参与方的任何输入信息，可以很好的保护用户的隐私信息。

2、其中，如果输入信息是包含用户的隐私信息的图像时，为了保护用户的隐私信息，可以对该图像进行特征提取，基于提取到的特征向量进行多方安全计算。然而，如何快捷准确地提取到高精度的图像特征向量，是目前亟需解决的一个技术问题。

技术实现思路

1、本技术提供了一种特征提取模型训练方法、卷积神经网络训练方法、模型训练方法、特征提取方法、装置、设备及介质，用以快捷准确地提取到高精度的图像特征向量。

2、第一方面，本技术提供了一种特征提取模型训练方法，所述方法包括：

3、针对获取到的任一第一样本图像，基于训练完成的卷积神经网络，获得所述第一样本图像的第一特征向量；并基于预设的图像处理方式，将所述第一样本图像处理为一维序列，将所述一维序列输入到待训练的特征提取模型中，基于所述特征提取模型，获得所述第一样本图像的第二特征向量；基于所述第二特征向量，对所述第一特征向量进行校准，获得校准后的第一基准特征向量，其中，所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transformer模型setr的训练逻辑训练所得的模型；

4、基于所述第一基准特征向量、所述第一样本图像携带的标签特征向量以及配置的第一损失函数，对所述特征提取模型进行训练。

5、在一种可能的实施方式中，所述获得所述第一样本图像的第二特征向量之后，所述基于所述第二特征向量，对所述第一特征向量进行校准之前，所述方法还包括：

6、对所述第二特征向量进行全局平均池化，获得所述第二特征向量中每一维特征对应的全局特征向量信息，并基于概率分布函数，获得所述全局特征向量信息中每一维特征对应的重要性权重系数；基于所述每一维特征对应的重要性权重系数，对所述第二特征向量进行校准，获得校准后的第二特征向量；基于校准后的第二特征向量，进行后续基于所述第二特征向量，对所述第一特征向量进行校准的步骤。

7、在一种可能的实施方式中，所述第一损失函数中包含所述每一维特征对应的重要性权重系数。

8、在一种可能的实施方式中，所述基于所述第二特征向量，对所述第一特征向量进行校准，获得校准后的第一基准特征向量，包括：

9、对所述第二特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算，获得校准后的第一基准特征向量。

10、在一种可能的实施方式中，所述将所述第二特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算之后，所述获得校准后的第一基准特征向量之前，所述方法还包括：

11、对所述同或运算后得到的向量进行归一化处理，基于归一化处理后的向量，确定校准后的第一基准特征向量。

12、在一种可能的实施方式中，所述特征提取模型使用的激励函数包含：2quad激励函数。

13、在一种可能的实施方式中，所述特征提取模型为基于知识蒸馏得到的模型。

14、第二方面，本技术提供了一种卷积神经网络训练方法，所述方法包括：

15、针对获取到的任一第二样本图像，将所述第二样本图像输入到待训练的卷积神经网络中，基于所述卷积神经网络，获得所述第二样本图像的第三特征向量；并基于预设的图像处理方式，将所述第二样本图像处理为一维序列，将所述一维序列输入到训练完成的特征提取模型中，基于所述特征提取模型，获得所述第二样本图像的第四特征向量；基于所述第四特征向量，对所述第三特征向量进行校准，获得校准后的第二基准特征向量，其中，所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transformer模型setr的训练逻辑训练所得的模型；

16、基于所述第二基准特征向量、所述第二样本图像携带的标签特征向量以及配置的第二损失函数，对所述卷积神经网络进行训练。

17、在一种可能的实施方式中，所述基于所述第四特征向量，对所述第三特征向量进行校准，获得校准后的第二基准特征向量，包括：

18、对所述第四特征向量中包含的每一维特征与所述第三特征向量中包含的每一维特征进行同或运算，获得校准后的第二基准特征向量。

19、在一种可能的实施方式中，所述将所述第四特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算之后，所述获得校准后的第二基准特征向量之前，所述方法还包括：

20、对所述同或运算后得到的向量进行归一化处理，基于归一化处理后的向量，确定校准后的第二基准特征向量。

21、第三方面，本技术提供了一种模型训练方法，所述方法包括：

22、针对获取到的任一第三样本图像，基于待训练的卷积神经网络，获得所述第三样本图像的第五特征向量；并基于预设的图像处理方式，将所述第三样本图像处理为一维序列，将所述一维序列输入到待训练的特征提取模型中，基于所述特征提取模型，获得所述第三样本图像的第六特征向量；基于所述第六特征向量，对所述第五特征向量进行校准，获得校准后的第三基准特征向量，其中，所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transformer模型setr的训练逻辑训练所得的模型；

23、基于所述第三基准特征向量、所述第三样本图像携带的标签特征向量以及配置的第一损失函数，对所述特征提取模型进行训练；并基于所述第三基准特征向量、所述第三样本图像携带的标签特征向量以及配置的第二损失函数，对所述卷积神经网络进行训练。

24、第四方面，本技术提供了一种特征提取方法，所述方法包括：

25、接收待处理图像；

26、基于第一方面和第三方面任一项所述方法训练得到的特征提取模型、或者基于第二方面和第三方面任一项所述的方法训练得到的卷积神经网络，获得所述待处理图像的特征向量。

27、在一种可能的实施方式中，所述方法还包括：

28、基于所述特征向量，进行多方安全计算。

29、第五方面，本技术提供了一种特征提取模型训练装置，所述装置包括：

30、第一校准模块，用于针对获取到的任一第一样本图像，基于训练完成的卷积神经网络，获得所述第一样本图像的第一特征向量；并基于预设的图像处理方式，将所述第一样本图像处理为一维序列，将所述一维序列输入到待训练的特征提取模型中，基于所述特征提取模型，获得所述第一样本图像的第二特征向量；基于所述第二特征向量，对所述第一特征向量进行校准，获得校准后的第一基准特征向量，其中，所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transformer模型setr的训练逻辑训练所得的模型；

31、第一训练模块，用于基于所述第一基准特征向量、所述第一样本图像携带的标签特征向量以及配置的第一损失函数，对所述特征提取模型进行训练。

32、在一种可能的实施方式中，所述第一校准模块，还用于：

33、对所述第二特征向量进行全局平均池化，获得所述第二特征向量中每一维特征对应的全局特征向量信息，并基于概率分布函数，获得所述全局特征向量信息中每一维特征对应的重要性权重系数；基于所述每一维特征对应的重要性权重系数，对所述第二特征向量进行校准，获得校准后的第二特征向量；基于校准后的第二特征向量，进行后续基于所述第二特征向量，对所述第一特征向量进行校准的步骤。

34、在一种可能的实施方式中，所述第一损失函数中包含所述每一维特征对应的重要性权重系数。

35、在一种可能的实施方式中，所述第一校准模块，具体用于：

36、对所述第二特征向量中包含的每一维特征与所述第一特征向量中包含的每一维特征进行同或运算，获得校准后的第一基准特征向量。

37、在一种可能的实施方式中，所述第一校准模块，还用于：

38、对所述同或运算后得到的向量进行归一化处理，基于归一化处理后的向量，确定校准后的第一基准特征向量。

39、在一种可能的实施方式中，所述特征提取模型使用的激励函数包含：2quad激励函数。

40、在一种可能的实施方式中，所述特征提取模型为基于知识蒸馏得到的模型。

41、第六方面，本技术提供了一种卷积神经网络训练装置，所述装置包括：

42、第二校准模块，用于针对获取到的任一第二样本图像，将所述第二样本图像输入到待训练的卷积神经网络中，基于所述卷积神经网络，获得所述第二样本图像的第三特征向量；并基于预设的图像处理方式，将所述第二样本图像处理为一维序列，将所述一维序列输入到训练完成的特征提取模型中，基于所述特征提取模型，获得所述第二样本图像的第四特征向量；基于所述第四特征向量，对所述第三特征向量进行校准，获得校准后的第二基准特征向量，其中，所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transformer模型setr的训练逻辑训练所得的模型；

43、第二训练模块，用于基于所述第二基准特征向量、所述第二样本图像携带的标签特征向量以及配置的第二损失函数，对所述卷积神经网络进行训练。

44、在一种可能的实施方式中，所述第二校准模块，具体用于：

45、对所述第四特征向量中包含的每一维特征与所述第三特征向量中包含的每一维特征进行同或运算，获得校准后的第二基准特征向量。

46、在一种可能的实施方式中，所述第二校准模块，还用于：

47、对所述同或运算后得到的向量进行归一化处理，基于归一化处理后的向量，确定校准后的第二基准特征向量。

48、第七方面，本技术提供了一种模型训练装置，所述装置包括：

49、第三校准模块，用于针对获取到的任一第三样本图像，基于待训练的卷积神经网络，获得所述第三样本图像的第五特征向量；并基于预设的图像处理方式，将所述第三样本图像处理为一维序列，将所述一维序列输入到待训练的特征提取模型中，基于所述特征提取模型，获得所述第三样本图像的第六特征向量；基于所述第六特征向量，对所述第五特征向量进行校准，获得校准后的第三基准特征向量，其中，所述特征提取模型是基于mpcformer模型的框架结构与语义视觉transformer模型setr的训练逻辑训练所得的模型；

50、第三训练模块，用于基于所述第三基准特征向量、所述第三样本图像携带的标签特征向量以及配置的第一损失函数，对所述特征提取模型进行训练；并基于所述第三基准特征向量、所述第三样本图像携带的标签特征向量以及配置的第二损失函数，对所述卷积神经网络进行训练。

51、第八方面，本技术提供了一种特征提取装置，所述装置包括：

52、接收模块，用于接收待处理图像；

53、提取模块，用于基于第一方面和第三方面任一项所述方法训练得到的特征提取模型、或者基于第二方面和第三发面任一项所述的方法训练得到的卷积神经网络，获得所述待处理图像的特征向量。

54、在一种可能的实施方式中，所述装置还包括：

55、多方安全计算模块，用于基于所述特征向量，进行多方安全计算。

56、第九方面，本技术还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述方法的步骤。

57、第十方面，本技术提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述方法的步骤。

58、由于本技术实施例中，可以将第一样本图像处理为一维序列，将该一维序列输入到特征提取模型，使得特征提取模型可以对该第一样本图像进行特征提取，而且本技术实施例中特征提取模型是基于mpcformer模型的框架结构与setr模型的训练逻辑训练所得的模型，从而可以使得特征提取模型可以基于自注意力机制捕捉到更准确的人脸等特征向量(第二特征向量)，可以基于该第二特征向量对由卷积神经网络获取的第一特征向量进行校准，获得能够更准确的表达图像特征的第一基准特征向量，基于该第一基准特征向量以及配置的第一损失函数，对特征提取模型进行训练，可以提高训练完成的特征提取模型确定(提取)图像特征向量的准确性，实现快捷准确地提取到高精度的图像特征向量的目的。

59、另外，本技术实施例中特征提取模型是基于mpcformer模型的框架结构与setr模型的训练逻辑训练所得的模型，从而可以使得特征提取模型可以获得像素级别精准的特征向量，进而提高训练完成的特征提取模型确定(提取)图像特征向量的准确性。另外，本技术实施例中可以基于自注意力机制对将第一特征向量等中不重要的特征进行削弱或者去除(忽略)，从而可以得到更少而精的特征向量，从而可以在提高获得的特征向量的准确性的同时，还可以减少计算耗时，提高效率，并且不带来额外的计算开销，还可以削弱mpc的通信瓶颈。