一种网络模型构建方法以及相关设备与流程

本技术涉及计算机，具体涉及一种网络模型构建方法以及相关设备。

背景技术：

1、在实际业务中客户有不同的网络模型构建需要，但不同场景的样本往往不足，目前一般会采取收集更多的有标签样本进行建模或利用迁移学习从其他相似场景的样本中迁移出有用的知识给到客户场景的方法解决此问题。但是有标签样本收集周期长，真实业务场景通常等不了这么久，很难达成；迁移学习通常采用多个相似场景的样本直接混合训练通用模型的方式，导致网络模型的泛化性低，不利于增强网络模型效果。

技术实现思路

1、本技术实施例提供一种网络模型构建方法以及相关设备，相关设备可以包括网络模型构建装置、电子设备、计算机可读存储介质和计算机程序产品，用于提高网络模型的泛化性，增强网络模型效果。

2、本技术实施例提供一种网络模型构建方法，包括：

3、获取构建网络模型所需的参考样本；

4、以所述参考样本为基准，通过预设选择网络模型，对样本库中的多个样本进行样本选择处理，得到从所述样本库中筛选出的与所述参考样本相似的多个目标样本；

5、以所述参考样本为基准，通过所述预设选择网络模型，基于专家模型库中多个专家模型在训练时所应用的训练样本，对所述专家模型库中的多个专家模型进行样本选择处理，得到从所述专家模型库中筛选出的所述训练样本与所述参考样本相似的多个目标专家模型；

6、通过知识蒸馏处理，学习多个所述目标专家模型的模型信息，以得到融合后专家模型；

7、基于所述参考样本以及所述目标样本，对所述融合后专家模型进行网络模型训练，得到训练后的目标网络模型。

8、相应的，本技术实施例提供一种网络模型构建装置，包括：

9、获取单元，用于获取构建网络模型所需的参考样本；

10、第一选择单元，用于以所述参考样本为基准，通过预设选择网络模型，对样本库中的多个样本进行样本选择处理，得到从所述样本库中筛选出的与所述参考样本相似的多个目标样本；

11、第二选择单元，用于以所述参考样本为基准，通过所述预设选择网络模型，基于专家模型库中多个专家模型在训练时所应用的训练样本，对所述专家模型库中的多个专家模型进行样本选择处理，得到从所述专家模型库中筛选出的所述训练样本与所述参考样本相似的多个目标专家模型；

12、融合单元，用于通过知识蒸馏处理，学习多个所述目标专家模型的模型信息，以得到融合后专家模型；

13、增强单元，用于基于所述参考样本以及所述目标样本，对所述融合后专家模型进行网络模型训练，得到训练后的目标网络模型。

14、可选的，在本技术的一些实施例中，所述第一选择单元可以包括第一预测子单元、第一筛选子单元和采样子单元，如下：

15、所述第一预测子单元，用于通过所述预设选择网络模型，对样本库中的多个样本进行相似度分布预测处理，得到所述样本库中的不同样本与所述参考样本之间的第一相似度分布距离；

16、所述第一筛选子单元，用于基于所述第一相似度分布距离，从所述样本库的不同样本中筛选出多个候选样本；

17、所述采样子单元，用于对所述候选样本进行下采样，得到与所述参考样本相似的多个目标样本。

18、可选的，在本技术的一些实施例中，所述采样子单元具体可以用于确定每个所述样本集合中黑样本和白样本之间的样本比例；基于所述样本比例对所述候选样本进行下采样，得到与所述参考样本相似的多个目标样本。

19、可选的，在本技术的一些实施例中，所述第二选择单元可以包括第一确定子单元、第二预测子单元和第二筛选子单元，如下：

20、所述第一确定子单元，用于确定所述专家模型库中每个专家模型在训练时所应用的训练样本；

21、所述第二预测子单元，用于通过所述预设选择网络模型，对所述专家模型在训练时所应用的训练样本进行相似度分布预测处理，得到所述专家模型在训练时所应用的训练样本与所述参考样本之间的第二相似度分布距离；

22、所述第二筛选子单元，用于基于所述第二相似度分布距离，从所述专家模型库的专家模型中筛选出多个目标专家模型。

23、可选的，在本技术的一些实施例中，所述融合单元可以包括第三预测子单元、蒸馏子单元、第四预测子单元、构建子单元和训练子单元，如下：

24、所述第三预测子单元，用于基于多个所述目标专家模型针对所述参考样本的预测结果，构建混合模型预测分；

25、所述蒸馏子单元，用于基于预设学生模型框架，学习多个所述目标专家模型的模型信息，以得到蒸馏后专家模型；

26、所述第四预测子单元，用于通过所述蒸馏后专家模型，对所述参考样本进行预测处理，得到蒸馏模型预测结果；

27、所述构建子单元，用于基于所述混合模型预测分、所述参考样本携带的真实标签、以及所述蒸馏模型预测结果，构建模型损失；

28、所述训练子单元，用于基于所述模型损失训练所述蒸馏后专家模型，得到融合后专家模型。

29、可选的，在本技术的一些实施例中，所述第三预测子单元可以包括第五预测子单元、第二确定子单元和第一生成子单元，如下：

30、所述第五预测子单元，用于通过多个所述目标专家模型，分别对所述参考样本进行预测处理，得到每个所述目标专家模型对应的目标专家模型预测结果；

31、所述第二确定子单元，用于基于所述目标专家模型预测结果的数值大小、以及所述参考样本携带的所述真实标签，为每个所述目标专家模型赋予表征模型区分度的权重；

32、所述第一生成子单元，用于将所述目标专家模型预测结果、以及所述目标专家模型对应的权重进行数值融合，得到混合模型预测分。

33、可选的，在本技术的一些实施例中，所述构建子单元可以包括第一构建子单元、第二构建子单元和第二生成子单元，如下：

34、所述第一构建子单元，用于基于所述参考样本携带的真实标签、以及所述蒸馏模型预测结果之间的差异，构建第一模型损失；

35、所述第二构建子单元，用于基于所述混合模型预测分、以及所述蒸馏模型预测结果之间的差异，构建第二模型损失；

36、所述第二生成子单元，用于将所述第一模型损失、以及所述第二模型损失进行损失融合处理，得到模型损失。

37、可选的，在本技术的一些实施例中，所述网络模型构建装置还可以包括抽取子单元、第二抽取子单元、选取子单元、确定子单元、预测子单元和训练子单元，如下：

38、所述第一抽取子单元，用于从网络训练样本库中选取第一训练样本集合，所述网络训练样本库包括多个训练样本集合；

39、所述第二抽取子单元，用于从所述网络训练样本库中选取第二训练样本集合，所述网络训练样本库中包括所述第一训练样本集合；

40、所述选取子单元，用于从所述第一训练样本集合中选取第一训练样本，并从所述第二训练样本集合中选取第二训练样本；

41、所述确定子单元，用于从根据所述第一训练样本集合和所述第二训练样本集合是否来自相同训练样本集合，确定标签值；

42、所述预测子单元，用于从通过初始选择网络模型判定所述第一训练样本和所述第二训练样本是否来自相同训练样本集合，生成模型预测值；

43、所述训练子单元，用于从基于所述标签值、以及所述模型预测值训练所述初始选择网络模型，得到预设选择网络模型。

44、本技术实施例提供的一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令，以执行本技术实施例提供的网络模型构建方法中的步骤。

45、本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本技术实施例提供的网络模型构建方法中的步骤。

46、此外，本技术实施例还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现本技术实施例提供的网络模型构建方法中的步骤。

47、本技术实施例提供了一种网络模型构建方法以及相关设备，用于获取构建网络模型所需的参考样本；以所述参考样本为基准，通过预设选择网络模型，对样本库中的多个样本进行样本选择处理，得到从所述样本库中筛选出的与所述参考样本相似的多个目标样本；以所述参考样本为基准，通过所述预设选择网络模型，基于专家模型库中多个专家模型在训练时所应用的训练样本，对所述专家模型库中的多个专家模型进行样本选择处理，得到从所述专家模型库中筛选出的所述训练样本与所述参考样本相似的多个目标专家模型；通过知识蒸馏处理，学习多个所述目标专家模型的模型信息，以得到融合后专家模型；基于所述参考样本以及所述目标样本，对所述融合后专家模型进行网络模型训练，得到训练后的目标网络模型。本技术可以通过学习多个目标专家模型的模型信息，使得融合后专家模型可以吸收多个目标专家模型的特征，并且通过预设选择网络模型筛选出与参考样本相似的目标样本，然后利用参考样本和目标样本对融合后专家模型进行训练，进一步提升目标网络模型的模型预测效果，从而使得目标网络模型可以更好的适应当前申请所需要求，提高网络模型的泛化性，增强网络模型效果。