评估模型训练方法、装置及电子设备与流程

本技术涉及计算机及通信，具体而言，涉及一种评估模型训练方法、装置及电子设备。

背景技术：

1、联邦学习(federated learning)是指通过联合不同的参与者进行机器学习的方法。在联邦学习中，参与者并不需要向其它参与者和协调者，或者聚合服务器暴露自己拥有的数据，因而联邦学习可以很好地保护用户隐私和保障数据安全。

2、大模型时代，模型具有强大且多样性的功能，一方面，大模型具有自然语言理解和生成的基本能力(多模态)，具有各个领域的基本知识和通识；另一方面，通过对大模型微调，可以使其具备特定领域的特定能力。因此，如何对大模型的能力进行评估成为一个重要问题。特定的大模型(以gpt-3/4为例)，常被用于对大模型的开放式问题进行评估，并且已被证明具有一定的有效性。但是，普通的大模型在对开放式问题评估方面效果较差。在大模型联邦场景下，不论是联邦评估还是联邦训练场景，由于大模型使用场景及目标任务通常是开放式问题，如何对单个模型或者训练后的全局模型的通用能力或特定场景能力进行评估是一个棘手问题。

技术实现思路

1、本技术的实施例提供了一种评估模型训练方法、装置及电子设备，进而可以提高评估模型的准确性。

2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。

3、根据本技术实施例的一个方面，提供了一种评估模型训练方法，所述方法包括：

4、获取基于横向联邦学习训练得到的多个参与方本地模型；

5、从所述多个参与方本地模型中选取两个模型作为比赛模型，并从剩下的参与方本地模型中选择部分或全部模型作为裁判模型；

6、基于所述比赛模型和所述裁判模型对目标问题进行评估，得到与所述目标问题对应的评估结果，所述评估结果用于评估所述比赛模型针对目标问题对应答案的准确性；

7、基于所述评估结果，选择相应的目标问题以及与所述目标问题对应的答案加入评估数据训练集，并根据所述评估数据训练集训练得到评估模型。

8、根据本技术实施例的一个方面，提供了一种评估模型训练装置，所述装置包括：

9、获取模块，用于获取基于横向联邦学习训练得到的多个参与方本地模型；

10、选择模块，用于从所述多个参与方本地模型中选取两个模型作为比赛模型，并从剩下的参与方本地模型中选择部分或全部模型作为裁判模型；

11、评估模块，用于基于所述比赛模型和所述裁判模型对目标问题进行评估，得到与所述目标问题对应的评估结果，所述评估结果用于评估所述比赛模型针对目标问题对应答案的准确性；

12、训练模块，用于基于所述评估结果，选择相应的目标问题以及与所述目标问题对应的答案加入评估数据训练集，并根据所述评估数据训练集训练得到评估模型。

13、在本技术的一些实施例中，基于以上技术方案，所述获取模块还用于，接收来自不同参与方在本地模型更新后的模型参数；将不同参与方更新后的模型参数进行融合，得到全局模型参数；将所述全局模型参数分发给各个参与方，以使所述各个参与方根据所述全局模型参数作为本地模型的最新模型参数进行训练，得到多个参与方本地模型。

14、在本技术的一些实施例中，基于以上技术方案，所述比赛模型包括第一比赛模型和第二比赛模型；所述评估模块还用于，将所述目标问题分别输入至所述第一比赛模型和所述第二比赛模型，通过所述第一比赛模型得到与所述目标问题对应的第一答案，通过所述第二比赛模型得到与所述目标问题对应的第二答案；将所述目标问题、与所述目标问题对应的第一答案以及与所述目标问题对应的第二答案发送至所述裁判模型，以使所述裁判模型对所述第一答案和所述第二答案进行评估，得到与所述目标问题对应的评估结果。

15、在本技术的一些实施例中，基于以上技术方案，所述裁判模型的数量有多个；所述评估模块还用于，将所述目标问题、与所述目标问题对应的第一答案以及与所述目标问题对应的第二答案均发送至多个所述裁判模型，得到各个裁判模型对应的评估结果；从所述各个裁判模型对应的评估结果中根据筛选指标对评估结果进行筛选，得到与所述目标问题对应的评估结果。

16、在本技术的一些实施例中，基于以上技术方案，所述评估模块还用于，从所述各个裁判模型对应的评估结果中根据各个裁判模型的预设权重值对评估结果进行筛选，得到第一评估结果；从所述各个裁判模型对应的评估结果中根据有效评估结果比例对评估结果进行筛选，得到第二评估结果；从所述各个裁判模型对应的评估结果中根据模型的胜负比例对评估结果进行筛选，得到第三评估结果；根据所述第一评估结果、所述第二评估结果以及所述第三评估结果，得到与所述目标问题对应的评估结果。

17、在本技术的一些实施例中，基于以上技术方案，所述评估模块还用于，从所述各个裁判模型对应的评估结果中选择有效的评估结果，得到有效评估结果；根据所述有效评估结果的数量与所述裁判模型的数量，计算有效评估结果比例；将所述有效评估结果比例超过设定的第一比例阈值对应的评估结果作为所述第二评估结果。

18、在本技术的一些实施例中，基于以上技术方案，所述评估模块还用于，根据所述各个裁判模型对应的评估结果确定第一比赛模型评估结果的正确数量或者所述第二比赛模型评估结果的正确数量；计算所述第一比赛模型评估结果与总评估结果的比例，或者计算所述第二比赛模型评估结果与总评估结果的比例；将计算得到的比例超过设定的第二比例阈值对应的评估结果作为所述第三评估结果。

19、在本技术的一些实施例中，基于以上技术方案，所述训练模块还用于，根据所述评估结果选择相应的目标问题以及与所述目标问题对应的答案作为评估数据训练集，基于所述评估数据训练集对各个参与方训练个性化评估模型；或者基于所述评估数据训练集和全局模型训练得到全局评估模型。

20、根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的评估模型训练方法。

21、根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述实施例中所述的评估模型训练方法。

22、根据本技术实施例的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取并执行该计算机程序，使得该电子设备执行上述各种可选实施例中提供的评估模型训练方法。

23、在本技术的实施例所提供的技术方案中，先获取基于横向联邦学习训练得到的多个参与方本地模型，利用各个参与方本地模型去生成目标问题对应的评估结果，并将评估结果加入评估数据训练集以训练得到评估模型。这样，通过充分利用每一个参与方在各自的数据学到的知识，结合多方的综合评估结果，如此就能得到更加准确的评估数据训练集，基于准确的评估数据集训练得到的评估模型更加准确。即通过加入多模型的评估过程，可以筛选出高显著性和一致性的样本数据，进而可以提高评估模型的准确性。

24、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。