资源处理网络训练方法、资源处理方法及装置与流程

本技术属于计算机，具体涉及一种资源处理网络训练方法、资源处理方法及装置。

背景技术：

1、在金融风控、医疗图像、安全等业务场景中，由于对象借贷逾期表现周期长、样本标记成本代价大等原因，建模过程常面临有标记样本缺乏带来的模型冷启动问题。另一方面，“数据孤岛”问题导致有标记样本常以小样本状态分散在不同的业务机构，比如不同的医疗机构拥有不同病人的医疗图像，不同的银行机构具有不同的逾期对象，但由于数据隐私合规的原因，不同机构之间无法直接共享数据进行联合建模。

2、相关技术通常采用迁移学习来解决机器学习建模中的小样本问题，然而大部分迁移学习方案仍然需要具有少量的有标记样本资源，无法在无标记样本资源(零样本)的条件下进行建模。此外，相关技术中的迁移学习方案需要将源域和目标域的数据汇聚在一起进行迁移学习建模，而在金融场景等特殊的强监管和强数据隐私合规要求下，要求数据不能出金融机构本地，导致传统的迁移学习方法不能直接应用于“数据孤岛”条件下的迁移学习建模。综上，由于相关技术无法在无标记样本资源的条件下进行建模以及无法直接应用于“数据孤岛”条件下的迁移学习建模，从而无法高效且准确地对无标记样本资源进行处理。

技术实现思路

1、为了解决上述技术问题，本技术提供一种资源处理网络训练方法、资源处理方法及装置。

2、一方面，本技术提出了一种资源处理网络训练方法，应用于至少两个参与客户端中的每个参与客户端，每个参与客户端包括支持样本资源、查询样本资源、至少两个业务网络和第一学生网络，所述方法包括：

3、从服务器获取教师网络；

4、基于至少两个业务网络、所述教师网络和所述支持样本资源训练所述第一学生网络，基于训练结果对所述查询样本资源的资源特征信息进行资源评价处理，并根据资源评价处理结果确定所述教师网络的更新梯度；

5、发送更新梯度至服务器，以使所述服务器基于每个参与客户端发送的更新梯度更新所述教师网络的网络参数，得到目标教师网络；以及以使所述服务器传输所述目标教师网络至目标客户端，所述目标客户端包括至少两个业务网络和第二学网络；以及以使所述目标客户端基于至少两个业务网络、所述目标教师网络和预设业务场景下的目标无标签样本资源训练所述第二学网络，得到目标学生网络；

6、其中，所述目标学生网络用于根据输入的资源，确定所输入的资源的资源评价信息；所述输入的资源、所述支持样本资源、所述查询样本资源和所述目标无标签样本资源各自对应的资源，为资源转移关联数据、多媒体数据中的至少一种；在资源为资源转移关联数据的情况下，资源的资源特征信息表征资源转移关联数据所对应的对象的操作信息，在资源为多媒体数据的情况下，资源的资源特征信息表征多媒体数据所对应的对象的属性信息。

7、另一方面，本技术提出了一种资源处理网络训练方法，所述方法包括：

8、获取预设业务场景下的目标无标签样本资源，并从服务器获取目标教师网络；所述目标教师网络为所述服务器基于每个参与客户端发送的更新梯度更新所述服务器中的教师网络的网络参数得到；每个参与客户端发送的更新梯度，为每个参与客户端基于每个参与客户端包括的至少两个业务网络、教师网络和支持样本资源训练第一学生网络，基于训练结果对每个参与客户端包括的查询样本资源的资源特征信息进行资源评价处理，并根据资源评价处理结果确定得到；每个参与客户端包括的教师网络为每个参与客户端从所述服务器获取得到；

9、基于至少两个业务网络、所述目标教师网络和所述目标无标签样本资源训练第二学网络，得到目标学生网络；

10、其中，所述目标学生网络用于根据输入的资源，确定所输入的资源的资源评价信息；所述输入的资源、所述支持样本资源、所述查询样本资源和所述目标无标签样本资源各自对应的资源，为资源转移关联数据、多媒体数据中的至少一种；在资源为资源转移关联数据的情况下，资源的资源特征信息表征资源转移关联数据所对应的对象的操作信息，在资源为多媒体数据的情况下，资源的资源特征信息表征多媒体数据所对应的对象的属性信息。

11、另一方面，本技术提出了一种资源处理网络训练方法，所述方法包括：

12、接收每个参与客户端发送的更新梯度；每个参与客户端发送的更新梯度，为每个参与客户端基于每个参与客户端包括的至少两个业务网络、教师网络和支持样本资源训练第一学生网络，基于训练结果对每个参与客户端包括的查询样本资源的资源特征信息进行资源评价处理，并根据资源评价处理结果确定得到；每个参与客户端包括的教师网络为每个参与客户端从所述服务器获取得到；

13、基于每个参与客户端确定的更新梯度更新所述教师网络的网络参数，得到目标教师网络；

14、传输所述目标教师网络至目标客户端，所述目标客户端包括至少两个业务网络和第二学网络；以使所述目标客户端基于至少两个业务网络、所述目标教师网络和预设业务场景下的目标无标签样本资源训练所述第二学网络，得到目标学生网络；

15、其中，所述目标学生网络用于根据输入的资源，确定所输入的资源的资源评价信息；所述输入的资源、所述支持样本资源、所述查询样本资源和所述目标无标签样本资源各自对应的资源，为资源转移关联数据、多媒体数据中的至少一种；在资源为资源转移关联数据的情况下，资源的资源特征信息表征资源转移关联数据所对应的对象的操作信息，在资源为多媒体数据的情况下，资源的资源特征信息表征多媒体数据所对应的对象的属性信息。

16、另一方面，本技术提出了一种资源处理方法，所述方法包括：

17、获取待处理资源；

18、输入所述待处理资源的资源特征信息至目标学生网络进行资源评价处理，得到所述待处理资源的资源评价信息；

19、其中，所述目标学生网络为基于上述所述的资源处理网络训练方法训练得到。

20、另一方面，本技术提出了一种资源处理网络训练装置，应用于至少两个参与客户端中的每个参与客户端，每个参与客户端包括支持样本资源、查询样本资源、至少两个业务网络和第一学生网络，所述装置包括：

21、教师网络获取模块，用于从服务器获取教师网络；

22、更新梯度确定模块，用于基于至少两个业务网络、所述教师网络和所述支持样本资源训练所述第一学生网络，基于训练结果对所述查询样本资源的资源特征信息进行资源评价处理，并根据资源评价处理结果确定所述教师网络的更新梯度；

23、更新梯度发送模块，用于发送更新梯度至服务器，以使所述服务器基于每个参与客户端发送的更新梯度更新所述教师网络的网络参数，得到目标教师网络；以及以使所述服务器传输所述目标教师网络至目标客户端，所述目标客户端包括至少两个业务网络和第二学网络；以及以使所述目标客户端基于至少两个业务网络、所述目标教师网络和预设业务场景下的目标无标签样本资源训练所述第二学网络，得到目标学生网络；

24、其中，所述目标学生网络用于根据输入的资源，确定所输入的资源的资源评价信息；所述输入的资源、所述支持样本资源、所述查询样本资源和所述目标无标签样本资源各自对应的资源，为资源转移关联数据、多媒体数据中的至少一种；在资源为资源转移关联数据的情况下，资源的资源特征信息表征资源转移关联数据所对应的对象的操作信息，在资源为多媒体数据的情况下，资源的资源特征信息表征多媒体数据所对应的对象的属性信息。

25、另一方面，本技术提出了一种资源处理网络训练装置，所述装置包括：

26、资源网络获取模块，用于获取预设业务场景下的目标无标签样本资源，并从服务器获取目标教师网络；所述目标教师网络为所述服务器基于每个参与客户端发送的更新梯度更新所述服务器中的教师网络的网络参数得到；每个参与客户端发送的更新梯度，为每个参与客户端基于每个参与客户端包括的至少两个业务网络、教师网络和支持样本资源训练第一学生网络，基于训练结果对每个参与客户端包括的查询样本资源的资源特征信息进行资源评价处理，并根据资源评价处理结果确定得到；每个参与客户端包括的教师网络为每个参与客户端从所述服务器获取得到；

27、目标学生网络生模块，用于基于至少两个业务网络、所述目标教师网络和所述目标无标签样本资源训练第二学网络，得到目标学生网络；

28、其中，所述目标学生网络用于根据输入的资源，确定所输入的资源的资源评价信息；所述输入的资源、所述支持样本资源、所述查询样本资源和所述目标无标签样本资源各自对应的资源，为资源转移关联数据、多媒体数据中的至少一种；在资源为资源转移关联数据的情况下，资源的资源特征信息表征资源转移关联数据所对应的对象的操作信息，在资源为多媒体数据的情况下，资源的资源特征信息表征多媒体数据所对应的对象的属性信息。

29、另一方面，本技术提出了一种资源处理网络训练装置，所述装置包括：

30、更新梯度接收模块，用于接收每个参与客户端发送的更新梯度；每个参与客户端发送的更新梯度，为每个参与客户端基于每个参与客户端包括的至少两个业务网络、教师网络和支持样本资源训练第一学生网络，基于训练结果对每个参与客户端包括的查询样本资源的资源特征信息进行资源评价处理，并根据资源评价处理结果确定得到；每个参与客户端包括的教师网络为每个参与客户端从本地服务器获取得到；

31、目标教师网络生成模块，用于基于每个参与客户端确定的更新梯度更新所述教师网络的网络参数，得到目标教师网络；

32、目标教师网络传输模块，用于传输所述目标教师网络至目标客户端，所述目标客户端包括至少两个业务网络和第二学网络；以使所述目标客户端基于至少两个业务网络、所述目标教师网络和预设业务场景下的目标无标签样本资源训练所述第二学网络，得到目标学生网络；

33、其中，所述目标学生网络用于根据输入的资源，确定所输入的资源的资源评价信息；所述输入的资源、所述支持样本资源、所述查询样本资源和所述目标无标签样本资源各自对应的资源，为资源转移关联数据、多媒体数据中的至少一种；在资源为资源转移关联数据的情况下，资源的资源特征信息表征资源转移关联数据所对应的对象的操作信息，在资源为多媒体数据的情况下，资源的资源特征信息表征多媒体数据所对应的对象的属性信息。

34、另一方面，本技术提出了一种资源处理装置，所述资源处理装置包括：

35、待处理资源获取模块，用于获取待处理资源；

36、资源输入模块，用于输入所述待处理资源至目标学生网络进行资源特征信息的资源评价处理，得到所述待处理资源的资源评价信息。

37、另一方面，本技术提出了一种资源处理网络训练或资源处理的电子设备，所述电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述所述的资源处理网络训练方法或资源处理方法。

38、另一方面，本技术提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的资源处理网络训练方法或资源处理方法。

39、另一方面，本技术提出了一种计算机程序产品，所述计算机程被处理器执行时实现如上述所述的资源处理网络训练方法或资源处理方法。

40、本技术实施例提出的资源处理网络训练方法，在无标记样本场景下，且各个参与客户端的有标记样本不出域条件下，通过自适应地融合各个参与客户端的业务网络进行蒸馏学习以训练零样本网络(即目标学生网络)。一方面实现了基于联邦学习的元蒸馏学习训练：即在目标教师网络的训练过程中，各个联合参与客户端传输和共享教师网络和梯度更新参数，依赖有标记样本资源的梯度更新计算在各个参与客户端的本地进行，从而保障所有参与客户端在样本资源数据不出域、满足数据隐私安全条件下进行联合网络训练，实现样本资源和网络能力的对外迁移；另一方面实现了基于元蒸馏学习的零样本建模方案：即利用来自各个联合参与客户端的有标记样本资源构建的业务网络，基于元学习技术自适应地学习各个业务网络与零样本场景(即预设业务场景)的业务相关性，并通过蒸馏学习指导零样本场景下的网络训练，得到最终的目标学生网络，从而实现在业务冷启动阶段无标记样本资源的条件下，将来自各个联合参与客户端的样本资源和网络能力迁移至预设业务场景，以提升预设业务场景下无标记样本资源的建模效果，从而解决预设业务场景在业务冷启动阶段无标记样本的建模难题，进而提高预设业务场景下无标记样本资源的建模效率和建模精度。

41、本技术实施例提出的资源处理方法，通过获取待处理资源，输入待处理资源至训练好的目标学生网络进行资源评价处理，得到待处理资源的资源评价信息，实现了对无标记的待处理资源进行资源评价处理，有效提高了业务冷启动阶段的待处理资源处理的效率和精度。