一种模型训练和业务执行方法、装置、存储介质及设备与流程

本说明书涉及计算机，尤其涉及一种模型训练和业务执行方法、装置、存储介质及设备。

背景技术：

1、随着人工智能的快速发展，实体抽取模型被广泛的应用到诸如信息推荐、风险控制、隐私保护以及智能客服等多个领域，实体抽取作为一种常见的自然语言处理(naturallanguage processing，nlp)任务，可以通过对目标文本中的实体进行抽取，来为不同场景下的业务提供所需信息。

2、为了让实体抽取模型具备更高的性能，通常需要大量的样本数据对其进行训练，这就需要对样本数据进行准确的标注，以使模型能够在这些监督信号(标注)的指导下，学得一定的判别能力。

3、然而，目前通常采用人工标注的方法对实体抽取模型的训练样本进行标注，对于一些专业领域来说，通常需要具备一定该领域经验知识的专家才能对数据做出正确标注，标注门槛大，耗时较长，导致对实体抽取模型进行训练的成本较高，无法及时满足快速发展变化的业务需求。

4、因此，如何降低对实体抽取模型进行训练的训练成本，是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种模型训练方法、装置、存储介质及设备。通过预先训练的目标阅读理解模型对样本数据进行标注，进而训练实体抽取模型。

2、本说明书采用下述技术方案：

3、本说明书提供了一种模型训练方法，包括：

4、获取目标业务领域下的业务数据，作为第一样本数据，以及获取所述目标业务领域下的各实体类型对应的第一实体描述信息；

5、将所述第一样本数据以及所述第一实体描述信息输入预先训练所得到的目标阅读理解模型，以通过所述目标阅读理解模型，根据所述第一实体描述信息确定所述第一样本数据中包含的各实体，并将确定出的各实体作为所述第一样本数据对应的伪标签；

6、将所述第一样本数据输入待训练的实体抽取模型，以通过所述实体抽取模型，确定所述第一样本数据中包含的各实体，作为所述第一样本数据对应的预测实体；

7、以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标，对所述实体抽取模型进行训练，得到目标实体抽取模型。

8、可选地，训练阅读理解模型，以得到所述目标阅读理解模型，具体包括：

9、获取若干业务领域下的业务数据，作为第二样本数据，以及获取所述若干业务领域下的各实体类型对应的第二实体描述信息；

10、在预设实体字典中匹配出所述第二样本数据中包含的各实体，并将匹配出的各实体作为所述第二样本数据对应的弱标签；

11、根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息，对所述阅读理解模型进行训练，得到所述目标阅读理解模型。

12、可选地，根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息，对所述阅读理解模型进行训练，得到目标阅读理解模型，具体包括：

13、获取所述目标业务领域中携带有强标签的第三样本数据，所述第三样本数据的数量少于所述第一样本数据的数量，所述第三样数据的强标签是预先标注的；

14、根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息，对所述阅读理解模型进行训练，得到训练后阅读理解模型；

15、基于所述携带有强标签的第三样本数据，对所述训练后阅读理解模型进行调整，得到目标阅读理解模型。

16、可选地，根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息，对所述阅读理解模型进行训练，具体包括：

17、将所述第二样本数据以及所述第二实体描述信息输入所述阅读理解模型，以通过所述阅读理解模型，根据所述第二实体描述信息确定所述第二样本数据中包含的各实体，作为所述第二样本数据对应的预测实体；

18、以最小化所述第二样本数据对应的预测实体与所述弱标签之间的偏差为优化目标，对所述阅读理解模型进行训练。

19、可选地，以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标，对所述实体抽取模型进行训练，得到目标实体抽取模型，具体包括：

20、获取所述目标业务领域中携带有强标签的第三样本数据，所述第三样本数据的数量少于所述第一样本数据的数量，所述第三样数据的强标签是预先标注的；

21、以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标，对所述实体抽取模型进行训练，得到训练后实体抽取模型；

22、基于所述携带有强标签的第三样本数据，对所述训练后实体抽取模型进行调整，得到所述目标实体抽取模型。

23、本说明书提供了一种业务执行方法，包括：

24、接收携带有目标业务数据的业务请求；

25、将所述目标业务数据输入预先训练的目标实体抽取模型，以通过所述目标实体抽取模型，确定所述目标业务数据中包含的各目标实体，所述目标实体抽取模型通过上述模型训练方法训练得到的；

26、根据所述各目标实体执行所述业务请求对应的业务。

27、本说明书提供了一种模型训练装置，包括：

28、获取模块，获取目标业务领域下的业务数据，作为第一样本数据，以及获取所述目标业务领域下的各实体类型对应的第一实体描述信息；

29、确定模块，将所述第一样本数据以及所述第一实体描述信息输入预先训练所得到的目标阅读理解模型，以通过所述目标阅读理解模型，根据所述第一实体描述信息确定所述第一样本数据中包含的各实体，并将确定出的各实体作为所述第一样本数据对应的伪标签；

30、输入模块，将所述第一样本数据输入待训练的实体抽取模型，以通过所述实体抽取模型，确定所述第一样本数据中包含的各实体，作为所述第一样本数据对应的预测实体；

31、训练模块，以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标，对所述实体抽取模型进行训练，得到目标实体抽取模型。

32、可选地，所述训练模块具体用于，获取若干业务领域下的业务数据，作为第二样本数据，以及获取所述若干业务领域下的各实体类型对应的第二实体描述信息；在预设实体字典中匹配出所述第二样本数据中包含的各实体，并将匹配出的各实体作为所述第二样本数据对应的弱标签；根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息，对所述阅读理解模型进行训练，得到所述目标阅读理解模型。

33、可选地，所述训练模块具体用于，获取所述目标业务领域中携带有强标签的第三样本数据，所述第三样本数据的数量少于所述第一样本数据的数量，所述第三样数据的强标签是预先标注的；根据携带有所述弱标签的第二样本数据以及所述第二实体描述信息，对所述阅读理解模型进行训练，得到训练后阅读理解模型；基于所述携带有强标签的第三样本数据，对所述训练后阅读理解模型进行调整，得到目标阅读理解模型。

34、可选地，所述训练模块具体用于，将所述第二样本数据以及所述第二实体描述信息输入所述阅读理解模型，以通过所述阅读理解模型，根据所述第二实体描述信息确定所述第二样本数据中包含的各实体，作为所述第二样本数据对应的预测实体；以最小化所述第二样本数据对应的预测实体与所述弱标签之间的偏差为优化目标，对所述阅读理解模型进行训练。

35、可选地，所述训练模块具体用于，获取所述目标业务领域中携带有强标签的第三样本数据，所述第三样本数据的数量少于所述第一样本数据的数量，所述第三样数据的强标签是预先标注的；以最小化所述第一样本数据对应的预测实体与所述伪标签之间的偏差为优化目标，对所述实体抽取模型进行训练，得到训练后实体抽取模型；基于所述携带有强标签的第三样本数据，对所述训练后实体抽取模型进行调整，得到所述目标实体抽取模型。

36、本说明书提供了一种业务执行装置，包括：

37、接收模块，接收携带有目标业务数据的业务请求；

38、抽取模块，将所述目标业务数据输入预先训练的目标实体抽取模型，以通过所述目标实体抽取模型，确定所述目标业务数据中包含的各目标实体，所述目标实体抽取模型通过上述模型训练方法训练得到的；

39、执行模块，根据所述各目标实体执行所述业务请求对应的业务。

40、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练和业务执行方法。

41、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练和业务执行的方法。

42、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

43、在本说明书提供的模型训练方法中，首先获取目标业务领域下的业务数据，作为第一样本数据，以及获取目标业务领域下的各实体类型对应的第一实体描述信息；将第一样本数据以及第一实体描述信息输入目标阅读理解模型，根据第一实体描述信息确定第一样本数据中包含的各实体，并将确定出的各实体作为第一样本数据对应的伪标签；将第一样本数据输入待训练的实体抽取模型，确定第一样本数据中包含的各实体，作为第一样本数据对应的预测实体；以最小化第一样本数据对应的预测实体与伪标签之间的偏差为优化目标，对实体抽取模型进行训练，得到目标实体抽取模型

44、从上述方法可以看出，本方案可以基于事先训练好的阅读理解模型生成目标领域中的大量无标签数据的伪标签，进而通过这些带有伪标签的数据对实体抽取模型进行训练，相比于人工标注的方法，一方面通过阅读理解模型为样本数据进行标注的方式可以提高标注效率以及标注的准确性，另一方面可以利用阅读理解模型可将实体类型信息作为问题描述融入到模型输入层面，从而在不对模型输出层结构进行更改的情况下使模型适配于不同的实体抽取任务，从整体上降低了对实体抽取模型进行训练的训练成本。