模型训练、意图识别方法、装置、电子设备及存储介质与流程

本技术涉及数据处理，特别是涉及一种模型训练、意图识别方法、装置、电子设备及存储介质。

背景技术：

1、随着自然语言处理相关技术的日益成熟，多轮会话系统已广泛应用于客户服务、业务咨询、在线购物等众多场景中。基于客户服务场景的多轮会话系统中文本数据存在用户表达的相关服务需求和产品需求，因此，通过对这些文本进行标签分类可以理解用户的意图，帮助客服人员挖掘用户的潜在需求，并及时进行产品优化和服务改进，从而更有效地处理业务和提升服务质量。然而，客户服务场景的多轮会话系统中用户的意图通常涉及多个，因此，该任务属于多标签文本分类问题。多标签文本分类不同于多类别文本分类任务中每条文本仅存在一个类别标签，多标签文本分类提供了更加详细的文本信息，更具意义和价值。

2、目前，多标签文本分类方法主要分为问题转化和算法自适应两种思路。问题转化法是将多标签分类问题转化成多个简单的单标签分类问题，然而该种方法进行单标签处理，忽略了标签之间的相关性问题，因此准确性较差。算法自适应法是将多类别分类方法进行调整以适应多标签分类问题，然而该种方法通常只考虑了单条文本的多个标签之间相关性的情况，忽略了多轮会话中各文本之间的关系，因此准确性较差。

技术实现思路

1、鉴于上述问题，本技术实施例提出了一种模型训练、意图识别方法、装置、电子设备及存储介质，用以提高意图识别的准确性。

2、根据本技术的实施例的一个方面，提供了一种模型训练方法，所述方法包括：

3、获取历史多轮会话文本集合，分别对各历史多轮会话文本进行拼接处理，得到基于相对位置编码的历史样本集合；

4、创建包含至少一个分类器的待训练多意图理解模型，从所述历史样本集合中获取各分类器对应的历史样本子集合；所述分类器为多标签分类器；

5、针对每个分类器，利用所述分类器对应的历史样本子集合，对所述分类器进行训练，在全部分类器训练完成后，得到多意图理解模型。

6、可选地，针对任意一个历史多轮会话文本，对所述历史多轮会话文本进行拼接处理，包括：

7、步骤1，初始化i＝j＝1，初始化所述历史多轮会话文本对应的第j个历史拼接序列dj为空，初始化所述历史多轮会话文本对应的历史样本为空；

8、步骤2，判断所述历史多轮会话文本中第i条历史会话文本si与所述dj的长度总和是否小于等于预设阈值；若是，则执行步骤3；若否，执行步骤4；

9、步骤3，在所述dj的尾部拼接所述si，并在所述si之后添加位置标识符，令i＝i+1，并执行步骤5；

10、步骤4，在所述dj的首部添加语义标识符，尾部添加文本分隔符，在所述历史样本的尾部添加所述dj，令j＝j+1，初始化dj为空，并执行步骤5；

11、步骤5，判断i和j是否均小于等于所述历史多轮会话文本中的历史会话文本总条数；若是，则执行步骤2；若否，则得到所述历史多轮会话文本对应的历史样本。

12、可选地，所述从所述历史样本集合中获取各分类器对应的历史样本子集合，包括：按照分类器总个数，将所述历史样本集合划分为所述总个数的历史样本辅助集合；针对每个分类器，选取一个历史样本辅助集合作为所述分类器对应的验证样本集合，将剩余的历史样本辅助集合作为所述分类器对应的训练样本集合，将所述训练样本集合和所述验证样本集合作为所述分类器对应的历史样本子集合；其中，不同分类器对应的验证样本集合不同。

13、可选地，所述利用所述分类器对应的历史样本子集合，对所述分类器进行训练，包括：将所述分类器对应的历史样本子集合中的历史样本输入所述分类器，在所述分类器中对所述历史样本进行识别，得到所述分类器识别出的所述历史样本的预测意图类别；根据所述历史样本的预测意图类别和预设的所述历史样本的实际意图类别，计算模型损失值；在所述模型损失值满足预设条件时，确定所述分类器训练完成。

14、可选地，所述历史样本包括至少一个历史拼接序列，所述历史拼接序列中包括至少一条历史会话文本，每条历史会话文本之后添加有位置标识符；所述在所述分类器中对所述历史样本进行识别，得到所述分类器识别出的所述历史样本的预测意图类别，包括：在所述分类器中依次针对所述历史样本中的每个历史拼接序列，基于所述历史拼接序列中的所述位置标识符对应的嵌入向量，获取所述历史拼接序列的预测候选意图类别；基于各所述历史拼接序列的预测候选意图类别，确定所述历史样本的预测意图类别。

15、可选地，所述利用所述分类器对应的历史样本子集合，对所述分类器进行训练，包括：基于所述分类器对应的历史样本子集合，利用指数移动平均操作和对抗训练操作，对所述分类器进行训练。

16、根据本技术的实施例的另一方面，提供了一种意图识别方法，所述方法包括：

17、获取待分析多轮会话文本，对所述待分析多轮会话文本进行拼接处理，得到基于相对位置编码的待分析样本；

18、获取预先训练的多意图理解模型，所述多意图理解模型包含至少一个分类器，所述分类器为多标签分类器；所述多意图理解模型通过如上任一项所述的方法训练得到；

19、利用所述多意图理解模型中的各分类器分别对所述待分析样本进行识别，基于各分类器的识别结果确定所述待分析多轮会话文本的意图类别。

20、可选地，所述待分析样本包括至少一个待分析拼接序列，所述待分析拼接序列中包括至少一条待分析会话文本，每条待分析会话文本之后添加有位置标识符；所述利用所述多意图理解模型中的各分类器分别对所述待分析样本进行识别，基于各分类器的识别结果确定所述待分析多轮会话文本的意图类别，包括：针对每个分类器，将所述待分析样本输入所述分类器，在所述分类器中依次针对所述待分析样本中的每个待分析拼接序列，基于所述待分析拼接序列中的所述位置标识符对应的嵌入向量，获取所述待分析拼接序列的候选意图类别，基于各分类器获取的所述待分析拼接序列的候选意图类别进行投票操作，确定所述待分析拼接序列的目标候选意图类别；基于各所述待分析拼接序列的目标候选意图类别，确定所述待分析多轮会话文本的意图类别。

21、根据本技术的实施例的另一方面，提供了一种模型训练装置，所述装置包括：

22、第一拼接模块，用于获取历史多轮会话文本集合，分别对各历史多轮会话文本进行拼接处理，得到基于相对位置编码的历史样本集合；

23、第一获取模块，用于创建包含至少一个分类器的待训练多意图理解模型，从所述历史样本集合中获取各分类器对应的历史样本子集合；所述分类器为多标签分类器；

24、训练模块，用于针对每个分类器，利用所述分类器对应的历史样本子集合，对所述分类器进行训练，在全部分类器训练完成后，得到多意图理解模型。

25、可选地，所述第一拼接模块包括：

26、初始化单元，用于初始化i＝j＝1，初始化所述历史多轮会话文本对应的第j个历史拼接序列dj为空，初始化所述历史多轮会话文本对应的历史样本为空；

27、第一判断单元，用于判断所述历史多轮会话文本中第i条历史会话文本si与所述dj的长度总和是否小于等于预设阈值；若是，则调用第一拼接单元；若否，则调用第二拼接单元；

28、第一拼接单元，用于在所述dj的尾部拼接所述si，并在所述si之后添加位置标识符，令i＝i+1，并调用第二判断单元；

29、第二拼接单元，用于在所述dj的首部添加语义标识符，尾部添加文本分隔符，在所述历史样本的尾部添加所述dj，令j＝j+1，初始化dj为空，并调用第二判断单元；

30、第二判断单元，用于判断i和j是否均小于等于所述历史多轮会话文本中的历史会话文本总条数；若是，则调用第一拼接单元；若否，则得到所述历史多轮会话文本对应的历史样本。

31、可选地，所述第一获取模块包括：划分单元，用于按照分类器总个数，将所述历史样本集合划分为所述总个数的历史样本辅助集合；选取单元，用于针对每个分类器，选取一个历史样本辅助集合作为所述分类器对应的验证样本集合，将剩余的历史样本辅助集合作为所述分类器对应的训练样本集合，将所述训练样本集合和所述验证样本集合作为所述分类器对应的历史样本子集合；其中，不同分类器对应的验证样本集合不同。

32、可选地，所述训练模块包括：识别单元，用于将所述分类器对应的历史样本子集合中的历史样本输入所述分类器，在所述分类器中对所述历史样本进行识别，得到所述分类器识别出的所述历史样本的预测意图类别；计算单元，用于根据所述历史样本的预测意图类别和预设的所述历史样本的实际意图类别，计算模型损失值；确定单元，用于在所述模型损失值满足预设条件时，确定所述分类器训练完成。

33、可选地，所述历史样本包括至少一个历史拼接序列，所述历史拼接序列中包括至少一条历史会话文本，每条历史会话文本之后添加有位置标识符；所述识别单元，具体用于在所述分类器中依次针对所述历史样本中的每个历史拼接序列，基于所述历史拼接序列中的所述位置标识符对应的嵌入向量，获取所述历史拼接序列的预测候选意图类别；基于各所述历史拼接序列的预测候选意图类别，确定所述历史样本的预测意图类别。

34、可选地，所述训练模块，具体用于基于所述分类器对应的历史样本子集合，利用指数移动平均操作和对抗训练操作，对所述分类器进行训练。

35、根据本技术的实施例的另一方面，提供了一种意图识别装置，所述装置包括：

36、第二拼接模块，用于获取待分析多轮会话文本，对所述待分析多轮会话文本进行拼接处理，得到基于相对位置编码的待分析样本；

37、第二获取模块，用于获取预先训练的多意图理解模型，所述多意图理解模型包含至少一个分类器，所述分类器为多标签分类器；所述多意图理解模型通过如上任一项所述的方法训练得到；

38、识别模块，用于利用所述多意图理解模型中的各分类器分别对所述待分析样本进行识别，基于各分类器的识别结果确定所述待分析多轮会话文本的意图类别。

39、可选地，所述待分析样本包括至少一个待分析拼接序列，所述待分析拼接序列中包括至少一条待分析会话文本，每条待分析会话文本之后添加有位置标识符；所述识别模块，具体用于针对每个分类器，将所述待分析样本输入所述分类器，在所述分类器中依次针对所述待分析样本中的每个待分析拼接序列，基于所述待分析拼接序列中的所述位置标识符对应的嵌入向量，获取所述待分析拼接序列的候选意图类别，基于各分类器获取的所述待分析拼接序列的候选意图类别进行投票操作，确定所述待分析拼接序列的目标候选意图类别；基于各所述待分析拼接序列的目标候选意图类别，确定所述待分析多轮会话文本的意图类别。

40、根据本技术的实施例的另一方面，提供了一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个计算机可读存储介质；当所述指令由所述一个或多个处理器执行时，使得所述处理器执行如上任一项所述的方法。

41、根据本技术的实施例的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行如上任一项所述的方法。

42、本技术实施例中，一方面，通过对历史多轮会话文本进行拼接处理得到基于相对位置编码的历史样本，能够将多轮会话文本中前后会话文本之间的位置信息加入到多意图理解模型的输入序列中，使得多意图理解模型能够学习到会话文本语义信息和会话文本前后位置信息与会话意图类别标签之间的相关性，从而使得多意图理解模型的分析更加准确；另一方面，通过对多意图理解模型设置至少一个多标签分类器，利用分类器各自对应的样本进行各分类器的训练，训练过程更加简便，后续可以利用至少一个分类器的预测结果综合分析最终的意图类别，从而使得多意图理解模型的识别结果更加全面且具有可解释性。