对话文本标签识别模型训练方法、对话文本标签识别方法与流程

1.本公开的实施例涉及计算机技术领域，具体涉及对话文本标签识别模型训练方法、对话文本标签识别方法。


背景技术：

2.目前，为了预测用户与客服之间对话内容的标签(意图)，通常采用的方式为：利用lstm(long short-term memory，长短期记忆网络)时序建模，通过lstm多次迭代计算得到预测结果，使用最后一次迭代结果作为标签预测结果。
3.然而，采用上述方式通常存在以下技术问题：利用lstm时序建模，无法并行预测用户与客服之间对话内容的标签，存在梯度爆炸的问题，造成标签预测结果的准确率较低。


技术实现要素：

4.本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
5.本公开的一些实施例提出了对话文本标签识别模型训练方法、对话文本标签识别方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
6.第一方面，本公开的一些实施例提供了一种对话文本标签识别模型训练方法，该方法包括：获取目标领域的标注对话文本组，其中，上述标注对话文本组中的标注对话文本包括对话信息序列；对于上述标注对话文本组中的每个标注对话文本，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本；基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型。
7.可选地，上述各个对话角色中的对话角色对应上述对话信息序列中的对话信息；以及上述根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本，包括：根据上述各个对话角色，对上述对话信息序列进行聚类处理，以生成对话信息组序列；对于上述对话信息组序列中的每个对话信息组，执行如下处理步骤：确定上述对话信息组对应的对话角色的角色标识，其中，上述对话信息组中的对话信息具有排列顺序；在上述对话信息组的起始位置添加上述角色标识，以对上述对话信息组进行更新；在更新后的对话信息组中的每两个对话信息之间添加对话分割标识；将添加完成后的标注对话文本样本确定为标识对话文本样本。
8.可选地，上述获取目标领域的标注对话文本组，包括：获取目标领域的待标注对话文本集；对上述待标注对话文本集进行脱敏处理，以生成脱敏待标注对话文本集；对上述脱
敏待标注对话文本集进行数据清洗处理，以生成清洗待标注对话文本集；对上述清洗待标注对话文本集中的每个清洗待标注对话文本进行标注处理，以生成清洗标注对话文本，得到清洗标注对话文本集；对上述清洗标注对话文本集进行数据检验处理，得到数据检验后的清洗标注对话文本集作为标注对话文本组。
9.可选地，上述对上述清洗标注对话文本集进行数据检验处理，得到数据检验后的清洗标注对话文本集作为标注对话文本组，包括：根据预设的随机数种子组和上述清洗标注对话文本集，生成清洗标注对话文本组集组，其中，上述随机数种子组中的各个随机数种子不同，上述随机数种子组中的随机数种子对应上述清洗标注对话文本组集组中的清洗标注对话文本组集；对于上述清洗标注对话文本组集组中的每个清洗标注对话文本组集，根据上述清洗标注对话文本组集和初始对话文本预测模型，生成对应上述清洗标注对话文本组集的预测结果；响应于所生成的各个预测结果满足预设检验条件，将上述清洗标注对话文本集确定为标注对话文本组。
10.可选地，上述根据上述清洗标注对话文本组集和初始对话文本预测模型，生成对应上述清洗标注对话文本组集的预测结果，包括：对于上述清洗标注对话文本组集中的每个清洗标注对话文本组，执行如下处理步骤：将上述清洗标注对话文本组确定为测试对话文本组；基于训练标注对话文本组集，对上述初始对话文本预测模型进行训练，得到训练完成的初始对话文本预测模型作为对话文本预测模型，其中，上述训练标注对话文本组集为：上述清洗标注对话文本组集中除上述清洗标注对话文本组之外的各个清洗标注对话文本组；将上述测试对话文本组输入至上述对话文本预测模型中，得到测试对话文本预测结果；将所生成的各个测试对话文本预测结果组合为预测结果。
11.可选地，上述根据预设的随机数种子组和上述清洗标注对话文本集，生成清洗标注对话文本组集组，包括：基于上述随机数种子组中的每个随机数种子，通过上述随机数种子对上述清洗标注对话文本集进行划分，以生成清洗标注对话文本组集；将所生成的各个清洗标注对话文本组集确定为清洗标注对话文本组集组。
12.可选地，上述基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的对话文本标签识别模型作为对话文本标签识别模型，包括：从上述各个标注对话样本中选择标注对话样本，其中，上述标注对话样本包括对话样本和对应上述对话样本的对话标签；将第一标识添加至上述对话样本的起始位置，以及将第二标识添加至上述对话样本的末尾位置；对添加完成的对话样本进行位置编码处理，以生成对话样本向量；将上述对话样本向量输入至上述预训练对话文本标签识别模型中，得到对话文本标签识别结果；确定上述对话文本标签识别结果与上述对话标签的损失值；响应于上述损失值大于预设损失值，调整上述预训练对话文本标签识别模型的网络参数。
13.可选地，上述方法还包括：响应于上述损失值小于等于预设损失值，将训练后的预训练对话文本标签识别模型确定为对话文本标签识别模型。
14.可选地，上述预训练对话文本标签识别模型包括：编码网络、第一映射模型、第二映射模型、第三映射模型与第四映射模型，上述编码网络包括：第一编码网络、第二编码网络、第三编码网络与第四编码网络；以及上述将上述对话样本向量输入至上述预训练对话文本标签识别模型中，得到对话文本标签识别结果，包括：将上述对话样本向量输入至上述第一编码网络，得到第一编码对话文本样本向量；将上述第一编码对话文本样本向量输入
至上述第一映射模型中，得到第一对话文本标签识别结果；将上述第一编码对话文本样本向量输入至上述第二编码网络，得到第二编码对话文本样本向量；将上述第二编码对话文本样本向量输入至上述第二映射模型中，得到第二对话文本标签识别结果；将上述第二编码对话文本样本向量输入至上述第三编码网络，得到第三编码对话文本样本向量。
15.可选地，上述将上述对话样本向量输入至上述预训练对话文本标签识别模型中，得到对话文本标签识别结果，还包括：将上述第三编码对话文本样本向量输入至上述第三映射模型中，得到第三对话文本标签识别结果；将上述第三编码对话文本样本向量输入至上述第四编码网络，得到第四编码对话文本样本向量；将上述第四编码对话文本样本向量输入至上述第四映射模型中，得到第四对话文本标签识别结果；将上述第一对话文本标签识别结果、上述第二对话文本标签识别结果、上述第三对话文本标签识别结果与上述第四对话文本标签识别结果组合为对话文本标签识别结果。
16.可选地，上述预训练对话文本标签识别模型是通过以下步骤训练得到的：从对话文本样本集中选择对话文本样本；将第一标识添加至上述对话文本样本的起始位置，以及将第二标识添加至上述对话文本样本的末尾位置；对添加完成的对话文本样本进行位置编码处理，以生成对话文本样本向量；将上述对话文本样本向量输入至初始对话文本标签识别模型中，得到对话文本标签识别结果；基于上述对话文本标签识别结果，调整上述初始对话文本标签识别模型的网络参数。
17.第二方面，本公开的一些实施例提供了一种对话文本标签识别方法，该方法包括：获取目标对话文本；将上述目标对话文本输入至预先训练的对话文本标签识别模型中，得到对话文本标签，其中，上述对话文本标签识别模型是通过如上述第一方面中任一实现方式描述的方法生成的。
18.第三方面，本公开的一些实施例提供了一种对话文本标签识别模型训练装置，装置包括：获取单元，被配置成获取目标领域的标注对话文本组，其中，上述标注对话文本组中的标注对话文本包括对话信息序列；标识单元，被配置成对于上述标注对话文本组中的每个标注对话文本，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本；训练单元，被配置成基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型。
19.可选地，上述各个对话角色中的对话角色对应上述对话信息序列中的对话信息。
20.可选地，标识单元，被进一步配置成：根据上述各个对话角色，对上述对话信息序列进行聚类处理，以生成对话信息组序列；对于上述对话信息组序列中的每个对话信息组，执行如下处理步骤：确定上述对话信息组对应的对话角色的角色标识，其中，上述对话信息组中的对话信息具有排列顺序；在上述对话信息组的起始位置添加上述角色标识，以对上述对话信息组进行更新；在更新后的对话信息组中的每两个对话信息之间添加对话分割标识；将添加完成后的标注对话文本样本确定为标识对话文本样本。
21.可选地，获取单元，被进一步配置成：获取目标领域的待标注对话文本集；对上述待标注对话文本集进行脱敏处理，以生成脱敏待标注对话文本集；对上述脱敏待标注对话文本集进行数据清洗处理，以生成清洗待标注对话文本集；对上述清洗待标注对话文本集
中的每个清洗待标注对话文本进行标注处理，以生成清洗标注对话文本，得到清洗标注对话文本集；对上述清洗标注对话文本集进行数据检验处理，得到数据检验后的清洗标注对话文本集作为标注对话文本组。
22.可选地，获取单元，被进一步配置成：根据预设的随机数种子组和上述清洗标注对话文本集，生成清洗标注对话文本组集组，其中，上述随机数种子组中的各个随机数种子不同，上述随机数种子组中的随机数种子对应上述清洗标注对话文本组集组中的清洗标注对话文本组集；对于上述清洗标注对话文本组集组中的每个清洗标注对话文本组集，根据上述清洗标注对话文本组集和初始对话文本预测模型，生成对应上述清洗标注对话文本组集的预测结果；响应于所生成的各个预测结果满足预设检验条件，将上述清洗标注对话文本集确定为标注对话文本组。
23.可选地，获取单元，被进一步配置成：对于上述清洗标注对话文本组集中的每个清洗标注对话文本组，执行如下处理步骤：将上述清洗标注对话文本组确定为测试对话文本组；基于训练标注对话文本组集，对上述初始对话文本预测模型进行训练，得到训练完成的初始对话文本预测模型作为对话文本预测模型，其中，上述训练标注对话文本组集为：上述清洗标注对话文本组集中除上述清洗标注对话文本组之外的各个清洗标注对话文本组；将上述测试对话文本组输入至上述对话文本预测模型中，得到测试对话文本预测结果；将所生成的各个测试对话文本预测结果组合为预测结果。
24.可选地，获取单元，被进一步配置成：基于上述随机数种子组中的每个随机数种子，通过上述随机数种子对上述清洗标注对话文本集进行划分，以生成清洗标注对话文本组集；将所生成的各个清洗标注对话文本组集确定为清洗标注对话文本组集组。
25.可选地，训练单元，被进一步配置成：从上述各个标注对话样本中选择标注对话样本，其中，上述标注对话样本包括对话样本和对应上述对话样本的对话标签；将第一标识添加至上述对话样本的起始位置，以及将第二标识添加至上述对话样本的末尾位置；对添加完成的对话样本进行位置编码处理，以生成对话样本向量；将上述对话样本向量输入至上述预训练对话文本标签识别模型中，得到对话文本标签识别结果；确定上述对话文本标签识别结果与上述对话标签的损失值；响应于上述损失值大于预设损失值，调整上述预训练对话文本标签识别模型的网络参数。
26.可选地，装置还包括：确定单元，被配置成：响应于上述损失值小于等于预设损失值，将训练后的预训练对话文本标签识别模型确定为对话文本标签识别模型。
27.可选地，上述预训练对话文本标签识别模型包括：编码网络、第一映射模型、第二映射模型、第三映射模型与第四映射模型，上述编码网络包括：第一编码网络、第二编码网络、第三编码网络与第四编码网络。
28.可选地，训练单元，被进一步配置成：将上述对话样本向量输入至上述第一编码网络，得到第一编码对话文本样本向量；将上述第一编码对话文本样本向量输入至上述第一映射模型中，得到第一对话文本标签识别结果；将上述第一编码对话文本样本向量输入至上述第二编码网络，得到第二编码对话文本样本向量；将上述第二编码对话文本样本向量输入至上述第二映射模型中，得到第二对话文本标签识别结果；将上述第二编码对话文本样本向量输入至上述第三编码网络，得到第三编码对话文本样本向量。
29.可选地，训练单元，被进一步配置成：将上述第三编码对话文本样本向量输入至上
述第三映射模型中，得到第三对话文本标签识别结果；将上述第三编码对话文本样本向量输入至上述第四编码网络，得到第四编码对话文本样本向量；将上述第四编码对话文本样本向量输入至上述第四映射模型中，得到第四对话文本标签识别结果；将上述第一对话文本标签识别结果、上述第二对话文本标签识别结果、上述第二对话文本标签识别结果与上述第二对话文本标签识别结果组合为对话文本标签识别结果。
30.可选地，上述预训练对话文本标签识别模型是通过以下步骤训练得到的：从对话文本样本集中选择对话文本样本；将第一标识添加至上述对话文本样本的起始位置，以及将第二标识添加至上述对话文本样本的末尾位置；对添加完成的对话文本样本进行位置编码处理，以生成对话文本样本向量；将上述对话文本样本向量输入至初始对话文本标签识别模型中，得到对话文本标签识别结果；基于上述对话文本标签识别结果，调整上述初始对话文本标签识别模型的网络参数。
31.第四方面，本公开的一些实施例提供了一种对话文本标签识别装置，装置包括：文本获取单元，被配置成获取目标对话文本；输入单元，被配置成将上述目标对话文本输入至预先训练的对话文本标签识别模型中，得到对话文本标签，其中，上述对话文本标签识别模型是通过如第一方面中任一实现方式描述的方法生成的。
32.第五方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面或第二方面任一实现方式所描述的方法。
33.第六方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面或第二方面任一实现方式所描述的方法。
34.本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的对话文本标签识别模型训练方法，提升了标签预测结果的准确性。具体来说，造成标签预测结果的准确率较低的原因在于：利用lstm时序建模，无法并行预测用户与客服之间对话内容的标签，存在梯度爆炸的问题，造成标签预测结果的准确率较低。基于此，本公开的一些实施例的对话文本标签识别模型训练方法，首先，获取目标领域的标注对话文本组。其中，上述标注对话文本组中的标注对话文本包括对话信息序列。由此，可以利用目标领域的对话文本对模型进行优化。然后，对于上述标注对话文本组中的每个标注对话文本，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本。由此，可以将对话文本包括的多个对话信息进行构建，使得在后续训练过程中可以对多个对话信息并行预测。最后，基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型。由此，可以利用并行的对话信息对对话文本标签识别模型进行训练，避免了梯度爆炸的问题，提升了标签预测结果的准确性。
附图说明
35.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理
解附图是示意性的，元件和元素不一定按照比例绘制。
36.图1是本公开的一些实施例可以应用于其中的示例性系统的架构图；
37.图2是根据本公开的对话文本标签识别模型训练方法的一些实施例的流程图；
38.图3是根据本公开的对话文本标签识别模型训练方法中标注对话样本的示意图；
39.图4是根据本公开的对话文本标签识别方法的一些实施例的流程图；
40.图5是根据本公开的对话文本标签识别方法中终端设备中的对比文本的场景示意图；
41.图6是根据本公开的对话文本标签识别模型训练装置的一些实施例的结构示意图；
42.图7是根据本公开的对话文本标签识别装置的一些实施例的结构示意图；
43.图8是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
44.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
45.另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
46.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
47.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
48.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
49.下面将参考附图并结合实施例来详细说明本公开。
50.图1示出了可以应用本公开的一些实施例的对话文本标签识别模型训练方法与对话文本标签识别模型训练装置、或对话文本标签识别方法与对话文本标签识别装置的示例性系统架构100。
51.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
52.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
53.终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持信息展示的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多
个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
54.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的信息提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。
55.需要说明的是，本公开的实施例所提供的对话文本标签识别模型训练方法或对话文本标签识别方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，对话文本标签识别模型训练或对话文本标签识别的装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。在此不做具体限定。
56.需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
57.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
58.继续参考图2，示出了根据本公开的对话文本标签识别模型训练方法的一些实施例的流程200。该对话文本标签识别模型训练方法，包括以下步骤：
59.步骤201，获取目标领域的标注对话文本组。
60.在一些实施例中，对话文本标签识别模型训练方法的执行主体(例如图1所示的服务器)可以通过有线连接或无线连接的方式从终端设备中获取目标领域的标注对话文本组。其中，上述标注对话文本组中的标注对话文本包括对话信息序列。目标领域可以是指目标用户与服务端用户之间的对话领域。目标用户可以是指物流站点(店铺)的用户。例如，目标用户可以是指店铺商家用户。例如，服务端用户可以是指客服业务人员。对话信息序列可以是指目标用户与服务端用户之间在某一时间段内问题咨询的对话序列。标注对话文本可以是标注了对话标签的对话文本。对话标签可以是表征对话文本意图的标签。这里，对话标签可以由多级意图构成。例如，多级意图可以包括一级意图、二级意图、三级意图。一级意图可以包含多个二级意图。二级意图可以包含多个三级意图。一级意图可以表示对话文本的内容所属的类别。二级意图可以表示对话文本的内容所属的问题类别。三级意图可以表示对话文本的内容涉及的具体问题。例如，对话标签可以是：开店入驻(一级意图)-入驻申请(二级意图)-入驻申请操作流程不清楚(三级意图)。其中，标注对话文本组中的标注对话文本对应一对话渠道。对话渠道可以是指对话的沟通渠道。例如，对话渠道可以是电话沟通渠道，还可以是在线沟通渠道。
61.可以理解的是，使用不同对话渠道的标注对话文本对预训练对话文本标签识别模型进行训练，有助于提升训练后的模型对不同对话渠道的对话文本的对话文本标签识别的准确率。诸如，电话沟通渠道的对话文本中通常会包含较多语气助词。因此，利用不同对话渠道的对话文本进行训练，可以提升训练后的模型的鲁棒性，使得训练后的模型在识别不同对话渠道的对话文本时，均可以保持较高的识别准确率。
62.在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤获取目标领域的标注对话文本组：
63.第一步，获取目标领域的待标注对话文本集。待标注对话文本可以是指目标领域
内未经过处理的对话文本。
64.第二步，对上述待标注对话文本集进行脱敏处理，以生成脱敏待标注对话文本集。这里，脱敏处理可以是指去除待标注对话文本中的敏感信息。这里，敏感信息可以表示用户的个人信息。例如，敏感信息可以包括但不限于：联系电话、地址、邮箱、用户名。
65.第三步，对上述脱敏待标注对话文本集进行数据清洗处理，以生成清洗待标注对话文本集。这里，数据清洗处理可以是指过滤上述脱敏待标注对话文本集中不符合预设条件的脱敏待标注对话文本。预设条件可以是“脱敏待标注对话文本中对话信息序列包括的对话信息的数量小于等于预设数量，或上述对话信息序列中对应的各个对话角色相同”。这里，对于预设数量的设定，不作限制。例如，预设数量可以是3。
66.第四步，对上述清洗待标注对话文本集中的每个清洗待标注对话文本进行标注处理，以生成清洗标注对话文本，得到清洗标注对话文本集。实践中，对于上述清洗待标注对话文本集中的每个清洗待标注对话文本，可以在上述清洗待标注对话文本中添加对话标签，以生成清洗标注对话文本。
67.第五步，对上述清洗标注对话文本集进行数据检验处理，得到数据检验后的清洗标注对话文本集作为标注对话文本组。
68.实践中，上述第五步可以包括以下子步骤：
69.第一子步骤，根据预设的随机数种子组和上述清洗标注对话文本集，生成清洗标注对话文本组集组。其中，上述随机数种子组中的各个随机数种子不同，上述随机数种子组中的随机数种子对应上述清洗标注对话文本组集组中的清洗标注对话文本组集。
70.实践中，上述第一子步骤可以包括以下步骤：
71.1、基于上述随机数种子组中的每个随机数种子，通过上述随机数种子对上述清洗标注对话文本集进行划分，以生成清洗标注对话文本组集。首先，可以通过上述随机数种子对上述清洗标注对话文本集进行打乱处理。然后，可以将打乱后的清洗标注对话文本集随机划分为目标数量个清洗标注对话文本组，作为清洗标注对话文本组集。这里，对于目标数量的设定，不作限制。
72.2、将所生成的各个清洗标注对话文本组集确定为清洗标注对话文本组集组。
73.第二子步骤，对于上述清洗标注对话文本组集组中的每个清洗标注对话文本组集，根据上述清洗标注对话文本组集和初始对话文本预测模型，生成对应上述清洗标注对话文本组集的预测结果。
74.实践中，上述第二子步骤可以包括以下步骤：
75.1、对于上述清洗标注对话文本组集中的每个清洗标注对话文本组，执行如下处理步骤：
76.第一，将上述清洗标注对话文本组确定为测试对话文本组。
77.第二，基于训练标注对话文本组集，对上述初始对话文本预测模型进行训练，得到训练完成的初始对话文本预测模型作为对话文本预测模型。其中，上述训练标注对话文本组集为：上述清洗标注对话文本组集中除上述清洗标注对话文本组之外的各个清洗标注对话文本组。这里，初始对话文本预测模型可以是用于识别对话文本标签的模型。例如，初始对话文本预测模型可以是transformer模型或bert模型。实践中，首先，确定上述初始对话文本预测模型的网络结构以及初始化上述初始对话文本预测模型的网络参数。然后，将上
述训练标注对话文本组集包括的对话信息序列作为上述初始对话文本预测模型的输入，将上述训练标注对话文本组集包括的对话标签作为上述初始对话文本预测模型的期望输出，利用深度学习方法训练上述初始对话文本预测模型。最后，可以将训练完成的初始对话文本预测模型作为对话文本预测模型。
78.第三，将上述测试对话文本组输入至上述对话文本预测模型中，得到测试对话文本预测结果。
79.2、将所生成的各个测试对话文本预测结果组合为预测结果。
80.第三子步骤，响应于所生成的各个预测结果满足预设检验条件，将上述清洗标注对话文本集确定为标注对话文本组。预设检验条件可以是：所生成的各个预测结果相同。
81.由此，可以检测标注对话文本集中不稳定的标注对话文本，以提升标注对话文本的质量。
82.步骤202，对于上述标注对话文本组中的每个标注对话文本，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本。
83.在一些实施例中，对于上述标注对话文本组中的每个标注对话文本，上述执行主体可以根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本。这里，对话信息序列中的对话信息对应上述各个对话角色中的对话角色。对话角色可以是指输出对话信息的输出方。这里，输出方可以表征店铺商家用户或者客服人员。
84.实践中，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，上述执行主体可以通过以下步骤对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本：
85.第一步，对上述各个对话角色进行去重处理，得到去重对话角色组。
86.第二步，确定上述去重对话角色组中每个去重对话角色的角色标识。对于上述去重对话角色组中每个去重对话角色，从预先存储的角色标识组选择出表征上述去重对话角色的角色标识。
87.第三步，在上述标注对话文本包括的对话信息序列中每个对话信息之前添加上对应上述对话信息的角色标识，以对上述标注对话文本进行更新。
88.第四步，对于更新后的标注对话文本包括的对话信息序列中连续且对应的角色标识相同的各个对话信息，去除上述各个对话信息中除第一个对话信息之外的对话信息对应的角色标识，以对上述更新后的标注对话文本进行更新。例如，如图3所示，更新完成的标注对话文本包括的对话信息序列可以是：“[用户99]你好，我要转人工[用户98]您好，人工客服**，很高兴为您服务！您好在的，您说的哦[用户99]家装建材需要招商审核吗？入驻家装建材需要几类商标[用户98]需要的哦”。[用户99]与[用户98]可以分别表示不同的角色标识。
[0089]
第五步，将更新完成的标注对话文本确定为标注对话样本。
[0090]
在一些实施例的一些可选的实现方式中，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，上述执行主体可以通过以下步骤对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本：
[0091]
第一步，根据上述各个对话角色，对上述对话信息序列进行聚类处理，以生成对话信息组序列。实践中，可以将上述对话信息序列中顺序相连且对应的对话角色相同的各个对话信息聚为一类。从而，得到对话信息组序列。
[0092]
第二步，对于上述对话信息组序列中的每个对话信息组，执行如下处理步骤：
[0093]
第一处理步骤，确定上述对话信息组对应的对话角色的角色标识。其中，上述对话信息组中的对话信息具有排列顺序。
[0094]
第二处理步骤，在上述对话信息组的起始位置添加上述角色标识，以对上述对话信息组进行更新。
[0095]
第三处理步骤，在更新后的对话信息组中的每两个对话信息之间添加对话分割标识。这里，对话分割标识可以是指用于分割两个对话语句的标识符。
[0096]
第三步，将添加完成后的标注对话文本样本确定为标识对话文本样本。
[0097]
可选地，可以在标识对话文本样本包括的对话信息组序列之前添加上沟通方式标识。这里，沟通方式标识可以表示对话沟通的方式。例如，对话沟通的方式可以是电话沟通或在线文字沟通。
[0098]
步骤203，基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型。
[0099]
在一些实施例中，上述执行主体可以基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型。这里，预训练对话文本标签识别模型可以是指通过未标注的对话文本进行自监督训练的神经网络模型。例如，神经网络模型可以是指transformer模型。其中，transformer模型可以包括多层自注意力机制层。
[0100]
实践中，基于所生成的各个标注对话样本，上述执行主体可以通过以下步骤对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型：
[0101]
第一步，对上述各个标注对话样本中的每个标注对话样本包括的对话信息序列进行位置编码处理，以生成标注对话样本向量，得到标注对话样本向量组。这里，位置编码处理可以是指相对位置编码处理。例如，相对位置编码处理可以是旋转式位置编码(rope)。
[0102]
第二步，确定上述预训练对话文本标签识别模型的网络结构以及初始化上述预训练对话文本标签识别模型的网络参数。
[0103]
第三步，将上述标注对话样本向量组作为上述预训练对话文本标签识别模型的输入，将上述各个标注对话样本包括的对话标签作为上述预训练对话文本标签识别模型的期望输出，利用深度学习方法训练上述预训练对话文本标签识别模型。
[0104]
第四步，将训练后的预训练对话文本标签识别模型确定为上述对话文本标签识别模型。
[0105]
在一些实施例的一些可选的实现方式中，基于所生成的各个标注对话样本，上述执行主体还可以通过以下步骤对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型：
[0106]
第一步，从上述各个标注对话样本中选择标注对话样本。其中，上述标注对话样本包括对话样本和对应上述对话样本的对话标签。对话样本可以表示标识后的对话信息序
列。例如，对话样本可以是“[用户99]你好，我要转人工[用户98]您好，人工客服**，很高兴为您服务！您好在的，您说的哦[用户99]家装建材需要招商审核吗？入驻家装建材需要几类商标[用户98]需要的哦”。
[0107]
第二步，将第一标识添加至上述对话样本的起始位置，以及将第二标识添加至上述对话样本的末尾位置。这里，第一标识可以用于标示对话样本的起始位置。第二标识可以用于标示对话样本的结束位置。这里，对于第一标识和第二标识的设定，不作限制。例如，第一标识可以是[cls]，第二标识可以是[eos]。
[0108]
第三步，对添加完成的对话样本进行位置编码处理，以生成对话样本向量。这里，位置编码处理可以是指相对位置编码处理。例如，相对位置编码处理可以是rope编码处理(旋转式位置编码)。
[0109]
第四步，将上述对话样本向量输入至上述预训练对话文本标签识别模型中，得到对话文本标签识别结果。其中，上述预训练对话文本标签识别模型包括：编码网络、第一映射模型、第二映射模型、第三映射模型与第四映射模型。上述编码网络包括：第一编码网络、第二编码网络、第三编码网络与第四编码网络。第一编码网络、第二编码网络、第三编码网络与第四编码网络可以为自注意力机制网络。
[0110]
实践中，上述第四步可以包括以下子步骤：
[0111]
第一子步骤，将上述对话样本向量输入至上述第一编码网络，得到第一编码对话文本样本向量。
[0112]
第二子步骤，将上述第一编码对话文本样本向量输入至上述第一映射模型中，得到第一对话文本标签识别结果。这里，第一映射模型可以是第一编码对话文本样本向量与设定的线性映射矩阵的相乘公式。第一对话文本标签识别结果可以表示一级意图。一级意图可以表示对话文本的内容所属的类别。
[0113]
第三子步骤，将上述第一编码对话文本样本向量输入至上述第二编码网络，得到第二编码对话文本样本向量。
[0114]
第四子步骤，将上述第二编码对话文本样本向量输入至上述第二映射模型中，得到第二对话文本标签识别结果。这里，第二映射模型可以是第二编码对话文本样本向量与设定的线性映射矩阵的相乘公式。第二对话文本标签识别结果可以表示二级意图。二级意图可以表示对话文本的内容所属的问题类别。
[0115]
第五子步骤，将上述第二编码对话文本样本向量输入至上述第三编码网络，得到第三编码对话文本样本向量。
[0116]
第六子步骤，将上述第三编码对话文本样本向量输入至上述第三映射模型中，得到第三对话文本标签识别结果。这里，第三映射模型可以是第三编码对话文本样本向量与设定的线性映射矩阵的相乘公式。第三对话文本标签识别结果可以表示三级意图。三级意图可以表示对话文本的内容涉及的具体问题。
[0117]
第七子步骤，将上述第三编码对话文本样本向量输入至上述第四编码网络，得到第四编码对话文本样本向量。
[0118]
第八子步骤，将上述第四编码对话文本样本向量输入至上述第四映射模型中，得到第四对话文本标签识别结果。这里，第四映射模型可以是第四编码对话文本样本向量与设定的线性映射矩阵的相乘公式。第四对话文本标签识别结果可以表示：一级意图、二级意
图和三级意图。
[0119]
第九子步骤，将上述第一对话文本标签识别结果、上述第二对话文本标签识别结果、上述第三对话文本标签识别结果与上述第四对话文本标签识别结果组合为对话文本标签识别结果
[0120]
第五步，确定上述对话文本标签识别结果与上述对话标签的损失值。实践中，可以通过预先训练的损失函数确定上述对话文本标签识别结果包括的第四对话文本标签识别结果与上述对话标签的损失值。损失函数可以包括但不限于：均方误差损失函数(mse)、合页损失函数(svm)、交叉熵损失函数(crossentropy)等等。
[0121]
第六步，响应于上述损失值大于预设损失值，调整上述预训练对话文本标签识别模型的网络参数。这里，对于预设损失值的确定，不作限制。例如，可以对损失值和预设损失值求差值，得到损失差值。在此基础上，利用反向传播、随机梯度下降等方法将损失差值从模型的最后一层向前传递，以调整每一层的参数。当然根据需要，也可以采用网络冻结(dropout)的方法，对其中的一些层的网络参数保持不变，不进行调整，对此，不做任何限定。
[0122]
可选地，响应于上述损失值小于等于上述预设损失值，将训练后的预训练对话文本标签识别模型确定为对话文本标签识别模型。
[0123]
可选地，预训练对话文本标签识别模型是通过以下步骤训练得到的：
[0124]
第一步，从对话文本样本集中选择对话文本样本。这里，对话文本样本可以是指经过数据清洗处理、脱敏处理以及掩码处理的对话信息序列。这里，掩码处理可以是指动态掩码。
[0125]
第二步，将第一标识添加至上述对话文本样本的起始位置，以及将第二标识添加至上述对话文本样本的末尾位置。这里，第一标识可以用于标示对话文本的起始位置。第二标识可以用于标示对话文本的结束位置。这里，对于第一标识和第二标识的设定，不作限制。例如，第一标识可以是[cls]，第二标识可以是[eos]。
[0126]
第三步，对添加完成的对话文本样本进行位置编码处理，以生成对话文本样本向量。这里，位置编码处理可以是指相对位置编码处理。例如，位置编码处理可以是rope编码处理(旋转式位置编码)。
[0127]
第四步，将上述对话文本样本向量输入至初始对话文本标签识别模型中，得到对话文本标签识别结果。这里，初始对话文本标签识别模型可以是包含多层自注意力机制网络的transformer模型。
[0128]
第五步，基于上述对话文本标签识别结果，调整上述初始对话文本标签识别模型的网络参数。实践中，首先，可以确定上述对话文本标签识别结果与上述对话文本样本向量对应的掩码标签之间的损失值。例如，可以通过对数似然函数确定损失值。然后，响应于上述损失值大于等于预设阈值，可以对损失值和预设阈值求差值，得到损失差值。在此基础上，利用反向传播、随机梯度下降等方法将损失差值从模型的最后一层向前传递，以调整每一层的参数。当然根据需要，也可以采用网络冻结(dropout)的方法，对其中的一些层的网络参数保持不变，不进行调整，对此，不做任何限定。
[0129]
可选地，响应于上述对话文本标签识别结果对应的损失值小于上述预设阈值，将上述初始对话文本标签识别模型确定为预训练对话文本标签识别模型。
[0130]
需要说明的是，用于训练预训练对话文本标签识别模型的执行主体可以为图1所示的服务器，也可以为其它计算设备，在此不作限定。
[0131]
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的对话文本标签识别模型训练方法，提升了标签预测结果的准确性。具体来说，造成标签预测结果的准确率较低的原因在于：利用lstm时序建模，无法并行预测用户与客服之间对话内容的标签，存在梯度爆炸的问题，造成标签预测结果的准确率较低。基于此，本公开的一些实施例的对话文本标签识别模型训练方法，首先，获取目标领域的标注对话文本组。其中，上述标注对话文本组中的标注对话文本包括对话信息序列。由此，可以利用目标领域的对话文本对模型进行优化。然后，对于上述标注对话文本组中的每个标注对话文本，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本。由此，可以将对话文本包括的多个对话信息进行构建，使得在后续训练过程中可以对多个对话信息并行预测。最后，基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型。由此，可以利用并行的对话信息对对话文本标签识别模型进行训练，避免了梯度爆炸的问题，提升了标签预测结果的准确性。
[0132]
进一步参考图4，示出了根据本公开的对话文本标签识别方法的一些实施例。该对话文本标签识别方法，包括以下步骤：
[0133]
步骤401，获取目标对话文本。
[0134]
在一些实施例中，对话文本标签识别方法的执行主体(例如图1所示的服务器)可以通过有线连接或无线连接的方式从终端设备中获取目标对话文本。其中，目标对话文本可以是指目标领域的对话文本。例如，可以参见图5，上述执行主体可以从手机终端中获取目标对话文本“a：您好，在吗；001：您好，在的，001号员工为您服务；a：请问，开店入驻需要哪些手续呢”。这里，a可以表示对话角色为用户，001可以表示对话角色为客服人员。
[0135]
步骤402，将上述目标对话文本输入至预先训练的对话文本标签识别模型中，得到对话文本标签。
[0136]
在一些实施例中，上述执行主体可以将上述目标对话文本输入至预先训练的对话文本标签识别模型中，得到对话文本标签。其中，预先训练的对话文本标签识别模型可以是通过本公开一些实施例的对话文本标签识别模型训练方法生成的。
[0137]
从图4可以看出，图4对应的一些实施例中的流程400可以准确地识别出对话文本的文本标签，便于根据文本标签向用户推送信息。
[0138]
进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种对话文本标签识别模型训练装置的一些实施例，这些装置实施例与图2所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0139]
如图6所示，一些实施例的对话文本标签识别模型训练装置600包括：获取单元601、标识单元602和训练单元603。其中，获取单元601，被配置成获取目标领域的标注对话文本组，其中，上述标注对话文本组中的标注对话文本包括对话信息序列；标识单元602，被配置成对于上述标注对话文本组中的每个标注对话文本，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处
理，以生成标识后的标注对话文本作为标注对话样本；训练单元603，被配置成基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型。
[0140]
可选地，上述各个对话角色中的对话角色对应上述对话信息序列中的对话信息。
[0141]
可选地，标识单元602，被进一步配置成：根据上述各个对话角色，对上述对话信息序列进行聚类处理，以生成对话信息组序列；对于上述对话信息组序列中的每个对话信息组，执行如下处理步骤：确定上述对话信息组对应的对话角色的角色标识，其中，上述对话信息组中的对话信息具有排列顺序；在上述对话信息组的起始位置添加上述角色标识，以对上述对话信息组进行更新；在更新后的对话信息组中的每两个对话信息之间添加对话分割标识；将添加完成后的标注对话文本样本确定为标识对话文本样本。
[0142]
可选地，获取单元601，被进一步配置成：获取目标领域的待标注对话文本集；对上述待标注对话文本集进行脱敏处理，以生成脱敏待标注对话文本集；对上述脱敏待标注对话文本集进行数据清洗处理，以生成清洗待标注对话文本集；对上述清洗待标注对话文本集中的每个清洗待标注对话文本进行标注处理，以生成清洗标注对话文本，得到清洗标注对话文本集；对上述清洗标注对话文本集进行数据检验处理，得到数据检验后的清洗标注对话文本集作为标注对话文本组。
[0143]
可选地，获取单元601，被进一步配置成：根据预设的随机数种子组和上述清洗标注对话文本集，生成清洗标注对话文本组集组，其中，上述随机数种子组中的各个随机数种子不同，上述随机数种子组中的随机数种子对应上述清洗标注对话文本组集组中的清洗标注对话文本组集；对于上述清洗标注对话文本组集组中的每个清洗标注对话文本组集，根据上述清洗标注对话文本组集和初始对话文本预测模型，生成对应上述清洗标注对话文本组集的预测结果；响应于所生成的各个预测结果满足预设检验条件，将上述清洗标注对话文本集确定为标注对话文本组。
[0144]
可选地，获取单元601，被进一步配置成：对于上述清洗标注对话文本组集中的每个清洗标注对话文本组，执行如下处理步骤：将上述清洗标注对话文本组确定为测试对话文本组；基于训练标注对话文本组集，对上述初始对话文本预测模型进行训练，得到训练完成的初始对话文本预测模型作为对话文本预测模型，其中，上述训练标注对话文本组集为：上述清洗标注对话文本组集中除上述清洗标注对话文本组之外的各个清洗标注对话文本组；将上述测试对话文本组输入至上述对话文本预测模型中，得到测试对话文本预测结果；将所生成的各个测试对话文本预测结果组合为预测结果。
[0145]
可选地，获取单元601，被进一步配置成：基于上述随机数种子组中的每个随机数种子，通过上述随机数种子对上述清洗标注对话文本集进行划分，以生成清洗标注对话文本组集；将所生成的各个清洗标注对话文本组集确定为清洗标注对话文本组集组。
[0146]
可选地，训练单元603，被进一步配置成：从上述各个标注对话样本中选择标注对话样本，其中，上述标注对话样本包括对话样本和对应上述对话样本的对话标签；将第一标识添加至上述对话样本的起始位置，以及将第二标识添加至上述对话样本的末尾位置；对添加完成的对话样本进行位置编码处理，以生成对话样本向量；将上述对话样本向量输入至上述预训练对话文本标签识别模型中，得到对话文本标签识别结果；确定上述对话文本标签识别结果与上述对话标签的损失值；响应于上述损失值大于预设损失值，调整上述预
训练对话文本标签识别模型的网络参数。
[0147]
可选地，装置600还包括：确定单元，被配置成：响应于上述损失值小于等于预设损失值，将训练后的预训练对话文本标签识别模型确定为对话文本标签识别模型。
[0148]
可选地，上述预训练对话文本标签识别模型包括：编码网络、第一映射模型、第二映射模型、第三映射模型与第四映射模型，上述编码网络包括：第一编码网络、第二编码网络、第三编码网络与第四编码网络。
[0149]
可选地，训练单元603，被进一步配置成：将上述对话样本向量输入至上述第一编码网络，得到第一编码对话文本样本向量；将上述第一编码对话文本样本向量输入至上述第一映射模型中，得到第一对话文本标签识别结果；将上述第一编码对话文本样本向量输入至上述第二编码网络，得到第二编码对话文本样本向量；将上述第二编码对话文本样本向量输入至上述第二映射模型中，得到第二对话文本标签识别结果；将上述第二编码对话文本样本向量输入至上述第三编码网络，得到第三编码对话文本样本向量。
[0150]
可选地，训练单元603，被进一步配置成：将上述第三编码对话文本样本向量输入至上述第三映射模型中，得到第三对话文本标签识别结果；将上述第三编码对话文本样本向量输入至上述第四编码网络，得到第四编码对话文本样本向量；将上述第四编码对话文本样本向量输入至上述第四映射模型中，得到第四对话文本标签识别结果；将上述第一对话文本标签识别结果、上述第二对话文本标签识别结果、上述第二对话文本标签识别结果与上述第二对话文本标签识别结果组合为对话文本标签识别结果。
[0151]
可选地，上述预训练对话文本标签识别模型是通过以下步骤训练得到的：从对话文本样本集中选择对话文本样本；将第一标识添加至上述对话文本样本的起始位置，以及将第二标识添加至上述对话文本样本的末尾位置；对添加完成的对话文本样本进行位置编码处理，以生成对话文本样本向量；将上述对话文本样本向量输入至初始对话文本标签识别模型中，得到对话文本标签识别结果；基于上述对话文本标签识别结果，调整上述初始对话文本标签识别模型的网络参数。
[0152]
可以理解的是，该装置600中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置600及其中包含的单元，在此不再赘述。
[0153]
进一步参考图7，作为对上述各图所示方法的实现，本公开提供了一种对话文本标签识别装置的一些实施例，这些装置实施例与图4所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0154]
如图7所示，一些实施例的对话文本标签识别装置700包括：文本获取单元701和输入单元702。其中，文本获取单元701，被配置成获取目标对话文本；输入单元702，被配置成将上述目标对话文本输入至预先训练的对话文本标签识别模型中，得到对话文本标签，其中，上述对话文本标签识别模型是通过本公开一些实施例的对话文本标签识别模型训练方法生成的。
[0155]
可以理解的是，该装置700中记载的诸单元与参考图4描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置700及其中包含的单元，在此不再赘述。
[0156]
下面参考图8，其示出了适于用来实现本公开的一些实施例的电子设备(例如图1
protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
[0162]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标领域的标注对话文本组，其中，上述标注对话文本组中的标注对话文本包括对话信息序列；对于上述标注对话文本组中的每个标注对话文本，根据上述标注对话文本包括的对话信息序列对应的各个对话角色，对上述标注对话文本包括的对话信息序列进行标识处理，以生成标识后的标注对话文本作为标注对话样本；基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型。
[0163]
或使得该电子设备：获取目标对话文本；将上述目标对话文本输入至预先训练的对话文本标签识别模型中，得到对话文本标签，其中，上述对话文本标签识别模型是通过本公开一些实施例的对话文本标签识别模型训练方法生成的。
[0164]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0165]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0166]
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、标识单元和训练单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，训练单元还可以被描述为“基于所生成的各个标注对话样本，对预训练对话文本标签识别模型进行训练，得到训练后的预训练对话文本标签识别模型作为对话文本标签识别模型的单元”。
[0167]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例
如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
[0168]
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。