对话文本分类模型的训练及分类方法、系统、设备、介质与流程

1.本发明涉及对话文本分类技术领域，具体地说，涉及一种对话文本分类模型的训练及分类方法、系统、设备、介质。


背景技术：

2.现有技术中，客服在应答客户的来电时，通常需要在明白客户来电意图后，比如是投诉酒店卫生或隔音，或者取消酒店客房订单，在企业系统中点击对应的客户诉求类目，比如通过点击“创建事件”等指令触发，然后系统向客服展示对应的应答话术等信息，帮助客服提高来电应答效率。
3.但是上述全流程需要客服手动触发指令才能展示相应的话术，而客服触发指令可能产生延迟，导致对应答效率产生不利影响。所以本技术利用对话文本分类模型对通话音频转换生成的文本直接分类，确定对应的客户诉求类目，然后展示对应的话术。但是现有技术中，用于训练上述对话文本分类模型的训练文本，由于存在不同程度的冗余，所以不利于保证模型的鲁棒性。
4.具体来说，即训练文本是由客服的历史应答数据构建的，诉求分类指令触发的时机因人而异，不同的客服操作习惯往往不同：有的客服在对话能判断出诉求类型时立即点击按钮，有的客服偏向于在对话结束后再点击，因此训练模型的对话文本内容，往往存在不同程度的冗余，这种冗余对于模型的判断构成噪声干扰。但如果直接依据诉求对应的关键信息所在的消息id截取当前句及上文，作为样本。这种样本的构造方式会影响模型训练效果，准确性得不到保证。


技术实现要素：

5.针对现有技术中的问题，本发明的目的在于提供一种对话文本分类模型的训练及分类方法、系统、设备、介质，解决现有技术中对话文本分类模型训练时存在噪声干扰的问题。
6.为实现上述目的，本发明提供了一种对话文本分类模型的训练方法，所述方法包括以下步骤：
7.s110，获取预训练语料；
8.s120，依据所述预训练语料，获取预设指令触发时的时间信息；
9.s130，依据所述时间信息，确定每一条所述预训练语料对应的样本长度；
10.s140，依据所述样本长度和所述时间信息，自每一条所述预训练语料中分别提取训练子样本；以及
11.s150，依据所述训练子样本，构建训练样本，并依据所述训练样本训练预设文本分类模型。
12.可选地，步骤s150包括：
13.识别出所述训练样本中的实体；
14.确定所述实体对应的实体类型，并将所述训练样本中的所述实体替换为对应的实体类型；
15.基于替换后的训练样本，训练预设文本分类模型。
16.可选地，步骤s120包括：
17.依据所述预训练语料，获取预设指令触发时的进程比信息；所述进程比信息为创单时间与电话通话时长的比值；所述创单时间为从电话接通到预设指令触发时的耗时；
18.步骤s130包括：
19.当所述进程比信息大于等于第一预设阈值时，所述样本长度为该条所述预训练语料的长度；
20.当所述进程比信息小于第一预设阈值时，所述样本长度为所述特征信息所在的消息id。
21.可选地，步骤s130包括：
22.当所述进程比信息小于第一预设阈值且所述创单时间小于第二预设阈值时，所述样本长度为所述特征信息所在的消息id；
23.当所述进程比信息小于第一预设阈值且所述创单时间大于等于第二预设阈值时，所述样本长度为所述特征信息所在的消息id与第一随机数的和。
24.可选地，步骤s130包括：
25.将满足预设条件的预训练语料划分为第一部分和第二部分；所述预设条件为：所述进程比信息小于第一预设阈值且所述创单时间小于第二预设阈值；
26.所述第一部分的预训练语料对应的样本长度为所述特征信息所在的消息id；
27.所述第二部分的预训练语料对应的样本长度为所述特征信息所在的消息id与第二随机数的和；所述第一随机数大于所述第二随机数。
28.可选地，步骤s140包括：
29.对每一条所述预训练语料分别进行vad断句，获得每一条所述预训练语料包含的多个文本片段；
30.将每一条所述预训练语料中前n个文本片段对应的语料，作为训练子样本；n等于样本长度。
31.可选地，步骤s140包括：
32.对每一条所述预训练语料分别进行vad断句，获得每一条所述预训练语料包含的多个文本片段；
33.将每一条所述预训练语料自第m个文本片段进行截断，并从第m+1个文本片段至最后一个文本片段中随机选取第一随机数的文本片段，利用前m个文本片段以及第一随机数的文本片段，构建训练子样本；m等于特征信息所在的消息id。
34.可选地，步骤s130包括：
35.将满足所述预设条件的预训练语料平分为所述第一部分和所述第二部分。
36.本发明还提供了一种对话文本分类方法，应用预设文本分类模型对通话音频对应的文本进行分类，所述预设文本分类模型采用上述任意一项对话文本分类模型的训练方法进行训练。
37.本发明还提供了一种对话文本分类模型的训练系统，用于实现上述对话文本分类
模型的训练方法，所述系统包括：
38.预训练语料获取模块，获取预训练语料；
39.时间信息获取模块，依据所述预训练语料，获取预设指令触发时的时间信息；
40.样本长度确定模块，依据所述时间信息，确定每一条所述预训练语料对应的样本长度；
41.训练子样本提取模块，依据所述样本长度和所述时间信息，自每一条所述预训练语料中分别提取训练子样本；以及
42.训练样本生成及训练模块，依据所述训练子样本，构建训练样本，并依据所述训练样本训练预设文本分类模型。
43.本发明还提供了一种对话文本分类模型的训练设备，包括：
44.处理器；
45.存储器，其中存储有所述处理器的可执行程序；
46.其中，所述处理器配置为经由执行所述可执行程序来执行上述任意一项对话文本分类模型的训练方法的步骤。
47.本发明还提供了一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述任意一项对话文本分类模型的训练方法的步骤。
48.本发明与现有技术相比，具有以下优点及突出性效果：
49.本发明提供的对话文本分类模型的训练及分类方法、系统、设备、介质通过具体考虑预训练语料中预设指令触发时的时间信息，依据该时间信息，确定每一条预训练语料对应截取的样本长度；另外对于部分语料，适当的往后多截取一些下文的方式，模拟线上因指令触发时机不一导致的样本噪声冗余环境，利于提升模型训练后的鲁棒性。
附图说明
50.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
51.图1为本发明一实施例公开的一种对话文本分类模型的训练方法的示意图；
52.图2为本发明一实施例公开的一种对话文本分类模型的训练方法中步骤s150的示意图；
53.图3为本发明另一实施例公开的一种对话文本分类模型的训练方法的示意图；
54.图4为本发明另一实施例公开的一种对话文本分类模型的训练方法的示意图；
55.图5为本发明另一实施例公开的一种对话文本分类模型的训练方法的示意图；
56.图6为本发明一实施例公开的一种对话文本分类模型的训练系统的结构示意图；
57.图7为本发明一实施例公开的一种对话文本分类模型的训练设备的结构示意图；
58.图8为本发明一实施例公开的一种计算机可读存储介质的结构示意图。
具体实施方式
59.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附
图标记表示相同或类似的结构，因而将省略对它们的重复描述。
60.如图1所示，本发明一实施例公开了一种对话文本分类模型的训练方法，该方法包括以下步骤：
61.s110，获取预训练语料。具体来说，也即获取所有客服的历史通话数据，该历史通话数据是客服与用户之间的电话通话。比如，用户可能出于某个诉求(比如为投诉酒店卫生)与客服沟通。该历史通话数据是客服与用户之间的电话接通后的通话数据，也即去除了响铃时长。
62.s120，依据上述预训练语料，获取预设指令触发时的时间信息。具体而言，预设指令触发可以为关键信息出现的时间，也可以为客服点击预设指令时触发的；比如，客服在工作系统中手动点击“创建事件”时触发。该预设指令触发时的时间信息可以由人工在预训练语料中对预设指令触发动作进行标注获得，也可以由系统自动识别预设指令触发动作而获得。上述时间信息可以包含有创单时间和/或进程比信息。该进程比信息为创单时间与电话通话时长的比值。所述创单时间为从电话接通到预设指令触发时的耗时。
63.s130，依据上述时间信息，确定每一条上述预训练语料对应的样本长度。具体实施时，可以依据时间信息中的进程比信息和创单时间。当进程比较大时，说明客服未及时触发预设指令，比如当客服点击创单时，对话都已经接近结束。此时利用完整的电话通话进行建模。这样可以避免直接依据诉求对应的关键信息所在的消息id截取当前句及上文作为样本，影响模型训练效果，准确性得不到保证的问题。此种情况下样本长度就等于预训练语料的全部文本片段个数。其中文本片段的判定方式可参考现有技术的vad(voice activity detection,语音活动检测)断句实现。
64.当进程比较小且创单时间较小时，说明客服及时触发了上述预设指令，此种情况下可以视为无冗余信息，或者冗余信息较少。可以直接自关键信息所在文本片段进行截断，利用预训练语料中的第一个文本片段至关键信息所在文本片段进行建模。这样可以避免将全部的预训练语料均用来建模，导致训练文本中出现多句冗余的消息，对模型构成噪声干扰，影响模型的鲁棒性。
65.当进程比较小且创单时间较大时，说明客服未及时触发预设指令，存在冗余信息；此时若将全部的预训练语料均用来建模，导致训练文本中的冗余信息较多，不利于保证模型训练的鲁棒性。若只截取关键信息所在文本片段及上文作为样本，影响模型训练效果，准确性得不到保证。所以，就在截取关键信息所在文本片段后，扩充一随机数的后文文本片段，比如关键信息所在文本片段之后的3句文本片段。这样得到的训练子样本的长度小于预训练语料的文本长度。此种情况下样本长度就等于关键信息所在的消息id和上述随机数之和。这样可以保证模型在该种情况下的训练准确性和鲁棒性。
66.s140，依据上述样本长度和上述时间信息，自每一条上述预训练语料中分别提取训练子样本。在本技术的一实施例中，步骤s140包括：
67.对每一条上述预训练语料分别进行vad断句，获得每一条上述预训练语料包含的多个文本片段。以及
68.将每一条上述预训练语料中前n个文本片段对应的语料，作为训练子样本。其中，n等于样本长度。也即，将关键信息所在的文本片段及上文作为训练子样本。本技术对训练子样本的提取不以此为限。
69.以及s150，依据上述训练子样本，构建训练样本，并依据上述训练样本训练预设文本分类模型。具体的训练过程可参考现有技术实现，本技术不再赘述。上述预设文本分类模型可利用现有技术的文本分类模型实现，本技术对此不作限制。
70.在本技术的另一实施例中，公开了另一种对话文本分类模型的训练方法。如图2所示，该方法在上述图1对应实施例的基础上，步骤s150包括：
71.s151，依据上述训练子样本，构建训练样本。
72.s152，识别出上述训练样本中的实体。
73.s153，确定上述实体对应的实体类型，并将上述训练样本中的上述实体替换为对应的实体类型。以及
74.s154，基于替换后的训练样本，训练预设文本分类模型。
75.具体实施时，可以利用所有的训练子样本的集合，构建训练样本。步骤s152中，可以利用ner(named entity recognition,命名实体识别)模型进行实体识别。识别出来之后，可以将具体的实体值替换为抽象的实体类型，这样可以避免后续训练过程中，归属于同一实体类型的不同实体值对分类模型的分类概率产生不利影响，利于提升模型的鲁棒性。
76.因为现有技术的客服电话通话场景中，比如存在订单入住日期、离店日期、房型、姓名等类型的实体，这类实体仅类型的语法，句法特征对模型分类有影响，但具体的值对模型分类无影响，因此实体信息存在冗余。同时比如“我在三月二十二入住的”和“我在三月十一入住的”两句话，如果划分事件的标准是是否有入住，这两句话则是同一个事件类型，其中的两个日期实体“三月二十二”和“三月十一”对类别的判别并无影响。但是，我们训练模型时往往出现一种情况，用第一句训练模型，第二句测试模型，因为两个样本字面不同，无法得到一模一样的结果。而如果将两个日期实体一开始就替换为“日期”两个字，则也可以抛开日期值的干扰，提高模型的鲁棒性。
77.本实施例中，比如针对实体：“我在三月二十二入住的”和“我在三月十一入住的”，均处理为“我在《checkindate》入住的”，再利用分类模型分类。
78.在本技术的另一实施例中，公开了另一种对话文本分类模型的训练方法。如图3所示，该方法在上述图1对应实施例的基础上，步骤s120替换为步骤s121：
79.依据上述预训练语料，获取预设指令触发时的进程比信息。上述进程比信息为创单时间与电话通话时长的比值。上述创单时间为从电话接通到预设指令触发时的耗时。
80.步骤s130替换为步骤s131：
81.当上述进程比信息大于等于第一预设阈值时，上述样本长度为该条上述预训练语料的长度。当上述进程比信息小于第一预设阈值时，上述样本长度为上述特征信息所在的消息id。
82.具体而言，即当进程比较大时，说明客服未及时触发预设指令，比如当客服点击创单时，对话都已经接近结束。此时利用完整的电话通话进行建模。这样可以避免直接依据诉求对应的关键信息所在的消息id截取当前句及上文作为样本，影响模型训练效果，准确性得不到保证的问题。当进程比较小时，直接自关键信息所在文本片段进行截断，利用关键信息所在文本片段及上文作为样本进行建模。上述关键信息即为特征信息。上述消息id即为对预训练语料进行vad断句，形成多个文本片段后，关键信息所在的文本片段对应的序数。其中，上述vad断句后形成的多个文本片段序列自1开始计数。
83.采用本实施例的上述技术方案，可以避免对于全部的预训练语料，均利用电话通话全文进行建模，或者均只截取关键信息所在文本片段及上文作为样本，无法平衡训练效果的鲁棒性和准确性的问题。
84.其中，具体实施时，上述第一预设阈值可以设为0.95，本技术不以此为限。
85.在本技术的另一实施例中，公开了另一种对话文本分类模型的训练方法。如图4所示，该方法在上述图3对应实施例的基础上，步骤s131替换为步骤s132：
86.当上述进程比信息大于等于第一预设阈值时，上述样本长度为该条上述预训练语料的长度。
87.当上述进程比信息小于第一预设阈值且上述创单时间小于第二预设阈值时，上述样本长度为上述特征信息所在的消息id。
88.当上述进程比信息小于第一预设阈值且上述创单时间大于等于第二预设阈值时，上述样本长度为上述特征信息所在的消息id与第一随机数的和。
89.具体而言，即当上述进程比信息小于第一预设阈值且上述创单时间小于第二预设阈值时，直接自关键信息所在文本片段进行截断，利用关键信息所在文本片段及上文作为样本进行建模。当上述进程比信息小于第一预设阈值且上述创单时间大于等于第二预设阈值时，在截取关键信息所在文本片段后，扩充一第一随机数的后文文本片段，然后利用关键信息所在文本片段及上文，以及后续随机扩充的文本片段共同作为样本，进行建模。这样可以模拟线上因指令触发时机不一导致的样本噪声冗余环境，利于提升模型训练后的鲁棒性。
90.其中，具体实施时，上述第二预设阈值可以设为75秒，本技术不以此为限。
91.在本技术的另一实施例中，公开了另一种对话文本分类模型的训练方法。该方法在上述图4对应实施例的基础上，步骤s132还包括：
92.将满足预设条件的预训练语料划分为第一部分和第二部分。上述预设条件为：上述进程比信息小于第一预设阈值且上述创单时间小于第二预设阈值；
93.上述第一部分的预训练语料对应的样本长度为上述特征信息所在的消息id。
94.上述第二部分的预训练语料对应的样本长度为上述特征信息所在的消息id与第二随机数的和。上述第一随机数大于上述第二随机数。
95.具体而言，也即对于第二部分的预训练语料在截取关键信息所在文本片段后，扩充一第二随机数的后文文本片段，然后该第二部分利用关键信息所在文本片段及上文，以及后续随机扩充的文本片段共同作为样本，进行建模。其余部分只利用截取的文本片段进行建模，这样既避免了模型训练过程中的噪声干扰，又可以模拟线上因指令触发时机不一导致的样本噪声冗余环境，利于提升模型训练后的鲁棒性。
96.本技术下面进行示例性说明：
97.通过对预训练语料进行统计分析后发现，参考下表1，可以将预训练语料划分为三类：
98.表1预训练语料统计分布表
99.类别对话量占比备注进程比0.95及以上的536635.07％全文进程比0.95以下，创单时间75s以下857056.01％及时创建
进程比0.95以下，创单时间75s及以上13658.92％未及时创建
100.具体而言，进程比大于0.95的对话，创单时对话都已经结束，亦即进程比大于0.95的对话，需要用对话的全文建模。进程比小于0.95的对话，有的电话通话时间特别长，即便进程比较小，如果创单时间比较大，也视为是有冗余信息，仅当进程比和创单时间都比较小的时候才视为无冗余信息，或者冗余信息较少。统计发现，进程比小于0.95,创单时间小于75s，是及时创建的，则冗余信息较少，进程比小于0.95，创单时间大于75s的，是不及时创建的，存在冗余信息。
101.该实施例确定的截取策略中，对于上表1中的35.07％的进程比大于等于0.95的预训练语料，采用完整的预训练语料全文进行建模。对于上表1中的56.01％的进程比小于0.95且创单时间小于75s的这部分预训练语料，其中的一半语料(即50％语料)利用关键信息所在文本片段及上文进行建模，另一半语料(即剩余的50％语料)不仅利用关键信息所在文本片段及上文，还从后续文本片段中扩充一第二随机数的后文文本片段，比如随机扩充0-5句，然后该第二部分利用关键信息所在文本片段及上文，以及后续随机扩充的文本片段共同作为样本，进行建模。
102.对于上表1中的8.92％的进程比小于0.95且创单时间大于等于75s的这部分预训练语料，不仅利用关键信息所在文本片段及上文，还从后续文本片段中扩充一第一随机数的后文文本片段，比如随机扩充6-15句，然后该第二部分利用关键信息所在文本片段及上文，以及后续随机扩充的文本片段共同作为样本，进行建模。
103.在本技术的另一实施例中，公开了另一种对话文本分类模型的训练方法。如图5所示，该方法在上述图1对应实施例的基础上，步骤s140替换为步骤s141：
104.对每一条上述预训练语料分别进行vad断句，获得每一条上述预训练语料包含的多个文本片段。将每一条上述预训练语料自第m个文本片段进行截断，并从第m+1个文本片段至最后一个文本片段中随机选取第一随机数的文本片段，利用前m个文本片段以及第一随机数的文本片段，构建训练子样本。m等于特征信息所在的消息id。
105.该实施例并非采用常规的利用关键信息所在文本片段及上文进行建模，而是在关键信息所在文本片段的后续片段中随机选取多个文本片段，共同作为样本进行建模，可以更佳地模拟线上因指令触发时机不一导致的样本噪声冗余环境，利于提升模型训练后的鲁棒性。
106.在本技术的另一实施例中，公开了另一种对话文本分类模型的训练方法。该方法在上述图4对应实施例的基础上，步骤s130包括：
107.将满足上述预设条件的预训练语料平分为上述第一部分和上述第二部分。上述预设条件为：上述进程比信息小于第一预设阈值且上述创单时间小于第二预设阈值。
108.上述第一部分的预训练语料对应的样本长度为上述特征信息所在的消息id。
109.上述第二部分的预训练语料对应的样本长度为上述特征信息所在的消息id与第二随机数的和。上述第一随机数大于上述第二随机数。
110.这样有利于保证模型训练的鲁棒性和准确性。
111.需要说明的是，本技术中公开的上述所有实施例可以进行自由组合，组合后得到的技术方案也在本技术的保护范围之内。
112.本发明一实施例还公开了一种对话文本分类方法，该方法应用预设文本分类模型
对通话音频对应的文本进行分类，上述预设文本分类模型采用上述任一实施例公开的对话文本分类模型的训练方法进行训练。
113.如图6所示，本发明一实施例还公开了一种对话文本分类模型的训练系统6，该系统包括：
114.预训练语料获取模块61，获取预训练语料。
115.时间信息获取模块62，依据上述预训练语料，获取预设指令触发时的时间信息。
116.样本长度确定模块63，依据上述时间信息，确定每一条上述预训练语料对应的样本长度。
117.训练子样本提取模块64，依据上述样本长度和上述时间信息，自每一条上述预训练语料中分别提取训练子样本。以及
118.训练样本生成及训练模块65，依据上述训练子样本，构建训练样本，并依据上述训练样本训练预设文本分类模型。
119.可以理解的是，本发明的对话文本分类模型的训练系统还包括其他支持对话文本分类模型的训练系统运行的现有功能模块。图6显示的对话文本分类模型的训练系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
120.本实施例中的对话文本分类模型的训练系统用于实现上述的对话文本分类模型的训练的方法，因此对于对话文本分类模型的训练系统的具体实施步骤可以参照上述对对话文本分类模型的训练的方法的描述，此处不再赘述。
121.本发明一实施例还公开了一种对话文本分类模型的训练设备，包括处理器和存储器，其中存储器存储有所述处理器的可执行程序；处理器配置为经由执行可执行程序来执行上述对话文本分类模型的训练方法中的步骤。图7是本发明公开的对话文本分类模型的训练设备的结构示意图。下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
122.如图7所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
123.其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述对话文本分类模型的训练方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
124.存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
125.存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
126.总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
127.电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备
等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
128.本发明还公开了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述对话文本分类模型的训练方法中的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述对话文本分类模型的训练方法中描述的根据本发明各种示例性实施方式的步骤。
129.如上所示，该实施例的计算机可读存储介质的程序在执行时，通过具体考虑预训练语料中预设指令触发时的时间信息，依据该时间信息，确定每一条预训练语料对应截取的样本长度；另外对于部分语料，适当的往后多截取一些下文的方式，模拟线上因指令触发时机不一导致的样本噪声冗余环境，利于提升模型训练后的鲁棒性。
130.图8是本发明的计算机可读存储介质的结构示意图。参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
131.程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
132.计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
133.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计
算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
134.本发明实施例提供的对话文本分类模型的训练及分类方法、系统、设备、介质通过具体考虑预训练语料中预设指令触发时的时间信息，依据该时间信息，确定每一条预训练语料对应截取的样本长度；另外对于部分语料，适当的往后多截取一些下文的方式，模拟线上因指令触发时机不一导致的样本噪声冗余环境，基于数据增强的方法模拟线上噪声分布的方法，利于提升模型训练后的鲁棒性。
135.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。