语句分类模型的训练方法、装置、电子设备及存储介质与流程

本技术涉及人工智能，特别是涉及一种语句分类模型的训练方法、装置、电子设备及存储介质。

背景技术：

1、当下，随着人工智能技术的发展，越来越多相关的应用被开发出来，给人们的工作、学习带来了诸多便捷。其中，语句分类是一种可以识别目标语句属于何种预定类别的技术，可以广泛应用在人机交互、情感识别、语义分析、信息归纳等各个领域。

2、相关技术中，一般使用机器学习模型来进行语句分类，为了尽可能提高语句分类的准确性，需要采用大量具有标签的样本语句对机器学习模型进行训练，而标签的制作过程往往耗时较长，人工成本较高，并且训练出来的模型抗干扰能力较差，实际投入运行时分类准确率偏低。

技术实现思路

1、本技术实施例提供了一种语句分类模型的训练方法、装置、电子设备及存储介质，能够降低模型的训练成本，且提高语句分类的准确率。

2、一方面，本技术实施例提供了一种语句分类模型的训练方法，所述方法包括：

3、获取多个第一样本语句以及各个所述第一样本语句对应的第二特征数据；其中，所述第二特征数据通过第二编码器提取得到，所述第二编码器和所述第一编码器的结构相同；

4、通过所述第一编码器提取所述第一样本语句的第三特征数据，对所述第三特征数据添加随机扰动得到第四特征数据；

5、根据所述第三特征数据和所述第四特征数据的第一相似度，以及所述第三特征数据和所述第二特征数据的第二相似度，确定训练的第一损失值；其中，所述第一损失值和所述第一相似度负相关，所述第一损失值和所述第二相似度正相关；

6、根据所述第一损失值，更新所述第一编码器的第一参数，得到训练好的第一编码器。

7、另一方面，本技术实施例提供了一种语句分类方法，所述方法包括：

8、获取目标语句，通过第一编码器提取所述目标语句的第一特征数据；

9、将所述第一特征数据输入到分类器中，得到所述目标语句对应的分类结果；

10、其中，所述第一编码器通过前述实施例中的语句分类模型的训练方法训练得到。

11、另一方面，本技术实施例还提供了一种语句分类模型的训练装置，所述语句分类模型包括第一编码器和分类器，训练装置包括：

12、获取单元，用于获取多个第一样本语句以及各个所述第一样本语句对应的第二特征数据；其中，所述第二特征数据通过第二编码器提取得到，所述第二编码器和所述第一编码器的结构相同；

13、提取单元，用于通过所述第一编码器提取所述第一样本语句的第三特征数据，对所述第三特征数据添加随机扰动得到第四特征数据；

14、处理单元，用于根据所述第三特征数据和所述第四特征数据的第一相似度，以及所述第三特征数据和所述第二特征数据的第二相似度，确定训练的第一损失值；其中，所述第一损失值和所述第一相似度负相关，所述第一损失值和所述第二相似度正相关；

15、更新单元，用于根据所述第一损失值，更新所述第一编码器的第一参数，得到训练好的第一编码器。

16、进一步，上述的获取单元具体用于：

17、获取样本文本数据；

18、对所述样本文本数据进行语句分割处理，得到所述第一样本语句。

19、进一步，所述第三特征数据的数据格式为向量，所述对所述第三特征数据添加随机扰动得到第四特征数据，包括：

20、从所述第三特征数据的向量维度中随机确定出至少一个目标维度；

21、将所述第三特征数据中处于所述目标维度的元素数值替换为0，得到所述第四特征数据。

22、进一步，所述根据所述第一损失值，更新所述第一编码器的第一参数的步骤之后，所述方法还包括：

23、获取所述第二编码器的第二参数；

24、对所述第一参数和所述第二参数进行加权求和，得到第三参数；

25、根据所述第三参数，更新所述第二参数。

26、进一步，所述根据所述第一损失值，更新所述第一编码器的第一参数，得到训练好的第一编码器，包括：

27、根据所述第一损失值计算得到初始参数，并检测所述第一编码器训练所处的当前迭代轮次；

28、若所述当前迭代轮次小于或者等于第一阈值，以所述初始参数作为当前迭代轮次的第一参数，并返回所述获取多个第一样本语句以及各个所述第一样本语句对应的第二特征数据的步骤继续迭代训练；

29、或者，若所述当前迭代轮次大于所述第一阈值且小于第二阈值，计算若干历史迭代轮次下所述第一编码器的第一参数的平均参数值，根据所述平均参数值和所述初始参数确定当前迭代轮次的第一参数，并返回所述获取多个第一样本语句以及各个所述第一样本语句对应的第二特征数据的步骤继续迭代训练；其中，所述第二阈值大于所述第一阈值；

30、或者，若所述当前迭代轮次等于所述第二阈值，结束所述第一编码器的训练，得到训练好的第一编码器。

31、进一步，所述计算若干历史迭代轮次下所述第一编码器的第一参数的平均参数值，包括：

32、确定距离所述当前迭代轮次最近的历史迭代轮次节点；

33、根据所述历史迭代轮次节点，选取指定个数的目标历史迭代轮次；

34、计算所述目标历史迭代轮次下所述第一编码器的第一参数的平均参数值。

35、进一步，所述根据所述平均参数值和所述初始参数确定当前迭代轮次的第一参数，包括：

36、根据所述平均参数值和第一权重的乘积，得到第一数值；

37、根据所述初始参数和第二权重的乘积，得到第二数值；

38、对所述第一数值和所述第二数值进行求和，得到所述第一参数；

39、其中，所述第一权重大于所述第二权重。

40、进一步，所述第三特征数据和所述第四特征数据的数据格式为向量，所述第一相似度通过以下步骤计算得到：

41、计算所述第三特征数据的第一向量长度和所述第四特征数据的第二向量长度；

42、根据所述第一向量长度和所述第二向量长度的乘积得到第三数值，根据所述第三特征数据和所述第四特征数据的内积得到第四数值；

43、根据所述第四数值和所述第三数值的商，得到所述第一相似度。

44、进一步，所述分类器通过以下步骤训练得到：

45、获取多个第二样本语句以及各个所述第二样本语句对应的标签；其中，所述标签用于表征所述第二样本语句的真实类别；

46、通过所述第一编码器提取所述第二样本语句的第五特征数据；

47、将所述第五特征数据输入到所述分类器中，得到所述第二样本语句对应的第一预测结果；

48、根据所述第一预测结果和所述标签，确定训练的第二损失值；

49、根据所述第二损失值，更新所述分类器的第四参数，得到训练好的分类器。

50、进一步，所述分类器的训练过程还包括：

51、向所述第五特征数据添加扰动数据得到第六特征数据；

52、将所述第六特征数据输入到所述分类器中，得到所述第二样本语句对应的第二预测结果；

53、根据所述第二预测结果和所述标签，确定训练的第三损失值；

54、根据所述第三损失值，更新所述分类器的第四参数。

55、进一步，所述向所述第五特征数据添加扰动数据得到第六特征数据，包括：

56、计算所述分类器对应的损失函数在所述扰动数据叠加处的梯度；

57、在所述第五特征数据上，向所述损失函数的梯度增加的方向叠加所述扰动数据，得到所述第六特征数据。

58、另一方面，本技术实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的语句分类模型的训练方法。

59、另一方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现上述的语句分类模型的训练方法。

60、另一方面，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行实现上述的语句分类模型的训练方法。

61、本技术实施例至少包括以下有益效果：本技术提供一种语句分类模型的训练方法，在模型训练阶段，获取用于训练第一编码器的第一样本语句，使用和第一编码器结构相同的第二编码器提取第一样本语句的第二特征数据作为负样本，并使用第一编码器提取到的第一样本语句的第三特征数据、以及对第三特征数据添加随机扰动得到的第四特征数据作为正样本，通过无监督对比学习的方式来确定训练的损失值，从而更新第一编码器的第一参数。当完成语句分类模型的训练后，在模型应用阶段，通过第一编码器提取目标语句的第一特征数据，然后将其输入到分类器中得到对应的分类结果。本技术实施例一方面在训练第一编码器时采用无监督学习的算法，无需标签数据，能够降低模型的训练成本和耗时，提高训练效率；另一方面，通过添加随机扰动构造复杂多变的特征数据，可以有效提高模型的鲁棒性和泛化性，进而有利于提高语句分类的准确率。

62、本技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。