文本分类方法、装置、电子设备和存储介质与流程

本发明涉及数据安全，特别涉及一种文本分类方法、一种文本分类装置、一种电子设备和一种计算机可读存储介质。

背景技术：

1、随着信息化的深入发展，数据泄露事件频发，数据安全越发受到重视。为此，相关部门对数据实行分类分级保护，制定重要数据目录，加强对重要数据的保护。

2、分类分级的基础在于数据分类，分类的准确性就决定分级的结果。所有的数据通过任务的鉴定类别是不可能的，特别是对于企业内成百上千的文件，单凭人工是无法做分类分级管控的。因此，亟需一种准确高效的数据分类方法去实现以上的需求。

技术实现思路

1、鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的文本分类方法。

2、本发明实施例还提供了一种文本分类装置、电子设备和存储介质，以保证上述方法的实施。

3、为了解决上述问题，本发明实施例公开了一种文本分类方法，应用于分类引擎系统，所述分类引擎系统包括多个预测模型，所述预测模型为训练好的bert模型，所述方法包括：

4、接收用户的预测请求；所述预测请求包括待预测文本和模型标识；

5、从所述多个预测模型中确定与所述模型标识匹配的目标预测模型；

6、从所述待预测文本中截取多个文字，并分别对所述多个文字进行转换，得到多个字典参数；

7、将所述多个字典参数输入至所述目标预测模型中，通过所述目标预测模型根据所述多个字典参数预测所述待预测文本所属的目标类别信息；

8、向所述用户返回针对所述预测请求的目标类别信息。

9、可选地，所述目标预测模型具有多个类别信息的特征；所述通过所述目标预测模型根据所述多个字典参数预测所述待预测文本所属的目标类别信息，包括：

10、通过所述目标预测模型计算所述多个字典参数分别与所述多个类别信息的特征之间的相似值，得到多个相似值；

11、通过所述目标预测模型从所述多个相似值中确定最大的目标相似值；

12、通过所述目标预测模型将所述目标相似值所对应的类别信息确定为所述待预测文本所属的目标类别信息。

13、可选地，所述从所述待预测文本中截取多个文字，包括：

14、从所述待预测文本中截取排序靠前的预设数量的多个文字。

15、可选地，所述预测模型通过如下方式训练得到：

16、获取预设循环轮次，以及获取不同类别的样本文本；

17、对所述不同类别的样本文本进行处理，得到训练集和测试集；

18、获取预训练得到的初始模型；

19、按照所述预设循环轮次，将所述训练集输入至所述初始模型中进行循环训练，以及将所述测试集输入至所述初始模型中进行循环测试，直至完成所有所述预设循环轮次，获得所述预测模型。

20、可选地，所述按照所述预设循环轮次，将所述训练集输入至所述初始模型中进行循环训练，以及将所述测试集输入至所述初始模型中进行循环测试，直至完成所有所述预设循环轮次，获得所述预测模型，包括：

21、将所述训练集分成多个批次的样本文本；

22、在每个轮次中，将所述多个批次的样本文本依次输入至所述初始模型中进行训练，得到更新后的模型参数；

23、在每个轮次中，基于所述更新后的模型参数，将所述测试集中的各个样本文本依次输入至所述初始模型中进行测试，得到模型准确率；

24、在每个轮次中，判断当前轮次的模型准确率是否大于准确率阈值；

25、若是，则删除在先保存的预测模型，以保存当前轮次训练得到的预测模型，并将所述准确率阈值更新为所述当前轮次的模型准确率，并返回所述在每个轮次中，将所述多个批次的样本文本依次输入至所述初始模型中进行训练，得到更新后的模型参数的步骤；其中，保存格式为开放神经网络交换onnx格式；

26、若否，则保留在先保存的预测模型，并返回所述在每个轮次中，将所述多个批次的样本文本依次输入至所述初始模型中进行训练，得到更新后的模型参数的步骤；

27、直至完成所有所述预设循环轮次时，将当前保存的预测模型作为最终的预测模型。

28、可选地，所述对所述不同类别的样本文本进行处理，得到训练集和测试集，包括：

29、针对同一类别的样本文本进行划分，得到用于训练的样本文本和用于测试的样本文本；

30、将不同类别的所述用于训练的样本文本进行合并，得到训练集，以及将不同类别的所述用于测试的样本文本进行合并，得到测试集。

31、可选地，所述方法还包括：

32、将训练完成的预测模型进行注册。

33、本发明实施例还公开了一种文本分类装置，应用于分类引擎系统，所述分类引擎系统包括多个预测模型，所述预测模型为训练好的bert模型，所述装置包括：

34、预测请求接收模块，用于接收用户的预测请求；所述预测请求包括待预测文本和模型标识；

35、目标预测模型确定模块，用于从所述多个预测模型中确定与所述模型标识匹配的目标预测模型；

36、转换模块，用于从所述待预测文本中截取多个文字，并分别对所述多个文字进行转换，得到多个字典参数；

37、预测模块，用于将所述多个字典参数输入至所述目标预测模型中，通过所述目标预测模型根据所述多个字典参数预测所述待预测文本所属的目标类别信息；

38、目标类别信息返回模块，用于向所述用户返回针对所述预测请求的目标类别信息。

39、可选地，所述目标预测模型具有多个类别信息的特征；所述预测模块包括：

40、相似值计算子模块，用于通过所述目标预测模型计算所述多个字典参数分别与所述多个类别信息的特征之间的相似值，得到多个相似值；

41、最大的目标相似值确定子模块，用于通过所述目标预测模型从所述多个相似值中确定最大的目标相似值；

42、目标类别信息确定子模块，用于通过所述目标预测模型将所述目标相似值所对应的类别信息确定为所述待预测文本所属的目标类别信息。

43、可选地，所述转换模块包括：

44、截取子模块，用于从所述待预测文本中截取排序靠前的预设数量的多个文字。

45、可选地，所述预测模型通过如下模块训练得到：

46、样本文本获取模块，用于获取预设循环轮次，以及获取不同类别的样本文本；

47、样本文本处理模块，用于对所述不同类别的样本文本进行处理，得到训练集和测试集；

48、初始模型获取模块，用于获取预训练得到的初始模型；

49、训练模块，用于按照所述预设循环轮次，将所述训练集输入至所述初始模型中进行循环训练，以及将所述测试集输入至所述初始模型中进行循环测试，直至完成所有所述预设循环轮次，获得所述预测模型。

50、可选地，所述训练模块包括：

51、第一划分子模块，用于将所述训练集分成多个批次的样本文本；

52、训练子模块，用于在每个轮次中，将所述多个批次的样本文本依次输入至所述初始模型中进行训练，得到更新后的模型参数；

53、测试子模块，用于在每个轮次中，基于所述更新后的模型参数，将所述测试集中的各个样本文本依次输入至所述初始模型中进行测试，得到模型准确率；

54、准确率判断子模块，用于在每个轮次中，判断当前轮次的模型准确率是否大于准确率阈值；

55、第一返回子模块，用于若是，则删除在先保存的预测模型，以保存当前轮次训练得到的预测模型，并将所述准确率阈值更新为所述当前轮次的模型准确率，并返回所述在每个轮次中，将所述多个批次的样本文本依次输入至所述初始模型中进行训练，得到更新后的模型参数的步骤；其中，保存格式为开放神经网络交换onnx格式；

56、第二返回子模块，用于若否，则保留在先保存的预测模型，并返回所述在每个轮次中，将所述多个批次的样本文本依次输入至所述初始模型中进行训练，得到更新后的模型参数的步骤；

57、预测模型确定子模块，用于直至完成所有所述预设循环轮次时，将当前保存的预测模型作为最终的预测模型。

58、可选地，所述样本文本处理模块包括：

59、第二划分子模块，用于针对同一类别的样本文本进行划分，得到用于训练的样本文本和用于测试的样本文本；

60、合并子模块，用于将不同类别的所述用于训练的样本文本进行合并，得到训练集，以及将不同类别的所述用于测试的样本文本进行合并，得到测试集。

61、可选地，所述装置还包括：

62、注册模块，用于将训练完成的预测模型进行注册。

63、本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口以及所述存储器通过所述通信总线完成相互间的通信；

64、所述存储器，用于存放计算机程序；

65、所述处理器，用于执行存储器上所存放的程序时，实现如本发明实施例所述的文本分类方法。

66、本发明实施例还公开了一种计算机可读介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例所述的文本分类方法。

67、与现有技术相比，本发明实施例包括以下优点：

68、在本发明实施例中，接收用户的预测请求；预测请求包括待预测文本和模型标识；从多个预测模型中确定与模型标识匹配的目标预测模型；从待预测文本中截取多个文字，并分别对多个文字进行转换，得到多个字典参数；将多个字典参数输入至目标预测模型中，通过目标预测模型根据多个字典参数预测待预测文本所属的目标类别信息；向用户返回针对预测请求的目标类别信息。本发明实施例通过预测模型实现文本类别的预测，可替代人工分类，从而大大提升分类效率，且预测模型是bert模型，bert模型所需的训练样本量可大大减小，训练出模型的准确性也有一定的提升。