交流文本分类方法、装置、设备及存储介质与流程

1.本技术涉及人工智能技术，尤其涉及一种交流文本分类方法、装置、设备及存储介质。


背景技术：

2.金融机构交易员在利用专用或通用通讯工具进行聊天交流的过程中，会在合规场景中，掺杂着关于天气、美食、爱好等闲聊场景，以及信息泄露、内幕交易、利益输送、价格操控等违规场景。
3.目前金融机构交易员信息交流中所包含的合规场景以及闲聊场景、违规场景的识别和分类，由专人针对存量的交流信息通过人工分析、检查完成。
4.人工对交流文本进行识别和分类的方式效率低、成本高、并且严重依赖专家经验。


技术实现要素：

5.本技术提供一种交流文本分类方法、装置、设备及存储介质，用以解决人工对交流文本分类的方式效率低、成本高、严重依赖专家经验的问题。
6.第一方面，本技术提供一种交流文本分类方法，包括：
7.获取待分类的目标交流文本；所述目标交流文本为金融机构交易员之间的交流文本；
8.将所述目标交流文本输入到已训练至收敛的分类模型中，所述已训练至收敛的分类模型包括目标自然语言编码器、目标全连接层及目标归一化分类层；
9.采用所述目标自然语言编码器对所述目标交流文本进行特征编码，以获得目标特征编码数据；
10.采用所述目标全连接层对所述目标特征编码数据进行降维处理，以获得目标降维数据；
11.采用所述目标归一化分类层对所述目标降维数据进行归一化分类处理，以获得目标交流文本分类类别，所述目标交流文本分类类别为工作类别、闲聊类别及违规类别中的任意一种。
12.第二方面，本技术提供一种交流文本分类装置，包括：
13.获取模块，用于获取待分类的目标交流文本；所述目标交流文本为金融机构交易员之间的交流文本；
14.输入模块，用于将所述目标交流文本输入到已训练至收敛的分类模型中，所述已训练至收敛的分类模型包括目标自然语言编码器、目标全连接层及目标归一化分类层；
15.编码模块，用于采用所述目标自然语言编码器对所述目标交流文本进行特征编码，以获得目标特征编码数据；
16.降维模块，用于采用所述目标全连接层对所述目标特征编码数据进行降维处理，以获得目标降维数据；
17.分类模块，用于采用所述目标归一化分类层对所述目标降维数据进行归一化分类处理，以获得目标交流文本分类类别，所述目标交流文本分类类别为工作类别、闲聊类别及违规类别中的任意一种。
18.第三方面，本技术提供一种设备，包括：
19.处理器，以及与所述处理器通信连接的存储器；
20.所述存储器存储计算机执行指令；
21.所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面任一项所述的方法。
22.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面任一项所述的方法。
23.本技术提供的交流文本分类方法、装置、设备及存储介质，获取待分类的目标交流文本；所述目标交流文本为金融机构交易员之间的交流文本；将所述目标交流文本输入到已训练至收敛的分类模型中，所述已训练至收敛的分类模型包括目标自然语言编码器、目标全连接层及目标归一化分类层；采用所述目标自然语言编码器对所述目标交流文本进行特征编码，以获得目标特征编码数据；采用所述目标全连接层对所述目标特征编码数据进行降维处理，以获得目标降维数据；采用所述目标归一化分类层对所述目标降维数据进行归一化分类处理，以获得目标交流文本分类类别，所述目标交流文本分类类别为工作类别、闲聊类别及违规类别中的任意一种。通过分类模型对所述目标交流文本进行特征编码、降维处理和归一化分类处理，实现了目标交流文本的自动化分类。由于分类模型能够通过深度学习的方式自动对目标交流文本提取特征，并根据特征进行分类，因此，该方法提高了目标交流文本分类效率、降低了成本，并且降低了对专家经验的依赖。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
25.图1为本技术实施例提供的交流文本分类方法的应用场景图；
26.图2为本技术实施例一提供的交流文本分类方法的流程示意图；
27.图3为本技术实施例二提供的交流文本分类方法的流程示意图；
28.图4为本技术实施例三提供的交流文本分类方法的流程示意图；
29.图5为本技术实施例四提供的交流文本分类方法的流程示意图；
30.图6为本技术实施例五提供的交流文本分类方法的流程示意图；
31.图7为本技术实施例六提供的交流文本分类方法的流程示意图；
32.图8为本技术实施例七提供的交流文本分类方法的流程示意图；
33.图9为本技术实施例八提供的交流文本分类方法的流程示意图；
34.图10为本技术实施例九提供的交流文本分类方法的流程示意图；
35.图11为本技术实施例十提供的交流文本分类方法的流程示意图；
36.图12为本技术实施例十一提供的交流文本分类装置的结构示意图；
37.图13为本技术实施例十二提供的交流文本分类装置的结构示意图；
38.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
39.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
40.为了更好的理解本技术提供的交流文本分类方法，首先对现有技术做详细介绍。
41.目前在对金融机构交易员之间的交流文本进行分类时，一般采用人工方式从数据库中读取目标交流文本，并通过人工判别目标交流文本内容的方式对目标交流文本进行分类识别。这种方法效率低、成本高、并且严重依赖专家经验。为了解决这一问题，发明人经过创造性的研究发现，想要提高效率、降低成本、降低对专家经验的依赖，可以通过基于深度学习的分类模型对目标交流文本进行自动化识别与分类。要想实现对目标交流文本的自动化识别与分类，可以采用目标自然语言编码器对目标交流文本进行特征编码，以获得目标特征编码数据。要想将目标特征编码数据进行分类，可以先采用目标全连接层对目标特征编码数据进行降维处理，以获得目标降维数据，再采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别。
42.为了更好的了解本技术提供的交流文本分类方法，下面对本技术的应用场景做详细介绍。
43.图1为本技术实施例提供的交流文本分类方法的应用场景图。如图1所示，电子设备1上运行已训练至收敛的分类模型，数据库2存储金融机构交易员间的交流文本，即目标交流文本。当需要对金融机构交易员间的交流文本进行识别与分类时，电子设备1从数据库2中获取待分类的目标交流文本，将目标交流文本输入到已训练至收敛的分类模型中，采用目标自然语言编码器对目标交流文本进行特征编码，以获得目标特征编码数据，采用目标全连接层对目标特征编码数据进行降维处理，以获得目标降维数据，采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别。目标交流文本分类类别为工作类别、闲聊类别及违规类别中的任意一种。
44.本技术具体的应用场景为对金融机构交易员的交流文本进行自动化识别和分类。例如，目标交流文本1为“今天天气真是太糟糕了”，目标交流文本2为“对外放出消息，国际油价将要大涨”，目标交流文本3为“我们现在持有的基准汇率净买入订单增至4亿美元”。当需要对目标交流文本进行自动化识别与分类时，采用本技术提供的交流文本分类方法对以上三条目标交流文本进行分类，分类结果分别为闲聊类别，违规类别及工作类别。
45.需要说明的是，本技术提供的一种交流文本中违规内容的识别方法、装置、设备及存储介质，可应用于人工智能的技术领域，也可应用于除人工智能的以外的任意领域，本技术的应用领域不做限制。
46.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念
或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
47.首先对本技术所涉及的名词进行解释：
48.变换网络的双向编码器bert编码器：是一种自然语言理解编码器模型，输入自然语言语句，经过训练可得到语句中各个组成单元的编码表示。
49.全连接神经网络：最基本的神经网络，使输入di维向量经过变换得到do维向量。
50.可逆正则softmax归一化：一个含任意实数的k维向量z“压缩”到另一个k维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。
51.向量点乘：两个向量点乘的结果，等于这两个向量对应位相乘之后求和。
52.损失函数：将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“损失”的函数。
53.交叉熵损失：是一种损失函数，是用来衡量神经网络的预测值与真实值偏差的一种方式。
54.梯度反向传播：用来训练人工神经网络的常见方法，该方法对神经网络中所有权重计算损失函数的梯度，用来更新权值以最小化损失函数。
55.实施例一
56.本技术实施例为了解决人工方式对交流文本进行识别和分类效率低、成本高、严重依赖专家经验的问题，提供一种交流文本分类方法。该方法的执行主体为交流文本分类装置，图2为本技术实施例一提供的交流文本分类方法的流程示意图，如图2所示，该方法包括以下步骤：
57.步骤s101、获取待分类的目标交流文本。目标交流文本为金融机构交易员之间的交流文本。
58.其中，金融机构交易员是金融机构内负责进行金融交易的人员。目标交流文本是金融机构交易员之间的交流文本。
59.具体地，当用户需要对目标交流文本进行分类时，通过用户终端向电子设备发送文本分类请求，电子设备接收该请求，并通过监控软件从专用通讯软件服务端读取待分类的目标交流文本。
60.步骤s102、将目标交流文本输入到已训练至收敛的分类模型中，已训练至收敛的分类模型包括目标自然语言编码器、目标全连接层及目标归一化分类层。
61.其中，已训练至收敛的分类模型是指训练参数已调至最优的分类模型。
62.具体地，将目标交流文本输入到分类模型的目标自然语言编码器中。可以理解的是，目标自然语言编码器为已训练至收敛的自然语言编码器。其中，目标自然语言编码器种类不做具体限制，可以是任意一种自然语言编码器。
63.可选地，目标自然语言编码器可以是变换网络的双向编码器bert编码器。
64.步骤s103、采用目标自然语言编码器对目标交流文本进行特征编码，以获得目标特征编码数据。
65.具体地，不同目标自然语言编码器有不同的编码方式，对目标交流文本进行特征编码的方式不做具体限定，可根据实际使用的目标自然语言编码器来确定。
66.可选地，将目标交流文本输入到目标自然语言编码器中。采用目标自然语言编码器对目标交流文本进行特征编码，并将特征编码后的数据确定为目标交流文本对应的目标
特征编码数据，从目标自然语言编码器中输出目标特征编码数据。
67.步骤s104、采用目标全连接层对目标特征编码数据进行降维处理，以获得目标降维数据。
68.其中，目标全连接层是指已训练至收敛的全连接网络。
69.具体地，将目标特征编码数据输入到目标全连接层中。采用目标全连接层中的目标降维算法将目标特征编码数据降维到预设维度的目标向量，可选地，预设维度与分类类别列向量维度相同。将目标向量确定为目标降维数据。
70.步骤s105、采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别，目标交流文本分类类别为工作类别、闲聊类别及违规类别中的任意一种。
71.其中，目标归一化分类层为训练至收敛的归一化分类层。在目标归一化分类层中可以包括目标softmax归一化函数，也可以使用其他归一化函数。
72.可选地，将目标降维数据输入到目标归一化分类层。采用目标归一化分类层中的目标归一化函数基于目标降维数据确定目标交流文本属于各分类类别的概率。根据目标交流文本属于各分类类别的概率确定目标交流文本分类类别。
73.本技术实施例中，获取待分类的目标交流文本。目标交流文本为金融机构交易员之间的交流文本。将目标交流文本输入到已训练至收敛的分类模型中，已训练至收敛的分类模型包括目标自然语言编码器、目标全连接层及目标归一化分类层。采用目标自然语言编码器对目标交流文本进行特征编码，以获得目标特征编码数据。采用目标全连接层对目标特征编码数据进行降维处理，以获得目标降维数据。采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别，目标交流文本分类类别为工作类别、闲聊类别及违规类别中的任意一种。通过分类模型对目标交流文本进行特征编码、降维处理和归一化分类处理，实现了目标交流文本的自动化分类。由于分类模型能够通过深度学习的方式自动对目标交流文本提取特征，并根据特征进行分类，因此，该方法提高了目标交流文本分类效率、降低了成本，并且降低了对专家经验的依赖。
74.实施例二
75.图3为本技术实施例二提供的交流文本分类方法的流程示意图，如图3所示，在实施例一的基础上，本技术实施例涉及步骤s103采用目标自然语言编码器对目标交流文本进行特征编码，以获得目标特征编码数据的一种具体可实现方式。其中，目标自然语言编码器为已训练至收敛的变换网络的双向编码器bert编码器。在本技术实施例提供的交流文本分类方法中，采用目标自然语言编码器对目标交流文本进行特征编码，以获得目标特征编码数据，具体包括如下步骤：
76.步骤s201、将目标交流文本与预设的初始位置字符及终止位置字符拼接为目标字符串。
77.其中，初始位置字符一般用[cls]表示，终止位置字符一般用[sep]表示。
[0078]
具体地，将目标交流文本与初始位置字符串[cls]及终止位置字符串拼接为目标字符串。例如，目标交流文本为“今天天气糟糕透了”，拼接后的目标字符串为“[cls]今天天气糟糕透了[sep]”。
[0079]
步骤s202、将目标字符串输入到已训练至收敛的bert编码器中。
[0080]
具体地，将目标字符串作为输入数据输入到bert编码器中。比如，将目标字符串为“[cls]今天天气糟糕透了[sep]”输入到bert模型中。
[0081]
步骤s203、采用已训练至收敛的bert编码器对目标字符串进行特征编码，并将起始位置特征编码后的数据确定为目标交流文本对应的目标特征编码数据。
[0082]
其中，目标特征编码数据是一个多维列向量。一般维度为768维或1024维。
[0083]
具体地，已训练至收敛的bert编码器会采用768或1024位的编码向量对每个字符进行编码，从中提取出词法、语法及语义作为目标字符串的特征。由于起始位置的特征编码会受到目标交流文本特征的影响，因此一般将起始位置特征编码后的数据确定为目标交流文本对应的目标特征编码数据。
[0084]
示例性地，目标字符串“[cls]放出消息，国际油价将要大涨[sep]”进行特征编码后，会得到一个h维的列向量m。其中，h一般为768或1024。列向量m就是上述目标字符串的目标特征编码数据。
[0085]
本技术实施例中，目标自然语言编码器为已训练至收敛的变换网络的双向编码器bert编码器。将目标交流文本与预设的初始位置字符及终止位置字符拼接为目标字符串。将目标字符串输入到已训练至收敛的bert编码器中。采用已训练至收敛的bert编码器对目标字符串进行特征编码，并将起始位置特征编码后的数据确定为目标交流文本对应的目标特征编码数据。由于bert编码器是一种已训练至收敛模型，预先经过了大量文本的训练，对词法、语法及语义都经过了多次重复深度学习，因此，采用bert编码器对目标交流文本进行特征编码，能够更加准确地提取目标交流文本特征，得到更加准确的目标特征编码数据。
[0086]
实施例三
[0087]
图4为本技术实施例三提供的交流文本分类方法的流程示意图，如图4所示，在实施例一或实施例二的基础上，本技术实施例涉及步骤s104采用目标全连接层对目标特征编码数据进行降维处理，以获得目标降维数据的一种具体可实现方式。在本技术实施例提供的交流文本分类方法中，采用目标全连接层对目标特征编码数据进行降维处理，具体包括如下步骤：
[0088]
步骤s301、将目标特征编码输入到目标全连接层中。
[0089]
具体地，将目标特征编码作为输入数据输入到全连接网络中。
[0090]
步骤s302、采用目标全连接层中的目标降维算法将目标特征编码降维到预设维度的目标向量，预设维度与分类类别数量相同。
[0091]
其中，目标降维算法是指将目标特征编码进行降维的算法。
[0092]
可选地，定义一个分类类别列向量l，分类类别列向量维度与分类类别数量相同。分类类别列向量中的分量值代表分类类别。分类类别列向量涵盖所有待分类的目标交流文本分类类别。示例性地，分类类别列向量可以为l＝(0,1,2)，其中，0代表闲聊分类、1代表违规分类、2代表工作分类。预设维度与分类类别列向量维度相同。目标向量是指采用目标降维算法计算后得到的向量，其中，向量中的每个元素的值可以表示对应类别归类的得分。
[0093]
具体地，目标降维算法可以用公式表示为：
[0094]
h＝w*m+b
[0095]
其中，h代表目标特征编码降维后的目标向量，其维度为|l|。|l|为分类类别列向量l的长度。示例性地，分类类别列向量可以为[0,1,2]，0代表闲聊类别、1代表违规类别、2
代表工作类别。w和b均为训练参数。示例性地，继上一实施例示例，m为一个h维的列向量，则w为一个|l|*h的矩阵，b为一个维度为|l|的列向量。
[0096]
步骤s303、将目标向量确定为目标降维数据。
[0097]
其中，目标降维数据是指采用目标全连接层对目标特征编码数据经过降维处理后得到的数据。
[0098]
具体地，将目标向量是将目标特征编码降维到预设维度的向量，所以将目标向量确定为目标降维数据。
[0099]
本技术实施例中，目标全连接层中包括目标降维算法。将目标特征编码输入到目标全连接层中。采用目标全连接层中的目标降维算法将目标特征编码降维到预设维度的目标向量，预设维度与分类类别数量相同。将目标向量确定为目标降维数据。由于全连接网络在处理自然语言的语义分类方面非常有效，因此使用全连接网络对目标交流文本进行降维分类，能够更加准确，并且将目标特征编码降维到与分类类别数量相同的维度，对最终的分类过程提供更加简化的数据，保证分类过程更加快速地执行。
[0100]
实施例四
[0101]
图5为本技术实施例四提供的交流文本分类方法的流程示意图，如图5所示，在实施例一到实施例三任一实施例的基础上，本技术实施例涉及步骤s105目标归一化分类层包括目标softmax归一化函数，采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别的一种具体可实现方式。在本技术实施例提供的交流文本分类方法中，采用目标全连接层对目标特征编码数据进行降维处理，目标归一化分类层包括目标softmax归一化函数，采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别，具体包括如下步骤：
[0102]
步骤s401、将目标降维数据输入到目标归一化分类层。
[0103]
其中，目标归一化分类层是指对目标降维数据做归一化及分类处理的网络层。可以理解的是，目标归一化分类层为已训练至收敛的归一化分类层。
[0104]
具体地，将上述任一实施例得到的目标降维数据输入到目标归一化分类层中。
[0105]
步骤s402、采用目标归一化分类层中的目标softmax归一化函数基于目标降维数据确定目标交流文本属于各分类类别的概率。
[0106]
其中，目标softmax归一化函数公式可以表示为：
[0107][0108]
其中，p(i)是分类类别列向量l第i维分量对应分类类别的概率值。zi是目标降维数据第i维的分量值，zj是目标降维数据第j维的分量值。|l|为分类类别列向量l的长度。0≤i≤|l|,0≤j≤|l|。
[0109]
求出目标降维数据每个分量的概率，汇总形成目标降维数据概率分布向量：
[0110]
p＝(p(0),p(1),p(2),
…
p(|l|-1))
t
[0111]
在本实施例中，分类类别为三类，分别为：闲聊类别、违规类别及工作类别。所以p＝(p(0),p(1),p(2))
t
。其中，p(0)对应闲聊类别的概率，p(1)对应违规类别的概率,p(2)对应工作类别的概率。
[0112]
步骤s403、根据目标交流文本属于各分类类别的概率确定目标交流文本分类类别。
[0113]
可选地，将概率分布向量中的最大值对应的分类确定为目标交流文本分类类别。
[0114]
本技术实施例中，目标归一化分类层包括目标softmax归一化函数，将目标降维数据输入到目标归一化分类层。采用目标归一化分类层中的目标softmax归一化函数基于目标降维数据确定目标交流文本属于各分类类别的概率。根据目标交流文本属于各分类类别的概率确定目标交流文本分类类别。由于softmax归一化函数对目标降维数据预先做了指数化处理，因此，能够有效离散归一化后的概率值，使得目标交流文本分类效果更加突出。
[0115]
实施例五
[0116]
图6为本技术实施例五提供的交流文本分类方法的流程示意图，如图6所示，在实施例四的基础上，本技术实施例涉及步骤s403根据目标交流文本属于各分类类别的概率确定目标交流文本分类类别的一种具体可实现方式。在本技术实施例提供的交流文本分类方法中，根据目标交流文本属于各分类类别的概率确定目标交流文本分类类别，具体包括如下步骤：
[0117]
步骤s501、获取各分类类别的概率中最大概率。
[0118]
具体地，获取概率分布向量每个维度的概率值，两两对比，获取其中的最大概率。
[0119]
步骤s502、将最大概率与预设概率阈值进行对比。
[0120]
其中，预设概率阈值是指满足可分类条件的最低概率值。取值范围为[0,1]。如可以为0.85或0.95或其他适宜的数值，本实施例中对此不做限定。
[0121]
步骤s503、若确定最大概率大于或等于预设概率阈值，则确定目标交流文本分类类别为最大概率对应的分类类别。
[0122]
具体地，将最大概率与预设概率阈值进行对比。判断最大概率是否大于预设概率阈值。若确定最大概率大于或等于预设概率阈值，则说明最大概率满足目标交流文本分类条件，则确定目标交流文本分类类别为最大概率对应的分类类别。若确定最大概率小于预设概率阈值，则说明分类结果的区分度不够，无法确定分类结果的准确性。
[0123]
本技术实施例中，获取各分类类别的概率中最大概率，将最大概率与预设概率阈值进行对比。若确定最大概率大于或等于预设概率阈值，则确定目标交流文本分类类别为最大概率对应的分类类别。由于预设概率阈值时达到分类条件的最低概率值，因此，将最大概率与预设概率阈值进行对比，并将大于预设概率阈值的概率对应的分类类别确定为目标交流文本分类类别，能够更加准确。
[0124]
实施例六
[0125]
图7为本技术实施例六提供的交流文本分类方法的流程示意图，如图7所示，在实施例一到实施例五任一实施例的基础上，本技术实施例提供的交流文本分类方法中，在将目标交流文本输入到已训练至收敛的分类模型中之前，还包括对预设分类模型的训练的方案。则本实施例还包括以下技术方案：
[0126]
步骤s601、获取对预设分类模型进行训练的训练数据，训练数据包括：交流文本样本及标注的分类类别标签。
[0127]
其中，预设分类模型为训练参数为初始值的分类模型。在预设分类模型中包括预设自然语言编码器、预设全连接层及预设归一化分类层。
[0128]
具体地，从数据库中获取训练数据，在训练数据存到数据库之前，人工对样本数据进行分类类别标注，得到训练数据。所以，训练数据是指经过标注分类类别的历史交流文本数据。
[0129]
示例性地，对样本数据1“今天天气太糟糕了”标注为闲聊类别标签，对样本数据2“放出消息，国际油价将要大涨”标注为违规类别标签，对样本数据3“我们现在持有的基准汇率净买入订单增至4亿美元”标注为工作类别标签。
[0130]
步骤s602、采用训练数据对预设分类模型进行训练。
[0131]
可选地，将样本数据输入到自然语言编码器中，采用自然语言编码器对样本数据进行特征编码，得到样本特征编码数据。采用全连接网络或卷积网络对样本特征编码数据进行降维处理，以获得样本降维数据。采用归一化模型对样本降维数据进行归一化分类处理，以获得交流文本样本的训练中的分类类别。
[0132]
可选地，自然语言编码器可以是变换网络的双向编码器bert编码器。
[0133]
步骤s603、将满足预设的训练收敛条件的分类模型确定为训练至收敛的分类模型。
[0134]
其中，预设的训练收敛条件是指模型训练参数调整至最优时的条件。预设的训练收敛条件不做具体限定，可以为损失函数值最小。
[0135]
可选地，根据交流文本样本训练中的分类类别及标注的分类类别标签计算样本交叉熵损失值。基于样本交叉熵损失值调整预设分类模型中的训练参数，以对预设分类模型进行训练。其中，交叉熵损失是一种损失函数，是用来衡量神经网络的预测值与真实值偏差的一种方式。
[0136]
本技术实施例中，获取对预设分类模型进行训练的训练数据，训练数据包括：交流文本样本及标注的分类类别标签。采用训练数据对预设分类模型进行训练。将满足预设的训练收敛条件的分类模型确定为训练至收敛的分类模型。由于训练后的分类模型，其损失函数最小，即该分类模型分类的分类类别与交流文本样本的标注的分类类别标签最为贴近，因此，采用训练数据对分类模型进行训练，能够优化模型训练参数选择，并有效提高分类模型分类的准确性。
[0137]
实施例七
[0138]
图8为本技术实施例七提供的交流文本分类方法的流程示意图，如图8所示，在实施例六的基础上，本技术实施例涉及步骤s602采用训练数据对预设分类模型进行训练的一种具体可实现方式。其中，预设分类模型包括：预设自然语言编码器、预设全连接层及预设归一化分类层。在本技术实施例提供的交流文本分类方法中，采用训练数据对预设分类模型进行训练，具体包括如下步骤：
[0139]
步骤s701、采用预设自然语言编码器对交流文本样本进行特征编码，以获得样本特征编码数据。
[0140]
其中，自然语言编码器是一种用低维向量对高维数据进行特征编码表示的模型。
[0141]
可选地，预设自然语言编码器可以是预设变换网络的双向编码器bert编码器。将样本数据输入到bert编码器中，bert编码器可以对样本数据的特征进行学习，并对样本数据进行特征编码，特征编码过程参见实施例二，在此不再一一赘述。
[0142]
步骤s702、采用预设全连接层对样本特征编码数据进行降维处理，以获得样本降
维数据。
[0143]
其中，预设全连接层是指训练参数的值为初始化值的全连接层。
[0144]
具体地，采用预设全连接网络对样本特征编码数据进行降维处理的过程与实施例三中采用目标全连接层对所述目标特征编码数据进行降维处理的过程类似，在此不再一一赘述。
[0145]
步骤s703、采用预设归一化分类层对样本降维数据进行归一化分类处理，以获得交流文本样本的训练中的分类类别。
[0146]
其中，预设归一化分类层是对训练参数的值为初始化值的归一化分类层。其中，预设归一化分类层使用的归一化函数不做具体限定，可以是预设softmax归一化函数，也可以是其他预设归一化函数。但需要预设归一化分类层与目标归一化分类层的归一化函数相同的类别。
[0147]
可选地，预设归一化分类层可以是预设softemax归一化函数。采用预设softemax归一化函数对样本降维数据进行归一化分类处理的过程与采用目标softemax归一化函数对样本降维数据进行归一化分类处理的过程类似，在此不再一一赘述。
[0148]
步骤s704、根据交流文本样本训练中的分类类别及标注的分类类别标签计算样本交叉熵损失值。
[0149]
可选地，可根据交流文本样本训练中的分类类别及标注的分类类别标签计算单样本交叉熵损失值。根据多个单样本交叉熵损失值计算全部样本的交叉熵损失值，将全部样本的交叉熵损失值作为样本交叉熵损失值。
[0150]
步骤s705、基于样本交叉熵损失值调整预设分类模型中的训练参数，以对预设分类模型进行训练。
[0151]
可选地，确定全部样本的交叉熵损失值是否达到最小。若确定全部样本的交叉熵损失值达到最小，则将达到最小的全部样本的交叉熵损失值对应的分类模型确定为训练至收敛的分类模型。若全部样本的交叉熵损失值未达到最小，则继续调整预设分类模型中各训练参数的值，以使交叉熵损失值达到最小。
[0152]
可以理解的是，继续调整预设分类模型中各训练参数的值时，可按照梯度反向传播的方式来调整预设分类模型中各训练参数的值。
[0153]
本技术实施例中，预设分类模型包括：预设自然语言编码器、预设全连接层及预设归一化分类层。采用预设自然语言编码器对交流文本样本进行特征编码，以获得样本特征编码数据。采用预设全连接层对样本特征编码数据进行降维处理，以获得样本降维数据。采用预设归一化分类层对样本降维数据进行归一化分类处理，以获得交流文本样本的训练中的分类类别。根据交流文本样本训练中的分类类别及标注的分类类别标签计算样本交叉熵损失值。基于样本交叉熵损失值调整预设分类模型中的训练参数，以对预设分类模型进行训练。由于交叉熵损失值能够用来衡量神经网络的预测值与真实值的偏差，因此，采用交叉熵损失值来训练预设分类模型，能够更加准确的调整模型训练参数，使得训练后的预设分类模型更加贴近真实的分类类别。
[0154]
实施例八
[0155]
图9为本技术实施例八提供的交流文本分类方法的流程示意图，如图9所示，在实施例七的基础上，本技术实施例涉及步骤s704根据交流文本样本训练中的分类类别及标注
的分类类别标签计算样本交叉熵损失值的一种具体可实现方式。在本技术实施例提供的交流文本分类方法中，根据交流文本样本训练中的分类类别及标注的分类类别标签计算样本交叉熵损失值，具体包括如下步骤：
[0156]
步骤s801、根据交流文本样本训练中的分类类别及标注的分类类别标签计算单样本交叉熵损失值。
[0157]
具体地，初始化一个元素全为0的|l|维列向量y，获取交流文本样本分类类别标签在分类类别列向量中的位置i，并将列向量y对应的位置i的分量值置为1。例如交流文本样本“放出消息，国际油价将大涨”的分类类别标签为1，在对应分类类别列向量(0,1,2)
t
中的位置为1，则列向量y＝(0,1,0)
t
。获取该交流文本样本的概率分布向量p，对概率分布向量p求对数，再与列向量y的转置进行点乘，得到单个交流文本样本的交叉熵损失值。公式可以表示为：
[0158][0159]
其中，p＝(p0,p1,p2,
…
p
|l|-1
)
t
是一个概率分布向量，每个元素pi表示样本属于分类类别i的概率。y＝(y0,y1,
…
,y
|l|-1
)是交流文本样本对应的列向量y，当交流文本样本属于第i分类类别时，yi＝1，否则yi＝0。
[0160]
步骤s802、根据多个单样本交叉熵损失值计算全部样本的交叉熵损失值。
[0161]
具体地，汇总所有样本的交叉熵损失值求和，得到全部样本的交叉熵损失值。
[0162]
本技术实施例中，根据交流文本样本训练中的分类类别及标注的分类类别标签计算单样本交叉熵损失值。根据多个单样本交叉熵损失值计算全部样本的交叉熵损失值。由于交叉熵损失值用来衡量预测值与真实值之间的偏差，因此，根据交流文本样本训练中的分类类别及标注的分类类别标签计算单样本交叉熵损失值，能够更加准确的得到单个样本的交叉熵损失值，由于每个交流样本的交叉熵损失值可能不同，因此根据多个单样本交叉熵损失值计算全部样本的交叉熵损失值能够非常准确地得到全部样本的交叉熵损失值。
[0163]
实施例九
[0164]
图10为本技术实施例九提供的交流文本分类方法的流程示意图，如图10所示，在实施例八的基础上，本技术实施例涉及步骤s603将满足预设的训练收敛条件的分类模型确定为训练至收敛的分类模型的一种具体可实现方式。在本技术实施例提供的交流文本分类方法中，将满足预设的训练收敛条件的分类模型确定为训练至收敛的分类模型，具体包括如下步骤：
[0165]
步骤s901、确定全部样本的交叉熵损失值是否达到最小。
[0166]
可选地，可以采用梯度下降法确定交叉熵损失值是否达到最小值。
[0167]
步骤s902、若确定全部样本的交叉熵损失值达到最小，则将达到最小的全部样本的交叉熵损失值对应的分类模型确定为训练至收敛的分类模型。
[0168]
具体地，当全部样本的交叉熵损失值达到最小时，说明此时的分类模型计算得到的交流文本样本对应分类类别标签的概率值最大，最贴近于交流文本样本标签的实际分类结果，因此，确定此时的分类模型为训练至收敛的分类模型。
[0169]
本技术实施例中，确定全部样本的交叉熵损失值是否达到最小。若确定全部样本
的交叉熵损失值达到最小，则将达到最小的全部样本的交叉熵损失值对应的分类模型确定为训练至收敛的分类模型。由于交叉熵损失值最小时，说明分类模型的预测值与真实值最为贴近。因此，通过确定全部样本的交叉熵损失值达到最小来确定分类模型已经训练至收敛，判断方法简单有效。
[0170]
实施例十
[0171]
图11为本技术实施例十提供的交流文本分类方法的流程示意图，如图11所示，在实施例一到实施例九任一实施例的基础上，本技术实施例涉及步骤s101获取待分类的目标交流文本的一种具体可实现方式。在本技术实施例提供的交流文本分类方法中，获取待分类的目标交流文本，具体包括如下步骤：
[0172]
响应于用户终端发送的文本分类请求，从预设数据库中获取待分类的目标交流文本。文本分类请求是用户触发文本分类操作界面中的第一分类组件获得的。
[0173]
其中，第一分类组件是指文本分类操作界面中具有文本分类功能的组件，用户可通过在文本操作界面中点击第一分类组件来触发文本分类请求。
[0174]
具体地，当用户终端发起文本分类请求时，电子设备接收该请求，并从预设数据库中获取待分类的目标交流文本。
[0175]
采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别之后，还包括：
[0176]
步骤s1001、若确定目标交流文本分类类别为违规类别，则从交流服务器中获取该目标交流文本的违规关联信息，并向用户终端发送违规告警消息，违规告警消息中包括该目标交流文本及违规关联信息。
[0177]
其中，交流服务器是指通讯软件服务端对应的服务器。违规关联信息是违规信息相关的信息。如可包括：金融机构交易员账号及时间戳信息。违规告警消息是向用户终端发出的表示告警的违规信息。包括违规的目标交流文本及违规关联信息。
[0178]
具体地，若目标交流文本分类类别为违规类别，则通过访问专用通讯软件的服务端获取目标交流文本、时间戳及对应的金融机构交易员账号信息等。并向用户终端发送违规告警消息。告警消息中包括了目标交流文本及对应的金融机构交易员账号信息。告警形式可以是在告警弹窗内对目标交流文本和金融机构交易员账号标红显示。
[0179]
步骤s1002、若确定目标交流文本分类类别为闲聊类别，则从交流服务器中获取该目标交流文本的闲聊关联信息，并向用户终端发送闲聊提示消息，闲聊提示消息中包括该目标交流文本及闲聊关联信息。违规告警消息与闲聊提示信息在用户终端的输出方式不同。
[0180]
具体地，若确定目标交流文本分类类别为闲聊类别，则通过访问专用通讯软件的服务端获取目标交流文本、时间戳及对应的金融机构交易员账号信息等。并向用户终端返回以上闲聊关联信息，将闲聊关联信息通过消息提示方式在用户终端显示。
[0181]
本技术实施例中，响应于用户终端发送的文本分类请求，从预设数据库中获取待分类的目标交流文本。文本分类请求是用户触发文本分类操作界面中的第一分类组件获得的。采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别之后，还包括：若确定目标交流文本分类类别为违规类别，则从交流服务器中获取该目标交流文本的违规关联信息，并向用户终端发送违规告警消息，违规告警消息中包括该
目标交流文本及违规关联信息。若确定目标交流文本分类类别为闲聊类别，则从交流服务器中获取该目标交流文本的闲聊关联信息，并向用户终端发送闲聊提示消息，闲聊提示消息中包括该目标交流文本及闲聊关联信息。违规告警消息与闲聊提示信息在用户终端的输出方式不同。通过向用户终端发送违规告警消息及闲聊提示消息的方式，能够方便的提示用户违规及闲聊信息，更好地规范用户在交流过程中的内容。
[0182]
实施例十一
[0183]
在实施例十的基础上，本技术实施例提供的交流文本分类方法中，若确定目标交流文本分类类别为违规类别，还包括如下步骤：
[0184]
响应于用户终端发送的违规交流文本继续分类请求，对违规交流文本继续进行分类处理，获得违规交流文本分类类别。违规交流文本分类类别为信息泄露、内幕交易、利益输送、价格操控中的任意一种。
[0185]
具体地，当用户需要对违规交流文本继续分类时，向电子设备发送违规交流文本继续分类请求，使电子设备对违规交流文本进一步分类处理，获得违规交流文本的细分类别。采用的分类方法与实施例一到实施例九任一实施例所述的分类方法相同。示例性地，将细分类别“信息泄露”、“内幕交易”、“利益输送”、“价格操控”分别对应分类类别列向量(0,1,2,3)，采用实施例一到实施例九任一实施例所述的方法，对目标交流文本进行分类处理，得到目标交流文本分类类别。
[0186]
本技术实施例中，响应于用户终端发送的违规交流文本继续分类请求，对违规交流文本继续进行分类处理，获得违规交流文本分类类别。违规交流文本分类类别为信息泄露、内幕交易、利益输送、价格操控中的任意一种。通过对违规交流文本的继续分类，能够得到更加准确和细分的分类类别。
[0187]
实施例十二
[0188]
图12为本技术实施例十一提供的交流文本分类装置的结构示意图。如图12所示，本技术提供一种交流文本分类装置120，装置包括：获取模块121、输入模块122、编码模块123、降维模块124、分类模块125。
[0189]
获取模块121，用于获取待分类的目标交流文本。目标交流文本为金融机构交易员之间的交流文本。
[0190]
输入模块122，用于将目标交流文本输入到已训练至收敛的分类模型中，已训练至收敛的分类模型包括目标自然语言编码器、目标全连接层及目标归一化分类层。
[0191]
编码模块123，用于采用目标自然语言编码器对目标交流文本进行特征编码，以获得目标特征编码数据。
[0192]
降维模块124，用于采用目标全连接层对目标特征编码数据进行降维处理，以获得目标降维数据。
[0193]
分类模块125，用于采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别，目标交流文本分类类别为工作类别、闲聊类别及违规类别中的任意一种。
[0194]
可选地，编码模块123，在采用目标自然语言编码器对目标交流文本进行特征编码，以获得目标特征编码数据时，具体用于将目标交流文本与预设的初始位置字符及终止位置字符拼接为目标字符串。将目标字符串输入到已训练至收敛的bert编码器中。采用已
训练至收敛的bert编码器对目标字符串进行特征编码，并将起始位置特征编码后的数据确定为目标交流文本对应的目标特征编码数据。
[0195]
其中，目标自然语言编码器为已训练至收敛的变换网络的双向编码器bert编码器。
[0196]
可选地，降维模块124，在采用目标全连接层对目标特征编码数据进行降维处理，以获得目标降维数据时，具体用于将目标特征编码输入到目标全连接层中。采用目标全连接层中的目标降维算法将目标特征编码降维到预设维度的目标向量，预设维度与分类类别数量相同。将目标向量确定为目标降维数据。
[0197]
其中，目标全连接层中包括目标降维算法。
[0198]
可选地，分类模块125，在采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别时，具体用于将目标降维数据输入到目标归一化分类层。采用目标归一化分类层中的目标softmax归一化函数基于目标降维数据确定目标交流文本属于各分类类别的概率。根据目标交流文本属于各分类类别的概率确定目标交流文本分类类别。
[0199]
其中，目标归一化分类层包括目标softmax归一化函数
[0200]
可选地，分类模块125，在根据目标交流文本属于各分类类别的概率确定目标交流文本分类类别时，具体用于获取各分类类别的概率中最大概率。将最大概率与预设概率阈值进行对比。若确定最大概率大于或等于预设概率阈值，则确定目标交流文本分类类别为最大概率对应的分类类别。
[0201]
可选地，本技术提供的交流文本分类装置，还包括模型训练模块。
[0202]
模型训练模块，用于获取对预设分类模型进行训练的训练数据，其中，训练数据包括：交流文本样本及标注的分类类别标签。采用训练数据对预设分类模型进行训练。将满足预设的训练收敛条件的分类模型确定为训练至收敛的分类模型。
[0203]
可选地，模型训练模块，在采用训练数据对预设分类模型进行训练时，具体用于采用预设自然语言编码器对交流文本样本进行特征编码，以获得样本特征编码数据。采用预设全连接层对样本特征编码数据进行降维处理，以获得样本降维数据。采用预设归一化分类层对样本降维数据进行归一化分类处理，以获得交流文本样本的训练中的分类类别。根据交流文本样本训练中的分类类别及标注的分类类别标签计算样本交叉熵损失值。基于样本交叉熵损失值调整预设分类模型中的训练参数，以对预设分类模型进行训练。
[0204]
其中，预设分类模型包括：预设自然语言编码器、预设全连接层及预设归一化分类层。
[0205]
可选地，模型训练模块，在根据交流文本样本训练中的分类类别及标注的分类类别标签计算样本交叉熵损失值时，具体用于根据交流文本样本训练中的分类类别及标注的分类类别标签计算单样本交叉熵损失值。根据多个单样本交叉熵损失值计算全部样本的交叉熵损失值。
[0206]
可选地，模型训练模块，在将满足预设的训练收敛条件的分类模型确定为训练至收敛的分类模型时，具体用于确定全部样本的交叉熵损失值是否达到最小。若确定全部样本的交叉熵损失值达到最小，则将达到最小的全部样本的交叉熵损失值对应的分类模型确定为训练至收敛的分类模型。
[0207]
可选地，本实施例提供的交流文本分类装置，还包括：发送模块。获取模块121，在获取待分类的目标交流文本时，具体用于响应于用户终端发送的文本分类请求，从预设数据库中获取待分类的目标交流文本。其中，文本分类请求是用户触发文本分类操作界面中的第一分类组件获得的。获取模块121，在采用目标归一化分类层对目标降维数据进行归一化分类处理，以获得目标交流文本分类类别之后，具体用于若确定目标交流文本分类类别为违规类别，则从交流服务器中获取该目标交流文本的违规关联信息，发送模块，用于向用户终端发送违规告警消息，违规告警消息中包括该目标交流文本及违规关联信息。获取模块121，还用于若确定目标交流文本分类类别为闲聊类别，则从交流服务器中获取该目标交流文本的闲聊关联信息，发送模块，还用于向用户终端发送闲聊提示消息，闲聊提示消息中包括该目标交流文本及闲聊关联信息。违规告警消息与闲聊提示信息在用户终端的输出方式不同。
[0208]
可选地，本技术提供的交流文本分类装置，还包括再分类模块。
[0209]
再分类模块，在若确定目标交流文本分类类别为违规类别时，用于响应于用户终端发送的违规交流文本继续分类请求，对违规交流文本继续进行分类处理，获得违规交流文本分类类别。违规交流文本分类类别为信息泄露、内幕交易、利益输送、价格操控中的任意一种。
[0210]
实施例十三
[0211]
图13为本技术实施例十二提供的交流文本分类装置的结构示意图。如图13所示，本技术实施例提供一种电子设备130，包括：处理器131，以及与处理器131通信连接的存储器132。
[0212]
存储器132存储计算机执行指令。
[0213]
处理器131执行存储器132存储的计算机执行指令，以实现如实施例一到实施例十一中任一项所述的方法。
[0214]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如实施例一至实施例十一中任一项所述的方法。
[0215]
本技术实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现本技术任意一个实施例提供的方法。
[0216]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0217]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0218]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模
块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0219]
用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程合规检测装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0220]
在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0221]
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本技术的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
[0222]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
[0223]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。