一种基于Longformer的电子病历多标签文本分类方法

本发明属于文本分类，具体涉及一种基于longformer的电子病历多标签文本分类方法。

背景技术：

1、随着计算机技术和电子病历的普及，使得人们获得了巨量的电子病历数据，对进行电子病历的数据分析，电子病历文本分类是其中的重要内容。当前较为常用的模型在提取电子病历的文本特征时具有一定的局限性，主要体现在以下几个方面：(1)电子病历文本长度较长，模型无法准确提取长句子的文本特征。(2)电子病历文本句子长短不一，文本特征提取效果不好。(3)电子病历存在很多关联信息，同时存在大量噪声信息，导致分类整体性能偏低。

技术实现思路

1、为了解决上述存在的问题，本发明提出：一种基于longformer的电子病历多标签文本分类方法，包括如下步骤：

2、s1、电子病历的文本通过longformer预训练模型被转化为词向量，词向量作为多滤波器残差卷积神经网络的输入，多滤波器残差卷积神经网络由多滤波器卷积神经网络和残差卷积神经网络组成；

3、s2、多滤波器卷积神经网络由不同大小的卷积核组构成，不同大小的卷积核提取模型中不同长度文本的特征信息；

4、s3、残差卷积神经网络是一种残差结构，辅助模型解决神经网络退化的问题，解决深度神经网络梯度消失和梯度爆炸的问题；

5、s4、在经过分别经过n个不同大小卷积核的多滤波器残差卷积神经网络提取词向量特征之后，输出n个隐藏特征矩阵，在模型中加入重新校准聚合模块对数据集进行降噪处理，重新校准聚合模块接受多滤波器残差卷积神经网络的输出作为输入，该模块重新校准提取到的文本特征，聚合原始文本特征和重新校准的特征，最终将新的表示与原始表示结合起来；

6、s5、加入mlp层来提加深模型的深度，使用注意力机制进一步对特征矩阵进行处理；

7、s6、将结果输入至前馈神经网络后，使用sigmoid函数进行分类，预测各标签的概率。

8、本发明的有益效果为：在经过longformer预训练模型、多滤波器残差卷积神经网络和重新聚合校准模块以及标签注意力机制的处理后，数据集中的文本语义已经被充分的提取。但是考虑到数据集规模较大，并且具有标签分布不平衡的情况，因此为了增大模型的整体深度，扩充深度学习中神经元的层数，使模型在某些有些的标签之中更好地学习文本的特征，拟合数据的信息，在模型的结尾加入前馈神经网络。最后通过sigmoid函数对结果进行输出。并且在加入前馈神经网络之后，模型的性能得到了略微的提高，这也进一步证明了前馈神经网络在本模型之中的作用。

技术特征：

1.一种基于longformer的电子病历多标签文本分类方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于longformer的电子病历多标签文本分类方法，其特征在于，所述步骤s1中，longformer提取文本词向量，

3.如权利要求1所述的基于longformer的电子病历多标签文本分类方法，其特征在于，所述步骤s2中，在多滤波器卷积神经网络接收词向量作为输入时，通过卷积操作对词向量进行进一步的特征提取操作，卷积的过程操作如(3-1)所示，

4.如权利要求1所述的基于longformer的电子病历多标签文本分类方法，其特征在于，所述步骤s3中，在多滤波器卷积层中的每个滤波器顶部，加入了一个残差神经网络，解决梯度消失和梯度爆炸的问题，一个残差神经网络由p个残差块组成，对于一个残差块，内部由三个卷积滤波器组成，残差块接收多滤波器卷积神经网络的输入h，将它通过滤波器r1进行处理，处理过程如(3-2)所示，

5.如权利要求1所述的基于longformer的电子病历多标签文本分类方法，其特征在于，所述步骤s4中，加入重新校准聚合模块ram提取多滤波器残差卷积神经网络学习到的文本特征，重新校准提取到的文本特征，聚合原始文本特征和重新校准的特征，最终将新的表示与原始表示结合起来，ram模块通过利用嵌套的卷积结构来提取和聚合上下文信息，在原始输入特征之中加入新聚合的特征，以此达到去除噪声的结果，除此之外，通过卷积，ram在特征提取过程中获得全局接受域，ram改善嘈杂和冗长的电子病历文本的编码，ram由特征聚合和重新校准组成，ram模型的计算过程下：

6.如权利要求1所述的基于longformer的电子病历多标签文本分类方法，其特征在于，所述步骤s5中，标签注意力机制接受mlp层输出的特征向量矩阵q作为输入，设置一个可调参的注意力机制初始矩阵u，将q矩阵与u矩阵同时送入softmax层中进行处理，将得到关于标签注意力的权重矩阵s，处理过程如(3-10)所示，

7.如权利要求1所述的基于longformer的电子病历多标签文本分类方法，其特征在于，所述步骤s6中，在标签注意力机制层输出带有标签注意的权重矩阵z之后，通过前馈神经网络和sigmoid对最终的预测结果进行输出，使用adam优化器和反向传播算法来对模型进行训练，损失函数如(3-12)所示，

技术总结
一种基于Longformer的电子病历多标签文本分类方法，属于文本分类技术领域，在经过Longformer预训练模型、多滤波器残差卷积神经网络和重新聚合校准模块以及标签注意力机制的处理后，数据集中的文本语义已经被充分的提取，考虑到数据集规模较大，并且具有标签分布不平衡的情况，因此为了增大模型的整体深度，扩充深度学习中神经元的层数，使模型在某些有些的标签之中更好地学习文本的特征，拟合数据的信息，在模型的结尾加入前馈神经网络，最后通过sigmoid函数对结果进行输出，并且在加入前馈神经网络之后，模型的性能得到了略微的提高，这也进一步证明了前馈神经网络在本模型之中的作用。

技术研发人员：赵迪,孟佳娜,李雪莹,于玉海,闫婧,孙世昶
受保护的技术使用者：大连民族大学
技术研发日：
技术公布日：2024/1/16