一种基于神经网络模型的药品不良事件检测方法及系统

本发明涉及自然语言处理和文本挖掘，更具体的说是涉及一种基于神经网络模型的药品不良事件检测方法及系统。

背景技术：

1、目前，在现代医学和临床研究领域，药品不良事件(adverse drug events,ade)的检测和分析一直是一个挑战性任务。随着医疗数据的快速增长，尤其是来自电子健康记录、临床报告和患者自述的文本数据，有效地识别和分析这些文本中的关键医学信息变得尤为重要。药品不良事件的准确检测为药品安全监管、患者护理和医疗决策提供了重要支持，有助于减少医疗错误和提高患者安全。

2、在早期阶段，药品不良事件的检测主要依赖于医疗专业人员的经验判断和手动分析，这不仅效率低下，而且容易受到个人偏见和经验限制的影响。随着计算机科学和自然语言处理技术的发展，研究人员开始尝试使用各种机器学习算法来自动化这一过程，例如使用朴素贝叶斯、支持向量机(svm)和随机森林等传统算法对文本数据进行特征提取和分类。

3、近年来，深度学习技术的崛起为药品不良事件的检测带来了新的视角和方法，通过卷积神经网络(cnn)、循环神经网络(rnn)、长短时记忆网络(lstm)和基于自注意力机制的预训练语言模型(bert)等模型，研究人员能够更加有效地学习文本数据的深层特征，提高检测的准确性和效率，这些模型能够捕捉文本中的复杂模式，从而识别出与药品不良事件相关的关键信息。

4、然而，尽管深度学习模型在处理文本数据方面表现出色，但在药品不良事件检测的应用中仍面临一些挑战。一个主要问题是，现有的模型多数专注于分析文本内部的语义和结构特征，而没有充分考虑文本与外部知识源之间的关联。此外，药品不良事件的表达往往高度依赖于特定的医学背景和临床上下文，这使得仅仅依赖于文本本身的分析难以达到高水平的准确性和鲁棒性。

5、因此，如何提高深度学习在药品不良事件检测中的准确性是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于神经网络模型的药品不良事件检测方法及系统，实现结合先进神经网络模型和外部知识源的药品不良事件检测，旨在通过整合丰富的外部医学知识和深度学习技术，提高药品不良事件检测的准确性和效率，为医疗保健领域提供更加可靠和高效的技术支持。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于神经网络模型的药品不良事件检测方法，包括以下步骤：

4、s1：采集待检测的生物医学文本，并进行预处理，获得词性标签矩阵、依存关系矩阵和实体跨度信息；

5、s2：使用预训练语言模型对所述生物医学文本和所述实体跨度信息进行词嵌入，获得隐层表示和编码跨度向量；并初始化树结构神经网络模型的权值；

6、s3：根据所述词性标签矩阵、所述依存关系矩阵和所述隐层表示，利用所述树结构神经网络模型的注意力机制和自定义多头注意力机制，获得输出特征表示和句法树；

7、s4：通过所述预训练语言模型和所述树结构神经网络模型的注意力机制根据所述句法树生成句法结构信息，并使用图卷积神经网络获得树结构特征表示，根据所述编码跨度向量和所述输出特征表示获得实体特征表示；

8、s5：根据所述输出特征表示、所述实体特征表示和所述树结构特征表示预测实体和关系，输出实体关系联合检测结果。

9、优选的，s1的数据预处理具体内容为：

10、s11：使用stanford corenlp工具对采集的所述生物医学文本进行语法解析，提取词汇的词性标签和句子的依存关系，并标注实体始末位置；

11、s12：将提取出的所述依存关系和所述词性标签按照索引表转化为索引，再根据所述索引分别转化为依存关系矩阵dep_matrix和词性标签矩阵pos_matrix；

12、s13：所述生物医学文本中标注的所述实体始末位置获得所述生物医学文本中的实体跨度信息span。

13、优选的，s2中对所述生物医学文本中的单词序列tokens和实体跨度信息span进行词嵌入的具体内容为：

14、s21：使用预训练语言模型biobert对所述生物医学文本进行深度词嵌入，表示为：h＝biobert(tokens)，其中，h为所述预训练语言模型biobert编码的隐层表示，tokens表示经过预处理后的所述生物医学文本中的单词序列；

15、s22：选择所述生物医学文本中的特定实体，提取其在所述生物医学文本中对应的跨度信息，并进行词嵌入处理，表示为：span'＝biobert(span)，其中，span是实体跨度信息，span’是编码跨度向量；

16、s23：初始化树结构神经网络模型tree-transformer的权值。

17、优选的，s3中构建基于依存所述关系矩阵和所述词性标签矩阵的所述树结构神经网络模型的注意力机制和自定义多头注意力机制的编码模型，获得断点概率和特征表示，以学习文本背后隐藏的语义特征和句法结构，具体步骤为：

18、s31：将所述词性标签矩阵和所述依存关系矩阵分别转化为张量格式tensordep_matrix和tensorpos_matrix；

19、s32：将词性标签矩阵张量和依存关系矩阵张量进行拼接，获得邻接矩阵拼接张量；

20、拼接公式表示为：其中，tensordep_matrix表示所述依存关系矩阵张量，tensorpos_matrix表示所述词性标签矩阵张量，a表示拼接后的邻接矩阵拼接张量；

21、s33：根据所述邻接矩阵拼接张量构建所述树结构神经网络模型的注意力机制，表示为：

22、

23、其中，q、k、v分别是查询(query)、键(key)、值(value)矩阵；dk是键矩阵的维度；a是邻接矩阵拼接张量，它增强了模型对文本句法结构的理解；

24、s34：通过自定义多头注意力机制，加强树结构神经网络模型对不同层次语义信息的捕获能力，表示为：

25、multiattention(q,k,v,a)＝concat(head1,head2,…,headh)wo；

26、headi＝treeattention(qwiq,kwik,vwiv,a)；

27、其中，wiq、wik、wiv和wo分别是可学习的权重矩阵；a是邻接矩阵拼接张量；h是头的数量；

28、s35：通过树结构神经网络模型tree-transformer得到输出特征表示，用于生成句法树，进一步揭示文本的深层次语义和句法特征，可以表示为：

29、e,breakprob＝multihead(h,a)；

30、tree＝buildtree(breakprob,tokens)；

31、其中，e是树结构神经网络模型tree-transformer中多头注意力机制的输出特征表示；h表示来自所述预训练语言模型biobert的隐层表示；breakprob表示通过树结构神经网络模型tree-transformer中多头注意力机制生成的断点概率；a表示邻接矩阵拼接张量；tokens表示经过预处理后的所述生物医学文本中的单词序列；buildtree表示递归地构建树结构的函数；tree表示通过所述断点概率breakprob和所述生物医学文本中的所述单词序列tokens生成的句法树；树结构神经网络模型tree-transformer能够捕捉深层次的文本特征，包括依赖关系和词性标签所揭示的句法结构信息。通过上述处理，确保了模型能够有效地理解和处理医学文本中的复杂结构和语义。

32、优选的，s4计算树结构特征表示和实体特征表示的具体步骤为：

33、s41：利用预训练语言模型biobert根据所述句法树自动构建句法树嵌入d，揭示文本中的结构化语法信息，可以表示为：

34、d＝biobert(tree)；

35、其中，d为使用预训练语言模型biobert编码的句法树嵌入；biobert表示预训练语言模型；tree表示通过所述断点概率breakprob和所述生物医学文本中的所述单词序列tokens生成的所述句法树；

36、s42：利用所述树结构神经网络模型的注意力机制，结合句法树嵌入d捕捉所述生物医学文本中的句法结构信息，可以表示为：

37、

38、其中，d是一个根据依赖树结构断点信息得到的句法树嵌入，它允许模型在计算注意力时，能够考虑到句子中词汇的句法依赖信息；q、k、v分别表示注意力机制中的查询矩阵、键矩阵和值矩阵；是键矩阵的维度；

39、s43：应用图卷积神经网络gnn处理所述句法结构信息，得到更加细粒度的树结构特征表示，可以表示为：

40、e'＝gnn(l)；

41、其中，l表示所述句法结构信息，是所述句法树嵌入d经过所述树结构神经网络模型的输出；e’表示所述图卷积神经网络的gnnencoder层输出的所述树结构特征表示；

42、s44：使用所述编码跨度向量来确定所述生物医学文本中实体的位置，生成所述编码跨度向量的所述实体跨度信息由实体在所述生物医学文本中的起始位置和结束位置组成；对每个所述编码跨度向量进行最大池化处理以获取其实体特征表示s，可以表示为：

43、s＝maxpool(e,span')；

44、其中，e是树结构神经网络模型tree-transformer输出的树结构特征表示；span’是编码跨度向量；maxpool表示最大池化函数，将maxpool函数应用于e中span'范围对应的特征，得到一个压缩的实体特征表示s。

45、优选的，s5中预测实体和关系的具体步骤为：

46、s51：在实体识别层根据所述输出特征表示e和树结构特征表示e’，结合实体特征表示和上下文信息来预测每个实体的实体类别；实体特征通常包括词汇本身的特征、上下文的特征，以及可能的语法特征；可以用以下公式表示实体类别识别的过程：

47、

48、其中，表示特征的拼接；e表示输出特征表示；e’表示树结构特征表示；s是最大池化后的实体特征表示，而entity_classifier是一个全连接层，它将融合后的特征映射到实体类别概率分布entity_log its上；

49、s52：使用树结构神经网络模型tree-transformer输出的输出特征表示e和图卷积神经网络作为树结构化信息融合层输出的树结构特征表示e’来进行预测，具体的分类过程可以用以下公式表示：

50、

51、其中，relation_classifier是另一个全连接层，它基于实体的组合特征和树结构化信息预测实体对间关系概率分布relation_log its；

52、s53：实体类别概率分布和实体对间关系概率分布作为最终输出，表示为：

53、output＝entity_logits,relation_logits；

54、输出包含了实体类别概率和实体对间关系概率，是实体识别和关系分类任务的直接结果。通过这样的联合预测层，模型能够在考虑全面特征信息的基础上，为药物不良反应研究中的实体和关系提供准确的分类。

55、优选的，从医疗数据库和临床报告中采集待检测的生物医学文本；输出待检测文本中实体之间关系的预测结果，包括药品实体和不良反应之间的关联，作为实体关系联合检测结果。

56、优选的，s5之后还包括模型测试与评估：对模型的测试结果通过准确率、召回率和f值进行评估、分析和概括，并通过调整预训练语言模型、树结构神经网络模型和图卷积神经网络的模型参数进行模型性能的优化和改进。

57、优选的，使用adamw优化算法改进模型的具体规则为：

58、mt＝β1mt-1+(1-β1)gt；

59、

60、

61、

62、

63、其中，mt、vt分别为一阶矩、二阶矩的估计值；β1和β2分别为衰减因子；gt为损失函数l关于模型参数θ的梯度；α表示学习率；ε为防止除以零的小常数；θt为在时间t的模型参数。

64、一种基于神经网络模型的药品不良事件检测系统，包括：数据处理模块、预训练语言模型编码模块和模型构建训练模块；

65、数据预处理模块，用于获取生物医学文本，提取词性标签和依存关系并分别将其转化为磁性标签矩阵和依存关系矩阵，提取实体跨度信息；

66、预训练语言模型编码模块，采用预训练语言模型分别对所述生物医学文本和实体跨度信息进行词嵌入，并初始化树结构神经网络模型的权值；

67、模型构建训练模块，构建自定义多头注意力机制、树结构神经网络模型和图卷积神经网络；将词嵌入的结果结合词性标签矩阵和依存关系矩阵，通过自定义多头自注意力机制和树结构神经网络模型获得句法结构信息，并利用图卷积神经网络进行编码，结合实体跨度信息对生物医学文本中的实体关系进行联合预测，输出实体关系联合检测结果。

68、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于神经网络模型的药品不良事件检测方法及系统，结合依存关系和词性标签矩阵构建树结构神经网络模型，增强模型对药物不良反应的理解，使其与不使用树结构捕获句子层次信息的模型相比具有多功能性和更强健性；与之前主要使用更简单的神经网络架构的工作不同，本发明采用了多层方法，包括预训练语言模型biobert、树结构的神经网络模型tree-transformer和自定义多头注意力机制并结合了词性标注矩阵和依存关系矩阵，使模型能够有效捕获更复杂的语言模式，显著提高了药物不良反应检测的准确性和鲁棒性。