一种面向医学骨科文本的文本推理方法、系统及介质与流程

1.本发明涉及基于自然语言描述的医学骨科文本解析推理技术，具体涉及一种面向医学骨科文本的文本推理方法、系统及介质。


背景技术：

2.医学文本的解析推理作为一个自然语言处理领域的基础问题在研究领域中得到了日益增加的关注。通过一系列简短的病历文本叙述来描述病人的病情，并提出根据这些文本叙述材料进行解析推理得到一个合适的结论。近年来，基于深度学习方法的自然语言处理在医学骨科文本的研究受到越来越多的关注。电子的健康记录在医学领域上的应用越来越广泛，比如电子病历、电子版问诊记录等。医院里面每一天的电子文本记录包含了很多种类型的数据，包括医学编码、对话问诊、骨科ct文本报告记录等。其中，医学骨科文本作为追踪病人病情的重要手段之一，可以从不同时间点的骨科诊断文本数据来评估病人当前病情的情况，比如住院时间、骨头的愈合状况变化、病人复诊记录等。这些基于时间的医学骨科文本信息，可以为医学提供一种更加智能的辅助信息，帮助医生更好地判断病人的病情发展情况。
3.早期的研究主要集中在基于序列化(seq2seq)的模型上，这些基于序列化的方法旨在通过使用相关领域训练数据集从头开始训练端到端模型。一些研究侧重于开发基于手工提取的特征或者是基于规则的系统对医学骨科文本数据进行处理。近年来，因为深度学习的发展，该类问题得到了很大的进步。基于深度学习的方法利用端到端的深度神经网络的方法在图片、语音、文本等领域都获得了非常好的新效果。之前的方法大多是基于手工设计的特征来对不同医学文本进行设计，该类方法十分耗费时间，同时对该领域的知识门槛要求比较高。有一些方法是直接利用长短期记忆网络(lstm)进行简单的编码，缺乏引入相关的外部医学知识，比如一些医学的惯用表达词汇。
4.近年来，在医学文本的方面有了许多的研究方法。一种直接的方法是通过引入手工设计的特征来对文本进行设计，得到的特征来用于下游的医学处理任务。这类方法主要依赖高耗时、高领域知识的专家进行人工设计，针对不同骨科专业的文本还需要有不同专业的人来专门设计，效率相对来说比较低。第二种方法是依赖基于规则来筛选合适的医学文本特征，主要依赖于各种模板来有规则地把医学专业名词和非医学名词进行划分。这种方法比较不灵活，在整体的句子语义上面往往很难得到通顺的表达。第三种方法是基于深度神网络,采用端到端的方式进行文本处理。虽然这种方法得益于深度卷积网络的深层建模能力，但缺乏引入大规模语料的模型对模型进行语义上的通顺表示，同时在一些具有时间连续性的场景下表现差强人意。目前的这些方法并没有对医学文本的专业表达和我们日常语法表达直接建立一种有效的转换方法，也并没有建立一种对时间比较敏感的方法来针对时间性要求比较强的文本(比如医学文本)。
5.通常，要解析推理已有的医学骨科文本数据，人类不仅需要对文本进行解析和理解语境，还需要运用相关的领域知识(比如医学背景的知识)。然而，以往的方法仅仅从简短
和有限的叙述中学习文本描述，而不适用任何没有出现在描述中的背景知识，这大大限制了模型从全局和专业角度去理解医学骨科文本。此外，目前的方法主要侧重于为单条文本去设计词级推理，而不是在词级和句子级之间架起基于时间维度的分段式推理桥梁。在医学骨科文本中，不同的词语和句子在不同的上下文和时间点是具有不同的信息量。单词和句子的重要性在很大程度上取决于基于时间维度的上下文关联。显然，单个级别的推理解析对医学骨科文本而言是不够的。


技术实现要素：

6.本发明要解决的技术问题：针对现有技术的上述问题，提供一种面向医学骨科文本的文本推理方法、系统及介质，本发明能够利用大规模预训练模型里面学到的语法规则知识来辅助生成更加通顺的医学骨科文本表达，实现了一种可以捕获时间关联的文本信息，可实现更高的病人病历文本的诊断精度。
7.为了解决上述技术问题，本发明采用的技术方案为：
8.一种面向医学骨科文本的文本推理方法，包括将医学骨科文本p输入面向医学骨科文本的文本推理模型获得文本推理结果，所述文本推理模型包含分词器、知识编码器以及文本整合器，所述分词器用于对输入的医学骨科文本p进行分词，所述知识编码器用于将分词结果提取得到具有专业背景知识和时间敏感的文本，所述文本整合器用于将具有专业背景知识和时间敏感的文本进行文本整合得到最终的文本推理结果。
9.可选地，所述输入的医学骨科文本p的描述包含l个句子si，每个句子包含ti个单词，从而得到任意第i个句子中的任意第t个单词w
it
，其中t∈[1,t]，t为第i个句子中的单词数量。
[0010]
可选地，所述分词器对输入的医学骨科文本p进行分词的步骤包括：
[0011]
s1)对原始的医学骨科文本p进行分词；
[0012]
s2)对分词得到的所有词向量引入位置嵌入编码；
[0013]
s3)将对分词得到的所有词向量与对应的位置嵌入编码直接进行矩阵相加。
[0014]
可选地，步骤s2)中引入位置嵌入编码是通过向每个嵌入位置添加一个正弦曲线来实现的，且引入的位置嵌入编码的函数表达式为：
[0015][0016]
上式中，pe
(pos，2i)
表示引入位置嵌入编码，pos为该词向量的位置，i为该词向量的维度，d
text
为输入的文本特征的维度。
[0017]
可选地，所述知识编码器为基于转换机结构的roberta模型，所述基于转换机结构的roberta模型被预先基于大型专业语料库oai和mimic进行预训练以捕获隐性的专业医学知识，所述的知识编码器的编码步骤包括：
[0018]
s1)用wordpiece的工具包来标记一个输入的医学骨科文本描述，得到|q|个令牌的序列；
[0019]
s2)将得到的上述|q|个令牌的序列嵌入到完成预训练的roberta模型中，并修改roberta模型的位置编码，得到一系列d维的令牌表示；
[0020]
s3)将这些信息输入到基于转换机结构的预先训练的知识编码器中，在训练过程中对一系列的令牌表示进行微调；
[0021]
s4)对所有输出取平均，以得到组合隐式知识表示。
[0022]
可选地，所述文本整合器包括依次相连的双向门控编码模块、注意力模块以及双向门控解码模块，所述文本整合器的处理步骤包括：
[0023]
s1)将多个病人的医学骨科文本合成一个矩阵；
[0024]
s2)采用双向门控编码模块对多个时间点的医学骨科文本进行编码，其函数表达式为：
[0025]h{1：m}
＝bigru
enc
(um，h0)，
[0026][0027]eenc
＝relu(linear(eu))，
[0028]
上式中，h
{1∶m}
表示第1个词到第m个词的隐层特征，表示所有t时刻{t}的第1个词到第m个词的隐层特征，bigru
enc
表示双向门控的循环单元，um表示包含m个单词的文本特征矩阵，h0表示第0个词的隐层特征，为中间结果，d
{text}
表示文本特征的维度，relu表示relu激活函数，linear表示具有可学习权重的线性层，eu表示所有单词的中间结果；t表示时间步长，等同于每个时间点的医学骨科文本，每个t时刻对应有m个单词需要处理；e
enc
表示双向门控编码模块的最终输出特征；
[0029]
s3)采用注意力模块对每个单词进行权重学习，其函数表达式为：
[0030]eq
＝linear(eu)，
[0031]ek
＝linear(eu)，
[0032]ev
＝linear(eu)，
[0033]es
＝softmax(bmm(eq，ek))，
[0034]
ea＝bmm(es，ev)，
[0035]
上式中，linear表示具有可学习权重的线性层，bmm表示矩阵乘法，es表示经过归一化后的每个单词得到的权重分数，ea表示在权重分数作用下，文本特征的最终加权结果表示；
[0036]
s4)采用双向门控解码模块进行解码，其函数表达式为：
[0037]h{1∶m}
＝bigru
enc
(ea，h0)，
[0038][0039]edec
＝relu(linear(eu))，
[0040]
上式中，e
dec
是最终的解析结果。
[0041]
可选地，所述将医学骨科文本p输入面向医学骨科文本的文本推理模型获得文本推理结果之前，还包括训练面向医学骨科文本的文本推理模型的步骤：
[0042]
s1)收集医学骨科文本，并构建医学骨科文本预训练数据集；
[0043]
s2)在医学骨科文本预训练数据集上对知识编码器进行自监督的微调训练，其自监督方式具体为随机掩码掉输入的部分单词量，让知识编码器去预测出输出的单词包含哪些内容；在完成对知识编码器自监督的微调训练后，得到完成训练后的知识编码器；
[0044]
s3)将得到的知识编码器作为一个预训练模型嵌入到文本推理模型的整个框架
中，将得到的知识编码器与文本整合器一起训练，且训练时包括根据指定的损失函数利用梯度反向传播使得损失优化到最小，最终完成文本推理模型的训练。
[0045]
可选地，步骤s3)中指定的损失函数为均方误差函数，所述利用梯度反向传播将损失优化到最小具体是指利用梯度反向传播使得均方误差优化到最小。
[0046]
可选地，步骤s3)中将得到的知识编码器与文本整合器一起训练时，所使用的标签是已有的干净的医学骨科文本数据、输入是未处理的医学骨科文本数据。
[0047]
此外，本发明还提供一种面向医学骨科文本的文本推理系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述面向医学骨科文本的文本推理方法的步骤。
[0048]
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述面向医学骨科文本的文本推理方法的计算机程序。
[0049]
和现有技术相比，本发明主要具有下述优点：本发明面向医学骨科文本的文本推理方法包括将医学骨科文本p输入面向医学骨科文本的文本推理模型获得文本推理结果，所述文本推理模型包含分词器、知识编码器以及文本整合器，所述分词器用于对输入的医学骨科文本p进行分词，所述知识编码器用于将分词结果提取得到具有专业背景知识和时间敏感的文本，所述文本整合器用于将具有专业背景知识和时间敏感的文本进行文本整合得到最终的文本推理结果。本发明提出一种用以解析医学骨科文本的预训练知识分段式文本推理方法来处理医学骨科文本，并将该方法首次应用到医学骨科文本生成的任务中。相比于现有的基于从零开始训练(training from scratch)的端到端神经网络、基于规则的系统(rule-based system)的方法以及利用手工设计特征的方法而言，本发明方法能够利用大规模预训练模型里面学到的语法规则知识来辅助生成更加通顺的医学骨科文本表达，实现了一种可以捕获时间关联的文本信息，可实现更高的病人病历文本的诊断精度。
附图说明
[0050]
图1为本发明实施例中面向医学骨科文本的文本推理模型的整体网络结构示意图。
[0051]
图2为本发明实施例中基于时间敏感的医学骨科文本数据示意图。
[0052]
图3为本发明实施例中的模型训练流程图。
具体实施方式
[0053]
下面结合附图对本发明进一步说明，但本发明的实施方式并不限于此实施例。
[0054]
如图1所示，本实施例面向医学骨科文本的文本推理方法包括将医学骨科文本p输入面向医学骨科文本的文本推理模型获得文本推理结果，该文本推理模型包含分词器、知识编码器以及文本整合器，所述分词器用于对输入的医学骨科文本p进行分词，所述知识编码器用于将分词结果提取得到具有专业背景知识和时间敏感的文本，文本整合器用于将具有专业背景知识和时间敏感的文本进行文本整合得到最终的文本推理结果。
[0055]
本实施例中将医学骨科文本可以表示为p。输入的医学骨科文本p的描述包含l个句子si，每个句子包含ti个单词，从而得到任意第i个句子中的任意第t个单词w
it
，其中t∈[1,t]，t为第i个句子中的单词数量。本实施例面向医学骨科文本的文本推理方法将医学骨
科文本p输入面向医学骨科文本的文本推理模型，可将原始医学骨科文本p描述投射到矢量表示中，在此基础上重新构建生成一段具有专业背景知识和时间敏感的文本。
[0056]
本实施例中，分词器对输入的医学骨科文本p进行分词的步骤包括：
[0057]
s1)对原始的医学骨科文本p进行分词；本实施例中，具体采用tokenizer分词器对原始的医学骨科文本p进行分词。
[0058]
s2)对分词得到的所有词向量引入位置嵌入编码；
[0059]
s3)将对分词得到的所有词向量与对应的位置嵌入编码直接进行矩阵相加。
[0060]
本实施例中，输入文本首先进行分词，输入到在大规模专业语料上预训练过的模型，在输入的时候引入相关位置嵌入(relative position embedding)的编码信息。这是通过向每个嵌入位置添加一个正弦曲线来实现的，其频率是原始变压器网络建议的时间戳t的函数，把分词的结果和我们的位置嵌入信息加在一起，得到文本特征输入。具体地，步骤s2)中引入位置嵌入编码是通过向每个嵌入位置添加一个正弦曲线来实现的，且引入的位置嵌入编码的函数表达式为：
[0061][0062]
上式中，pe
(pos，2i)
表示引入位置嵌入编码，pos为该词向量的位置，i为该词向量的维度，d
text
为输入的文本特征的维度。
[0063]
本实施例中，知识编码器为基于转换机(transformer)结构的roberta模型(roberta模型是大规模预训练模型的一种变体)，基于转换机结构的roberta模型被预先基于大型专业语料库oai和mimic进行预训练以捕获隐性的专业医学知识。
[0064]
本实施例中知识编码器的编码(训练和测试/使用相同)步骤包括：
[0065]
s1)用wordpiece的工具包来标记一个输入的医学骨科文本描述，得到|q|个令牌的序列；
[0066]
s2)将得到的上述|q|个令牌的序列嵌入到完成预训练的roberta模型中，并修改roberta模型的位置编码，得到一系列d维的令牌表示；
[0067]
s3)将这些信息输入到基于转换机结构的预先训练的知识编码器中，在训练过程中对一系列的令牌表示进行微调；
[0068]
s4)对所有输出取平均，以得到组合隐式知识表示。
[0069]
对于基于转换机结构的知识编码器，整个学习过程如图3所示，是基于自监督的掩码语言模型(masked language model)，在大量医学骨科数据集上面进行预训练，训练方式参考大规模自然语言预训练的自监督训练方式，采样随机掩码输入单词进行预测的自监督方式，简称mlm(masked language model)。我们将多个转换机层堆叠在嵌入特征之上。所谓转换机层，指的是一个包含多头自注意子层、前馈和残差连接的模块。由于多头自注意力子层可以关注到未来的时间步长，为了保证模型的特征预测只以过去的访问为条件，即时间步长t上的嵌入只能关注到以前的时间步长t-1，t-2...，我们用一个基于因果三角形的掩膜来掩盖注意力的层次。这与原转换机网络的解码器组件中的“掩码注意力”相同。这个基于因果三角形的掩膜应用于特征的嵌入(embedding)，其函数表达式为：
[0070]
e＝{e
c1
，e
c2
，...e
ct
}，
[0071]
[0072]
上式中，e表示嵌入序列，e
c1
～e
ct
表示t个时间步长的特征嵌入，attention(q，k，v)表示查询q、键k和值v的自注意输出，softmax为归一化的函数，d是嵌入维数。在编码器块中确保因果关系，查询q、键k和值v设置为嵌入序列e，为了获得时间步长t的最终代码表示，使用自注意输出的第t个输出，这里的输出为知识编码器的输出特征表示f。
[0073]
已有的文本特征f包含有t个时间序列的令牌特征嵌入，数据特点如图2所示，对时间序列f
t1
的患者医学骨科文本序列的特征嵌入{t1，t2，...，t
t
}是通过使用预先训练过的roberta模型进行初始化，然后使用双向门控循环单元(gru)来构成文本整合器。由于预先训练的模型最大序列长度固定为n，限制了文本的序列范围。此外，就诊期间的医疗记录可能会很长，它们包含不同类型的记录，比如护士记录，药店记录，出院记录等。在时间步长为t时，它们的总长度可以超过固定长度n。由于目标是获得单次访问的表示，直到时间步长t时的汇总笔记被批处理成一组句子(u1，u2，...，um)，m是将每次访问的文本批量生成包含n个单词的句子后，在语料库中出现的最大长度。这个句子是从语义转换器得到的句子特征，包含m个单词(token)的结果，我们把多个病人的医学骨科文本合成一个集合，表示为矩阵u。本实施例中，文本整合器包括依次相连的双向门控编码模块、注意力模块以及双向门控解码模块，所述文本整合器的处理步骤包括：
[0074]
s1)将多个病人的医学骨科文本合成一个矩阵；
[0075]
s2)采用双向门控编码模块对多个时间点的医学骨科文本进行编码，其函数表达式为：
[0076]h{1∶m}
＝bigru
enc
(um，h0)，
[0077][0078]eenc
＝relu(linear(eu))，
[0079]
上式中，h
{1∶m}
表示第1个词到第m个词的隐层特征，表示所有t时刻{t}的第1个词到第m个词的隐层特征，bigru
enc
表示双向门控的循环单元，um表示包含m个单词的文本特征矩阵，h0表示第0个词的隐层特征，为中间结果，d
{text}
表示文本特征的维度，relu表示relu激活函数，linear表示具有可学习权重的线性层，eu表示所有单词的中间结果；t表示时间步长，等同于每个时间点的医学骨科文本，每个t时刻对应有m个单词需要处理；e
enc
表示双向门控编码模块的最终输出特征；
[0080]
s3)采用注意力模块对每个单词进行权重学习，其函数表达式为：
[0081]eq
＝linear(eu)，
[0082]ek
＝linear(eu)，
[0083]ev
＝linear(eu)，
[0084]es
＝softmax(bmm(eq，ek))，
[0085]
ea＝bmm(es，ev)，
[0086]
上式中，linear表示具有可学习权重的线性层，bmm表示矩阵乘法，es表示经过归一化后的每个单词得到的权重分数，ea表示在权重分数作用下文本特征的最终加权结果表示；
[0087]
s4)采用双向门控解码模块进行解码，其函数表达式为：
[0088]h{1∶m}
＝bigru
enc
(ea，h0)，
[0089][0090]edec
＝relu(linear(eu))，
[0091]
上式中，e
dec
是最终的解析结果，其他的符号表示类比上述的双向门控编码模块。
[0092]
双向门控编码模块、注意力模块以及双向门控解码模块三个模块组合成了文本整合器，将一组句子表示汇总成一个单个的病人的文本表示，依据的条件是单个病人在不同时间点的一组句子。该文本整合器遵循以双向门控循环单元(gru)为构建块的自动编码器体系结构。输入是一组句子表示，由转换机模块应用在聚合文本上获得，直到时间t，然后对隐藏的表示加上一个自我注意力的模块进行聚合单词级别的特征，该特征表示输入到以双向门控循环单元为主要操作的解码器进行解码输出最终的文本表示。其中的可学习参数包含在双向门控循环单元和线性层，目标是在相应的时间步长下，降低文本特征输入序列与模型预测表示之间的均方误差(mse)损失目标。
[0093]
本实施例中，将医学骨科文本p输入面向医学骨科文本的文本推理模型获得文本推理结果之前，还包括训练面向医学骨科文本的文本推理模型的步骤：
[0094]
s1)收集医学骨科文本，并构建医学骨科文本预训练数据集；
[0095]
s2)在医学骨科文本预训练数据集上对知识编码器进行自监督的微调训练，其自监督方式具体为随机掩码掉输入的部分单词量，让知识编码器去预测出输出的单词包含哪些内容；在完成对知识编码器自监督的微调训练后，得到完成训练后的知识编码器；
[0096]
s3)将得到的知识编码器作为一个预训练模型嵌入到文本推理模型的整个框架中，将得到的知识编码器与文本整合器一起训练，且训练时包括根据指定的损失函数利用梯度反向传播使得损失优化到最小，最终完成文本推理模型的训练。
[0097]
本实施例中，步骤s3)中指定的损失函数为均方误差函数，所述利用梯度反向传播将损失优化到最小具体是指利用梯度反向传播使得均方误差优化到最小。
[0098]
本实施例中，步骤s3)中将得到的知识编码器与文本整合器一起训练时，所使用的标签是已有的干净的医学骨科文本数据、输入是未处理的医学骨科文本数据。
[0099]
从图1可见，对于文本的输入，本实施例利用一个分词器进行合理分词，对输入做数据维度变换，将输入维度变换到和转换机的输入维度一致，然后利用矩阵加法来处理输入的特征和位置嵌入信息，达到嵌入单词相关位置语义信息的目的。再者，本实施例利用了基于双向门控gru和子注意力的操作来处理同一个病人在不同时间点的文本，建立时间关联的文本特征，为模型引入更多时间敏感的、更丰富的特征信息，达到多时间尺度丰富特征的表示能力。本实施例利用均方误差函数作为本实施例本发明框架协同训练的目标函数，以亚当(adam)函数来作为优化函数，利用随机梯度下降算法进行整体端到端的训练。整个训练流程如图3所示。首先，训练的过程分为两个部分，第一部分是利用收集到的医学文本数据对已有的预训练模型进行自监督的微调训练，初始化的权重是基于roberta模型的权重。通过随机掩码掉输入的30％的单词量，让模型去预测出输出的单词包含哪些内容，这样可以把医学文本里面的一些专业名称的知识隐含地让预训练模型去学习。当模型训练到收敛的时候，此时的预训练模型就是本实施例的知识编码器了。第二个训练部分是下游任务的微调。本实施例把在第一个训练部分得到的知识编码器作为一个预训练的模型嵌入到本
实施例设计的整个框架里面，跟本实施例的文本整合器一起进行学习。这里的训练损失函数是均方误差函数。标签是已有的干净的医学骨科文本数据，输入是未处理的医学骨科文本数据。每一个批(batch)是同一个病人在不同时间段的医学骨科文本数据。整个训练过程是端到端的学习过程，利用梯度反向传播将均方误差优化到最小。
[0100]
综上所述，本实施例主要涉及基于专业医学数据进行预训练的知识编码器，和基于时间敏感的分段式文本处理的文本整合器。其中，预先训练的专业知识编码器，利用已经在大型医学专业知识数据库mimic、大型骨科数据库oai和wikipedia上预训练过的roberta模型，并将隐式知识有效地融合到模型中。这些预先训练的内隐知识中，既有大量的通用医学文本语法规则和语义信息，又包含丰富的骨科专业知识特征表示，可以帮助模型从复杂的文本中正确地解析骨科专业名词、医学诊断专用名词或者组合性词组的语义，以便更好地捕获基于隐性的知识，推理及生成针对骨科病例文本的结论性文本。在训练方式上，采用随机掩码输入单词进行预测的自监督方式。据我们所知，是我们首次提出将这种预训练知识编码方式应用于医学骨科文本的推理中。在此基础上，我们引入基于注意力的、带有双向门控的编码器和解码器的文本整合器。该文本整合器对文本时间敏感，并支持分段式文本处理。该文本整合器包括三个子模块：双向门控编码模块，注意力模块，双向门控解码模块。该文本整合器区别于以往方法的地方在于，其可以建立同一个病人在不同时间点医学骨科文本之间的上下文关联，这种上下文关联的特征有助于生成时间敏感的医学骨科文本，为模型引入更多时间敏感的、更丰富的特征信息，达到多时间尺度丰富特征的表达能力，从而在增强同一个病人不同时间点的医学骨科文本直接的关联的同时，提高网络的处理性能。此外，通过注意力模块，模型可以学习到不同词组对生成最终文本的不同重要性，从而引导模型根据最重要的医学骨科文本信息来推导出最终的结论文本。在流程上，本实施例首先利用tokenizer分词器对原始文本进行分割，切分成模型可以读取的模式；利用基于大规模语料预训练的roberta模型作为知识编码器对当前文本进行单词级别的语义转换，得到更加简洁高效且合理的句子表示；再利用文本整合器对同一个病人在不同时间点的医学骨科文本进行整合，输出时间上具有上下文关联的医学骨科文本，即基于时间敏感的文本；利用目标函数对整个网络进行协同训练。医学文本的解析推理是对一系列简短的病历文本叙述材料进行解析推理得到一个关于病人病情的结论，本实施例方法主要针对医学骨科文本进行解析推理。本实施例方法提出的推理方法主要包括一个基于专业医学数据进行预训练的知识编码器，和一个基于时间敏感的分段式文本处理的文本整合器。其中，预先训练的专业知识编码器利用已经在大型医学专业知识数据库和骨科数据库上预训练过的模型，捕获隐性的知识，并将其有效地融合到模型中，可以帮助模型从复杂的医学骨科文本中正确地解析骨科专业名词、医学诊断专用名词或者组合性词组的语义；而基于时间敏感的分段式文本处理的文本整合器可以建立同一个病人在不同时间点文本之间的上下文关联，有助于生成时间敏感的骨科文本，为模型引入更多时间敏感的、更丰富的特征信息，提高模型的表达能力。本实施例方法在性能、可解释性以及在复杂医学骨科文本推理任务中均优于现有方法。
[0101]
此外，本实施例还提供一种面向医学骨科文本的文本推理系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述面向医学骨科文本的文本推理方法的步骤。
[0102]
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述面向医学骨科文本的文本推理方法的计算机程序。
[0103]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0104]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。