一种医学影像识别方法和装置与流程

本技术涉及人工智能，具体涉及一种医学影像识别方法和装置。

背景技术：

1、随着人工智能的发展，神经网络模型在智慧医疗中具有越来越广泛的应用，例如，可以将医学影像识别模型用于对医学影像的识别，以生成医学影像对应的医学报告，来实现对疾病的辅助诊断。

2、其中，在利用医学影像识别模型对医学影像进行识别时，医学影像识别模型会一般提取医学影像的特征，以基于医学影像的特征预测出医学报告。但是，目前医学影像识别模型所提取到的医学影像的特征不够准确，忽略了医学影像中很多关键信息，这样会导致生成的医学报告不准确。

3、综上，目前存在医学影像识别模型生成医学报告的准确性较低的问题。

技术实现思路

1、本技术实施例提供一种医学影像识别方法和装置，能够提高医学影像识别模型生成医学报告的准确性。

2、一种医学影像识别方法，包括：

3、获取待识别的医学影像和医学影像对应的报告参考文本，并对医学影像进行内容分割，得到医学影像对应的至少一个医学影像块；

4、对医学影像块进行多维特征提取，得到每一医学影像的图像局部特征和医学影像的图像全局特征；

5、根据图像局部特征和图像全局特征，对报告参考文本进行特征提取，得到语义特征，语义特征表征医学影像与报告参考文本之间的浅层语义关系；

6、将图像局部特征、图像全局特征和语义特征进行融合，得到医学影像的目标文本特征；

7、基于目标文本特征和报告参考文本，生成医学影像对应的目标医学报告。

8、相应地，本技术还提供一种医学影像识别装置，包括：

9、获取单元，可以用于获取待识别的医学影像和医学影像对应的报告参考文本，并对医学影像进行内容分割，得到医学影像对应的至少一个医学影像块；

10、第一提取单元，可以用于对医学影像块进行多维特征提取，得到每一医学影像的图像局部特征和医学影像的图像全局特征；

11、第二提取单元，可以用于根据图像局部特征和图像全局特征，对报告参考文本进行特征提取，得到语义特征，语义特征表征医学影像与报告参考文本之间的浅层语义关系；

12、融合单元，可以用于将图像局部特征、图像全局特征和语义特征进行融合，得到医学影像的目标文本特征；

13、生成单元，可以用于基于目标文本特征和报告参考文本，生成医学影像对应的目标医学报告。

14、可选地，在一些实施例中，第一提取单元，可以用于在医学影像中识别出每一医学影像块的位置信息，并采用医学影像识别模型对位置信息进行位置编码，得到每一医学影像块的位置特征；采用医学影像识别模型对医学影像块进行特征提取，得到每一医学影像块的初始图像局部特征和医学影像的初始图像全局特征；将位置特征与初始图像局部特征进行融合，得到每一医学影像块的图像局部特征；将位置特征和初始图像全局特征进行融合，得到医学影像的图像全局特征。

15、可选地，在一些实施例中，医学影像识别装置还包括训练单元，训练单元，可以用于获取训练数据集，训练数据集包括多个医学影像样本和医学影像样本对应的医学报告样本；分别对医学影像样本和医学报告样本进行内容分割，得到医学影像样本对应的至少一个医学影像区域和医学报告对应的至少一个文本词组；采用预设医学影像识别模型分别对医学影像区域和文本词组进行特征提取，得到医学影像样本对应的至少一个图像粒度的图像特征、以及医学报告样本对应的至少一个文本粒度的文本特征；将图像特征和文本特征在至少一个对齐粒度下进行特征对齐，得到每一对齐粒度对应的特征对齐结果，特征对齐结果表征图像特征和文本特征之间的对齐程度；基于特征对齐结果、图像特征和文本特征，对预设医学影像识别模型进行收敛，得到医学影像识别模型，并采用医学影像识别模型对医学影像进行识别，得到目标医学报告。

16、可选地，在一些实施例中，训练单元，具体可以用于在图像粒度中筛选出每一对齐粒度对应的目标图像粒度，并在文本粒度中确定每一对齐粒度对应的目标文本粒度；在图像特征中筛选出目标图像粒度对应的目标图像特征，并在文本特征中提取出目标文本粒度对应的目标文本特征；将目标图像特征和目标文本特征进行对齐，以得到每一对齐粒度对应的特征对齐结果。

17、可选地，在一些实施例中，训练单元，具体可以用于在对齐粒度中确定出至少一个目标对齐粒度；在目标图像特征中筛选出目标对齐粒度对应的候选图像特征，并在目标文本特征中提取出目标对齐粒度对应的候选文本特征；将候选图像特征和候选文本特征在目标对齐粒度下进行特征对齐，得到目标对齐粒度对应的目标特征对齐结果；返回在对齐粒度中确定出目标对齐粒度的步骤，直至每一对齐粒度均为目标对齐粒度时为止，得到每一对齐粒度对应的特征对齐结果。

18、可选地，在一些实施例中，候选图像特征包括医学影像样本对应的全局影像特征，候选文本特征包括医学报告样本对应的全局文本特征；训练单元，具体可以用于当目标对齐粒度为全局对齐粒度时，基于全局影像特征和全局文本特征，计算医学影像样本和医学报告样本之间的样本相似度，全局对齐粒度为医学影像样本和医学报告样本之间的对齐粒度；对样本相似度进行融合，生成全局对齐粒度对应的全局特征对齐结果，并将全局特征对齐结果作为目标特征对齐结果。

19、可选地，在一些实施例中，候选图像特征还包括医学影像区域对应的区域影像特征，候选文本特征还包括文本词组对应的词组特征；训练单元，具体可以用于当目标对齐粒度为区域对齐粒度时，在医学影像区域中筛选出目标医学影像区域，并在文本词组中筛选出目标文本词组，区域对齐粒度为目标医学影像区域和目标文本词组之间的对齐粒度；基于区域影像特征和词组特征，计算目标医学影像区域和目标文本词组之间的关联度；根据关联度，确定目标对齐粒度对应的区域特征对齐结果，并将区域特征对齐结果作为目标特征对齐结果。

20、可选地，在一些实施例中，训练单元，具体可以用于基于关联度的大小，在关联度中筛选出目标医学影像区域对应的区域关联度，区域关联度表征目标医学影像区域与目标医学影像区域在目标文本词组中对应的候选文本词组之间的关联度；根据关联度的大小，在关联度中识别出目标文本词组对应的词组关联度，词组关联度表征目标文本词组与目标文本词组在目标医学影像区域中对应的候选医学影像区域之间的关联度；对区域关联度和词组关联度进行融合，得到融合后关联度，并将融合后关联度作为区域对齐粒度对应的区域特征对齐结果。

21、可选地，在一些实施例中，训练单元，具体可以用于对区域影像特征进行聚类，得到每一影像区域对应的区域类别，并在医学影像区域中确定出区域类别对应的目标影像区域；对词组特征进行聚类，得到每一文本词组对应的词组类别，并在文本词组中确定出目标文本词组。

22、可选地，在一些实施例中，训练单元，具体可以用于将同一区域类别对应的区域影像特征进行合并，得到目标医学影像区域对应的合并后区域特征，并将合并后区域特征和区域影像特征进行融合，得到目标医学影像区域对应的目标区域影像特征；将同一单元类别对应的词组特征进行合并，得到目标文本词组对应的合并后文本特征，并将合并后文本特征和目标文本词组对应的单元文本特征进行融合，得到目标文本词组对应的目标文本特征；基于目标区域影像特征和目标词组特征，计算目标医学影像区域和目标文本词组之间的关联度。

23、可选地，在一些实施例中，目标图像特征包括医学影像样本对应的全局影像特征，目标文本特征包括医学报告样本对应的全局文本特征；训练单元，具体可以用于当目标对齐粒度为辅助对齐粒度时，获取医学影像样本对应的辅助医学数据，并对辅助医学数据进行特征提取，得到辅助医学特征，辅助对齐粒度为辅助医学数据、医学影像样本和医学报告样本之间的对齐粒度；将辅助医学特征、全局影像特征和全局文本特征在辅助对齐粒度下进行特征对齐，得到辅助对齐粒度对应的辅助特征对齐结果，并将辅助特征对齐结果作为目标特征对齐结果。

24、可选地，在一些实施例中，训练单元，具体可以用于基于辅助医学特征和全局影像特征，计算辅助医学数据和医学影像样本之间的影像相关度；根据辅助医学特征和全局文本特征，计算辅助医学数据和医学报告文本之间的文本相关度；基于影像相关度和文本相关度，生成辅助对齐粒度对应的辅助特征对齐结果。

25、可选地，在一些实施例中，对齐粒度包括全局对齐粒度和区域对齐粒度；训练单元，具体可以用于分别在特征对齐结果中筛选出全局对齐粒度对应的全局特征对齐结果和区域对齐粒度对应的区域特征对齐结果；基于全局特征对齐结果，计算医学影像样本和医学报告样本之间的样本损失，样本损失表征医学影像样本和医学报告样本之间的相似损失；基于区域特征对齐结果、以及区域对齐粒度对应的区域影像特征和词组特征，确定医学影像区域对应的区域关联损失，区域关联损失表征医学影像区域和文本词组之间的关联损失；基于图像特征和文本特征，对医学影像样本进行预测，以得到文本预测概率，并对文本预测概率进行映射，得到医学影像样本对应的报告预测损失；基于样本损失、区域关联损失和报告预测损失，对预设医学影像识别模型进行收敛，得到医学影像识别模型。

26、可选地，在一些实施例中，训练单元，具体可以用于根据区域特征对齐结果，确定区域对齐粒度对应的区域训练标签；基于区域影像特征和词组特征，计算医学影像区域和文本词组之间的候选关联度；计算区域训练标签和候选关联度之间的目标损失，并将目标损失作为医学影像区域对应的区域关联损失。

27、可选地，在一些实施例中，区域特征对齐结果包括医学影像样本的目标医学影像区域和医学报告样本的目标文本词组之间的关联度；训练单元，具体可以用于在影像区域中筛选出参考影像区域，并在文本词组中筛选出参考文本词组；将参考影像区域和参考文本词组进行组合，得到至少一个参考数据集合，参考数据集合包括至少一个目标参考影像区域和目标参考影像区域对应的至少一个目标参考文本词组；在区域特征对齐结果中筛选出参考数据集合对应的目标关联度，并对目标关联度进行融合，得到目标融合关联度；根据目标融合关联度，确定区域对齐粒度对应的区域训练标签。

28、相应地，训练单元，具体还可以用于在目标数据集合中提取出当前医学影像区域和当前文本词组，并基于当前影像区域对应的区域影像特征和当前文本词组对应的词组特征，计算当前医学影像区域和当前文本词组之间的候选关联度。

29、可选地，在一些实施例中，对齐粒度还包括辅助对齐粒度；训练单元，具体可以用于在特征对齐结果中筛选出辅助对齐粒度对应的辅助特征对齐结果，辅助特征对齐结果包括辅助对齐粒度对应的辅助医学数据和医学影像样本之间的影像相关度，以及辅助医学数据和医学报告文本之间的文本相关度；基于辅助特征对齐结果，确定辅助对齐粒度对应的辅助训练标签；基于辅助训练标签、辅助医学数据对应的辅助医学特征、图像特征和文本特征，计算医学影像样本对应的辅助损失，辅助损失表征辅助医学数据、医学影像样本和医学报告样本之间的相关性损失；根据辅助损失、样本损失、区域关联损失和报告预测损失，对预设医学影像识别模型进行收敛，得到医学影像识别模型。

30、可选地，在一些实施例中，训练单元，具体可以用于获取待预测的医学影像，并采用医学影像识别模型对医学影像进行特征提取，得到医学影像特征；采用医学影像识别模型对医学影像特征进行预测，得到目标文本，并基于目标文本，生成目标医学报告。

31、可选地，在一些实施例中，第二提取单元，可以用于对报告参考文本进行特征提取，得到初始参考文本特征；将图像局部特征、图像全局特征和初始参考文本特征进行融合，得到语义特征。

32、可选地，在一些实施例中，第二提取单元，可以用于基于图像局部特征和图像全局特征，在初始参考文本特征中提取出文本关联特征，文本关联特征表征医学影像和报告文本之间的语义相关性；根据文本关联特征，确定初始参考文本对应的注意力权重；基于注意力权重，将图像局部特征、图像全局特征和初始参考文本特征进行融合，得到语义特征。

33、可选地，在一些实施例中，生成单元，可以用于基于目标文本特征，对医学影像进行文本预测，得到目标文本；将报告参考文本和目标文本进行融合，得到融合后文本，并将融合后文本作为报告参考文本；返回执行根据图像局部特征和图像全局特征，对报告参考文本进行特征提取，得到语义特征的步骤，直至达到预测终止条件时为止，得到多个目标文本；将多个目标文本进行拼接，生成目标医学报告。

34、此外，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有应用程序，处理器用于运行存储器内的应用程序实现本发明实施例提供的医学影像识别方法。

35、此外，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序适于处理器进行加载，以执行本技术实施例提供的任一种医学影像识别方法。

36、此外，本技术实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本技术实施例所提供的任一种医学影像识别方法。

37、本技术可以获取待识别的医学影像和医学影像对应的报告参考文本，并对医学影像进行内容分割，得到医学影像对应的至少一个医学影像块；对医学影像块进行多维特征提取，得到每一医学影像的图像局部特征和医学影像的图像全局特征；根据图像局部特征和图像全局特征，对报告参考文本进行特征提取，得到语义特征，语义特征表征医学影像与报告参考文本之间的浅层语义关系；将图像局部特征、图像全局特征和语义特征进行融合，得到医学影像的目标文本特征；基于目标文本特征和报告参考文本，生成医学影像对应的目标医学报告。由于本技术能够对医学影像的医学影像块进行多维特征提取，得到医学影像大量的信息如图像局部特征和图像全局特征，如此一来，本技术可以进一步基于图像局部特征和图像全局特征，对医学影像对应的报告参考文本进行特征提取，得到语义特征，并将图像局部特征、图像全局特征和语义特征，以得到医学影像与报告参考文本之间具有更深层语义表征的目标文本特征，从而可以基于目标文本特征，准确地预测出医学影像的目标医学报告。