一种基于自然语言监督的脑部影像报告生成方法与流程

本发明涉及医学影像诊断，尤其涉及一种基于自然语言监督的脑部影像报告生成方法。

背景技术：

1、在医学影像处理中，当确定影像含有病灶特征后，诊断病灶位置、疾病种类等信息是影像分析所必要的。对于疾病诊断此类语义判别任务，现有的学习算法需要大量的精标注数据，即人工精确标注出影像中所包含的语义(例如疾病的位置、种类)。在拥有充足的人工标注数据时，基于现有算法能让模型拥有良好效果。然而，医疗影像数据的标注对专业知识要求极高，时间成本极大。同时，医疗影像的诊断需要判别丰富的语义，为每一种语义都准备足够的人工标注数据是不现实的。因此，要想实现对海量影像语义的诊断，需要摆脱对人工标注数据的依赖，寻求替代指导信息来监督模型的训练开发。

2、想要充分挖掘大规模医疗影像的价值，开发出精度高、疾病覆盖范围广的诊断模型，需要寻求其它监督信息进行模型开发。医学影像有与之相对应的诊断报告，许多工作尝试从诊断报告中抽取关键词作为影像的标注。但由于报告中自然语言的灵活性，通过关键词所得到的标注通常不够准确，从而对模型的精度产生影响。

3、发明专利申请cn202011614591.3公开了脑部病灶检测模型的建立方法、装置以及计算机设备,并具体公开了方法包括：获取多个脑部ct影像样本以及与每个脑部ct影像样本对应的影像描述文本；根据多个脑部ct影像样本生成平均脑部ct影像，并对所述平均脑部ct影像中的各区域进行分割标注；从所述多个脑部ct影像样本中获取至少部分脑部ct影像样本，并基于所述平均脑部ct影像中各区域的分割标注，为所述至少部分脑部ct影像样本及其对应的影像描述文本标注所述至少部分脑部ct影像样本中每个区域有无病灶，得到训练集；基于所述训练集之中的脑部ct影像样本、分割标注以及每个区域有无病灶标注，生成用于训练卷积模型的三维训练数据；根据所述三维训练数据对所述卷积模型进行训练，并根据所述训练集之中所述至少部分脑部ct影像样本对应的影像描述文本及其标注训练自然语言处理nlp模型；在每一次迭代中，根据所述卷积模型和所述nlp模型从剩余未标注数据集选择置信度高的数据更新至所述训练集，基于更新后的所述训练集继续对所述卷积模型和所述nlp模型进行训练；将完成训练的卷积模型作为所述脑部病灶检测模型。该发明综合利用了ct影像与文本描述两种模态的信息实现ct影像的异常检测模型的构建,但其仍需要进行数据标注,虽然标注数据少,可需要投入人力资源来实施该方案,不够灵活。

4、发明专利申请cn202010651959.7公开了一种基于序列级别的脑部医疗影像报告生成方法及系统,并具体公开了方法包括获取具有预设标准的序列级别待判断脑部医疗图像；将所述序列级别待判断脑部医疗图像输入至预先训练好的脑部医疗影像判别模型，得到所述脑部医疗影像判别模型输出的脑部医疗影像报告结果；其中，所述脑部医疗影像判别模型是基于脑部医疗影像的样本集数据，以及按照脑部医疗疾病标准等级进行分类所得的序列级别分类标签进行训练得到的。该发明虽然能够利用脑部医疗影响判别模型直接输出诊断报告,但其模型训练是基于脑部医疗疾病标准等级对所述预处理样本集数据进行分类处理构建,也需要人工分类判定。

技术实现思路

1、本发明旨在摆脱对人工标注数据的依赖，寻求替代指导信息来监督模型的训练开发，为此，本发明提供一种基于自然语言监督的脑部影像报告生成方法，通过建立自然语言与影像之间的联系，发挥自然语言获取成本低、语义丰富性高的优势，从本质上解决因人力标注所形成的瓶颈，在有监督学习中提供更加强大丰富的新型监督信息。

2、本发明提供一种基于自然语言监督的脑部影像报告生成方法，包括：

3、步骤s01，获取多个样本脑部影像、以及多个与样本脑部影像对应的样本影像报告；

4、步骤s02，利用图像编码器对样本脑部影像进行编码，并对编码获得的脑部影像特征采用多实例融合方法进行再编码，以获得代表性特征z*；利用文本编码器对与样本脑部影像对应的样本影像报告进行编码，以获得文本特征t；按如上编码方式获得多对影像-文本特征并根据相似度训练方法构建脑部影像判别模型；

5、步骤s03，获取待检测的脑部影像并根据待检测的脑部影像构造多个文本模板，利用图像编码器对待检测的脑部影像编码并利用文本编码器分别对多个文本模板编码，之后将编码后的待检测影像特征和文本模板特征输入到所述脑部影像判别模型中，所述脑部影像判别模型输出与该待检测的脑部影像对应的脑部影像报告。

6、本发明充分利用大规模医疗影像数据中的诊断报告，通过跨模态编码的方式，使其代替人工标注成为影像数据的监督信息，从而减少诊断模型开发对人工标注的依赖。将影像特征和文本特征关联在一起进行判别模型训练，发挥自然语言在语义表达上的灵活性，让模型可判别多样的语义信息，实现对医疗影像的全方面诊断。

7、作为优选，所述步骤s02中利用图像编码器对样本脑部影像进行编码，并对编码获得的脑部影像特征采用多实例融合方法进行再编码，以获得代表性特征z*的过程具体为：

8、步骤s1-1，利用图像编码器对样本脑部影像进行编码，以得到特征序列s为序列的长度；

9、步骤s1-2，通过多实例融合方法计算整条序列的代表性特征z*，

10、其中，αi是通过门注意力机制计算得到的权重，v，u和w均为可学习的参数，⊙是逐元素相乘的算子，sigm是sigmoid激活函数。

11、作为优选，，所述步骤s02中利用文本编码器对与样本脑部影像对应的样本影像报告进行编码，以获得文本特征t的过程具体为：随机从与样本脑部影像对应的样本影像报告中抽取一个完整语句，并利用文本编码器对该完整语句进行编码，以获得特征t。

12、作为优选，所述步骤s02中代表性特征的获取过程，以及所述步骤s02中文本特征t的获取过程可同步进行，或依据任意先后顺序分开进行。

13、作为优选，所述步骤s02中脑部影像判别模型构建过程如下：

14、步骤s2-1，基于图像编码器和文本编码器编码获得的n对影像-文本特征对不同影像-文本特征两两进行余弦相似度计算，以获得相似度矩阵m∈rn×n；

15、步骤s2-2，对相似度矩阵对角线上的特征进行最大化相似度计算，其中，i，k为矩阵的行、列，反复训练获得最大相似度值，完成脑部影像判别模型构建。

16、作为优选，所述步骤s02还包括在构建脑部影像判别模型前，对图像编码器进行训练，具体过程如下：

17、步骤s0-1，从给定的一条脑部影像序列中抽取相邻两张影像，经数据增强后得到影像样本特征xi和xj；

18、步骤s0-2，影像样本特征xi和xj通过图像编码器得到编码特征hi和hj；

19、步骤s0-3，通过非线性变换头将编码特征hi和hj转化为变换编码特征zi和zj；

20、步骤s0-4，利用对比损失函数最大化变换编码特征zi和zj的相似度，以完成图像编码器训练。

21、作为优选，所述步骤s0-1中数据增强方法包括随机裁剪、旋转。

22、作为优选，所述步骤s0-4的对比损失函数为：

23、

24、其中sim(·，·)用于计算两个特征的余弦相似度，τ是一个热力学中的温度常量，用于控制损失函数对特征不一致的敏感性；n为批量数据的给定长度，zk代表n个样本中除第i个的其它样本。

25、作为优选，所述图像编码器和所述文本编码器均采用基于transformer架构的编码器。

26、作为优选，所述步骤s03中文本模板构造过程如下：基于诊断需求构造多个文本模板。

27、本发明具有以下有益效果：

28、本发明一种基于自然语言监督的脑部影像报告生成方法，通过建立自然语言与影像之间的联系，发挥自然语言获取成本低、语义丰富性高的优势；本发明利用影像报告作为监督信息，通过跨模态特征学习的方式，指导模型训练，使其可以对多样的疾病语义进行判别，达到临床可用的辅助效果。