1.一种基于自然语言监督的脑部影像报告生成方法,其特征在于,包括:
2.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02中利用图像编码器对样本脑部影像进行编码,并对编码获得的脑部影像特征采用多实例融合方法进行再编码,以获得代表性特征z*的过程具体为:
3.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02中利用文本编码器对与样本脑部影像对应的样本影像报告进行编码,以获得文本特征t的过程具体为:随机从与样本脑部影像对应的样本影像报告中抽取一个完整语句,并利用文本编码器对该完整语句进行编码,以获得特征t。
4.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02中代表性特征的获取过程,以及所述步骤s02中文本特征t的获取过程可同步进行,或依据任意先后顺序分开进行。
5.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02中脑部影像判别模型构建过程如下:
6.根据权利要求2所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02还包括在构建脑部影像判别模型前,对图像编码器进行训练,具体过程如下:
7.根据权利要求3所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s0-1中数据增强方法包括随机裁剪、旋转。
8.根据权利要求3所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s0-4的对比损失函数为:
9.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述图像编码器和所述文本编码器均采用基于transformer架构的编码器。
10.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s03中文本模板构造过程如下:基于诊断需求构造多个文本模板。