一种基于自然语言监督的脑部影像报告生成方法与流程

文档序号:37369898发布日期:2024-03-22 10:22阅读:来源:国知局

技术特征:

1.一种基于自然语言监督的脑部影像报告生成方法,其特征在于,包括:

2.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02中利用图像编码器对样本脑部影像进行编码,并对编码获得的脑部影像特征采用多实例融合方法进行再编码,以获得代表性特征z*的过程具体为:

3.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02中利用文本编码器对与样本脑部影像对应的样本影像报告进行编码,以获得文本特征t的过程具体为:随机从与样本脑部影像对应的样本影像报告中抽取一个完整语句,并利用文本编码器对该完整语句进行编码,以获得特征t。

4.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02中代表性特征的获取过程,以及所述步骤s02中文本特征t的获取过程可同步进行,或依据任意先后顺序分开进行。

5.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02中脑部影像判别模型构建过程如下:

6.根据权利要求2所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s02还包括在构建脑部影像判别模型前,对图像编码器进行训练,具体过程如下:

7.根据权利要求3所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s0-1中数据增强方法包括随机裁剪、旋转。

8.根据权利要求3所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s0-4的对比损失函数为:

9.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述图像编码器和所述文本编码器均采用基于transformer架构的编码器。

10.根据权利要求1所述的一种基于自然语言监督的脑部影像报告生成方法,其特征在于,所述步骤s03中文本模板构造过程如下:基于诊断需求构造多个文本模板。


技术总结
一种基于自然语言监督的脑部影像报告声称方法,属于医学影像诊断技术领域。方法包括步骤S01,获取多个样本脑部影像以及多个与样本脑部影像对应的样本影像报告;步骤S02,利用图像编码器和文本编码器分别对样本脑部影像和样本影像报告进行编码,以获得多对影像‑文本特征,并根据相似度训练方法构建脑部影像判别模型;步骤S03,根据待检测的脑部影像构造多个文本模板,利用图像编码器对待检测的脑部影像编码并利用文本编码器分别对多个文本模板编码,之后将编码后的待检测影像特征和文本模板特征输入到所述脑部影像判别模型中,输出脑部影像报告。本发明利用影像报告进行跨模态编码,降低了诊断模型开发对人工标注的依赖。

技术研发人员:何宇巍,徐枫,郭雨晨
受保护的技术使用者:杭州涿溪脑与智能研究所
技术研发日:
技术公布日:2024/3/21
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1