CT报告生成处理方法及装置

本发明涉及计算机软件应用和医疗数据应用，特别是涉及一种多模态语言大模型微调和自动生成医疗影像报告技术的ct报告生成处理方法及装置。

背景技术：

1、ct(computerized tomography)是当今放射治疗中最常用的成像技术，随着医学影像学二维和三维成像技术已快速发展到了新的高度，ct精准定位和为临床定性疾病种类提供了非常有价值的图像证据，现在的ct技术在临床诊断上已经得到了全面的应用。然而人工阅片撰写影像表现和影像诊断，从经验和工作量上都对医生有着很高的考验。

2、自动生成医疗影像报告技术是从海量的影像诊断报告与医疗影像作为基础数据源，通过机器学习与深度学习进行相关特征提取与分析，并能够生成结构化的诊断报告，是影像图像与nlp技术的结合，是医学、计算机学领域的跨模态转化算法。

3、目前市场存在一些关于自动诊断报告生成的计算应用，主要针对x-ray的二维影像的报告生成的辅助系统，针对ct的三维影像报告生成技术处于不成熟阶段。通常训练一个精准的报告生成模型需要大量数据，然而可供的模型训练的ct公开数据并不多，且医学术语和专有名词具有领域性与自然语言词语分布不同，人工标注大量数据耗时耗力不可行，这些会最终导致影响报告生成不准确。

技术实现思路

1、鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种ct报告生成处理方法及装置。

2、本发明提供了如下方案：

3、一种ct报告生成处理方法，包括：

4、获取患者ct影像，通过预处理图像增强、疾病区域分割网络将所述ct影像中与目标疾病相关的区域识别出来并生成目标ct影像；

5、将所述目标ct影像输入带有预训练权重的3d vision transformer的图像编码器当中，生成影像编码；

6、将所述影像编码输入mlp的分类网络对影像进行分类识别出所述目标疾病的类别；

7、利用所述目标疾病的类别，对领域指南及相关专业知识进行检索，得到与所述目标疾病相关的目标专业知识；

8、对所述目标专业知识进行文本编码，融合所述文本编码以及所述影像编码生成多模态融合特征；

9、将所述多模态融合特征和图片指向性问题一同输入llm语言大模型解码器中引导模型生成影像表现或诊断报告；

10、接收用户对生成的影像表现或者诊断报告进行订正的订正指令，将执行所述订正指令后的结果同步到后台，以供模型后续训练调整。

11、优选地：所述预处理图像增强包括通过所述ct图像每层的dicom进行对比度增强处理；

12、对得到的对比度增强后的结果中每层的dicom进行下采样得到低像素的slice；

13、对得到的结果中slice进行中心裁剪，得到每层为正方形224*224像素的处理后的ct影像。

14、优选地：通过所述疾病区域分割网络结合所述处理后的ct影像识别出目标疾病相关的区域；

15、通过网络预测的mask与原始图像点乘，得到mask过滤后的影像；

16、抽取过滤后结果中定长有效slice，生成新的所述目标ct影像。

17、优选地：所述mlp的分类网络训练过程中将所述影像编码输入mlp多层感知机，进行病理甄别分类训练，通过多分类损失函数进行梯度回传。

18、优选地：将所述目标疾病的类别作为检索条件，在具有领域知识的指南或知识图谱中找到对应领域术语和概念，通过对相关术语和概念编码作为所述目标专业知识。

19、优选地：将图像分类任务中的损失函数和报告生成任务中的损失函数组合生成联合损失函数进行梯度回传。

20、优选地：将生成的所述诊断报告和所述ct影像作为样本对，同步上传到服务器后端。

21、优选地：将生成的所述诊断报告和所述ct影像作为样本对并附加同步时间戳与更改用户信息，同步上传到服务器后端；

22、当接收到用户触发订正报告事件后，将订正后的报告与已同步样本对组合生成三元组，作为正负样本进行保存，同时更新时间戳。

23、优选地：将所述ct影像回传至系统前端设备，以便用户在所述系统前端设备上点击、拖拽进行多视角观察和范围缩放；所述系统前端设备还用于供用户上传所述ct影像。

24、一种ct报告生成处理装置，包括：

25、ct影像预处理单元，用于获取患者ct影像，通过预处理图像增强、疾病区域分割网络将所述ct影像中与目标疾病相关的区域识别出来并生成目标ct影像；

26、影像编码单元，用于将所述目标ct影像输入带有预训练权重的3d visiontransformer的图像编码器当中，生成影像编码；

27、疾病识别单元，用于将所述影像编码输入mlp的分类网络对影像进行分类识别出所述目标疾病的类别；

28、疾病相关知识获取单元，用于利用所述目标疾病的类别，对领域指南及相关专业知识进行检索，得到与所述目标疾病相关的目标专业知识；

29、融合单元，用于对所述目标专业知识进行文本编码，融合所述文本编码以及所述影像编码生成多模态融合特征；

30、报告生成单元，用于将所述多模态融合特征和图片指向性问题一同输入llm语言大模型解码器中引导模型生成影像表现或诊断报告；

31、订正单元，用于接收用户对生成的影像表现或者诊断报告进行订正的订正指令，将执行所述订正指令后的结果同步到后台，以供模型后续训练调整。

32、根据本发明提供的具体实施例，本发明公开了以下技术效果：

33、本申请实施例提供的一种ct报告生成处理方法及装置，该方法可以对医生新增患者ct影像数据自动进行预处理、对影像疾病区域识别与抽取、通过影像编码特征对疾病自动分类、通过识别病理分类检索领域知识实现知识增强，通过分类任务和文本生成任务的联合训练，引导ct影像表现或诊断报告的自动生成。还可以通过同步ct影像和系统生成的报告的样本对，或者前两者以及用户订正后报告组合的三元组，系统不断收集新的训练数据以及影像诊断报告金标准，为模型的持续优化提供可能。

34、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

技术特征：

1.一种ct报告生成处理方法，其特征在于，包括：

2.根据权利要求1所述的ct报告生成处理方法，其特征在于，所述预处理图像增强包括通过所述ct图像每层的dicom进行对比度增强处理；

3.根据权利要求2所述的ct报告生成处理方法，其特征在于，通过所述疾病区域分割网络结合所述处理后的ct影像识别出目标疾病相关的区域；

4.根据权利要求1所述的ct报告生成处理方法，其特征在于，所述mlp的分类网络训练过程中将所述影像编码输入mlp多层感知机，进行病理甄别分类训练，通过多分类损失函数进行梯度回传。

5.根据权利要求1所述的ct报告生成处理方法，其特征在于，将所述目标疾病的类别作为检索条件，在具有领域知识的指南或知识图谱中找到对应领域术语和概念，通过对相关术语和概念编码作为所述目标专业知识。

6.根据权利要求1所述的ct报告生成处理方法，其特征在于，将图像分类任务中的损失函数和报告生成任务中的损失函数组合生成联合损失函数进行梯度回传。

7.根据权利要求1所述的ct报告生成处理方法，其特征在于，将生成的所述诊断报告和所述ct影像作为样本对，同步上传到服务器后端。

8.根据权利要求7所述的ct报告生成处理方法，其特征在于，将生成的所述诊断报告和所述ct影像作为样本对并附加同步时间戳与更改用户信息，同步上传到服务器后端；

9.根据权利要求1所述的ct报告生成处理方法，其特征在于，将所述ct影像回传至系统前端设备，以便用户在所述系统前端设备上点击、拖拽进行多视角观察和范围缩放；所述系统前端设备还用于供用户上传所述ct影像。

10.一种ct报告生成处理装置，其特征在于，包括：

技术总结
本发明公开了一种CT报告生成处理方法及装置，该方法可以对医生新增患者CT影像数据自动进行预处理、对影像疾病区域识别与抽取、通过影像编码特征对疾病自动分类、通过识别病理分类检索领域知识实现知识增强，通过分类任务和文本生成任务的联合训练，引导CT影像表现或诊断报告的自动生成。还可以通过同步CT影像和系统生成的报告的样本对，或者前两者以及用户订正后报告组合的三元组，系统不断收集新的训练数据以及影像诊断报告金标准，为模型的持续优化提供可能。

技术研发人员：宋红,吴优,杨健,付天宇,肖德强,范敬凡,艾丹妮
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/5/9