结构化医疗影像报告生成方法及相关设备

本公开涉及医学图像处理领域，尤其涉及一种结构化医疗影像报告生成方法及相关设备。

背景技术：

1、随着医疗人工智能数据与医疗大数据的快速发展，人工智能辅助检测已经成为减轻医护人员工作量，同时为偏远地区提供优质医疗资源不可或缺的环节。受制于不同类型医学影像，不同医院的不同医生的书写习惯不同，内容逻辑复杂，用词多样，不便于规范化的管理和医疗人工智能大数据集的构建，同时传统非结构化的医学影响报告经常出现疏漏等问题。

2、随着结构化报告的推广使用，对医学影像报告在内容上进行了结构化的规范，提高了临床医生的工作效率，并且最大程度的规避了漏诊等情况的发生，并且为构建医疗多模态大数据集提供了合理的范式。

3、目前对于结构化医学影像报告，大部分均通过非结构化文本报告提取生成结构化文本报告，其没有减小医生诊断的特异性，无法切实将人工智能技术与实际医疗情况相结合。

4、有鉴于此，如何实现人工智能技术与实际医疗情况的结合，辅助医疗数据管理，减小不同医院不同医生书写医疗影像报告的差异性，成为了一个重要的研究问题。

技术实现思路

1、有鉴于此，本公开的目的在于提出一种结构化医疗影像报告生成方法及相关设备，用以解决或部分解决上述问题。

2、基于上述目的，本公开的第一方面提供了一种结构化医疗影像报告生成方法，所述方法包括：

3、接收医疗影像信息，将所述医疗影像信息输入至解剖结构定位网络，得到第一影像信息，其中所述解剖结构定位网络为对定位网络训练得到的确定解剖结构位置的网络，所述第一影像信息包括第一目标框；

4、将所述医疗影像信息输入至疾病定位网络，得到第二影像信息，其中所述疾病定位网络为对定位网络训练得到的确定病灶位置的网络，所述第二影像信息包括第二目标框；

5、将所述第二影像信息输入至细粒度属性预测网络，经由所述细粒度属性预测网络输出至少一个标签信息，其中所述细粒度属性预测网络为对分类网络训练得到的对病灶进行分类的网络，所述标签信息为对病灶类型进行描述的信息；

6、根据所述第一目标框、所述第二目标框及所述至少一个标签信息构建知识图谱，依据所述知识图谱生成结构化医疗影像报告。

7、基于同一发明构思，本公开的第二方面提出了一种结构化医疗影像报告生成装置，包括：

8、第一影像信息生成模块，被配置为接收医疗影像信息，将所述医疗影像信息输入至解剖结构定位网络，得到第一影像信息，其中所述解剖结构定位网络为对定位网络训练得到的确定解剖结构位置的网络，所述第一影像信息包括第一目标框；

9、第二影像信息生成模块，被配置为将所述医疗影像信息输入至疾病定位网络，得到第二影像信息，其中所述疾病定位网络为对定位网络训练得到的确定病灶位置的网络，所述第二影像信息包括第二目标框；

10、标签信息生成模块，被配置为将所述第二影像信息输入至细粒度属性预测网络，经由所述细粒度属性预测网络输出至少一个标签信息，其中所述细粒度属性预测网络为对分类网络训练得到的对病灶类型进行分类的网络，所述标签信息为对病灶类型进行描述的信息；

11、医疗影像报告生成模块，被配置为根据所述第一目标框、所述第二目标框及所述至少一个标签信息构建知识图谱，依据所述知识图谱生成结构化医疗影像报告。

12、基于同一发明构思，本公开的第三方面提出了一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上所述的结构化医疗影像报告生成方法。

13、基于同一发明构思，本公开的第四方面提出了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上所述的结构化医疗影像报告生成方法。

14、从上述可以看出，本公开提出了一种结构化医疗影像报告生成方法及相关设备，通过接收医疗影像信息，将所述医疗影像信息输入至解剖结构定位网络，得到第一影像信息，其中所述第一影像信息包括第一目标框，得到所述医疗影像信息对应的解剖位置，以供后续构建知识图谱，提高了所述知识图谱的准确性，实现了人工智能技术与医疗影像的结合；通过将所述医疗影像信息输入至疾病定位网络得到第二影像信息，其中所述第二影像信息包括第二目标框，得到所述医学影像信息对应的病灶位置及病灶类型，以供后续构建知识图谱；将所述第二影像信息输入至细粒度属性预测网络，经由所述细粒度属性预测网络输出至少一个标签信息，所述标签信息为对所述病灶类型进行描述的信息，得到对所述病灶类型的详细描述；根据所述第一目标框、第二目标框及至少一个标签信息构建知识图谱，基于所述知识图谱生成结构化影像报告，减小了不同医院不同医生书写医疗影像报告的差异性，提高了医生的工作效率。

技术特征：

1.一种结构化医疗影像报告生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标框、所述第二目标框及所述至少一个标签信息构建知识图谱，包括：

3.根据权利要求2所述的方法，其特征在于，所述计算所述第一目标框与所述第二目标框的重叠度，包括：

4.根据权利要求1所述的方法，其特征在于，所述解剖结构定位网络的训练过程，包括：

5.根据权利要求1所述的方法，其特征在于，所述疾病定位网络的训练过程，包括：

6.根据权利要求1所述的方法，其特征在于，所述细粒度属性预测网络的训练过程，包括：

7.根据权利要求1所述的方法，其特征在于，所述医疗影像信息还包括影像号信息，所述方法还包括：

8.一种结构化医疗影像报告生成装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7任意一项所述的结构化医疗影像报告生成方法。

10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行权利要求1至7任一所述的结构化医疗影像报告生成方法。

技术总结
本公开提供了一种结构化医疗影像报告生成方法及相关设备，包括：接收医疗影像信息，将所述医疗影像信息输入至解剖结构定位网络，得到第一影像信息，所述第一影像信息包括第一目标框；将所述医疗影像信息输入至疾病定位网络，得到第二影像信息，所述第二影像信息包括第二目标框；将所述第二影像信息输入至细粒度属性预测网络，输出至少一个标签信息，所述标签信息为对病灶类型进行描述的信息；根据所述第一目标框、所述第二目标框及所述至少一个标签信息构建知识图谱，依据所述知识图谱生成结构化医疗影像报告。本公开实现了人工智能技术与实际医疗情况的结合，辅助医疗数据管理，减小不同医院不同医生书写医疗影像报告的差异性。

技术研发人员：王光宇,王昱昊,张靖岳,张平,刘晓鸿
受保护的技术使用者：北京邮电大学
技术研发日：
技术公布日：2024/1/13