一种基于肝脏属性分析的超声诊断智能交互系统的制作方法

本发明涉及医学人工智能，尤其是一种基于肝脏属性分析的超声诊断智能交互系统。

背景技术：

1、超声诊断技术是一种快速、方便、安全、无创的医学检查方式，但是由于成像原理的限制，超声图像容易受到噪声污染，使得图像质量降低，且灰度不均匀、对比度低，给病灶分割及疾病诊断带来了较大的挑战。传统超声图像分析方法依赖医生主观判断，对医生的临床经验要求较高，手法因人而异，后续无追踪复核方法，且在大规模检查时，医生容易疲劳，效率降低，漏检也容易增加，已不能满足现代医疗模式向智能医疗快速发展的要求。

2、随着深度学习技术的发展，通过结合影像学、医学图像处理技术以及计算机的分析计算，能够辅助发现病灶，提高诊断的准确率。例如公开号为cn107133942的中国专利申请中公开了一种基于深度学习的医疗图像处理方法，其选用标注好的医疗训练集图像对迁移的神经网络模型进行训练和适配，获得经过训练的医疗诊断模型；根据所述医疗诊断模型的要求转换医疗图片的图像格式，并对所述医疗图片进行图像增强处理；提取所述医疗图片的瓶颈特征，利用所述医疗诊断模型根据所述瓶颈特征进行影像诊断，并输出诊断结果。

3、图像处理对于肝脏超声医疗智能诊断的需求来说存在一定的局限性，得到的结果仍是病灶图像数据，缺少没有自然语言文本信息，而大语言模型(llm)为诊断交互系统带来了优秀的交互问答能力。目前多数应用大语言模型的诊断交互系统仅针对图像中的特征进行分析，虽然能得到直观的特征分析结果，但是针对多样的肝脏占位性病变，缺少对特征关联的隐含属性分析，使得诊断分析结果的智能性和准确性与专业医生仍存在一定差距。

技术实现思路

1、为了克服现有技术中肝脏诊断交互系统在分析肝脏超声图像时，缺少对肝脏占位性病变的属性进行分析，诊断结果的智能性和准确性亟需提高的技术问题，本发明提出了一种基于肝脏属性分析的超声诊断智能交互系统。

2、为实现上述目的，本发明公开一种基于肝脏属性分析的超声诊断智能交互系统，包括：图像对齐子系统、属性分析子系统以及大语言模型对话子系统。

3、图像对齐子系统用于对肝脏超声图像进行特征识别，并根据一个问题描述文本获取需要的图像特征，然后将图像特征对齐到文本空间上，进而得到能够被大语言模型识别的图像文本对齐特征。

4、属性分析子系统用于对肝脏超声图像进行肝脏以及肝脏占位性区域目标检测，并对肝脏的占位性病变属性进行分类识别，进而得到肝脏属性分类结果。

5、大语言模型对话子系统用于将问题描述文本、图像文本对齐特征和肝脏属性分类结果作为输入，利用大语言模型输出肝脏超声图像的诊断结果。

6、作为上述方案的进一步改进，属性分析子系统采用yolov8模型进行肝脏以及肝脏占位性区域目标检测，且在对肝脏占位性病变属性进行分类识别时的分类器采用改进的网络结构，改进内容如下：

7、(1)获取传统分类器的主干网络即resnet18网络，按照数据传输方向，在resnet18网络的前三个残差模块之后分别加入多尺度注意力模块。其中，通过将残差模块输出的特征和经过多尺度注意力模块输出的特征进行乘积运算，得到一个含有多尺度空间注意力的融合特征。

8、(2)在主干网络之后增加辅助训练网络。其中，主干网络输出的融合特征经过卷积和平均池化之后，同时输入至辅助训练网络和一个多属性二分类头模块中，进而对属性分类进行训练。辅助训练网络具有多个分类头，分别用于检测多个肝脏占位性病变分类项目的子分类。多属性二分类头模块用于对肝脏多个占位性病变分类项目进行二分类。

9、作为上述方案的进一步改进，属性分析子系统的网络结构训练方法包括以下步骤：

10、标注样本：获取若干个肝脏超声图像的样本，并对样本的肝脏属性进行标注。

11、训练检测器：将标注后的样本按照8∶2的比例划分为训练集和验证集，经过预设轮回训练次数的检测训练后保存yolov8模型并输出剪切的肝脏超声图像。

12、训练分类器：将剪切的肝脏超声图像输入至分类器，并将输入数据统一缩放至预设大小，采用改进的网络结构进行分类训练。

13、作为上述方案的进一步改进，辅助训练网络采用一个组合的损失函数l(c)，其表达式如下：

14、l(c)＝a*crossentropyloss+b*ibloss

15、其中，crossentropyloss为多分类交叉熵损失。ibloss为类别不平衡损失。在初始的10个轮回训练次数中，a＝1，b＝0。在末尾的40个轮回训练次数中，a＝b＝0.5。

16、作为上述方案的进一步改进，样本的肝脏属性即多个肝脏占位性病变分类项目包括：回声、形态、基底、内部回声和后方回声，各自的子分类具体如下：

17、回声：无回声、低回声、高回声、等回声、强回声或混合回声。

18、形态：规则或不规则。

19、基底：清晰或不清晰。

20、内部回声：均匀或不均匀。

21、后方回声：无改变、增强或伴声影。

22、作为上述方案的进一步改进，多属性二分类头模块采用的损失函数l的表达式如下：

23、

24、式中，log的底数为e。yi表示第i样本的标签，正类为1，负类为0。pi表示样本i预测为正类的概率。n表示样本个数，i≤n。li表示第i个样本的损失值。

25、作为上述方案的进一步改进，图像对齐子系统包括图像编码模块和图像文本对齐模块。图像编码模块采用vision transformer模型，用于识别肝脏超声图像中的图像特征。图像文本对齐模块采用q-former网络结构。q-former网络结构具有多组可学习的查询向量，并通过图像文本对进行预训练，使得查询向量学习并提取出与文本最相关的视觉表示，进而输出图像文本对齐特征。

26、作为上述方案的进一步改进，图像对齐子系统的网络结构训练方法包括以下步骤：

27、构建肝脏超声图像文本对数据，其包含多个肝脏超声图像以及多段描述文本；

28、将图像编码模块参数固定，并将图片经过图像编码得到图像特征，然后把图像特征输入到所述图像文本对齐模块，对应的描述文本输入到q-former网络结构得到文本特征；将查询向量与文本特征进行交互，计算各个图像特征和文本特征之间的相似度。

29、根据相似度的大小将图像文本对划分为正样本和负样本，通过自注意模块获取图像中与文本查询相关的视觉特征。

30、采用causal attention掩码来控制查询向量和文本特征的交互，该过程由查询向量提取生成文本所需的信息，以使得查询向量学习到包含文本描述的视觉特征。

31、经过迭代保存最优q-former网络模型及参数。

32、作为上述方案的进一步改进，大语言模型采用chatglm-6b。大语言模型对话子系统的网络结构训练方法包括以下步骤：

33、构建在医疗场景下患者和病人的对话文本数据集。

34、在大语言模型的网络结构增加lora结构，随后将对话文本数据输入至大语言模型中，将图像文本对齐模块的q-former经过一个全连接层与大语言模型进行连接，只更新lora参数进行微调训练，保存优化后的模型。

35、作为上述方案的进一步改进，大语言模型对话子系统采用肝脏超声图像结构化数据知识图谱作为查询的背景知识约束，肝脏超声图像结构化数据知识图谱的构建过程如下：

36、由多位专家确定常见的肝脏超声疾病种类。

37、由多位超声医生根据属性分析的结构化要求，从多个方面的肝脏信息对各种肝脏超声疾病进行描述以形成文档。其中，多个方面的肝脏信息包括：肝脏形态、肝脏大小、肝脏边缘、肝脏包膜、回声、静脉、血管和流速。

38、对超声提示进行说明，并核查文档数据是否有误。

39、与现有技术相比，本发明具有如下有益效果：

40、(1)、本发明公开的基于肝脏属性分析的超声诊断智能交互系统，针对目前深度学习在肝脏超声图像诊断上的不足，结合最新大语言模型多轮对话人性化交互功能，对肝脏超声进行交互式的诊断分析，能够对超声图像进行文字生成。在此基础上，通过引入属性分析子系统，对肝脏超声图像进行肝脏以及肝脏占位性区域目标检测，并对肝脏的占位性病变属性进行分类识别，以此作为大语言模型的另外输入，从而使得诊断结果更加智能和准确。

41、(2)、本发明通过对属性分析子系统在进行分类识别时的网络结构进行改进，一方面，在主干网络中引入多尺度注意力模块，通过更大的卷积获取更精确的空间位置信息，并且能够融合不同空间位置信息。另一方面，通过增加辅助训练网络，使得输出的分类结果更加准确，对分类属性进行优化。同时辅助训练网络设计组合式的损失函数，进一步提高分类准确度。

42、(3)、本发明还通过构建肝脏超声图像结构化数据知识图谱作为大语言模型查询时的背景知识约束，从而保证生成分析结果的准确性，减少错误语句的发生，综合优化最终生成的诊断结果。