基于深度学习的医学影像质量评价方法及系统与流程

本技术涉及图像质量评价，具体涉及一种基于深度学习的医学影像质量评价方法及系统。

背景技术：

1、图像质量评价(image quality assessment,iqa)的目的是用自动化的程序评价一张图片的质量。这种技术同样可用于评价医学图像算法所生成的图像质量，有助于新医学图像算法的开发。例如，在电子计算机断层扫描(computed tomography,ct)中，过大剂量的辐射会对患者造成有害影响，所以临床一般采用低剂量ct结合医学图像算法后处理的方式得到图像，用于临床诊断。

2、现在广泛使用的iqa技术，如峰值信噪比(psnr)和结构相似性指数测量(ssim)，上述方法需要金标准原始参考图像来计算这些指标。然而，临床实践中，低剂量医学图像对应参考图像一般无法获得。此外，上述算法仅仅通过计算像素的相似程度来计算图像得分，没有考虑图像质量对临床诊断的影响。因此它们的结果与放射科医生对图像质量的评价不完全一致，使得它们在真实的临床环境中无效。

3、此外目前许多基于深度学习的iqa方法在自然图像上已经取得了很好的效果，此类方法需要大量有标注的数据集，用于训练深度学习模型。虽然有许多针对自然图像质量评价的深度学习方法，但自然图像与医学图像的特点不同，使得这些方法不能直接用于医学图像的质量评价。

4、首先，自然图像和医学图像的污染类型是不同的，自然图像的污染包括噪声、模糊和降采样等；医学图像的污染包括低剂量噪声、金属伪影和运动伪影等。此外，自然图像和医学图像的图像内容也不同，自然图像的内容复杂多样，而医学图像一般包含较大面积的黑色背景区域。这些不同点决定了训练好的自然图像iqa深度模型无法直接迁移应用到医学图像中。

技术实现思路

1、本技术提供一种基于深度学习的医学影像质量评价方法及系统，以解决现有的自然图像质量评价深度模型无法直接应用于医学图像的技术问题。

2、本技术提供一种基于深度学习的医学影像质量评价方法，包括步骤：

3、获取医学图像以及对应的标签分数；

4、特征提取步骤：利用convnext模型提取所述医学图像的局部特征，并获得局部特征图；同时利用transformer模型提取所述医学图像的全局特征，并获得全局特征图；

5、基于可形变卷积融合模型，并利用所述局部特征图与所述全局特征图，获取第一预测分数的高斯向量；

6、构建两个相同架构的神经网络模型，并分别定义为教师模型以及学生模型；

7、迭代训练步骤：将所述医学图像输入至所述学生模型，并获得第二预测分数的高斯向量；

8、根据所述第一预测分数的向量以及所述第二预测分数的高斯向量计算损失函数；

9、更新模型步骤：基于损失函数计算梯度，并更新所述学生模型的权重以及所述教师模型的权重；

10、判断迭代次数是否大于或等于预设次数，若是，保存所述教师模型的权重，若否，循环迭代特征提取步骤至所述更新模型步骤；

11、将保存的所述教师模型的权重加载至所述神经网络模型，获得医学影像质量评价模型；

12、采集临床医学图像，并将其输入至所述医学影像质量评价模型，获得该临床医学图像的质量评价。

13、可选的，在获取医学图像以及对应的标签分数的步骤中，包括以下步骤：

14、采集两个以上医学图像；

15、针对每一个所述医学图像进行两次以上的评分，并将分数的平均值定义为所述标签分数；

16、选取所述医学图像以及对应的所述标签分数组成一数据集。

17、可选的，所述基于所述局部特征图与所述全局特征图，获取第一预测分数的步骤中，包括以下步骤：

18、将所述全局特征图进行卷积神经网络运算，同时对卷积后的特征进行提取，并获得位移量，

19、offset＝cnn(f2)

20、其中，offset表示位移量，cnn()表示卷积神经网络运算，f2表示全局特征图；

21、利用可形变卷积将所述局部特征图与所述全局特征图对齐，并获得融合特征，

22、f′1＝deformconv(f1,offset)

23、其中，f'1表示融合特征，deformconv()表示可形变卷积运算，f1表示局部特征，offset表示位移量；

24、将所述融合特征输入至注意力模块中，并获得最终特征图；

25、将所述最终特征图与所述全局特征图沿通道维度拼接后输入至全连接层，并获取第一预测分数。

26、可选的，所述迭代训练步骤之前，还包括步骤：

27、初始化教师模型ft(·,θt)以及学生模型fs(·,θs)，其中θt,θs分别为教师模型的权重以及学生模型的权重。

28、可选的，所述迭代训练步骤中，包括以下步骤：

29、预处理所述医学图像，预处理方式包括旋转、翻转以及裁剪；

30、截取预处理后的所述医学图像的主体部分，并丢弃背景区域；

31、将截取后的所述医学图像输入至所述学生模型，并获得第二预测分数的高斯向量。

32、可选的，所述预处理医学图像步骤中，

33、将所述医学图像随机旋转0-360°；

34、将所述医学图像随机翻转处理；

35、获取批尺寸为b的mini-batch，其中mini-batch中的每个图像为数据增强的医学图像；

36、将mini-batch随机裁剪为l×l大小，448≤l≤512。

37、可选的，所述根据所述第一预测分数的向量以及所述第二预测分数的高斯向量计算损失函数的步骤中，

38、预测分数与预测分数的高斯向量之间的关系为：

39、

40、其中，vb,k表示第b个向量中的第k个元素，m为高斯向量的长度，k为高斯向量的元素序号，k＝1,2,…,m，xb表示标签分数，且xb∈r16，定义4*argmax(f(x))/m为预测分数；

41、损失函数为：

42、

43、其中，f(y)表示第一预测分数的向量，医学图像y∈rb×1×l×l，1是通道数，b表示mini-batch的批尺寸，l×l表示mini-batch随机裁剪的大小，v表示第二预测分数对应的高斯向量，l表示损失函数。

44、可选的，所述更新模型步骤包括以下步骤：

45、基于损失函数计算梯度，并通过adam优化更新所述学生模型的权重；

46、利用指数加权平均运算更新所述教师模型，

47、θs＝αθs+(1-α)θt.

48、其中，θs表示教师模型的权重，θs表示学生模型的权重，α表示加权系数。

49、可选的，所述医学图像为ct图像、mri图像、pet图像、dsa图像、oct图像中至少一种。

50、相应的，本技术还提供一种基于深度学习的医学影像质量评价系统，其包括存储器以及处理器，存储器用于存储可执行程序代码；处理器连接至所述存储器，通过读取所述可执行程序代码来运行与所述可执行程序代码对应的计算机程序，以执行上述任一项所述的基于深度学习的医学影像质量评价方法。

51、本技术提供一种基于深度学习的医学影像质量评价方法及系统，基于注意力机制的transformer-cnn混合架构图像质量评价神经网络中，神经网络利用transformer模型提取ct图像的全局特征，同时利用convnext模型提取ct图像的局部特征，使得基于注意力机制的transformer-cnn混合架构图像质量评价神经网络可以模拟专家的打分过程，既关注ct图像的局部的细节，同时权衡了ct图像的概貌，从而提升了预测性能。同时transformer模型提取的全局特征也更有利于识别ct图像中的关键部分，表现为ct图像的关键位置，使得全局特征的值更大，从而能够指导局部特征也更加关注ct图像的关键部位。

52、教师模型的网络架构以及学生模型的网络架构是相同的，在每次迭代的过程中，把学生模型的参数与教师模型的参数进行加权平均，充分利用了网络参数的历史信息，可增加神经网络性能的稳定性，提高泛化能力。

53、本技术预测质量分数对应的高斯向量，而不是直接预测分数本身的方式，可以利用高斯向量的标准差衡量不确定性，使得预测质量分数对应的高斯向量比直接预测分数的准确度更高，从而提升了预测分数的精度和稳定性。