一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法

本发明涉及医学图像融合领域，具体是一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法。

背景技术：

1、医学图像融合(mif)方法在精确诊断和治疗计划管理中发挥着重要作用，而医学图像融合质量评估(mifqa)在提高mif性能方面具有积极作用。然而，对医学先验知识和参考图像的巨大需求是mifqa领域的一个重要挑战。同时，由于医学图像的特殊性，现有的图像质量评估方法的结果并不令人满意。

技术实现思路

1、本发明设计一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，通过将放射科医生的医生视觉感知分数dvps与源图像融合，引导模型生成每种质量的一个参考图像。然后，在少镜头学习下，将未标记融合图像以及参考图像输入到我们提出的基于类激活映射cam的类注意力暹罗网络casnet中，以充分探索有限参考图像中的信息。它可以强制引导模型聚焦于关键病变区域，有效降低mifqa对医学融合图像的依赖性。

2、一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，包括图像生成阶段和图像质量评价阶段：

3、图像生成阶段，引入融合图像的医生视觉感知分数dvps，基于质量感知网络学习源图像、融合图像和dvps的关系，然后，在质量感知网络中输入dvps以及2张同位置同角度不同模态的源图像一和源图像二，生成不同dvps的参考图像，

4、融合图像质量评价阶段，在少镜头学习下，将未标记融合图像以及参考图像输入到基于类激活映射的类注意力暹罗网络中，强制引导模型聚焦于关键病变区域，预测未标记融合图像的质量分数。

5、优选的，医生视觉感知分数dvps为1-5的量化数字得分，满足下式：

6、

7、其中，round()表示四舍五入取整函数，p1表示经验丰富的主任医师一给出图像的质量状况评分，p2表示经验丰富的主任医师二给出图像的质量状况评分，p3表示在p1和p2差异大于2时，引入的经验丰富的主任医师三给出图像的质量状况评分，p1、p2、p3均为1、2、3、4和5中的一个。

8、进一步的，在质量感知网络中，输入通道扩展为9个，分别用于输入dvps、源图像一、源图像二，输出通道扩展为3个，分别用于捕捉dvps、纹理信息和形状特征。

9、进一步的，质量感知网络包括生成器g和鉴别器d，生成器g生成具有不同dvps的融合图像，从而为融合图像质量评价阶段提供支持集，鉴别器d通过比较生成的图像和真实图像，提供图像质量的反馈，通过生成器g和鉴别器d的协同训练，不断优化生成模型。

10、优选的，生成器公式为：

11、ig＝g(dvps，si1，si2)

12、其中，ig表示g生成的图像，si1和si2表示源图像一和源图像二，即为相同位置相同角度的不同模态的两张图像，

13、生成器g的损失函数包括功能性损失和解剖学损失：

14、lg＝lfun+αlana

15、这里lg为生成器的损失函数，α为生成器损失权衡因子，它调控着功能性损失lfun和解剖学损失lana之间的权衡关系，

16、其中，功能性损失计算生成器g生成的图像与对应dvps融合图像之间的l1距离，具体公式为：

17、

18、其中，lfun表示功能性损失，n表示图像数量，if表示对应dvps的融合图像，|·|1表示l1距离，ζ表示图像差异平衡参数，ξ表示图像差异平衡度参数，

19、解剖学损失计算生成图像和对应dvps融合图像之间的图像结构感知度量，具体公式为：

20、lana＝1-γispm(if，ig)

21、其中，lana表示解剖学损失，γ表示感知度量权重，ispm表示图像结构感知度量。

22、优选的，ispm参照下式计算：

23、

24、其中，μx和μy分别表示图像x和y的平均亮度，和分别表示图像x和y的亮度方差，σxy表示图像x和y的协方差，c1、c2、c3、c4、m、n、p是分别是亮度平滑度调整项、对比度平滑度调整项、协方差平滑度调整项、方差平滑度调整项、亮度调整偏移项、协方差调整偏移项、方差调整偏移项。

25、进一步的，鉴别器的损失函数使用均方误差ld计算，如下：

26、

27、其中，fi表示第i张图像特征输出的真实值，表示第i张图像特征输出的预测值，对于真实图像输入，fi是14×14的全为1的矩阵，对于g生成的图像输入，fi14×14的全为0的矩阵。

28、进一步的，融合图像质量评价阶段对骨干网络vgg11进行优化，形成了vgg11-ch，通过两个具有相同结构vgg11分支能够有效利用各自在训练过程中获得的不同特征，使得网络通过特征提取捕捉融合图像中关键信息差异，以准确评估和量化融合图像的质量，

29、同时，将vgg11-ch最后一个卷积层的权重矩阵wf视为卷积核，对vgg-bn的输出结果fmap进行1×1的卷积操作，引入了权重的空间分布，类激活映射cam模块根据输入图像的内容自动调整权重矩阵，通过在特征图的不同位置赋予不同的权重，以更好地捕捉医学图像中各个区域的关键特征。

30、优选的，剔除了vgg11的最后两层，以简化网络结构，并将这一部分命名为vgg11-bn；然后，引入了全局平均池化层gap，通过计算每个特征图的平均值，将二维数据压缩成一维数据，从而减少计算复杂度，在捕获图像全局信息的同时降低了网络的参数量；最后，采用了两个全连接层，将gap得到的特征映射到预测输入图像的dvps。

31、优选的，将图像生成阶段生成的融合图像作为支持集，记为frf|dvps＝i，i∈[1，2，3，4，5]，frf表示生成器生成的融合图像，dvps表示医生视觉感知分数。

32、在质量评价的过程中，需要将查询集的图像分别与支持集的每张图像一起输入到类注意力暹罗网络中，通过计算查询集与支持集中各图像的距离来预测无标签融合图像的dvps值：

33、dvps＝min||fq，frf|dvps＝i||，i∈[1，2，3，4，5]

34、其中，fq表示查询集的图像，||··||表示欧氏距离。

35、与现有技术相比，本发明的有益效果：

36、本发明设计一种质量感知网络与类注意力暹罗网络协同的医学融合图像质量评价方法，通过将放射科医生的医生视觉感知分数dvps与源图像融合，引导模型生成每种质量的一个参考图像。然后，在少镜头学习下，将未标注融合图像以及参考图像输入到我们提出的基于类激活映射cam的类注意力暹罗网络casnet中，以充分探索有限参考图像中的信息。它可以强制引导模型聚焦于关键病变区域，有效降低mifqa对医学融合图像的依赖性。

37、1、本发明不仅在第一阶段通过质量感知网络生成接近医生感知的参考图像，还在第二阶段强调关键病变区域，此外，由于引入了少镜头学习，网络对于已标注数据的需求量大大减少。整合了这两个阶段的综合模型，不仅充分考虑了医学先验知识，还能通过距离度量实现了对未标记融合图像的客观质量评价，为提高医学图像融合质量评估的精度和实用性提供了有力支持。

38、2、本发明创造性的通过引入dvps信息作为条件，以一种有针对性的方式生成融合图像，生成器会利用dvps来调整生成过程，以生成符合特定dvps要求的融合图像。这样，通过将dvps作为条件，我们可以生成具有不同质量的融合图像，从而为融合图像质量评价阶段提供支持集。

39、3、本发明质量感知网络通过扩展输入通道数，有针对性地包含了dvps和两张源图像的信息，这样的设计在融合关系增强方面更具灵活性，它能够适应不同场景和不同数量的源图像输入，使网络能够更好地理解和整合dvps与源图像包含的信息。

40、4、本发明设计生成器的损失函数分为功能性损失和解剖学损失两部分，用以指导医学图像融合。功能性损失确保生成图像在语义上与目标图像相似，考虑了功能性和解剖学图像的特征。而解剖学损失关注生成图像与目标图像之间的空间结构相似性，以更好地反映医学图像的组织关系和形态结构。通过综合这两个损失，生成器能够有效地保留目标图像的关键信息，从而提升生成融合图像的质量。

41、5、本发明引入了权重的空间分布，cam模块会根据输入图像的内容自动调整权重矩阵，通过在特征图的不同位置赋予不同的权重，以更好地捕捉医学图像中各个区域的关键特征。模型更有针对性地关注医学图像中重要信息的位置。在医学图像中，不同区域对诊断和分析有不同重要性，而这种权重机制使模型更灵活地适应图像的结构，更集中地关注任务关键的区域。通过这一设计，提高了模型对医学图像的敏感性，使其能更准确地识别和利用图像中各个区域的信息，从而在融合图像质量评价中取得更出色的性能。