基于注意力多分支结构的医学图像合成方法及系统

申请涉及图像处理和人工智能，尤其涉及基于深度学习的医学图像合成技术。

背景技术：

1、放射治疗是利用高能射线或粒子来破坏或阻止癌细胞生长的一种治疗方法，其方案制定包括临床评估和影像学检查等步骤。传统上，放射治疗方案主要基于ct影像，但由于ct图像对软组织的显示效果有限，需要医生具备丰富经验，并且这一过程中医生和患者都需频繁暴露于辐射中。随着mri技术的发展和临床应用增加，越来越多医院开始使用mri图像进行放疗引导，由于mri图像具有优异的软组织对比度，可以帮助医生更好地了解患者状况并制定详细的放射计划。然而，mri图像不包含组织密度信息，无法用于计算放射剂量，因此患者还需要进行额外的ct照射以计算剂量。

2、当前，深度学习技术的快速发展为mr图像合成出对应的ct图像提供了可能性，这有助于简化工作流程并降低医生和患者的辐射暴露风险。图像合成即通过已知模态的图像合成出未知模态的图像。基于深度学习的医学图像合成方法主要利用神经网络学习目标模态图像的分布，包括配对合成和不配对合成两种主要形式。在实际应用中，不配对的数据占比较高，因此当前主流的方法是使用生成对抗网络(gan)实现不配对的医学图像合成。生成对抗网络主要由生成器和鉴别器组成，通过两者之间的博弈学习，最终让生成网络生成以假乱真的结果。

3、然而，现有的技术仍然存在一些技术问题需要解决。首先，现有技术在合成小解剖结构，如肿瘤时，效果不理想，这可能导致合成影像中关键结构信息的缺失。其次，目前许多模型结构在训练阶段需要较高的计算资源，但在测试阶段仅需一个生成器，这导致算力资源的浪费。最后，目前采用的注意力机制通常会增加模型的计算复杂度，需要较高的算力支持。因此，这些技术问题需要通过新的方法得到有效解决。

技术实现思路

1、本技术的目的在于提供一种基于注意力多分支结构的医学图像合成方法及系统，以解决上述背景技术中提出的问题。

2、本技术公开了一种基于注意力多分支结构的医学图像合成方法，包含：

3、获取肿瘤患者的磁共振(mr)和计算机断层扫描(ct)图像数据；

4、构建一个基于多分支生成对抗网络的医学图像合成模型，所述模型包括一个生成器和一个判别器，其中，所述生成器包含编码器模块、注意力多分支特征提取模块和解码器模块，其中，所述注意力多分支特征提取模块包含不同核大小的卷积神经网络分支，残差连接分支和外部注意力机制分支，所述卷积神经网络分支用于学习所述mr图像数据的局部特征，所述外部注意力机制分支用于学习所述mr图像数据的全局特征；

5、将预处理后的磁共振(mr)图像数据输入生成器，输出合成的ct图像，同时利用肿瘤患者真实的ct图像在判别器中进行训练；

6、采用对抗损失和基于图像块的对比损失对所述模型进行联合优化，其中，通过所述外部注意力机制降低所述模型的复杂度和对算力的要求。

7、在一个优选例中，所述卷积神经网络分支利用不同尺寸的卷积核层来学习输入图像的局部特征。

8、在一个优选例中，所述对抗损失的计算公式为：

9、

10、其中，x代表目标模态数据，y为源模态数据样本，d为判别器，g为生成器，e_x[logd(x)]计算鉴别器对所有目标模态数据的对数似然度平均值，d(x)是鉴别器判断目标模态数据为真实数据的概率，表示最大化鉴别器的鉴别能力，g(y)表示生成图像，目标是最小化其损失函数，表示生成器(g)的目标是最小化其损失函数；并且，

11、所述对比损失函数的计算如公式为：

12、

13、其中，τ是温度参数，影响距离缩放，分子计算被视为正类的patch间相似度距离，分母加上正类与所有负类之间的距离。

14、在一个优选例中，所述模型最终的损失函数表示为：

15、

16、其中，λ_gan和λ_nce是经过筛选的超参数，分别选用1和3。

17、在一个优选例中，所述外部注意力机制分支的数量和类型可根据图像内容调整。

18、在一个优选例中，所述获取肿瘤患者的磁共振(mr)和计算机断层扫描(ct)图像数据的步骤中，还包含对所述图像数据进行预处理。

19、在一个优选例中，所述对所述图像数据进行预处理的步骤中，所述预处理还包括对所述mr图像数据和ct图像数据进行重采样，使两者具有相同的空间分辨率。

20、在一个优选例中，所述对所述图像数据进行预处理的步骤中，所述预处理还包括对所述mr图像数据进行灰度值归一化处理。

21、在一个优选例中，所述生成器由所述编码器模块、所述注意力多分支特征提取模块和所述解码器模块顺序连接构成。

22、本技术还公开了一种基于注意力多分支结构的医学图像合成系统包括：

23、数据获取模块，用于获取肿瘤患者的磁共振(mr)和计算机断层扫描(ct)图像数据；

24、模型构建模块，用于构建一个基于多分支生成对抗网络的医学图像合成模型，所述模型包括一个生成器和一个判别器，其中，所述生成器包含编码器模块、注意力多分支特征提取模块和解码器模块，其中，所述注意力多分支特征提取模块包含不同核大小的卷积神经网络分支，残差连接分支和外部注意力机制分支，所述卷积神经网络分支用于学习所述mr图像数据的局部特征，所述外部注意力机制分支用于学习所述mr图像数据的全局特征；

25、图像合成处理模块，用于将预处理后的磁共振(mr)图像数据输入生成器，输出合成的ct图像，同时利用肿瘤患者真实的ct图像在判别器中进行训练；

26、模型优化模块，用于采用对抗损失和基于图像块的对比损失对所述模型进行联合优化，其中，通过所述外部注意力机制降低所述模型的复杂度和对算力的要求。

27、本技术还公开了一种基于注意力多分支结构的医学图像合成系统包括：

28、存储器，用于存储计算机可执行指令；以及，

29、处理器，用于在执行所述计算机可执行指令时实现如前文描述的方法中的步骤。

30、本技术还公开了一种计算机可读存储介质所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。

31、本技术实施方式与现有技术相比具有以下区别和技术效果：

32、对于小解剖结构的有效合成：本方法通过构建一个多分支生成对抗网络模型，有效地提高了小解剖结构，如肿瘤的合成效果。特别是，注意力多分支特征提取模块能够同时学习图像的局部和全局特征，这种结合卷积神经网络分支和外部注意力机制分支的方法，使得模型能够更加精准地捕捉和再现图像中的不同尺度的解剖结构，尤其是容易被忽略的小结构，从而解决了现有技术在这方面的不足。

33、计算效率的显著提高：相较于传统的基于cyclegan的模型，本方法只需使用一对生成器和判别器，配合基于图像块的对比损失函数，大大减少了模型在训练和测试阶段的算力资源消耗。这种优化不仅降低了计算成本，还提高了模型的效率，避免了算力资源的浪费。

34、减少计算复杂度和算力需求：本方法中的外部注意力机制提供了一种计算效率更高的特征提取方式。与传统的自注意力机制相比，外部注意力机制的计算量与图像大小成线性关系，大幅降低了模型的计算时间和对算力的需求。这种创新的优化手段使得模型在维持高质量图像合成效果的同时，也适应了实际应用中对计算资源的限制。

35、综上所述，本发明通过创新性的方法解决了现有技术在小解剖结构合成效果不佳、模型结构导致的算力资源浪费以及高计算复杂度的问题，有效提高了医学图像合成的质量和效率，同时减轻了对高算力的依赖，提升了模型的整体性能和实用性。

36、本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本技术上述
技术实现要素：
中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a+b+c，在另一个例子中公开了特征a+b+d+e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a+b+c+d的方案因技术不可行而应当不被视为已经记载，而a+b+c+e的方案应当视为已经被记载。