一种基于双交叉注意力机制的神经网络图像复原方法

本发明涉及医学磁共振成像、智能图像处理，具体涉及一种基于双交叉注意力机制的神经网络图像复原方法。

背景技术：

1、磁共振成像在临床疾病诊断和生物医学研究中具有重要的价值。磁共振图像复原(包括去噪、超分辨成像和磁共振重建)是一种通过数学和算法技术对图像进行重建和修复的过程。该过程利用滤波技术、深度学习和信号处理算法，旨在提高图像质量和可视化效果。在实际的临床诊断中，医生往往使用多种序列的磁共振成像图像进行诊断，而不是单一对比度图像，但是这种多种对比度成像的采集需要耗费大量时间。

2、近期的研究表明，多种对比度成像具有相同的解剖结构信息，在图像复原任务中，神经网络能够利用来自同一患者扫描的另一个高分辨率参考模态的辅助信息来修复单个图像(即目标模态)。然而，目前设计的基于另一种对比度引导修复的方法通常采用一些简单的策略，如通道拼接、体素相加或经过transformer架构寻找纹理信息。然而，这种简单策略可能无法高效地搜索到另一种对比度的纹理信息。

技术实现思路

1、本发明的目的在于提供一种基于双交叉注意力机制的神经网络图像复原方法，该方法通过新设计的双交叉注意力机制根据输入的待复原图像和参考图像可以寻找到高效纹理信息，从而得到高分辨率高清图像，实现更准确的图像复原。

2、为解决上述问题，本发明所采用的技术方案如下：

3、一种基于双交叉注意力机制的神经网络图像复原方法，该方法应用于一种基于双交叉注意力机制的神经网络图像复原系统，该系统包括编码器、双交叉注意力变换器、融合模块以及解码器，该方法包括以下步骤：

4、使用所述编码器从待修复的x图像和参考图像中提取多尺度特征，得到特征fx和fref；

5、使用所述双交叉注意力变换器从fx和fref中搜索纹理特征，其中，所述双交叉注意力变换器包括双交叉注意力模块、层归一化模块以及前馈网络；

6、将纹理特征通过所述融合模块与fx在每个尺度上进行聚合，生成融合特征；

7、通过所述解码器使用卷积操作从融合特征生成高分辨率高清图像y。

8、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，所述编码器分为四个阶段，第一个阶段包括深度卷积和残差块的组合，其余三个阶段使用下卷积采样层和残差块来提取多尺度特征；

9、其中，所述深度卷积的卷积核为3，步距为1，填充为1，所述下卷积采样层的卷积核为2，步距为2，填充为0，所述残差块由一系列的卷积、激活函数、卷积组成，待修复图像经过所述残差块的组合函数后，与原来的输入相加得到最后的结果。

10、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，通过编码器的四个阶段，从上采样后的lr图像中提取出多尺度特征，分别表示为和

11、通过所述编码器从参考图像ref中提取多尺度特征，分别表示为和

12、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，所述双交叉注意力变换器包括dca模块、2个ln和一个由多个1x1卷积组成的ffn，将多尺度特征fx和fref投影到q、k和v，对于两个交叉注意力分支，q和k的线性层权重是共享的，而v的权重是不同的，表示为公式(1)：

13、

14、

15、其中，qshare、kshare、vspatial和vchannel分别是共享查询、共享键、空间值层和通道值层的参数权重。

16、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，在空间交叉注意力中，进一步通过线性层将kshare和vspatial投影到kproject和vproject，以减少计算复杂性，空间和通道注意力的计算表示为公式(2)：

17、

18、

19、通过1x1卷积将xspatial和xchannel的通道数减少一半，并连接起来得到最终的纹理特征，表示为公式(3)：

20、x＝concat(conv(xspatial)，conv(xchannel)).  (3)。

21、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，在整个所述双交叉注意力变换器中，归一化后的特征ln(fx)和ln(fref)被送入dca模块，并添加回f_{lr}，然后将得到的特征通过ffn以残差的方式进行处理，从而生成纹理特征，具体表示为公式(4)：

22、x＝flr+dca(ln(flr)，ln(fref))，texture＝x+ffn(ln(x)).  (4)

23、通过将x的多尺度特征和ref输入到dcat，可以生成多尺度的纹理特征，表示为textureh×w、

24、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，在所述融合模块中，使用空间自适应模块sam来实现融合；其中，将纹理特征texture和输入特征fx输入到空间自适应模块sam，通过空间自适应模块sam使用卷积操作对纹理特征texture进行校正处理，并生成与fx相同尺寸的特征，确保texture的分布与fx一致。

25、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，使用通道注意力机制将校正后的纹理特征与输入特征fx进行拼接，并通过卷积和残差块进一步融合，得到最终的融合特征，其融合块可以表示为公式(5)：

26、fusion＝sam(texture)+fx  (5)

27、其中，通过融合块，将纹理特征与低分辨率特征相结合，得到具有更好细节和纹理的特征表示。

28、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，在解码器中，从特征开始，通过卷积和残差块进行处理；

29、对处理后的特征进行上采样，并与特征进行拼接，，然后再经过卷积进行进一步的信息融合；

30、将融合后的特征与一起输入到融合模块中，生成尺度为的融合特征，表示为

31、然后，将进行上采样，并与一起输入到融合模块中，生成尺度为的融合特征，表示为

32、根据本发明提供的一种基于双交叉注意力机制的神经网络图像复原方法，在将经过上采样后，与textureh×w一起输入到融合模块中，生成尺度为h×w的融合特征，表示为fusedh×w；

33、对fusedh×w进行1×1卷积处理，生成高分辨率高清图像y。

34、由此可见，相对于现有技术，本发明能够分别在图像去噪、超分辨率成像、磁共振重建等图像复原任务中提高磁共振图像质量，提高医生诊断的准确率；通过双交叉注意力机制寻找得到的纹理信息远优于简单的策略(通道拼接，体素相加，或者通道拼接后经过transformer架构)所获取的信息。

35、本发明还提供一种电子设备，包括：

36、存储器，存储有计算机可执行指令；

37、处理器，配置为运行所述计算机可执行指令，

38、其中，所述计算机可执行指令被所述处理器运行时实现上述任意一种的基于双交叉注意力机制的神经网络图像复原方法的步骤。

39、本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现上述任意一种的基于双交叉注意力机制的神经网络图像复原方法的步骤。

40、由此可见，本发明还提供了一种基于双交叉注意力机制的神经网络图像复原方法的电子设备以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。

41、下面结合附图和具体实施方式对本发明作进一步详细说明。