基于SwinIR物理模型的傅里叶叠层成像重建结构、方法和电子设备

本发明涉及机器学习及人工智能领域，尤其涉及一种基于swinir物理模型的傅里叶叠层成像重建结构、方法和电子设备。

背景技术：

1、传统显微镜的发展愈来愈迅速，但是传统的显微镜成像系统收到系统空间带宽积(sbp)的限制，导致传统显微镜成像系统的空间带宽积往往只有百万级的像素，且根据目前已知的技术手段很难突破到更高级别。

2、其次，传统的显微镜成像系统是基于神经网络的傅里叶叠层显微重建图像，但是，显微镜成像系统存在着比较大的限制条件，例如，当观测一个细胞载玻片样本时，当选择低倍的物镜时，虽然这样观测的视场大，可以实现全局观测样本，但是可观测的分辨率较低，而当选择高倍的物镜时，肉眼观测的视场小且窄，仅能观测到样本的一部分，但是可以获得更高的分辨率。

3、因此，目前基于神经网络的傅里叶叠层显微重建图像对于图像的重建精度低，重建效果不好，并且重建速度较慢。

技术实现思路

1、本发明的目的在于提供一种基于swinir物理模型的傅里叶叠层成像重建结构、方法和电子设备，解决基于神经网络的傅里叶叠层显微重建图像对于图像的重建精度低，重建效果不好，并且重建速度较慢的问题

2、第一方面，本发明提供一种基于swinir物理模型的傅里叶叠层成像重建结构，包括：相互连接的双通道输入模块、浅层特征提取模块、深层特征提取模块、重建模块和输出模块，所述swinir物理模型还包括一端和所述浅层特征提取模块的输出端连接，另一端和所述深层特征提取模块的输出端连接的残差模块；

3、所述双通道输入模块，用于将进行图像输入处理后的原始图像传输至所述浅层特征提取模块；

4、所述浅层特征提取模块，用于提取所述原始图像对应的浅层低频特征；

5、所述深层特征提取模块，用于基于所述浅层低频特征提取所述原始图像对应的深层高频特征；

6、所述残差模块，用于基于所述浅层低频特征和所述深层高频特征进行残差特征融合处理，得到重建模块输入图像信息；

7、所述重建模块，用于基于所述重建模块输入信息进行上采样处理，得到目标放大图像，并传输至所述输出模块进行图形输出。

8、采用上述技术方案的情况下，本发明提供的基于swinir物理模型的傅里叶叠层成像重建结构，包括：相互连接的双通道输入模块、浅层特征提取模块、深层特征提取模块、重建模块和输出模块，所述swinir物理模型还包括一端和所述浅层特征提取模块的输出端连接，另一端和所述深层特征提取模块的输出端连接的残差模块；所述双通道输入模块，用于将进行图像输入处理后的原始图像传输至所述浅层特征提取模块；所述浅层特征提取模块，用于提取所述原始图像对应的浅层低频特征；所述深层特征提取模块，用于基于所述浅层低频特征提取所述原始图像对应的深层高频特征；所述残差模块，用于基于所述浅层低频特征和所述深层高频特征进行残差特征融合处理，得到重建模块输入图像信息；所述重建模块，用于基于所述重建模块输入信息进行上采样处理，得到目标放大图像，并传输至所述输出模块进行图形输出，其通过双通道输入模块实现输入双通道，使得网络可以更快的完成重建，并且其基于深度学习的训练方式，可以端到端的处理目标图像，同时有更明显去伪影的效果，重建后的目标放大图像主观上有更好的重建清晰度，重建后的目标放大图像的背景误差更小，有更多的纹理细节。

9、在一种可能的实现方式中，所述深层特征提取模块包括六个剩余振荡变压子模块和三个3×3的卷积层。

10、在一种可能的实现方式中，每一个所述剩余振荡变压子模块包括六个换向变压层和一个3×3的当前卷积层。

11、第二方面，本发明还提供一种基于swinir物理模型的傅里叶叠层成像重建方法，应用于第一方面任一所述的基于swinir物理模型的傅里叶叠层成像重建结构中，所述方法包括：

12、将原始图像输入至所述双通道输入模块进行图像输入处理传输至所述浅层特征提取模块；

13、控制所述浅层特征提取模块提取所述原始图像对应的浅层低频特征；

14、控制所述深层特征提取模块基于所述浅层低频特征提取所述原始图像对应的深层高频特征；

15、控制所述残差模块基于所述浅层低频特征和所述深层高频特征进行残差特征融合处理，得到重建模块输入图像信息；

16、控制所述重建模块基于所述重建模块输入信息进行上采样处理，得到目标放大图像，并传输至所述输出模块进行图形输出。

17、在一种可能的实现方式中，所述将原始图像输入至所述双通道输入模块进行图像输入处理传输至所述浅层特征提取模块，包括：

18、将原始图像输入至所述双通道输入模块，确定低分辨率图像ilq作为网络的输入，传输至所述浅层特征提取模块；

19、其中，所述低分辨率图像h为所述低分辨率图像的高度，w为所述低分辨率图像的宽度，cin为所述低分辨率图像的输入通道数。

20、在一种可能的实现方式中，所述浅层低频特征f0为：

21、f0＝hsf(ilq)

22、

23、其中，hsf(·)为3×3的卷积层。

24、在一种可能的实现方式中，所述深层高频特征fdf(·)为：

25、其中，hdf(·)为所述深层特征提取模块。

26、在一种可能的实现方式中，所述深层特征提取模块包括六个剩余振荡变压子模块和三个3×3的卷积层；每一个所述剩余振荡变压子模块包括六个换向变压层和一个3×3的当前卷积层，预先设定第i个所述剩余振荡变压子模块的输入特征fi,0，其中换向变压层的作用为提取中间特征fi,1,fi,2,fi,3,...,fi,l，即

27、

28、其中，表示第i个所述剩余振荡变压子模块中的第j个所述换向变压层。

29、在一种可能的实现方式中，所述剩余振荡变压子模块的输出为其中，表示第i个rstb中的卷积层。

30、第二方面提供的基于swinir物理模型的傅里叶叠层成像重建装置的有益效果与第一方面或第一方面任一可能的实现方式描述的基于swinir物理模型的傅里叶叠层成像重建方法的有益效果相同，此处不做赘述。

31、第三方面，本发明还提供一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行第二方面任一可能的实现方式描述的基于swinir物理模型的傅里叶叠层成像重建方法。

32、第三方面提供的电子设备的有益效果与第二方面或第二方面任一可能的实现方式描述的基于swinir物理模型的傅里叶叠层成像重建方法的有益效果相同，此处不做赘述。

技术特征：

1.一种基于swinir物理模型的傅里叶叠层成像重建结构，其特征在于，包括：相互连接的双通道输入模块、浅层特征提取模块、深层特征提取模块、重建模块和输出模块，所述swinir物理模型还包括一端和所述浅层特征提取模块的输出端连接，另一端和所述深层特征提取模块的输出端连接的残差模块；

2.根据权利要求1所述的结构，其特征在于，所述深层特征提取模块包括六个剩余振荡变压子模块和三个3×3的卷积层。

3.根据权利要求2所述的结构，其特征在于，每一个所述剩余振荡变压子模块包括六个换向变压层和一个3×3的当前卷积层。

4.一种基于swinir物理模型的傅里叶叠层成像重建方法，应用于权利要求1-3任一所述的基于swinir物理模型的傅里叶叠层成像重建结构中，其特征在于，所述方法包括：

5.根据权利要求4所述的方法，其特征在于，所述将原始图像输入至所述双通道输入模块进行图像输入处理传输至所述浅层特征提取模块，包括：

6.根据权利要求5所述的方法，其特征在于，所述浅层低频特征f0为：

7.根据权利要求4所述的方法，其特征在于，所述深层高频特征fdf(·)为：

8.根据权利要求7所述的方法，其特征在于，所述深层特征提取模块包括六个剩余振荡变压子模块和三个3×3的卷积层；每一个所述剩余振荡变压子模块包括六个换向变压层和一个3×3的当前卷积层，预先设定第i个所述剩余振荡变压子模块的输入特征fi,0，其中换向变压层的作用为提取中间特征fi,1,fi,2,fi,3,...,fi,l，即

9.根据权利要求8所述的方法，其特征在于，所述剩余振荡变压子模块的输出为其中，表示第i个rstb中的卷积层。

10.一种电子设备，其特征在于，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得执行权利要求4-9任一所述的基于swinir物理模型的傅里叶叠层成像重建方法。

技术总结
本发明公开一种基于SwinIR物理模型的傅里叶叠层成像重建结构、方法和电子设备，涉及机器学习及人工智能领域。结构包括：相互连接的双通道输入模块、浅层特征提取模块、深层特征提取模块、重建模块和输出模块，所述SwinIR物理模型还包括一端和所述浅层特征提取模块的输出端连接，另一端和所述深层特征提取模块的输出端连接的残差模块；所述双通道输入模块将进行图像输入处理后的原始图像传输至所述浅层特征提取模块；所述残差模块基于所述浅层低频特征和所述深层高频特征进行残差特征融合处理，得到重建模块输入图像信息；所述重建模块，用于基于所述重建模块输入信息进行上采样处理，得到目标放大图像，并传输至所述输出模块进行图形输出。

技术研发人员：王晓丽,李明晶,李杰,王新博,王昊,王岩,金元尚,林泽川,崔洁,罗艳丽,王永山,刘冬梅,云海姣
受保护的技术使用者：长春大学
技术研发日：
技术公布日：2024/1/15