一种基于超表面和神经网络的高分辨率成像方法

本发明涉及一种基于超表面和神经网络的高分辨率成像方法，属于光学成像和深度学习

背景技术：

1、与传统的光学器件相比，超表面器件具有亚波长尺寸，相位、振幅、偏振任意调控，轻薄、易集成、低损耗的诸多优点，受到广泛关注。超透镜也被认为可能取代传统的透镜，实现成像系统的小型化。但目前基于超透镜进行直接成像的系统，成像质量较差。成像重建技术通过对所捕获图像的处理，实现成像质量的提升。在成像重建技术领域，应用最多的重建方法包括：压缩感知、字典学习、去噪方法，但是上述传统的重建方法依赖先验知识，需要模拟整个图像传播过程，并且还要进行对相应的参数调整，迭代方法对于不同的输入图像迭代次数不同，鲁棒性差。

2、深度学习在各个领域都有很大的应用前景：基于深度学习的超透镜色差恢复方法，能够对经过超透镜所拍摄的图像进行色差恢复，从而得到较高质量图像；基于迁移学习的高质量超透镜图像恢复方法，能够对经过超透镜的图像进行质量恢复。将超透镜成像和深度学习结合，能够实现图像质量的提升，但是，现有方法在图像分辨率上都比较的低，并且没有考虑实际制作超透镜过程中存在的制造误差，导致神经网络恢复方法与实际制作的超透镜不符。

技术实现思路

1、本发明的目的是提供一种基于超表面和神经网络的高分辨率成像方法，通过将深度学习强大的图像恢复能力与超透镜的建模过程相结合，将超透镜建模和图像恢复两个过程同时进行，最终获得神经网络训练权重和超透镜相位分布，解决传统图像恢复方法无法得到超透镜的高分辨率高质量图像的问题。

2、本发明的目的是通过下述技术方案实现的：

3、本发明的一种基于超表面和神经网络的高分辨率成像方法，包括以下步骤：

4、步骤一、原始图像数据的获取：

5、作为优选，从网络图库上下载大量高质量图像，由coco2014数据集中选择高质量图像；

6、步骤二、获取高质量高分辨率图像；

7、对步骤一中选择的高质量图像进行拼接，得到高质量高分辨率图像；

8、步骤三、确定超透镜在三个波长处的初始相位；

9、根据透镜相位公式确定超透镜在三个波长处的初始相位，如式(1)所示：

10、

11、其中，分别为超透镜在三个波长处的初始相位，λr,、λg、λb分别为红光波长、绿光波长、蓝光波长，f为超透镜的焦距，x,y为超透镜表面的坐标；

12、步骤四、确定神经网络的学习率，确定输入图像与输出图像的损失模型；

13、作为优选，神经网络模型由5个残差块组成；

14、步骤五、分别建立训练集、验证集、测试集；

15、对步骤一获取的高质量分辨率图像，利用卷积的方法模拟图像经过超透镜成像的过程，并施加噪声，得到低质量低分辨率图像；

16、将低分辨率低质量图像与高质量高分辨率图像组成训练集、验证集、测试集；

17、步骤六、通过神经网络进行训练；

18、将经过超透镜成像的图像送入神经网络中进行训练，得到一个高分辨率的清晰图像；

19、训练过程中，低分辨率低质量图片与高质量高分辨率图片一一对应，微调神经网络的学习率以达到更好的效果，保存在验证集中训练损失最小的网络权重和超透镜相位；

20、训练前的图像的分辨率为h×w，训练后的高分辨率清晰图像的分辨率为(m*h)×(m*w)，m是放大倍数，放大倍数优选为2倍或4倍；

21、步骤七、在训练过程中不断的重复步骤五以及步骤六，并获取超透镜的优化相位ψmetalens以及神经网络的权重wconv；

22、作为优选，将一张测试图像经过超透镜传播，并施加高斯噪声，得到传播图像，并通过优化的神经网络权重对传播图像进行优化得到输出图像，从输出图像的清晰度能够验证超透镜的优化相位ψmetalens以及神经网络的权重wconv；

23、步骤八、应用步骤七得到的超透镜的优化相位ψmetalens能够判断点扩散函数的质量，从好的点扩散函数中选择合适的超透镜相位，根据步骤七获取的超透镜相位，以及对超原子用时域有限差分方法扫描能够得到超原子在不同长宽下的相位响应以及振幅响应，根据超透镜相位、超原子相位响应以及振幅响应用搜索算法确定合适的超原子的长和宽。

24、有益效果：

25、1、本发明的一种基于超表面和神经网络的高分辨率成像方法，考虑超透镜的制作误差，实现输出图像分辨率的提升，还同时进行超透镜的相位优化，容忍加工过程中的误差。

26、2、本发明的一种基于超表面和神经网络的高分辨率成像方法，利用超表面的小型化和轻便性以及深度学习的高质量成像特性，用于缩小光学系统的体积，减少加工成本，提高图像分辨率。

27、3、本发明的一种基于超表面和神经网络的高分辨率成像方法，考虑加工成本以及加工难度，能够降低超透镜器件在医学图像、自动驾驶、机器人领域使用中的成本，扩大超透镜器件的应用范围。

技术特征：

1.一种基于超表面和神经网络的高分辨率成像方法，其特征在于：通过将深度学习强大的图像恢复能力与超透镜的建模过程相结合，将超透镜建模和图像恢复两个过程同时进行，最终获得神经网络训练权重和超透镜相位分布，包括以下步骤：

2.如权利要求1所述的一种基于超表面和神经网络的高分辨率成像方法，其特征在于：步骤一中，从网络图库上下载大量高质量图像，由coco2014数据集中选择高质量图像。

3.如权利要求1所述的一种基于超表面和神经网络的高分辨率成像方法，其特征在于：步骤四中，神经网络模型由5个残差块组成，输入图像与输出图像的损失模型为均方误差。

4.如权利要求1所述的一种基于超表面和神经网络的高分辨率成像方法，其特征在于：训练前后的图像的分辨率放大倍数为2倍或4倍。

5.如权利要求1所述的一种基于超表面和神经网络的高分辨率成像方法，其特征在于：步骤七中，将一张测试图像经过超透镜传播，并施加高斯噪声，得到传播图像，并通过优化的神经网络权重对传播图像进行优化得到输出图像，从输出图像的清晰度能够验证超透镜的优化相位ψmetalens以及神经网络的权重wconv。

技术总结
本发明公开一种基于超表面和神经网络的高分辨率成像方法，属于光学成像和深度学习技术领域。本发明的方法将超表面作为前端成像元件，与后端的神经网络图像恢复方法结合：首先基于点扩散函数构造超透镜相位，随后利用构建的超透镜对目标物体进行成像，再利用训练好的神经网络对超透镜采集的图像进行重建，基于深度学习的方法，利用采集的真实图片进行相应拼接，得到高质量高分辨的图片，利用得到的高质量高分辨图片对神经网络的权重进行相应训练，将训练好的神经网络用于对任意图像的恢复。本发明通过构造超透镜相位，能够补偿如透镜的成像硬件部分的制作、组装误差，提升基于超透镜成像系统的成像质量。

技术研发人员：蒋强,陈全亮,尹永耀,黄玲玲
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/1/16