一种基于深度学习的单透镜消色差计算成像方法及系统

1.本发明涉及光学成像技术领域，具体涉及一种基于深度学习的单透镜消色差计算成像方法及系统。


背景技术：

2.在现代相机设计中，小型光学系统的宽光谱消色差成像是非常重要的。即使传感器已经大幅小型化，但复杂的光学镜头导致了整个相机很难做到很小。很难在使用简单光学系统，比如单片透镜的情况下拍摄得到高保真图像。因为单片透镜的色差会导致严重的图像模糊。色差是由于透镜材料对不同波长光的折射率不同，导致不同波长下对于同一物体的成像位置和放大倍率不同。传统光学设计至少采用两片透镜来实现色差补偿，通过高折射率和低折射率的透镜互补来抵消色差，但会增大光学系统的体积。在传统光学设计方法的基础上，减小光学系统的尺寸是一种非常可靠和有效的方法。例如，超透镜由于其结构厚度在波长尺度或以下，在小型光学成像系统方面具有很大的优势。但基于光学超透镜设计的方法对设计师的经验要求较高，制造成本较高。
3.计算成像是通过光学系统和后处理算法的协同设计实现消色差成像的另一种方法。通过设计光学系统对光场进行编码，再利用后期图像处理算法从拍摄的图像中解码出所需的信息。随着人工智能技术的蓬勃发展，深度学习在求解含有噪声的病态逆问题方面展现出巨大优势。并且深度学习的引入也逐渐成为推动计算成像这一领域发展的核心力量。通过将前端光学系统设计和后期图像重建网络优化相结合，现有计算成像方法实现了较好的小型光学系统消色差图像，但是这些方法设计的透镜一般为衍射透镜，制作过程较为复杂。
4.现有解决方案，如超透镜能够在亚波长分辨率下调整光的性质，使其有希望用于开发平面光学元件。通过精细设计的亚波长结构，使得不同波长的光的折射角相同，从而汇聚到同一点。超透镜实现了从可见光波段的消色差成像。与传统的多透镜相比，超透镜以更小的尺寸聚焦入射光，实现单片透镜的消色差成像。传统的多片透镜组则依赖于多个光学材料上的球面或非球面来获得所需的渐变相位。但是这种超透镜设计需要非常专业的光学设计知识及经验，并且对加工工艺也提出了很高的要求；设计难度大，加工成本高；并且超透镜设计好了之后只能针对于特定的成像任务，比如消色差成像的只针对特定的波段范围。
5.如消色差衍射透镜通过设计特殊的衍射光学元件，使得对于不同波长的psf分布相同。这一特性保证了良好的颜色特征，并有助于在后续的快速两步反卷积算法中校正拍摄图像的残留像差，无需额外的颜色先验。但是这种定制衍射透镜需要考虑实际制造过程中引入的误差，导致其成像特性和理想存在一定的偏差，影响后期算法的重建质量。该方法所采用的传统反卷积算法严重依赖于前端光学系统的设计，耦合性高，成像质量不高。
6.如基于深度学习的衍射透镜消色差成像方法将衍射透镜的面形参数作为变量和图像重建网络中的参数一起优化，将光学和深度学习网络结合，实现端到端的光学系统设
计和图像重建。需要什么样的光学系统和重建算法由二者互相决定，只需对最终的结果进行约束。但是这种优化得到的理想透镜和实际制造的透镜之间的误差会影响网络的重建质量，并且定制成本高，受限于实际的光学材料，应用场景较窄，设计的透镜只能应用于专一领域，不能进行二次利用。


技术实现要素：

7.本发明针对现有技术存在的问题提供一种基于深度学习的单透镜消色差计算成像方法及系统。
8.本发明采用的技术方案是：
9.一种基于深度学习的单透镜消色差计算成像方法，包括以下步骤：
10.步骤1：输入图像经单透镜成像后，通过复振幅复原网络从输入图像中恢复单透镜成像的光场复振幅分布；
11.步骤2：构建虚拟透镜，根据步骤1得到的复振幅分布和虚拟透镜的点扩散函数的卷积，获取虚拟透镜像面上的复振幅分布；
12.步骤3：根据步骤2中复振幅分布即可得到消色差图像；
13.所述复振幅复原网络为在u-net网络模型，u-net网络模型的最底层下采样模块中加入通道注意力模块；通道注意力模块包括最大池化层、平均池化层和两层全连接网络。
14.进一步的，所述复振幅复原网络最后一层为维度为n
×
6的卷积核，包括三个复振幅a和三个相位组成一个三通道的复振幅分布从输入的图像中恢复出的n个复振幅分布为：
[0015][0016][0017]
式中：k为生成的第k个振幅或相位，n为维度，j为虚数符号，cwr(i)为本发明构建的复振幅复原网络cwr-net从强度图i恢复出复振幅的过程。
[0018]
进一步的，构建复振幅复原网络和虚拟透镜的成像模型，如下：
[0019][0020][0021]
式中：k为波数，x和y为虚拟透镜平面上的坐标，为虚拟透镜引入的总相位，h为虚拟透镜点扩散函数，x0和y0为虚拟成像面的坐标，xi和yi为物面坐标，j为虚数符号，do为物距，di为相距，u
′
为点光源经过虚拟透镜后的光场分布，p(x,y)为虚拟透镜的光圈函数。
[0022]
进一步的，所述虚拟透镜像面上的复振幅分布如下：
[0023][0024]
式中：*为卷积；
[0025]
步骤3中的消色差图像io表示为：
[0026][0027]
式中：w3为总的叠加光场复振幅。
[0028]
进一步的，所述虚拟透镜引入的总相位计算方法如下：
[0029][0030]
式中：为理想凸透镜提供的基本相位，为泽尼克多项式高度图引入的附加相位；虚拟透镜包括一个理想的凸透镜和附加的泽尼克多项式高度图；
[0031][0032]
式中：k为波数，f为虚拟透镜的焦距，x和y为虚拟透镜平面上的坐标；
[0033][0034]
式中：m(x,y)为泽尼克多项式高度图，n和n
′
分别是空气和镜头材料的折射率。
[0035]
进一步的，所述图像在通道注意力模块中处理过程如下：
[0036]
特征图分别进入最大池化层和平均池化层得到两个通道描述；
[0037]
然后分别进入两层神经网络；将两层神经网络输出的两个特征相加后经过sigmoid激活函数得到权重系数；输入特征图乘上权重系数即可得到缩放后的新特征。
[0038]
一种基于深度学习的单透镜消色差计算成像方法的成像系统，包括：依次设置的真实透镜、复振幅复原网络和虚拟透镜；
[0039]
复振幅复原网络用于学习单透镜成像的色差信息；
[0040]
虚拟透镜用于补偿单透镜色差。
[0041]
一种基于深度学习的单透镜消色差计算成像系统的使用方法，包括以下步骤：
[0042]
s1：构建复振幅复原网络；
[0043]
s2：构建复振幅复原网络和虚拟透镜的成像模型；
[0044]
s3：获取虚拟透镜面形的初始值；
[0045]
s4：构建损失函数，基于反向传播梯度下降算法最小化损失函数，得到预训练复振幅复原网络和虚拟透镜的结构参数；
[0046]
s5：将经过单透镜得到的有色差图像输入复振幅复原网络和虚拟透镜构成的成像模型，即可得到消色差图像。
[0047]
进一步的，所述损失函数如下：
[0048]
l＝pl(io，i
gt
)+α
×
mse(io，i
gt
)+β
×
ssim(io，i
gt
)
[0049]
式中：l为损失函数，pl(io,i
gt
)为感知损失，mse(io,i
gt
)为均方根误差，ssim(io,i
gt
)为结构相似度，α和β为权重因子，均设为1，i
gt
为真值图像，io为消色差图像。
[0050]
本发明的有益效果是：
[0051]
(1)本发明采用网络模型和虚拟透镜，构建全链路可微的计算成像模型，可消除单透镜得到图像的色差；
[0052]
(2)本发明构建了复振幅复原网络学习单透镜成像的复振幅分布特征，获得由其色差造成的复振幅相位畸变，随后通过虚拟透镜和复振幅复原网络一起优化，校正单透镜的色差；
[0053]
(3)本发明的虚拟透镜包括理想凸透镜和泽尼克高度，凸透镜用于提供基本相位使得光线汇聚，成像在透镜后方；泽尼克高度提供额外的相位来校正入射复振幅的畸变，即校正成像单透镜的色差；
[0054]
(4)本发明解决了现有消色差成像技术在实际成像使用中效率低、制作复杂、工程造价高、成像质量受限的问题，避免了复杂光学系统设计，实现了单透镜的高保真宽光谱消色差成像。
附图说明
[0055]
图1为本发明计算方法流程示意图。
[0056]
图2为本发明复振幅复原网络结构示意图。
[0057]
图3为本发明虚拟透镜示意图。
[0058]
图4为本发明方法得到的消色差成像结果示意图。
[0059]
图5为本发明和传统u-net网络图像重建对比示意图。
具体实施方式
[0060]
下面结合附图和具体实施例对本发明做进一步说明。
[0061]
如图1所示，一种基于深度学习的单透镜消色差计算成像方法，包括以下步骤：
[0062]
步骤1：输入图像经单透镜成像后，通过复振幅复原网络从输入图像中恢复单透镜成像的光场复振幅分布；
[0063]
如图2所示，复振幅复原网络为在u-net网络模型，u-net网络模型的最底层下采样模块中加入通道注意力模块；通道注意力模块包括最大池化层、平均池化层和两层全连接网络。
[0064]
复振幅复原网络cwr-net基于传统的u-net网络模型；传统u-net网络模型由五个下采样模块和四个上采样模块组成。特别的是，在网络最底层下采样模块加入通道注意力模块。通道注意力模块的输入是最底层下采样模块输出的大小为h
×w×
512的特征图f(h，w代表像素大小)。将特征图f分别进行一个空间的全局最大池化和平均池化得到两个1
×1×
512的通道描述。然后再将它们分别送入一个两层的神经网络(全连接网络)，第一层神经元个数为512/r，激活函数为relu，第二层神经元个数为512。这个两层的神经网络的参数是共享的。再将两层神经网络输出的两个特征相加后经过一个sigmoid激活函数得到权重系数mc。最后，输入的特征图f乘上mc即可得到缩放后的新特征。加入通道注意力模块使得网络模型能够感知不同通道之间的差异，有利于色差的消除。
[0065]
在复振幅复原网络模型的最后一层采用了维度为n
×
6的卷积核。包括3个复振幅a和3个相位组成一个3通道的复振幅分布最终网络模型从输入的单张图像i中恢复出n个复振幅分布
[0066][0067][0068]
式中：k代表生成的第k个振幅或者相位，n为维度，j为虚数符号，cwr(i)为本发明
构建的复振幅复原网络cwr-net从强度图i恢复出复振幅的过程。
[0069]
步骤2：构建虚拟透镜，根据步骤1得到的复振幅分布和虚拟透镜的点扩散函数的卷积，获取虚拟透镜像面上的复振幅分布；
[0070]
在恢复出真实透镜成像的复振幅分布之后，设计一个虚拟透镜来对它的色差进行补偿。基于惠更斯-菲涅耳原理和基尔霍夫衍射理论，点光源对应的像场分布用光学系统的psf表示。输出的复振幅分布可由输入复振幅与系统的psf的卷积来计算。
[0071]
构建的虚拟透镜由一个理想的凸透镜和附加的泽尼克多项式高度图共同构成。理想凸透镜提供基本相位将输入发散波转换为汇聚波，使得物体能够在虚拟透镜后方成像。
[0072][0073]
式中：k为波数，f为虚拟透镜的焦距，x和y为虚拟透镜平面上的坐标；
[0074]
将泽尼克多项式高度图引入m(x,y)引入的相位设置为波前整形和像差补偿的变量。附加相位表示为：
[0075][0076]
式中：n和n
′
分别是空气和镜头材料的折射率
[0077]
虚拟透镜引入的总相位计算方法如下：
[0078][0079]
式中：为理想凸透镜提供的基本相位，为泽尼克多项式高度图引入的附加相位。
[0080]
复振幅复原网络和虚拟透镜的成像模型，如下：
[0081][0082][0083]
式中：k为波数，x和y为虚拟透镜平面上的坐标，为虚拟透镜引入的总相位，h为虚拟透镜点扩散函数，x0和y0为虚拟成像面的坐标，xi和yi为物面坐标，j为虚数符号，do为物距，di为相距，u
′
为点光源经过虚拟透镜后的光场分布，p(x,y)为虚拟透镜的光圈函数。
[0084]
步骤3：根据步骤2中复振幅分布即可得到消色差图像；
[0085]
假设傍轴近似可行，在虚拟透镜的像面上复振幅分布可以通过cwr-net网络得到的复振幅分布和psf卷积得到：
[0086][0087]
式中：*为卷积。
[0088]
消色差图像io表示为：
[0089][0090]
式中：w3为复振幅复原网络得到的光场叠加复振幅总分布。
[0091]
一种基于深度学习的单透镜消色差计算成像方法的成像系统，包括：依次设置的真实透镜、复振幅复原网络和虚拟透镜；
[0092]
复振幅复原网络用于学习单透镜成像的色差信息；
[0093]
虚拟透镜用于补偿单透镜色差。
[0094]
一种基于深度学习的单透镜消色差计算成像系统的使用方法，包括以下步骤：
[0095]
s1：构建复振幅复原网络；
[0096]
s2：构建复振幅复原网络和虚拟透镜的成像模型；
[0097]
s3：获取虚拟透镜面形的初始值；为了给虚拟透镜参数提供较好的初始值，加速网络模型和虚拟透镜优化过程，使得最终的成像质量更好。基于传统的两片透镜消色差原理，推导即可得到虚拟透镜的泽尼克面形初始参数。如表1所示，初始的结构能够满足物理规则，补偿部分真实单透镜的色差。
[0098]
表1.虚拟透镜初始参数
[0099]
物距49.65mm，50mm，50.60mm焦距31.65mm，31.79mm，32.04mm折射率1.538，1.531，1.528波长486nm，587nm，656nm像距87.36mm直径5mm虚拟传感器分辨率5.86
×
5.86μm泽尼克多项式系数0
[0100]
s4：构建损失函数，基于反向传播梯度下降算法最小化损失函数，得到预训练复振幅复原网络和虚拟透镜的结构参数；
[0101]
将cwr-net和虚拟透镜的面形一起优化，两者可以相互契合达到最佳的消色差成像效果。损失函数是用来评价神经网络模型的输出预测值和真值之间的差异，损失函数越小，通常模型的性能越好。损失函数对于深度学习网络的训练至关重要，起到优化网络和虚拟透镜面形参数的作用。使用感知损失pl计算高维特征图差，以便更好的评价观测性能。mse损失和ssim损失分别用于计算像素级亮度不匹配和结构差异。
[0102]
损失函数如下：
[0103]
l＝pl(io，i
gt
)+α
×
mse(io，i
gt
)+β
×
ssim(io，i
gt
)
[0104]
式中：l为损失函数，pl(io,i
gt
)为感知损失，mse(io,i
gt
)为均方根误差，ssim(io,i
gt
)为结构相似度，α和β为权重因子，均设为0.1，i
gt
为真值图像，io为消色差图像。
[0105]
s5：将经过单透镜得到的有色差图像输入复振幅复原网络和虚拟透镜构成的成像模型，即可得到消色差图像。
[0106]
网络中间的512通道特征图经过通道注意力模块处理，能够感知不同通道之间的色差信息。采用n
×
6维的卷积核，输出可以针对不同成像任务进行调节的复振幅个数。虚拟透镜用于提供附加相位给单透镜成像的复振幅分布，以校正色差导致的相位畸变。cwt-net
和虚拟透镜面形协同优化，两者互相配合达到最优的消色差成像效果。
[0107]
本发明联合设计了网络模型和虚拟透镜，构建了全链路可微的计算成像模型。cwr-net学习单透镜成像的复振幅分布特征，获得由其色差造成的复振幅相位畸变。随后通过虚拟透镜和cwr-net一起优化，校正单透镜的色差。优化后的虚拟透镜如图3所示，由理想凸透镜和泽尼克高度两部分构成。凸透镜用于提供基本相位使得光线会聚，成像在透镜后方。泽尼克高度提供额外的相位来校正入射复振幅的畸变，即校正成像单透镜的色差。
[0108]
采用本发明方法进行成像的结果如图4所示。图中第一行为单透镜排到的有色差图像，第二行是经过cwr-net和虚拟透镜补偿色差的高清图像。玩具、植物和书籍边缘的色差模糊得到了很好的补偿。每幅图像的平均重建时间为0.103s。此外，定量评估50个验证图像的平均psnr(峰值信噪比)和ssim。以真值图像为标准，原始单透镜拍摄图像的平均psnr和ssim分别为18.723和0.355。通过虚拟透镜的色差补偿，输出图像的psnr和ssim分别提高到33.490和0.935。
[0109]
采用本发明方法与传统仅使用u-net网络进行图像重建的方法进行对比，结果如图5所示。在u-net结果中有一些严重的颜色偏差。例如，在u-net结果中，动画角色的衣服是橙色的，而我们的方法和真值的都是粉色的。u-net的白色拼图结果具有明显的伪边缘。u-net重建50幅图像的平均psnr和ssim为29.006和0.823，我们方法得到图像的psnr和ssim为33.49和0.935，图像质量大幅提升。这种明显的差异是由于我们的方法与单纯的图像处理方法有本质的区别，即通过光学校正来消除色差，而不是完全依靠图像的研究和推理。
[0110]
本发明采用网络模型和虚拟透镜，构建全链路可微的计算成像模型，可消除单透镜得到图像的色差；构建了复振幅复原网络学习单透镜成像的复振幅分布特征，获得由其色差造成的复振幅相位畸变，随后通过虚拟透镜和复振幅复原网络一起优化，校正单透镜的色差；虚拟透镜包括理想凸透镜和泽尼克高度，凸透镜用于提供基本相位使得光线汇聚，成像在透镜后方；泽尼克高度提供额外的相位来校正入射复振幅的畸变，即校正成像单透镜的色差；解决了现有消色差成像技术在实际成像使用中效率低、制作复杂、工程造价高、成像质量受限的问题，避免了复杂光学系统设计，实现了单透镜的高保真宽光谱消色差成像。