基于平移可调波前编码的亚像元超分辨成像系统及方法与流程

本发明属于光学技术领域，具体涉及一种基于平移可调波前编码的亚像元超分辨成像系统及方法。

背景技术：

亚像元错位采样成像技术是一种能够在不改变探测器像元物理尺寸的前提下实现分辨率提升的有效手段，在航天、航空、科学研究及商业领域都得到了广泛的应用。

亚像元错位采样成像技术由法国国家空间技术研究中心提出，并首次应用于spot-5卫星相机中。将两片在穿轨方向错位半个像元的线阵ccd封装在同一芯片内，在同一时刻获取两幅相互错位半个像元的影像并对其进行融合处理就可以实现超分辨率成像。据报道，spot-5采用的这种处理方法能够将相机空间分辨率从5m提升至约3m。之后，美国orbitview-3成功发射。该卫星光学相机的焦平面排布方式与spot-5卫星类似，也由两排彼此错位半个像元的线阵ccd组成，获取的两幅原始分辨率图像经过融合处理后得到高分辨率图像。此外，德国宇航中心研制的bird卫星红外遥感器hsrs、leica公司的数字航空相机ads40以及我国的高分四号卫星，同样也利用亚像元错位采样实现超分辨率重建。

除了航天航空领域应用之外，亚像元错位采样成像技术在科学级工业相机及商用数码相机领域也得到了应用。韩国vieworks公司的vn系列像素位移相机是专为用超高分辨率拍摄静止物体的应用而设计的，采用的也是亚像元采样超分辨重建，其先进的像素位移技术是基于精确的压电位移控制。其产品系列中的vn-11mc相机能以9900万像素的高分辨率抓取图像，而vn-29mc相机可以达到更高的分辨率2亿6000万像素。奥林巴斯公司的商用单反数码相机e-m5markii，该相机在正常模式下可以实现1600万像素分辨率的成像，而进入超模式以后，可以在一次曝光中最多移动8次焦面并借此实现4000万像素甚至更高的分辨率成像效果。

然而，亚像元错位采样成像技术依然存在改进的空间，具体体现在以下两点：

首先，现有的亚像元成像技术中，所使用的原始分辨率图像依然存在混叠效应；

其次，在高分辨率网格上对经亚像元融合的图像复原时使用的点扩散函数与等效采样间隔不匹配。

因此，如何降低用于亚像元超分辨重建的原始图像数据的混叠以及使复原所需点扩散函数与高分辨率网格等效采样间隔相匹配就成为了亚像元超分辨成像急需解决的问题。

技术实现要素：

针对技术背景中存在的问题，本发明从平移可调波前编码技术的特点出发，提出了一种基于平移可调波前编码的亚像元超分辨成像系统及方法，大大降低了用于实施亚像元超分辨重建的原始图像数据的混叠，同时也保证了原始图像复原所需点扩散函数与高分辨率网格等效采样间隔能够有效匹配，从而在兼顾波前编码实现超大景深作用的同时，也能够获得更高品质的超分辨复原图像品质。

本发明的具体技术方案如下：

本发明提供了一种基于平移可调波前编码的亚像元超分辨成像系统，包括沿光轴传输方向依次设置的成像镜头、复合式相位掩膜板、图像探测器以及图像处理单元；

其改进之处是：所述复合式相位掩膜板由两个同类型相位组件沿光轴方向叠加而成且两个同类型相位组件之间均能各自独立地在x方向和y方向上产生平移；其中，x和y∈[-1,1]代表归一化孔径坐标；

所述两个同类型相位组件为两个经典三次方型相位组件或两个广义三次方型相位组件。

进一步地，当复合式相位掩膜板中的两个同类型相位组件均为经典三次方型时，各自在x方向和y方向产生相对平移时对应的等效相位函数可表示为：

fcpm-cpm(x,y)＝x³·(α1cpm+α2cpm)+y³·(α1cpm+α2cpm)+x²·(3α1cpmm1x+3α2cpmm2x)+y²·(3α1cpmm1y+3α2cpmm2y)+x·(3α1cpmm²1x+3α2cpmm²2x)+y·(3α1cpmm²1y+3α2cpmm²2y)+α1cpm(m³1x+m³2x)+α2cpm(m³1y+m³2y)(1)

其中，α1cpm和α2cpm分别为两个经典三次方型相位组件的参数；

m1x和m1y分别代表其中一个经典三次方型相位组件在x方向和y方向的平移量；m2x和m2y则分别代表另一个经典三次方型相位组件在x方向和y方向的平移量；

|α1cpm|和|α2cpm|>>20π且|α1cpm+α2cpm|≠0；m1x与m1y∈[-1,1]；m2x与m2y∈[-1,1]；

当复合式相位掩膜板中的两个同类型相位组件均为广义三次方型时，各自在x方向和y方向产生相对平移时对应的等效相位函数可表示为：

其中，(α1gcpm,β1gcpm)和(α2gcpm,β2gcpm)分别为两个广义三次方型相位组件的参数；

m1x和m1y分别代表其中一个广义三次方型相位组件在x方向和y方向的平移量；m2x和m2y则分别代表另一个广义三次方型相位组件在x方向和y方向的平移量；

|α1gcpm|和|α2gcpm|>>20π且|3(α1gcpm+α2gcpm)-(β1gcpm+β2gcpm)|≠0；m1x与m1y∈[-1,1]；m2x与m2y∈[-1,1]。

进一步地，在所述复合式相位掩膜板中两个同类型相位组件的面型参数选定的情况下，两个同类型相位组件之间的相对平移量决定了有效成像带宽大小与点扩散函数中心偏移量，且平移量组合关系必须满足如下条件：

当复合式相位掩膜板中的两个同类型相位组件均为经典三次方型时，两个相位组件之间的相对平移量应满足如下条件：

针对x方向：

针对y方向：

当复合式相位掩膜板中的两个同类型相位组件为广义三次方型时，两个相位组件之间的相对平移量应满足如下条件：

针对x方向：

针对y方向：

其中，在公式组(3)～公式组(6)中，每一个公式组的前三项都表示成像带宽可调且x方向和y方向成像带宽相同；每一个公式组的最后一项都代表点扩散函数中心位置。

进一步地，所述两个同类型相位组件均安装在压电陶瓷驱动器上，在x方向和y方向可产生纳米级高精度平移。

基于上述对平移可调波前编码的亚像元超分辨成像系统的描述，现对采用该成像系统进行成像方法的具体步骤进行介绍：

步骤1：获取原始图像；

其中，原始图像是经过复合式相位掩膜板编码的中间模糊图像，根据复合式相位掩膜板中的两个同类型相位组件之间的相对平移量需满足的条件，图像探测器上获得具有不同亚像素位移的中间编码序列图像；

步骤2：图像处理单元对中间编码序列图像进行解码重建；

步骤2.1：从光学设计软件中导出理想光学焦平面编码点扩散函数，并根据超分辨倍数以及图像探测器等效物理像元的大小确定更高分辨率网格对应的采样点扩散函数；

步骤2.2：采用网格法将具有不同亚像素位移的中间编码序列图像在步骤2.1所述的更高分辨率网格上实施融合；

步骤2.3：并利用步骤2.1所获得的与更高分辨率网格对应的编码点扩散函数对融合后的中间编码图像实施解码，从而实现目标场景的超分辨重建。

本发明的有益效果是：

1、本发明通过在成像系统的孔径平面上添加仅对相位施加编码的复合式相位掩膜板，系统就会对离焦、导致离焦的因素(如温度变化、机械振动等)以及与离焦有关的像差(像散、色差等)不敏感，经过复原滤波就能够将中间编码模糊图像恢复至衍射受限品质，从而实现超大景深和高分辨率成像的目的。

2、本发明的复合式相位掩膜板采用波前编码技术使系统传递函数幅值大幅下降，因此在探测器像元大小不变的条件下其对应的混叠效应将显著减小，也就意味着波前编码中间图像是更加理想的实施超分辨重建的数据源。其次，波前编码系统的点扩散函数强烈弥散，所以允许利用光学软件导出的近似连续采样的光学焦平面点扩散函数来计算与任意像元大小相对应的采样点扩散函数，这样在实施亚像元融合图像复原时就很好地解决了点扩散函数与等效采样间隔之间的不匹配问题。

3、本发明通过将波前编码系统中的单一相位掩膜板用一对相同类型的相位组件替代，就能够将传统的静态应用波前编码转变为动态可调波前编码。组件之间的相对平移除了能够实现带宽的适当压缩进一步降低混叠外，还能够产生高精度的点扩散函数中心偏移，是一种更加更加灵活的获取亚像素序列图像的方式，同时，避免了现有设计中对亚像元位移的序列图像通常采用移动焦面或整机的方式获得，从而造成的移动焦面需要对焦面进行改造，风险高、代价大且适应场合单一的问题。

附图说明

图1为本发明系统原理图。

图2为本发明成像系统与常规衍射受限系统的混叠效应曲线对比图。

图3a-1代表点扩散函数在x方向的中心偏移量与两个同类型相位组件在x方向的相对平移组合之间的二维分布关系。

图3a-2代表与图3a-1对应的一维分布示例图。

图3b-1代表点扩散函数在y方向的中心偏移量与两个同类型相位组件在y方向的相对平移组合之间的二维分布关系。

图3b-2代表与3b-1对应的一维分布示例。

图4a-1代表点扩散函数在x方向的中心偏移量与平移参数(m1x，m2x)之间的二维分布关系，其中m1y＝0，m2y＝0；

图4a-2代表点扩散函数在x方向的中心偏移量与平移参数(m1x，m2y)之间的二维分布关系，其中m1y＝0，m2x＝0；

图4a-3代表点扩散函数在x方向的中心偏移量与平移参数(m1x，m1y)之间的二维分布关系，其中m2y＝0，m2x＝0；

图4a-4代表点扩散函数在x方向的中心偏移量与平移参数(m1y，m2x)之间的二维分布关系，其中m1x＝0，m2y＝0；

图4a-5代表点扩散函数在x方向的中心偏移量与平移参数(m1y，m2y)之间的二维分布关系，其中m1x＝0，m2x＝0；

图4a-6代表点扩散函数在x方向的中心偏移量与平移参数(m2x，m2y)之间的二维分布关系，其中m1y＝0，m1x＝0；

图4a-7代表点扩散函数在y方向的中心偏移量与平移参数(m1x，m2x)之间的二维分布关系，其中m1y＝0，m2y＝0；

图4a-8代表点扩散函数在y方向的中心偏移量与平移参数(m1x，m2y)之间的二维分布关系，其中m1y＝0，m2x＝0；

图4a-9代表点扩散函数在y方向的中心偏移量与平移参数(m1x，m1y)之间的二维分布关系，其中m2y＝0，m2x＝0；

图4a-10代表点扩散函数在y方向的中心偏移量与平移参数(m1y，m2x)之间的二维分布关系，其中m1x＝0，m2y＝0；

图4a-11代表点扩散函数在y方向的中心偏移量与平移参数(m1y，m2y)之间的二维分布关系，其中m1x＝0，m2x＝0；

图4a-12代表点扩散函数在y方向的中心偏移量与平移参数(m2x，m2y)之间的二维分布关系，其中m1y＝0，m1x＝0；

图5给出“编码域”融合和“解码域”高分辨重建的流程。

具体实施方式

本发明提出了一种基于平移可调波前编码的新型亚像元超分辨重建系统，旨在利用波前编码数据良好的低混叠及复原用点扩散函数可重构特性与平移可调产生亚像元位移的灵活性来实现更高品质的超分辨重建。

基本结构与原理

参考图1，该系统包括沿着光轴传输方向依次设置的成像镜头2、复合式相位掩膜板3、图像探测器4以及图像处理单元5。目标1通过成像镜头2和复合式相位掩膜组件3后，在图像探测器4上形成模糊的中间编码序列图像，然后图像处理单元5首先将编码域的中间编码序列图像映射到高分辨网格并实施融合，之后在解码域利用计算得到的与等效采样间隔对应的点扩散函数对融合后的中间编码序列图像进行复原滤波，最终得到聚焦清晰的超分辨重建图像6。

更进一步来说，本发明中复合式相位掩膜板由两个经典三次方型相位组件或两个广义三次方型相位组件沿光轴方向叠加而成，且两个同类型相位组件之间可以利用压电陶瓷各自独立地在x方向和y方向上产生高精度的平移，x和y∈[-1,1]代表归一化孔径坐标。

当复合式相位掩膜板中的两个同类型相位组件均为经典三次方型时，各自在x方向和y方向产生相对平移时对应的等效相位函数可表示为：

fcpm-cpm(x,y)＝x³·(α1cpm+α2cpm)+y³·(α1cpm+α2cpm)+x²·(3α1cpmm1x+3α2cpmm2x)+y²·(3α1cpmm1y+3α2cpmm2y)+x·(3α1cpmm²1x+3α2cpmm²2x)+y·(3α1cpmm²1y+3α2cpmm²2y)+α1cpm(m³1x+m³2x)+α2cpm(m³1y+m³2y)(1)

其中，α1cpm和α2cpm分别为两个三次方型相位组件的参数；m1x和m1y分别代表其中一个相位组件在x方向和y方向的平移量；m2x和m2y分别代表另外一个相位组件2在x方向和y方向的平移量。|α1cpm|和|α2cpm|>>20π且|α1cpm+α2cpm|≠0；m1-x与m1-y∈[-1,1]；m2x与m2y∈[-1,1]。

当复合式相位掩膜板中的两个同类型相位组件均为广义三次方型时，各自在x方向和y方向产生相对平移时对应的等效相位函数可表示为：

其中，(α1gcpm,β1gcpm)和(α2gcpm,β2gcpm)分别为两个广义三次方型相位组件的参数；x和y∈[-1,1]代表归一化孔径坐标；m1x和m1y分别代表其中一个相位组件1在x方向和y方向的平移量；m2x和m2y分别代表另外一个相位组件2在x方向和y方向的平移量。|α1gcpm|和|α2gcpm|>>20π且|3(α1gcpm+α2gcpm)-(β1gcpm+β2gcpm)|≠0；m1x与m1y∈[-1,1]；m2x与m2y∈[-1,1]。

此时，一旦上述复合式相位掩膜板中相位组件的面型参数固定，系统点扩散函数的中心偏移量将由复合式相位掩膜板中两个同类型相位组件之间的相对平移量来决定：

当复合式相位掩膜板中的两个同类型相位组件均为经典三次方型时，两个相位组件之间的相对平移量应满足如下条件：

针对x方向：

针对y方向：

当复合式相位掩膜板中的两个同类型相位组件为广义三次方型时，两个相位组件之间的相对平移量应满足如下条件：

针对x方向：

针对y方向：

由式(3)～式(6)可知，点扩散函数中心位置可调必须满足小于1个像素的要求，这是实现亚像素序列图像获取的基本要求。实际上，高精度压电陶瓷驱动器的使用可以使系统的等效点扩散函数的中心偏移精度甚至优于0.1个像元，完全能够满足亚像元超分辨重建的要求。

在图3中，给出了由经典三次方型相位组件构成的复合式相位掩膜板对应的点扩散函数中心偏移与不同平移量组合之间的对应关系。可以看到，此时，点扩散函数在x方向的中心偏移仅与m1-x和m2-x有关，而点扩散函数在y方向的中心偏移则同样仅与m1-y和m2-y有关。由与图3a-1给出的二维分布对应的一维分布图3a-2可知，通过高精度地设定m1-x和m2-x，那么产生优于0.1个像元的亚像素级的图像位移就是可能的，对于y方向也是如此，如图3b-1和图3b-2所示。

在图4a-1至图4a-12中，进一步给出了由广义三次方型相位组件构成的复合式相位掩膜板对应的点扩散函数中心偏移与不同平移量组合之间的对应关系。由公式(5)和公式(6)可知，此时点扩散函数在x方向和y方向的中心偏移分别是m1x、m2x、m1y及m2y的四维函数，图4a-1至图4a-12中分别给出了x方向和y方向点扩散函数中心偏移在6种平移量组合条件下的二维分布情况。同样的，高精度的平移控制使产生亚像素级的高精度图像位移成为可能。

基于上述对成像系统特点的介绍，现对该成像系统的成像方法进行叙述，主要包括以下步骤：

步骤1：获取原始图像；

其中，原始图像是经过复合式相位掩膜板编码的中间模糊图像，根据复合式相位掩膜板中的两个同类型相位组件之间的相对平移量需满足的条件，图像探测器上获得具有不同亚像素位移的中间编码序列图像；

步骤2：图像处理单元对中间编码序列图像进行解码重建；

步骤2.1：从光学设计软件(例如codev^tm)中导出理想光学焦平面编码点扩散函数，并根据超分辨倍数以及图像探测器等效物理像元的大小确定更高分辨率网格对应的采样点扩散函数；具体的计算方法详见参考文献，中国专利：专利号，zl201510166952.5公开的《波前编码成像系统机超分辨率处理方法》。

步骤2.2：采用网格法将具有不同亚像素位移的中间编码序列图像在更高分辨率网格上实施融合；

需要说明一点是：高分辨率网格是超分辨过程中得到的，比如要2倍超分辨，那么高分辨率网格采样密度就是原始分辨率网格采样密度的2倍。

步骤2.3：并利用步骤2.1所获得的与更高分辨率网格对应的编码点扩散函数对融合后的中间编码图像实施解码，从而实现目标场景的超分辨重建。

其中在图5所示流程中，将具有亚像素位移的中间编码序列图像映射并融合到高分辨网格中时，需要对相邻图像之间的亚像素位移进行高精度估计。传统的相位相关算法通常针对衍射受限品质图像进行可以获得亚像素级的高精度位移估计，但是应用于波前编码中间模糊图像数据时，其适用性需要得到解释，具体解释如下：

令f1和f2分别代表参考图像和存在位移的图像，那么两者之间的关系如式(7)所示，

其中xshift与yshift分别代表x和y方向上的平移，f则代表理想图像。

那么，f1和f2之间的互功率谱就可以表示为式(8)，如下所示，

其中u和v为空间频率，f1和f2分别代表f1和f2的傅里叶变换，*为共轭。

因此，对式(8)进行反傅里叶变换就可以得到二维脉冲响应δ(x-xshift,y-yshift)，通过对二维脉冲响应图像搜索峰值位置就可以得到f1和f2之间的相对位移。

在波前编码系统中，f1和f2都是中间编码模糊的。因此，式(7)与式(8)应该重新写为式(9)和式(10)，如下所示，

其中，h代表波前编码点扩散函数。

因此，利用位相相关算法估计中间编码模糊图像序列之间的相对位移依然有效。

本发明所提出的基于平移可调波前编码的亚像元超分辨重建系统的最大特点在于：

首先，当前的亚像元超分辨成像系统用于实施超分辨重建的原始数据依然存在混叠效应。然而，一旦进入波前编码技术，由于系统调制传递函数幅值的大幅下降，所以如图2所示，混叠效应将显著降低，因此以波前编码中间模糊数据作为实施超分辨的源数据有望提升超分辨品质。

其次，当前的亚像元超分辨成像系统将具有亚像素位移的序列图像映射到高分辨率网格并融合之后，采用的是与原始采样间隔对应的点扩散函数对其进行复原，而这与高分辨率网格等效的采样间隔无法匹配。然而对于波前编码技术来说，由于其对应的点扩散函数强烈弥散，所以允许由光学焦平面近似连续分布的点扩散函数出发，计算出与任意像元大小对应的采样点扩散函数，以此作为依据对高分辨率融合中间编码图像实施复原可以消除上述的不匹配问题，从而使超分辨重建品质的提升成为可能。这一方法已经得到了前期研究的确认。

最后，当前的亚像元超分辨成像系统通常采用移动焦平面或者移动相机整体的方式获得具有亚像素位移的序列图像。前者需要对探测器外围结构进行改造，代价大风险高；而后者只适用于相机本身规模较小或者相机与待拍摄场景之间存在天然地相对移动的情况(如卫星相机)。传统波前编码多为静态应用，而如果将传统波前编码系统中的相位板采用复合式相位板来替代，那么两块同类型相位组件之间的相对平移就能够引起系统点扩散函数的中心偏移，从而允许实现可控的亚像素序列图像获取。相比于传统的焦面平移或整机平移，这种方式更加灵活和安全。

另外需要指出的是，亚像元超分辨成像系统由于嵌入了波前编码理论，所以能够同时兼顾景深的拓展和分辨率的提升，这也是该系统区别于传统亚像元成像系统的一大特色。同时，复合式相位掩膜板中的相位组件之间的相对平移还能够对系统的成像带宽进行适当压缩，由此可以进一步降低波前编码数据中的混叠效应。