本发明涉及一种基于阵列镜头的图像超分辨重建方法，属于图像处理及计算机视觉处理技术领域。
背景技术：
超分辨率重建技术是利用图像处理技术提高图像空间分辨率的有效方法，融合同一场景多帧图像之间的互补信息，然后去除噪声和模糊得到一个高分辨率图像，相比于改变硬件设备提高硬件参数经济实用。
现有的图像超分辨率重建方法，需要先利用同一相机连续拍摄同一场景图像，得到多帧图像，或是由视频得到图像序列，然后对得到的多帧图像或是图像序列进行超分辨率重建。利用这样的多帧图像或是图像序列进行超分辨率重建，帧间运动估计是一大技术难点，理论上讲，具有不同深度内容的场景，不存在一个简单的如仿射、但应类似的变换实现不同视角图像的精确配准。特别是对于动态场景，场景中存在运动物体，运动估计非常更加困难。
技术实现要素：
鉴于上述原因，本发明的目的在于提供一种基于阵列镜头的图像超分辨率重建方法，利用阵列镜头获取的阵列图像组，进行超分辨率重建，避免了动态场景的运动估计问题，重建效果良好。
为实现上述目的，本发明采用以下技术方案：
一种基于阵列镜头的图像超分辨率重建方法，包括：
对阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照n*m阵列形式排列组合而成；
利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；
对校正后的阵列图像组，进行多视立体匹配；
利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；
对初始高分辨率图像进行优化。
所述多视立体匹配的方法是：
从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0；将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合l；两两深度层的间隔根据两相邻深度层在参考图像上对应的像素位置差确定；
根据公式：
确定每个网格点的深度，其中fx∈l，n是参考图像相邻像素集合，其中dx(fx)表示参考图像像素点x在深度fx处的灰度一致性，
求解能量函数确定每个网格点的深度，基于mrf模型算法得到参考图像上每个像素的深度，得到场景的重建表面。
在每个像素的当前深度附近再划分若干子深度层，并进行优化重建，直到像素距离差小于设定的距离阈值。
所述得到初始高分辨率图像的方法是：
输入的低分辨率阵列图像组是满足如下条件建立高分辨率图像的降质模型：
gk＝dbpks+nk(2)
其中，k表示阵列镜头的序号，d表示下采样矩阵，b表示模糊矩阵，pk表示第k幅图像的投影矩阵；s表示理想高分辨率图像，其像素大小为
所述对初始高分辨率图像进行优化的方法是：利用核回归的方法对所述初始高分辨率图像进行去噪、去模糊处理。
本发明的优点是：
1、本发明的图像超分辨率重建方法，基于阵列镜头获取阵列图像，利用多视立体匹配实现了阵列图像的超分辨率重建，与传统降质模型不同，阵列图像的降质模型k不再是帧序号而是阵列镜头的序号，将参考图像对应的高分辨率图像通过运动模型变换到不同帧图像的过程，转换为场景表面通过镜头投影矩阵变换到各个阵列图像，后者的物理意义更加符合实际情况。
2、本发明的图像超分辨率重建方法，利用阵列镜头重叠的小光圈代替单个镜头的一个大光圈，模拟了昆虫的复眼，可获得更多的图像信息，利用阵列图像的相互信息可重建出分辨率更高的图像；
3、本发明的图像超分辨率重建方法，利用阵列镜头获取的阵列图像，进行超分辨率重建，对于动态场景，避免了帧间运动估计问题，重建效果更好。
附图说明
图1是本发明的方法流程示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步详细的说明。
如图1所示，本发明公开的基于阵列镜头的图像超分辨率重建方法，包括：
s1：对阵列镜头进行标定，得到阵列镜头的内参数；
阵列镜头由若干镜头模组按照n*m阵列形式排列组合而成，对n*m个镜头进行标定。
s2：利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；
n*m个镜头撷取n*m个图像，构成阵列图像组，对其中的每个图像，利用相应的镜头内参数进行校正，得到校正后的阵列图像组。
s3：对校正后的阵列图像组，进行多视立体匹配；
从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0。将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合l。两两深度层的间隔可以根据两相邻深度层在参考图像上对应的像素位置差确定。
根据公式：
确定每个网格点的深度d，其中fx∈l，n是参考图像相邻像素集合，其中dx(fx)表示参考图像像素点x在深度fx处的灰度一致性，可以表示为除参考图像的其他图像与参考图像在深度为fx时的投影点的归一化互相关(normalizedcross-correlation)均值。
求解能量函数确定每个网格点的深度，基于mrf模型算法得到参考图像上每个像素的深度，得到场景的重建表面。
由于图像的超分辨率重建要求亚像素级的图像配准，在上述得到的参考图像深度层的基础上，在每个像素的当前深度附近再划分若干子深度层，即，重复上述过程，进行更细的等距深度分层(如d/2)，并进行优化重建，直到像素距离差小于阈值σ＜1，得到运动估计参数s0。
s4：利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；
输入的低分辨率阵列图像组是满足如下条件建立高分辨率图像的降质模型：
针对同一场景的阵列图像组图像，成像系统以奈奎斯特频率采样，得到理想高分辨率图像s；高分辨率图像s依次经过变形、下采样、添加噪声后得到低分辨率观测图像序列gk。
图像降质模型如下：
gk＝dbpks+nk(2)
其中，k表示阵列镜头的序号，k＝l，2，...，n＊m；d表示下采样矩阵，b表示模糊矩阵，pk表示第k幅图像的投影矩阵。
理想高分辨率图像s的大小为qn1×qn2像素，其中q为采样比例，gk是低分辨率阵列图像序列，每一帧大小为n1×n2，gk由低分辨率阵列图像组排列而成，即gk＝[g1，g2，...gn*m]。
同一场景的阵列图像组图像进行下采样，下采样后进行平移，模糊得到同一时刻的阵列图像组。
s5：对得到的初始高分辨率图像进行优化。
利用核回归的方法对得到的初始高分辨率图像进行去噪、去模糊处理，得到优化后的高分辨率图像，完成图像的超分辨率重建。
以上所述是本发明的较佳实施例及其所运用的技术原理，对于本领域的技术人员来说，在不背离本发明的精神和范围的情况下，任何基于本发明技术方案基础上的等效变换、简单替换等显而易见的改变，均属于本发明保护范围之内。