基于深度图的光场全聚焦图像生成方法与流程

本发明属于光场成像领域，特别是涉及一种基于深度图的光场全聚焦图像生成方法。

背景技术：

传统相机由于受到景深的限制，一次拍摄中只能获得一张局部场景的聚焦照片，要想获得相机拍摄视眼里整个场景的全聚焦照片，必须逐步手动变焦获得不同深度层次的散焦照片，采用散焦法通过多图像融合得到全聚焦图像。散焦法生成全聚焦图像的方法主要分为两类：一类是在变换域进行尺度的变换，例如dct变换、小波变换等。另一类则是利用空间像素进行全聚焦图像生成，例如主成成分分析法、加权平均法等。

光场成像技术兴起，打破了传统成像过程中先对焦后拍摄的模式，由此发展起来的光场相机可实现先拍摄后聚焦。该相机的显著特点是在普通相机的一次像面处加入微透镜阵列，每个微透镜记录的光线对应相同位置不同视角的场景图像。通过对光场相机拍摄的4d光场做空域积分投影或频域傅里叶切片即可得到重聚焦图像(散焦图像)。另外，通过光场计算得到的重聚焦图像或子孔径图像，还可获得场景的深度信息。针对光场相机的这些特点，本专利提出了基于深度的光场全聚焦图像生成方法。该方法避免了传统全聚焦图像生成时融合算法的限制，能够准确地找出散焦图像的聚焦区域进行全聚焦图像生成。

技术实现要素：

本发明克服现有技术存在的不足，解决了传统全聚焦图像生成时，采用dct、小波变换等算法实现多图像融合时，存在块效应及边缘效应问题，旨在提供一种基于深度图的光场全聚焦图像生成方法，本方法避免了传统全聚焦图像生成时融合算法的限制，能够准确地找出散焦图像的聚焦区域进行全聚焦图像生成。

为解决上述技术问题，本发明采用的技术方案为：

基于深度图的光场全聚焦图像生成方法，该全聚焦图像生成方法按照以下步骤进行：

步骤1)微透镜标定：

步骤2)4d光场获得：根据步骤1)中获得的微透镜中心坐标阵，设微透镜的个数为m×n，找出每个微透镜中心对应的有效成像区域p×p，对于一幅光场相机拍摄到的原图，每个微透镜的位置坐标记为(x,y)，p×p区域中每个像素的坐标记为(u，v)，因此光场原图中每一有效像素点均可由四维坐标(x,y,u,v,)确定，所有有效像素点的集合，构成4d光场lf(x,y,u,v)，其大小为m×n×p×p；

步骤3)数字重聚焦：对4d光场lf(x,y,u,v)做坐标基变换，并沿u,v方向做二重积分，即可获得重聚焦图像，具体公式如下：

式中，α为变焦步长，α取不同的值，即可得到不同的重聚焦图像；f为光场相机焦距；

步骤4)深度获取：设参与计算深度的散焦图像数目为j，根据α取值的大小，对散焦图进行排列，记每一幅散焦图为iαj(x,y)，其中j(0≤j≤j-1)代表每一散焦图的排列层次，深度图的总级次等于参与运算的重聚焦图像的数目，深度图depth(x,y)每一像素点(x,y)的深度级j(0≤j≤j-1)通过计算各层散焦图像中对应像素点的散焦响应最大得到，散焦响应的计算公式如下：

其中，wd是计算散焦响应的窗口大小，δx,y是拉普拉斯算子；

步骤5)全聚焦图像生成：根据深度图分布，获得不同深度级次处的聚焦模板maskj(x,y):

全聚焦图像通过以下公式计算得到：

所述步骤1)中微透镜标定的具体步骤如下：

1.用光场相机获取高曝光白图像，为了抑制噪声，多幅白图像求平均得到一幅均值白图像；

2.对均值白图像高斯滤波，进一步去噪；

3.利用峰值检测法找出滤波后白图像中每个微透镜的最亮点，即成像中心，给出m×n个微透镜中心的坐标阵。

本发明跟现有技术相比具有的有益效果为。

1、本发明的优点是避免了传统全聚焦图像生成时融合算法的限制，能够准确地找出散焦图像的聚焦区域进行全聚焦图像生成。

2、本发明在应对块效应以及边缘效应上要优于小波变换与dct变换。

3、从各项图像评价指标上看，本发明的方法优于传统的全聚焦图像生成方法。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1是本发明的系统实施框图；

图2中(a)原始白图像，(b)高斯滤波后的白图像；

图3中(a)标定前的白图像，(b)标定后的白图像。

图4是利用散焦的方法得到的深度图。

图5中(a)在第一深度层聚焦的散焦图像，(b)为对应聚焦区域提取。

图6中(a)在第二深度层聚焦的散焦图像，(b)为对应聚焦区域提取。

图7中(a)在第三深度层聚焦的散焦图像，(b)为对应聚焦区域提取。

图8中(a)在第四深度层聚焦的散焦图像，(b)为对应聚焦区域提取。

图9中(a)在第五深度层聚焦的散焦图像，(b)为对应聚焦区域提取。

图10中(a)在第六深度层聚焦的散焦图像，(b)为对应聚焦区域提取。

图11是最终生成的全聚焦图像。

图12是本发明方法与小波变换及dct变换的全聚焦图像生成结果细节对比图。

具体实施方式

为使本发明的目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

为了更好的理解本发明，下面先对基于深度图的光场全聚焦图像生成原理进行简单的描述。

如图1所示，全聚焦图像生成的基本思想是：寻找不同散焦图像的聚焦区域，将不同的聚焦区域拼接融合，获得全聚焦图像。本专利采用光场相机获得的散焦图像来生成全聚焦图像，关键技术在于结合了光场相机可以计算深度的优点，根据深度图确定每幅散焦图像的聚焦区域。

下面具体介绍本专利的图像生成方法：

步骤1)微透镜标定：光场相机获取的原始光场数据是微透镜后传感器对空间光线的记录，该数据是二维数据(s，t)，要想从该数据中解码得到4d光场，需要确定光线的位置信息(x,y)和方向信息(u，v)，而光线位置、方向信息的确定以微投影标定(确定原始光场照片中每一个微透镜的成像中心)为基础。微透镜标定具体步骤如下：

1.用光场相机获取高曝光白图像，为了抑制噪声，多幅白图像求平均得到一幅均值白图像；

2.对均值白图像高斯滤波，进一步去噪；

3.利用峰值检测法找出滤波后白图像中每个微透镜的最亮点，即成像中心，给出m×n个微透镜中心的坐标阵。

步骤2)4d光场获得：根据步骤1)中获得的微透镜中心坐标阵，设微透镜的个数为m×n，找出每个微透镜中心对应的有效成像区域p×p，对于一幅光场相机拍摄到的原图，每个微透镜的位置坐标记为(x,y)，p×p区域中每个像素的坐标记为(u，v)，因此光场原图中每一有效像素点均可由四维坐标(x,y,u,v,)确定，所有有效像素点的集合，构成4d光场lf(x,y,u,v)，其大小为m×n×p×p；

步骤3)数字重聚焦：对4d光场lf(x,y,u,v)做坐标基变换，并沿u,v方向做二重积分，即可获得重聚焦图像，具体公式如下：

式中，α为变焦步长，α取不同的值，即可得到不同的重聚焦图像；f为光场相机焦距；

步骤4)深度获取：设参与计算深度的散焦图像数目为j，根据α取值的大小，对散焦图进行排列，记每一幅散焦图为iαj(x,y)，其中j(0≤j≤j-1)代表每一散焦图的排列层次，深度图的总级次等于参与运算的重聚焦图像的数目，深度图depth(x,y)每一像素点(x,y)的深度级j(0≤j≤j-1)通过计算各层散焦图像中对应像素点的散焦响应最大得到，散焦响应的计算公式如下：

其中，wd是计算散焦响应的窗口大小，δx,y是拉普拉斯算子；

步骤5)全聚焦图像生成：根据深度图分布，获得不同深度级次处的聚焦模板maskj(x,y):

全聚焦图像通过以下公式计算得到：

为了验证本专利基于深度图的光场全聚焦图像生成方法的实际效果，如图2所示，其中(a)为原始白图像，(b)为高斯滤波后的白图像。然后对图像进行微透镜标定，如图3所示，(a)标定前的白图像，(b)标定后的白图像。按照本专利的方法进行深度获取，如图4所示，图5-图10是每幅散焦图像的具体聚焦区域的提取示意图。图11是根据本专利方法获得的全聚焦图像。

图12是本专利方法与小波变换及dct变换全聚焦图像生成结果细节对比图。分别从花、琴、叶三个细节进行了对比。

下面是本专利与小波变换及dct变换的图像评价指标对比表。

(a)花的实验数据对比

(b)琴的实验数据对比

(c)叶的实验数据对比

从上表中可以看到，本发明的方法优于小波变换和dct变换的全聚焦图像生成方法。

上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。