一种子孔径图像采集方法及系统与流程

本发明涉及图像采集技术领域，具体涉及一种子孔径图像采集方法及系统。

背景技术：

计算成像学是一门结合了光学成像技术和图像处理技术的学科，其主要研究的内容是对光场的处理。其中子孔径图像的采集是计算成像学的重要研究领域。

目前，子孔径图像采集主要分为两种方式，一种是使用具有复杂结构的光学系统，如编码光圈、(微)透镜阵列、可调掩模等，这些采集系统需要对现有的成像系统进行改造，在现有成像系统上附加或者嵌入额外的光学器件，这些光学器件需要针对所使用的主体成像设备进行设计，可移植性较差。由于成像器件以及结构的限制，这些系统需要牺牲所采集图像的空间分辨率；目前基于多聚焦图像栈的方法主要有反卷积法、频域重建法和线性模型求解法。然而，现有的基于多聚焦图像栈的子孔径图像采集方法还存在模型不准确、求解不稳定等问题，导致获得的图像中含有一些缺陷。

因此，如何设计一种获取过程的稳定且采集的子孔径图像的准确的方法，是亟待解决的问题。

技术实现要素：

针对现有技术中的缺陷，本发明提供一种子孔径图像采集方法及系统，利用该方法及系统采集子孔径图像的速度快且采集的图像的空间分辨率高，且子孔径图像的获取过程的稳定性高，保证了采集的子孔径图像的准确性及清晰度。

为解决上述技术问题，本发明提供以下技术方案：

一方面，本发明提供了一种子孔径图像采集方法，所述方法包括：

获取多聚焦图像栈的成像模型，其中，所述多聚焦图像栈为通过聚焦于不同距离获取的一组图像；

根据光学成像原理和所述多聚焦图像栈的成像模型，得到所述多聚焦图像栈中的图像与子孔径图像间的关系，其中，所述子孔径图像为物体经通光孔径上的子孔径在传感器上形成的分量图像；

根据所述多聚焦图像栈中的图像与子孔径图像间的关系，得到偏移多聚焦图像栈；

获取所述偏移多聚焦图像栈的梯度信息及相位信息，并根据所述梯度信息及相位信息得到深度图；

以及，根据所述深度图在所述多聚焦图像栈中的对应图像中采集像素，组合所述像素得到所述子孔径图像。

进一步的，所述方法还包括：

若已存在子孔径图像，则将已存在的子孔径图像作为监督图像，根据联合双边滤波方法对所述深度图进行优化，得到优化后的深度图和子孔径图像。

进一步的，所述多聚焦图像栈的成像模型包括子孔径(u,v)、参考平面f和成像面fm，且所述子孔径(u,v)与参考平面f及聚焦于另一个距离下的成像面fm之间的距离不同。

进一步的，所述多聚焦图像栈中的图像与子孔径图像间的关系用分层平移模型表示，其中，所述分层平移模型如公式一所示：

在公式一中，是多聚焦图像栈中聚焦于成像面fm处的图像，是子孔径(u,v)对应的子孔径图像；(δx′1，δy′1)和(δx′2，δy′2)为两组视差值；n为子孔径个数，u和v分别为子孔径的横坐标及纵坐标。

进一步的，所述根据所述多聚焦图像栈中的图像与子孔径图像间的关系，得到偏移多聚焦图像栈，包括：

根据所述多聚焦图像栈中的图像与子孔径图像间的关系，将所述多聚焦图像栈中的每一幅图像以该图像相对于子孔径的相反视差进行分层平移，得到偏移多聚焦图像栈。

进一步的，所述根据所述梯度信息及相位信息得到深度图，包括：

根据梯度信息将所述偏移多聚焦图像栈中的图像中的点划分为源点和平凡点；

根据相位信息对所述偏移多聚焦图像栈中的图像的一致性进行检验，得到最大相位一致流；

将使用梯度提取出的源点组成集合sg，所述集合sg代表偏移多聚焦图像栈中的图像的边缘位置；

根据所述最大相位一致流的散度将所有源点组成集合sp，所述集合sp为根据相位检测出的边缘位置的集合；

将sg和sp合成为统一的边缘位置集合s，得到深度图；其中，所述深度图即为聚焦位图。

进一步的，所述根据梯度信息将所述偏移多聚焦图像栈中的图像中的点划分为源点和平凡点，包括：

根据最大梯度流获取所述偏移多聚焦图像栈中的梯度变化，并根据最大梯度流的散度将所述偏移多聚焦图像栈中的图像中的点划分为源点和平凡点。

进一步的，所述源点包括：只有一个边缘存在的点，以及，有多个边缘存在且边缘未被扩散梯度所掩盖的点；

所述平凡点为有多个边缘存在且存在被扩散梯度所掩盖的边缘的点。

进一步的，所述根据相位信息对所述偏移多聚焦图像栈中的图像的一致性进行检验，包括：

若检验得到所述偏移多聚焦图像栈中的图像的边缘处的各级傅里叶级数相位一致，则所述偏移多聚焦图像栈中的图像的相位一致性为1；

若检验得到所述偏移多聚焦图像栈中的图像的非边缘处的各级傅里叶级数相位不一致，则所述偏移多聚焦图像栈中的图像的相位一致性小于1。

另一方面，本发明还提供了一种子孔径图像采集系统，所述系统包括：

成像模型获取单元，用于获取多聚焦图像栈的成像模型，其中，所述多聚焦图像栈为通过聚焦于不同距离获取的一组图像；

多聚焦图像栈与子孔径图像关系单元，用于根据光学成像原理和所述多聚焦图像栈的成像模型，得到所述多聚焦图像栈中的图像与子孔径图像间的关系，其中，所述子孔径图像为物体经通光孔径上的子孔径在传感器上形成的分量图像；

偏移多聚焦图像栈获取单元，用于根据所述多聚焦图像栈中的图像与子孔径图像间的关系，得到偏移多聚焦图像栈；

深度图获取单元，用于获取所述偏移多聚焦图像栈的梯度信息及相位信息，并根据所述梯度信息及相位信息得到深度图；

子孔径图像采集单元，用于根据所述深度图在所述多聚焦图像栈中的对应图像中采集像素，组合所述像素得到所述子孔径图像。

由上述技术方案可知，本发明所述的一种子孔径图像采集方法及系统，其中的方法包括：获取多聚焦图像栈的成像模型；根据光学成像原理和所述多聚焦图像栈的成像模型，得到所述多聚焦图像栈中的图像与子孔径图像间的关系；根据所述多聚焦图像栈中的图像与子孔径图像间的关系，得到偏移多聚焦图像栈；获取所述偏移多聚焦图像栈的梯度信息及相位信息，并根据所述梯度信息及相位信息得到深度图；以及根据所述深度图在所述多聚焦图像栈中的对应图像中采集像素，组合所述像素得到所述子孔径图像。利用本发明的技术方案采集子孔径图像的速度快且采集的图像的空间分辨率高，且子孔径图像的获取过程的稳定性高，保证了采集的子孔径图像的准确性及清晰度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一中的一种子孔径图像采集方法的一种具体实施方式的流程示意图。

图2是本发明实施例二中的子孔径图像采集方法还包括步骤600的一种具体实施方式的流程示意图。

图3是本发明的实施例三中的子孔径图像采集方法中步骤400的一种具体实施方式的流程示意图。

图4是本发明的子孔径图像采集方法的应用实例中的多聚焦图像栈光学结构示意图。

图5是应用实例中的多聚焦图像栈成像公式示意图。

图6(1)是应用实例中的没有平移时的单一边缘最大梯度流示意图。

图6(2)是应用实例中的有平移时的单一边缘最大梯度流示意图。

图6(3)是应用实例中的多边缘最大梯度流，弱边缘未被掩盖时的示意图。

图6(4)是应用实例中的多边缘最大梯度流，弱边缘被掩盖时的示意图。

图7是应用实例中的边缘的相位一致性示意图。

图8是应用实例中的融合后的边缘点集合及其深度示意图。

图9是应用实例中的深度图及子孔径图像的互相优化示意图。

图10是应用实例中的最终得到的深度图示意图。

图11是应用实例中的最终得到的子孔径图像示意图。

图12是本发明的实施例四中的子孔径图像采集系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例一提供了一种子孔径图像采集方法的一种具体实施方式，参见图1，该子孔径图像采集方法具体包括如下步骤：

步骤100：获取多聚焦图像栈的成像模型。

在步骤100中，所述多聚焦图像栈为通过聚焦于不同距离获取的一组图像；所述多聚焦图像栈的成像模型包括子孔径(u,v)、参考平面f和成像面fm，且所述子孔径(u,v)与参考平面f及聚焦于另一个距离下的成像面fm之间的距离不同。

步骤200：根据光学成像原理和所述多聚焦图像栈的成像模型，得到所述多聚焦图像栈中的图像与子孔径图像间的关系。

在步骤200中，所述子孔径图像为物体经通光孔径上的子孔径在传感器上形成的分量图像；多聚焦图像栈中的图像与子孔径图像间的关系用分层平移模型表示，其中，所述分层平移模型如公式一所示：

在公式一中，是多聚焦图像栈中聚焦于成像面fm处的图像，是子孔径(u,v)对应的子孔径图像；(δx′1，δy′1)和(δx′2，δy′2)为两组视差值；n为子孔径个数，u和v分别为子孔径的横坐标及纵坐标；x、y分别为图像的横坐标及纵坐标。

步骤300：根据所述多聚焦图像栈中的图像与子孔径图像间的关系，得到偏移多聚焦图像栈。

在步骤300中，根据所述多聚焦图像栈中的图像与子孔径图像间的关系，将所述多聚焦图像栈中的每一幅图像以该图像相对于子孔径的相反视差进行分层平移，得到偏移多聚焦图像栈。

步骤400：获取所述偏移多聚焦图像栈的梯度信息及相位信息，并根据所述梯度信息及相位信息得到深度图。

在步骤400中，根据梯度信息将所述偏移多聚焦图像栈中的图像中的点划分为源点和平凡点；并根据相位信息对所述偏移多聚焦图像栈中的图像的一致性进行检验，得到最大相位一致流。

步骤500：根据所述深度图在所述多聚焦图像栈中的对应图像中采集像素，组合所述像素得到所述子孔径图像。

在步骤500中，子孔径图像和深度图(聚焦位置)存在互相依赖的关系。一方面，若当前的深度估计是完全正确的，则子孔径图像可以通过从多聚焦图像栈中的对应图像中挑选像素组成。

从上述描述可知，本发明的实施例采集子孔径图像的速度快且采集的图像的空间分辨率高，且子孔径图像的获取过程的稳定性高，保证了采集的子孔径图像的准确性及清晰度。

本发明的实施例二提供了一种子孔径图像采集方法中还包括步骤600的一种具体实施方式，参见图2，该步骤600具体包括如下步骤：

步骤600：若已存在子孔径图像，则将已存在的子孔径图像作为监督图像，根据联合双边滤波方法对所述深度图进行优化，得到优化后的深度图和子孔径图像。

从上述描述可知，本发明的实施例给出了对已存在的子孔径图像进行优化的具体实现方式，提高了方法应用的广泛性和全面性。

本发明的实施例三提供了一种子孔径图像采集方法中步骤400的一种具体实施方式，参见图3，该步骤400具体包括如下步骤：

步骤401：根据梯度信息将所述偏移多聚焦图像栈中的图像中的点划分为源点和平凡点。

在步骤401中，根据最大梯度流获取所述偏移多聚焦图像栈中的梯度变化，并根据最大梯度流的散度将所述偏移多聚焦图像栈中的图像中的点划分为源点和平凡点；所述源点包括：只有一个边缘存在的点，以及，有多个边缘存在且边缘未被扩散梯度所掩盖的点；所述平凡点为有多个边缘存在且存在被扩散梯度所掩盖的边缘的点。

步骤402：根据相位信息对所述偏移多聚焦图像栈中的图像的一致性进行检验，得到最大相位一致流。

在步骤402中，若检验得到所述偏移多聚焦图像栈中的图像的边缘处的各级傅里叶级数相位一致，则所述偏移多聚焦图像栈中的图像的相位一致性为1；若检验得到所述偏移多聚焦图像栈中的图像的非边缘处的各级傅里叶级数相位不一致，则所述偏移多聚焦图像栈中的图像的相位一致性小于1。

步骤403：将使用梯度提取出的源点组成集合sg，所述集合sg代表偏移多聚焦图像栈中的图像的边缘位置。

步骤404：根据所述最大相位一致流的散度将所有源点组成集合sp，所述集合sp为根据相位检测出的边缘位置的集合。

步骤405：将sg和sp合成为统一的边缘位置集合s，得到深度图；其中，所述深度图即为聚焦位图。

从上述描述可知，本发明的实施例给出了根据所述梯度信息及相位信息得到深度图的具体实施方式，该过程准确且有效，提高了采集子孔径图像的效率及可靠性。

本发明的还提供了一种子孔径图像采集方法的应用实例，该子孔径图像采集方法的应用实例具体包括如下内容：

如图4所示，本发明所提到的多聚焦图像栈即是一组聚焦于不同距离的图像，所谓子光圈图像即是通光孔径的一部分(子孔径)在传感器上的分量。本发明的目的是通过多聚焦图像栈恢复子孔径图像。

如图5所示，是多聚焦图像栈的成像模型，其中平面f是参考平面，平面fm是聚焦于另一个距离下的成像面。根据光学成像原理公式，可以推导出多聚焦图像栈中的图像与子孔径图像间的关系为：

其中是多聚焦图像栈中聚焦于fm处的图像，是子孔径(u,v)对应的子孔径图像。(δx′1，δy′1)和(δx′2，δy′2)是视差值，具体形式为：

其中f是(u,v,m)的函数。根据以上公式，可以得出两点结论1.若m＝d，即点(x；y)恰好聚焦于平面fm处，则视差值(δx′1；δy′1)和(δx′2；δy′2)都是0，有^ifm(x；y)＝iuk；vkf(x；y)；2.若m≠d，即点(x；y)不聚焦于平面fm处，则^ifm(x；y)是iuk；vkf(x；y)的偏移模糊，偏移量是(δx′1；δy′1)，模糊核由(δx′2；δy′2)形成，根据以上推导，此处的模糊核是圆盘形模糊核。该结论表明，若将多聚焦图像栈以每一幅图像相对于子孔径(uk；vk)的相反视差分层平移，所得到的是一个关于子孔径图像iuk；vkf的有偏移多聚焦图像栈，但每个像素在其恰好聚焦的图像中是无偏移的，即为子孔径图像重建的分层平移模型。

如图6所示，本发明使用最大梯度流对多聚焦图像栈中的梯度变化进行建模，其中最大梯度流定义为二维场：

mgf(x，y)＝[gx(x，y)，gy(x，y)]^t

根据最大梯度流的散度将图像中的点分为源点和平凡点两类，其中源点满足：

其余皆为平凡点。

图6(1)是无偏移多聚焦图像栈中的最大梯度流，蓝色实线为聚焦情况下的边缘梯度；绿色虚线为不同程度的模糊下的边缘梯度，即扩散出的梯度；红色实线为梯度曲线的包络，即最大梯度。可以看出图6(1)中唯一的源点就是边缘所处的位置。

图6(2)是有偏移多聚焦图像栈中的最大梯度流，从图6(2)中可以看到，虽然由于偏移的引入使得梯度的包络宽度发生了变化，但是图6(2)中唯一的源点依然是边缘所处的位置。

图6(3)是有两个边缘的情况，蓝色实线是强边缘聚焦情况下的梯度；蓝色虚线是强边缘的最大梯度；绿色实线是弱边缘聚焦情况下的梯度；绿色虚线是弱边缘的最大梯度；红色实线为总体的最大梯度。为了简洁，扩散梯度并未呈现于图6(3)中。在这种情况下弱边缘并未被强边缘所掩盖，两个源点是两个边缘所处的位置。

图6(4)也是有两个边缘的情况，但在这种情况下由于弱边缘的最大梯度小于强边缘的扩散梯度，导致弱边缘被掩盖，图6(4)中的唯一源点是强边缘所处的位置。

通过以上分析可以得出以下几点结论：

1.对于只有一个边缘存在的情况，无论多聚焦图像栈是否有偏移，都不影响其源点性质。

2.对于多个边缘存在的情况，若某个边缘没有被扩散梯度所掩盖，则不影响其源点的性质。

3.对于多个边缘存在的情况，若某个边缘被扩散梯度所掩盖，则其退化为平凡点。以上结论可以总结为：源点一定是边缘所处的位置。

根据此条结论，将使用梯度提取出的源点组成集合sg，代表图像中的边缘位置。

如图7所示，为了增强对弱边缘的检测效果，本发明除使用梯度外，还使用相位一致性检测边缘位置。相位一致性定义为：

在边缘处，图像的各级傅里叶级数相位一致，相位一致性为1；非边缘处图像的各级傅里叶级数相位不一致，相位一致性小于1。与最大梯度流类似，定位最大相位一致流为：

mpf(x，y)＝[pcx(x，y)，pcy(x，y)]^t

同样根据最大相位一致流的散度将所有源点组成集合sp，代表根据相位检测出的边缘位置。最后将sg和sp融合为统一的边缘位置集合s，如图8所示即为融合后的边缘位置集合及其深度值(聚焦位置)。

如图9所示，子孔径图像和深度图(聚焦位置)存在互相依赖的关系。一方面，若当前的深度估计是完全正确的，则子孔径图像可以通过从多聚焦图像栈中的对应图像中挑选像素组成：

其中fi代表融合后的子孔径图像，d(p)代表像素p实际聚焦的深度值。另一方面，若已有子孔径图像，则可以将子孔径图像作为监督图像，使用联合双边滤波对深度图进行优化：

nhp是像素p的邻域；kp是归一化系数；σs控制空间距离权重；σr控制图像灰度权重。基于以上关系，本发明使用以上两公式交替进行子孔径图像的合成和深度图的优化，并在每次滤波前，重置种子点集合s中的所有种子点深度为其初始估计值。这样能够最大限度地利用种子点的深度信息，使得深度估计更准确。循环终止的条件是两次循环间深度的均方误差(mse)小于某个阈值或者达到一定的循环次数，最终得到优化后的深度图和子孔径图像。图10和图11分别展示了样例数据的深度图和合成的子孔径图像。

从上述描述可知，本发明的应用实例采集子孔径图像的速度快且采集的图像的空间分辨率高，且子孔径图像的获取过程的稳定性高，保证了采集的子孔径图像的准确性及清晰度。

本发明的实施例四提供了一种子孔径图像采集系统的一种具体实施方式，参见图12，该子孔径图像采集系统具体包括如下内容：

成像模型获取单元10，用于获取多聚焦图像栈的成像模型，其中，所述多聚焦图像栈为通过聚焦于不同距离获取的一组图像。

多聚焦图像栈与子孔径图像关系单元20，用于根据光学成像原理和所述多聚焦图像栈的成像模型，得到所述多聚焦图像栈中的图像与子孔径图像间的关系，其中，所述子孔径图像为物体经通光孔径上的子孔径在传感器上形成的分量图像。

偏移多聚焦图像栈获取单元30，用于根据所述多聚焦图像栈中的图像与子孔径图像间的关系，得到偏移多聚焦图像栈。

深度图获取单元40，用于获取所述偏移多聚焦图像栈的梯度信息及相位信息，并根据所述梯度信息及相位信息得到深度图。

子孔径图像采集单元50，用于根据所述深度图在所述多聚焦图像栈中的对应图像中采集像素，组合所述像素得到所述子孔径图像。

从上述描述可知，利用本发明的实施例中的子孔径图像采集系统采集子孔径图像的速度快且采集的图像的空间分辨率高，且子孔径图像的获取过程的稳定性高，保证了采集的子孔径图像的准确性及清晰度。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。