基于旋转编码光圈成像系统的深度估计方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域。具体而言，主要涉及数字图像处理以及计算摄 像学领域，是基于旋转编码光圈成像系统的深度估计方法。
【背景技术】
[0002] 现代社会对于数码成像设备的图像成像质量的要求越来越高，并期望得到全清晰 图像。然而，光学成像系统发展到现在都无法彻底解决离焦模糊问题。传统光学成像设备的 成像基本原理是凹凸透镜对光线改变了方向，运用这一特性来设计成像设备。故被拍摄物 体的物平面到物镜之间的距离具有一定的选择性，如果被拍摄物体在位于成像系统的焦平 面上，那么成像平面获得最清晰的像;反之，如果拍摄物体远离焦平面，与之有一定的距离， 那么成像平面得到的图像将变得模糊。在引入编码光圈技术以前，解决此问题的方法大都 是需要使用额外的装置，改进对焦系统特性以达到更高的对焦精准度。
[0003] 彩色图像与对应深度图的组合能带来更全面的图像复原信息以应用到诸如图像 编辑，基于深度的图像渲染以及增强现实等领域内。然而，深度信息相较于可以用成熟的光 学设备获得的光度信息而言，是难以获取的。因此，基于失焦模糊图像的深度估计方法由于 对光学设备的要求较低且具有较高的鲁棒性等特性而广泛地应用于图像的深度恢复等领 域中。
[0004] 编码光圈技术作为一种新兴的计算摄像学技术，在本质上通过调制成像系统的点 扩散函数来实现基于数码相机的深度估计方法以提高可见光成像的景深拓展性能。其中， 相机成像的三个内在参数，即光圈的形状，成像焦距，和镜头至成像传感器的距离，是实现 深度信息恢复的重要指标。编码光圈技术主要对相机的镜头光圈进行编码重构工作，改善 其点扩散函数中所包含的深度分立信息，获得准确的深度估计结果，并借助图像的深度图 信息实现全聚焦清晰图像的复原。在前人的基于失焦模糊的深度估计工作中，单编码光圈， 编码光圈对或者彩色光圈中，存在深度估计与全聚焦图像复原相矛盾，实际应用复杂或是 彩色图像信息失真等问题。为了更好的使用这项技术，并解决这些编码光圈模式中存在的 问题，本发明使用旋转编码光圈模式进行改善深度估计以及全聚焦图像复原性能等工作。
【发明内容】
[0005] 为克服现有技术的不足，提供一种旋转编码光圈模式，获取的深度信息准确，精度 高，提升全聚焦复原图像质量，同时，成像系统的使用方式便捷，稳定度高。为达到上述目 的，本发明采取的技术方案是，基于旋转编码光圈成像系统的深度估计方法，包括如下步 骤:提出旋转编码光圈成像系统的性能评价标准，并依据该评价标准使用遗传算法及坐标 下降法优化旋转编码光圈，后借助优化的旋转编码光圈实现深度估计及全聚焦图像复原工 作。
[0006] 其中：
[0007] 1)提出旋转编码光圈成像系统的性能评价标准，
[0008] (1)失焦模糊成像模型：
[0009] f 二 0 +1J
[0010] 其中，f代表成像系统拍摄得到的失焦模糊图像，f〇代表原始清晰图像，0代表成像 系统在不同深度d处的点扩散函数，^描述高斯白噪声，X表示高斯分布，供表示高 斯噪声的标准差；
[0011] (2)三次旋转编码光圈系统的失焦成像模型：
[0012] Fi = F〇 · Kid+Ni,i = l,2,3
[0013] 其中，此模型是（1)中模型在频域中的表达表示旋转编码光圈成像系统拍摄得 到的失焦模糊图像，F〇表示原始图像，K，表示不同深度的点扩散函数，化表示第i次旋转编 码光圈获得拍摄图像中的高斯白噪声，i表示旋转次数，即三次旋转会产生三次不同的失焦 模糊图像;此模型对应于旋转编码光圈成像系统的拍摄所得的三张失焦模糊图像的数学模 型；
[0014] (3)使用能量函数最小值解决最大后验概率问题(Maximum A Posteriori)以实现 对旋转编码光圈的性能优化。
[0015]
[0016] 其中，|C|2 = C.C*代表图像先验的噪信比（Noise to Signal Ratios)，可以表示为 σ2/Α，其中，A使用多张自然图像的平均功率谱来表示
ξ表示频率，使用 能量函数最小值意味着使估计模糊图像与原始模糊图像之间的差别最小，即使得估计过程 精度最高，深度恢复结果最准确；
[0017] (4)使用维纳反卷积法获得估计清晰图像。即对一个既定的估计深度，使用能量 函数先求解估计清晰图像即在以：/ 3 0的条件下，可得，
[0018]
[0019] 其中，F是K的复共辄，尤〃是指在既定估计深度j处对应的成像系统点扩散函数 的频域表示，本发明中的字母上方的Λ均表示该字母所代表变量是一个计算估计值；
[0020] (5)将步骤(4)和步骤(2)中的公式带入步骤(3)，重构能量函数，经整理简化得到 一个关于估计深度&的能量评价函数，
[0021] A
[0022] 其中，(f表示位于成像系统所对应的标准深度，d表示可见光图像的各层级的处深 度；
[0023] (6)在空域中的加性高斯白噪声参数是〇的条件下，对旋转编码光圈位于cf处的深 度估计进行性能评价可得，
[0024]
[0025] 其中，D={C1d'C2d'"_，C1Cn代表系统对应的各深度层级，{ Cl}可取为{0.1， 0.15,…，1.5}，步长为0.05。
[0026] (7)对以上结果进行归一化可得旋转编码光圈的性能评价标准：
[0027]
[0028] R值越大表征评价深度估计的能量函数变化越陡峭，使得深度估计性能对于图像 噪声或者彩色纹理的鲁棒性越强。
[0029] 设计并使用遗传算法优化获得低分辨率的旋转编码光圈；使用坐标下降法提高旋 转编码光圈的分辨率。
[0030] 深度估计恢复和全聚焦图像复原过程，是借助维纳反卷积以及像差法对其进行深 度恢复和全聚焦图像复原的工作。
[0031] 本发明的技术特点及效果：
[0032] 1)相较于编码光圈对在使用时的所需的更换光圈的方式，旋转编码光圈成像系统 的使用方式更为简单便捷，获取图像更加稳定有效。
[0033] 2)旋转编码光圈的三次旋转的方式使得光圈的频谱分立性能更好，因此，在各深 度层级对应的点扩散函数的分立程度更明显。在估计深度的计算过程中，更好的频谱分立 性能使得深度的估计结果在识别的准确度和深度的分辨率上的表现的性能更优秀，计算能 力更鲁棒。
[0034] 3)在获得估计更为准确的深度图的基础上，使用维纳反卷积法复原全聚焦清晰图 像的效果会更佳。相较于先前的编码光圈的方式，旋转编码光圈成像系统的频谱互补性能 更优秀，成像频谱的频率覆盖更大，这使得可见光图像的频谱信息保留更多，也意味着恢复 清晰图像的效果更好，提高了复原图像的质量。
[0035] 4)由于本发明的复原方法简单，容易实现，运行时间短，因此，可以将解模糊复原 性能直接集成到数码相机的硬件中使得相机或其他成像设备可以直接进行深度估计及图 像复原的工作，减少了本系统对外部设备的依赖。
【附图说明】：
[0036] 图1是本发明使用遗传算法及坐标下降法优化旋转编码光圈的结果，其中，分辨率 为11 XII的光圈结果是使用遗传算法生成的低分辨率优化光圈，之后是坐标下降法提高光 圈分辨率的结果，47X47是本发明所用的旋转编码光圈；
[0037]图2是旋转编码光圈的频谱特性；
[0038]图3是使用旋转编码光圈系统对各不同深度模型进行深度估计恢复的结果；
[0039] (a)分别是离散楼梯、阶梯，连续斜面、圆锥面三维模型，模型表面一半附着复杂纹 理(左），一半附着简单纹理(右）。
[0040] (b)分别是以上四个模型对应的原始深度图。
[0041 ] (c)编码光圈对的分别对应于四个模型的估计深度图。
[0042] (d)旋转圆形光圈的分别对应于四个模型的估计深度图。
[0043] (e)旋转编码光圈的分别对应于四个模型的估计深度图。
[0044] 下表是编码光圈对、旋转圆形光圈、旋转编码光圈的各估计深度图与原始模型深 度图间的RMSE (均方根误差)统计结果。
[0045]
[0046] 图4是使用旋转编码光圈系统对3维场景的深度估计以及全聚焦清晰图像复原的 结果。
[0047] (la)(lb)分别是室内、室外场景的原始场景的清晰图和深度图。
[0048] (2a) (2b)分别是对应场景的编码光圈对的全聚焦复原图像和估计深度图。
[0049] (3a) (3b)分别是对应场景的旋转编码光圈的全聚焦复原图像和估计深度图。
[0050] 下表是全聚焦复原图像和原始场景清晰图的RMSE(均方根误差）以及估计深度图 和原始场景深度图的PSNR(峰值信噪比）的统计结果，其中，db是计量单位。
[0051]
【具体实施方式】
[0052] 本发明采取的技术方案是，基于旋转编码光圈成像系统的深度估计方法。提出旋 转编码光圈成像系统的性能评价标准，并依据该评价标准使用遗传算法及坐标下降法优化 旋转编码光圈，后借助优化的旋转编码光圈系统实现深度估计及全聚焦图像复原工作。旋 转编码光圈成像系统对可见光图像进行深度估计时，需要借助各深度层级对应的点扩散函 数，即不同深度处的点扩散函数的差异性是分辨深度的主要指标参数。因此，实现深度准确 估计的关键问题在于旋转编码光圈成像系统的点扩散函数具有优秀的分立性能，对应于频 谱中，意味着旋转编码光圈的频谱需要具有较多的过零点。不同深度对应的点扩散函数的 频谱过零点在会有不同的位置，当这些过零点尽可能地分立时，深度信息的估计就会越加 精准。包括如下步骤：1)提出旋转编码光圈成像系统的