专利名称：动态场景的散焦深度估计和全聚焦图像获取方法
技术领域：
本发明涉及计算机视觉技术领域，特别涉及一种动态场景的散焦深度估计和全聚焦图像获取方法。
背景技术：
如何从三维场景采集所成的ニ维图像序列恢复场景的深度信息是计算机视觉领域ー个重要的研究内容。通常利用所采集到的深度线索来推测场景的深度，如基于多视角的深度估计、基于阴影的深度估计、散焦的深度估计、聚焦深度估计等等，此外还有ー些方法通过向场景投射主动光的方式来估计场景的深度。散焦深度估计自Pentland提出以来便一直受到人们的关注，主要有基于单张的散焦图像和基于多张散焦图像的方法。基于单张散焦图像的散焦深度估计算法由于问题的欠定性通常不能获得令人满意的深度估计結果。基于多张散焦图像的深度估计算法，主要有局部的方法和全局的方法，局部的方法如一些采用局部窗的空域或者频域的方法通常会产生边缘或者窗效应，而ー些全局的方法的算法复杂度通常比较高。传统的散焦深度估计算法在求解过程通常会消除场景辐射度(全聚焦图像)的估计而只估计场景的深度。此夕卜，现有对于动态场景的散焦深度估计研究的工作相对较少的主要原因是很难采集到动态场景在某ー时刻下的多张聚焦于不同深度下的散焦图像。
发明内容
本发明的目的g在至少解决上述的技术问题之一。为此，本发明的目的在于提出了一种动态场景的散焦深度估计和全聚焦图像获取方法，该方法能够实现动态场景的高质量捕获和深度信息提取，得到深度估计结果和全清晰图像后可以进行合成光圈、小视角自由视点等应用，容易实现。为达到上述目的，本发明的实施例提出了一种动态场景的散焦深度估计和全聚焦图像获取方法，包括以下步骤获取多张散焦图像的第一深度图以及全局不一致的模糊核，根据所述全局不一致的模糊核对所述多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像，井根据所述初始的全聚焦图像和所述第一深度图进行反馈迭代优化以得到每ー时刻的全聚焦图像和第二深度图；对所述每ー时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域，根据所述第二深度图获得所述每个顔色分割区域的区域深度图，对每个所述区域深度图进行平面拟合以更新所述第二深度图，并在空间上精化更新后的第二深度图以得到第三深度图，根据所述多张散焦图像和所述第三深度图进行去模糊优化以得到优化的全聚焦图像；以及对所述优化的全聚焦图像进行光流估计以得到光流估计结果，根据所述光流估计结果对所述第三深度图进行平滑，在时间上精化第三深度图以得到时间一致的深度估计结果。
根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法，对于更富有挑战的数据(如纹理不丰富的场景)能获得更好的深度估计结果，井能获得全聚焦的图像。同时，在空间和时间上精化深度可以获得更加精确的动态场景深度估计结果和全聚焦图像，井能保证深度图时间上的一致性。此外，得到深度估计结果和全清晰图像后还可以进行合成光圈、小视角自由视点等应用。在本发明的一个实施例中，聚焦于深度为s下的特定景深的散焦图像为h (y) = fnefl2 K (y, x)/(x)c/x其中，I为所述全聚焦图像，X和y均表示ニ维像素坐标，Q G R2表示像素坐标X的取值范围，hjy，x)为模糊核，所述hjy，x)可用高斯模型近似
,,、 I, Ily-x||2K(y^)=~~；
2^0- (y)2 cr (y)，其中，O (y)为对应像素y和深度相关的模糊量，O (y) = y b (y),
, Dv.l I I I^(y) = — I ----TT I
2 F V ベ y)，其中，b为所述像素y处的模糊半径，F为焦距，D为光圈直径，V为像距，s为物距，Y为校准參数。此外，对所述第一深度图获取为S = arg min Es = arg min(五ゾ + aEJ)，其中,ぶ为获取的所述第一深度图，Es为深度获取过程中的能量项，a为正则项系数，Ems为正则项，所述正则项使用深度图梯度的LI范数稀疏先验，め=f||V5(y) I Idy，当对于两幅聚焦于不同深度的图像ら、I2时，深度获取过程中的数据项为E/ (5) = [ H(Aa(y)) \ \ I1 (y) -11 (y) 112 ^ + J (I - H(Aa(y))) \ \ I2 (y) -12 (y) 112 dy其中H(0为阶跃函数。在本发明的一个实施例中，获得所述初始的全聚焦图像的过程为1 = arg min E1 = arg min(五/ +a Em')其中，/为获得的所述初始的全聚焦图像，Ei为所述初始的全聚焦图像获取过程中的优化能量项，a为所述正则项系数，En/(I)为正则项，所述正则项使用自然图像梯度的LI
范数稀疏先验，^CO= |liv/(y川為所述初始的全聚焦图像获取过程中的数据项为EJ(I) =H 丨Zzai (y,+其中，\\为所述散焦图像I:、I2全局不一致的模糊核。在本发明的一个实施例中，所述根据初始的全聚焦图像和所述第一深度图进行反馈迭代优化，包括如下步骤将所述全聚焦过程的能量项作为反馈以辅助对所述第一深度图的进一步估计，其中，当所述散焦视频序列包括两张散焦图像吋，反馈的能量项为E/(s) =II f K1 (y5 x)/(x) Jx - Z1 (y) 112 +11 j (y, x)/(x) Jx - Z2 (y) 112.
对所述反馈能量项、所述深度估计数据项和所述正则项进行优化深度估计，ぞ=arg mjn E = arS mjn(五ノ + aEJ + Pe/)
")其中，Ems为所述正则项，E/为所述深度估计数据项，E/为所述反馈能量项。在本发明的另ー个实施例中，在空间上精化深度，包括以下步骤对所述每ー时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割；设每个区域分割图〗(X)表示为s(x) = akx+bky+ck = [x y I] [ak bk ck]T,
其中，[x y I]为X的图像齐次坐标，(ak，bk，ck)T为待求的平面參数；对每个所述区域深度图进行平面拟合，得到优化的平面參数(ak% b；, c；)T，根据所述优化的平面參数与所述s(x) = akx+bky+ck = [x y I] [ak bk ck]T更新所述第二深度图以获得所述第三深度图；获得空间上精化的第三深度估计结果后，并再次根据所述1 = ar§m/n= argmin(i ；，利用所述散焦图像和所述第三深度图去模糊得到优化的全聚焦图像。在本发明的一个实施例中，在时间上精化深度，还包括以下步骤获得在t时刻的所述全聚焦图像为It和所述深度图为st，在t+1时刻的所述全聚焦图像为It+1和所述深度图为st+1 ；对所述t时刻和所述t+1时刻的所述全聚焦图像It和It+1之间进行光流估计以获得所述光流估计的结果Tt, t+1;保持所述深度图St不变,将所述深度图st+1作为初值,通过优化能量项^ = arSin IlH22 +スIl V毛+! Ili更新所述st+1,获得所述时间一致的深度
估计结果。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图I为根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法的流程图；图2为根据本发明ー个实施例的动态场景的散焦深度估计和全聚焦图像获取方法的方框图；和图3为根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法的进ー步流程图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过參考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复參考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此夕卜，本发明提供了的各种特定的エ艺和材料的例子，但是本领域普通技术人员可以意识到其他エ艺的可应用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。 參照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的ー些特定实施方式，来表示实施本发明的实施例的原理的ー些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。下面參照图I至图3描述根据本发明实施例的动态场景的散焦深度估计和全聚焦图像获取方法。如图I所示，本发明实施例提出的动态场景的散焦深度估计和全聚焦图像获取方法包括以下步骤S101，获取多张散焦图像的第一深度图以及全局不一致的模糊核，根据全局不一致的模糊核对多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像，并根据初始的全聚焦图像和第一深度图进行反馈迭代优化以得到每ー时刻的全聚焦图像和第二深度图。其中，利用特定的图像采集设备采集动态场景的散焦视频序列，散焦视频序列为每ー时刻为多张聚焦于不同深度下的散焦图像。具体地，在本发明的一个实施例中，如图2所示，假设每一时刻的散焦图像为两张聚焦于不同深度下的散焦图像I1和I2，则聚焦于深度为s下的特定景深的散焦图像为
他)=しA(Lx)7Wx⑴其中，I为全聚焦图像，X和y均表示ニ维像素坐标，Q G R2表示像素坐标X的取值范围，h。(y, x)为模糊核。而h。(y, x)可用高斯模型近似
财▲蝴-驗⑴其中，O (y)为对应像素y和深度相关的模糊量，表示为O (y) = y b (y),
, Dv.l I I I
%) = -!-------I
2 F V s(y)(3 )其中，b为像素y处的模糊半径，F为焦距，D为光圈直径，v为像距，s为物距(深度)，Y为校准參数。在本发明的一个实施例中，选定图像I1U2为聚焦平面为V1、V2设置下所获得的散焦图像，则利用上述的卷积模型可以获得对于两幅聚焦于不同深度的图像ら、I2之间的相对模糊卷积模型
权利要求
1.一种动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，包括以下步骤 获取多张散焦图像的第一深度图以及全局不一致的模糊核，根据所述全局不一致的模糊核对所述多张散焦图像进行全局不一致的去模糊化以得到初始的全聚焦图像，并根据所述初始的全聚焦图像和所述第一深度图进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图； 对所述每一时刻的全聚焦图像进行颜色分割以得到多个颜色分割区域，根据所述第二深度图获得所述每个颜色分割区域的区域深度图，对每个所述区域深度图进行平面拟合以更新所述第二深度图，并在空间上精化更新后的第二深度图以得到第三深度图，根据所述多张散焦图像和所述第三深度图进行去模糊优化以得到优化的全聚焦图像；以及 对所述优化的全聚焦图像进行光流估计以得到光流估计结果，根据所述光流估计结果对所述第三深度图进行平滑，在时间上精化第三深度图以得到时间一致的深度估计结果。
2.如权利要求I所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，聚焦于深度为s下的特定景深的散焦图像为
3.如权利要求2所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，对所述第一深度图的获取为
4.如权利要求1-3任一项所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，获得所述初始的全聚焦图像的过程为I = arg min E1 = arg m}n(E: + aEm1)其中，/为获得的所述初始的全聚焦图像，Ei为所述初始的全聚焦图像获取过程中的优化能量项，a为所述正则项系数，E1/⑴为正则项，所述正则项使用自然图像梯度的LI范数稀疏先验，
5.如权利要求4所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，所述根据初始的全聚焦图像和所述第一深度图进行反馈迭代优化，包括如下步骤 将所述全聚焦过程的能量项作为反馈以辅助对所述第一深度图的进一步估计，其中，当所述散焦视频序列包括两张散焦图像时，反馈的能量项为
6.如权利要求1-5任一项所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，在空间上精化深度，包括以下步骤对所述每一时刻的全聚焦图像采用均值漂移Mean-Shift算法进行颜色分割； 设每个区域分割图〖(X)表示为s(x) = akx+bky+ck = [x y I] [ak bk ck]T, 其中，[x y I]为x的图像齐次坐标，(ak，bk，ck)T为待求的平面参数； 对每个所述区域深度图进行平面拟合，得到优化的平面参数(ak% b；, c；)T，根据所述优化的平面参数与所述S(X) = akx+bky+ck = [x y I] [ak bk ck]T更新所述第二深度图以获得所述第三深度图； 获得空间上精化的第三深度估计结果后，并再次根据所述
7.如权利要求6所述的动态场景的散焦深度估计和全聚焦图像获取方法，其特征在于，在时间上精化深度，还包括以下步骤 获得在t时刻的所述全聚焦图像为It和所述深度图为St，在t+1时刻的所述全聚焦图像为It+1和所述深度图为Stn ; 对所述t时刻和所述t+1时刻的所述全聚焦图像It和It+1之间进行光流估计以获得所述光流估计的结果Tt,t+1; 保持所述深度图St不变，将所述深度图st+1作为初值，通过优化能量项
全文摘要
本发明提出一种动态场景的散焦深度估计和全聚焦图像获取方法，包括以下步骤获取多张散焦图像的第一深度图以及全局不一致的模糊核，采用基于散焦深度估计和图像去模糊算法进行反馈迭代优化以得到每一时刻的全聚焦图像和第二深度图；对每一时刻的全聚焦图像进行颜色分割后对深度图进行平面拟合，并进行空间上的精化以得到第三深度图，并重新优化以得到优化的全聚焦图像；对优化的全聚焦图像进行光流估计后对第三深度图进行平滑，在时间上精化第三深度图以得到时间一致的深度估计结果。该方法可以获得更精确的动态场景深度估计结果和全清晰图像，容易实现。
文档编号G06T7/00GK102663721SQ201210096529
公开日2012年9月12日 申请日期2012年4月1日 优先权日2012年4月1日
发明者戴琼海, 林星, 索津莉 申请人:清华大学