一种光场成像自动重对焦方法
【专利摘要】本发明公开了一种光场成像自动重对焦方法，该方法建立点扩散函数模型和模糊度评价模型，基于以上模型，根据不同对焦深度及其对应重对焦图像估计感兴趣区域的模糊度估计函数，对函数求取极值点获得感兴趣区域对焦深度，最终获得该深度对应的重对焦图像。本发明通过直接估计感兴趣区域的对焦深度实现感兴趣区域的重对焦，克服了现有方法计算冗余度大的弊端，为光场成像在扩大成像景深方面的应用提供了一种快速有效的自动重对焦机制，提高了光场成像感兴趣区域重对焦操作的执行效率，有利于促进光场成像的研究及应用发展。
【专利说明】一种光场成像自动重对焦方法
【技术领域】
[0001]本发明涉及一种用于光场成像中感兴趣区域(ROI)的自动重对焦方法，属于计算成像、图像处理、计算机视觉等【技术领域】。
【背景技术】
[0002]光场为光辐射在空间各个位置各个方向的传播。1908年Lippmann首先提出了基于透镜阵列形式的光场相机，直到1992年Adelson在此基础上提出了全光场相机并提出了其在图像深度提取方面的应用后，光场成像作为一种计算成像方式开始受到越来越多的关注。光场成像利用其特殊的成像结构，拓宽了图像捕获的数据种类，在扩大成像景深、深度估计、超分辨率、物体分割、生物特征识别等领域已经得到应用。
[0003]利用光场成像在扩大成像景深方面的优势，可以在一次曝光后，通过重对焦处理获取不同深度的重对焦图像，基于此Raghavendra和Zhang分别将其应用在人脸和虹膜检测识别领域，有助于推进生物特征识别在大范围场景下的应用。在拍摄过程中，用户最关注的是感兴趣区域的对焦情况，希望ROI对焦清晰。由于没有关于ROI区域深度信息的先验知识，目前常用的对焦策略是渲染出场景中所有不同深度的一组重对焦图像，根据对ROI的模糊度判断从这一组重对焦图像中找到模糊度最小的一幅重对焦图像以实现ROI的自动重对焦(ARF)处理。这种重对焦模式虽然在目前光场成像角度分辨率较低(小于10)的情况下速度很快，但当角度分辨率较大(如大于16)时渲染出一组重对焦图像耗时增加，当用户其实只关注某一感兴趣区域的重对焦图像时，对其他区域进行重对焦处理其实是一种不必要的操作，影响了自动重对焦处理的效率。
[0004]目前，光学上的自动对焦(AF)主要有主动式和被动式两种处理方式，其中主动式就是利用外界的近红外光或超声波信号获取ROI深度，利用深度信息调节成像镜头焦距；被动式的是利用ROI的清晰度评价值反复迭代获取最优值来调节成像镜头焦距。被动式的自动对焦方式与上述的光场成像ROI重对焦处理类似，相比较主动式的对焦方式而言，被动式的仍是一种比较耗时的处理手段。借鉴主动式自动对焦方法，如果在光场成像过程中能够直接获取ROI的深度，利用深度值确定感兴趣区域的重对焦参数，就可以直接针对ROI进行重对焦处理，而不再需要计算所有深度的重对焦图像，这样就能够把重对焦操作处理计算量降到最低，提高了自动重对焦的效率。光场成像本身也可以用来对场景进行深度估计，但这种深度估计方法计算量较大耗时较多不适合用于快速的ARF操作，而且对于不是朗伯表面(Lambert surface)的物体,如虹膜,深度估计尚不够准确。利用离焦模糊对深度进行估计Nayar等人已经开展了相关研究并提出一个实时深度估计系统，因此该方法为光场成像自动重对焦过程中关键的深度估计提供一种可借鉴的快速有效的解决途径。
【发明内容】
[0005](一 )要解决的技术问题
[0006]本发明旨在突破现有光场成像感兴趣区域重对焦过程中计算冗余度较大的局限，提出一种新的光场成像自动重对焦方法，以提高光场成像感兴趣区域重对焦的效率。
[0007]( 二)技术方案
[0008]为解决上述技术问题，本发明提出一种光场成像自动重对焦方法，该方法包括以下步骤:
[0009]步骤S1、建立光场重对焦处理模型，该模型建立重对焦图像和对焦深度的基本映身寸关系;
[0010]步骤S2、根据点扩散函数定义对h(i3)建模，并确定用以估计h(i3)的重对焦图像数量η ；
[0011]步骤S3、对于采集到的光场原始图像，将其解码为4D光场参数化表示，该参数化表示由对应于不同视角的子孔径图像构成；
[0012]步骤S4、自动检测出需重对焦的感兴趣区域；
[0013]步骤S5、对该光场做重对焦处理,渲染出η幅对焦在不同深度β i (i = I,..., η)的图像^办价=!，..』)；
[0014]步骤S6、使用机器学习的方法，构建模糊度评价模型BM ；
[0015]步骤S7、利用模糊度估计模型ΒΜ，对重对焦图像= …估计感兴趣区域的模糊度Oh(Pi);
[0016]步骤S8、利用β i和σ h(P D Q = 1，...，η)估计出该光场中感兴趣区域的点扩散函数的方差之00);
[0017]步骤S9、求取么函数的极小值点β 0,即为重对焦在感兴趣区域的对焦深度
β ο ；
[0018]步骤S10、利用重对焦算法渲染出β C1对应的感兴趣区域对焦清晰的光场重对焦图像。
[0019]根据本发明的一种实施方式，所述步骤S2进一步包括以下步骤:
[0020]步骤S21、获取点光源S0的光场表示1>(5,11);
[0021]步骤S22、对光场//Hm)做重对焦渲染处理得到，其中tyiM重对焦算子；
[0022]步骤S23、将进行尺度变换后，得到重对焦点扩散函数A(CT) =Scri 根据对焦深度β与α关系β =f(a)，进一步可得到h(i3)；
[0023]步骤S24、本发明仅关注对焦深度与图像模糊度之间的关系，图像模糊度采用h(i3)的方差oh(i3)衡量，以简化模型复杂度，最终建模得到oh(i3)。
[0024]根据本发明的一种实施方式，所述步骤S4中的自动检测感兴趣区域，是利用目标检测算法，在中心视角的子孔径图像上自动检测出感兴趣区域坐标及尺寸，该坐标及尺寸用于对渲染在任意深度的重对焦图像的感兴趣区域进行分割。
[0025]根据本发明的一种实施方式，所述步骤S6进一步包括以下步骤:
[0026]步骤S61、建立感兴趣区域模糊度训练库。训练库包含了感兴趣区域图像样本，这些样本对应于不同模糊度，并由模糊度进行标注；
[0027]步骤S62、对训练集中的样本提取图像模糊度评价特征；
[0028]步骤S63、利用步骤S61的感兴趣区域模糊度训练库及步骤S62提取的模糊度评价特征，训练模糊度评价回归模型。
[0029]根据本发明的一种实施方式，所述步骤S7包括以下步骤:
[0030]步骤S71、利用所述步骤S4得出的感兴趣区域坐标，提取重对焦图像的感兴趣区域；
[0031]步骤S72、对感兴趣区域图像提取图像模糊度评价特征；
[0032]步骤S73、将该图像模糊度评价特征送入所述步骤S6得到的回归模型中，得到感兴趣区域的模糊度评价。
[0033]根据本发明的一种实施方式，所述步骤S9求取么极小值点基于公式
【权利要求】
1.一种光场成像自动重对焦方法，其特征在于，该方法包括以下步骤: 步骤S1、建立光场重对焦处理模型，该模型建立重对焦图像和对焦深度的基本映射关系; 步骤S2、根据点扩散函数定义对h ( β )建模，并确定用以估计h ( β )的重对焦图像数量η ； 步骤S3、对于采集到的光场原始图像，将其解码为4D光场参数化表示，该参数化表示由对应于不同视角的子孔径图像构成； 步骤S4、自动检测出需重对焦的感兴趣区域； 步骤S5、对该光场做重对焦处理，渲染出η幅对焦在不同深度β = 1，...，η)的图像％,[讀/ = 1’.”，《); 步骤S6、使用机器学习的方法，构建模糊度评价模型BM ； 步骤S7、利用模糊度估计模型ΒΜ，对重对焦图像~.SM(/= Uiff)估计感兴趣区域的模糊度Oh(I); 步骤S8、利用β i和σ h(i3 D (i = 1，...，η)估计出该光场中感兴趣区域的点扩散函数的方差之(/?); 步骤S9、求取之(6#)函数的极小值点Ptl，即为重对焦在感兴趣区域的对焦深度 步骤S10、利用重对焦算法渲染出β 0对应的感兴趣区域对焦清晰的光场重对焦图像。
2.根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S2进一步包括以下步骤: 步骤S21、获取点光源Stl的光场表示//u(x,U); 步骤S22、对光场//'++ (χ,ι.)做重对焦渲染处理得到IM(OTu),其中WJ/.]是重对焦算子； 步骤S23、将《α[?.](αχβ)进行尺度变换后，得到重对焦点扩散函数/?(?) = 8一[叱[/4](?*?)]，根据对焦深度β与α关系β =^。)，进一步可得到11(3)； 步骤S24、本发明仅关注对焦深度与图像模糊度之间的关系，图像模糊度采用h(i3)的方差oh(i3)衡量，以简化模型复杂度，最终建模得到oh(i3)。
3.根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S4中的自动检测感兴趣区域，是利用目标检测算法，在中心视角的子孔径图像上自动检测出感兴趣区域坐标及尺寸，该坐标及尺寸用于对渲染在任意深度的重对焦图像的感兴趣区域进行分割。
4.根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S6进一步包括以下步骤: 步骤S61、建立感兴趣区域模糊度训练库。训练库包含了感兴趣区域图像样本，这些样本对应于不同模糊度,并由模糊度进行标注； 步骤S62、对训练集中的样本提取图像模糊度评价特征； 步骤S63、利用步骤S61的感兴趣区域模糊度训练库及步骤S62提取的模糊度评价特征，训练模糊度评价回归模型。
5.根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S7包括以下步骤: 步骤S71、利用所述步骤S4得出的感兴趣区域坐标，提取重对焦图像的感兴趣区域； 步骤S72、对感兴趣区域图像提取图像模糊度评价特征； 步骤S73、将该图像模糊度评价特征送入所述步骤S6得到的回归模型中，得到感兴趣区域的模糊度评价。
6.根据权利要求1所述的光场成像自动重对焦方法，其特征在于，所述步骤S9求取
极小值点基于公式
,该式建立一种确定感兴趣区域重对焦的对焦深度的模型。
【文档编号】H04N5/232GK104079827SQ201410301659
【公开日】2014年10月1日 申请日期:2014年6月27日 优先权日:2014年6月27日
【发明者】谭铁牛, 孙哲南, 侯广琦, 张驰, 秦娅楠 申请人:中国科学院自动化研究所