一种基于原始图像的四维光场解码预处理方法
【专利摘要】本发明公开了一种基于原始图像的四维光场解码预处理方法，该方法包括以下步骤：利用光场成像装置采集场景原始图像；对于原始图像进行标定，得到原始图像的中心坐标集；利用标定信息对原始图像进行重采样处理，获得子孔径图像阵列；对子孔径图像阵列中的边缘子孔径图像进行去渐晕处理，获得去渐晕后的子孔径图像阵列；利用去渐晕后的子孔径图像阵列完成四维光场解码，得到四维光场的参数化表示。本发明在标定和去渐晕两个关键预处理步骤上突破了传统预处理方法对白图像的依赖限制，提高了光场成像应用灵活性，有助于扩大光场成像的普及应用范围，对促进光场成像应用发展具有积极意义。
【专利说明】一种基于原始图像的四维光场解码预处理方法【技术领域】
[0001]本发明属于光场成像、图像处理、计算机视觉等【技术领域】，涉及一种四维光场解码预处理方法，尤其是一种不依赖于白图像(White image)的自适应性解码预处理方法。
【背景技术】
[0002]光场成像利用其特殊的成像结构，能够获取四维的光场数据，显著拓宽图像捕获的数据种类，因此也就能为图像重建带来更多的信息，目前已经在扩大成像景深、深度估计等领域得到应用。光场成像主要有三种形式:微透镜阵列、相机阵列、掩膜及其他。其中，微透镜阵列形式通过放置在主透镜和传感器之间的微透镜阵列来获取光场数据，是目前最常用的光场成像方式。
[0003]从微透镜阵列形式的光场相机采集到的原始图像(Raw image)中解码出四维光场信息是进行光场数据处理的首要步骤，而四维光场解码的预处理操作又是决定光场解码准确与否的关键。四维光场解码预处理主要包括标定和去渐晕，其中，标定即是精确定位每一个微透镜所成像的中心位置，利用标定信息对采集到的原始光场图像进行准确四维光场解码，但微透镜阵列并不是完全与传感器像素配准，存在偏移和旋转，因此四维光场解码过程依赖于对光场相机的精确标定，同时，标定信息并不是固定不变的，它会随着相机镜头的变焦等发生变化，所以标定是光场数据处理的关键，也是制约光场图像处理灵活性的瓶颈。去渐晕同时也是四维光场解码预处理的必要环节，它用来消除微透镜对光线的部分阻碍影响，提高光场成像质量。现有的用于解决标定和去渐晕这两大问题的主流方法是采用相同拍摄参数采集一张白图像作为校准模板，通过白图像中微透镜图像的亮度极大值点定位中心完成标定，采用将原始采集图像对应像素与白图像对应像素值相除的方式来达到去渐晕的效果。
[0004]目前商业化的lytix)光场相机预存了关于主镜头不同参数设置的近50张白图像，拍摄过程中根据参数设定找到相匹配的白图像用于解码，用户体验较好但是不能更换镜头。Raytrix可以更换镜头，但要求每次更换镜头或者变焦的时候都要使用匀光器拍摄一幅对应的白图像用于预处理，与传统的单反相机相比使用灵活度差。这些方法虽然在四维光场解码的预处理方面能够取得较好的效果，但仍然受制于白图像，当光场相机更换了镜头或进行了变焦等操作时，都需要重新采集新的白图像用于预处理才能进行进一步的数据处理，这样就极大地影响了光场相机使用的灵活性，进一步限制了光场相机的普及使用。
【发明内容】
[0005]针对现有技术中存在的问题，为了突破四维光场解码预处理需基于白图像这一局限，本发明提供了一种 基于原始图像的白适应的四维光场解码预处理方法，以提高光场成像应用的灵活性。
[0006]为了实现上述目的，本发明提供一种基于原始图像的四维光场解码预处理方法，该方法包括以下步骤:[0007]步骤SI，利用光场成像装置采集得到场景原始图像；
[0008]步骤S2，对于所述原始图像进行标定，得到所述原始图像的中心坐标集gjx)；
[0009]步骤S3，利用所述步骤S2获得的标定信息对所述原始图像进行重采样处理，获得子孔径图像阵列；
[0010]步骤S4，对所述子孔径图像阵列中的边缘子孔径图像进行去渐晕处理，获得去渐晕后的子孔径图像阵列；
[0011]步骤S5，利用去渐晕后的子孔径图像阵列完成四维光场解码，得到四维光场的参数化表示。
[0012]本发明基于微透镜阵列形式光场成像的特点，将光场成像中的标定问题建模为图像特征配准问题，将退渐晕问题转化为光照校正问题，在将现有成熟算法灵活运用的基础上，提出了一种基于原始图像的四维光场解码预处理方法，以解决预处理过程中关键的标定和去渐晕问题，突破了传统预处理对白图像的依赖，提高了光场成像应用的灵活性，有望扩大光场成像的普及应用范围，促进光场成像的应用发展。
【专利附图】
【附图说明】
[0013]图1为白图像标定不意图，图1 (a)为一幅白图像不意图，图1 (b)为图1 (a)的局部放大图，图1(c)为白图像的标定结果示意图；
[0014]图2为传统四维光场解码预处理方法的流程图；
[0015]图3为本发明提供的基于原始图像的四维光场解码预处理方法的流程图；
[0016]图4为光场相机采集原始图像示意图，图4(a)为采集到的原始图像示意图，图4(b)为图4(a)的局部放大图；
[0017]图5为光场成像过程中的渐晕效果示意图，图5(a)为具有渐晕效果的子孔径图像阵列示意图，图5(b)为图5(a)的中心子孔径图像，图5(c)为图5(a)的边缘子孔径图像；
[0018]图6为去渐晕后的子孔径图像阵列示意图；
[0019]图7为本发明提供的基于原始图像的标定方法的流程图；
[0020]图8为光场成像相关标定参数的示意图；
[0021]图9为本发明提供的确定初始关键点集方法的示意图，图9(a)为原始图像示意图，图9(b)为待标定图像不意图，图9 (C)为标定区域不意图，图9 (d)为初始关键点集不意图；
[0022]图10为本发明提供的去渐晕方法的流程图。
【具体实施方式】
[0023]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0024]四维光场解码是进行光场处理的首要步骤，而解码前的预处理过程中的标定和去渐晕操作又是决定解码优劣的关键，目前的预处理操作都是基于白图像展开的。图1(a)即为一幅白图像示意图，图1(b)为图1(a)的局部放大图，标定即是定位微透镜所成像的中心位置，如图1(c)所示。图2为传统四维光场解码预处理方法的流程图，该方法包括以下步骤:[0025]步骤SI，光场成像装置采集场景原始图像；
[0026]步骤S2，光场成像装置在保持与步骤SI成像参数一致的情况下采集一幅白图像；
[0027]步骤S3，通过白图像中微透镜图像的亮度极大值点定位中心完成标定；
[0028]步骤S4，将原始图像与白图像对应像素值相除来达到去渐晕效果；
[0029]步骤S5，利用步骤S3的标定信息对步骤S4去渐晕后的原始场景图像进行重采样处理，获得子孔径图像，重采样方法依据文献D.G.Dansereau, 0.Pizarro, and
S.B.Williams.Decoding，calibration and rectification for lenselet—basedplenoptic cameras.1n Computer Vision and Pattern Recognition(CVPR)，2013IEEEConference on.1EEE,2013.[0030]步骤S6:利用重采样结果完成四维光场解码，得到四维光场的参数化表示。
[0031]上述基于白图像的传统预处理方法虽然能够取得较好的效果，但应用过程受白图像所限，当成像装置更换镜头或变焦后，都需要重新采集白图像做预处理，极大地影响了光场成像应用的灵活性。
[0032]图3为本发明提供的基于原始图像的四维光场解码预处理方法的流程图，本发明方法突破了传统预处理方法对于白图像的依赖，如图3所示，该方法包括以下步骤:
[0033]步骤SI，利用光场成像装置采集得到场景原始图像；
[0034]图4(a)为根据本发明一实施例采集到的原始图像的示意图；
[0035]步骤S2，对于所述原始图像进行标定，得到所述原始图像的中心坐标集gjx)；
[0036]图4(b)为图4(a)所示的原始图像的局部放大图，该步骤利用原始图像的微透镜图像边缘信息进行标定，即利用图4(b)中的微透镜图像(白色部分)间隙的黑色部分进行标定；
[0037]所述步骤S2中的标定操作采用本发明提出的基于原始图像的标定方法，如图7所示，所述步骤S2进一步包括以下步骤:
[0038]步骤S21，根据所述光场成像装置的传感器大小和微透镜阵列数目建立所述原始图像的微透镜阵列中心的初始坐标集g(X)，g(x) = (gv(x), gh(X)，l)T，其中X为微透镜的索引值，为I到N的整数，N为微透镜的个数，gv(x)、gh(x)分别为微透镜阵列中心的垂直和水平坐标值，并设定微透镜阵列中心坐标偏移量的水平分量初始值oh=0，垂直分量初始值ov=0,其中oh、ov的含义如图8所示，图8中,假设A点为预估计点，B点为真实中心点；
[0039]步骤S22，增强所述原始图像中的微透镜图像间隙的暗区域，即图4(b)中微透镜图像间隙的黑色(亮度值接近为零)区域I，以建立初始关键点集L ；
[0040]所述步骤S22中，建立初始关键点集L采用本发明提供的一种初始关键点集定位方法，如图9所示，所述步骤S22进一步包括以下步骤:
[0041]步骤S221，将所述原始图像(如图9(a)所示)经过反相处理后采用高斯滤波得到待标定图像(如图9(b)所示)；
[0042]步骤S222，经过所述反相和滤波处理后，所述原始图像中用于进行标定的黑色区域(如图4(b)所示)转变成了白色(亮度值接近最大)区域(如图9(c)所示)，对于所述待标定图像中的白色区域，采用求取局部极值的方法定位得到所述初始关键点集L(如图9 (d)所示)。
[0043]步骤S23，在所述初始关键点集L的范围内，利用所述微透镜阵列中心的初始坐标集g(x)的先验知识估计得到最近邻中心点集8?00 ;
[0044]步骤S24,计算所述最近邻中心点集gn(X)的有效掩模m(x)；
[0045]该步骤可采用现有技术中的RANSAC (RANdom SAmple Consensus)来计算所述最近邻中心点集的有效掩模m(x)，RANSAC算法可参考文献“Fischler，M.A.and Bolles，R.C.Random Sample Consensus:A Paradigm for Model Fitting with Applicationsto Image Analysis and Automated Cartography.Communications ofthe ACM,24(6):381-395，1981”，当然，也可以采用其他方法来计算，这里对于计算有效掩模的方法不作任何限制；
[0046]步骤S25，根据所述最近邻中心点集gn(x)及其有效掩模m(x)，在所述最近邻中心点集gn(x)中筛选出有效中心点集gm(x)，并利用有效中心点之间的邻域关系计算各微透镜中心点的水平和垂直步长值Sh和Sv，其中sh、sv的含义如图8所示，图8中，点C、D、E为上下、左右相邻微透镜中心点。
[0047]计算水平和垂直步长值Sh和Sv的公式为:
[0048]sh=average (| gm h(x+l) -gm.h(x) I)，
[0049]sv=average (| gm.v (x+1) _gm.v(x)),
[0050]其中，gm h(x)、gm v(x)为有效中心点集gjx)中某一点C的水平和垂直坐标分量，gm.h(x+l)、gm.v(x+l)分别为点C水平方向相邻点D的水平坐标分量和垂直方向相邻点E的垂直坐标分量；
[0051]步骤S26，利用转换矩阵t=t(sv，sh, ov, oh)和所述微透镜阵列中心的初始坐标集g (X)，根据公式gt=g.t计算得到预估计中心坐标集gt(X);
[0052]步骤S27，基于所述预估计中心坐标集gt(x)和最近邻中心点集gn(x)计算得到各微透镜中心点的水平和垂直偏移量Oh和ov，具体计算公式如下:
[0053]ov=average (gt v (x) -gn v (x)),
[0054]oh=average (gt h (x) -gn h (x)),
[0055]其中，gt.h(x)、gt.v(x)为预估计中心坐标集gt (X)的水平和垂直坐标分量，gn.h(x)、gn.v(x)为最近邻中心点集gn(x)的水平和垂直坐标分量。
[0056]步骤S28，基于所述步骤S25和步骤S27计算得到的步长值和偏移量，构建新的转换矩阵t=t(svsh, Ov, Oh),基于所述微透镜阵列中心的初始坐标集g(x),并根据公式gfg.t计算得到最终中心坐标集gjx)。
[0057]步骤S3，利用所述步骤S2获得的标定信息对所述原始图像进行重采样处理，获得子孔径图像阵列(Sub-aperture image)；
[0058]该步骤中的重采样方法可与图2所示的步骤S5采用的重采样方法一致，当然，也可以采用其他方法来进行重采样，这里对于重采样的方法不作任何限制。
[0059]步骤S4，对所述子孔径图像阵列中的边缘子孔径图像进行去渐晕处理，获得去渐晕后光照均匀的子孔径图像阵列，用于后续的四维光场解码；
[0060]图5(a)为具有渐晕效果的子孔径图像阵列示意图，从图中可以看出，其边缘图像受渐晕效应影响亮度低且分布不均，图5(b)为图5(a)的中心子孔径图像，光线分布均匀，图5(c)为图5(a)的边缘子孔径图像，光线分布不均且亮度低，图6为去渐晕后的子孔径图像阵列示意图，从图中可以看出，该图像阵列中的整体光线分布均匀；[0061]渐晕是由通过主镜头光圈的光线被微透镜光圈部分阻挡造成的，在图像上的体现就是，从原始图像重采样获取的不同方向尺度的子孔径图像中，从中间到边缘亮度逐渐减弱。子孔径图像包含两个分量，即光照分量和细节分量，其中光照分量反映该图像的光照信息，渐晕效应可在光照分量中体现，而细节分量是由图像场景细节决定，与光照无关，因此可以通过对子孔径图像这两个分量的处理来达到去渐晕的目的。如图10所示，所述步骤S4进一步包括以下步骤:
[0062]步骤S41，将所述子孔径图像阵列中的某一边缘子孔径图像A和所述子孔径图像阵列的中间子孔径图像B分别分离出光照分量Al和BI ；
[0063]该步骤中，可利用WLS滤波器(weighted least squares filter)来分离光照分量，其中，WLS 滤波器可参考文献“Z.Farbman, R.Fattal, D.Lischinski, and R.Szelisk1.Edgepreserving decompositions for mult1-scale tone and detail manipulation.1nACM Transactions on Graphics (TOG)，volume27，page67.ACM, 2008，，；
[0064]步骤S42，利用原始图像与所述步骤S41得到的光照分量Al和BI计算边缘子孔径图像A和中间子孔径图像B的细节分量A2和B2，计算公式如下:
[0065]A2=A-A1,
[0066]B2=B-B1 ；
[0067]步骤S43，利用所述光照分量Al和BI，获取边缘子孔径图像A经光照校准后的光照分量Al'；
[0068]该步骤中，可采用引导图像滤波器(guided image filter)来获取边缘子孔径图像A经光照校准后的光照分量Al'，其中，引导图像滤波器可参考文献“ K.He，J.Sun, andX.Tang.Guided image filtering.1n Computer Vision-ECCV2010, pagesl-14.Springer,2010”。引导图像滤波器中，边缘子孔径图像A的光照分量Al作为引导图像滤波器的输入，中间子孔径图像B的光照分量BI作为引导图像。
[0069]步骤S44，由所述步骤S43得到的边缘子孔径图像A经光照校准后的光照分量Al'和所述步骤S42得到的边缘子孔径图像A的细节分量A2合成得到最终的对于边缘子孔径图像A去渐晕的边缘子孔径图像图像A'，进而得到去渐晕后的子孔径图像阵列。
[0070]该步骤中，去渐晕的边缘子孔径图像A'的合成方法为:
[0071]A' =Al' +A2。
[0072]步骤S5，利用去渐晕后的子孔径图像阵列完成四维光场解码，得到四维光场的参数化表示，实现四维光场解码的预处理。
[0073]该步骤中，四维光场解码方法属于现有技术，在此不作赘述。
[0074]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种基于原始图像的四维光场解码预处理方法，其特征在于，该方法包括以下步骤: 步骤Si，利用光场成像装置采集得到场景原始图像； 步骤S2，对于所述原始图像进行标定，得到所述原始图像的中心坐标集gc(X)； 步骤S3，利用所述步骤S2获得的标定信息对所述原始图像进行重采样处理，获得子孔径图像阵列； 步骤S4，对所述子孔径图像阵列中的边缘子孔径图像进行去渐晕处理，获得去渐晕后的子孔径图像阵列； 步骤S5，利用去渐晕后的子孔径图像阵列完成四维光场解码，得到四维光场的参数化表不。
2.根据权利要求1所述的方法，其特征在于，所述步骤S2进一步包括以下步骤: 步骤S21，根据所述光场成像装置的传感器大小和微透镜阵列数目建立所述原始图像的微透镜阵列中心的初始坐标集800 400 = (^00&00，1)'其中^为微透镜的索引值，为I到N的整数，N为微透镜的个数，gv(x)、gh(x)分别为微透镜阵列中心的垂直和水平坐标值，并设定微透镜阵列中心坐标偏移量的水平分量初始值oh=0，垂直分量初始值Ov=O ；步骤S22，增强所述原始图像中的微透镜图像间隙的暗区域，以建立初始关键点集L ；步骤S23，在所述初始关键点集L的范围内，利用所述微透镜阵列中心的初始坐标集g(x)的先验知识估计得到最近邻中心点集8?00 ; 步骤S24,计算所述最近邻中心点集gn(X)的有效掩模m(x)； 步骤S25，根据所述最近邻中心点集gn(x)及其有效掩模m(x)，在所述最近邻中心点集gn(x)中筛选出有效中心点集gm(x)，并利用有效中心点之间的邻域关系计算各微透镜中心点的水平和垂直步长值sh和Sv ； 步骤S26,利用转换矩阵t=t(sv, sh, ov, oh)和所述微透镜阵列中心的初始坐标集g(x),根据公式gt=g.t计算得到预估计中心坐标集gt(x)； 步骤S27，基于所述预估计中心坐标集gt(x)和最近邻中心点集gn(x)计算得到各微透镜中心点的水平和垂直偏移量oh和Ov ； 步骤S28，基于所述步骤S25和步骤S27计算得到的步长值和偏移量，构建新的转换矩阵t=t(sv, sh, ov, oh),基于所述微透镜阵列中心的初始坐标集g(x),并根据公式gfg.t计算得到最终中心坐标集gjx)。
3.根据权利要求2所述的方法，其特征在于，所述步骤S22进一步包括以下步骤: 步骤S221，将所述原始图像经过反相处理和高斯滤波后得到待标定图像； 步骤S222，对于所述待标定图像中亮度值接近最大的区域，采用求取局部极值的方法定位得到所述初始关键点集L。
4.根据权利要求2所述的方法，其特征在于，所述步骤S25中，利用下式来计算所述水平和垂直步长值Sh和Sv:
sh=average (| gm.h (x+1) _gm.h(x)),
sv=average (| gm.v (x+1) _gm.v(x)),其中，gm.h(x)、gm.v(x)为有效中心点集g?>(X)中某一点C的水平和垂直坐标分量，gm.h(x+l)、gm.v(x+l)分别为点C水平方向相邻点D的水平坐标分量和垂直方向相邻点E的垂直坐标分量。
5.根据权利要求2所述的方法，其特征在于，所述步骤S27中，利用下式来计算各微透镜中心点的水平和垂直偏移量Oh和Ov:
ov=average (gt.v (x) -gn.v (x)),
oh=average (gt h (x) _gn.h (x)), 其中，gt.h(x)、gt.v(x)为预估计中心坐标集gt (X)的水平和垂直坐标分量，gn.h(x)、gn.v(x)为最近邻中心点集gn(x)的水平和垂直坐标分量。
6.根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤: 步骤S41，将所述子孔径图像阵列中的某一边缘子孔径图像A和所述子孔径图像阵列的中间子孔径图像B分别分离出光照分量Al和BI ； 步骤S42，利用原始图像与所述步骤S41得到的光照分量Al和BI计算边缘子孔径图像A和中间子孔径图像B的细节分量A2和B2 ； 步骤S43，利用所述光照分量Al和BI，获取边缘子孔径图像A经光照校准后的光照分量 Al'； 步骤S44，由所述步骤S43得到的边缘子孔径图像A经光照校准后的光照分量Al'和所述步骤S42得到的边缘子孔径图像A的细节分量A2合成得到对于边缘子孔径图像A去渐晕的边缘子孔径图像图像A'，进而得到去渐晕后的子孔径图像阵列。
7.根据权利要求6所述的方法，其特征在于，所述步骤S42中，利用下式来计算细节分量A2和B2:
A2=A-A1,
B2=B-B1。
8.根据权利要求6所述的方法，其特征在于，所述步骤S43中，采用引导图像滤波器来获取边缘子孔径图像A经光照校准后的光照分量Al'，其中，边缘子孔径图像A的光照分量Al作为引导图像滤波器的输入，中间子孔径图像B的光照分量BI作为引导图像。
9.根据权利要求6所述的方法，其特征在于，所述步骤S44中，采用下式来合成去渐晕的边缘子孔径图像A': K' =Al1 +A2。
【文档编号】H04N5/232GK103841327SQ201410067394
【公开日】2014年6月4日 申请日期:2014年2月26日 优先权日:2014年2月26日
【发明者】谭铁牛, 孙哲南, 侯广琦, 张驰, 秦娅楠 申请人:中国科学院自动化研究所