一种基于4d光场的深度估计方法
【技术领域】
[0001] 本发明属于多媒体技术与计算机图形学的技术领域，具体地设及一种基于4D光 场的深度估计方法。
【背景技术】
[0002] 光场的概念最早出现在计算机图形学中，Gershun在其经典文章维空间光的 无线电特性"里正式使用"光场"该个术语，用W描述光在=维空间中的福射传输特性。 E.八(1613〇]1和J.Bergen根据人眼对外部光线的视觉感知，在1991 年提出用^;：维函数来表征 空间分布的几何光线，称为全光函数。全光函数？知，7,2, 0，iKA，t) 中^;：个变量的含义 分别是；(X，y，z)为场景中任一物理点的S维坐标，（0，ilO为光线的传输方向，A是光线 的波长，t为时间。如果只考虑光线在空间中的自由传输，它的颜色（波长）一般不会发生 改变，美国北卡罗来纳大学的麦克米兰（McMillan)不考虑全光函数的波长和时间维，将走 维全光函数降到五维函数I(X，y，Z，0，1]〇来描述。随后，Levoy和Hanr址am等人忽略光 线在传输过程中的衰减将五维的全光函数（光场）降至四维，提出了四维光场的概念。
[0003] Leovy等人给出的4D光场L(u，V，S，t)其实就是自由空间中任意点沿着一定方向 的光线的福射度值，该空间所有的有向光线的集合就构成了光场的一个数据集。4D光场的 参数化有2SP参数法、PDP参数法和2PP参数法。
[0004] 普通相机所拍摄的二维图像是4D光场的一个二维切片，它记录了投影到当前像 素位置的物理点所发射光线的强度及方向信息，因此物理点的位置信息可W基于4D光场 估计得到。
[0005] 已有的基于光场估计深度信息的方法通常将深度分为多个等级，对每个像素点估 计能量优化函数值，与最小能量值对应的深度等级作为估计像素的深度值，该种方法求得 的深度值是预先设定的等级数值之一，因此会造成深度过平滑问题。
【发明内容】
[0006] 本发明的技术解决问题是；克服现有技术的不足，提供一种基于4D光场的深度估 计方法，其能够解决初始深度值的可靠性问题、深度过平滑问题、深度值融合问题。
[0007] 本发明的技术解决方案是；该种基于4D光场的深度估计方法，包括W下步骤：
[000引 （1)初始深度估计：通过公式（3)、（4)计算得到视差的初值d。：
[0009] d〇=Jxx-J打做
[0010]
(4)
[0011] 其中G。是尺度为0的高斯平滑算子，I,、ly为是尺度为P的梯度算子；
[0012] (2)检测可计算像素：
[0013] 边缘置信系数C。通过公式（5)获得：
[0014]Ce(x，y，S，t)=Ew，s,t)ew(x,y,s,t)I|L(x，y，S，t)-L(X'，y'，s，t)I|2 妨
[001引其中W(x，y，s，t)表示（s，t)视点下获得图像的某个像素点在该图像上的9X9 邻域窗口，L(X，y，S，t)表示该像素点对应的光线福射值，由C。值对该像素点计算得到一个 二值模板M。，C。值大于阔值0. 04时模板M。对应位置取值1，否则取值0,其中值为1表示对 应置信像素能够进行深度估计运算；
[0016] (3)深度值计算；选取(《,0视点下获得图像的置信点进行深度计算
[0017] 光线颜色值采样集合定义为公式化）
[001引
[0019] 其中含、t为视点坐标，n、m分别对应水平和垂直方向视点的个数，L〇，；y,《，貧 表示在视点下像素点对应的光线福射值，式td)为公式（7)的深度打分函数
[0020]
(7)
[0021] 其中核函数K(W)为公式巧）
[0022]
(8)
[002引其中r=L0:,y, .§J)i的计算根据公式巧），核函数带宽为0. 02是利用 mean-shift算法迭代计算得到的
[0024]
(9)
[0025] 针对视点（《,〇卞的图像上每个可信像素，将该像素所在水平方向EPI面上9X9 邻域窗口和垂直方向EPI面上9X9邻域窗口所有置信像素的视差上下限作为视差区间，对 区间内按步长为0. 01的每个视差d都计算相应打分函数值，其中根据公式（10)使得打分 函数值最高的d值作为该像素的深度估计值：
[0026] D(x,y,s,i) -argmax^；S(x,y,s,i,d) (10 )
[0027] 对每个可信像素计算其与邻域WO,y,含,0中其它可信像素的颜色值差，将颜色 差值小于指定阔值e的可信像素深度值排序，根据公式（11)取该序列的中值作为深度估 计值：
[002引
[0029] (4)深度值传播：
[0030] 根据公式（12)得到深度可信评分系数Cd
[0033] 深度可信评分系数大于阔值的深度值定义为置信深度，将置信深度传 播给公式做集合R中的其他置信像素，对于集合中被传播的置信像素点，判断 -L〇',y',女〇|| < ￡,是否成立，对满足判断条件的置信像素点赋W当前传 播的置信深度值；
[0034] 妨深度值扩散：
[0035] 对于未获得置信深度值的像素，捜索其所在扫描线上与该像素相邻最近的可靠深 度值作为上下限；
[0036] 做判断图像分辨率是否小于10X10,是则执行步骤巧），否则执行步骤（7);
[0037] (7)下采样原图像，并用标准差为0.5、5X5大小的高斯滤波做平滑处理避免失 真，跳转至步骤（2);
[00測 做赋予公式（11)计算的深度值，结束。
[0039] 本发明对边缘像素计算视差作为深度估计初始值，利用2PP参数化4D光场的独特 数据结构特性通过水平、垂直两个EPI面对初始深度值进行求精计算，对确定的深度值进 行扩散进而求得所有像素点的深度值，从而能够解决初始深度值的可靠性问题、深度过平 滑问题、深度值融合问题。
【附图说明】
[0040] 图1是4D光场（2PP参数化形式）的示意图。
[0041] 图2a示出了用于水平的光场图像集；图化示出了水平3D光场；图2c示出了水平 EPI。
[0042] 图3a示出了用于垂直的光场图像集；图3b示出了垂直3D光场；图3c示出了垂直 EPI。
[0043] 图4是根据本发明的基于4D光场的深度估计方法的流程图。
【具体实施方式】
[0044] 如图4所示，该种基于4D光场的深度估计方法，包括W下步骤：
[0045] (1)初始深度估计：通过公式（3)、（4)计算得到视差的初值d。：
[0046] d〇=Jxx-Jyy做
[0047]
(4)
[0048] 其中G。是尺度为0的高斯平滑算子，I,、ly为是尺度为P的梯度算子；
[0049] (2)检测可计算像素：
[0050] 边缘置信系数C。通过公式（5)获得：
[0051]Ce(x，y，S，t)=Ew，s,t)ew(x,y,s,t)I|L(x，y，S，t)-L(X'，y'，s，t)I|2妨
[005引其中W(x，y，s，t)表示（s，t)视点下获得图像的某个像素点在该图像上的9X9 邻域窗口，L(X，y，S，t)表示该像素点对应的光线福射值，由C。值对该像素点计算得到一个 二值模板M。，C。值大于阔值0. 04时模板M。对应位置取值1，否则取值0,其中值为1表示对 应置信像素能够进行深度估计运算；
[0化3] (3)深度值计算；选取口，0视点下获得图像的置信点进行深度计算光线颜色值 采样集合定义为公式化）
[0054]
[005引其中￡为视点坐标，n、m分别对应水平和垂直方向视点的个数，L(X, 表示在技0视点下像素点对应的光线福射值，式^的为公式（7)的深度打分函数
[0化6]
[0057] 其中核函数K(W)为公式巧）
[005引
[0化9] 其中f=L(Xy,式〇|的计算根据公式巧），核函数带宽为0.02是利用mean-shift算法迭代计算得到的
[0060]
(9)
[0061] 针对视点下的图像上每个可信像素，将该像素所在水平方向EPI面上9X9 邻域窗口和垂直方向EPI面上9X9邻域窗口所有置信像素的视差上下限作为视差区间，对 区间内按步长为0. 01的每个视差d都计算相应打分函数值，其中根据公式（10)使得打分 函数值最高的d值作为该像素的深度估计值：
[0062]
(10)
[006引对每个可信像素计算其与邻域WO,.y, 0中其它可信像素的颜色值差，将颜色 差值小于指定阔值e的可信像素深度值排序，根据公式（11)取该序列的中值作为深度估 计值：
[0064]
[0065] (4)深度值传播：
[0066] 根据公式（12)得到深度可信评分系数Cd
[00例深度可信评分系数大于阔值的深度值定义为置信深度，将置信深度传 播给公式做集合R中的其他置信像素，对于集合中被传播的置信像素点，判断 |L0,y,含,0 _L0'，y含,。|| < ￡是否成立，对满足判断条件的置信像素点赋W当前传 播的置信深度值；
[0070] 妨深度值扩散：
[0071] 对于未获得置信深度值的像素，捜索其所在扫描线上与该像素相邻最近的可靠深 度值作为上下限；
[007引 做判断图像分辨率是否小于10X10,是则执行步骤巧），否则执行步骤（7);
[0073] (7)下采样原图像，并用标准差为0.5、5X5大小的高斯滤波做平滑处理避免失 真，跳转至步骤（2);
[0074] 做赋予公式（11)计算的深度值，结束。
[0075] 本发明对边缘像素计算视差作为深度估计初始值，利用2PP参数化4D光场的独特 数据结构特性通过水平、垂直两个EPI面对初始深度值进行求精计算，对确定的深度值进 行扩散进而求得所有像素点的深度值，从而能够解决初始深度值的可靠性问题、深度过平 滑问题、深度值融合问题。
[0076] 优选地，所述步骤做中迭代数次为5次。
[0077] 优选地，所述步骤（3)中阔值e= 0. 1。
[007引 W下具体说明本发明：
[0079] 光场记录空间中一个点在各个方向上的光线福射度，是一个五维函数 /批，37，&0,與），其中知7,2)描述