基于捆绑约束的分级优化立体匹配方法与流程

技术特征：

1.一种基于捆绑约束的分级优化立体匹配方法，其特征是，(1)首先通过ASW局部立体算法得到初始视差图；(2)结合图像一致性约束和几何连续性约束对视差图进行优化，以实现对图像噪声和遮挡区域边界更好的处理；(3)利用图像分割的方法获取需要局部优化的图像和视差图信息；(4)通过二次表面差值的方法对局部视差进行优化得到最终的视差图。

2.如权利要求1所述的基于捆绑约束的分级优化立体匹配方法，其特征是，(1)通过ASW局部立体算法得到初始视差图具体步骤是，给定一对校正的立体图像I_r表示右视点视图、I_l表示左视点视图，首先使用自适应支持权值算法获得初始视差图，自适应支持权值算法为当前窗口内的每个像素赋予权值，权值大小取决于目标像素与窗口中心像素的空间距离和CIElab颜色空间中的颜色距离相关，其中CIElab颜色空间是一种区别于RGB的颜色空间，它是一种与设备无关的基于生理特征的颜色系统，能够用数字化的方法来描述人的视觉感应，像素的原始匹配代价可以通过截断绝对误差(TAD)进行计算，对应点p'_c(i,j-d+d')的代价和为窗口所有像素的加权代价和对权值的总和进行归一化计算，其中i、j为像素的坐标值，d、d’为图像的视差偏移计算公式如下：

$E(p_c,q_c)=\frac{{\mathrm{\Σ}}_{p_i\∈W_l,q_i\∈W_r}{\mathrm{\ω}}_l(p_i,p_c)\·{\mathrm{\ω}}_r(q_i,q_c)\·e_0(p_i,q_i)}{{\mathrm{\Σ}}_{p_i\∈W_l,q_i\∈W_r}{\mathrm{\ω}}_l(p_i,p_c)\·{\mathrm{\ω}}_r(q_i,q_c)}---\left(1\right)$

$e_0(p_i,q_i)=\min \left(\right(\underset{v\∈\{r,g,b\}}{\Σ}|I_v\left(p_i\right)-I_v\left(q_i\right)|),T)---\left(2\right)$

${\mathrm{\ω}}_l(p_i,p_c)=\exp (-\frac{d_s(p_i,p_c)}{{\mathrm{\γ}}_a}-\frac{d_c\left(I_v\right(p_i),I_v(p_c\left)\right)}{{\mathrm{\γ}}_b})---\left(3\right)$

其中E(p_c,q_c)是对应(p_c,q_c)的总代价，p_c,q_c分别为左右视图的对应像素，W_l,W_r分别为以p_c,q_c为中心的支持窗口，p_i,q_i分别为落在W_l,W_r中的像素，ω_l(p_i,p_c)和ω_r(q_i,q_c)分别为p_i,q_i的加权系数，e₀(p_i,q_i)为p_i,q_i的初始匹配代价，在(2)中{r,g,b}为RGB颜色空间的颜色分量，I_v表示c的颜色强度，T决定初始匹配代价的上限值，在(3)中d_c(I_v(p_i),I_v(p_c))表示左视图中像素p_i,p_c在CIE颜色空间中的颜色距离，d_s(p_i,p_c)表示像素p_i,p_c之间的空间距离，常数γ_a,γ_b为该算法的两个人为设定的参数；

计算代价聚合之后，使用WTA(Winner-Take-All)方法为像素分配匹配代价最小的视差：

$d_p=\arg \underset{d\∈S_d}{min}E(p_c,q_c)---\left(4\right)$

其中d表示像素p_c,q_c对应的视差候选，S_d＝d_min,...,d_max为所有可能的视差值的集合；采用如下衡量视差可信度的方法，以准确的找到初始视差图中错误视差的分布情况：立体匹配中关于视差可信度定义为：初始视差图中越接近真实视差的像素，其可信度越高，于是可以通过构建像素p的最小匹配代价和仅高于最小匹配代价的代价值之间的关系，定义可信度的计算方法：

$R\left(d\right)=\left\{\begin{array}{cc}1-\frac{E_p^{1st}}{E_p^{2nd}}& E_p^{2nd}\>T_c\\ 0& otherwise\end{array}\right.---\left(5\right)$

其中分别为像素p的最佳(即最小)和仅次于最佳的匹配代价值，T_c是为了防止除数为零而设定的较小阈值，R(d)为可信度，能够用来构建低信噪比模糊匹配模型。

3.如权利要求1所述的基于捆绑约束的分级优化立体匹配方法，其特征是，(2)基于同时考虑图像一致性和几何连续性约束的捆绑约束的视差优化方法具体步骤如下：

首先，选取左图像I_l上一点p_c，根据几何外极线约束，右图像I_r上相匹配的q_c点应当位于与之对应的外极线上，同样右图像上的q_c在左图像上的对应点p_c'根据外极线约束也应该在相对应的外极线上，这里定义以左图像为参考图像时，右图像I_r上对应p_c(i,j)点视差为d的点为q_c(i,j-d)；以右图像为参考图像时，左图像I_l上对应q_c(i,j-d)点视差为d‘的点为p'_c(i,j-d+d')；

定义一个新的代价聚合函数(6)

$E^{\′}(p_c,q_c)=\frac{{\mathrm{\Σ}}_{p_i\∈W_l,q_i\∈W_r}{\mathrm{\ω}}_l(p_i,p_c)\·{\mathrm{\ω}}_r(q_i,q_c)\·e(p_i,q_i)}{{\mathrm{\Σ}}_{p_i\∈W_l,q_c\∈W_r}{\mathrm{\ω}}_l(p_i,p_c)\·{\mathrm{\ω}}_r(q_i,q_c)}---\left(6\right)$

e(p_i,q_i)＝e₀(p_i,q_i)+(d-d')² (7)

其中E'(p_c,q_c)为改进后的聚合匹配代价，e(p_i,q_i)为改进后的初始匹配代价，公式中其他变量含义同上。

4.如权利要求1所述的基于捆绑约束的分级优化立体匹配方法，其特征是，(3)图像分割步骤是，假设图像分割之后的每个区域的视差变化是平滑的，而且深度不连续只发生在分割后的区域边界，使用均值漂移图像分割算法对参考图像进行分割，假设支持窗口内所有与中心像素位于同一块分割区域的像素具有近似相同的视差值，因此，为这些点赋予范围内最大的权值，改进的加权函数如下：

${\mathrm{\ω}}_l(p_i,p_c)=\left\{\begin{array}{cc}\exp (-\frac{d_s(p_i,p_c)}{{\mathrm{\γ}}_a}-\frac{d_c\left(I_v\right(p_i),I_v(p_c\left)\right)}{{\mathrm{\γ}}_b})& p_i\∈S_c\\ 0& otherwise\end{array}\right.---\left(8\right)$

这里通过使用图像分割算法获得大量的分割区域，其中S_c为p_c所在区域，区域S_c外的所有像素都对p_c的代价计算没有影响。

5.如权利要求1所述的基于捆绑约束的分级优化立体匹配方法，其特征是，(4)基于图像分割的表面插值具体步骤是，在完成了对像素的立体匹配之后，通过可信度图看出在弱纹理区域仍然存在以下视差估计错误的像素，可信度值低于阈值的区域，接下来基于图像分割和视差图分割的结果，使用二次表面插值法在图像的等级对这些错误像素进行修正：

假设：在三维视差空间内各个表面的视差变化是平滑的，因此正确的匹配结果能够形成平滑的表面，而错误的会形成参差结构。基于这个假设的算法步骤是：

首先使用图像分割选出左视图中较大面积的弱纹理区域，根据可信度图，这些区域中既有可信度高的正确匹配的像素，也有不可信的错误像素，根据正确的像素的视差空间重建三维表面，然后使用表面插值算法重新估计错误像素的视差，

为了确保三维表面是光滑且连续的，使用一个二元三次方程来表示这个表面，公式如下：

d(x,y)＝a1+a2·x+a3·y+a4·x²+a5·xy

+a6·y²+a7·x³+a8·x²y+a9·xy²+a10·y³ (9)

其中d(x,y)表示一个三维曲面，a1,…,a10为系数，x，y为坐标。