一种基于自适应非局部平滑的3D场景流估计方法与流程

技术特征：

1.一种基于自适应非局部平滑的3D场景流估计方法，其特征在于，包括以下步骤：

S1根据双目摄像机获取的立体图像序列之间的对应关系，将局部约束方法与全局平滑相结合，并引入自适应非局部平滑，构建场景流能量泛函：

$E(u,v,w,u^{\′},v^{\′},w^{\′})={\∫}_{\mathrm{\Ω}}\[\underset{region}{\Σ}\mathrm{\ω}C+{\mathrm{\λS}}_{TV}+{\mathrm{\λ}}_2{S}_{DU}+{\mathrm{\λ}}_3{S}_{MF}\]dx,$

S2参考Lucas模型，设计局部邻域约束的场景流数据项：

$\underset{region}{\Σ}\mathrm{\ω}C=\underset{region}{\Σ}({\mathrm{\ω}}_{ml}{C}_{ml}+{\mathrm{\ω}}_{mr}{C}_{mr}+{\mathrm{\ω}}_{st}{C}_{st}+{\mathrm{\ω}}_{{\mathrm{st}}^{\′}}{C}_{{\mathrm{st}}^{\′}}),$

其中，region为像素点的邻域范围，ω为像素点在计算流场时的权重系数，像素点离中心越近，权重系数ω越大。由于数据项的邻域约束是相同像素点在时刻t和时刻t+1的左右图像对的邻域之和，可以有效地低噪声带来的估计误差，数据项满足亮度不变性假设，并引入鲁棒性惩罚函数ψ(s²)去除集外点的影响；

S3平滑项采用鲁棒函数ψ(s²)，构造近似于L1范数的全变分平滑：

$S_{TV}=\mathrm{\ψ}\left(\right|\▿u{|}^2+|\▿v{|}^2+|\▿w{|}^2),$

在原有全变分平滑项S_TV的基础上，引入自适应非局部平滑S_MF，通过计算速度邻域内所有相似点欧式距离的平均值，在迭代的每一层对流场进行自适应平滑处理，消除图像噪声，环境噪声，通过滤波的方式将有效的运动信息投射给低纹理等无法获取有效运动信息的区域：

$S_{MF}=\underset{i,j}{\Σ}\underset{i^{\′},j^{\′}}{\Σ}{\mathrm{\η}}_{i,j,i^{\′},j^{\′}}\left(\right|{u^{\′}}_{i,j}-{u^{\′}}_{i^{\′},j^{\′}}|+|{v^{\′}}_{i,j}-{v^{\′}}_{i^{\′},j^{\′}}|+|{w^{\′}}_{i,j}-{w^{\′}}_{i^{\′},j^{\′}}\left|\right);$

其中，η_i,j,i',j'为自适应权重因子，它代表了像素点(i',j')与(i,j)处的流场的相似程度；

在每一次迭代中平滑场景流，引入辅助变量(u',v',w')，在迭代计算中通过去耦合加速模型的计算，辅助平滑项定义如下：

S_DU＝(||u-u'||²+||v-v'||²+||w-w'||²)；

S4使用去对偶的方式求解能量泛函，将能量泛函分解成相互对偶的两个方程：

$E(u,v,w)={\∫}_{\mathrm{\Ω}}\left(\underset{region}{\Σ}\mathrm{\ω}C+{\mathrm{\λS}}_{TV}+{\mathrm{\λ}}_2{S}_{DU}\right)dx$

E(u',v',w')＝∫_Ω(λ₂S_DU+λ₃S_MF)dx

采用交替迭代求全局最优解的方式，分别求得3D场景流和辅助流场。

2.根据权利要求1所述的一种基于自适应非局部平滑的3D场景流估计方法，其特征在于，步骤S3包括：

S_MF中自适应权重因子定义如下：

${\mathrm{\η}}_{i,j,i^{\′},j^{\′}}=\exp \left\{-\frac{|i-i^{\′}{|}^2+|j-j^{\′}{|}^2}{2{{\mathrm{\α}}_2}^2}-\frac{|I\left(i,j\right)-I\left(i^{\′},j^{\′}\right){|}^2}{2{{\mathrm{\α}}_2}^2}\right\}\frac{o\left(i^{\′},j^{\′}\right)}{o\left(i,j\right)};$

I(i,j)为(i,j)处的亮度值，α₁＝α₂＝7，o(i,j)为遮挡函数，使用以下等式进行计算：

$o(i,j)=\exp (-\frac{d^2(i,j)}{2{{\mathrm{\α}}_d}^2}-\frac{{\left(I\right(i,j)-I(i+u_{i,j},j+v_{i,j}\left)\right)}^2)}{2{{\mathrm{\α}}_e}^2}),$

等式中α_d＝0.3,α_e＝20,d(i,j)是散度公式，定义为：

$d(i,j)=\left\{\begin{array}{cc}div(i,j)& div(i,j)\<0\\ 0& otherwise\end{array}\right..$

3.根据权利要求1所述的一种基于自适应非局部平滑的3D场景流估计方法，其特征在于，步骤S4包括：

S4.1.方程E(u,v,w)满足TV-L1-Duality形式，将方程进一步分解为两个部分交替迭代：

1)固定辅助变量(u',v',w')，得到：

$\underset{u,v,w}{min}{\∫}_{\mathrm{\Ω}}\left\{{\mathrm{\λS}}_{TV}+{\mathrm{\λ}}_2{S}_{DU}\right\}dx$

使用全变分去噪ROF模型求解；

2)将(u,v,w)固定，求解方程：

$\underset{u^{\′},v^{\′},w^{\′}}{min}{\∫}_{\mathrm{\Ω}}\left\{{\mathrm{\λ}}_2{S}_{DU}+\underset{region}{\Σ}\mathrm{\Σ}\mathrm{\ω}C\right\}dx;$

令并将数据项简写作ρ(w)，即：

$\mathrm{\ρ}\left(w\right)=\underset{region}{\Σ}\mathrm{\ω}C;$

采用将N维优化问题转化为1维逐点阈值求解的方案处理，

$w^{\′}=w+\left\{\begin{array}{ccc}\mathrm{\θ}\▿I_1& if& \frac{1}{4}\mathrm{\ρ}\left(w\right)\<-\mathrm{\θ}|\▿I_1{|}^2\\ -\mathrm{\θ}\▿I_1& if& \frac{1}{4}\mathrm{\ρ}\left(w\right)\>\mathrm{\θ}|\▿I_1{|}^2\\ -\frac{1}{4}\mathrm{\ρ}\left(w\right)\▿I_1/|\▿I_1{|}^2& if& \left|\frac{1}{4}\mathrm{\ρ}\left(w\right)\right|\≤\mathrm{\θ}|\▿I_1{|}^2\end{array}\right.;$

S4.2求解E(u',v',w')使用收缩算子的优化方案，迭代方式如下：

以u'为例，选择5x5的矩形区域N_i,j，固定(u,v,w):

u'^(k+1)＝median(Heighbors^(k)∪Data)_i,j；

u'^(k+1)的初始值取上一步的结果，即：

u'⁰＝u；

Heighbors^(k)为u'的邻域集合：

Heighbors^(k)＝{u'^(k)_i',j'}，(i',j')∈N_i,j；

Data通过以下的形式表示，

$Data=\left\{u_{i,j},u_{i,j}\±\frac{{\mathrm{\λ}}_3}{{\mathrm{\λ}}_2},u_{i,j}\±\frac{2{\mathrm{\λ}}_3}{{\mathrm{\λ}}_2}\mathrm{...},u_{i,j}\±\frac{\left|N_{i,j}\right|{\mathrm{\λ}}_3}{2{\mathrm{\λ}}_2}\right\};$

v'，w'具有相同的求解方式。