基于结构决策图的鲁棒多模型拟合方法与流程

本发明涉及鲁棒多模型拟合，特别是涉及一种基于结构决策图的鲁棒多模型拟合方法。

背景技术：

在三维平面重建和运动分割等一系列计算机视觉应用中，来自多模型分布的观察数据通常包含大量的离群点。如何从这些包含离群点的数据中提取多结构信息是这些应用所面临的的一个主要挑战。包含离群点的鲁棒多模型拟合的任务包括：1)准确地估计数据中存在的结构数量；2)精确地恢复这些结构对应的模型参数。

在计算机视觉领域，大量的鲁棒多模型拟合算法已经被提出用来处理包含离群点的数据。在这些提出的算法中，一些算法通过使用数据点的倾向集(preference set)来优化一个拟合准则以实现拟合和分割数据中多结构的任务。例如，J-Linkage算法(R.Toldo,A.Fusiello.Robust multiple structures estimation with J-Linkage.European Conference on Computer Vision,2008)被提出用来同时估计结构的数量及其对应的模型参数。但是该算法要求用户指定一个内点尺度参数来区分内点和异常点，而这个内点尺度参数通常需要手动设置。核拟合(kernel fitting)算法(T.-J.Chin,H.Wang,D.Suter.Robust fitting of multiple structures:The statistical learning approach.IEEE International Conference on Computer Vision,2009)基于来自同一结构的数据点在再生核希尔伯特空间收敛于同一位置的假设实现模型拟合。该算法能在有效地移除数据中存在的大量离群点的同时找到数据中存在的多个结构。另外一些算法通过分析模型假设的一致性集(consensus set)来找到能很好地描述数据中有代表性的模型假设。比如，AKSWH算法(H.Wang,T.-J.Chin,D.Suter.Simultaneously fitting and segmenting multiple-structure data with outliers.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012)同时估计数据中结构的数量以及每个结构的尺度和参数。RCG算法(H.Liu,S.Yan.Efficient structure detection via random consensus graph.IEEE Conference on Computer Vision and Pattern Recognition,2012)从超图的观点提出了一个快速而鲁棒的多模型拟合算法。

AKSWH和核拟合使用“过滤和聚类”的策略在鲁棒多模型拟合上显示出很好的性能。具体来说，这两类算法首先对所有的模型假设或数据点根据它们的重要性赋予一个权重分数，然后基于一个过滤步骤去除那些不重要的假设或数据点(即实现去除离群点的目的)，最后用一个聚类算法来对剩下的模型假设或数据点聚类，来获得多个结构的分割。但是，一个可能的问题就是当数据中结构不平衡时，过滤步骤可能会去除一些包含少量内点的较小结构。

技术实现要素：

本发明的目的在于提供一种基于结构决策图的鲁棒多模型拟合方法。

本发明包括以下步骤：

A.对输入样本数据随机采样产生大量的假设；

B.基于核密度估计和内点尺度对产生的每个假设计算权重分数；

C.根据权重分数的大小，对所有的假设进行排序；

D.基于连续一致性集和皮尔逊积矩相关系数对排序后的每个假设分别计算最短抵达距离；

E.根据权重分数和最短抵达距离构建结构决策图；

F.在结构决策图上确定所有结构对应的结构原型并计算结构数量；

G.根据结构原型进行内点和异常点的划分，输出每个结构对应的模型参数，完成基于结构决策图的鲁棒多模型拟合。

在步骤A中，所述对输入样本数据随机采样产生大量的假设的具体方法可为：

A1.给定输入样本数据D＝{d₁,d₂,....,d_N}，其中d_i表示第i个样本数据；N为样本数目且N为自然数；

A2.对输入数据随机抽取p个数据点形成一个模型假设(例如，拟合一条直线，需要抽取两个数据点，即p＝2；拟合一个圆，需要抽取三个数据点，即p＝3；拟合一个平面，需要抽取三个数据点，即p＝3；拟合一个运动目标，需要抽取八个数据点，即p＝8)；

A3.计算所有数据点到这个模型假设的距离，构成残差向量其中为对应于第j假设的第i个残差值；

在步骤B中，所述基于核密度估计和内点尺度对产生的每个假设计算权重分数的具体方法可为：

B1.计算每个假设H_j(j＝1,...,M)的内点尺度估计ν_j，计算公式为：

$v_j=\frac{\left|r_K^j\right|}{{\mathrm{\θ}}^{-1}\left(\frac{1}{2}\right(1+\frac{K}{N^j}\left)\right)},$

其中为对应于第j个结构的第K个最小的绝对值残差；θ^-1(·)为累积密度函数；N^j为对应于第j个假设的内点数目；K为常数，通常设置为所有数据点数目的10％，即假定数据中最小结构的内点数量为所有数据的10％；

B2.计算每个假设H_j(j＝1,...,M)的核密度函数f(γ；H_j)，计算公式为：

$f(\mathrm{\γ};H_j)=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{h_j}K\left(\frac{\mathrm{\γ}-r_j^i}{h_j}\right),$

其中K为Epanechnikov核函数，即且贝塔函数Γ(·)是高斯函数且满足Γ(n)＝(n-1)！；h_j为基于核函数和内点噪声尺度估计ν_j得到的可变带宽，其计算公式为：

$h_j={\[\frac{243{\∫}_{-1}^{1}K{\left(x\right)}^{2}dx}{35N{\∫}_{-1}^1{x}^{2}K\left(x\right)dx}\]}^{1/5}{v}_j;$

B3.计算核密度函数f(γ；H_j)在原点处的值f(0；H_j)；

B4.计算每个假设H_j(j＝1,...,M)的权重分数，计算公式为：

${\mathrm{\Ψ}}_j=\frac{f(0;H_j)}{v_j}.$

在步骤D中，所述基于连续一致性集和皮尔逊积矩相关系数对排序后的每个假设计算最短抵达距离的具体方法可为：

D1.根据步骤A中得到的每个假设H_j(j＝1,...,M)的残差向量得到每个假设对应的连续一致性集，计算公式为：

$\mathrm{\Δ}\left(H_j\right)=\left(\mathrm{\δ}\right(r_j^1),\mathrm{\δ}(r_j^2),...,\mathrm{\δ}(r_j^N\left)\right),$

其中，当时，否则E₀为一常数阈值，通常设置为2.5(即假设数据服从高斯分布时，当E₀＝2.5时，大约98％的数据点被认为是内点)；

D2.利用皮尔逊积矩相关系数计算任意两个假设(假定为H_j和H_k)之间的相似性，计算公式为：

$\mathrm{\Φ}(H_j,H_k)=\frac{\mathrm{cov}\left(\mathrm{\Δ}\right(H_j),\mathrm{\Δ}(H_k\left)\right)}{{\mathrm{\σ}}_{\mathrm{\Δ}\left(H_j\right)}{\mathrm{\σ}}_{\mathrm{\Δ}\left(H_k\right)}},$

其中，协方差cov(Δ(H_j),Δ(H_k))＝E(Δ(H_j)-μ)E(Δ(H_k)-μ)，μ为所有假设对应的连续一致性集的均值。E(.)是期望操作符；

D3.对于权重分数最高的假设其最小抵达距离MinAD的计算公式如下：

${\mathrm{\θ}}_{{\mathrm{\λ}}_1}=\underset{1\≤j,k\≤M}{min}\mathrm{\Φ}(H_j,H_k);$

D4.对于其他的假设其最小抵达距离MinAD定义为当前的随机假设到任何其他比当前的假设具有更高的权重分数的随机假设的最短的距离，计算公式如下：

${\mathrm{\θ}}_{{\mathrm{\λ}}_j}=\underset{k:{\mathrm{\ψ}}_{{\mathrm{\λ}}_j}\<{\mathrm{\ψ}}_k}{min}(H_{{\mathrm{\λ}}_j},H_k);$

在步骤E中，所述构建结构决策图的方式可为：将所有假设的最短抵达距离MinAD按照从小到大的递增顺序排序，作为纵轴(Y轴)，而对应的权重分数作为横轴(X轴)，从而构成一个结构决策图。

在步骤F中，所述在结构决策图上确定所有结构对应的结构原型并计算结构数量的具体方法包括以下步骤：

F1.计算相邻两个假设点的最短抵达距离MinAD之间的差值，得到一个差值序列；

F2.根据差值序列中差值最大的元素位置k，从该元素位置k到差值序列最后一个元素位置M之间所对应的所有假设均认为是结构原型；

F3.计算结构数量为M-k+1。

本发明提出一个新颖的基于结构决策图的鲁棒多模型拟合算法来拟合和分割存在大量异常点的数据中的多个结构。本发明基于下面的观察：1)对于多结构数据，每个结构往往可以用至少一个有代表性的假设来表示，在这里把这个有代表性的假设称之为结构原型；2)这些结构原型间通常有一个相对较大的距离。这些观察启发在多模型拟合中引入结构决策图的概念。通过结构决策图，多结构数据的分割和拟合问题可以很容易地解决。此外，本发明提出的方法不需要任何迭代过程。

与现有技术相比，本发明提出基于结构决策图的方法通过利用假设的一致性信息来选择结构原型。与现有的鲁棒多模型拟合方法相比，本发明不涉及过滤或聚类过程，从而解决了这些过程可能删除有代表性的假设(或内点)和忽略较小的结构的问题。

附图说明

图1为本发明实施例的流程图。

图2为本发明与其它几种鲁棒多模型拟合方法在四直线数据集(内点高斯噪声尺度为σ＝0.01和异常点比例为90％)上的对比拟合结果图。

图3为本发明实施例的两视角运动分割实例图。其中标记：乘号为离群点；方块、菱形和圆圈分别对应数据中的不同的结构。

具体实施方式

下面结合附图和实施例对本发明的方法作详细说明。

参见图1，本发明实施例包括以下步骤：

S1.对输入样本数据随机采样产生大量的假设。

具体包括：

(1)给定输入样本数据D＝{d₁,d₂,....,d_N}，其中d_i表示第i个样本数据；N为样本数目且N为自然数。

(2)对输入数据随机抽取p个数据点形成一个模型假设(例如，拟合一条直线，需要抽取两个数据点，即p＝2；拟合一个圆，需要抽取三个数据点，即p＝3；拟合一个平面，需要抽取三个数据点，即p＝3；拟合一个运动目标，需要抽取八个数据点，即p＝8)。

(3)计算所有数据点到这个模型假设的距离，构成残差向量其中为对应于第j假设的第i个残差值。

S2.基于核密度估计和内点尺度对产生的每个假设计算权重分数。

具体包括：

(1)计算每个假设H_j(j＝1,...,M)的内点尺度估计ν_j，计算公式为：

$v_j=\frac{\left|r_K^j\right|}{{\mathrm{\θ}}^{-1}\left(\frac{1}{2}\right(1+\frac{K}{N^j}\left)\right)},$

其中为对应于第j个结构的第K个最小的绝对值残差；θ^-1(·)为累积密度函数；N^j为对应于第j个假设的内点数目；K为常数，通常设置为所有数据点数目的10％，即假定数据中最小结构的内点数量为所有数据的10％。

(2)计算每个假设H_j(j＝1,...,M)的核密度函数f(γ；H_j)，计算公式为：

$f(\mathrm{\γ};H_j)=\frac{1}{N}\underset{i=1}{\overset{N}{\Σ}}\frac{1}{h_j}K\left(\frac{\mathrm{\γ}-r_j^i}{h_j}\right),$

其中K为Epanechnikov核函数，即且贝塔函数Γ(·)是高斯函数且满足Γ(n)＝(n-1)！；h_j为基于核函数和内点噪声尺度估计ν_j得到的可变带宽，其计算公式为：

$h_j={\[\frac{243{\∫}_{-1}^{1}K{\left(x\right)}^{2}dx}{35N{\∫}_{-1}^1{x}^{2}K\left(x\right)dx}\]}^{1/5}{v}_j.$

(3)计算核密度函数f(γ；H_j)在原点处的值f(0；H_j)。

(4)计算每个假设H_j(j＝1,...,M)的权重分数，计算公式为：

${\mathrm{\Ψ}}_j=\frac{f(0;H_j)}{v_j}.$

S3.根据权重分数的大小，对所有的假设进行排序得到M个排序后的假设其中λ＝{λ₁,λ₂,...,λ_M}满足

S4.基于连续一致性集和皮尔逊积矩相关系数对排序后的每个假设分别计算最短抵达距离。

具体包括：

(1)根据步骤S1中得到的每个假设H_j(j＝1,...,M)的残差向量得到每个假设对应的连续一致性集，计算公式为：

$\mathrm{\Δ}\left(H_j\right)=\left(\mathrm{\δ}\right(r_j^1),\mathrm{\δ}(r_j^2),...,\mathrm{\δ}(r_j^N\left)\right),$

其中，当时，否则E₀为一常数阈值，通常设置为2.5(即假设数据服从高斯分布时，大约98％的数据点被认为是内点)。

(2)利用皮尔逊积矩相关系数计算任意两个假设(假定为H_j和H_k)之间的相似性，计算公式为：

$\mathrm{\Φ}(H_j,H_k)=\frac{\mathrm{cov}\left(\mathrm{\Δ}\right(H_j),\mathrm{\Δ}(H_k\left)\right)}{{\mathrm{\σ}}_{\mathrm{\Δ}\left(H_j\right)}{\mathrm{\σ}}_{\mathrm{\Δ}\left(H_k\right)}},$

其中，协方差cov(Δ(H_j),Δ(H_k))＝E(Δ(H_j)-μ)E(Δ(H_k)-μ)。μ为所有假设对应的连续一致性集的均值。E(.)是期望操作符。

(3)对于权重分数最高的假设其最小抵达距离MinAD的计算公式如下：

${\mathrm{\θ}}_{{\mathrm{\λ}}_1}=\underset{1\≤j,k\≤M}{min}\mathrm{\Φ}(H_j,H_k).$

(4)对于其他的假设其最小抵达距离MinAD定义为当前的随机假设到任何其他比当前的假设具有更高的权重分数的随机假设的最短的距离，计算公式如下：

${\mathrm{\θ}}_{{\mathrm{\λ}}_j}=\underset{k:{\mathrm{\ψ}}_{{\mathrm{\λ}}_j}\<{\mathrm{\ψ}}_k}{min}(H_{{\mathrm{\λ}}_j},H_k).$

S5.将所有假设的最短抵达距离MinAD按照从小到大的递增顺序排序，作为纵轴(Y轴)，而对应的权重分数作为横轴(X轴)，从而构成一个结构决策图。

S6.在结构决策图上确定所有结构对应的结构原型并计算结构数量。

具体包括：

(1)计算相邻两个假设点的最短抵达距离MinAD之间的差值，得到一个差值序列。

(2)根据差值序列中差值最大的元素位置k，从该元素位置k到差值序列最后一个元素位置M之间所对应的所有假设均认为是结构原型。

(3)计算结构数量为M-k+1。

S7.根据结构原型进行内点和异常点的划分。对于第p(p＝1,2,....,M-k+1)个结构原型，如果其中为对应于第i个样本数据到第p个结构原型的残差；ν_p为每个假设的内点尺度估计；E₀为一常数阈值，通常设置为2.5，则第i个样本数据判断为该结构原型的内点，否则判断为离群点。根据内点输出每个结构对应的模型参数，完成最终模型拟合。

本发明与其它几种鲁棒多模型拟合方法在四直线数据集(内点高斯噪声尺度为σ＝0.01和异常点比例为90％)上的对比拟合结果图参见图2。在图2中，(a)为初始输入数据；(b)方法1对应为R.Toldo等人提出的方法(R.Toldo,A.Fusiello.Robust multiple structures estimation with J-Linkage.European Conference on Computer Vision,2008)；(c)方法2对应为T.-J.Chin等人提出的方法(T.-J.Chin,H.Wang,D.Suter.Robust fitting of multiple structures:The statistical learning approach.IEEE International Conference on Computer Vision,2009)；(d)方法3对应为H.Liu等人提出的方法(H.Liu,S.Yan.Efficient structure detection via random consensus graph[C].IEEE Conference on Computer Vision and Pattern Recognition,2012)；(e)方法4对应为H.Wang等人提出的方法(H.Wang,T.-J.Chin,D.Suter.Simultaneously fitting and segmenting multiple-structure data with outliers.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012)；(f)方法5对应为L.Magri等人提出的方法(L.Magri,A.Fusiello.T-Linkage:A continuous relaxation of J-Linkage for multi-model fitting[C].IEEE Conference on Computer Vision and Pattern Recognition,2014)；(g)方法6为本发明提出的方法。

本发明实施例的两视角运动分割实例图参见图3。

本发明可以对多结构数据进行有效的鲁棒模型拟合。相对于传统的鲁棒多模型拟合算法，本发明不仅可以自动找到结构的数量及对应的模型参数，而且还可以有效地处理多结构数据中的不平衡问题。