基于斜平面平滑的双目立体匹配方法及装置与流程

本发明涉及图像处理技术领域，具体涉及一种基于斜平面平滑的双目立体匹配方法及装置。

背景技术：

双目立体视觉就是模拟人的双眼，用两个相机从不同的角度拍摄左右图，通过立体匹配算法获得视差图，根据视差图和深度图的关系就可以恢复场景中的深度信息。

立体匹配算法是其研究的重点。目前传统的立体匹配算法主要分成三大类：局部匹配算法、全局匹配算法和半全局匹配算法。

局部匹配算法主要通过比较待匹配点一定范围内的局部特性进行匹配。优点是计算速度快，但效果好坏很大程度上取决于是否选择了合适的代价函数以及匹配窗口，对于纹理信息不丰富的区域，如弱纹理区以及无纹理区域，处理效果不好。

全局匹配算法一般采用扫描线或全局考虑整个待匹配图像信息进行视差求解。虽然全局匹配算法能较好的处理弱纹理、深度不连续区域和遮挡区域。但计算非常耗时，运算量大，不能满足实时性要求。

半全局匹配算法是从不同方向的一维路径进行匹配代价的聚合，然后选择最小代价体，既没有只考虑像素的局部区域，也没有考虑所有的像素点，兼具了全局算法和局部算法的优点。虽然半全局匹配算法能得到了较高的匹配精度，并对光照有很强的鲁棒性。但是，半全局匹配算法仍存在很多缺陷，如边缘信息不突出，对深度不连续的区域效果不好，还会出现视差断裂现象。

如何解决视差断裂问题，且对遮挡区域、弱纹理区域和深度不连续区域均能够取得较好的平滑效果，是本领域技术人员亟需解决的问题。

技术实现要素：

针对现有技术中的缺陷，本发明提供了一种基于斜平面平滑的双目立体匹配方法及装置，能够解决视差断裂问题，且对遮挡区域、弱纹理区域和深度不连续区域均能够取得较好的平滑效果。

第一方面，本发明提供一种基于斜平面平滑的双目立体匹配方法，该方法包括：

根据色彩信息、位置信息和能量函数最小化算法对预获取的图像进行分割处理，获取分割块；

采用半全局立体匹配算法处理图像，获取左图视差图和右图视差图；

对左图视差图和右图视差图进行左右一致校验，获得左图初始视差图；

按照分割块，采用ransac平面拟合算法和最小二乘法对左图初始视差图进行视差斜平面拟合，获取初次斜平面拟合视差图；

根据初次斜平面拟合视差图和能量函数最小化算法，调整分割块，确定边界点，并为边界点设置边界点标签信息；

根据边界点标签信息，调整初次斜平面拟合视差图，形成稠密视差图。

进一步地，根据色彩信息、位置信息和能量函数最小化算法对图像进行分割处理，获取分割块，具体包括：

将图像的rgb值转换为cie1976l*a*b值；

根据预设的超像素数目，对转换后的图像进行均匀分割，获取分割块，并根据分割块的位置信息为分割块建立索引；

根据分割块的边界点的第一特定能量和能量函数最小化算法，调整调整分割块，第一特定能量包括色彩能量、位置能量和边界长度能量。

进一步地，对左图视差图和右图视差图进行左右一致校验，获得左图初始视差图，具体包括：

根据每个像素点在左图视差图中的左图视差值，和该像素点在右图视差图中对应像素点的右图视差值，以及阈值，判断该像素点是否为遮挡点或误匹配点；

若该像素点为遮挡点或误匹配点，则将该像素点在左图视差图中的左图视差值设置为预定值，形成左图初始视差图。

进一步地，按照分割块，采用ransac平面拟合算法和最小二乘法对左图初始视差图进行视差斜平面拟合，获取初次斜平面拟合视差图，具体包括：

按照调整后的分割块中像素点，确定该分割块的视差斜平面；

按照该分割块的视差斜平面和该分割块内像素点的左图视差值，以及约束条件，获取内点和内点确定的最终斜平面；

根据最小二乘法，对最终斜平面中的内点进行拟合，获取初次斜平面拟合视差图。

基于上述任意基于斜平面平滑的双目立体匹配方法实施例，进一步地，根据初次斜平面拟合视差图和能量函数最小化算法，调整分割块，确定边界点，并为边界点设置边界点标签信息，具体包括：

根据初次斜平面拟合视差图中各边界点的第二特定能量，调整分割块，并确定边界点，第二特定能量包括色彩能量、位置能量、边界长度能量和深度能量；

计算各个边界点的边界能量，根据边界能量最小化设置边界点标签信息。

第二方面，本发明提供一种基于斜平面平滑的双目立体匹配装置，该装置包括图像分割模块、左右视差图获取模块、左图视差图校验模块、初次斜平面拟合视差图获取模块、边界点分类模块和稠密视差图形成模块，图像分割模块用于根据色彩信息、位置信息和能量函数最小化算法对预获取的图像进行分割处理，获取分割块；左右视差图获取模块用于采用半全局立体匹配算法处理图像，获取左图视差图和右图视差图；左图视差图校验模块用于对左图视差图和右图视差图进行左右一致校验，获得左图初始视差图；初次斜平面拟合视差图获取模块用于按照分割块，采用ransac平面拟合算法和最小二乘法对左图初始视差图进行视差斜平面拟合，获取初次斜平面拟合视差图；边界点分类模块用于根据初次斜平面拟合视差图和能量函数最小化算法，调整分割块，确定边界点，并为边界点设置边界点标签信息；稠密视差图形成模块用于根据边界点标签信息，调整初次斜平面拟合视差图，形成稠密视差图。

进一步地，图像分割模块包括颜色信息转换子模块、分割子模块和调整子模块，颜色信息转换子模块用于将图像的rgb值转换为cie6976l*a*b值；分割子模块用于根据预设的超像素数目，对转换后的图像进行均匀分割，获取分割块，并根据分割块的位置信息为分割块建立索引；调整子模块用于根据分割块的边界点的第一特定能量和能量函数最小化算法，调整调整分割块，第一特定能量包括色彩能量、位置能量和边界长度能量。

进一步地，左图视差图校验模块包括像素点判断子模块和左图视差值设置子模块，像素点判断子模块用于根据每个像素点在左图视差图中的左图视差值，和该像素点在右图视差图中对应像素点的右图视差值，以及阈值，判断该像素点是否为遮挡点或误匹配点；左图视差值设置子模块用于若该像素点为遮挡点或误匹配点，则将该像素点在左图视差图中的左图视差值设置为预定值，形成左图初始视差图。

进一步地，初次斜平面拟合视差图获取模块包括视差斜平面确定子模块、内点获取子模块和拟合子模块，视差斜平面确定子模块用于按照调整后的分割块中像素点，确定该分割块的视差斜平面；内点获取子模块用于按照该分割块的视差斜平面和该分割块内像素点的左图视差值，以及约束条件，获取内点和内点确定的最终斜平面；拟合子模块用于根据最小二乘法，对最终斜平面中的内点进行拟合，获取初次斜平面拟合视差图。

基于上述任意基于斜平面平滑的双目立体匹配装置实施例，进一步地，边界点分类模块具体用于：根据初次斜平面拟合视差图中各边界点的第二特定能量，调整分割块，并确定边界点；计算各个边界点的边界能量，根据边界能量最小化设置边界点标签信息，第二特定能量包括色彩能量、位置能量、边界长度能量和深度能量。

由上述技术方案可知，本实施例提供的基于斜平面平滑的双目立体匹配方法及装置，对半全局立体匹配算法进行优化，通过能量函数最小化算法能够使图像分割更加准确。同时，本实施例基于斜平面平滑的双目立体匹配方法还能够对边界点进行分类，并设置边界点标签信息，根据边界点标签信息进行调整，能够形成良好的平滑效果，解决传统的半全局匹配算法中的视差断裂现象。

因此，本实施例基于斜平面平滑的双目立体匹配方法及装置，能够解决视差断裂问题，且对遮挡区域、弱纹理区域和深度不连续区域均能够取得较好的平滑效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明所提供的一种基于斜平面平滑的双目立体匹配方法的方法流程图；

图2示出了本发明所提供的一种teddy左图原始图；

图3示出了本发明所提供的一种census变换前的示意图；

图4示出了本发明所提供的一种census变换后的示意图；

图5示出了本发明所提供的一种teddy边界与分割图；

图6示出了本发明所提供的另一种基于斜平面平滑的双目立体匹配方法的方法流程图；

图7示出了本发明所提供的一种基于斜平面平滑的双目立体匹配装置的结构示意图；

图8示出了本发明所提供的另一种基于斜平面平滑的双目立体匹配装置的结构示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

第一方面，结合图1或图6，本发明实施例所提供的一种基于斜平面平滑的双目立体匹配方法，以图2为例，具体实现过程如下：

步骤s1，根据色彩信息、位置信息和能量函数最小化算法对预获取的图像进行分割处理，获取分割块。例如，对用户输入的场景图片进行分割处理。

步骤s2，采用半全局立体匹配算法处理图像，获取左图视差图和右图视差图。例如，使用sobel算子对图像进行滤波得到图像的一阶梯度值，可用于边缘检测。计算时对图像上限值进行限制，如果梯度g大于一个阈值，则认为该点为边缘点。在实施例中，我们设的该阈值为15。

对输入图像的左图和右图进行census变换。其中，census变换是用匹配像素点和它邻域像素之间的关系而非像素灰度值进行相似度测量，基本原理是以一个矩形窗口遍历图像，选取中心像素的灰度值作为参考值，将矩形窗口中各像素的灰度值与参考值进行比较，灰度值小于参考值为1，大于或等于参考值记为0，最后再按位连接，将图像中每个像素点都变换成比特串的形式。如图3是对一个3×3窗口进行census变换的示意图，选取中心像素点的灰度值88作为参考值，经过census变换后，中心像素点可以得到比特串110100110，如图4所示。

选择一个适当的窗口大小，在整个图像中移动窗口，对得到的一阶梯度值求sad，以一定系数叠加所得到的汉明距离，计算窗口中心像素点的所有估计视差值的匹配代价。其中，sad是绝对差值和，是对两幅图像所选择的窗口进行相似性测量，对整个窗口中所有对应元素之间的差值求绝对值再求和。

利用动态规划的思想，对所得到的代价函数从不同路径方向进行代价扫描，得到在该路径上聚合的匹配代价lr(p,d)。然后对匹配代价能量函数进行不同方向路径的扫描，然后将匹配代价相加，最后得到该像素点p在视差值为d时的最终匹配代价总和s(p,d)，即

用胜者为王算法从最终得到的匹配代价总和s(p,d)中选择匹配代价最小的视差值，作为该像素点p最终的视差值，即d(p)＝minds(p,d)。

步骤s3，对左图视差图和右图视差图进行左右一致校验，获得左图初始视差图，以剔除遮挡点和无匹配点。

步骤s4，按照分割块，采用ransac平面拟合算法和最小二乘法对左图初始视差图进行视差斜平面拟合，获取初次斜平面拟合视差图。

步骤s5，根据初次斜平面拟合视差图和能量函数最小化算法，调整分割块，确定边界点，并为边界点设置边界点标签信息。

步骤s6，根据边界点标签信息，调整初次斜平面拟合视差图，形成稠密视差图。例如，采用ransac平面拟合方法进行视差拟合斜平面的调整，使斜平面的平滑项最小。以视差断裂边界为例，设对侧分割块的视差拟合平面用ai,bi,ci三个参数表示，具体计算公式如下：

其中，(xi,yi)表示该分割块内的像素点的坐标，i＝0,1,…,n-1，n表示该分割块内的像素点的个数，zi表示分割块中像素点pi(xi,yi)的初始视差，(xb,yb)表示视差断裂边界像素点的坐标，b＝0,1,…,nb-1，nb表示视差断裂边界像素点的个数，aj,bj,cj是定值，代表对侧分割块的拟合平面的参数，而w代表一定的权重，对于视差断裂边界点来说，ω＝0.2×(12.9+2.0)²边界能量，进而得出平面系数。共面边界的情况以此类推。分割块下属的像素点坐标带入视差平面方程中，即可获得每个像素点的最终视差，并生成一幅稠密视差图。

由上述技术方案可知，本实施例提供的基于斜平面平滑的双目立体匹配方法，对半全局立体匹配算法进行优化，通过能量函数最小化算法能够使图像分割更加准确。同时，本实施例基于斜平面平滑的双目立体匹配方法还能够对边界点进行分类，并设置边界点标签信息，根据边界点标签信息进行调整，能够形成良好的平滑效果，解决传统的半全局匹配算法中的视差断裂现象。

因此，本实施例基于斜平面平滑的双目立体匹配方法，能够解决视差断裂问题，且对遮挡区域、弱纹理区域和深度不连续区域均能够取得较好的平滑效果。

具体地，在根据色彩信息、位置信息和能量函数最小化算法对图像进行分割处理，获取分割块时，该方法的具体实现过程如下：

步骤s11，将图像的rgb值转换为cie1976l*a*b值。例如，将输入图像的先从rgb空间转换成xyz空间，再转换成l*a*b空间，以实现rgb值向cie1976l*a*b值的转换，解决rgb无法直接转换成l*a*b的问题。其中，l*a*b空间三个基本坐标表示颜色的亮度、在红色/品红色和绿色之间的位置和在黄色和蓝色之间的位置，例如：l*＝0代表黑色，l*＝100代表白色；a*的负值代表绿色，正值代表品红；b*的负值代表蓝色，正值代表黄色。

步骤s12，根据预设的超像素数目，对转换后的图像进行均匀分割，获取分割块，并根据分割块的位置信息为分割块建立索引。在此，根据像素点的坐标即可通过索引，确定该像素点所属的分割块。例如，根据输入图片的大小和设定的超像素数目对其均分分割。分割以后对每个分割块建立索引，也称为标签。如我们输入大小为450×375的图片，如图2所示，超像素数目设为1000，那么每个分割块的长宽为分割块总数为ceil(450/12.9)·ceil(375/12.9)＝1050。

步骤s13，根据分割块的边界点的第一特定能量和能量函数最小化算法，调整调整分割块，第一特定能量包括色彩能量、位置能量和边界长度能量。在此，该方法采用能量函数最小化算法调整图像的分割块，同时，该方法结合色彩能量、位置能量和边界长度能量进行调整，有助于提高边界分割的准确度。例如，首先，遍历所有像素点，只要该点与周围四个相邻像素点中的任意一个不属于同一个分割块，那么该点即为边界点。然后，从边界点的集合中依次取出边界点，计算边界点与相邻四个像素点所属分割块的第一特定能量，如果计算的能量不是最小的，就要调整该边界点所属的分割块。并且，如果一个边界点所属的分割块发生变化，那么以其为中心，向四周扩散，重新调整其相邻像素点所属的分割块区域，经过多次迭代后，图像就会形成使第一特定能量最小化新的分割块和边界点，一些分割块由之前规则的12.9×12.9正方形变成不规则的形状。其中，计算第一特定能量的公式如下：

其中，sp表示边界点p所属的分割块，sq是相邻像素点q所属的分割块，是边界点的l*a*b色彩三分量，是相邻像素点的l*a*b色彩三分量，是边界点坐标，是相邻像素点坐标。

表示色彩能量，它是边界点和相邻像素点的l*a*b三分量差值的平方和。

表示位置能量，它是边界点和相邻像素点距离的平方。

表示边界长度能量，它是边界点和它相邻的像素点不属于同一个分割块则增加一个单位的边界长度能量。

在实例中λpos＝500.0/(stepsize·stepsize),stepsize＝12.9+2.0＝14.9，λbou的值为1500.0。

具体地，对左图视差图和右图视差图进行左右一致校验，获得左图初始视差图时，该方法的具体实现过程如下：根据每个像素点在左图视差图中的左图视差值，和该像素点在右图视差图中对应像素点的右图视差值，以及阈值，判断该像素点是否为遮挡点或误匹配点。若该像素点为遮挡点或误匹配点，则将该像素点在左图视差图中的左图视差值设置为预定值，形成左图初始视差图。例如，对于左图视差图中的一个像素点p，求得左图视差图的视差值是d1，那么p在右图视差图中的对应点应该是p-d1，其在右图视差图的视差值为d2。若|d1-d2|>threshold，则认为p为遮挡点或误匹配点，把该点在左图视差图的视差值设为0。在实例中，我们设threshold值为1，其计算公式如下：

其中，dlp为像素点p在左图视差图中的视差值，dlp为像素点p^*在左图视差图中的视差值，像素点p和p^*的关系为p^*＝p-dlp。

在此，该方法能够对左图视差图和右图视差图进行校验，剔除遮挡点和误匹配点，有助于提高图像的平滑效果。

具体地，按照分割块，采用ransac平面拟合算法和最小二乘法对左图初始视差图进行视差斜平面拟合，获取初次斜平面拟合视差图时，该方法的具体实现过程如下：

步骤s41，按照调整后的分割块中像素点，确定该分割块的视差斜平面。例如，设视差斜平面方程为ax+by+cz＝d，在一个分割块中随机选取三个不同的像素点，以确定该视差斜平面系数。

步骤s42，按照该分割块的视差斜平面和该分割块内像素点的左图视差值，以及约束条件，获取内点和内点确定的最终斜平面。例如，计算该分割块内每个像素点pi(xi,yi)的初始视差d和视差斜平面之间的距离di，即：

di＝|axi+byi+c-d|，δd是距离的阈值，可设为1.0，定义内点为满足约束条件的点，并统计内点个数m。约束条件为|axi+byi+c-d|<δd。不断重复上述过程，完成后比较所有结果，选定内点个数m最多时产生的斜平面为最终斜平面，并把所有内点存下来。

步骤s43，根据最小二乘法，对最终斜平面中的内点进行拟合，获取初次斜平面拟合视差图，使用所有内点(xi,yi),i＝0,1,…,n-1拟合计算方程，方程组如下：

其中，(xi,yi)是内点坐标，zi是最终斜平面的视差值。通过上式的线性方程组解出a0,a1,a2，得到分割块的最终拟合平面z＝a0x+a1y+a2，该分割块内的像素点的拟合视差即可通过拟合平面来计算。在此，该方法采用ransac平面拟合算法和最小二乘法对左图初始视差图进行视差斜平面拟合，准确度高，且运算速率高。

具体地，根据初次斜平面拟合视差图和能量函数最小化算法，调整分割块，确定边界点，并为边界点设置边界点标签信息时，该方法的具体实现过程如下：

根据初次斜平面拟合视差图中各边界点的第二特定能量，调整分割块，并确定边界点，第二特定能量包括色彩能量、位置能量、边界长度能量和深度能量。其中，第二特定能量的计算公式如下：

其中，表示色彩能量，

表示位置能量，

表示边界长度能量，

表示深度能量，且

d(p)是像素点的初始视差值，是像素点的拟合平面的估计视差值，是像素点拟合平面参数，fp为内点集合。当像素点不在内点集合内时，它的深度能量就是一个常数项，可以避免异常值扰动能量，可设λdepth的值为2000.0，再次调整分割区域。

计算各个边界点的边界能量，根据边界能量最小化设置边界点标签信息。在此，该方法能够结合边界点的边界能量确定边界点的类型，以为后续进行图像平滑处理提供有效信息支持。例如，得到新的边界点集合后，对边界点进行分类，并给予不同的边界点标签信息。通常边界点分成三类：第一类是遮挡点；第二类是视差断裂点；第三类是共面点。定义三种边界能量，分别代表边界像素点标签为遮挡点、视差断裂点、共面点，然后计算边界点的这三种边界能量，把其中最小能量对应的类型写入边界点标签信息，即表示该边界点属于该类。

其中，视差断裂点产生的边界能量计算公式如下：

它的边界能量是当前边界点与两侧分割块拟合视差的均方差加上视差断裂的惩罚值得到的，实例中视差断裂点的惩罚值为5.0。

ehinge表示视差断裂点产生的边界能量，ai,bi,ci,aj,bj,cj是定值，表示两侧分割块拟合视差平面的系数，(xk,yk)表示视差断裂点的坐标，k＝1,2,…n，n表示视差断裂点的个数，λhinge表示视差断裂的惩罚值。

其中，共面点产生的边界能量计算公式如下：

eco表示共面点产生的边界能量，n表示该边界点一侧分割块所包含的像素点的个数，ai,bi,ci是定值，表示该分割块拟合视差平面的系数，m表示该边界点另一侧分割块所包含的像素点的个数，aj,bj,cj表示该分割块拟合视差平面的系数，(xk,yk)表示像素点的坐标。它的边界能量是通过两次求边界某一侧分割块对本侧和另一侧分割块的均方误差累加得到的，共面惩罚值为0。对于遮挡点产生的边界能量，是不计算此项初始能量，它是以视差断裂点的边界能量为参照，如果视差断裂误差为正数，则认为是遮挡点，边界能量需要叠加最大的遮挡惩罚项，惩罚值为15.0。图5就是teddy的边界图，颜色部分就是视差断裂点，该点的两侧视差值有较大的变化。

第二方面，本发明实施例提供一种基于斜平面平滑的双目立体匹配装置，结合图7，该装置包括图像分割模块1、左右视差图获取模块2、左图视差图校验模块3、初次斜平面拟合视差图获取模块4、边界点分类模块5和稠密视差图形成模块6，图像分割模块1用于根据色彩信息、位置信息和能量函数最小化算法对预获取的图像进行分割处理，获取分割块。左右视差图获取模块2用于采用半全局立体匹配算法处理图像，获取左图视差图和右图视差图。左图视差图校验模块3用于对左图视差图和右图视差图进行左右一致校验，获得左图初始视差图。初次斜平面拟合视差图获取模块4用于按照分割块，采用ransac平面拟合算法和最小二乘法对左图初始视差图进行视差斜平面拟合，获取初次斜平面拟合视差图。边界点分类模块5用于根据初次斜平面拟合视差图和能量函数最小化算法，调整分割块，确定边界点，并为边界点设置边界点标签信息。稠密视差图形成模块6用于根据边界点标签信息，调整初次斜平面拟合视差图，形成稠密视差图。

由上述技术方案可知，本实施例提供的基于斜平面平滑的双目立体匹配装置，对半全局立体匹配算法进行优化，通过能量函数最小化算法能够使图像分割更加准确。同时，本实施例基于斜平面平滑的双目立体匹配装置还能够对边界点进行分类，并设置边界点标签信息，根据边界点标签信息进行调整，能够形成良好的平滑效果，解决传统的半全局匹配算法中的视差断裂现象。

因此，本实施例基于斜平面平滑的双目立体匹配装置，能够解决视差断裂问题，且对遮挡区域、弱纹理区域和深度不连续区域均能够取得较好的平滑效果。

具体地，结合图8，图像分割模块1包括颜色信息转换子模块11、分割子模块12和调整子模块13，颜色信息转换子模块11用于将图像的rgb值转换为cie6976l*a*b值；分割子模块12用于根据预设的超像素数目，对转换后的图像进行均匀分割，获取分割块，并根据分割块的位置信息为分割块建立索引；调整子模块13用于根据分割块的边界点的第一特定能量和能量函数最小化算法，调整调整分割块，第一特定能量包括色彩能量、位置能量和边界长度能量。在此，该图像分割模块1采用能量函数最小化算法调整图像的分割块，同时，该图像分割模块1结合色彩能量、位置能量和边界长度能量进行调整，有助于提高边界分割的准确度。

具体地，结合图8，左图视差图校验模块3包括像素点判断子模块31和左图视差值设置子模块32，像素点判断子模块31用于根据每个像素点在左图视差图中的左图视差值，和该像素点在右图视差图中对应像素点的右图视差值，以及阈值，判断该像素点是否为遮挡点或误匹配点；左图视差值设置子模块32用于若该像素点为遮挡点或误匹配点，则将该像素点在左图视差图中的左图视差值设置为预定值，形成左图初始视差图。在此，该左图视差图校验模块3能够对左图视差图和右图视差图进行校验，剔除遮挡点和误匹配点，有助于提高图像的平滑效果。

具体地，结合图8，初次斜平面拟合视差图获取模块4包括视差斜平面确定子模块41、内点获取子模块42和拟合子模块43，视差斜平面确定子模块41用于按照调整后的分割块中像素点，确定该分割块的视差斜平面；内点获取子模块42用于按照该分割块的视差斜平面和该分割块内像素点的左图视差值，以及约束条件，获取内点和内点确定的最终斜平面；拟合子模块43用于根据最小二乘法，对最终斜平面中的内点进行拟合，获取初次斜平面拟合视差图。在此，该初次斜平面拟合视差图获取模块4采用ransac平面拟合算法和最小二乘法对左图初始视差图进行视差斜平面拟合，准确度高，且运算速率高。

具体地，结合图8，边界点分类模块5具体用于根据初次斜平面拟合视差图中各边界点的第二特定能量，调整分割块，并确定边界点，第二特定能量包括色彩能量、位置能量、边界长度能量和深度能量；计算各个边界点的边界能量，根据边界能量最小化设置边界点标签信息。在此，该边界点分类模块5能够结合边界点的边界能量确定边界点的类型，以为后续进行图像平滑处理提供有效信息支持。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。