一种基于可变窗口的代价聚集方法与流程

本发明涉及立体匹配技术领域，具体涉及一种基于可变窗口的代价聚集方法，尤其涉及一种基于可变窗口并用于立体匹配的代价聚集方法。

背景技术：

近年来，3d(threedimension)视觉领域的研究和应用得到了快速发展，尤其是在三维重构、三维检测、机器人视觉导航等方向。这些进步的关键是立体视觉技术的出现，它是使用光学手段获取一幅或者多福图像，运用图像处理算法还原出被拍摄物体的几何关系与立体形状，从而获得有关物体的三维坐标值。

在立体视觉技术中，被动式的双目立体视觉系统因其设备构成简单、易搭建、不易暴露检测设备位置，且对检测对象友好等优势，在整个3d视觉领域具有举足轻重的地位，而双目立体视觉系统使用的双目立体视觉(binocularstereovision)技术是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

双目立体视觉技术融合两只眼睛获得的图像并观察它们之间的差别，使用户可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，称作视差(disparity)图像。

双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。

也就是说，双目立体视觉系统是计算机视觉的关键技术之一，获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

立体匹配是双目视觉系统的核心，同时亦是最为困难的部分。目前，立体匹配算法通常执行以下四个步骤：

(1)匹配代价计算；

(2)代价聚集；

(3)视差计算/优化；

(4)视差调整。

进一步地，scharstein和szeliski提出过一个分类方案，将该算法分为两类：局部算法和全局算法。所有的局部算法都需要执行步骤(2)，也就是执行代价聚集的方法,以实现隐式的平滑假设；与之相反，全局算法给出的是显式的平滑假设，然后求解最优化问题，这样的全局算法基本上省略了代价聚集的步骤，比较流行的全局算法包括动态规划，置信传播和图割算法。

代价聚集通常采用固定大小的窗口，将当前待匹配点作为窗口的中心点，利用该中心点周围的分布信息进行匹配，根据更多的特征信息，提升算法的鲁棒性。这样做的最重要前提为局部窗口内视差是相似的。在图像前景与图像背景的边缘处，前景会发生深度的突变，而背景由于物体之间的遮挡，使背景在左右视图中并不是同时可见。在诸如这些图像区域，匹配窗口需精心地选择。如图1和图3所示，若采用固定大小的矩形窗口，那么在遮挡或深度突变区会发生“前景膨胀”现象。该现象的原因是固定窗口在这些区域匹配时，认为前景与背景处于同一深度下，背景的匹配结果就会与前景一致。

为了消除这一影响，人们对固定窗口做了许多改进。hirschmüller采用多个不同形状的窗口进行聚集，然后选择其中某一窗口的匹配结果。veksler则将待匹配的点由窗口中心点位置换到窗口的左下角等不同位置，再重新构建窗口匹配。这些策略虽然较固定窗口而言分割效果更好，如图2所示，形成了理想的匹配窗口，但是窗口的形状与大小一般是固定的。即使使用多个不同形状的窗口聚集方式，可选窗口数量也会固定，同样无法适应复杂多变的场景变化。

针对上述诸多问题，近年来对代价聚集方法的研究逐渐转向可变窗口的方式。可变窗口一般先计算中心像素点与周围像素点的相似程度，然后过滤掉与中心像素差别过大的点，因为此时，该像素有很大的几率位于另外一个物体上，与中心像素点的深度不相似。所以，可变窗口匹配算法是一个动态创建的匹配策略，其窗口的大小与形状都不是固定的。其中，最常用的方法是kezhang提出的十字交叉式可变窗口匹配算法。图4为该十字交叉式可变窗口匹配算法的构建策略：它以中心像素点为基准，对周围像素点先做水平扫描，当遇见与中心像素点相差过大的像素时扫描停止；接着以水平扫描的结果为基准，做垂直扫描，同样，若当前点与起始点相差过大，则扫描停止。图5为其聚集结果。这种构建窗口的好处在于，首先窗口形状可变，尽可能地符合了当前物体的边缘形状，减少了窗口内其余物体出现的情况，其次在于连续的像素在匹配代价计算时能很方便的采用类似积分图等方式加速。其缺点在于，对于一些特殊情况，例如斜向的细长杆、像素点过少的小物体等容易由于匹配窗口过小，无法得到足够对的匹配信息，导致无匹配的情况出现。

技术实现要素：

为解决上述问题，本发明提供了一种基于可变窗口的代价聚集方法，该方法先对像素点分类，根据实际情况采用不同的匹配窗口构建算法进行匹配的代价聚集方法。

为了克服现有技术中的不足，本发明提供了一种基于可变窗口的代价聚集方法的解决方案，具体如下：

一种基于可变窗口的代价聚集方法，步骤如下:

步骤1:首先，采用canny边缘算法对图像进行边缘提取得到边缘位置上的点；

步骤2：其次，把图像上除去边缘位置上的其他像素点作为图像的内部点，并采用四邻域连通的方式构建图像的内部点的连通域；

步骤3：另外针对边缘位置上的点和图像的内部点分别构建针对边缘位置上的点的匹配窗口和针对图像的内部点的匹配窗口。

进一步地，所述边缘算法为canny边缘算法，所述canny边缘算法先计算图像各像素点的梯度幅值和图像的梯度方向，再根据所述图像的梯度方向对所述图像各像素点的梯度幅值进行非极大值抑制；接着用双阈值算法检测和连接边缘来滤去图像中的噪点，也就是利用边缘连接与大小阈值的思路来滤去图像中的噪点，最后得到单像素宽的边缘。

进一步地，所述针对边缘位置上的点构建针对边缘位置上的点的匹配窗口的方式为：

把边缘位置上的点逐一作为起始像素点，对每个起始像素点均执行如下进程：

从起始像素点开始，以深度优先搜索dfs算法在起始像素点的四邻域内把边缘点搜索出来，直到在起始像素点的四邻域内搜索不到边缘点或者在结合空间域条件下当前像素点与起始像素点之间的像素值差异在值域上差别过大时则停止搜索，而搜索出来的边缘点就构成了该起始像素点的匹配窗口，其中，所述当前像素点为正在进行搜索的那个边缘点。

进一步地，所述在结合空间域条件下当前像素点与起始像素点之间的像素值差异在值域上差别过大时则搜索停止的方式为：

利用公式(1)来判断当前像素点与起始像素点之间的像素值差异是否超过值域阈值λ,公式(1)如下:

maxc∈{r，g，b}(ic(p)-ic(q))＞λ(1)

若超过值域阈值λ，就表明当前像素点与起始像素点之间的像素值差异在值域上差别过大，则搜索停止，若未超过值域阈值λ，就表明当前像素点与起始像素点之间的像素值差异在值域上差别并未过大，则搜索就不停止，其中,maxc∈{r，g，b}(ic(p)-ic(q))就用来表达当前像素点与起始像素点之间的像素值差异,p为起始像素点，q为当前像素点，ic(p)-ic(q)表示起始像素点的三原色分量值分别减去当前像素点的三原色分量值得到的三原色分量差值,也即起始像素点的三原色中的红色分量值减去当前像素点的三原色中的红色分量值得到的红色分量差值，起始像素点的三原色中的绿色分量值减去当前像素点的三原色中的绿色分量值得到的绿色分量差值，起始像素点的三原色中的蓝色分量值减去当前像素点的三原色中的蓝色分量值得到的蓝色分量差值，红色分量差值、绿色分量差值和蓝色分量差值就组成了三原色分量差值，ic(p)和ic(q)分别表示起始像素点的三原色分量值和当前像素点的三原色分量值，c为r、g或b，当c为r时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的红色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的红色分量值，当c为g时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的绿色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的绿色分量值，当c为b时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的蓝色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的蓝色分量值，而用来表达当前像素点与起始像素点之间的像素值差异的maxc∈{r，g，b}(ic(p)-ic(q))就为红色分量差值、绿色分量差值和蓝色分量差值中的最大值，λ为值域阈值,λ由公式(2)和公式(3)限定：

d＝max(x(p)-x(q)，y(p)-y(q))(3)

x(p)表示起始像素点的横坐标，x(q)表示当前像素点的横坐标，y(p)表示起始像素点的纵坐标，y(q)表示当前像素点的纵坐标，d表示横向的距离和纵向的距离中的最大值，其中横向的距离表示起始像素点的横坐标和当前像素点的纵坐标的差值，纵向的距离表示起始坐标点的纵坐标和当前像素点的纵坐标的差值，λ1的值大于λ2的值，d1和d2为设定的空间位置限定值，d1的值小于d2的值。

进一步地，所述采用四邻域连通的方式为把每个图像的内部点的水平方向和竖直方向上相邻的图像的内部点视为它们之间具有相连通的通路，若两个图像的内部点之间能够通过一个以上的通路相连通，就属于图像的内部点的连通域，所有属于图像的内部点的连通域的图像的内部点就构成了图像的内部点的连通域。

进一步地，所述针对图像的内部点构建针对图像的内部点的匹配窗口的方式为：

构建了图像的内部点的连通域后，把连通域中的点逐一作为起始像素点，对每个起始像素点均执行如下进程：

从起始像素点开始，以广度优先搜索bfs算法在起始像素点所在的连通域内把图像的内部点搜索出来，直到在起始像素点的连通域内搜索不到图像的内部点或者在结合空间域条件下当前像素点与起始像素点之间的像素值差异在值域上差别过大时则停止搜索，而搜索出来的图像的内部点就构成了该起始像素点的匹配窗口，其中，所述当前像素点为正在进行搜索的那个图像的内部点。

进一步地，所述在结合空间域条件下当前像素点与起始像素点之间的像素值差异在值域上差别过大时则搜索停止的方式为：

利用公式(4)来判断当前像素点与起始像素点之间的像素值差异是否超过像素值阈值τ,公式(4)如下:

若超过像素值阈值τ，就表明当前像素点与起始像素点之间的像素值差异在值域上差别过大，也就是公式(4)中otherwise所代表的条件，判定值δ就为0，则搜索停止，若未超过像素值阈值τ，就表明当前像素点与起始像素点之间的像素值差异在值域上差别并未过大，判定值δ就为1，则搜索就不停止，其中,maxc∈{r，g，b}(ic(p)-ic(q))就用来表达当前像素点与起始像素点之间的像素值差异,p为起始像素点，q为当前像素点，ic(p)-ic(q)表示起始像素点的三原色分量值分别减去当前像素点的三原色分量值得到的三原色分量差值,也即起始像素点的三原色中的红色分量值减去当前像素点的三原色中的红色分量值得到的红色分量差值，起始像素点的三原色中的绿色分量值减去当前像素点的三原色中的绿色分量值得到的绿色分量差值，起始像素点的三原色中的蓝色分量值减去当前像素点的三原色中的蓝色分量值得到的蓝色分量差值，红色分量差值、绿色分量差值和蓝色分量差值就组成了三原色分量差值，ic(p)和ic(q)分别表示起始像素点的三原色分量值和当前像素点的三原色分量值，c为r、g或b，当c为r时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的红色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的红色分量值，当c为g时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的绿色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的绿色分量值，当c为b时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的蓝色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的蓝色分量值，而用来表达当前像素点与起始像素点之间的像素值差异的maxc∈{r，g，b}(ic(p)-ic(q))就为红色分量差值、绿色分量差值和蓝色分量差值中的最大值，τ为像素值阈值。

进一步地，在所述针对边缘位置上的点和图像的内部点分别构建针对边缘位置上的点的匹配窗口和针对图像的内部点的匹配窗口后，会对针对边缘位置上的点的匹配窗口或针对图像的内部点的匹配窗口内的像素点个数进行一次判断，当针对边缘位置上的点的匹配窗口内的像素点数过少时，就认为该针对边缘位置上的点为图像细节像素点，此时以11*11大小的固定窗口作为该图像细节像素点的匹配窗口来进行代价聚集；当针对图像的内部点的匹配窗口内的像素点数过少时，就认为该针对图像的内部点为图像细节像素点，此时以11*11大小的固定窗口作为该图像细节像素点的匹配窗口来进行代价聚集。

进一步地，所述图像为双目图像。

本发明的有益效果为：

将图像的像素点分为边缘位置上的点和图像的内部点来动态建立匹配窗口，解决了现有技术中利用固定窗口进行代价聚集时产生严重的“前景膨胀”现象、多个不同形状的窗口无法适应复杂多变的图像变化的问题；另外图像细节像素点，采用固定窗口聚集，解决了现有技术中存在的误匹配的问题。

附图说明

图1是现有技术采用固定窗口对双目图像进行匹配的示意图，其中带有网格的长方形块就是固定窗口。

图2是现有技术采用理想的匹配窗口对双目图像进行匹配的示意图，其中带有网格的梯形块就是理想的匹配窗口。

图3是现有技术采用固定窗口造成的前景膨胀的示意图。

图4是现有技术十字交叉式可变窗口匹配算法的构建策略的示意图。

图5是现有技术十字交叉式可变窗口匹配算法下的聚集结果的示意图。

图6是利用本发明的方法得到的结果图。

图7是对比结果图，其中图7(a)和图7(b)中左边的结果图为采用现有技术的十字交叉式可变窗口的代价聚集方法对两张图片分别处理而得的结果图，而图7(a)和图7(b)中右边的结果图为采用本发明的方法对同样两张图片分别处理而得的结果图。

图8为本发明的算法误差图。

图9为本发明的整体流程图。

具体实施方式

由于双目图像的复杂性与局部算法的特殊性，代价聚集方法是立体匹配算法的研究重点之一,为了克服现有技术在代价聚集中使用固定窗口、多个不同形状窗口和基于十字交叉式的可变窗口的缺点，本发明提出一种先对像素点分类，根据实际情况采用不同的匹配窗口构建算法进行匹配的代价聚集方法。

下面将结合附图和实施例对本发明做进一步地说明。

基于可变窗口的代价聚集方法，步骤如下:

步骤1:首先，采用canny边缘算法对图像进行边缘提取得到边缘位置上的点；

步骤2：其次，把图像上除去边缘位置上的其他像素点作为图像的内部点，并采用四邻域连通的方式构建图像的内部点的连通域；

步骤3：另外针对边缘位置上的点和图像的内部点分别构建针对边缘位置上的点的匹配窗口和针对图像的内部点的匹配窗口。

所述边缘算法为canny边缘算法，所述canny边缘算法是图像处理中常用的边缘检测算法，它先计算图像各像素点的梯度幅值和图像的梯度方向，这样来定位边缘可能存在的位置；再根据所述图像的梯度方向对所述图像各像素点的梯度幅值进行非极大值抑制；接着用双阈值算法检测和连接边缘来滤去图像中的噪点，也就是利用边缘连接与大小阈值的思路来滤去图像中的噪点，最后可以得到单像素宽的边缘。利用canny边缘算法进行边缘检测的目的在于确定图像中物体的边缘位置。在双目立体视觉中，物体边缘位置常常是物体之间的遮挡出现的位置，物体之间的遮挡是一个对匹配结果有着重大影响的因素，因此需要对图像的边缘区域进行单独处理。

所述针对边缘位置上的点构建针对边缘位置上的点的匹配窗口的方式为：

所述针对边缘位置上的点也就是图像边缘点，而边缘位置多是图像中深度不连续区域，针对边缘点本发明采取了边缘跟踪的形式进行匹配窗口构建，即把边缘位置上的点逐一作为起始像素点，对每个起始像素点均执行如下进程：

从起始像素点开始，以深度优先搜索dfs算法在起始像素点的四邻域内把边缘点搜索出来，直到在起始像素点的四邻域内搜索不到边缘点或者在结合空间域条件下当前像素点与起始像素点之间的像素值差异在值域上差别过大时则停止搜索，而搜索出来的边缘点就构成了该起始像素点的匹配窗口，其中，所述当前像素点为正在进行搜索的那个边缘点。

所述在结合空间域条件下当前像素点与起始像素点之间的像素值差异在值域上差别过大时则搜索停止的方式为：

利用公式(1)来判断当前像素点与起始像素点之间的像素值差异是否超过值域阈值λ,公式(1)如下:

maxc∈{r，g，b}(ic(p)-ic(q))＞λ(1)

若超过值域阈值λ，就表明当前像素点与起始像素点之间的像素值差异在值域上差别过大，则搜索停止，若未超过值域阈值λ，就表明当前像素点与起始像素点之间的像素值差异在值域上差别并未过大，则搜索就不停止，其中,maxc∈{r，g，b}(ic(p)-ic(q))就用来表达当前像素点与起始像素点之间的像素值差异,p为起始像素点，q为当前像素点，ic(p)-ic(q)表示起始像素点的三原色分量值分别减去当前像素点的三原色分量值得到的三原色分量差值,也即起始像素点的三原色中的红色分量值减去当前像素点的三原色中的红色分量值得到的红色分量差值，起始像素点的三原色中的绿色分量值减去当前像素点的三原色中的绿色分量值得到的绿色分量差值，起始像素点的三原色中的蓝色分量值减去当前像素点的三原色中的蓝色分量值得到的蓝色分量差值，红色分量差值、绿色分量差值和蓝色分量差值就组成了三原色分量差值，ic(p)和ic(q)分别表示起始像素点的三原色分量值和当前像素点的三原色分量值，c为r、g或b，当c为r时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的红色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的红色分量值，当c为g时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的绿色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的绿色分量值，当c为b时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的蓝色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的蓝色分量值，而用来表达当前像素点与起始像素点之间的像素值差异的maxc∈{r，g，b}(ic(p)-ic(q))就为红色分量差值、绿色分量差值和蓝色分量差值中的最大值，λ为值域阈值,λ由公式(2)和公式(3)限定：

d＝max(x(p)-x(q)，y(p)-y(q))(3)

x(p)表示起始像素点的横坐标，x(q)表示当前像素点的横坐标，y(p)表示起始像素点的纵坐标，y(q)表示当前像素点的纵坐标，d表示横向的距离和纵向的距离中的最大值，其中横向的距离表示起始像素点的横坐标和当前像素点的纵坐标的差值，纵向的距离表示起始坐标点的纵坐标和当前像素点的纵坐标的差值，λ1的值大于λ2的值，即值域阈值大小与空间域的空间位置有关，越靠近匹配窗口的中心值域阈值就越大，d1和d2为设定的空间位置限定值，d1的值小于d2的值，具体实施中可以取d1为17，d2为34，λ1为20，λ2为10。这种根据空间域的空间位置确定值域阈值的方式能保证在图像中的同一物体上取到足够多的像素的同时，在边缘处能及时终止匹配窗口的构建。

所述连通域是指有若干像素组成的集合，同一集合内的像素在两两之间可以通过集合内的其余像素形成通路连接，所述采用四邻域连通的方式为把每个图像的内部点的水平方向和竖直方向上相邻的图像的内部点视为它们之间具有相连通的通路，若两个图像的内部点之间能够通过一个以上的通路相连通，就属于图像的内部点的连通域，所有属于图像的内部点的连通域的图像的内部点就构成了图像的内部点的连通域。

所述针对图像的内部点构建针对图像的内部点的匹配窗口的方式为：

构建了图像的内部点的连通域后，把连通域中的点逐一作为起始像素点，对每个起始像素点均执行如下进程：

从起始像素点开始，以广度优先搜索bfs算法在起始像素点所在的连通域内把图像的内部点搜索出来，直到在起始像素点的连通域内搜索不到图像的内部点或者在结合空间域条件下当前像素点与起始像素点之间的像素值差异在值域上差别过大时则停止搜索，而搜索出来的图像的内部点就构成了该起始像素点的匹配窗口，其中，所述当前像素点为正在进行搜索的那个图像的内部点。

所述在结合空间域条件下当前像素点与起始像素点之间的像素值差异在值域上差别过大时则搜索停止的方式为：

利用公式(4)来判断当前像素点与起始像素点之间的像素值差异是否超过像素值阈值τ,公式(4)如下:

若超过像素值阈值τ，就表明当前像素点与起始像素点之间的像素值差异在值域上差别过大，也就是公式(4)中otherwise所代表的条件，判定值δ就为0，则搜索停止，若未超过像素值阈值τ，就表明当前像素点与起始像素点之间的像素值差异在值域上差别并未过大，判定值δ就为1，则搜索就不停止，其中,maxc∈{r，g，b}(ic(p)-ic(q))就用来表达当前像素点与起始像素点之间的像素值差异,p为起始像素点，q为当前像素点，ic(p)-ic(q)表示起始像素点的三原色分量值分别减去当前像素点的三原色分量值得到的三原色分量差值,也即起始像素点的三原色中的红色分量值减去当前像素点的三原色中的红色分量值得到的红色分量差值，起始像素点的三原色中的绿色分量值减去当前像素点的三原色中的绿色分量值得到的绿色分量差值，起始像素点的三原色中的蓝色分量值减去当前像素点的三原色中的蓝色分量值得到的蓝色分量差值，红色分量差值、绿色分量差值和蓝色分量差值就组成了三原色分量差值，ic(p)和ic(q)分别表示起始像素点的三原色分量值和当前像素点的三原色分量值，c为r、g或b，当c为r时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的红色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的红色分量值，当c为g时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的绿色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的绿色分量值，当c为b时，ic(p)所表示的起始像素点的三原色分量值就为起始像素点的三原色中的蓝色分量值，ic(q)所表示的当前像素点的三原色分量值就为当前像素点的三原色中的蓝色分量值，而用来表达当前像素点与起始像素点之间的像素值差异的maxc∈{r，g，b}(ic(p)-ic(q))就为红色分量差值、绿色分量差值和蓝色分量差值中的最大值，τ为像素值阈值。

由于图像的物体内部通常会存在这一些类似于花纹的纹理细节，这些纹理细节无论被处理为图像边缘点或是图像的内部点，都会由于相似像素点过少而导致匹配窗口过小。过小的匹配窗口因为没有足够多的图像信息，通常会导致误匹配的出现。因此，在本发明中，在所述针对边缘位置上的点和图像的内部点分别构建针对边缘位置上的点的匹配窗口和针对图像的内部点的匹配窗口后，会对针对边缘位置上的点的匹配窗口或针对图像的内部点的匹配窗口内的像素点个数进行一次判断，当针对边缘位置上的点的匹配窗口内的像素点数过少时，就认为该针对边缘位置上的点为图像细节像素点，此时以11*11大小的固定窗口作为该图像细节像素点的匹配窗口来进行代价聚集；当针对图像的内部点的匹配窗口内的像素点数过少时，就认为该针对图像的内部点为图像细节像素点，此时以11*11大小的固定窗口作为该图像细节像素点的匹配窗口来进行代价聚集。图像细节点多是高纹理的区域，通过固定窗口一般足够取得较好的匹配效果。当针对边缘位置上的点的匹配窗口内的像素点数过少是指该像素点数少于20个。当针对图像的内部点的匹配窗口内的像素点数过少时是指该像素点数少于20个。

所述图像为双目图像。

本发明的基于可变窗口的代价聚集方法把图像中的物体的像素点分类为边缘位置上的点、图像内部点以及图像细节像素点，进行分类的原因在于，边缘区域很大可能为双目图像中的深度不连续区域，而图像的内部点可能为高纹理区域，也可能为低纹理区域。若为高纹理区域，采用动态构建窗口的算法通常都不能聚集到足够多的匹配信息，从而导致误匹配的出现。

本发明还通过对比实验，来体现其突出优点，图3和图6就是对图1中需要进行代价聚集的图像分别采用现有技术的固定窗口的代价聚集方法和采用本发明的方法而得到的结果图。比较图3和图6，说明本发明的方法精度远远高于固定窗口的聚集精度。而采用现有技术的十字交叉式可变窗口的代价聚集方法和采用本发明的方法对两张同样的图片进行处理得到的结果图如图7所示，其中图7(a)和图7(b)中左边的结果图为采用现有技术的十字交叉式可变窗口的代价聚集方法对两张图片分别处理而得的结果图，而图7(a)和图7(b)中右边的结果图为采用本发明的方法对同样两张图片分别处理而得的结果图，根据图7的对比，可以看出本发明的方法在边缘区域“背景膨胀”的程度更小，更加贴近真实的物体边缘。在纹理复杂变化的区域，利用十字交叉式可变窗口的代价聚集方法会由于颜色的快速变化使得过早的结束窗口创建，从而导致没有引入足够的信息参加计算，视差图上出现许多白色噪声。而采用本发明提出的方法则会根据图像内容动态确定窗口构建策略，在纹理复杂的区域也能通过固定窗口聚集到足够多的图像信息，大大减少了误匹配的出现。本发明的方法得到的结果图还与真实视差图做分析，得到图8所示的误差图，其中黑色区域为误点，总体误点率为15％(误点检测阈值为1个像素)。可以看出，现有的误差大多集中在物体相互遮挡区域与底部重复纹理区域，同时还存在少部分噪点。综合以上实验，说明本发明的方法是有效的，且精度明显提升。

本发明属于立体匹配算法的窗口聚集方向。根据图像内容(即像素所属分类)动态确定窗口构建策略，在纹理复杂的区域(图像细节像素点)通过固定窗口聚集到足够多的图像信息。主要特点为：

1)根据图像的边缘检测和联通域聚集将像素点划分为两个大类，即边缘位置上的点和图像的内部点。

2)若为边边缘位置上的点，则进行边缘跟踪进行构建窗口，终止条件是公式(1)。

3)若为图像内部点，以广度优先(bfs)搜索策略(公式(4))构建窗口。

4)图像细节像素点(边缘位置上的点或者图像的内部点构建的匹配窗口中的像素数量过少，即为图像细节像素点)，采用固定窗口聚集。

以上以附图说明的方式对本发明作了描述，本领域的技术人员应当理解，本公开不限于以上描述的实施例，在不偏离本发明的范围的情况下，可以做出各种变化、改变和替换。