。还应当 注意的是，在执行该过滤（例如应用表达式（3))之前，属于一个或多个无穷区域的像素的 视差值被硬编码为零（0)视差值。例如，针对属于一个或多个无穷区域的所有像素而言，d。 是零，W及因此属于一个或多个无穷区域的像素对（在确定d。中的）过滤过程没有任何影 响。还应当注意的是，如果q是遮挡的孔洞，则针对像素q的二进制值b。被设置为零（0)， 如果q是属于置信像素的像素或属于一个或多个无穷区域的像素，则针对像素q的二进制 值b。被设置为一（1)。
[0049] 在表达式（3)中，项b。表示像素q的二进制值，其中q表示在图像II中的所有像 素。在示例实施例中，bqh.W表示二值掩码，在表达式（3)中应用该二值掩码W计算针对 图像II的像素的过滤的视差值。应当注意的是，针对在图像II中的遮挡像素/孔洞，b。是 零，W及针对在第一图像中的具有有效视差的像素，b。是1。在示例实施例中，针对属于一 个或多个无穷区域的所有像素，b。也是1。还应当注意的是，在示例实施例中，针对属于一 个或多个无穷区域的像素的过滤的视差值被硬编码为零（0)，W及针对属于无穷区域的该 些像素而言，不使用表达式（3)。在另一个示例实施例中，当与一个或多个无穷区域相关联 的二值掩码已经应用于第一视差图时，对属于第一视差图的不同于在一个或多个无穷区域 中的像素的像素执行该过滤。在一个或多个无穷区域中的像素对过滤过程没有任何影响， 因为一个或多个无穷区域的视差值是零。
[0化0] 在各种示例实施例中，基于表达式（3)确定针对第一图像的像素（不同于属于无 穷区域的像素）的新的视差值（过滤的视差值）；W及针对属于无穷区域的像素，新视差值 被设置为统一值，例如零（0)。还应当注意的是，通过使用表达式（3)，还确定了针对属于遮 挡孔洞或遮挡像素的像素的视差值。例如，针对属于遮挡孔洞的像素，使用图像II的其它 有效像素（置信像素）的视差值W及与在第一线段树中的该像素的它们的距离，来确定针 对该像素的视差值。在示例实施例中，在通过运行表达式（3)的单个步骤中，确定针对置信 像素的过滤的视差值W及针对遮挡像素、非置信像素和属于遮挡孔洞的像素的视差值。因 此，基于针对图像II的像素的过滤的视差值来生成第=视差图，W及基于第一视差图来获 得求精的视差图。
[0051] 在另一个示例实施例中，使得装置200通过基于"全图像引导过滤方法"确定 针对第一图像的像素（不同于无穷区域的像素）的视差值，基于第一视差图来生成第= 视差图。在示例实施例中，使得装置200通过在第一图像中使用水平和垂直聚合来计算 权重，来执行'全图像引导过滤'W引导第一图像的像素的视差值的过滤。在Qingxiong Yang, "Full-ImageGuidedFilteringforFastStereoMatching"inIEEEsignal processingletters,Vol. 20,No. 3, 2013年3月的文献中阐述了"全图像引导过滤方法"的 一种此类示例。在该个示例实施例中，使用"全图像引导过滤方法"对针对第一图像的不同 于属于无穷区域的像素的像素的视差值进行过滤，W及使用在第=视差图中的预定义视差 值（例如，零视差）分配给针对属于无穷区域的像素的视差值。
[0化2]在图3A-3B至图6中进一步描述了第=视差图的估计的一些示例表示，该些表示 仅是出于例如示例目的，W及不应当被认为是限制各种实施例的范围。
[0化3]图3A说明了依照示例实施例的第一图像300的示例表示。在示例实施例中，第一 图像300可W是立体图像对的左视图图像或右视图图像中的一个。如在图3A中说明的，第 一图像300可W被认为是右视图图像。在示例实施例中，立体相机可W用于捕获立体图像 对的第一图像300和第二图像（未示出）。在示例实施例中，可W由设备100 (图1)的媒体 捕获模块（诸如相机模块122)，或诸如传感器208和210的传感器连同装置200的其它组 件（图2)，来捕获第一图像300。在其它示例中，可W由相机（诸如能够捕获立体图像对的 多基线相机，阵列相机，光场相机和全光相机）来捕获第一图像300。
[0化4] 在示例实施例中，第一图像300包括；具有相对于第二图像的不同视差的对象。例 如，如在图3A中说明的，第一图像300包含；诸如人302的对象、由数字304和306表示的 山、草308、树310、建筑物312、水体314和在背景中的天空316,其中在每个对象中的像素 区域可W具有相对于第二图像的不同视差。在示例实施例中，可W在与第一图像300相关 联的视差图的形式上来确定在第一图像300中的对象的像素的视差值。在图3B中示出了 与第一图像300相关联的视差图。
[0化5]图3B说明了依照示例实施例的第一图像300的示例视差图。应当注意的是，示例 表示320仅是出于示例的目的而被示出的；W及它的目的不是表示与如图3A中示出的图像 300相关联的准确的视差图，而是仅用于促进一些示例实施例的描述。在示例实施例中，视 差图320,诸如第一视差图（如参照图2解释的），包含与第一图像300中的各种对象的像 素相关联的视差值的信息。例如，第一图像300的第一视差图320被示出为包含不同的区 域322、324、326和328,其中每个区域具有不同的视差。通过使区域322、324、326和328的 阴影变化W表示针对该些区域的不同视差来指示区域322、324、326和328,W及此类表示 仅是示例的目的。例如，区域322的一些部分可W具有50的视差值，W及区域324的一些 部分可W具有20的视差值。类似地，第一图像也可W与视差图（未示出）（诸如第二视差 图（如参照图2解释的））相关联，该第二视差图包含与第二图像中的各种对象相关联的视 差f目息。
[0056] 在示例实施例中，第一视差图，诸如视差图320，可W包含具有无效视差的很少区 域（例如，低纹理区域）W及具有丢失视差的很少区域（还被称为'遮挡孔洞'）。此外，在 视差图320中示出的对象可W不具有一致性的轮廓。出于表示的目的，例如在视差图320中 的区域322和324的区域被描绘为具有错误的视差。例如，区域322被描绘为具有错误的 轮廓。在示例表示中，区域326和328被描绘为具有遮挡孔洞。在示例实施例中，为了生成 求精的视差图（例如，如参照图2解释的第=视差图），使得装置200确定在视差图320中 的针对错误的视差值的视差值W及确定针对丢失的视差的视差值。如参照图2解释的，针 对确定第=视差图而言，使得装置200基于在图像300中的多个颜色分割来确定存在于图 像300中的一个或多个无穷区域。参照图4来解释针对图像300的多个颜色分割的确定。
[0057]图4说明了依照示例实施例的与第一图像300相关联的多个颜色分割的示例表示 (由400示出）。应当注意的是，示例表示400仅是出于示例的目的而被示出；W及它的目 的不是表示与如图3A中示出的图像300相关联的准确的颜色分割，而是仅是用于促进一些 示例实施例的描述。如参照图2解释的，针对图像的'多个颜色分割'指的是基于在第一图 像300的像素之间的颜色强度中的差异而分割的不重叠的同质颜色分割。示例表示400被 描绘为包含多个颜色分割中的一些颜色分割，诸如颜色分割402、404、406和408。通过使阴 影变化来描绘颜色分割402、404、406和408W便区分颜色分割402、404、406和408的像素 强度/颜色模式。应当注意的是，可W使用各种技术（包含但不限于基于均值漂移树的分 割和基于线段树的分割）来确定多个颜色分割。在示例实施例中，可W基于W下假设来确 定多个颜色分割；在同质颜色分割内不存在大的视差不连续性，但是此类不连续性可W出 现在同质颜色分割的边界。
[0化引在示例实施例中，针对确定在第一图像300中的一个或多个无穷区域而言，确定 第一图像300的多个颜色分割。在示例实施例中，确定针对第一图像300的第一线段树和针 对第二图像的第二线段树。在一个示例中，通过将图像300的像素分组到多个颜色分割中、 针对图像300的多个颜色分割中的每个颜色分割来创建子树W及将针对在图像300中的多 个颜色分割中的每个颜色分割的子树进行链接W形成第一线段树，来生成第一线段树。类 似地，在该个示例中，通过将第二图像（图像12)的像素分组成图像12的多个颜色分割、针 对图像12的多个颜色分割中的每个颜色分割来创建子树W及将针对图像12的多个颜色分 割中的每个颜色分割的子树进行链接W形成第二线段树，来构建第二线段树。如参照图2 解释的，通过将多个颜色分割的大小与阔值大小进行比较来确定来自多个颜色分割的颜色 分割的集合，W及将来自颜色分割的集合的一个或多个颜色分割分类为一个或多个无穷区 域。在示例实施例中，使得装置200基于视差图320、在视差图320中的一个或多个无穷区 域的信息、在视差图320中的遮挡像素W及针对第一图像300生成的置信图，来生成第=视 差图。参照图5A和图5B和图6来解释第=视差图的生成过程。
[0059]图5A说明了依照示例实施例的与一个或多个无穷区域相关联的二值掩码500的 示例表示。应当注意的是，二值掩码500仅是出于表示的目的而示出的；W及它的目的不是 表示与如在图3A中示出的图像300相关联的准确的二值掩码，而是仅用于促进一些示例实 施例的描述。二值掩码500表示在第一视差图中的一个或多个无穷区域。例如，二值掩码 500被描绘为包含无穷区域502和置信区域504和506。应当注意的是，在第=视差图中，针 对二值掩码500内的像素的视差值被设置为零。二值掩码500表示一个或多个无穷区域， 诸如无穷区域502,W及在二值掩码500内的像素的视差值被设置为零；W及因此在确定区 域504和506的像素的过滤的视差值中，无穷区域502的像素没有影响。如参照图2描述 的，通过执行基于如参照图2解释的表达式（3)的过滤来确定针对其它像素（例如属于区 域504和506的像素）的过滤的视差值。在无穷区域502中的像素对针对区域504和506 的像素的过滤过程没有影响，因为针对无穷区域502的像素的视差值被设置为零。
[0060] 图5B说明了依照示例实施例的与遮挡孔洞W及低置信区域相关联的二值掩码 520的示例表示。应当注意的是，二值掩码520仅是出于表示的目的而示出的，W及它的目 的不是表示与如在图3A中示出的图像300相关联的准确的二值掩码，而是仅用于促进一些 示例实施例的描述。二值掩码520被描绘为包含区域522,该区域522具有有效的视差像 素和一组遮挡孔洞，诸如孔洞526和低置信孔洞524。在示例实施例中，基于表达式（3)或 通过全图像引导过滤方法来确定针对孔洞和低置信孔洞/像素的像素的视差值。在执行针 对第一图像300的像素的视差值的确定W及对遮挡孔洞/像素进行过滤W及设置针对属于 无穷区域的像素的预定义视差值后，生成求精的视差图，诸如第=视差图（如在图2中解释 的）。在图6中示出了求精的视差图。
[0061] 图6说明了依照示例实施例的第一视差图的求精的视差图600。应当注意的是，示 例表示600仅是出于表示的目的而示出的；W及它的目的不是表示从第一视差图320获得 的准确的求精的视差图，而是仅用于促进一些示例实施例的描述。视差图600被描绘为包 含多个区域，诸如区域602、604、606和608。与在图3B中描绘的视差图320中的区域322、 324、326和328相比，区域602、604、606和608被描绘为具有准确的视差，W及区域602被 描绘为具有一致性的轮廓。视差图600包含无穷区域，诸如区域602,W及具有置信视差像 素的区域，诸如604、606和608。出于示例的目的，由不同的阴影表示诸如区域602的无穷 区域和诸如区域604、606和608的置信视差区域。在执行了如参照图2解释的过滤和孔洞 填充过程之后，可W生成视差图600的示例表示。
[0062] 图7说明了依照示例实施例的描绘用于视差图估计的示例方法700的流程图。在 示例实施例中，方法700包含场景的两个图像的视差估计。针对方法700的描述，示例参照 图2。可W由例如图2的装置200来执行在流程图中描绘的方法700。
[0063] 在705,方法700包含促进接收第一图像和第二图像。在示例实施例中，第一图像 和第二图像与场景相关联，W及是该场景的立体图像对。第一图像和第二