两个对应像素之间的相似度（或距离），其中根据强度、颜色或其它图像特征来测量 相似度（或距离）。在一个示例中，使用在图像II中的像素和在图像12中的像素之间的色 差方法来计算代价量。
[0037] 在示例实施例中，处理器208被配置为使用存储器204的内容W及非必须地使用 本文描述的其它组件W使得装置200基于基于树的聚合方法（例如，线段树方法或最小生 成树方法）或非基于树的聚合方法（例如，基于水平和垂直引导图像的聚合等）来确定第 一总代价量和第二总代价量。在一个示例实施例中，使得装置200基于第一线段树来聚合 代价量W确定第一总代价量，W及使得装置200基于第二线段树来聚合代价量W确定第二 总代价量。在示例实施例中，对于图像（例如图像II)，针对在多个视差值（dl，d2…化）中 的每个视差值处的图像II的每个像素（在第一线段树中，其由节点来表示）执行聚合代 价W生成第一总代价量。类似地，在示例实施例中，图像12,针对在多个视差值（dl，d2… 化）中的每个视差值处的图像12的每个像素（在第二线段树中，其由节点来表示）执行聚 合代价W生成第二总代价量。在一个示例中，使用如在Qingxiong Yang的"A Non-Local Cost Aggregation Method for Stereo Matching, "in CVPR2012,pp. 1402 - 1409中，W及 在Mei, Xing等人的"Segment-Tree based Cost Aggregation for Stereo Matching" in Computer Vision and Pattern Recognition(CVPR), 2013IEEE Conference on IEEE,2013 中阐述的代价聚合方法来确定线段树（第一线段树和第二线段树）和第一总代价量和第二 总代价量。在一个示例实施例中，处理构件可W被配置为确定与图像II的像素相关联的第 一总代价量和与图像12的像素相关联的第二总代价量。处理构件的示例可W包含；处理器 202,其可W是控制器108的示例。
[003引在示例实施例中，使得装置200基于第一总代价量生成第一图像的第一视差图，W及使得装置200基于第二总代价量生成第二图像的第二视差图。术语'视差'指的是立 体图像（例如第一图像和第二图像）的对应像素的视差值之间的差异。在一个示例实施 例中，在第一图像上执行代价聚合方法W确定输出第一视差图的第一总代价量。类似地， 在一个示例实施例中，在第二图像上执行代价聚合方法W确定输出第二视差图的第二总代 价量。使用如在QingxiongYang,"ANon-LocalCostAggregationMethodforStereo Matching,"inCVPR2012，pp. 1402 - 1409中阐述的代价聚合方法来生成第一视差图和第二 视差图。在示例实施例中，处理构件可W被配置为生成图像II的第一视差图和图像12的 第二视差图。处理构件的示例可W包含；处理器202,其可W是控制器108的示例。
[0039] 在示例实施例中，使得装置200基于第一总代价量生成针对第一视差图中的第一 图像的像素的视差值的置信图。在一个示例实施例中，置信图表示第一图像的置信像素的 集合和非置信像素的集合。在一个示例实施例中，对于生成置信图而言，使得装置200基于 第一总代价量来确定对应于针对第一视差图中的第一图像的像素的视差值的置信值。在一 个示例中，置信图表示用于区分图像II中的置信像素的集合和非置信像素的集合的置信 值。在一个示例中，使得装置200基于第一总代价量来计算针对第一视差图中的每个像素 的置信值。在示例实施例中，基于W下给出的表达式（1)来计算针对图像II的像素（P)的 置信值：
其中，C(p)是针对像素P的置信值，dp是针对像素P的视差值，A(p，d)是针对在视差d处的像素P的第一集合代价量（其中d针对多个视差值dl，d2…化（除了dp外）而变化） ^及0是常数。
[0040] 在示例实施例中，对于生成置信图而言，还使得装置200正规化对应于针对第一 图像的像素的视差值的置信值，W生成正规化的置信值，使得对于具有平坦代价曲线的无 纹理区域（在第一图像内）而言，正规化的置信值给予零值。在示例实施例中，可化围过执 行抵消（offset)代价（其被确定为在平坦代价曲线值上计算的置信值）的减法来执行正 规化第一视差图的像素的置信值。由W下表达式（2)给出针对与第一图像相关联的像素 (P)的正规化的置信值：
其中C' (P)是针对像素P的正规化置信值，C(p)是针对像素P的置信值，W及L是在 第一图像中的视差的数量。
[0041] 在示例实施例中，对于生成置信图而言，还使得装置200将正规化的置信值与置 信阔值进行比较，W向第一图像的像素分配二进制置信值。在示例实施例中，通过调节常数 曰（参数西格玛）（可W经验地来计算0)来选择置信阔值。例如，可W在预定的置信范围 0-1内选择置信阔值（例如0.75)。在该个示例中，将第一图像的每个像素的正规化的置信 值与置信阔值（例如，0.75)进行比较。对于低于置信阔值（例如，0.75)的像素的正规化 的置信值被分配二进制值'〇'，对于高于置信阔值（例如，0.75)的像素的正规化的置信值 被分配二进制值'r。在示例实施例中，第一图像的每个像素被分配二进制置信值（二进制 值'〇'或'1')W实现置信图。该里，置信图还可W被称为'二进制置信图'，因为针对在置 信图中的每个像素的置信值是W二进制值'〇'和'r的形式来实现的。在该个示例中，在 置信图中的值'〇'表示非置信像素的集合，W及在置信图中的值'r表示置信像素的集合。 在示例实施例中，处理构件可W被配置为基于第一总代价量来生成针对第一图像的像素的 置信图。处理构件的示例可W包含；处理器202,其可W是控制器108的示例。
[0042] 在示例实施例中，使得装置200基于第一图像的多个颜色分割，W及在该多个颜 色分割中的置信像素的数量，来确定在该第一图像中的一个或多个无穷区域。例如，如果在 多个颜色分割中的颜色分割中，置信像素的数量大于存在于该颜色分割中的总像素的阔值 百分数，则该颜色分割可W被确定为无穷区域。在示例实施例中，术语在图像中的'无穷区 域'指的是图像中的区域，在该区域中，与该区域相关联的像素可W被认为具有零视差值。 无穷区域的示例可W包含但不限于：与例如天空、朴素简单的墙等的对象相关联的低纹理 区域或无纹理区域。在示例实施例中，使得装置200基于各种分割方法来确定与场景的第 一图像相关联的多个颜色分割。在示例实施例中，图像的颜色分割指的是具有相同视差值 的像素被分组在一起W形成分割使得每个分割表示同质的颜色的过程。可W通过各种合适 的技术（诸如，但不限于，基于均值漂移树（MST)的分割，基于线段树的分割等）来确定多 个颜色分割。
[0043] 在另一个示例实施例中，针对确定在第一图像中的一个或多个无穷区域而言，使 得装置200确定在第一视差图中的遮挡像素。在一个示例中，使得装置200基于将第一视 差图和第二视差图进行比较来确定在图像II中的遮挡像素。在该个示例中，来自第一视差 图的像素和来自第二视差图的像素经受相互一致性检查（还被称为左右（LR)检查）W确 定遮挡像素。应当注意的是，可W借助于从表达式（1)和（2)确定的置信图来确定置信像 素的数量。在示例实施例中，处理构件可W被配置为基于将第一视差图和第二视差图进行 比较来确定遮挡像素的数量。在该个示例实施例中，针对确定在第一图像中的一个或多个 无穷区域而言，使得装置200基于第一图像的多个颜色分割的大小，在该多个颜色分割中 的置信像素的数量和遮挡像素的数量，来判定一个或多个无穷区域。在示例实施例中，处理 构件可W被配置为确定在第一视差图中的遮挡像素，W及基于第一图像的多个颜色分割的 大小，在该多个颜色分割中的置信像素的数量和遮挡像素的数量来判定一个或多个无穷区 域。处理构件的示例可W包含；处理器202,其可W是控制器108的示例。
[0044] 在示例实施例中，针对判定一个或多个无穷区域而言，使得装置200通过将多个 颜色分割的大小与阔值大小进行比较来确定来自第一图像的多个颜色分割的颜色分割的 集合。例如，阔值大小可W是第一图像的大小的2%。阔值大小（2%)仅是作为表示的目 的而被提及，W及不应当认为是限制性的，因为阔值大小可W是任何值。在示例实施例中， 使得装置200将多个颜色分割中的每个颜色分割与阔值大小进行比较W检查多个颜色分 割的大小是否高于该阔值大小。如果颜色分割的大小高于该阔值大小，则使得装置200选 择该颜色分割作为颜色分割的集合的一部分。
[0045] 在示例实施例中，针对判定一个或多个无穷区域而言，使得装置200计算针对颜 色分割的集合的第一因子和第二因子的比率。在示例实施例中，基于在个体颜色分割中不 是遮挡像素的置信像素的数量来计算针对颜色分割的集合中的个体颜色分割的第一因子， W及基于在个体颜色分割中不是遮挡像素的全部像素来计算针对颜色分割的集合中的个 体颜色分割的第二因子。使得装置200基于将该比率与阔值比率进行比较将颜色分割的集 合中的一个或多个颜色分割分类成一个或多个无穷区域。在示例表示中，基于表达式旬二 C-〇e来计算第一因子，其中Cw是第一因子，C是在颜色分割S中的置信像素的数量，0是在颜 色分割S中的遮挡像素的数量，W及基于表达式〇c=〇n c(o交集C)来计算0。，其0。是在 颜色分割S中的置信像素内的遮挡像素的数量。在示例实施例中，第一因子（旬）表示在颜 色分割S中的不是遮挡像素的置信像素的数量。此外，基于表达式Sw= S - 0 e来计算第二 因子（Sw)。在示例实施例中，第二因子Sw表示在颜色分割S中的不是遮挡像素的全部像素。 在示例实施例中，针对确定一个或多个无穷区域而言，使得装置200计算针对颜色分割的 集合中的每个颜色分割的在第一因子和第二因子之间的比率，基于表达式Ts=|Qj/|Swl 来计算该比率，其中Ts是针对颜色分割S的在第一因子（Cw)和第二因子（Sw)之间的比率。
[0046] 在示例实施例中，针对判定一个或多个无穷区域而言，使得装置200基于将针对 颜色分割的集合所计算的（第一因子和第二因子的）比率与阔值比率进行比较，将颜色分 割的集合的一个或多个颜色分割分类成一个或多个无穷区域。在示例实施例中，可W基于 检查比率Ts是小于还是大于该阔值比率，将颜色分割S分类成无穷区域。例如，如果比率 Ts小于阔值比率，则颜色分割S被分类成无穷区域。在示例实施例中，使得装置200将针 对在第一图像中的一个或多个无穷区域的像素的视差值设置为等于预定义视差值（例如， 0或1)。例如，在示例实施例中，针对在一个或多个无穷区域中的像素的视差值可W被设置 为零（0)。在示例实施例中，如果比率Ts大于或等于阔值比率，则与非置信像素相比，颜色 分割S被认为具有更多数量的置信像素。在示例实施例中，在比率Ts大于或等于阔值比率 的此类情况下，在颜色分割S中的非置信像素被分类成遮挡孔洞。在示例实施例中，处理构 件可W被配置为确定一个或多个无穷区域。处理构件的示例可W包含；处理器202,其可W 是控制器108的示例。
[0047] 在示例实施例中，使得装置200通过基于基于树的聚合方法来确定针对第一图像 的像素的视差值，基于第一视差图来生成第=视差图。在示例实施例中，第=视差图是从第 一视差图获得的求精的（过滤的）视差图。在示例实施例中，使得装置200执行第一视差 图的过滤连同在第一视差图中填充丢失的视差W及解算在第一图像中的一个或多个无穷 区域。在示例实施例中，执行第一视差图的过滤，其中确定针对第一视差图的像素的新的视 差值（还被称为'过滤的视差值'）。在示例实施例中，基于表达式（3)来计算针对像素P的 视差值：
其中dp是针对像素P的过滤的视差值，d。是图像II(第一图像）的像素q的视差值，D(p，q)是在第一线段树中的像素P和像素q之间的距离，b。是与置信图相关联的像素q的 二进制值，Np是针对像素P的正规化项，^及0是常数。在示例实施例中，基于表达式（4) 确定正规化项Np;
[0048] 从W上表达式（3)，应当注意的是，基于在图像II中的其它像素q的视差值W及 沿着第一线段树的像素q和像素P之间的距离来计算针对像素P的过滤的视差值