图像由图像传感 器（例如图像传感器208和210)捕获。
[0064] 在710,方法700包含确定针对多个视差值的与第一图像的像素相关联的第一总 代价量，W及确定针对该多个视差值的与第二图像的像素相关联的第二总代价量。在示例 实施例中，通过计算针对该多个视差值的在第一图像的像素与第二图像的对应像素之间的 代价量来确定第一总代价量。在示例实施例中，代价量是针对图像11的每个像素和图像12 中的对应像素的匹配代价的集合，其中每个匹配代价对应于（来自多个视差值的）视差值。 在示例实施例中，代价量是针对图像II的每个像素和图像12中的对应像素的匹配代价的 集合，其中每个匹配代价对应于（来自多个视差值的）视差值。在该个示例中，该代价量包 含针对n个数量的视差值计算的针对图像（II和/或12)的对应像素的n个数量的匹配代 价。在一个示例中，匹配代价可W指的是，在图像II和12中的两个对应像素之间的相似度 (或距离），其中根据强度、颜色或其它图像特征来测量相似度（或距离）。在一个示例中， 使用在第一图像中的像素和在第二图像中的像素之间的色差方法来计算代价量。在示例实 施例中，基于第一线段树来聚合代价量W生成针对第一图像的第一总代价量，W及基于第 二线段树来聚合代价量W生成针对第二图像的第二总代价量
[00化]在715,方法700包含基于第一总代价量生成第一图像的第一视差图，W及基于第 二总代价量生成第二图像的第二视差图。在示例实施例中，对第一图像执行基于树的代价 聚合方法，W确定输出第一视差图的第一总代价量。在示例实施例中，对第二图像执行基于 树的代价聚合方法，W确定输出第二视差图的第二总代价量。
[0066] 在720,方法700包含基于第一总代价量，生成针对在第一视差图中的第一图像的 像素的视差值的置信图。在示例实施例中，置信图表示来自第一图像的像素的置信像素的 集合。在示例实施例中，对于生成置信图而言，基于第一总代价量来确定对应于针对在第一 视差图中的像素的视差值的置信值。在示例实施例中，置信图表示用于区分在图II中的置 信像素的集合和的非置信像素的集合的置信值。例如，在置信图中的置信值可W是二进制 值0和1。在示例实施例中，可W将二进制值'r分配给置信像素，W及可W将二进制值'〇' 分配给非置信像素。
[0067] 在725,方法700包含基于第一图像的多个颜色分割和在该多个颜色分割中的置 信像素的数量，确定在第一图像中的一个或多个无穷区域。一个或多个无穷区域的示例可 W包含但不限于与场景相关联的低纹理区域或无纹理区域，诸如天空、朴素简单的墙等。在 示例实施例中，术语'无穷区域'还可W指图像中的区域，在该区域中，与该区域相关联的像 素可W被认为具有零视差值。例如，如果在多个颜色分割中的颜色分割中，置信像素的数量 大于在该颜色分割中的总像素的阔值百分数，则该颜色分割可W被确定为无穷区域。
[0068] 在730,方法700包含；基于第一视差图生成第=视差图。在示例实施例中，第= 视差图是基于第一视差图获得的求精的视差图（如在图6中描绘的）。在示例实施例中，方 法700包含；确定针对第一图像的像素的过滤的视差值。在示例实施例中，针对第一图像的 是一个或多个无穷区域的一部分的那些像素的过滤的视差值被确定为等于预定的视差值 (例如，零视差值）。在示例实施例中，基于如参照图2描述的基于树的聚合方法（例如基于 表达式（3))来计算针对第一图像的像素（该像素不同于在一个或多个无穷区域中的像素） 的过滤的视差值。在另一个示例实施例中，方法700包含；基于如参照图2描述的全图像引 导过滤方法来确定针对第一图像的像素（该像素不同于属于一个或多个无穷区域的像素） 的过滤的视差值，而将预定义视差值（例如，零视差值）分配给针对在第一图像中的一个或 多个无穷区域的像素的过滤的视差值。
[0069] 图8A和图8B说明了依照示例实施例的描绘用于视差图估计的示例方法800的流 程图。针对方法800的描述，示例参照图2。方法800描绘了由例如图2的装置200执行的 流程图。
[0070] 在805,方法800包含促进接收第一图像和第二图像。在示例实施例中，第一图像 和第二图像是场景的立体图像对。在一个示例中，第一图像由第一图像传感器（例如图像 传感器208)捕获，W及第二图像由第二图像传感器（例如图像传感器210)捕获。
[0071] 在810,方法800包含确定针对多个视差值（dl，d2…化）的在第一图像的像素和第 二图像的对应像素之间的代价量。在示例实施例中，代价量包含：针对多个视差值dl，d2-化的针对第一图像的像素和在第二图像中的第一图像的像素的对应像素的多个匹配代价。
[0072] 在815,方法800包含；基于第一线段树来聚合代价量W确定针对多个视差值的与 第一图像相关联的第一总代价量，W及基于第二线段树来聚合代价量W确定针对多个视差 值（dl，d2…化）的与第二图像相关联的第二总代价量。框810和815的操作的示例是在框 710处执行的操作。
[0073] 在820,方法800包含；基于第一总代价量，生成第一图像的第一视差图，W及还包 含基于第二总代价量，生成第二图像的第二视差图。在该个示例中，使用代价聚合方法来生 成第一图像的第一视差图和第二图像的第二视差图。框820的操作的示例是在框715处执 行的操作。
[0074] 在825,方法800包含；基于第一总代价量确定对应于针对在第一视差图中的第一 图像的像素的视差值的置信值。在830,方法800包含；正规化置信值W生成正规化的置信 值。在835,方法800包含；将正规化的置信值与置信阔值进行比较，W针对在第一视差图 中的像素分配二进制置信值（例如，0或1)。参照图2解释了确定置信值、正规化置信值和 分配二进制置信值的一些示例。例如，是置信像素的一些像素可W被分配<1'的二进制置 信值，而非置信像素可W被分配'〇'的二进制置信值。
[0075] 在840,方法800包含；基于将第一视差图和第二视差图进行比较，确定在第一视 差图中的遮挡像素。在该个示例中，来自第一视差图的像素和来自第二视差图的像素经受 相互一致性检查（还被称为左右（LR)检查）W确定遮挡像素。
[0076] 在845,方法800包含；基于将多个颜色分割的大小与阔值大小进行比较来确定颜 色分割的集合。在该个示例中，基于本领域中已知的各种合适的分割方法来计算第一图像 的多个颜色分割。在示例实施例中，图像的颜色分割指的是，将具有相同强度值的像素分组 在一起W形成分割的过程，每个分割由颜色来表示。可W通过各种合适的技术（诸如但不 限于；基于均值漂移树（MST)的分割，基于线段树的分割等）来确定多个颜色分割。在一 个示例中，阔值大小可W是第一图像的大小的2%。阔值大小（2%)被提及仅是作为表示 的目的，化及不应当认为是限制性的，因为阔值大小可W是任何值。在示例实施例中，方法 800包括将多个颜色分割中的每个颜色分割与阔值大小进行比较W检查多个颜色分割的大 小是否高于该阔值大小。如果颜色分割的大小高于该阔值大小，则选择该颜色分割作为颜 色分割的集合的一部分。
[0077] 在850,方法800包含；计算针对第一图像的颜色分割的集合的第一因子和第二因 子的比率（T)。在示例实施例中，基于在个体颜色分割中的不是遮挡像素的置信像素的数量 来计算针对颜色分割的集合的个体颜色分割的第一因子（(；)，W及基于在个体颜色分割中 的不是遮挡像素的全部像素来计算第二因子（Sw)。参照图2解释了第一因子和第二因子的 比率的一些示例。在850,针对颜色分割的集合的所有颜色分割来计算第一因子和第二因子 的比率讯。
[007引在855,方法800包含；基于将该比率与阔值比率进行比较，将颜色分割的集合中 的一个或多个颜色分割分类为一个或多个无穷区域。将针对颜色分割的集合的比率与阔值 比率进行比较，W检查该比率是否小于阔值比率。在示例实施例中，框855的操作包含；针 对颜色分割的集合中的每个颜色分割执行框860和865的操作。在860,如果针对颜色分割 的比率小于阔值比率，则颜色分割的集合的该颜色分割被分类为'无穷区域'。针对在第一 图像中的一个或多个无穷区域中的像素的视差值被设置为等于预定义视差值。在865,方 法800包含；如果针对颜色分割的比率大于或等于阔值比率，则将在颜色分割的集合中的 非置信像素分类为遮挡孔洞/像素。应当注意的是，如果比率T大于或等于阔值比率，则与 非置信像素相比，所选择的颜色分割被认为具有更多数量的置信像素，W及从而整个颜色 分割不被分类为无穷区域，而是仅非置信像素被分类为遮挡孔洞或像素。
[0079] 在操作870,方法800包含；生成针对第一视差图的第=视差图。操作870是由框 730执行的操作的示例。在870,方法800包含；基于基于树的聚合方法（例如，如基于如参 照图2解释的表达式（3))来确定针对第一图像的像素的视差值。在示例实施例中，在870， 方法800包含；确定针对第一图像的像素的过滤的视差值。在示例实施例中，针对第一图像 的是一个或多个无穷区域的一部分的像素的过滤的视差值被确定为等于预定视差值（例 如，零视差值），W及基于如参照图2描述的基于树的聚合方法（例如，基于表达式（3))来 计算针对第一图像的像素（该像素不同于在一个或多个无穷区域中的像素）的过滤的视差 值。在另一个示例实施例中，方法800可W包含；基于如参照图2描述的全图像引导过滤方 法而不是基于树的聚合方法来确定针对第一图像的像素（该像素不同于属于一个或多个 无穷区域的像素）的过滤的视差值。
[0080] 应当注意的是，为了促进图7和图8A-8B的流程图的论述，在本申请中，某些操作 被描述为W某一顺序执行的有区别的构成步骤。此类实现方式仅是示例并且在范围没有限 审IJ。某些操作可W被组合在一起并且在单个操作中来执行，W及能够W与在本申请中阐述 的示例中使用的顺序不同的顺序来执行某些操作。此外，W自动化的方式来执行方法700 和800的某些操作。该些操作基本上不设及与用户交互。可W通过W手工方式或半自动的 方式来执行方法700和800的其它操作。该些操作设及经由一个或多个用户接口呈现与用 户交互。
[0081] 可W例如由图2的装置200来执行在该些流程图中描绘的方法。可W通过各种构 件，诸如硬件、固件、处理器、电路和/或与包含一个或多个计算机程序指令的软件的执行 相关联的其它设备，来实现流程图中的操作W及流程图中的操作的组合。例如，在各种实施 例中描述的过程中的一个或多个过程可W由计算机程序指令来具体化。在示例实施例中， 在各种实施例中描述的计算机程序指令（其具体化该些过程）可W由装置的至少一个存储 设备来存储，W及可W由该装置的至少一个处理器来执行。可W将任何此类计算机程序指 令加载到计算机或其它可编程的装置（例如，硬件）上W产生机器，使得所产生的计算机或 其它可编程装置具体化用于实现在流程图中指定的操作的构件。还可W将该些计算机程序 指令存储在计算机可读存储器中（与诸如载波或电磁信号的传输介质相对），该计算机程 序指令可W指导计算机或其它可编程装置W特定方式来执行功能，使得存储在计算机可读 存储器中的指令产生制造品，该制造品的运行实现流程图中指定的操作。还可W将计算机 程序指令加载到计算机或其它可编程装置上W使得在该计算机或其它可编程装置上执行 一系列的操作，W产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令 提供用于实现流程图中的操作的操作。借助于装置200来描述该些方法的操作。然而，能 够通过使用任何其它的装置来描述和/或实践该些方法的操作。
[0082] 没有W任何方式限制下面出现的权利要求书的范围、解释或应用，在本文中公开 的示例实施例中的一个或多个示例实施例的一个技术效果是改进立体图像的视差估计。各 种示例实施例能够通过执行视差图的快速过滤来纠正错误的视差。各种示例实施例能够过 滤诸如遮挡孔洞的丢失的视差W及同时执行一种通过（pass)过滤W用于确定针对图像的 像素的求精的视差值。针对图像中的其它区域的像素的视差值的估计，各种示例实施例能 够通过排除图像中的无纹理区域的影响来执行视差估计，从而使得视差估计更加鲁椿。
[0083] 可W在软件，硬件，应用逻辑，或软件、硬件和应用逻辑的组合中，来实现上述各种 实施例。软