件、应用逻辑和/或硬件可w位于至少一个存储器、至少一个处理器、装置或计 算机程序产品上。在示例实施例中，可W在各种传统计算机可读介质中的任何传统计算机 可读介质上维护应用逻辑、软件或指令集。在本申请的上下文中，"计算机可读介质"可W是 能够含有、存储、传递、传播或传输由指令执行系统、装置或设备（诸如，计算机）（其中在图 1和/或图2中描述和描绘的装置的一种示例）使用的或与之结合使用的指令的任何介质 或构件。计算机可读介质可W包括计算机可读存储介质，计算机可读存储介质可W是能够 含有或存储由指令执行系统、装置或设备（例如计算机）使用或与之结合使用的指令的任 何介质或构件。
[0084] 如果需要，可不同的顺序和/或彼此并行地执行在本文中论述的不同功能。 此外，如果需要，上述功能的一个或多个功能可W是非必需的或可W被组合。
[0085] 尽管已在独立权利要求中阐述了本发明的各种方面，但是其他方面包括来自所描 述的实施例和/或具有独立权利要求特征的从属权利要求的特征的其他组合，W及不是仅 在权利要求书中明确阐述的组合。
[0086] 在本文中还应当注意的是，尽管W上描述了本发明的示例实施例，但是该些描述 不应被视为限制性的含义。相反，在不背离如所附权利要求书中限定的本公开的范围的请 求下，存在可W做出的多种变型和修改。
【主权项】
1. 一种用于图像处理的方法，包括： 促进接收第一图像和第二图像，所述第一图像和所述第二图像与场景相关联； 确定针对多个视差值的与所述第一图像的像素相关联的第一总代价量，以及确定针对 所述多个视差值的与所述第二图像的像素相关联的第二总代价量； 基于所述第一总代价量生成所述第一图像的第一视差图，以及基于所述第二总代价量 生成所述第二图像的第二视差图； 基于所述第一总代价量，生成针对在所述第一视差图中的所述第一图像的所述像素的 视差值的置信图，所述置信图表示来自所述第一图像的所述像素的置信像素的集合； 至少基于所述第一图像的多个颜色分割和在所述多个颜色分割中的置信像素的数量， 确定在所述第一图像中的一个或多个无穷区域；以及 通过确定针对所述第一图像的所述像素的过滤的视差值，基于所述第一视差图生成第 三视差图，其中针对在所述第一图像中的所述一个或多个无穷区域的像素的过滤的视差值 被确定为预定义视差值。2. 根据权利要求1所述的方法，还包括： 确定针对所述多个视差值的在所述第一图像的像素与所述第二图像的对应像素之间 的代价量，其中所述代价量包括针对所述多个视差值的针对所述第一图像的所述像素和所 述第二图像中的所述第一图像的所述像素的所述对应像素的多个匹配代价， 其中基于第一线段树来聚合所述代价量以确定所述第一总代价量，以及其中基于第二 线段树来聚合所述代价量以确定所述第二总代价量。3. 根据权利要求1所述的方法，其中生成所述置信图包括： 基于所述第一总代价量，确定对应于针对所述第一视差图中的所述第一图像的所述像 素的视差值的置信值； 正规化对应于针对所述第一图像的所述像素的所述视差值的所述置信值，以生成正规 化的置信值；以及 将所述正规化的置信值与置信阈值进行比较，以将二进制置信值分配给所述第一图像 的所述像素，其中如果针对所述第一图像的像素的正规化的置信值大于所述置信阈值，则 针对该像素的二进制置信值被分配为'〇'，以及其中如果针对所述第一图像的所述像素的 正规化的置信值小于或等于所述置信阈值，则针对该像素的二进制置信值被分配为' Γ。4. 根据权利要求1所述的方法，还包括：基于均值漂移分割方法或基于线段树的方法， 确定所述第一图像的所述多个颜色分割。5. 根据权利要求1所述的方法，其中确定在所述第一图像中的所述一个或多个无穷区 域还包括： 基于将所述第一视差图与所述第二视差图进行比较来确定在所述第一视差图中的遮 挡像素；以及 基于所述第一图像的所述多个颜色分割的大小，在所述多个颜色分割中的置信像素的 数量和遮挡像素的数量来判定所述一个或多个无穷区域。6. 根据权利要求5所述的方法，其中判定所述一个或多个无穷区域包括： 基于将所述多个颜色分割的大小与阈值大小进行比较，确定所述多个颜色分割的颜色 分割的集合； 计算针对颜色分割的所述集合的第一因子和第二因子的比率，其中基于在个体颜色分 割中不是遮挡像素的置信像素的数量来计算针对颜色分割的所述集合中的所述个体颜色 分割的所述第一因子，以及基于在所述个体颜色分割中不是遮挡像素的全部像素来计算针 对颜色分割的所述集合中的所述个体颜色分割的所述第二因子；以及 基于将所述比率与阈值比率进行比较将颜色分割的所述集合中的一个或多个颜色分 割分类成所述一个或多个无穷区域。7. 根据权利要求6所述的方法，其中将颜色分割的所述集合中的颜色分割分类成所述 一个或多个无穷区域中的无穷区域包括： 将针对颜色分割的所述集合中的所述颜色分割的所述比率与所述阈值比率进行比较， 以及执行以下中的一个： 如果所述比率小于所述阈值比率，则颜色分割的所述集合中的所述颜色分割被分类成 所述无穷区域；以及 如果所述比率大于或等于所述阈值比率，则颜色分割的所述集合中的所述颜色分割中 的非置信像素被分类成遮挡孔洞。8. 根据权利要求1至7中的任何一项所述的方法，其中基于基于树的聚合方法来确定 针对所述第一图像的所述像素的过滤的视差值。9. 根据权利要求2至7中的任何一项所述的方法，其中基于以下表达式来确定针对所 述第一图像的像素的过滤的视差值：其中dp是针对所述第一图像的像素 p的过滤的视差值，d,是针对所述第一图像的像素 q的视差值，D(p，q)是在第一线段树中的像素 p和像素 q之间的距离，b,是与所述置信图 相关联的像素 q的二进制置信值，Np是针对像素 p的正规化项，以及σ是常数。10. 据权利要求1至7中的任何一项所述的方法，其中基于全图像引导过滤方法来确定 针对所述第一图像的所述像素的所述过滤的视差值。11. 据权利要求1至7中的任何一项所述的方法，其中所述预定义视差值是零视差值。12. 据权利要求1至7中的任何一项所述的方法，其中所述第一图像和所述第二图像是 所述场景的立体图像对。13. -种用于图像处理的装置，包括： 用于促进接收第一图像和第二图像的构件，所述第一图像和所述第二图像与场景相关 联； 用于确定针对多个视差值的与所述第一图像的像素相关联的第一总代价量，以及确定 针对所述多个视差值的与所述第二图像的像素相关联的第二总代价量的构件； 用于基于所述第一总代价量生成所述第一图像的第一视差图，以及基于所述第二总代 价量生成所述第二图像的第二视差图的构件； 用于基于所述第一总代价量，生成针对在所述第一视差图中的所述第一图像的所述像 素的视差值的置信图的构件，所述置信图表示来自所述第一图像的所述像素的置信像素的 集合； 用于至少基于所述第一图像的多个颜色分割和在所述多个颜色分割中的置信像素的 数量，确定在所述第一图像中的一个或多个无穷区域的构件；以及 用于通过确定针对所述第一图像的所述像素的过滤的视差值，基于所述第一视差图生 成第三视差图的构件，其中针对在所述第一图像中的所述一个或多个无穷区域的像素的过 滤的视差值被确定为预定义视差值。14. 根据权利要求13所述的装置，其中所述装置还包括： 用于确定针对所述多个视差值的在所述第一图像的像素与所述第二图像的对应像素 之间的代价量的构件，其中所述代价量包括针对所述多个视差值的针对所述第一图像的所 述像素和所述第二图像中的所述第一图像的所述像素的所述对应像素的多个匹配代价， 其中基于第一线段树来聚合所述代价量以确定所述第一总代价量，以及其中基于第二 线段树来聚合所述代价量以确定所述第二总代价量。15. 根据权利要求13所述的装置，其中用于生成所述置信图，所述装置还包括： 用于基于所述第一总代价量，确定对应于针对所述第一视差图中的所述第一图像的所 述像素的视差值的置信值的构件； 用于正规化对应于针对所述第一图像的所述像素的所述视差值的所述置信值，以生成 正规化的置信值的构件；以及 用于将所述正规化的置信值与置信阈值进行比较，以将二进制置信值分配给所述第一 图像的所述像素的构件，其中如果针对所述第一图像的像素的正规化的置信值大于所述置 信阈值，则针对该像素的二进制置信值被分配为'〇'，以及其中如果针对所述第一图像的所 述像素的正规化的置信值小于或等于所述置信阈值，则针对该像素的二进制置信值被分配 为 '1'。16. 根据权利要求13所述的装置，其中所述装置还包括：用于基于均值漂移分割方法 或基于线段树的方法，确定所述第一图像的所述多个颜色分割的构件。17. 根据权利要求13所述的装置，其中用于确定在所述第一图像中的所述一个或多个 无穷区域，所述装置还包括： 用于基于将所述第一视差图与所述第二视差图进行比较来确定在所述第一视差图中 的遮挡像素的构件；以及 用于基于所述第一图像的所述多个颜色分割的大小，在所述多个颜色分割中的置信像 素的数量和遮挡像素的数量来判定所述一个或多个无穷区域的构件。18. 根据权利要求17所述的装置，其中用于判定所述一个或多个无穷区域，所述装置 还包括： 用于基于将所述多个颜色分割的大小与阈值大小进行比较，确定所述多个颜色分割的 颜色分割的集合的构件； 用于计算针对颜色分割的所述集合的第一因子和第二因子的比率，其中基于在个体颜 色分割中不是遮挡像素的置信像素的数量来计算针对颜色分割的所述集合中的所述个体 颜色分割的所述第一因子，以及基于在所述个体颜色分割中不是遮挡像素的全部像素来计 算针对颜色分割的所述集合中的所述个体颜色分割的所述第二因子的构件；以及 用于基于将所述比率与阈值比率进行比较将颜色分割的所述集合中的一个或多个颜 色分割分类成所述一个或多个无穷区域的构件。19. 根据权利要求18所述的装置，其中用于将颜色分割的所述集合中的颜色分割分类 成所述一个或多个无穷区域中的无穷区域，所述装置还包括： 用于将针对颜色分割的所述集合中的所述颜色分割的所述比率与所述阈值比率进行 比较以及执行以下中的一个的构件： 如果所述比率小于所述阈值比率，则颜色分割的所述集合中的所述颜色分割被分类成 所述无穷区域；以及 如果所述比率大于或等于所述阈值比率，则颜色分割的所述集合中的所述颜色分割中 的非置信像素被分类成遮挡孔洞。20. 根据权利要求13至19中的任何一项所述的装置，其中基于基于树的聚合方法来确 定针对所述第一图像的所述像素的过滤的视差值。21. 根据权利要求14至19中的任何一项所述的装置，其中基于以下表达式来确定针对 所述第一图像的像素的过滤的视差值：其中dp是针对所述第一图像的像素 p的过滤的视差值，d,是针对所述第一图像的像素 q的视差值，D(p，q)是在第一线段树中的像素 p和像素 q之间的距离，b,是与所述置信图 相关联的像素 q的二进制置信值，Np是针对像素 p的正规化项，以及σ是常数。22. 据权利要求13至19中的任何一项所述的装置，其中基于全图像引导过滤方法来确 定针对所述第一图像的所述像素的所述过滤的视差值。23. 据权利要求13至19中的任何一项所述的装置，其中所述预定义视差值是零视差 值。24. 据权利要求13至19中的任何一项所述的装置，其中所述第一图像和所述第二图像 是所述场景的立体图像对。25. -种装置，其被配置为执行根据权利要求1至11中的任何一项所述的方法。
【专利摘要】在示例实施例中，提供了方法、装置和计算机程序产品。所述方法包含：促进接收第一图像和第二图像。针对多个视差值确定与所述第一图像和第二图像的像素相关联的第一总代价量和第二总代价量。基于所述第一总代价量和第二总代价量生成第一视差图和第二视差图。基于第一总代价量，生成针对第一图像的视差值的置信图。基于在第一图像的颜色分割中的置信像素的数量，确定在第一图像中的一个或多个无穷区域。通过确定针对第一图像的像素的过滤的视差值，生成第三视差图，其中针对一个或多个无穷区域的像素的过滤的视差值是预定义视差值。
【IPC分类】H04N13/00
【公开号】CN104902254
【申请号】CN201510093118
【发明人】S·乌基尔, V·穆尼恩德尔, K·A·戈文达拉奥
【申请人】诺基亚公司
【公开日】2015年9月9日
【申请日】2015年3月2日
【公告号】EP2916291A1, US20150248769