用于立体图像的视差图估计的方法、装置及计算机程序产品的制作方法
【技术领域】
[0001] 各种实施例一般设及用于立体图像的视差图估计的方法、装置及计算机程序产 品。
【背景技术】
[0002] 各种电子设备，例如相机、移动电话和其它多媒体设备广泛地用于捕获场景图像。 一些电子设备能够捕获立体图像，W及使用该立体图像进行场景的视差图估计。视差图估 计是确定立体图像之间的像素中的位移的过程。通常，视差图包含在对象轮廓周围的错误 的视差和被表示为孔洞或无纹理区域的丢失视差。通常地，使用各种方法，诸如基于最小生 成树（MST)的聚合框架、基于水平/垂直的聚合框架或诸如此类，来进行视差图中的视差的 完善和填充。然而，完善对象轮廓W及解决由于孔洞和无纹理区域导致的视差估计中的误 差已经是一种挑战。
【发明内容】
[0003] 在权利要求书中阐述了示例实施例的各种方面。
[0004] 在第一方面中，提供了一种方法，所述方法包括；促进接收第一图像和第二图像， 所述第一图像和所述第二图像与场景相关联；确定针对多个视差值的与所述第一图像的像 素相关联的第一总代价量（volume)，W及确定针对多个视差值的与所述第二图像的像素相 关联的第二总代价量；基于所述第一总代价量生成所述第一图像的第一视差图，W及基于 所述第二总代价量生成所述第二图像的第二视差图；基于所述第一总代价量，生成针对在 所述第一视差图中的所述第一图像的所述像素的视差值的置信图，所述置信图表示来自所 述第一图像的所述像素的置信像素的集合；至少基于所述第一图像的多个颜色分割（color segments)和在所述多个颜色分割中的置信像素的数量，确定在所述第一图像中的一个或 多个无穷区域（infinityregions) 及通过确定针对所述第一图像的所述像素的过滤的 视差值，基于所述第一视差图生成第=视差图，其中针对在所述第一图像中的所述一个或 多个无穷区域的像素的过滤的视差值被确定为预定义视差值。
[0005] 在第二方面中，提供了一种装置，所述装置包括至少一个处理器；W及包括计算机 程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为使用所 述至少一个处理器使得所述装置执行至少：促进接收第一图像和第二图像，所述第一图像 和所述第二图像与场景相关联；确定针对多个视差值的与所述第一图像的像素相关联的第 一总代价量，W及确定针对多个视差值的与所述第二图像的像素相关联的第二总代价量； 基于所述第一总代价量生成所述第一图像的第一视差图，W及基于所述第二总代价量生成 所述第二图像的第二视差图；基于所述第一总代价量，生成针对在所述第一视差图中的所 述第一图像的所述像素的视差值的置信图，所述置信图表示来自所述第一图像的所述像素 的置信像素的集合；至少基于所述第一图像的多个颜色分割和在所述多个颜色分割中的置 信像素的数量，确定在所述第一图像中的一个或多个无穷区域；w及通过确定针对所述第 一图像的所述像素的过滤的视差值，基于所述第一视差图生成第=视差图，其中针对在所 述第一图像中的所述一个或多个无穷区域的像素的过滤的视差值被确定为预定义视差值。
[0006] 在第=方面中，提供了一种计算机程序产品，所述计算机程序产品包括：至少一个 计算机可读存储介质，所述计算机可读存储介质包括指令集，当由一个或多个处理器执行 所述指令集时，所述指令集使得装置执行至少；促进接收第一图像和第二图像，所述第一图 像和所述第二图像与场景相关联；确定针对多个视差值的与所述第一图像的像素相关联的 第一总代价量，W及确定针对所述多个视差值的与所述第二图像的像素相关联的第二总代 价量；基于所述第一总代价量生成所述第一图像的第一视差图，W及基于所述第二总代价 量生成所述第二图像的第二视差图；基于所述第一总代价量，生成针对在所述第一视差图 中的所述第一图像的所述像素的视差值的置信图，所述置信图表示来自所述第一图像的所 述像素的置信像素的集合；至少基于所述第一图像的多个颜色分割和在所述多个颜色分割 中的置信像素的数量，确定在所述第一图像中的一个或多个无穷区域；W及通过确定针对 所述第一图像的所述像素的过滤的视差值，基于所述第一视差图生成第=视差图，其中针 对在所述第一图像中的所述一个或多个无穷区域的像素的过滤的视差值被确定为预定义 视差值。
[0007] 在第四方面中，提供了一种装置，所述装置包括；用于促进接收第一图像和第二图 像的构件，所述第一图像和所述第二图像与场景相关联；用于促进接收第一图像和第二图 像的构件，所述第一图像和所述第二图像与场景相关联；用于确定针对多个视差值的与所 述第一图像的像素相关联的第一总代价量，W及确定针对所述多个视差值的与所述第二图 像的像素相关联的第二总代价量的构件；用于基于所述第一总代价量生成所述第一图像的 第一视差图，W及基于所述第二总代价量生成所述第二图像的第二视差图的构件；用于基 于所述第一总代价量，生成针对在所述第一视差图中的所述第一图像的所述像素的视差值 的置信图的构件，所述置信图表示来自所述第一图像的所述像素的置信像素的集合；用于 至少基于所述第一图像的多个颜色分割和在所述多个颜色分割中的置信像素的数量，确定 在所述第一图像中的一个或多个无穷区域的构件；W及用于通过确定针对所述第一图像的 所述像素的过滤的视差值，基于所述第一视差图生成第=视差图的构件，其中针对在所述 第一图像中的所述一个或多个无穷区域的像素的过滤的视差值被确定为预定义视差值。 [000引在第五方面中，提供了一种计算机程序，所述计算机程序包括计算机指令，当由装 置执行所述程序指令时，所述程序指令使得所述装置：促进接收第一图像和第二图像，所述 第一图像和所述第二图像与场景相关联；确定针对多个视差值的与所述第一图像的像素相 关联的第一总代价量，W及确定针对所述多个视差值的与所述第二图像的像素相关联的第 二总代价量；基于所述第一总代价量生成所述第一图像的第一视差图，W及基于所述第二 总代价量生成所述第二图像的第二视差图；基于所述第一总代价量，生成针对在所述第一 视差图中的所述第一图像的所述像素的视差值的置信图，所述置信图表示来自所述第一图 像的所述像素的置信像素的集合；至少基于所述第一图像的多个颜色分割和在所述多个颜 色分割中的置信像素的数量，确定在所述第一图像中的一个或多个无穷区域；W及通过确 定针对所述第一图像的所述像素的过滤的视差值，基于所述第一视差图生成第=视差图， 其中针对在所述第一图像中的所述一个或多个无穷区域的像素的过滤的视差值被确定为 预定义视差值。
【附图说明】
[0009] 在附图的图中，作为示例而不是为了限制来说明各种实施例，在附图中：
[0010] 图1说明了依照示例实施例的设备；
[0011] 图2说明了依照示例实施例的用于立体图像的视差图估计的装置；
[0012] 图3A说明了依照示例实施例的立体图像的第一图像的示例表示；
[0013] 图3B说明了依照示例实施例的第一图像的示例视差图；
[0014] 图4说明了依照示例实施例的第一图像的多个颜色分割的示例表示；
[0015] 图5A说明了依照示例实施例的与一个或多个无穷区域相关联的二值掩码的示例 表不；
[0016] 图5B说明了依照示例实施例的与遮挡孔洞相关联的二值掩码的示例表示；
[0017] 图6说明了依照示例实施例的基于第一视差图生成的完善视差图；
[0018] 图7是依照示例实施例的描述用于视差图估计的示例方法的流程图；W及
[0019] 图8A和图8B是依照示例实施例的描述用于视差图估计的示例方法的流程图。
【具体实施方式】
[0020] 通过参照图1到附图8A-8B，将理解示例实施例和它们潜在的效果。
[0021] 图1说明了依照示例实施例的设备100。然而，应当理解的是，如被说明的W及下 文描述的设备100仅是说明可W受益于各种实施例的一种类型的设备，因此不应当被认为 限制实施例的范围。照此，应当了解的是，W下结合设备100描述的组件中的至少一些组件 可W是非必需的，W及因此，在示例实施例中，可W包含比结合图1的示例实施例所描述的 那些组件更多、更少或不同的组件。设备100可W是许多类型的移动电子设备中的任何一 种类型的移动电子设备，例如，便携式数字助理（PDA)、寻呼机、移动电视、游戏设备、蜂窝电 话、所有类型的计算机（例如，膝上型计算机、移动计算机或台式机）、相机、音频/视频播放 器、无线电、全球定位系统（GP巧设备、媒体播放器、移动数字助理或上述的任何组合，W及 其它类型的通信设备。
[0022] 设备100可W包含；天线102 (或多个天线），其与传送器104和接收器106可操 作地通信。设备100还可W包含；装置，诸如控制器108或其它处理设备，该装置分别向传 送器104提供信号和从接收器106接收信号。该信号可W包含；依照可适用的蜂窝系统的 空中接口标准的信令信息，并且/或还可W包含；对应于用户语音的数据、接收的数据和/ 或用户生成的数据。在该点上，设备100能够使用一个或多个空中接口标准、通信协议、调 制类型和接入类型进行操作。作为说明，设备100能够依照许多第一代、第二代、第=代和/ 或第四代通信协议或诸如此类中的任何一个通信协议进行操作。例如，设备100能够依照 第二代（2G)无线通信协议IS-136(时分多址接入（TDMA))、GSM(全球移动通信系统）W及 IS-95(码分多址接入（CDMA))，或依照第=代（3G)无线通信协议（诸如，通用移动通信系 统（UMTS)、CDMA1000、宽带CDMA(WCDMA)、时分同步CDMA(TD-SCDMA)，依照 3. 9G无线通信协 议（诸如演进的通用陆地无线电接入网巧-UTRAN))，依照第四代无线通信协议或诸如此类 进行操作。作为一种可替代方案（或另外），设备100能够依照非蜂窝通信机制进行操作。 例如，计算机网络（诸如互联网）、局域网、广域网w及诸如此类；短距无线通信网络，诸如 包含蓝牙⑧网络、巧gbee?网络、电气与电子工程师协会地邸)8〇2.iix网络W及诸如 此类；有线通信网络，诸如公共交换电话网（PSTN)。
[0023] 控制器108可W包括电路，该电路实现设备100的音频和逻辑功能（还有其它 的）。例如，控制器108可W包含但不限于：一个或多个数字信号处理器设备、一个或多个 微处理器设备、一个或多个具有伴随的数字信号处理器（多个）的处理器（多个）、一个或 多个不具有伴随的数字信号处理器（多个）的处理器（多个）、一个或多个专用计算机巧 片、一个或多个现场可编程口阵列（FPGA)、一个或多个控制器、一个或多个专用集成电路 (ASIC)、一个或多个计算机（多个）、各种模拟-至-数字变换器、数字-至-模拟变换器， 和/或其它支持电路。可W根据该些设备的各自能力，在它们之间分配设备100的控制和 信号处理功能。因此，控制器108还可W包含在调制和传输之前卷积编码和交织消息和数 据的功能。另外，控制器108可W包含内部语音编码器，W及可W包含内部数据调制解调 器。此外，控制器108可W包含用于操作一个或多个软件程序的功能，该软件程序可W被存 储在存储器中。例如，控制器108能够操作连通性程序，诸如常规网络浏览器。连通性程序 于是可W允许设备100根据诸如无线应用协议（WAP)、超文本传输协议（HIT巧和/或诸如 此类来传送和接收网络内容，诸如基于位置的内容和/或其它网页内容。在示例实施例中， 可W将控制器108具体化为多核处理器，诸如双核或四核处理器。然而，可W将任何数量的 处理器包含在控制器108中。
[0024] 设备100还可W包括用户接口，该用户接口包含输出设备，诸如振铃器110、耳机 或扬声器112,麦克风114,显示器116和用户输入接口，用户接口可W禪合到控制器108。 用户输入接口，其允许设备100接收数据，可W包含允许设备100接收数据的多种设备中的 任何设备，诸如小键盘118、触摸显示器、麦克风或其它输入设备。在包含小键盘118的实 施例中，小键盘118可W包含数字（0-9)和有关键（#，*)，W及用于操作设备100的其它硬 键和软键。可替代地或另外地，小键盘118可W包含；常规的Q肥RTY小键盘布置。小键盘 118还可W包含；具