用于立体匹配的方法和用于上采样的方法
【专利说明】
[0001] 本申请要求于2014年5月13日提交到韩国知识产权局的第10-2014-0057176号 韩国专利申请的优先权利益，所述申请的整个公开内容通过引用合并于此。
技术领域
[0002] 以下描述的示例实施例涉及一种用于产生生成树的方法和设备、一种用于立体匹 配的方法和设备、一种用于上采样的方法和设备以及一种用于产生参考像素的方法和设 备。
【背景技术】
[0003] 通常，计算机视觉是指用于通过使用图像获取信息的技术。例如，用于通过使用图 像获取距离信息的技术被称为立体视觉。
[0004] 在两个相机被平行布置的立体系统的立体匹配中，执行检测左图像和右图像之间 的相应点。为了检测最相似的相应点，用于立体匹配的方法可对右图像的所有像素和左图 像的像素分别进行比较。通过此过程，可通过获得的相应点来确定距离。
【发明内容】
[0005] 通过提供一种产生生成树的方法来实现上述和/或其它方面，所述方法包括：接 收用于输入图像的与参考像素相关联的信息；基于所述信息产生连接在输入图像中包括的 一般像素和参考像素的生成树。当参考像素与在输入图像中包括的一般像素相比时，参考 像素还可包括额外信息。
[0006] -般像素中的每个一般像素可包括强度信息和位置信息中的至少一个。额外信息 可包括视差信息和深度信息中的至少一个。
[0007] 生成树可包括连接在输入图像中包括的一般像素和参考像素的最小生成树 (MST)。生成树可包括多个子树，其中，所述多个子树中的每个子树包括具有一定程度的相 关性的像素。
[0008] 产生生成树的步骤可包括：产生使参考像素是根节点的多个子树；通过调整所述 多个子树之间的边代价来连接所述多个子树。
[0009] 通过提供一种用于立体匹配的方法来实现上述和/或其它方面，所述方法包括： 接收用于立体匹配的第一输入图像和第二输入图像；获得连接在第一输入图像中包括的多 个像素的生成树；基于在所述多个像素中的一般像素的数据代价、所述多个像素中的参考 像素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素 的与多个候选视差相应的多个累计数据代价；通过将所述多个累计数据代价进行比较，确 定所述多个候选视差中的一个候选视差为所述多个像素中的一个像素的视差。
[0010] 通过提供一种用于上采样的方法来实现上述和/或其它方面，所述方法包括：获 得连接在输入图像中包括的多个像素的生成树；基于所述多个像素中的参考像素的数据代 价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素的与多个候选 深度相应的多个累计数据代价；通过将所述多个累计数据代价进行比较，确定所述多个候 选深度中的一个候选深度是所述多个像素中的一个像素的深度。
[0011] 通过提供一种产生参考像素的方法来实现上述和/或其它方面，所述方法包括： 跟踪在立体视频中包括的第一图像序列和第二图像序列；基于跟踪第一图像序列的结果、 跟踪第二图像序列的结果以及在先前帧中进行立体匹配度的结果，产生用于当前帧的参考 像素。
[0012] 通过提供一种用于产生生成树的设备来实现上述和/或其它方面，所述设备包 括：接收器，接收用于输入图像的与参考像素相关联的信息；产生器，基于所述信息产生连 接在输入图像中包括的一般像素和参考像素的生成树。
[0013] 通过提供一种用于立体匹配的设备来实现上述和/或其它方面，所述设备包括： 接收器，接收用于立体匹配的第一输入图像和第二输入图像；获得器，获得连接在第一输入 图像中包括的多个像素的生成树；计算器，基于在所述多个像素中的一般像素的数据代价、 所述多个像素中的参考像素的数据代价以及在生成树中包括的边的边代价，计算用于所述 多个像素中的一个像素的与多个候选视差相应的多个累计数据代价；确定器，通过将所述 多个累计数据代价进行比较，确定所述多个候选视差中的一个候选视差为所述多个像素中 的一个像素的视差。
[0014] 通过一种用于上采样的设备来实现上述和/或其它方面，所述设备包括：获得器， 获得连接在输入图像中包括的多个像素的生成树；计算器，基于所述多个像素中的参考像 素的数据代价以及在生成树中包括的边的边代价，计算用于所述多个像素中的一个像素的 与多个候选深度相应的多个累计数据代价；确定器，通过将所述多个累计数据代价进行比 较，确定所述多个候选深度中的一个候选深度是所述多个像素中的一个像素的深度。
[0015] 通过提供一种用于产生参考像素的设备来实现上述和/或其它方面，所述设备包 括：跟踪器，跟踪在立体视频中包括的第一图像序列和第二图像序列；产生器，基于跟踪第 一图像序列的结果、跟踪第二图像序列的结果以及在先前帧中进行立体匹配的结果，产生 用于当前帧的参考像素。
[0016] 示例实施例的另外的方面在以下描述中将被部分阐述，并且部分将从所述描述中 是显而易见的，或者可通过本公开的实践被获知。
【附图说明】
[0017] 从结合附图对示例实施例进行的以下描述，这些和/或其它方面将变得清楚和更 易于理解，其中：
[0018] 图1示出根据示例实施例的参考像素；
[0019] 图2示出根据示例实施例的包括视差信息的参考像素；
[0020] 图3示出根据示例实施例的包括深度信息的参考像素；
[0021] 图4至图16示出根据示例实施例的使用参考像素产生生成树的操作；
[0022] 图17和图18示出根据示例实施例的使用生成树进行立体匹配的操作或进行上采 样的操作；
[0023] 图19和图20示出根据示例实施例的使用立体视频产生参考像素；
[0024] 图21至图25是示出根据示例实施例的操作的流程图；
[0025] 图26至图29是根据示例实施例的框图。
【具体实施方式】
[0026] 现在将参照附图更全面地描述示例实施例。可实现许多可替换形式，并且示例实 施例不应被解释为限于在此阐述的示例实施例。在附图中，相同的标号指示相同的元件。
[0027] 将理解的是，虽然术语第一、第二等可在此用于描述各种元件，但是这些元件不应 受这些术语限制。这些术语仅用于将一个元件与另一个元件区分开。例如，在不脱离示例 实施例的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元 件。如这里所使用的，术语"和/或"包括相关所列项中的一个或更多个的任意组合和全部 组合。
[0028] 将理解的是，当元件被称为"连接"或"耦接"到另一元件时，所述元件可直接连接 或耦接到所述另一元件，或者可存在中间元件。相反，当元件被称为"直接连接"或"直接耦 接"到另一元件时，不存在中间元件。用于描述元件之间的关系的其它词语将以类似方式来 解释（例如，"在…之间"相对于"直接在…之间"、"相邻"相对于"直接相邻"等）。
[0029] 在此使用的术语仅用于描述特定实施例，而不意在限制示例实施例。除非上下文 另有明确指示，否则如这里所使用的，单数形式还意在包括复数形式。将进一步理解，当在 此使用术语"包括"、"包括着"、"包含"和/或"包含着"时，所述术语指出存在陈述的特征、 整数、步骤、操作、元件和/或组件，但是不排除存在或添加一个或更多个其它特征、整数、 步骤、操作、元件、组件和/或它们的组。
[0030] 除非另有明确声明，或者从讨论中显而易见，否则诸如"处理"或"计算"或"运算" 或"确定"或"显示"等术语指示计算机系统或类似的电子计算装置的动作和处理，其中，所 述计算机系统或类似的电子计算装置将表示为在计算机系统的寄存器和存储器中的物理 量、电学量的数据操纵和转换成类似地表示为在计算机系统的存储器或寄存器或其它这种 信息存储装置、传输装置或显示装置内的物理量的其它数据。
[0031] 在以下描述中提供特定细节以提供对示例实施例的全面理解。然而，本领域的普 通技术人员将理解，可在没有这些特定细节的情况下实现示例实施例。例如，可在框图中示 出系统，以免以不必要的细节模糊示例实施例。在其它示例中，可在没有不必要的细节的情 况下示出公知的处理、结构和技术，以避免模糊示例实施例。
[0032] 在以下描述中，将参照操作的动作和符号表示（例如，以流程图、流程示图、数据 流示图、结构图、框图等的形式）来描述说明性实施例，其中，所述操作可被实现为程序模 块或功能处理，并可使用在现有电子系统（例如，3D显示装置）中现有的硬件来实现，其中， 所述程序模块或功能处理包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、 组件、数据结构等。这种现有的硬件可包括一个或更多个中央处理器（CPU)、数字信号处理 器（DSP)、专用集成电路、现场可编程门阵列（FPGA)计算机等。
[0033] 虽然流程图可将操作描述为顺序的处理，但是许多操作可被并行、并发或同时执 行。另外，可重新排列操作的顺序。当处理的操作被完成时，可终止该处理，但是处理也可 具有未包括在附图中的另外的步骤。处理可与方法、函数、过程、子例程、子程序等相应。当 处理与函数相应时，它的终止可与函数返回到调用函数或主函数相应。
[0034] 如这里所公开的，术语"存储介质"、"计算机可读存储介质"或"非暂时性计算机 可读存储介质"可表示一个或更多个用于存储数据的装置，其中，所述装置包括只读存储器 (ROM)、随机存取存储器（RAM)、磁性RAM、核心存储器、磁盘存储介质、光存储介质、闪存装 置和/或其它用于存储信息的有形机器可读介质。术语"计算机可读介质"可包括但不限 于便携式或固定存储装置、光存储装置和能够存储、包含或承载指令和/或数据的各种其 它介质。
[0035] 另外，可用硬件、软件、固件、中间件、微码、硬件描述语言或它们的任意组合来实 现示例实施例。当以软件、固件、中间件或微码来实现时，用于执行必要任务的程序代码或 代码段可被存储在机器或计算机可读介质（诸如计算机可读存储介质）中。当以软件来实 现时，一个处理器（或多个处理器）可被编程为执行必要任务，从而被转换成专用处理器或 计算机。以下公开的示例实施例可在对立体图像、多视点图像、光场图像或深度图像的处理 中找到各种应用，并可应用在三维（3D)建模或用户界面中。
[0036] 枏据示例实施例的参考像素
[0037] 图1示出根据示例实施例的参考像素。参照图1，图像100包括多个像素。多个像 素可包括表示图像100的信息。例如，表示图像100的信息可以是强度信息。当图像100 是彩色图像时，多个像素中的每个像素可包括（R、G、B)信息。
[0038] 在图像100中包括的多个像素中的每个像素可通过图像100中的坐标来识别，并 可通过唯一索引来指示。
[0039] 例如，当图像100以4X4矩阵的形式包括像素时，布置在第一行的第一列的像素 用索引"1"来表示，布置在第一行的第二列的像素用索引"2"来表示，布置在第一行的第 三列的像素用索引"3"来表示，布置在第一行的第四列的像素用索引"4"来表示。布置在 第二行的第一列的像素用索引"5"来表示，布置在第二行的第二列的像素用索引"6"来表 示，布置在第二行的第三列的像素用索引"7"来表示，布置在第二行的第四列的像素用索引 "8"来表示。在此示例中，布置在第四行的第四列的像素用索引"16"来表示。
[0040] 相应像素的坐标可简单地被指示预先确定和/或选择的像素的索引替代，这是因 为指示预先确定和/或选择的像素的索引与相应像素的坐标以一对一的关系相应。从这个 意义上讲，在图像100中包括的多个像素可包括位置信