用于渲染图像的设备和方法
【专利说明】用于這染图像的设备和方法
[0001] 本申请要求于2014年7月29日在韩国知识产权局提交的第10-2014-0096251号 韩国专利申请的优先权益，该公开全部合并于此W资参考。
技术领域
[0002] 示例实施例设及一种用于擅染立体图像的图像处理技术。
【背景技术】
[0003] 在=维（3D)显示设备中显示3D图像可包括需要3D眼镜的眼镜型方案或实现立 体图像的裸眼型方案。在眼镜型方案中，可使用偏振光划分、时间划分、用于区分主要颜色 的波长和其它波长的波长划分等来执行对期望的图像的过滤。在裸眼型方案中，每个图像 可通过视差屏障、柱状透镜等被显示为从预定和/或期望的视点被看见。在裸眼型方案中， 从预定和/或期望的空间中的点按照不同方向输出的光线可在不经改变的情况下通过显 示器被呈现。可在不同位置和不同角度获得可用图像，可使用获得的图像来擅染适合于当 前视点的图像。通常，在呈现光场的方案中为了产生将被显示的多个图像，可基于至少两个 输入图像产生N个中间图像，并可基于产生的N个中间图像确定将从3D显示设备的像素输 出的3D图像信息。
【发明内容】
[0004] 至少一个示例实施例设及一种用于擅染将由包括多个显示像素的显示设备显示 的立体图像的图像擅染方法。 阳〇化]根据至少一个示例实施例，一种用于擅染将由包括多个显示像素的显示设备显示 的立体图像的图像擅染方法包括：估计包括在输入图像中的被选择的图像像素的视差；将 被选择的图像像素的像素值分配给所述多个显示像素中的一显示像素，其中，被分配的显 示像素具有与被选择的图像像素的视点方向相应的视点方向。
[0006] 至少一个示例实施例规定，被选择的图像像素的视点方向可基于被选择的图像像 素的视差。
[0007] 至少一个示例实施例规定，分配步骤可包括：获得与所述多个显示像素的多个视 点方向相关联的第一模型，被分配的显示像素的视点方向是所述多个显示像素的多个视点 方向之一，基于被选择的图像像素的视差获得与被选择的图像像素的视点方向相关联的第 二模型，其中，分配步骤基于获得的第一模型和获得的第二模型。
[0008] 至少一个示例实施例规定，第一模型可基于所述多个显示像素中的每个显示像素 的视点方向与所述多个显示像素的相应位置之间的关系。
[0009] 至少一个示例实施例规定，获得第二模型的获得步骤通过基于输入图像中被选择 的图像像素的位置对将从被选择的图像像素输出的光线的方向进行建模来获得第二模型。
[0010] 至少一个示例实施例规定，分配步骤可包括：基于获得的第一模型和获得的第二 模型之间的关系，识别所述多个显示像素中具有与被选择的图像像素的视点方向相同的视 点方向的一个显示像素，并且分配步骤将被选择的图像像素的像素值分配给识别的显示像 素。
[0011] 至少一个示例实施例规定，确定步骤可包括：使用第一模型W及与多个图像像素 相关联的多个第二模型，确定将被分配所述多个图像像素中的每个图像像素的像素值的显 示像素，所述多个图像像素的位置可彼此邻近。
[0012] 至少一个示例实施例规定，分配步骤可包括：对所述多个图像像素的像素值进行 插值，并将插值得到的多个像素值之一分配给被分配的显示像素。
[0013] 至少一个示例实施例规定，所述多个显示像素中的每个显示像素具有多个不同的 视点方向中的一个视点方向。
[0014] 至少一个示例实施例设及一种显示设备。
[0015] 根据至少一个示例实施例，一种显示设备包括：显示器，被配置为使用多个显示像 素来显示立体图像，其中，所述多个显示像素中的每个显示像素具有相应的视点方向；图像 擅染器，被配置为通过基于输入图像中的图像像素的视点方向将被选择的图像像素的像素 值分配给所述多个显示像素中的一显示像素。
[0016] 至少一个示例实施例规定，图像擅染器可被配置为：使用与所述多个显示像素的 多个视点方向分别关联的第一模型W及与被选择的图像像素的视点方向相关联的第二模 型来确定被分配的显示像素。
[0017] 至少一个示例实施例规定，被选择的图像像素是多个图像像素之一，与被选择的 图像像素的视点方向相关联的第二模型是与所述多个图像像素相关联的多个第二模型之 一，图像擅染器可被配置为使用第一模型和所述多个第二模型来确定被分配的显示像素，
[0018] 至少一个示例实施例设及一种图像擅染设备。
[0019] 根据至少一个示例实施例，一种图像擅染设备包括：视差估计器，被配置为估计包 括在输入图像中的被选择的图像像素的视差；图像擅染器，被配置为通过将被选择的图像 像素的像素值分配给显示像素来擅染立体图像，其中，被分配的显示像素具有与被选择的 图像像素的视点方向相应的视点方向。
[0020] 至少一个示例实施例规定，被选择的图像像素的视点方向可基于图像像素的视 差，图像像素可具有预定和/或期望的视点方向。
[0021] 至少一个示例实施例规定，图像擅染器可被配置为：基于被选择的图像像素的视 点方向和多个显示像素中的每个显示像素的视点方向，在所述多个显示像素中捜索将被分 配所述被选择的图像像素的像素值的显示像素。
[0022] 至少一个示例实施例公开一种显示设备，包括：显示器，包括多个显示像素；处理 器，被配置为获得与所述多个显示像素的位置和视点方向相关联的第一模型，接收相应的 多个图像像素的图像数据，获得与所述多个图像像素中的至少一个图像像素的视差相关联 的第二模型，并基于第一模型和第二模型将显示值应用于所述多个显示像素中的至少一个 显示像素。
[0023] 在至少一个示例实施例中，处理器被配置为基于显示值产生3D显示。
[0024] 在至少一个示例实施例中，第二模型是奇异线性函数，处理器被配置为将奇异线 性函数应用于第一模型，确定第一模型和第二模型的至少一个交叉点，并基于所述至少一 个交叉点应用显示值。
[00巧]在至少一个示例实施例中，所述至少一个交叉点与所述多个显示像素之一相关 联。
[00%] 在至少一个示例实施例中，所述多个显示像素与多个视点方向相关联，第一模型 包括多个中间函数，每个中间函数与所述多个视点方向之一相关联。
[0027] 在至少一个示例实施例中，处理器被配置为在不产生多视点图像的情况下分配显 示值。
[0028] 将在下面的【具体实施方式】中部分地阐述示例实施例的另外的方面，部分地通过具 体实施方式将是清楚的，或者可通过本公开的实践而得知。
【附图说明】
[0029] 通过W下结合附图对示例实施例的描述，运些和/或其它方面将会变得清楚和更 容易理解，其中：
[0030] 图1示出根据至少一个示例实施例的显示设备；
[0031] 图2示出根据至少一个示例实施例的图像擅染设备；
[0032] 图3示出根据至少一个示例实施例的显示像素的视点方向；
[0033] 图4和图5示出根据至少一个示例实施例的第一模型；
[0034] 图6示出根据至少一个示例实施例的第二模型；
[0035] 图7示出根据至少一个示例实施例的基于第一模型和第二模型来擅染立体图像 的处理的示例；
[0036] 图8示出根据至少一个示例实施例的基于第一模型和第二模型来擅染立体图像 的另一示例；
[0037] 图9示出根据至少一个示例实施例的图像擅染方法。
【具体实施方式】
[0038] 现在将详细参照实施例，实施例的示例在附图中示出，其中，相同的标号始终表示 相同的元件。W下通过参照附图描述示例实施例W解释本公开。
[0039] 在附图中，为了清楚，层和区域的厚度被夸大。附图中的相同标号表示相同元件。
[0040] 在本文中公开了详细的示意实施例。然而，在本文中公开的特定结构和功能细节 仅是代表性的用于描述示例实施例的目的。示例实施例可按照多种可替代形式实施而不应 被理解为仅限于本文中阐述的示例实施例。
[0041] 然而，应理解，不意图将本公开限制于公开的特定示例实施例。相反，示例实施例 将覆盖落入示例实施例的范围内的所有修改、等同和可选替换。相同的标号在附图的说明 中始终表示相同元件。
[0042] 应理解，尽管在本文中可使用术语第一、第二等来描述各种元件，但是运些元件不 应受运些术语限制。运些术语仅用于将一个元件与另一元件区分。例如，在不脱离本公开 的范围的情况下，第一元件可被叫做第二元件，类似地，第二元件可被叫做第一元件。如在 本文中使用的，术语"和/或"包括相关列出项中的一个或更多个项的任意和全部组合。
[0043] 应理解，当元件被称为与另一元件"连接"或"结合"时，该元件可与所述另一元件 直接连接或结合，或者可存在中间元件。相反，当元件被称为与另一元件"直接连接"或"直 接结合"时，不存在中间元件。用于描述元件之间的关系的其它词语应按照相同的方式被解 释（例如，"在…之间"和"直接在…之间"、"与…相邻"和"直接与…相邻"等）。
[0044] 本文中使用的术语是仅用于描述特定实施例的目的而不是意图限制。如本文中使 用的，单数形式意图还包括复数形式，除非向下文明确另外指示。还应理解，当术语"包括"、 "包括有…"、"包含"和/或"包含有…"在本文中使用时，说明提到的特征、整体、步骤、操 作、元件和/或组件的存在，但是不排除存在或增加一个或更多个其它特征、整体、步骤、操 作、元件、组件和/或它们的组。
[0045] 还应注意，在某些可选实施方式中，提到的功能/行为可不按照附图中提到的顺 序发生。例如，根据设及的功能/行为，连续示出的两幅图可实际上被基本同时执行，或者 在某些时候可按照相反顺序被执行。
[0046] 现在将参照附图更充分地描述各种示例实施例，其中，在附图中示出了某些示例 实施例。在附图中，为了清楚，层和区域的厚度被夸大。
[0047] 图1示出根据至少一个示例实施例的显示设备110。
[0048] 显示设备110可接收输入图像，并可显示立体图像或=维（3D)图像。显示设备 110可使用表现与期望的立体图像相应的光线分布或光场的方案来显示立体图像。例如，显 示设备110可针对光线的每个位置和每个方向在显示器表面上表现光线的分布，并可实现 立体图像。 W例显示设备110可W是例如3D电视（TV)、3D智能手机、3D平板或3D数字信息显示 器值ID)。
[0050] 显示设备110可使用例如柱状透镜的光学元件来实现立体图像。例如，显示设备 110可通过穿过柱状透镜的光的折射来将不同的图像输出到用户的左眼和右眼，用户可基 于左眼看到的图像和右眼看到的图像之间的视点差感知到立体效果。
[0051] 在一示例中，显示设备110可接收作为输入图像的彩色图像，并一起接收与彩色 图像相应的深度图像。深度图像可包括指示目标和图像被捕捉的位置之间的距离的深度信 息。在另一示例中，显示设备110可接收作为输入图像的彩色图像，并一起接收从不同于彩 色图像的视点的视点捕捉的参考图像。参考