用于自动立体多视图显示器的图像的生成的制作方法_4

文档序号:9932919阅读:来源:国知局
,第一和/或第二图像在其可以全部都基本对应于对于左眼或右眼的视角的 意义上,可以仅仅是基本上相同的图像。例如,尽管所有第一图像对应于右眼图像,但是这 些图像之间可能存在一些差别,例如它们可能对应于略有不同的视角。相似地,尽管所有第 二图像对应于左眼图像,但是这些图像之间可能存在一些差别,例如它们可能对应于略有 不同的视角。
[0098] 将了解,该装置的输入可以是任何合适形式的三维图像信息。还将了解,接收器 805可以从包括外部源和内部源两者的任何合适的源接收图像信息。
[0099]例如,在一些实施例中,该装置可以包括对于给出的场景的三维模型,并且对于不 同视图的图像可以通过对于给出的视角直接评估模型而生成。具体地,对于给出的视图方 向,可以针对对应于左眼的视点、针对对应于右眼的视点和针对其之间的视点来评估模型。
[0100] 该方法特别地适合和有利于渲染立体图像。立体图像可以通过为左眼和右眼提供 分开的图像而提供三维信息。因此,有效地,每个立体图像包括两个分开的图像,它们是一 个场景的同时的图像,但是具有对应于观看者双眼的不同的视角/视点。
[0101] 在一些实施例中,接收器805可以接收立体图像,并且将右眼图像转发给第一图像 生成器807并且将左眼图像转发给第二图像生成器809。第一图像生成器807可以然后进行 生成第一图像以对应于所接收的右眼图像。实际上,其可以直接将所接收的右眼图像用作 第一图像,或者在一些实施例中,其可以在使用图像之前对其提供某些处理,诸如例如噪声 过滤、锐化等等。
[0102] 相似地,第二图像生成器809可以进行生成第二图像以响应于所接收的左眼图像。 实际上,其可以直接将所接收的左眼图像用作第二图像,或者在一些实施例中,其可以在使 用图像之前对其提供某些处理,诸如例如噪声过滤、锐化等等。
[0103] 在一些实施例中,所接收的右眼图像和左眼图像两者可以被供应给第三图像生成 器811,其可以通过左眼图像和右眼图像中的至少一个图像的视点移位进行生成(一个或者 多个)第三图像。因此,视点或视角移位算法被应用于右眼图像和左眼图像中的至少一个图 像。视点移位算法被布置成将图像向中心位置移位。
[0104] 将了解,可以使用任何合适的视点移位算法,并且许多不同的算法将对技术人员 已知。
[0105] 例如,作为低复杂度的示例,第三图像生成器811可以被布置成标识在左眼图像和 右眼图像中的单独的相对应图像对象。两个图像中的每个图像对象的位置可以被确定,并 且在第三图像中的位置可以被确定为两个位置的平均值(即,介于相对于左眼图像和右眼 图像的图像位置之间的中间)。对于靠近观看者的对象而言,这将导致相对大的移动,然而 对于背景中的对象(或对于背景)而言,这典型地将导致不存在移动。在整个图像的处理之 后的任何剩余的漏洞(hole)然后可以使用来自左眼图像和右眼图像之一的图像数据来填 充(取决于空隙在首要的图像对象(即,具有最大移动的图像对象)的哪侧)。
[0106] 将理解,可以使用更加复杂和先进的算法,其包括利用附加的深度信息或者可能 地利用遮挡层的算法。
[0107] 该方法可以特别地允许典型地打算用于使用基于眼镜的系统渲染的、这样的立体 图像与自动立体多视图显示器一同使用。典型地,立体图像被生成为提供非常强的深度效 果,其对于常规自动立体多视图显示器是不实际的。然而,所描述的方法可以允许这样的强 深度效果在不引入不可接受的图像质量或不适的情况下被提供。该方法可以进一步提供对 多视图显示器的低复杂度的驱动。
[0108] 在一些实施例中,装置可以被进一步布置成在生成第一图像、第二图像和第三图 像之前适配左眼图像和右眼图像之间的视差。因此,所接收的右眼图像和左眼图像可以被 处理以生成经修改的右眼图像和经修改的左眼图像,其中之一可以与输入图像一致。上面 描述的过程可以然后用于基于经修改的图像生成第一、第二和第三图像。
[0109] 修改可以具体使得深度效果改变,并且典型地是相对于输入立体图像而减小。因 此,三维效果可以调整为特别适合于实际方法和由渲染方法所产生的性质。因此,在特定渲 染方法和输入立体图像的适配之间的协同效果允许对于来自自动立体多视图显示器的立 体图像的优化的渲染。
[0110] 特别地,适配器可以调整右眼图像和左眼图像之间的视差。例如,对应的图像对象 可以被确定。新图像(比如说左眼图像)然后可以通过移动图像对象使得对应的图像对象之 间的视差(位置偏移或差)减少到原始视差的某个比例而生成。例如,位移可以减少到原始 立体图像的比如说50%,从而使得深度效果的力度减半。
[0111] 在一些实施例中,输入图像可以是单图像,即,所接收的(一个或者多个)图像可以 对应于单个视点。除了图像之外,可以提供深度信息,诸如例如示出每个像素的相对深度的 深度图。
[0112]在这样的情境中,图像可以例如被提供给第三图像生成器811并且直接用于生成 (一个或者多个)第三图像。具体地,第三图像可以直接生成为所接收的图像。
[0113] 此外,图像和深度信息可以供应给第一图像生成器807和第二图像生成器809,其 可以进行执行视点/视角移位,以将针对单个图像的视角进行移位。第一图像生成器807和 第二图像生成器809可以执行相同的但是在相反方向上的视角移位。
[0114] 将了解,可以使用任何合适的视点移位操作。例如,输入图像的每个像素可以以与 指示深度图中的像素的深度成比例的值水平地移位。对于第一和第二图像的移位是在相反 的方向上的。任何所产生的漏洞可以由根据最后面的相邻区域进行外推来填充,或者可以 例如由除了输入图像之外提供的遮挡数据来填充。
[0115] 在之前的示例中,第三组邻接视图用于呈现对应于中心图像的单个图像。然而,在 其他实施例或情境中,可以生成和使用其他图像。此外,不同的图像可以用于邻接视图的组 中的不同视图。然而,在大多数实施例中,第三组邻接视图中的所有视图将包括对应于在左 眼和右眼视角之间的视角的场景的图像。这将提供改进的图像质量,并且具体地减小的串 扰,从而允许例如增大的深度效果。
[0116] 因此,鉴于在之前的示例中,第三图像生成器811被布置成针对第三组邻接视图中 的多个视图生成图像来作为一个图像的至少一部分,在其他的实施例中,第三图像生成器 811可以针对第三组邻接视图的不同视图生成不同图像,例如其对应于在右眼视角和左眼 视角之间的不同视角。
[0117] 对于第三组邻接视图中的图像的视角可以具体地从更靠近右眼视角到更靠近左 眼视角逐步地改变。因此,用于第三连续组的图像可以对应于介于在左眼视角和右眼视角 之间的视角,但是具有视角的单调增加(或减少)。因此,以从右到左的顺序,视角在从右眼 视角到左眼视角的方向上逐步地改变。因此,针对某个视图的视角(该视图比第三组邻接视 图的另一视图更往左)将与对于该另一视图的视角相同,或者在其左边。
[0118] 因此,在许多实施例中,第三图像生成器811有利地生成针对第三连续组中的多个 视图的图像以对应于与所述视图到第一组邻接视图的距离具有单调关系的视角。例如,单 独的视图离提供右眼视图的视图(从视图的角度)分开的越远,视角离右眼视角越远。
[0119] 等效地,在许多实施例中,第三图像生成器811有利地生成针对第三连续组中的多 个视图的图像以对应于与所述视图到第二组邻接视图的距离具有单调关系的视角。例如, 单独的视图离提供左眼视图的视图(从视图的角度)分开的越远,视角离左眼视角越远。
[0120] 在许多实施例中,具体地,视角可以作为距离到第一和/或第二组邻接视图的函数 而线性地改变。
[0121] 例如,在实施例中,邻接视图的组的分隔或过渡视图可以利用全部不同并且对应 于视角的图像提供,所述视角取决于视图到第一或第二邻接组和/或到视图锥的中心的相 对位置。例如,第三图像生成器811可以使用视角移位算法来合成对应于线性改变的视角的 图像。具体地,替代于使用如在之前的示例中描述的中心图像,第三图像生成器811可以合 成下面的图像: 视图13:在L和R之间以20%/80%合成图像/视图 视图14:在L和R之间以40%/60%合成图像/视图 视图15:在L和R之间以60%/40%合成图像/视图 视图16:在L和R之间以80%/20%合成图像/视图 此示例在图11中图示。
[0122] 在一些实施例中,装置可以如在图12中图示的进一步包括观看者位置追踪单元 1201,其被布置成生成用户视角估计(用户视角指示着从用户到显示器的角度)。观看者位 置追踪单元1201可以例如从诸如一个或多个相机之类的外部传感器1203接收输入。观看者 位置追踪单元1201可以例如使用眼睛检测以估计用户相对于显示器的位置,如将对于技术 人员而g是众所周知的。
[0123] 观看者位置追踪单元1201耦合到适配器1205,其被布置成响应于观看者视角而适 配由第一组邻接视图、第二组邻接视图和第三组邻接视图形成的视图锥。
[0124] 例如,如果用户移动到左边使得他的眼睛不再位于视图14和15之间的边界的中 心,而是位于视图13和14之间的边界的中心,适配器1205可以改变图像的生成,使得整个视 图锥有效地移位,使得视图锥的中心现在处于新位置的中心。因此,之前对应于视图锥的视 图13和14的多视图显示器803的视图现在被重新分配为是视图锥的视图14和15。因此,有效 地,由多视图显示器803生成的视图锥有效地向左移位一个视图,从而跟随用户并且使用户 保持在视图锥的中心。
[0125] 将了解,视图锥也可以以小于整个视图的距离移位。具体地,通过对对应于小于一 个像素的空间移位的图像执行空间内插滤波,图像可以以小于一个像素的大小而移位。
[0126] 具体地,在图9中示出的将三个不同的图像分配到视角假定观看者的眼睛恰好在 自动立体显示器的视图锥的中心。
[0127] 这对应于图13的上部的示例,其中,实际上观看者位置追踪单元1201已经标识了 观看者的眼睛恰好在锥体的中心,并且适配器1205因此已经控制第一图像生成器807、第二 图像生成器809和第三图像生成器811来生成针对视图的图像,如示出的。
[0128] 然而当用户并非恰好处在中心时,所有单独的视角循环地在可用的角度内(即
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1