用于自动立体多视图显示器的图像的生成的制作方法
【技术领域】
[0001] 本发明涉及用于自动立体多视图显示器的图像的生成，以及特别但不排他地，涉 及用于使用多视图显示器作为单个观看者的显示器的图像的生成。
【背景技术】
[0002] 三维显示器收到日益增多的关注，并且开展了如何为观看者提供三维感知的重要 研究。三维（3D)显示器通过为观看者的两只眼睛提供正看着的场景的不同视图，为观看体 验添加了第三维度。这可以通过使用户戴上眼镜以使显示的两个视图分开而实现。然而，由 于这对于用户相对不便，所以在许多情境下合期望的是，使用直接生成不同视图并且将其 投射到用户眼睛的自动立体显示器。实际上，一段时间以来，各种公司已经积极地开发适合 于渲染三维影像的自动立体显示器。自动立体设备可以为观看者呈现3D的印象而不需要特 殊的头戴装置(headgear )和/或眼镜。
[0003] 自动立体显示器一般为不同的视角提供不同的视图。以这种方式，可以为观看者 的左眼生成第一图像并且为右眼生成第二图像。通过显示合适的图像，即，分别从左和右眼 的视点而言是合适的，将3D的印象传达给观看者是可能的。
[0004] 自动立体显示器倾向于使用诸如透镜状镜头或者屏障掩膜(barrier mask)之类 的构件将视图分开并且在不同方向上发送它们使得它们各自到达用户的眼睛。对于立体显 示器而言，两个视图是所要求的，但是大多数自动立体显示器典型地使用更多的视图（诸如 例如9个视图）。
[0005] 为了满足对于3D图像效果的期望，创建用于包括描述所捕获的场景的3D方面的数 据。例如，对于计算机生成的图形，可以开发和使用三维模型以从给出的观看位置计算图 像。这样的方法例如经常用于提供三维效果的计算机游戏。
[0006] 作为另一示例，诸如电影或电视节目之类的视频内容被越来越多地生成为包括某 些3D信息。这样的信息可以使用专用3D相机捕获，所述3D相机从稍微偏移的相机位置捕获 两个同时的图像，从而直接生成立体图像。
[0007] 典型地，自动立体显示器产生视图的"锥体"，其中每个锥体含有对应于场景的不 同视角的两个或经常更多个视图。相邻的(或者在一些情况中更远位移的)视图之间的视角 差被生成为对应于用户的右眼和左眼之间的视角差。因此，左眼和右眼看着两个合适的视 图的观看者将感知三维效果。在图1中图示了这样的系统的示例，其中在一个视图锥中生成 了九个不同的视图。
[0008] 许多自动立体显示器能够产生大量视图。例如，产生九个视图的自动立体显示器 并不是罕见的。这样的显示器例如适合于多观看者的情境，其中几个观看者可以同时看着 显示器并且全部都体验三维效果。具有甚至更高数量视图的显示器也已经被开发，其包括 例如可以提供28个不同的视图的显示器。这样的显示器可以经常使用相对窄的视图锥，使 得观看者的眼睛将从多个视图同时接收光。另外，左眼和右眼将典型地置于不相邻的视图 中（如在图1的示例中）。
[0009] 然而，尽管所描述的自动立体显示器提供非常有利的三维体验，但是其具有一些 相关联的缺点。例如，自动立体显示器倾向于对观看者的位置高度敏感并且因此倾向于比 较不适于动态情境，其中其不能保证人处于非常具体的位置。具体地，正确的三维感知高度 地依赖于用户被定位，使得观看者的眼睛感知对应于正确的视角的视图。然而，在一些情形 中，用户的眼睛可能不能定位为接收合适的图像视图并且因此一些自动立体显示器应用和 情境可以具有迷惑人类视觉系统的趋势，从而导致对于观看者的不舒服的感觉，这可能可 导致一些不适或者甚至潜在地导致头痛等等。
[0010] 许多多视图自动立体显示器的特定缺点是，在视图之间可能存在相对高程度的串 扰(Cr〇SS-talk)，并且这可能会使得所感知的三维效果和所感知的图像质量降级。
[0011] 为了减少观看者感知的串扰，已经提出将显示器的视图分组成两个组，其中一个 组的所有视图显示相同的左眼图像，而另一组的所有视图显示相同的右眼图像。因此，已经 提出只将左眼和右眼图像/视图分配给自动立体多视图3D显示器的单独多视图输入。
[0012] 例如，对于28个视图的多视图自动立体显示器而言，视图编号1到14可以显示立体 图像的相同的左眼视图（L)并且视图编号15到28可以显示相同的右视图（R)。该布置可以通 过下述(其中视图编号竖直地书写)示范：
然而，尽管这样的方法可以减少单独视图之间的串扰（由于它们示出相同的图像），但 是其也导致在分别用于左眼视图和右眼视图的视图之间的大量串扰。例如，将存在从视图 14(含有L视图）到视图17(含有R视图）或者从视图15(含有R视图）到视图12(含有L视图）的 大量串扰。图2图示了可能会在这样的方法中体验的串扰的示例。在该图中，x轴示出了与在 视图14和15之间的边界相距的视图数量方面的偏移，而y轴示出相对串扰值。
[0013] 作为典型的示例，对于28个视图的多视图显示器而言，观看者眼睛可以由大约10 个视图分开。随着观看者的眼睛集中于左和右视图之间的过渡（即，视图14和15之间），串扰 的量将典型地是可接受的（如在图3中图示的）。然而，如果即便存在与中心的小偏移，这将 典型地导致在眼睛之一中的大量串扰(如通过图4图示的）。
[0014]因此，在这样的系统中关键的是，用户的位置相对于显示器非常准确，并且实际 上，可能要求该用户非常静止地坐着。为了解决此问题，已经提出使用眼/面检测器/追踪器 以适配视图锥的方向，使得用户相对于该锥体而言位于中心。然而，为了实现可接受的性 能，典型地，使得追踪器高度准确和快速是必要的。实际上，典型地，追踪器必须能够基本上 立即追踪用户移动，并且具有几毫米的准确度。就准确度和等待时间而言的这样的严格要 求使得这样的追踪系统具有有限的实际使用并且实际上使得其在许多情境下是不可行的 方法。
[0015]因此，一种用于驱动自动立体显示器的改进的方法将是有利的，并且特别地，将有 利的是，一种允许增加的灵活性、减少的复杂度、增加的图像质量、改进的三维感知、更强的 三维深度效果、减少的不适、减少的串扰、减少的强度变化和/或增加的性能的方法。
【发明内容】
[0016] 因此，本发明寻求单个地或以任何组合地优选地减轻、缓和或消除一个或多个上 面提到的缺点。
[0017] 依据本发明的一方面，提供一种用于为被布置成显示多个图像的自动立体多视图 显示器生成图像的装置，该装置包括：用于为多个视图中的第一组邻接视图中的视图生成 第一图像的第一图像生成器，该第一图像对应于右眼视角；用于为多个视图中的第二组邻 接视图中的视图生成第二图像的第二图像生成器，该第二图像对应于左眼视角；用于为多 个视图中的第三组邻接视图中的至少一个视图生成第三图像的第三图像生成器，该第三组 邻接视图包括第一组邻接视图和第二组邻接视图之间的视图；并且其中第三图像对应于右 眼视角和左眼视角之间的视角。
[0018] 该方法可以允许对于来自多视图自动立体显示器的三维图像的改进的渲染。该方 法可以特别允许当多视图自动立体显示器用于单个观看者时的改进渲染。
[0019] 具体地，在许多实施例中，该方法可以显著减少所感知的串扰。该方法在许多情境 中减少串扰，同时保持非常低程度的强度变化，并且实际上，在许多实施例中，串扰的减少 在不需要引入任何附加强度变化的情况下实现。
[0020] 所减少的串扰可以显著减少对于将用户最佳地放置的要求。因此，该方法可以允 许用户在头部移动方面的更高程度的自由，并且可以在使用头部或眼睛追踪器的实施例中 显著减少对追踪性能的要求。
[0021] 该方法可以当图像为多视图自动立体显示器渲染时，提供改进的整体感知的图像 质量。
[0022] 在传统的自动立体多视图显示器中，由不同视图的图像的差别导致的降级以及特 别是串扰典型地具有如下这样的重要性，即：视差并且因此三维效果保持在低水平。实际 上，对于自动立体多视图显示器的典型的深度范围典型地大约是20-30厘米左右，以便不引 入降级，其被感知为降低了图像质量或者甚至潜在地为观看者引起某些不适。使用本发明 的方法可以经常提供高得多的深度效果。实际上，已经发现的是，超过一米的深度范围可以 在不导致显著图像降级（特别是重影)或者用户不适的情况下实现。因此，该方法可以允许 比可以由常规的显示器实现的更强烈得多的深度模式。
[0023] 在一些实施例中，多视图自动立体显示器可以包括用于为该多视图自动立体显示 器生成图像的装置。在一些实施例中，该装置可以在多视图自动立体显示器的外部。例如， 该装置可以被包括于诸如机顶盒之类的设备中。因此，在一些实施例中，该装置可以包括用 于为多视图自动立体显示器生成驱动信号的输出，该驱动信号包括第一图像、第二图像以 及至少第三图像。在一些实施例中，驱动信号可以包括用于多视图自动立体显示器的每个 视图的图像。图像可以在驱动信号中以任何合适的形式表示，其包括例如提供一些图像作 为对于多个视图的公共图像，作为编码的或未编码的图像，直接作为用于显示器的像素的 驱动彳目号等等。
[0024]第一图像、第二图像和第三图像都是相同场景的视图。这些视图位于不同的视角 中。实际上，典型地，对于自动立体多视图显示器的所有视图而言，图像由的相同场景生成。 图像可以对应于场景的不同视角，其中第一图像对应于用于右眼的视角（或视点），第二图 像对应于用于左眼的视角（或视点）。因此，第一图像在被右眼感知时以及第二图像在被左 眼感知时将提供场景的三维表示。第三图像将对应于第一和第二图像之间的视角，即，对应 于左眼视角和右眼视角之间的视角。
[0025] 第一图像可以是基本相同的图像。实际上，在大多数实施例中，相同图像用于第一 组邻接视图中的所有视图，即，第一图像可以是相同图像。在一些实施例中，典型地基本上 感知不到的差别的小差别可以出现在第一图像之间。
[0026] 第二图像可以基本是相同的图像。实际上，在大多数实施例中，相同图像用于第二 组邻接视图中的所有视图，即，第二图像可以是相同图像。在一些实施例中，典型地基本上 感知不到的差别的小差别可以出现在第二图像之间。
[0027] 在一些实施例中，图像中的至少一些图像可以是部分图像。在一些实施例中，针对 一只眼睛的完整图像可以通过多个视图的组