专利名称：在显示器上显示立体图像对以降低观看不适的方法和显示设备的制作方法
技术领域：
本发明总体涉及 在显示器上显示立体图像对以降低观看不适的方法和显示设备。
背景技术：
在平面立体显示器上观看立体内容有时会使观看者具有不适或疲劳的不愉快感觉。不适和疲劳可能至少部分地由现有平面立体显示器的局限性引起。平面立体显示器(无论是基于LCD的还是基于投影的)在同一平面表面上示出两幅图像，这两幅图像之间具有视差。通过对立体图像进行时间和/或空间复用，显示器使左眼看到立体图像之一，而右眼看到立体图像中的另ー个。两幅图像的视差使观看者感觉正在观看具有深度信息的三维场景。这种观看机制与眼睛正常感知自然的三维场景的机制不同，并且可以引起眼转向-调节冲突。眼转向-调节冲突冲突使眼肌拉紧并向大脑发送模糊的信号，最終引起不适/疲劳。优选的解决方案是构建一种体三维显示器来代替已有的平面立体显示器。不幸的是，很难构造这样的体显示器，也很难控制这样的显示器。另ー种解决方案至少部分地基于信号处理。信号处理以某种方式处理发送至平面立体显示器的立体图像对。尽管信号处理不能从根本上完全解决该问题，但是眼转向-调节冲突可以被显著减小，从而降低了不适和/或疲劳的可能性。希望提供ー种降低对立体图像的不适和/或疲劳的显示系统。结合附图，通过以下对本发明的详细描述，将更容易理解本发明的上述和其他目的、特征和优点。
发明内容
在本发明的一个实施例中，提供了一种在显示器上显示立体图像对的方法。所述方法包括(a)接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像；(b)估计左图像和右图像之间的视差，其中视差估计基于左图像的左区域与右图像的右区域之间的匹配，所述匹配根据相似度标准，仅使用在左区域和右区域之间具有足够相似度的像素；(C)基于所估计的视差来调整左图像和右图像之间的视差；(d)基于调整后的视差，来修改要在显示器上显示的左图像和右图像中的至少ー个。在本发明的另ー实施例中，提供了一种在显示器上显示立体图像对的方法。所述方法包括(a)接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像；(b)估计左图像和右图像之间的视差，其中视差估计基于左图像的左区域与右图像的右区域之间的匹配，所述匹配进ー步基干与左图像和右图像中的至少ー个具有足够相似度的另ー左区域和另ー右区域中的至少一个；(C)基于所估计的视差来调整左图像和右图像之间的视差；(d)基于调整后的视差来修改要在显示器上显示的左图像和右图像中的至少ー个。
在本发明的另ー实施例中，提供了一种在显示器上显示立体图像对的方法。所述方法包括(a)接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像；(b)估计左图像和右图像之间的视差，其中视差估计基于左图像的左区域与右图像的右区域之间的匹配；(C)基于所估计的视差来调整左图像和右图像之间的视差，其中所述调整进ー步基于模型，所述模型基于显示特性以及观看者偏好；(d)基于调整后的视差来修改要在显示器上显示的左图像和右图像中的至少ー个。在本发明的 另ー实施例中，提供了一种用于在显示器上显示立体图像对的显示设备。所述显示设备包括接收部，用于接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像；估计部，用于估计左图像和右图像之间的视差，其中视差估计基于左图像的左区域与右图像的右区域之间的匹配，所述匹配根据相似度标准，仅使用在左区域和右区域之间具有足够相似度的像素；调整部，用于基于所估计的视差来调整左图像和右图像之间的视差；修改部，用于基于调整后的视差，来修改要在显示器上显示的左图像和右图像中的至少ー个。在本发明的另ー实施例中，提供了一种在显示器上显示立体图像对的显示设备。所述显示设备包括接收部，用于接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像；估计部，用于估计左图像和右图像之间的视差，其中视差估计基于左图像的左区域与右图像的右区域之间的匹配，所述匹配进ー步基干与左图像和右图像中的至少ー个具有足够相似度的另ー左区域和另ー右区域中的至少ー个；调整部，用于基于所估计的视差来调整左图像和右图像之间的视差；修改部，用于基于调整后的视差来修改要在显示器上显示的左图像和右图像中的至少ー个。在本发明的另ー实施例中，提供了一种在显示器上显示立体图像对的显示设备，所述显示设备包括接收部，用于接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像；估计部，用于估计左图像和右图像之间的视差，其中视差估计基于左图像的左区域与右图像的右区域之间的匹配；调整部，用于基于所估计的视差来调整左图像和右图像之间的视差，其中所述调整进ー步基于模型，所述模型基于显示特性以及观看者偏好；修改部，用于基于调整后的视差来修改要在显示器上显示的左图像和右图像中的至少ー个。结合附图，通过以下对本发明的详细描述，将更容易理解本发明的上述和其他目的、特征和优点。
图I示出了降低不适和/或疲劳的立体观看系统。图2示出了三维映射。图3示出了视差估计。图4A-4C示出了掩蔽技术。图5示出了映射功能。图6不出了 Percival舒适区。图7示出了新图像的合成。图8A-8C示出了图像遮挡。
图9示出了丢失像素填充技术。图10示出了用于降低不适和/或疲劳的显示设备。
具体实施例方式系统提供了一种基于信号处理的技术来降低与3D观看体验有关的不适和/或疲劳。更具体地，在给定了平面立体显示器的情况下，该技术接收可能引起观看不适/疲劳的立体图像对，并输出引起更小观看不适/疲劳或不引起观看不适/疲劳的修改后的立体图像对。
图I示出了用于降低观看者不适的立体处理系统。该技术接收立体图像对100、110，其中一幅图像100用于左眼观看(L图像)，另一幅图像110用于右眼观看(R图像)；并输出修改后的立体图像对120、130，其中L图像120优选地不变，而R图像130是合成图像(Rn图像)。如果输入的立体图像对中两幅图像之间某些区域具有非常大的视差，则这种大的视差可能引起严重的眼转向-调节冲突，从而使一些观众感到不适甚至疲劳。如图I所示，(立体观看不适降低的框图)，该技术可以包括三个主要部件，即，视差映射估计200、视差映射调整300以及R图像合成400。为了简明起见，该系统可以假定输入立体图像对已被修整为使得两幅图像之间的视差是仅仅是水平视差。在其他情况下，系统可以假定输入立体图像对在任何其他方向上被修整或不被修整，并相应地进行修改。视差映射估计200输出两个视差映射L至R映射202以及R至L映射204。L至R映射202提供了 L图像中每个像素的视差，而R至L映射204提供了 R图像中每个像素的视差。数据还趋向于指示遮挡区域。视差映射估计200还提供了两个视差映射的匹配误差，所述匹配误差提供了对映射数据中的置信度的度量。由输入对来控制视差映射调整300中对L至R映射202以及R至L映射204的调整。不适模型302可以基于图像对202、204中估计的视差、观看条件获取304、显示特性306和/或观看者偏好(观看者偏好按钮)308，来预测不适。基于该估计，可以修改视差的量。修改可以引起全局修改、基于对象的修改、基于区域的修改等等。创建修改后的视差映射310、320集合。R图像合成400基于来自视差映射调整300、视差映射估计200和输入图像对100、110的数据来合成Rn图像130。以下描述视差映射估计200、视差映射调整300和R图像合成400的优选实现方式。视差映射估计200输入图像对(L图像100和R图像110)，并输出两个视差映射(L至R映射202和R至L映射204)。L至R视差映射202包含了 L图像100中每个像素(或选定的像素)的视差，R至L映射204包含了 R图像110中每个像素(或选定的像素)的视差。产生L至R映射202和R至L映射204的技术优选地在功能上是相同的。为了便于讨论，作为示例示出了 L至R视差映射的产生，以类似方式产生R至L映射。当产生L至R视差映射202时，视差映射估计200主要执行以下功能在给定了已被适当修整的立体图像对的情况下，针对左图像中与真实或虚拟世界中的三维点相对应的任何像素位置Xu找到右图像中与相同三维点相对应的像素位置χκ。按照这种方式，可以将左图像的左区域(即，包含像素位置A的区域)与右图像的右区域(即，包含像素位置Xk的区域)相匹配。左图像和右图像中相应像素位置之间的水平差异称作视差，如图2所示(视差定义的图示)。这示出了分别映射到左图像中的位置&和右图像中的位置Xk(从垂直方向来看)的3D点。左图像中位置处Xl的视差为DV = - ;右图像中位置处知的视差为DV = XL-X,。由于已经修整了立体图像对，所以只需要沿着水平线一维地进行对应像素的搜索。对于不同的修整或不修整，沿其他方向执行搜索。视差估计可以被表征为优化以寻找使预定义的成本函数最小化或减小的一个或多个合适视差矢量。视差估计方法通常可以被分为三个不同类别之一 (I)估计单一视差矢量，(2)估计水平线的多个视差矢量，或(3)估计整个图像的多个视差矢量。使用基于单一视差矢量的视差估计产生了其中仅有一个视差矢量要优化的成本函数，从而优化仅产生感兴趣像素/窗口 /块/区域的一个视差矢量。为了获得分辨率mX η的密集视差矢量映射，构造并优化多达mXn个成本函数。一些合适的技术包括块匹配和 Lucas-Kanade0使用基于水平线的视差估计产生了其中水平线的多个视差矢量同时被优化的成本函数。为了获得分辨率mXn的充分密集的视差矢量映射，仅构造m个成本函数，每个成本函数产生η个视差矢量。成本函数的优化有时很复杂，并且典型地是通过动态编程来实现的。使用基于整个图像的视差估计产生其中整个图像的所有视差矢量都用作优化的一部分的成本函数。因此，为了获得分辨率为mXn的密集视差矢量映射，构造仅一个成本函数，该成本函数同时产生mXn个视差矢量。成本函数的优化在三者之中计算上最复杂，并且典型地是通过所谓最小割/最大流的全局优化方法来实现的。通过使用有限计算资源而确定的实时视差估计，优选的视差估计技术是基于单一视差矢量的。这降低了计算复杂度，尽管典型地在获得的图像中具有略微更低的鲁棒性和增大的噪声。图3示出了示例性视差映射估计200 (视差估计部件中的多层视差估计)。基于正则化分块匹配技术来构造视差映射估计200的成本函数。正则化块匹配可以被构造为基本块匹配的扩展。基本块匹配技术的成本函数可以是分别来自左右图像的两个块/窗口之间的总体像素差。左图像中位置Xtl的成本函数可以被定义为(Dn = ^7 Σ(D{x,X + DV))
N XeJFCxil其中，WCxtl是L图像中以Xtl为中心的窗口(即，左图像的另一左区域，但也可以是右图像的另一右区域)，D(x，x+DV)是L图像中X处(即左图像的左区域)的像素与R图像中x+DV处(即右图像的右区域)的像素之间的单一像素差。为了提高鲁棒性，成本函数可以使用左图像中以X。为中心的窗口与右图像中以Xd+DV为中心的窗口之间的像素差之和。以上仅使用像素差的等式可能不足以找到真实的视差。优选地，搜索范围中成本函数的全局最小值对应于真实视差，然而对于许多自然立体图像对而言，由于缺少纹理和/或相应的图案等，所以全局最小值并不总是对应于真实视差。正则化分块匹配技术可以包括基本块匹配的等式中的正则化项P，以探究相邻视差中的空间相关性(或其他相关性度量)。具体地，成本函数可以变成
权利要求
1.一种在显示器上显示立体图像对的方法，所述方法包括 (a)接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像； (b)估计所述左图像和所述右图像之间的视差，其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配，所述匹配根据相似度标准，并且仅使用在所述左区域和所述右区域之间具有足够相似度的像素； (C)基于所估计的视差来调整所述左图像和所述右图像之间的视差； (d)基于调整后的视差，来修改要在所述显示器上显示的所述左图像和所述右图像中的至少一个。
2.一种在显示器上显示立体图像对的方法，所述方法包括 (a)接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像； (b)估计所述左图像和所述右图像之间的视差，其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配，所述匹配进一步基于与所述左图像和所述右图像中的至少一个具有足够相似度的另一左区域和另一右区域中的至少一个； (C)基于所估计的视差来调整所述左图像和所述右图像之间的视差； (d)基于调整后的视差来修改要在所述显示器上显示的所述左图像和所述右图像中的至少一个。
3.—种在显示器上显示立体图像对的方法，所述方法包括 (a)接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像； (b)估计所述左图像和所述右图像之间的视差，其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配； (C)基于所估计的视差来调整所述左图像和所述右图像之间的视差，其中所述调整进一步基于模型，所述模型基于显示特性以及观看者偏好； (d)基于调整后的视差来修改要在所述显示器上显示的所述左图像和所述右图像中的至少一个。
4.根据权利要求I至3中任一项所述的方法，其中，所述立体图像包括水平视差。
5.根据权利要求I至3中任一项所述的方法，其中，所述视差估计提供了L至R视差映射、R至L视差映射、R至L视差匹配误差以及L至R视差匹配误差，其中L至R视差映射用于给出所述左图像中每个像素的视差，R至L视差映射用于给出所述左图像中每个像素的视差。
6.根据权利要求5所述的方法，其中，所述调整后的视差进一步基于观看者偏好，以增大或减小所述所估计的视差的量。
7.根据权利要求6所述的方法，其中，所述调整后的视差进一步基于人类视觉系统HVS模型，所述HVS模型基于所述显示器的显示特性。
8.根据权利要求7所述的方法，其中，对所述左图像和所述右图像中的至少一个的所述修改基于所述所估计的视差的增大量或减小量。
9.根据权利要求7所述的方法，其中，所述显示特性包括观看者的观看条件和所述显示器的显示配置中的至少一个。
10.根据权利要求I至3中任一项所述的方法，其中，所述视差估计基于单一视差矢量。
11.根据权利要求I所述的方法，其中，所述相似度标准基于所述左区域和所述右区域之间的RGB像素值。
12.一种用于在显示器上显示立体图像对的显示设备，所述显示设备包括 接收部，用于接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像； 估计部，用于估计所述左图像和所述右图像之间的视差，其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配，所述匹配根据相似度标准，并且仅使用在所述左区域和所述右区域之间具有足够相似度的像素； 调整部，用于基于所估计的视差来调整所述左图像和所述右图像之间的视差； 修改部，用于基于调整后的视差，来修改要在显示器上显示的所述左图像和所述右图像中的至少一个。
13.一种在显示器上显示立体图像对的显示设备，所述显示设备包括 接收部，用于接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像； 估计部，用于估计所述左图像和所述右图像之间的视差，其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配，所述匹配进一步基于与所述左图像和所述右图像中的至少一个具有足够相似度的另一左区域和另一右区域中的至少一个； 调整部，用于基于所估计的视差来调整所述左图像和所述右图像之间的视差； 修改部，用于基于调整后的视差来修改要在所述显示器上显示的所述左图像和所述右图像中的至少一个。
14.一种在显示器上显示立体图像对的显示设备，所述显示设备包括 接收部，用于接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像； 估计部，用于估计所述左图像和所述右图像之间的视差，其中视差估计基于所述左图像的左区域与所述右图像的右区域之间的匹配； 调整部，用于基于所估计的视差来调整所述左图像和所述右图像之间的视差，其中所述调整进一步基于模型，所述模型基于显示特性以及观看者偏好； 修改部，用于基于调整后的视差来修改要在所述显示器上显示的所述左图像和所述右图像中的至少一个。
全文摘要
一种在显示器上显示立体图像对的方法。所述方法包括接收形成所述立体图像对的图像对，其中一幅图像是左图像，另一幅图像是右图像。然后基于左图像的左区域与右图像的右区域之间的匹配来估计左图像和右图像之间的视差。基于所估计的视差来调整左图像和右图像之间的视差。基于调整后的视差，来修改要显示在显示器上的左图像和右图像中的至少一个。
文档编号H04N13/04GK102714751SQ201180006063
公开日2012年10月3日 申请日期2011年1月13日 优先权日2010年1月13日
发明者潘昊, 袁昌 申请人:夏普株式会社