专利名称：在三维(3d)呈现中使用浮动窗口的方法和系统的制作方法
技术领域：
本发明涉及准备用于立体呈现的图像。
背景技术：
在电影和静态照片的立体三维(3D)呈现中，一般惯例为，如果应出现在屏幕或照片前的物体接触右眼或左眼边缘，则剪裁对应右眼或左眼边缘的右眼和/或左眼图像。该惯例的目的在于避免观看物体时的深度冲突，一般称为浮动窗口或浮动边缘，且为手动设置。但是，在剧场环境中实际呈现时，屏幕任一侧的遮蔽物可能会影响或遮蔽将显示浮动边缘的区域，因此破坏了增加浮动边缘的目的。在3D视频显示中，如果监视器显示的图像少于原始图像内容的全光栅，也可能会产生同一情况。在显示环境或装置中恢复浮动边缘必须考虑底层图像，从而使浮动边缘不对内容的前景元素产生影响。但是，在剧场环境中或进行独立三维视频显示时，专业设置的浮动窗口调节并不切实际，这些情况要求自动的浮动边缘(或浮动窗口)创建和/或调节。
发明内容
本发明的实施例提供了一种用于立体呈现的方法和系统，其中，显示立体图像时立体图像对的至少一个立体图像的一部分被遮挡。通过基于与图像区域关联的最小视差为遮挡部分提供宽度，可避免图像或显示区域的边缘附近的视深冲突。一个实施例提供了一种方法，所述方法包括获取与第一立体图像的区域关联的最小视差，根据最小视差限定在所述区域附近的第一立体图像的一部分，并在遮挡所限定部分的显示同时显示第一立体图像。另一个实施例提供了一种方法，所述方法包括确定在图像显示区域的边缘附近的立体图像的区域内的物体的视深，并遮挡立体图像的一部分的显示，其中，所述部分的宽度是基于所述物体的视深而选择的。又一个实施例提供了一种系统，所述系统包括至少一个处理器，所述处理器被配置用于确定与第一立体图像的区域关联的最小视差，根据最小视差限定在所述区域附近的第一立体图像的一部分，并在显示第一立体图像期间遮挡所限定部分。
结合附图考虑以下详细说明，可容易地理解本发明的教导，在附图中
图I示出了呈现中的场景的一个示例；图2示出了图I的场景中的三维镜头或构图的左眼视图；图3示出了图I的场景中的三维镜头或构图的右眼视图；图4示出了图2-3的叠加左眼和右眼图像形成的立体图像视图；图5示出了从立体图像中感知的三维想象视图；图6示出了显示视觉深度冲突的想象视图；图7示出了施加了浮动边缘的立体图像对； 图8示出了显示浮动边缘如何解决视觉深度冲突的想象视图；图9示出了立体图像的被遮掩以至造成浮动边缘无效的一部分；图10示出了与图9的遮掩区域相邻的还原的浮动边缘；图11示出了显示还原浮动边缘如何解决图9的遮掩区域造成的视觉深度冲突的想象视图；图12示出了具有遮掩区域的立体图像，所述遮掩区域消除了浮动边缘的必要性；图13示出了删除了浮动边缘的图12的立体图像；图14示出了自动放置浮动边缘的一个实施例的流程图；图15示出了自动放置浮动边缘的另一个实施例的流程图；图16示出了自动调节浮动边缘的另一个实施例的流程图；图17示出了用于实施本发明的方法的系统的一个实施例。为了便于理解，在可能的情况下使用相同参考数字表示附图中共有的相同元件。
具体实施例方式根据本发明的实施例，在实施三维呈现(数字影院或视频)时，内容呈现期间可动态应用浮动窗口或遮蔽物，以减轻应出现在屏幕前的边缘附近的物体被屏幕边缘的实际位置夹回屏幕表面的效果。可选择多种模式的浮动窗口或浮动边缘，包括，例如，使用元数据提供浮动边缘的信息，实时动态提供浮动边缘或将其预先记录在立体图像中，并对浮动边缘提供不同特性或尺寸。实时提供浮动边缘对预先记录方法来说具有优势，因为仅使用单眼图像视图(例如，仅显示左眼图像)便可以二维方式观看内容，而具有预先记录的浮动边缘的内容的二维方式观看会使边缘任意起伏,分散观看者的注意力。在本发明中，术语“浮动窗口 ”和“浮动边缘”用于描述立体图像对的左眼和/或右眼图像在对应左边缘和/或右边缘处的剪裁。这种剪裁的目的在于减少或消除在“前景物体”与屏幕的一个或两个侧边缘(例如，竖直边缘)相交(即，物体的图像延伸到屏幕的侧边缘之外)时观看者产生的心理视觉冲突。在该说明中，术语“前景物体”是指立体图像内具有负视差的物体，即，视深位置应处于屏幕与观看者之间的物体。术语“视深”为观看者对屏幕的深度感知，由左眼图像和右眼图像之间的视差产生。视差和视深为可互相转换的相关量。三维呈现一般受限于提供视深，因为不同位置的观看者会对图像中的相同元素感知到不同视深。产生心理视觉冲突的原因在于，物体的图像的一部分被可见屏幕的边缘遮蔽，可见屏幕的边缘具有在物体后方的实际深度位置。遮掩是深度排序的一个明显视觉线索。靠近观看者的物体会隐藏远离观看者的物体。在大多数情况下，遮掩是比双目视差更明显的深度排序的视觉线索。因此，虽然图像中物体的视差暗示其为前景物体，屏幕边缘的线索会与此冲突并将其覆盖，使物体的视位退到屏幕上。如果后退的前景物体本身的一部分遮蔽其他前景物体，会产生大量视深线索矛盾。这种矛盾的结果是，观看立体呈现不再是一项观看者通过丰富的感知深度观赏内容的直观活动，而变成某些物体明显出现于其后方的物体后方的视觉错乱，导致混淆。这分散了观看者对所讲故事的注意力，从而损坏内容。本发明可用于数字影院剧院设备和视频设备，例如，头端广播或流媒体系统以及消费端设备，包括电视监视器、机顶盒、DVD播放器、录像机、个人计算机、手持式显示器(例如，视频播放器或智能手机上的手持式显示器)，以及其他移动或便携装置。本发明的实施例提供了浮动边缘的自动应用和/或调节，同时考虑了特定显示环 境或装置中会减少显示器可见区域并造成意外效果，例如，显示图像中的深度感知冲突的侵入因素。因此，对于指定图像显示区域或系统配置(例如，屏蔽、图像尺寸恢复或系统相关设置限定的图像显示区域或系统配置)，本发明使适当浮动边缘自动添加和/或调节到合适位置，以提供具有改进美观性的显示器。另外，如果前景物体完全被侵入因素遮挡，则可消除或减少先前建立的用于避免与该物体的深度线索冲突的任何浮动边缘。会干扰正常立体显示器的侵入因素或系统配置有多种可能来源。例如，在剧院中，投影仪由于屏幕的曲率、投影角度、不理想的透镜尺寸或调节而投射到屏幕的边界之外，使图像空间大大减小。屏幕遮蔽物或帷幕可能会侵入投影屏幕的可用区域，或可能将梯形图像剪裁成更美观的矩形。在另一个示例中，家用监视器，例如，大屏幕电视机，可将图像过扫描(以在完整屏幕上显示图像的子集)，(例如)以避免显示内容的边缘或在不需要改变尺寸的情况下呈现高分辨率内容。在某些模式下，例如，如果纵横比为16:9的HD (高清晰度)监视器接收纵横比为4:3的SD(标准清晰度)，个体监视器可能会将纵横比与监视器本身的纵横比不同的图像扩展，使图像的特定部分被剪裁掉。可通过根据本发明的实施例调节浮动边缘的放置而避免对浮动边缘的适当应用的这种干扰或阻碍。另外，在特定情况下，即使不对图像进行过扫描(例如，仅在水平方向对图像进行拉伸或扩展，或纵向拉伸不超过监视器高度)，使用根据本原理的浮动边缘仍然有利。浮动边缘可指定为从上到下跨越立体图像对的对应左眼图像或右眼图像的整个左竖直边缘或右竖直边缘的矩形框。所述矩形的宽度至少应等于图像边缘通过(例如)侧边遮蔽物而剪裁的最前景物体的视差的量。另外，如果图像中的前景物体与边缘相交(例如，实际上仅物体的一部分呈现于图像中时)，根据本发明的浮动边缘还可用于避免可能出现的深度线索冲突。例如，在立体图像对的左边缘，视差为水平视差，或为表示前景物体上的点的右眼图像的最左像素与表示左眼图像中的同一物体上的同一点的像素之间的偏移。可替代地，浮动边缘可为某些其他规则或任意形状，至少占据沿前景物体与图像边缘交叉或目测与图像边缘交叉的边缘的垂直区域。这种浮动边缘的宽度可沿垂直方向保持恒定，或可随着每个像素行而变化，每行的浮动边缘的宽度至少等于该行该边缘的对应前景物体的视差。因此，浮动边缘可不连续式，例如，其一个或多个像素行具有零宽度。立体图像对可在无任何浮动边缘的情况下呈现，或可由至少一个浮动边缘，例如，左浮动边缘、右浮动边缘或左浮动边缘和右浮动边缘进行增强或补充。(图像由浮动边缘“增强”或“补充”是指浮动边缘与图像组合在一起或一起显示)。浮动边缘可在前景物体的出现或移动之前逐渐显示和消失，或可基于美学决定通过特定选择突然出现或消失。为了设置后续附图的上下文，图I示出了呈现的代表场景，例如，花园中的场景，下文所述的后续镜头在所述花园中获得。花园场景100显示了站立于一组花园大小的棋子102中间的演员103，所述棋子102包括前景中的一个特定棋子，车101。演员103的后方有一棵树104。灯105在演员103后方约相同位置处,处于右侧,建筑106在更远位置。图
2-13所示的花园场景100的镜头在位于图I中所示的有利位置的略微右侧的位置获得。图2和3表示了花园场景100中的镜头或构图的立体图像对，图2示出了左眼图像200，图3示出了右眼图像300。每个图像200或300包括花园场景100中的个别物体的记录图像，从而使花园场景中的每个物体在左眼和右眼图像200和300中具有对应记录图 像。为了避免场景100与立体图像200和300的物体图像之间的潜在混淆，所述立体图像还可称为左眼和右眼构图200和300。因此，演员103具有对应图像103L和103R，车101具有对应图像IOlL和101R，树104具有对应图像104L和104R，灯105具有对应图像105L和105R,建筑106具有对应图像106L和106R。图4为图像200和300的叠加，其中，左眼图像200以虚线显示，以使得能够显示左眼和右眼图像(200，300)之间的立体视差或位置偏移。图4图解了多个视差。例如，与车101关联的车视差401 (例如，作为右车和左车图像IOlR和IOlL的对应竖直边缘之间的间隔而测量)在水平方向上约为-40个像素，右眼图像在左眼图像右侧时，测量值为正值。在车101的情况下，由于右眼图像IOlR位于左眼图像IOlL左侧，注视车101的观看者的眼睛会在显示该立体图像对的显示器(或屏幕或监视器)前方会聚，即，车101会出现于显示器前方。在演员的衣袖处测量的位于屏幕平面稍前方的演员视差403约为-5个像素。树图像104L和104R显示的视差404约为+40个像素，右眼图像104R处于左眼图像104L的右侦U。这样，在观看者看来，树104将处于显示器或屏幕的后方。灯105在图像105L和105R之间的视差405约为+45个像素，建筑106在每个都呈现于比树104更远的位置的106L和106R之间的视差406约为+60个像素。图5为观看立体图像400的具有左眼511和右眼512的观看者510感知到的三维效果的想象视图500。(图5称为想象视图的原因在于，该视图实际上无法从该有利位置观察)。对于观看者510，所述立体车视差401使车图像501在显示立体图像400的屏幕前方被感知。演员图像503(具有偏移或视差403)位于屏幕稍前方。树视差404、灯视差405和建筑视差406均产生对应图像504、505和506位于屏幕后方的递增距离处的感觉。与不同物体对应的图像在图5中显示为平面图像，但在实践中，观看者510会将物体图像501、503、504、505和506感知为与各个视差对应的各个距离处的三维图像。图5示出了感知到的具有各个视差401、403、404、405和406 (另见图4)的物体的三维位置。每个物体的感知位置用从左眼511和右眼512通过参考点(在参考点上测量指定物体的视差)追踪的各个射线的交叉表示。根据本发明的实施例的使用浮动窗口或边缘进行立体呈现的不同情境和方法参考图6-17进行说明。
图6示出了添加了左眼和右眼视线611和612以显示视觉矛盾的想象视图500的特写镜头。对于右眼512，屏幕的竖直边缘610阻碍了阻碍线613左侧的车图像501的可见性。这使车图像501在屏幕的边缘610的后方被感知。但是，由于视差401 (负量)的原因，车图像501看起来处于屏幕前方的立体会聚点601。在图7中，立体图像700的左边缘增加了浮动边缘，包括仅位于立体图像700的左眼图像中的黑色区域702L。黑色区域702L具有宽度701，所述宽度701至少等于前景物体(车)101的视差401。在实际实践中，对于左边缘浮动窗口，前景物体的视差401 (此处在车的一个城齿的右眼和左眼图像IOlR和IOlL之间测量)优选在靠近物体的左边缘的位置测量，但是，为了明确起见，此处显示车101的最前测量点(即，屏幕前方最远的点)。图8示出了具有左浮动边缘702L的结果想象视图800。现在，图像700的左边缘并非出现于屏幕边缘610上，观看者510感知到立体图像700的左边缘处于边缘线813上， 其深度处于车图像501上或其前方(注意，在边缘线813的左侧看不到车图像501)。由于图像在边缘线813上的感知边缘看起来会遮盖车图像501，且其立体视差不大于车图像501的立体视差(因此处于车图像501上或更靠近观看者510)，所以深度线索冲突的问题得到了解决。一个或多个浮动边缘或窗口，例如，黑色区域702L的添加，可在准备包括立体图像500的内容时完成，因此，将其发送给电影院时(无论作为电影还是作为数字文件)，或广播或发送到观看者的家庭显示器时(例如，通过流媒体视频或DVD )，浮动窗口已经存在。在一个不同实施例中，在进行内容准备时，浮动边缘没有提供(例如，如同图4中不具有黑色区域702L的立体图像400 —样)，但是作为替代提供了元数据，用于指定要动态添加到左眼图像的左边缘的黑色区域702L的宽度701。形成左浮动边缘和/或右浮动边缘(如果有)的黑色区域的动态提供可由(例如)数字影院服务器、对应数字影院投影仪、DVD播放器、机顶盒、计算机或三维感知视频显示器完成。可实时进行修改，或提前更改内容。在又一个实施例中，元数据用于至少描述针对左边缘和右边缘中的每个的、最前面的前景物体(例如，车101)(如果有)的视差(例如，401)。可包括额外元数据，以改进该信息，例如，提供右边缘和左边缘附近的视差的部分视差图；或在至少覆盖右边缘和左边缘附近的区域的低分辨率网格中提供最小视差的简化视差图。在大多数剧院中，围绕投影屏幕的左侧和右侧遮蔽物遮盖投影屏幕的可投影或可观看区域的至少一部分。为了在这种情况下成功地提供浮动边缘，内容必须特别准备，以使图像完整地在遮蔽物内投影。否则，由于剧院的遮蔽物，提供的黑色区域(例如，示例702L)的宽度将明显减小，或完全消失，从而使明显图像边缘的移动不充分(明显图像边缘613充分向前移动的情况，如图6所示)。消费者视频显示器也产生了相似的不利影响，监视器(或DVD播放器或机顶盒)无法显示完整立体图像，而是仅显示一部分。如果内容的纵横比与显示器的纵横比不匹配，图像被剪裁和/或缩放到充满显示器的程度，就会经常发生这种问题。例如，生成的具有高清晰度16:9纵横比的内容可显示在标准清晰度4:3纵横比监视器上。显示的一个方法为(被称为“信箱”)将按比例缩小的16:9纵横比图像插入4:3显示区域，将水平黑色区域留在屏幕的顶部和底部。但是，某些消费者不喜欢黑色区域，认为黑色区域和对应降低分辨率很讨厌。为了解决该缺陷，将高清晰度较小幅度地按比例缩小，仅从上到下充满屏幕，但剪裁左侧和右侧，以符合4:3纵横比。这种情况下，立体图像的左边缘和右边缘都被剪裁。在某些消费者显示器中，图像区域的某些内部子集(称为“安全区域”)仅部分显示，例如，内部的90%，从而丢弃每个边缘(侧边、顶部和底部)的5%之多。图9示出了与(例如)剧院侧边遮蔽物隐藏的或消费者视频系统剪裁的立体图像700 (或图4中的图像400)的一部分对应的遮蔽区域900。先前应用的浮动边缘，即，可在摄影棚烧录到内容中或动态应用的图7所示的黑色区域702L，现在被遮蔽区域900完全或部分隐藏。因此，图6中的关于车图像501的视觉冲突基本上还原(但视觉冲突现在在遮蔽区域900的右边缘出现，而不是在图6中的图像400的左边缘出现)。这个问题的一个解决方案如图10所示，其中，修改的立体呈现1000包括位于遮蔽区域900的右边缘的延伸浮动边缘，显示为具有可见宽度1001的黑色区域1002L。宽度1001至少等于与遮蔽区域900的右边缘相交的最前面的前景物体(如果有)的视差的量，在该示例中，至少等于城齿图像IOlR和IOlL上的车101的最前部分的视差的量。在另一个实施例中，可使浮动边缘或遮挡部分与图像的区域重叠，以使得至少一部分前景物体也被 遮挡。如果浮动边缘足以完全隐藏前景物体，使其不可见，则不再有任何视觉深度冲突。图11示出了结果想象视图1100，其中，观看者501可见的图像1000的左边缘的位置用边缘线1113表示，因为两个眼睛511，512都将看不到车图像501在边缘线1113左侧的部分。这种情况下，浮动边缘1002L的存在解决了视觉冲突，其中，图像1000在明显边缘线1113上的明显边缘看起来遮蔽了车图像501，且其深度位置不比车图像501的深度位置远。图12示出了不同情境，其中，在左边缘具有明显深度冲突的前景物体(车101)被屏幕底部的遮蔽区域1200隐藏时，立体图像700的左眼图像中的黑色区域702L产生的左浮动边缘变得多余。这种情况下，虽然浮动左边缘没有产生视觉冲突，但优选地，应减少或消除立体图像对700的左眼图像的剪裁。例如，如果形成浮动边缘的黑色区域702L的应用通过元数据进行引导，而不是烧录到立体图像700的内容中，则在图13中，取消左浮动边缘的浮动或消除左浮动边缘会生成立体图像1300，其基本与立体图像400相同，但具有遮蔽区域1200。可替代地，在另一情境中，如果遮蔽区域1200和区域900都呈现于图9 (未示出)中，则不再需要对已经处于合适位置的浮动边缘(例如，黑色区域702L)进行任何动作。由于车图像501会被遮蔽区域1200隐藏，屏幕的左边缘附近不会再存在任何深度冲突，因此，左浮动边缘，即，黑色区域702L (图12)会变得多余。不需要对左浮动边缘702L进行任何动作，因为其会被遮蔽区域900隐藏。图14为对立体图像对的对应左眼和右眼图像中的左浮动边缘和/或右浮动边缘进行定位的自动浮动边缘放置处理1400 (如果需要，在需要时)的流程图，如图7和8的示例所示。一般适用于不同显示系统上的任何立体呈现的处理1400从步骤1401开始，此时立体图像对不具有任何浮动边缘。用于准备或应用浮动边缘的元数据(如下文所述)还可在需要时提供或导出。在步骤1402中，适合左边缘，或者，一般地说，左眼立体图像的两个相对边缘的其中之一(即，左边缘或右边缘)的最小视差被自动确定。确定最靠近观看者或处于屏幕前方最远位置的左边缘附近的物体的最小视差。在该上下文中，如果物体位于距屏幕边缘的指定或预定距离范围内，使屏幕边缘开始对物体的视深产生不利影响(例如，造成深度线索冲突)，则物体则被认为处于所述左边缘附近。该距离范围可基于政策决定进行选择，并可根据情况从屏幕边缘开始指定为特定数量的像素，例如，10个像素，或其他数量的像素。确定边缘的“附近”区域内的物体的最小视差的该过程与先前情境的不同之处在于，基于边缘剪裁或截断的物体确定浮动边缘是否必要。即使浮动窗口并非绝对必要(即，使用不太严格的标准)也应用浮动窗口的政策或美学决定可优选地在应使用浮动窗口时不提供浮动窗口。注意，一般来说，在确定浮动边缘的宽度时，不需要考虑物体距边缘的距离。该视差可以不同方式获得。例如，其可作为元数据而提供(例如，作为左边缘附近的物体的最小视差)，或从元数据中导出(例如，如同计算与左边缘附近的最前物体的视深对应的视差的功能一样)，或从与左边缘相邻的区域的视差或深度图中获得(可在步骤1402中搜索，以确定最小值)，或通过对左眼和右眼图像的视差分析而获得。可使用Zhang等人的标题为“用于通过前向和后向深度预测进行图像深度提取的系统和方法”的国际公开申 请WO 2009/145749或Zhang等人的标题为“利用基于区域的过滤进行深度图提取的系统和方法”的国际专利申请W02009/061305中所述的技术执行视差分析，所述两个申请均与该申请有共同转让。两个PCT申请的内容通过引用完整地并入本文。注意，确定的左侧边缘的最小视差可指适用于从上到下的整个左边缘的单个最小值(即，整个左边缘上为恒定值)，或可指沿边缘变化的一个或多个值。由于最小视差的量将形成将应用的浮动边缘的宽度的基础，所以这也指浮动边缘可作为基于单个最小视差值沿整个边缘具有恒定宽度的浮动边缘而提供，或可在沿左边缘的不同位置处具有不同宽度。另外，左边缘的最小视差可为不连续式(例如，在某些点上具有零宽度，这样，沿左边缘留有未被遮蔽的跨距)，甚至在每个图像像素行上建立浮动边缘的消隐或遮挡(blank orblock)，或者其间设置任何粗度。在步骤1403中，检查步骤1402中确定的最小视差，即，沿整个左边缘的恒定最小视差或沿边缘的不同位置处的不同最小视差是否小于零。如果不是，即，步骤1402中的最小视差大于或等于零，则跳过步骤1404。否则，在步骤1404中，通过在左侧边缘提供遮挡左眼图像的黑色区域而创建左浮动边缘，其宽度至少为步骤1402中确定的最小视差的量。该遮挡可直接施加给左眼图像的内容，例如，将黑色区域702L烧录到左眼图像中，或可在元数据中被指定稍后由(例如)数字影院服务器、投影仪或视频机顶盒、DVD播放器、个人计算机或手持式视频播放器，例如，智能手机或其他移动装置进行应用。在步骤1405中，以相似方式确定右侧边缘(或与步骤1402中的边缘相对的边缘)的最小视差。在步骤1406中，如果确定的最小视差大于或等于零，则跳过步骤1407。否则在步骤1407中，创建右浮动边缘，其中，右眼图像在右侧边缘遮挡，与上文所述的步骤1404中的左眼图像相似。处理1400在步骤1408结束，立体图像对被施加了零个、一个或两个浮动边缘，所述浮动边缘烧录到内容中或作为限定了将在显示前消隐或遮挡的区域的元数据。简而言之，可通过在立体图像中提供至少一个浮动边缘而实施三维呈现。所述处理涉及确定与至少一个立体图像的边缘(例如，左眼图像的左边缘和右眼图像的右边缘)关联的最小视差，并遮挡该图像的一个区域，所述区域的宽度(从图像的对应边缘测量)至少等于确定的最小视差的量。与该边缘关联的最小视差由最靠近观看者(或显示器前最远)的图像中的物体的视差指定，其中所述物体处于预定距离范围(作为政策而建立)限定的该边缘附近，所述预定距离范围用(例如)像素数量表示，-1、0或10个像素，可为分数，负号表示出现于屏幕前方的物体的视差。在本原理的上下文中，仅前景物体(屏幕前方)的最小视差与浮动边缘的应用相关。注意，将消隐或遮挡的区域的向内边缘(或内边缘，靠近显示器的中心)可为平滑状(与锯齿状相反)，所述区域可羽化为渐晕外观。但是，在平滑和羽化的情况下，为了促进在步骤1402和步骤1405中确定的结果，还应有额外消隐，即，平滑和羽化不应使将被消隐的区域的任何实质部分变得不被遮蔽，因为这会重新导致该处理力图消除的视觉矛盾。对浮动边缘实施羽化、锯齿状内边缘或其他相似变化的目的在于达到不同风格或美学效果，但根本目的保持一致，即，避免屏幕平面边缘隐藏的前景物体的深度线索冲突。图15示出了图10和11的示例所示的提供自动或动态浮动边缘定位的处理1500的流程图。与假定整个图像都可见而实施浮动边缘的处理1400不同，处理 1500提供浮动边缘时考虑了显示系统的任何图像屏蔽或剪裁的情况。处理1500从步骤1501开始，在该步骤中提供立体图像对。可选择地，所述立体图像对已烧录浮动边缘或将其作为元数据而提供。还可在需要时提供或导出额外元数据(例如，包括视差信息，如上所述)。在步骤1502中，确定呈现屏幕的清晰区域，例如，如Redmann在标题为“用于为显示器准备字幕的方法和仪器”的公开专利申请W02010/096030所述。所述“清晰区域”在图像空间中具有对应部分，即，左或右图像在屏幕上可见的、不因电子监视器的屏蔽或剪裁而被遮蔽的部分。在图10的示例中，屏幕的清晰区域为ABCD部分。用于确定清晰区域的校准过程的一个示例为在屏幕上投射坐标网，并注意最靠近屏幕拐角的可见的最外坐标。这些拐角坐标内部的区域将限定投影图像区域的清晰区域，而这些拐角坐标外部的区域将不可见。一般来说，可在立体操作模式下或通过停用立体操作而在二维操作模式下对任一眼睛进行校准。在某些情况下，清晰区域可通过预先测量或通过识别一个或多个共有遮蔽物而预定。这对专业或消费者视频监视器特别准确，但对投影系统的可能性小。例如，具有4:3纵横比，呈现高清晰度16:9内容，但不使用居中信箱格式，不在垂直方向进行额外剪裁的任何监视器将在左边缘和右边缘具有明确限定的遮蔽区域。如果这种显示器被定义为具有共有类别，则该类别的所有显示器将显示共有的明确限定的清晰区域。对于这种情况，清晰区域可基于属于特定类别或类型的显示器的显示器确定，或参考显示器的型号索引的查询表确定，或通过使清晰区域由显示器自动报告为元数据而确定，或可从提供的其他元数据中导出(例如，视频电子标准协会标准化的增强型扩充显示器识别数据中提供的(例如)原始分辨率)。在某些实施例中，可在机顶盒或其他视频源上决定是否对显示器缩放和/或剪裁图像，随后在可能不同于内容的原始纵横比下以原始视频速率对监视器进行馈送。这种情况下，清晰区域的这种预定是根据政策或视频源的首选项设置而进行的。在步骤1503中，沿清晰区域的左边缘的最小视差基于(例如)具有最小视差(即，处于显示器前方最远位置)的左边缘附近的物体确定。与处理1400的步骤1402相似，最小视差可确定为沿清晰区域的左边缘从上到下确定的单个最小值，或可在沿清晰区域的左边缘的多个区域或点上以图像的每个像素行为间隔而确定。在步骤1504中，如果确定的所有视差都大于或等于零，则跳过步骤1505。否则，在步骤1505中，将具有特定宽度的浮动边缘或窗口应用到左眼图像上，使图像的该部分被遮挡。浮动窗口的宽度从与清晰区域的左边缘(例如，图10中的屏蔽区域900的右边缘AB)对应的点上测量为至少等于确定的最小视差的量的宽度。如图10所示，浮动窗口(黑色区域)1002L的宽度1001至少等于视差401。虽然浮动窗口的宽度也可一直延伸到左眼图像的左边缘，但屏蔽区域900隐藏的浮动窗口的该部分没有出现的必要。换句话说，如果在步骤1504中，靠近左边缘的物体的最小视差确定为负，则在步骤1505中，左眼图像被应用在清晰区域的左边缘的浮动边缘遮挡或遮掩。该遮挡区域(图10-11中的1002L)的内部边界或内侧界限基于最小视差确定，这种情况下，位于清晰区域的左边缘的右侧，其间的距离等于最小视差的量。左眼图像可被区域1002L遮挡，并可能通过区域900延续到左侧。虽然只需遮掩区域1002L，因为区域900被遮蔽(图10的示例)，但可能需要进一步遮掩区域900，防止遮蔽区域的测量不够精确。可替代地，该消隐可编码为元数据，虽然假定该消隐专用于特定显示器，在步骤1502中确定其清晰区域，但没有充分 理由延迟其应用。同样，清晰区域右边缘附近的物体的最小视差在步骤1506中确定。在步骤1507中，如果确定的最小视差大于或等于零，则跳过步骤1508，处理在步骤1509中结束。否则，在步骤1508中，从与清晰区域的右边缘对应的点向图像的中心部分消隐右眼图像，到步骤1506中确定的最小视差的量的程度，可选地，到右眼图像的右边缘(与图10中的遮蔽区域900的情境相似)。与步骤1505 —样，可替代地，浮动边缘的这种遮挡或增加可编码为元数据。注意，除步骤1506、1507和1508在清晰区域的不同边缘上(右边缘对左边缘)执行，其中消隐区域应用到另一立体图像上(右眼对左眼图像)之外，步骤1506、1507和1508基本上与步骤1503、1504和1505重复相同操作。处理1500在步骤1509结束，其中立体图像对在步骤1502确定的清晰区域内被实施了零个、一个或两个浮动边缘，所述浮动边缘烧录到内容中或作为限定了将在显示前消隐的区域的元数据。实施不同处理1400和1500的优点在于，对于未被配置用于执行处理1500或遮蔽图像部分的简单显示器或系统，处理1400提供的内容可随时使用(特别是黑色区域，例如，702L烧录到内容中的情况)。但是，知晓其本身的清晰区域的呈现系统(例如，机顶盒和/或监视器，或数字影院服务器和/或数字影院投影仪等)可进一步实施处理1500，从而在处理1400在内容中提供(或作为元数据与内容一起提供)的浮动边缘被呈现系统已知的遮蔽区域(例如，900)损害时提供自动补偿。图16示出了浮动边缘自动调节处理1600的流程图，实施了图12和13的示例中所示的浮动边缘动态减小。此处，处理1600从步骤1601开始,此时立体图像对已具有与浮动边缘的定位相关的元数据。还可在需要时提供或导出额外元数据(如上所述)。在步骤1602中，确定显示器的清晰区域，如处理1500的步骤1502所述。在步骤1603中，确定与清晰区域的左边缘关联的最小视差，如上所述。注意，遮蔽区域(例如，图12或13中的区域1200)可能会使前景物体(例如，图10中的车101)的全部或一部分隐藏到显示器的可见部分之外。在步骤1604中，对步骤1603中确定的最小视差(背景物体的视差固定为零)与元数据规定的左边缘遮掩部分的宽度进行比较。如果最小视差与零中较小的一个的量大于或等于元数据规定的左边缘的遮掩部分的宽度，则跳过步骤1605，使元数据提供的遮掩部分不会被减小。否则，如果最小视差与零中较小的一个的量小于规定的左边缘的遮掩部分的宽度，则在步骤1605中，左边缘的遮掩部分的宽度可减小，减小的量等于或大于最小视差与零中较小的一个的绝对值。记住，零视差位于屏幕表面上，“大于”零的任何视差处于屏幕后方——浮动窗ロ之外。“小干”零的视差(负)处于屏幕前方，可潜在地与浮动窗ロ交互。因此，如果图像中边缘附近的最近物体处于屏幕后方，浮动窗ロ减小到零(零与正视差中较小的ー个)，但是，如果边缘处的最近物体处于屏幕前方，浮动边缘被设置为该视差(或其绝对值)或轻微加宽。对另ー个眼睛的图像重复步骤1603、1604和1605中的程序。因此，在步骤1606中，确定与清晰区域的右边缘关联的最小视差，在步骤1607中，将其与元数据规定的值相比较。在适当的情况下，在步骤1608中减小规定的右眼图像在右边缘的消隐。处理1600在步骤1609结束，其中将可向显示器(例如，监视器或投影仪)移动的左边缘和右边缘消隐的潜在减少规定作为元数据描述，或可将消隐烧录到内容中，作为零个(即，没有需要消隐的区域)或更多黑色区域，每个黑色区域应用到立体内容的左眼和右眼图像的ー个或另ー个上。图14-16示出了在右侧边缘之前为立体图像或清晰区域的左侧边缘确定最小视差(例如，步骤1405之前执行的步骤1402)，但还可先对右侧边缘，随后对左侧边缘执行这些处理步骤。
浮动边缘减小处理1600建议，相比将对应黒色区域烧录到立体内容中，在处理1400中使用元数据提供浮动边缘可更为有利。元数据方法提供了更大的灵活性，因为如果确定浮动边缘过大，或完全没有必要(例如，如同存在遮蔽区域，例如1200的情况一祥)，这会使智能显示系统减少或消除与浮动边缘关联的剪裁。如果底层内容具有烧录黑色区域，剪裁的这种減少或消除不容易执行。注意，为了解释明晰，步骤1604、1605、1607和1608以及图12-13的上述说明省略以下细节。如果清晰区域被遮蔽区域(例如，区域900)缚住侧边，则在步骤1604或1607中与规定消隐宽度进行比较和在步骤1605或1608中进行条件性减小之前，必须将该遮蔽区域的宽度与最小视差与零中较小的ー个相加。换句话说，如果“消隐”从图像边缘限定到区域(例如，图11中的1002L)的相对边缘，则消隐的宽度则为1002L的宽度加上区域900的览度。预计处理1400、1500和1600是立体图像序列中最普遍应用的处理。在这种情境中，任ー边缘附近的前景物体的位置和视差可随着帧的不同而改变，例如，在任务或物体进入或离开场景时改变。为了避免浮动边缘突然扩展或收缩(不同于场景变化)，或连续跳动或调谐，步骤1402、1405、1503、1506、1603、1606中的最小视差的宽度，或在步骤1404、1407、1505、1508、1605或1608中烧录到内容中或记录为元数据的结果消隐宽度可为平滑状或进行了过滤(包括为序列中的后续立体图像预先做准备)，以预先处理这种变化，并将可能会引起对浮动边缘变化的注意的不必要变化降到最小。简而言之，已经将本发明的实施例呈现为适用于自动应用或修改具有可能会在图像空间的边缘产生深度冲突的前景物体的三维立体图像的浮动边缘。这些方法中的某些方法适用于最初生成用于呈现的浮动边缘，而其他方法用于因(例如)显示屏幕被部分遮蔽而校正或调节与内容一起被提供了的浮动边缘(如通过元数据规定的)。图17描绘了图解了本发明的一个实施方式的框图。数字影院系统1700包括数字影院 服务器1710和适用于呈现立体图像的数字影院投影仪1720。至少可对存储装置1712进行读取访问的数字影院服务器1710被配置用于从存储装置1712中读取构图，并对立体图片和音频元素进行解码。图片元素(可具有一个或多个烧录的浮动边缘)，以及在适用的情况下与浮动边缘相关的元数据通过连接1714提供给数字影院投影仪1720，所述连接1714可为单向或双向通信路径。数字影院投影仪1720从立体图片元素中生成立体图像，并通过透镜1722将结果图像投射到会堂的屏幕(未示出)上。音频元素通过数字影院服务器1710提供给音频重放通路(未示出)，音频重放通路将与立体图片元素关联的或伴随立体图片元素的音频分量传输给会堂中的观众。在本发明中，如果屏幕具有任何遮蔽区域，例如，由于遮蔽物而产生的任何遮蔽区域，则处理器(例如，投影仪1720中的处理器)可执行程序指令(例如，存储于存储器1726中的程序指令)，以实施处理1500或1600等处理，以确定是否应对ー个或两个立体图像应用任何浮动边缘，或对元数据规定的浮动边缘进行调节。在一个替代实施例中，立体图像的浮动边缘的调节可由数字影院服务器1710执行，并提供给做好显示准备的投影仪1720。在适用于家庭的又一个实施例(未示出)中，机顶盒或DVD播放器可对立体图像执行浮动边缘调节，以在具有三维功能的监视器(即，能显示立体图像的监视器)上显示。可替代地，立体图像的浮动边缘的调节可完全由三维功能监视器内的计算机执行。上文对特定示例进行了呈现，但也可使用其他变型实施本原理的ー个或多个特征。例如，并非基于显示器的边缘附近的区域内的最小视差限定浮动边缘，可使用视深代替最小视差。因此，方法可包括确定图像显示区域的边缘附近的立体图像的区域内的物体的视深，并遮挡立体图像的一部分的显示，所述部分的宽度基于物体的视深而选择。在另ー个实施例中，与浮动边缘有关的信息可存储于显示系统的存储器中，并在立体呈现之前取回。浮动边缘然后可基于取回的信息而应用，用于遮挡立体图像的特定部分。在另ー个实施例中，可识别立体图像的区域内的多个像素，并通过比较与立体图像的区域内的多个像素关联的视差而确定该区域的最小视差，从而获得最小视差信息。本发明的ー个方面还提供了其中存储有特定程序指令的计算机可读介质(例如，存储器、存储装置、可移动媒体等)，指令被一个或多个处理器执行时，将致使实施(例如)根据本发明的实施例的上述方法。上文对本发明的各个实施例进行了说明，但只要不脱离其基本范围，可设计本发明的其他和进ー步实施例。因此，应根据以下权利要求确定本发明的适当范围。
权利要求
1.一种用于呈现立体内容的方法，包括 获取与第一立体图像的区域关联的最小视差； 根据所述最小视差限定在所述区域附近的所述第一立体图像的一部分；并且 在遮挡所限定部分的显示的同时显示所述第一立体图像。
2.如权利要求I所述的方法，其中，所述最小视差基于以下各项中之一而获得与所述立体内容一起提供的元数据、所述区域的视差图的导出，以及所述第一立体图像和第二立体图像的视差分析，其中，所述第一和第二立体图像形成立体图像对。
3.如权利要求2所述的方法，其中，每个视差表示所述第一立体图像的像素与所述第二立体图像的对应像素之间的偏移。
4.如权利要求I所述的方法，其中，所述第一立体图像的所述区域靠近以下各项中之一所述第一立体图像的竖直边缘和用于显示所述第一立体图像的区域的竖直边缘。
5.如权利要求I所述的方法，其中，所述遮挡部分的宽度至少等于所述最小视差的量。
6.如权利要求I所述的方法，其中，所述第一立体图像的遮挡部分为以下各项中的至少一个左眼图像的左侧部分和右眼图像的右侧部分。
7.如权利要求6所述的方法，其中，所述左侧部分至少从以下各项中之一延伸所述左眼图像的竖直左边缘和图像显示区域的竖直左边缘，并且向左眼图像的中心部分延伸。
8.如权利要求6所述的方法，其中，所述右侧部分至少从以下各项中之一延伸所述右眼图像的竖直右边缘和图像显示区域的竖直右边缘，并且向所述右眼图像的中心部分延伸。
9.如权利要求I所述的方法，还包括 在显示所述第一立体图像之前，存储与所限定部分相关的信息； 取回所存储信息；并且 在显示所述第一立体图像期间，基于所取回信息遮挡所述第一立体图像的所限定部分。
10.如权利要求I所述的方法，还包括 识别所述第一立体图像的所述区域内的多个像素；并且， 通过比较与所述第一立体图像的所述区域内的多个像素关联的视差而确定所述最小视差。
11.一种用于立体显示的方法，包括 确定在图像显示区域的边缘附近的立体图像的区域内的物体的视深；并且 遮挡所述立体图像的一部分的显示，所述部分的宽度是基于所述物体的视深而选择的。
12.一种用于呈现立体内容的系统，包括 至少一个处理器，被配置用于确定与第一立体图像的区域关联的最小视差，根据所述最小视差限定在所述区域附近的所述第一立体图像的一部分，并在显示所述第一立体图像期间遮挡所限定部分。
13.如权利要求12所述的系统，其中，所述至少一个处理器还被配置用于基于以下各项中之一确定所述最小视差与所述立体内容一起提供的元数据、所述区域的视差图的导出，以及所述第一立体图像和第二立体图像的视差分析，其中，所述第一和第二立体图像形成立体图像对。
14.如权利要求12所述的系统，其中，所述第一立体图像的所述区域靠近以下各项中之一所述第一立体图像的竖直边缘和用于显示所述第一图像的区域的竖直边缘。
15.如权利要求12所述的系统，其中，所述遮挡部分的宽度至少等于所述最小视差的量。
16.如权利要求12所述的系统，其中，所述第一立体图像的遮挡部分为以下各项中的至少一个左眼图像的左侧部分和右眼图像的右侧部分。
17.如权利要求12所述的系统，其中，所述至少一个处理器设于以下各项中之一内数字影院显示系统和消费者视频显示系统。
18.如权利要求12所述的系统，其中，所述至少一个处理器设于数字视频播放器、机顶盒和移动装置中的至少一个内。
全文摘要
本发明描述了一种用于呈现立体图像的方法和系统，其中，显示立体图像的同时立体图像对的至少一个立体图像的一部分被遮挡。所述遮挡部分的宽度至少等于与在图像的竖直边缘附近或在用于显示图像的区域的竖直边缘附近的图像区域关联的最小视差的量。通过在内容显示期间遮挡该部分图像，可避免在图像或显示区域边缘附近的深度线索冲突。
文档编号H04N13/00GK102835117SQ201180017846
公开日2012年12月19日 申请日期2011年4月1日 优先权日2010年4月1日
发明者威廉·吉本斯·雷德曼 申请人:汤姆逊许可证公司