专利名称：一种显示系统和方法
技术领域：
本发明涉及三维显示技术。
背景技术：
生成的图像可以以不同的形式来显示。例如，电视(TV)是一种被广泛运用的以单色(“黑白”)或者彩色形式传输和显示图像的通讯媒体。通常，图像以模拟形式被提供以及以二维的形式被显示设备显示。较近一些，图像以数字形式被提供，在拥有改善了分辨率 (例如，“高清”或者“HD”)的显示设备上以二维形式显示。再近一些，生成的图像能够以三维形式显示。通常的显示可能使用许多的技术来实现三维图像的观看功能。例如，多种类型的眼镜被研发出来，用户通道佩戴眼镜来观看用常规显示方式显示的三维图像。这类眼镜的例子包括利用色彩滤光片或者是偏振滤光片的眼镜。在所有情况下，眼镜的镜片传递不同透视角的二维图像到用户的左右眼。这些图像在用户大脑的视觉中心被合并，以被感知为以一个三维的图像。在另外一个例子中，可以使用同步左右眼液晶(IXD)快门眼镜 (shutter glasses)和常规的二维显示一起来制造一个三维观看错觉。在另外一个例子中， 液晶(LCD)显示眼镜正被用来显示三维图像给用户。液晶显示眼镜的镜片包括相应的显示器，提供不同透视角的图像到用户的眼睛，被用户感知为三维图像。当使用显示设备显示三维视频内容时，用户可以观看到在视频内容中不同深度的对象。有时还会在三维视频内容上呈现附加的图形，例如封闭的字幕文本、交互菜单、网页、 网络标志和/或其他图形。当该附加的图形被呈现在三维视频内容上时，如果附加的图形内容和视频内容的深度感知效果相干扰，结果对于用户来说是讨厌的。避免这类干扰的现有技术包括只要执行这种叠加便将三维视频内容显示为二维的，或者是完全地避免图形叠加。
发明内容
本发明涉及实现三维视频和附加图形一起显示而不产生干扰的方法、系统和装置，结合至少一幅附图进行了充分的展现和描述，并在权利要求中得到了更完整的阐述。根据本发明的一个方面，本发明提供一种显示系统，包括接收媒体内容信号的干扰检测器，所述媒体内容信号包括代表图形叠加的图形叠加数据、代表第一图像的第一图像数据、以及代表第二图像的第二图像数据，所述第一和第二图像代表三维内容，所述干扰检测器被配置来在三维视体中检测图形叠加和三维内容之间的干扰；视图调节器，被配置来修改所述图形叠加数据、第一图像数据或者第二图像数据中的至少一个以使所述图形叠加和所述三维内容无干扰，所述视图调节器生成被修改的媒体内容信号，所述被修改的媒体内容信号包括所述图形叠加数据、第一图像数据或者第二图像数据中至少一个被修改的数据；和
接收所述被修改的媒体内容信号的显示设备，所述显示设备被配置来使所述图形叠加和所述三维内容被观看者视为无干扰。优选地，所述干扰检测器被配置来通过确定图形叠加数据被包括在媒体内容信号内以及根据预先确定的信息估计干扰来检测干扰。优选地，所述视图调节器包括图形叠加移位器，所述图形叠加移位器被配置来修改图形叠加数据，以改变图形叠加在三维视体中的位置来与三维内容无干扰。优选地，所述视图调节器包括视频压缩器，被配置来修改第一图像数据和第二图像数据，以在三维视体中压缩所述三维内容来与图形叠加无干扰。优选地，所述视频压缩器被配置来修改第一图像数据和第二图像数据以线性压缩所述三维内容。优选地，所述视频压缩器被配置来修改第一图像数据和第二图像数据以非线性压缩所述三维内容。优选地，所述视图调节器包括视频移位器，所述视频移位器被配置来修改第一图像数据以在第一方向上移动第一图像以及修改第二图像数据以在第二方向上移动第二图像，从而改变所述三维内容在三维视体中的位置来与图形叠加无干扰。优选地，所述视频移位器更进一步被配置来修改第一图像数据以缩放被移位的第一图像以及修改第二图像数据以缩放被移位的第二图像。优选地，所述视图调节器包括视频缩放器，所述视频缩放器被配置来修改第一图像数据以缩放第一图像以及修改第二图像数据以缩放第二图像，从而改变所述三维内容在三维视体中的位置来与图形叠加无干扰。优选地，所述干扰检测器被配置来检测三维视体中图形叠加和三维内容之间的叠加以检测干扰。优选地，所述干扰检测器被配置来通过确定三维内容在三维视体中阻挡了图形叠加的观看来检测干扰。根据本发明的一个方面，本发明提供一种方法，包括接收媒体内容信号，所述媒体内容信号包括代表图形叠加的图形叠加数据、代表第一图像的第一图像数据、以及代表第二图像的第二图像数据，所述第一和第二图像代表三维内容；在三维视体中检测图形叠加和三维内容之间的干扰；修改所述图形叠加数据、第一图像数据或者第二图像数据中的至少一个以使所述图形叠加和所述三维内容无干扰；和基于所述图形叠加数据、第一图像数据或者第二图像数据中至少一个被修改的数据来使无干扰的图形叠加和三维内容被观看者观看。优选地，所述检测包括确定所述图形叠加数据被包含在所述媒体内容信号中；和根据预先确定的信息柜估计干扰。优选地，所述修改包括修改所述图形叠加数据以改变图形叠加在三维视体中的位置来与三维内容无干扰。
优选地，所述修改包括修改所述第一图像数据和第二图像数据以在三维视体中压缩所述三维内容来与所述图形叠加无干扰。优选地，所述视频压缩器被配置来修改第一图像数据和第二图像数据以线性压缩三维内容。优选地，所述视频压缩器被配置来修改第一图像数据和第二图像数据以非线性压缩三维内容。优选地，所述修改包括修改第一图像数据以在第一方向上移动第一图像；和修改第二图像数据以在第二方向上移动第二图像；从而改变三维内容在三维视体中的位置来与图形叠加无干扰。优选地，所述方法进一步包括修改第一图像数据以缩放被移位的第一图像；和修改第二图像数据以缩放被移位的第二图像。
优选地，所述修改包括修改第一图像数据以缩放第一图像；和修改第二图像数据以缩放第二图像；从而改变三维内容在三维视体中的位置来与图形叠加无干扰。
此处包含的附图构成了说明书的一部分，图解说明了本发明，与描述部分一起更进一步用于解释本发明的原理，以及使相关技术领域的人员可以制造和使用本发明。图1展示了根据一个实施例的显示环境的框图；图2和图3分别示出了一个观看者在二维显示中观看立体图像对；图4展示了一个观看者正在观看由显示设备显示的无叠加的三维内容和图形叠加；图5展示了一个观看者正在观看由显示设备显示的叠加的三维内容和图形叠加；图6A展示了根据一个实施例的显示系统的框图；图6B展示了根据一个实施例举例的媒体内容信号数据的框图；图7展示了根据一个实施例检测和修复三维视频内容和图形叠加之间的叠加的流程图；图8展示了根据一个实施例的视图调节器的框图；图9展示了根据一个实施例改变图形叠加在三维视体(view volume)中的位置来与三维内容无干扰的过程；图10展示了根据一个实施例在三维视体中压缩三维内容来与图形叠加无干扰的过程；图11展示了根据一个实施例的被移位以修改相应的显示三维场景到观看者的感知距离的左侧和右侧图像；图12展示了根据一个实施例移位与三维视频对应的左和右图像以使三维视频不与图形叠加干扰的过程；图13展示了根据一个实施例的被缩放以修改相应的显示三维场景到观看者的感知距离的左侧和右侧图；图14展示了根据一个实施例缩放与三维视频对应的左和右图像以使三维视频不与图形叠加干扰的过程；以下将结合附图来对本发明进行描述。在图中，相似的附图标记标识相同或功能相近的组件。此外，附图标记最左边的数字与这个附图标记第一次出现的图是一致的。
具体实施例方式简介本说明书公开一个或者多个实施例，这些实施例合并了本发明的特征。公开的实施例仅仅例证本发明。本发明的范围不受公开的实施例的限制。本发明通过附加的权利要求定义。在本说明书中提及的“一个实施例”等，表明所描述的实施例可能包括一个特别的功能、结构或者是特征，但不是每个实施例都必须包括特别的功能、结构或者是特征。而且， 这样的措辞在相似的实施例中不需要涉及。更进一步，当一个特别的功能、结构或者是特征与一个实施例结合来描述时，本领域的技术人员能够通过其它在本文中描述或没有描述过的实施例来实现这些属性、结构或者是特征。此外，在此使用的空间的描述(例如，“在上方”、“在下方”、“上侧”、“左侧”、“右侧”、“向下的”、“顶部”、“底部”、“垂直的”和“水平的”等)的目的应该被理解为只为说明， 而在此描述的结构实际实现的空间排列可以在任何方向或者以任何的方式。实施例通过数字电视(DTV)或者其它类型的显示设备来为观看者提供三维图像显示支持，具有巨大的行业推动力。这类的显示设备可以通过用户佩戴的眼镜来支持三维内容的观看。这类眼镜的例子包括使用了色彩滤光片或者偏振滤光片的眼镜。在每一个例子中， 眼镜的镜片传递不同透视角的二维图像到用户的左眼和右眼。图像在用户大脑的视觉中心被合并，然后被感知为三维图像。在另一个例子中，同步的左右眼液晶(LCD)快门眼镜可以与常规的二维显示一起使用来产生三维观看错觉。在这种快门眼镜中，左侧图像显示在屏幕上，同时眼镜的右侧镜片变黑(因此左侧图像只被观看者的左眼观看到)，随后右侧图像显示在屏幕上，同时眼镜的左侧镜片变黑(因此右侧图像只被观看者的右眼观看到)。在另一个例子中，液晶(IXD)显示眼镜被用来为用户显示三维图像。IXD显示眼镜的镜片包括相应的显示器，为用户的眼睛提供不同透视角的图像，以被用户感知为三维形式。而且，显示器正在被发展到不需要用户佩戴眼镜来观看三维图像，例如具有视差光栅的显示器。显示在二维平面上从而允许观看者的左右眼看到相同内容的视频内容将被感知为二维的。如上所述，为了使内容被感知为三维的，观看者的左右眼需要看到立体图对的不同图像。观看者的大脑将不同的图像合并把这些图像感知为三维视图。显示系统可以用各种方法配置，在第一和第二图像被观看者感知为三维形式的方式中显示第一和第二图像。例如，图1展示了一个显示环境100的框图，在显示环境100中有一个观看者106，观看者106能与传递三维媒体内容的显示系统102交互。如图1中所示，显示环境100包括显示系统102、远程控制104、眼镜112和观看者106。虽然在图1中示出了一个单独的观看者106，在另外一个实施例中，额外的观看者106可出现在显示环境 100中，可与显示系统102交互，以及被显示系统102传递媒体内容。显示系统102是被配置来显示图像的系统。例如，显示系统102可能包括显示设备，例如电视显示器、电脑显示器、智能手机显示器和视频游戏显示器等，以及可能包括一个或者多个设备，这些设备被配置来接收并提供媒体内容给显示设备，例如电脑、电缆箱或者机顶盒、游戏控制台、数字视频碟片(DVD)播放器和家庭影院接收器等。在一个实施例中，显示设备和媒体内容接收器和/或播放器可以被整合在单个设备中或者分离的设备中。显示系统102的显示设备发射出光，射出的光包括被观看者106选择来观看的与三维内容相关联的图像。例如，观看者106可以使用远程控制104(或者可以与显示系统的用户界面直接交互)来选择三维内容来观看。如图1所示，远程控制104可以发射出内容选择信号114，该内容选择信号114指出被观看者106选择观看的内容。观看者106被显示系统 102传送一个相应的视图108。视图108可能是包括三维视频(例如，三维图像序列)的三维视图。眼镜112是可选择的。当出现时，例如眼镜112可以是偏振眼镜、色彩滤光眼镜或者是快门眼镜。这样的话，眼镜112对显示系统102显示的图像进行滤光，以至于观看者 106被传递与观看者106选择的三维内容相关的三维视图。例如，在一个实施例中，显示系统102可以发射包含与观看者106选择的第一三维内容相关的第一和第二图像的光。第一图像是与第一三维内容相关的左眼图像，第二图像是与第一三维内容相关的右眼图像。第一和第二图像可以被显示系统102同时或者按顺序地显示，第一和第二图像的每次重复显示提供一个相应的三维图像。眼镜112对显示系统 102显示的第一和第二图像进行滤光，以使观看者106可以观看到相应的希望看到的三维内容。例如，如果眼镜112包括偏振或者滤光镜片，第一和第二图像被显示系统102同时显示，左镜片和右镜片分别传递第一和第二图像中的相应一个并滤除第一和第二图像中的另一个。如果眼镜112包括快门镜片，眼镜112的左快门镜片和右快门镜片分别阻挡或者传递与第一和第二图像同步的光。以这种方式，观看者106交替地用他/她的左眼看到第一图像和用他/她的右眼看到第二图像。第一和第二图像在观看者106的大脑的视觉中心被合并以被感知为三维图像。另一种方法，显示系统102的显示设备可以被配置来以观看者106不需要佩戴眼镜112方式显示三维内容。在这种方式中，显示设备可拥有分别同时显示第一和第二图像的第一和第二组显示元件(例如，像素)。显示设备可以包括有对显示系统102发射出的光进行滤光的滤光器(例如，视差光栅)，以使观看者106的左眼接收第一图像而不接收第二图像，观看者106的右眼接收第二图像而不接收第一图像。相应地，当三维视频内容被使用显示系统102的显示设备显示时，用户看到不同深度的物体。例如，图2展示一个观看者106正在观看二维显示器202上的立体图像对。显示器202的显示屏在显示器202的左侧显示第一图像206，在显示器202的右侧显示第二图像208。第一和第二图像206和208是一个立方体的从不同透视角的图像。观看者106 的左眼被允许看到在显示器202左侧的第一图像206，但被阻挡不能看到第二图像208(如在图2中左边的“X”所示)，观看者106的右眼被允许看到在显示器202右侧的第二图像208，但被阻挡不能看到第一图像206(如在图2中右边的“X”所示)。结果，观看者106将立方体感知为位置比显示器202到观看者106的距离更远的三维物体204。物体204好像在显示器202的后面。在另一个实施例中，图3展示了一个观看者106正在观看在二维显示器302上的立体图像对。显示器302的显示屏在显示器302左侧显示第一图像306，并在显示器302右侧显示第二图像308。与图2相似，第一和第二图像306和308是一个立方体的从不同透视角的图像。然而，在图3中，观看者106的左眼被允许看到在显示器302右侧的第二图像 308，但被阻挡不能看到第一图像306(如在图3中左边的“X”所示)，观看者106的右眼被允许看到在显示器302左侧的第一图像306，但被阻挡不能看到第二图像308(如在图3中右边的“X”所示)。结果，观看者106将立方体感知为位置比显示器302到观看者106的距离还要近的三维物体304。物体304好像在显示器302的前面。通常，显示设备可能需要为观看者显示除了主视频序列之外的信息。在这个情况下，与该显示信息相对应的附加的图形可以呈现在通过显示设备显示的三维视频内容上。 该显示信息的例子包括图形用户界面(GUI)、网页、隐蔽的字幕、图文电视、画中画(PIP)、 网络标志、和/或从其它资源给出的图像或者内容。如果主视频序列是二维的，该附加的信息可以呈现在该视频上而不会产生问题。然而，如果主视频序列是三维的，如果附加的信息与视频内容的深度感知相干扰时，结果就会是令人讨厌。例如，图4展示了一个观看者402正在观看通由显示设备例如图1的显示系统102 显示的三维内容404和图形叠加406。虽然在图4中没有示出观看者402配戴能看到三维内容的眼镜(例如，图1的眼镜112)，但是观看者402可以配戴了这类眼镜。图4展示了三维内容404和图形叠加406，他们被观看者402感知为处于具有水平的X轴、垂直的Y轴和纵深的Z轴(X-Y-Z空间或者视体)的三维空间里。X轴与Y轴彼此垂直，置于与显示设备的显示屏的平面平行的一个平面内。Z轴与X和Y轴的平面垂直，并且方向指向显示屏内外。在图4的一个例子中，三维内容404和图形叠加406之间是没有叠加的。换句话说，在 X-Y-Z空间中由三维内容404填充的体积不与由图形叠加406填充的一个平面(当图形叠加406填充二维空间时)或者一个体积(当图形叠加406填充三维空间时)叠加。三维内容404和图形叠加406沿着Z轴被放置于不同的位置，以至于图形叠加406被观看者402 感知为位于观看者402和三维内容404之间。因为三维内容404和图形叠加406沿着Z轴被放置于不同的位置而不叠加，三维内容404和图形叠加406在观看者402看来不会相互干扰。作为对比，图5介绍了一个种情形，主三维内容和附加的信息彼此干扰。图5展示了一个观看者502正在观看由显示设备例如图1的显示系统102显示的三维内容504和图形叠加506。虽然在图5中没有展示观看者502配戴能看到三维内容的眼镜(例如，图1 的眼镜112)，但是观看者502可以配戴了这类眼镜。图5展示了三维内容504和图形叠加 506，他们被观看者402感知在三维的X-Y-Z空间里。在图5的一个例子中，三维内容504和图形叠加506相互叠加。换句话说，在X-Y-Z空间中由三维内容504填充的体积与由图形叠加506填充的平面(当图形叠加506填充二维空间时)或者由图形叠加506填充的体积 (当图形叠加506填充三维空间时)相叠加。三维内容504和图形叠加506沿着Z轴被放置于叠加的位置，以至于图形叠加506被观察者502感知为位于三维内容504内。因为三维内容504和图形叠加506沿着Z轴被放置于叠加的位置，因此叠层、三维内容504和图形叠加506在观看者502看来相互干扰。这个的环境可能导致观看者502的一个视觉不愉悦立体组和一个最适度一下的三维体验。例如，观看者502可能不能够辨别出什么是图5中的图形叠加506(例如，可能不能够阅读图形叠加506的文字和查看图形叠加506的一个菜单等)。因此，当增加的图形通过一个台显示设备在三维内容上被给出时，如果图形内容与视频内容的深度感知干扰，会为观看者带来不令人愉快的结果。在此提供的实施例使三维视频和附加的图形能够无干扰地一同显示。在实施例中，三维内容和图形叠加被显示的空间可以被检测(或者估算)。如果空间叠加，或者如果三维视频位于观看者和图形叠加之间，显示设备可以被配置来修改三维内容和/或图形叠加的显示，以使它们彼此之间不干扰。三维视频序列里物体的感知深度(沿着Z轴的位置和/或长度)与任何特定的物体在左右立体图像之间的水平偏移量有关。在一个实施例中，通过检测每个物体或者三维视频序列的一部分的左和右图像的水平偏移量，显示系统可以检测到视体中视频内容存在的活跃区域。显示系统可以使用检测到的活跃区域来修改视频内容和/或来修改图形叠加以避免Z轴的干扰，并允许图形叠加呈现在三维视频上且两两之间没有视觉干扰。在一个实施例中，如果水平偏移量的检测对于特定显示系统的处理性能来说太难或太复杂，则可以基于任何合适的预先确定的信息来估计视体内视频存在的活跃区域。例如，图6A展示了根据一个实施例的显示系统600的框图。显示系统600是图1 的显示系统100的一个例子。显示系统600被配置来检测三维视频内容和图形叠加之间的叠加。如图6A所示，显示系统600包括干扰检测器602、视图调节器604和显示设备606。 显示系统600如下所述。如图6A所示，干扰检测器602接收媒体内容信号608。媒体内容信号608包括与左图像或者帧流相对应的第一图像数据流和与右图像或者帧流相对应的第二图像数据流。 当与左和右图像数据相对应的左和右图像由显示设备606显示时，用户可以感知显示设备 606正在显示三维视频。媒体内容信号608更进一步可以包括与图形叠加相对应的图形叠加数据(例如，以图像或者图像流的形式)，该图形叠加将被叠加在三维视频上。干扰检测器602被配置来确定是否三维视频和图形叠加彼此干扰，类似于图5中的三维内容504和图形叠加506。例如，图6B展示了根据一个实施例举例的数据的框图，举例的数据可以包括在媒体内容信号608中。如图6B中所示，媒体内容信号608包括第一图像数据620、第二图像数据622和图形叠加数据624。第一图像数据620是与一个或者多个左图像相对应的图像数据，第二图像数据622是与一个或者多个右图像相对应的图像数据，图形叠加数据6M是与图形叠加相对应的图像数据，图形叠加数据6M可包括一个或者多个图形叠加图像。如图6B中所示，第一图像数据620包括定义第一图像的内容(例如，物体、颜色、灰度等)的像素数据626，第二图像数据622包括定义第二图像的内容的像素数据628，图形叠加数据 624包括定义图形叠加的内容的像素数据630。通过分析在媒体文件信号608中接收到的数据，干扰检测器602可以确定是否三维视频和图形彼此干扰。例如，干扰检测器602可以确定三维视频和图形叠加彼此干扰，如果它们叠加，和/或如果三维视频遮住了观看者观看图形叠加(例如，在视体中，三维视频位于图形叠加和观看者之间)。干扰检测器602可以配置来以任何方式检测是否三维视频和图形叠加相互干扰，包括通过估算，或者通过确定实际叠加的区域或者真实地确定三维视频位于观看者和图形叠加之间。例如，在一个实施例中，干扰检测器602被配置来通过确定图形叠加数据6M被包含在媒体内容信号608中，来检测三维视频和图形叠加之间的干扰。在图形叠加数据624被确认包含在媒体内容信号608里的情况下，干扰检测器602可以被配置来默认地假设和表明干扰的存在(例如，叠加和/或遮挡)。在这种情况中，干扰检测器602可以被配置来基于预先确定的信息估测干扰。例如，干扰检测器602可以根据Z = 0的位置为图形叠加通常的位置来假设图形叠加位于Z轴上Z = 0的地方，以及可以假设三维视频位于包括Z = 0平面的空间里。干扰检测器602因此可以估计位于Z = 0平面上存在叠加。在其它实施例中，干扰检测器602可以基于任何其它预先确定的信息来估计干扰。在另一个实施例中，干扰检测器602可以分析第一图像数据620和第二图像数据 622来确定由呈现在三维视频里的每个物体所填充的空间。例如，在一个实施例中，干扰检测器602可以分析第一图像数据620的像素数据6 和第二图像数据622的像素数据6 来确定在三维视频中展示的一个或和多个物体。例如，干扰检测器602可以对像素数据626 和6 应用图像识别技术，如相关技术领域的技术人员所知的那样，来检测三维视频中的一个或者多个物体。此外，通过检测每个物体在左和右图像内的水平偏移量，可以确定每个物体在三维视频的视体内的活跃区域。一个完整的被三维视频占据的空间可以通过将三维视频中呈现的所有物体所确定的活跃空间合并来确定。如果图形叠加是二维图形叠加，干扰检测器602可以从媒体内容信号608内接收到的图形叠加数据6M来确定该图形叠加填充位于Z = 0或者在其他Z坐标的X-Y平面上内的一个平行空间。如果图形叠加是三维图形叠加，干扰检测器602可以分析包含在媒体内容信号608内接收的图形叠加数据624内的左和右图像数据，来确定被三维图形叠加填充的一个空间。例如，干扰检测器602可以分析图形叠加数据624的像素数据630来检测被图形叠加填充的平面或者三维空间。然后干扰检测器602可以执行被确定由三维视频占有的空间与被确定由图形叠加占有的空间之间的比较。如果通过比较检测到干扰，干扰检测器602可以生成检测到干扰信号610来说明检测到的干扰，例如检测到的叠加。例如，检测到的叠加可以以叠加所在的一个或者多个Z轴坐标(来说明叠加所在地的深度)来表明，以及可以选择性地指出沿 X轴和Y轴的相应坐标，以指出被检测到的叠加的体积。如图6A所示，视图调整器604接收检测到干扰信号610和媒体内容信号608。如果检测到干扰信号610说明了在三维视频和图形叠加之间存在干扰，视图调整器604被配置来修改第一图像数据620、第二图像数据622和/或图形叠加数据624，以修改出现在媒体内容信号608里的三维视频或者图形叠加中的至少一个来移除干扰。如下所述，视图调整器604可以以不同的方式执行修改。视图调整器612生成被修改的媒体内容信号612，该媒体内容信号612包括了被修改以移除干扰的三维视频和图形叠加。
显示设备606接收媒体内容信号608和/或被修改的媒体内容信号612。如果被修改的媒体内容信号612包括三维视频和图形叠加的被修改形式，显示设备606显示三维视频和图形叠加的被修改的形式。如果被修改的媒体内容信号612不存在，显示设备显示媒体内容信号608中接收的三维视频和图形叠加。显示设备606可以是电视显示器、电脑显示屏、智能手机显示器或者其他的显示设备。显示设备606可以交替地显示由观看者配戴的眼镜滤光的右和左图像以感知为三维图像。或者，显示设备606可以同时显示右和左图像，以使观看者将它们感知为三维图像 (例如，使用滤光镜片，通过视觉光栅滤光等)。因此，如上所述，显示系统600被配置来检测和修正三维视频内容和图形叠加之间的叠加。显示系统600作为一个实施例提供，并不用于限制本发明。在具体实施例中，检测和解决三维视频内容和图形叠加之间的叠加可以通过其它各种系统来执行。例如，图7 展示了根据一个实施例检测三维视频内容和图形叠加之间的叠加的流程图700。在实施例中，显示系统600可以根据流程图700来工作。根据流程图700的下述描述，更进一步结构和操作的实施例对于相关领域的技术人员来说是显而易见的。流程图700如下所述。流程图700从步骤702开始。在步骤702中，媒体内容信号被接收，该媒体内容信号包括代表图形叠加的图形叠加数据、代表第一图像的第一图像数据，以及代表第二图像的第二图像数据，第一和第二图像代表三维内容。例如，如图6A所示，干扰检测器602接收媒体内容信号608。媒体内容信号608包括对应于左图像或者帧流的第一图像数据流620 和对应于右图像或者帧流的第二图像数据流622。此外，媒体内容信号608包括对应于图形叠加的图形叠加数据624。在步骤704中，在三维视体中在图形叠加和三维内容之间的干扰被检测到。例如， 如上所述，干扰检测器602可以确定媒体内容信号608内接收到的三维视频和图形叠加是否彼此相互干扰。干扰检测器602生成检测到干扰信号610来说明干扰。在步骤706中，图形叠加数据、第一图形数据或者第二图形数据中的至少一个数据被修改以使图形叠加和三维内容之间无干扰。例如，如图6A所示，视图调节器604接收检测到干扰信号610和媒体内容信号608。如果检测到干扰信号610说明在三维视频和图形叠加之间出现干扰，视图调节器604被配置来修改第一图像数据620、第二图像数据622 和/或图形叠加数据624以修改在媒体内容信号608里出现的三维视频或者图形叠加中至少一个来移除干扰。视图调节器604可以通过不同的方式来修改第一图像数据620、第二图像数据622和/或图形叠加数据624，以使图形叠加和三维内容之间无干扰，如以下所述。 如图6A所示，视图调节器604生成被修改的媒体内容信号612，被修改的媒体内容信号612 包括被修改以移除干扰的第一图像数据、第二图像数据和图形叠加数据。在步骤708中，根据图形叠加数据、第一图像数据或者第二图像数据中被修改的至少一个数据，使得观看者可以看到无干扰的图形叠加和三维内容。例如，如图6A所示，接收被修改的媒体内容信号612。如果被修改的媒体内容信号612包括三维视频和图形叠加的被修改形式，显示设备606显示该三维视频和图形叠加的被修改形式。视图调节器604可以被配来修改第一图像数据620、第二图像数据622、和/或图形叠加数据624以修改出现在媒体内容信号608里的三维视频或者图形叠加的至少一个， 以便以不同的方式来移除干扰(例如，在图7的步骤706中)。例如，根据一个实施例，图8 展示了视图调节器604的方框图。如图8所示，视图调节器604包括图形叠加移位器802、 视频压缩器804、视频移位器806和视频缩放器808。在实施例中，视图调节器604可以包括图形叠加移位器802、视频压缩器804、视频移位器806和视频缩放器808中的任何一个或多个。通过这种方式，视图调节器604能够执行一个或者多个相应类型的视频修改。视图调节器604的这些组件如下所述。图形叠加移位器802被配置来移动图形叠加相对于三维视频的位置，以使它们彼此无干扰。例如，参见图5，三维内容504和图形叠加506相叠加，图8的图形叠加移位器 802可以被配置来移动图形叠加506的位置，以使图形叠加506不与三维内容504相叠加。 如果三维内容504和图形叠加506不叠加，但是三维内容504遮挡了图形叠加506的观看， 图形叠加移位器506可以被配置来移动图形叠加506的位置位于观察者和三维内容504之间。图形叠加移位器802可以被配置来沿着X、Y和Z轴或者是任何X、Y的组合、以及X轴方向的任何距离，来移动图形叠加506，以使三维内容504和图形叠加506之间无干扰。例如，在一个实施例中，图形叠加移位器802可以被配置来沿着Z轴移动图形叠加 506到三维内容504没有出现的一个区域。在这种情况下，图形叠加506可以被图形叠加移位器802移动，来被感知为离观看者502更近(例如，类似于图4中的图形叠加406)或者被感知为远离观看者502 (虽然在这种情况下，观看者502可能不得不通过看穿三维内容 504来看图形叠加506，这是不受欢迎的)。当图形叠加506被配置来在沿着Z轴的起始点(Z = O)处被显示，同样的图形叠加图像通过显示设备606被显示给观看者502的双眼。当图形叠加506被图形叠加移位器 802从Z = 0移动到被感知离观看者502更近的地方，图形叠加移位器802可以被配置来从图形叠加数据拟4形成第一和第二图像，作为对应于图形叠加506的左和右立体图像，其具有相对于彼此的水平偏移量。或者，除了针对图形叠加506需要沿Z轴移动(由干扰检测器602指出)的事件下针对图形叠加506的Z = 0图像信息之外，作为对应于图形叠加 506的左和右立体图像的第一和第二图像可以在媒体内容信号608内在图像叠加数据6M 内接收。同样地，在一个实施例中，流程图700的步骤706中，图形叠加移位器802可以被配置来执行图9中所示的步骤902。在步骤902中，图形叠加数据被修改以移动图形叠加在三维视体中的位置来与三维内容无干扰。如上所述，图形叠加移位器802通过修改与图形叠加506相对应的图形叠加数据624，能够移动图形叠加506到沿着Z轴的三维内容504 没有出现的一个区域。 在另一个实施例中，视频压缩器804被配置来修改右和左图像数据以压缩三维视频，以使它不与图形叠加506相干扰。例如，参见图5，三维内容504和图形叠加506相叠加，视频压缩器804可以被配置来修改第一和第二图像数据620和622，以沿着Z轴压缩三维内容504(例如，“挤压”三维内容504)，来填充以图5中展示的三维内容504的最后面的平面和在图5中展示的图形叠加506的最后面的平面为边界的空间。视频压缩器804可以被配置来以任何数量来压缩三维内容504，以使三维内容504看上去在图形叠加506的后面且不与图形叠加506相干扰。视频压缩器804可以被配置来以任何方式压缩三维内容504。
在一个实施例中，视频压缩器804可以被配置来用线性的方式压缩三维内容504。 在这个实施例中，视频压缩器804可以修改右和左图像数据620和622以依据一压缩因子来均勻地压缩三维内容504(例如，压缩因子3被配置来沿着Z轴将三维内容504的长度除以幻。在另一个实施例中，视频压缩器804可以被配置来用非线性的方式压缩三维内容 504。在这个实施例中，视频压缩器804可以修改右和左图像数据620和624，以通过不同的数量沿着Z轴来压缩三维内容504的不同部分。在一个实施例中，视频压缩器804可以被配置沿着Z轴以线性或者非线性方式来压缩整个三维内容504。在另一个实施例中，视频压缩器804可以被配置来沿着Z轴以线性或者非线性方式压缩三维内容504的一部分。例如，视频压缩器804可以被配置来压缩三维内容504的与图形叠加506相干扰的一部分，比如当图形叠加506具有在X-Y平面上的一个区域比三维内容504在X-Y平面上的一个区域小时。同样地，一个实施例中，在流程图700的步骤706中，视频压缩器804可以被配置来执行图10中展示的一个步骤1002。在步骤1002中，第一图像数据和第二图像数据被修改以在三维视体中压缩三维内容来与图形叠加无干扰。如上所述，视频压缩器804被配置来修改右和左图像数据620和622以压缩三维内容，以使三维内容与图形叠加506无干扰。在另一个实施例中，视频移位器806被配置来修改右和左图像数据以移动与三维视频相对应的右和左图像，以使三维视频不予图形叠加506发生干扰。逻辑上，三维视频内容的深度可以通过增加或减小左和右立体图像之间的相对水平距离来修改。例如，图11展示了根据一个实施例的左侧和右侧图像，该左侧和右侧图像正在被移动以修改相应显示的三维场景到观察者的感知距离。在图11的例子中，左图像被移动到左侧，右图像被移动到右侧，以为观看者提供三维内容正在被移动到远离观看者一个增加的距离的感知。根据沿着Z轴的三维视频的活跃区域，这种移动可以被用来避免与图形叠加的冲突。最初的左和右图像1102和1104在图11中示出，它们分别包括一个物体(在图11 中示为一个圆圈)的右和左侧透视图。在图11中所示的被移动的左和右图像1106和1108 可以由视频移位器806通过分别移位第一和第二图像数据620和622的像素数据来形成， 并且分别是最初的左和右图像1102和1108的被左和右移位的版本。如图11所示，被移位的左和右图像1106和1108均包含了该物体，并且该物体在被移位的左图像1106中被左移位，在被移位的右图像1108中被右移位。此外，被移位的左图像1106的最左侧部分从被移位的左图像1106中移出且被去除，一个新的部分被加到被移位的左图像1106中(从右侧移入)作为被移位的左图像1106的最右侧部分。被移位的右图像1108的最右侧部分从被移位的右图像1108中移出且被去除(被剪裁)，一个新的部分被加到被移位的右图像1108 中(从左侧移入)作为被移位的右图像1108的最左侧部分。这样的图形部分的移除可以通过从第一和第二图像数据620和6M移除相应列的像素来实现。新移入的部分可以通过给第一和第二图像数据620和6M增加相应列的像素来增加。新移入的部分可以是白色、黑色、纯色或者图样，包括根据最初的左和右图像1102和1108的内容生成的图样。被移位的左和右图像1106和1108可以通过显示设备606来显示(基于修改后的右和左图像数据)， 以使三维内容相对于最初的左和右图像1106和1104视乎被移动到离观看者更远的距离。在一个实施例中，被移位的左和右图像1106和1108可以可选择地由视频移位器 806(或者视频缩放器808)做更进一步地处理。例如，对应于被移位的左和右图像1106和 1108的修改后的右和左图像数据可以被修改以缩放被移位的左和右图像1106和1108 二者来校正在移位过程中由视频移位器806增加的新的部分(例如黑条)。例如，图11展示被缩放移位的左和右图像1110和1112，他们是被移位的左和右图像1106和1108的被缩放(例如放大)版本。通过将被移位的左和右图像1106和1108缩放成更大一些，便可以移除该新的部分。被缩放移位的左和右图像1110和1112可以相对于被移位的左和右图像1106和1108以任何方式缩放，包括通过相应地修改第一和第二数据620和624的像素数据，来扩大宽度(例如，沿着X轴伸展)或者同时扩大高度和宽度(沿着X轴和Y周伸展)。 在这种情况下，在被缩放移位的左和右图像1110和1112中的物体相对于被移位的左和右图像1106和1108被放大。在另一个实施例中，如果希望避免与图形叠加干扰，除了图11所示，三维内容可以在相反的方向上移位(例如，移动左图像到右侧，以及移动右图像到左侧)以在Z轴上朝着观看者移动三维内容。这样的话，一个实施例中，在流程图700的步骤706中，视频移位器806可以被配置来执行图12中展示的流程图1200。在流程图1200的步骤1202中，第一图像数据被修改来在第一方向上移动第一图像。在步骤1204中，第二图像数据被修改来在第二方向上移动第二图像。如上所述，视频移位器806被配置来修改右和左图像数据620和622以移动与三维视频相对应的右和左图像，以使三维视频不与图形叠加506干扰。在另一个实施例中，视频缩放器808被配置来修改右和左图像数据以缩放与三维视频相对应的右和左图像，以使三维视频不与图形叠加506相干扰。逻辑上，三维视频内容的深度可以通过增加/减少左和右立体图像之间的相对水平距离来修改。例如，图13展示根据一个实施例的左侧和右侧图像1102和1104，它们正被视频缩放器808缩放以修改相应显示的三维场景到观察者的感知距离。如图13所示，左侧和右侧图像1102和1104被逻辑地并排放置，以构成一个单独的被拉伸的图像1320。被拉伸的图像1302由视频缩放器808放大以形成一个更大尺寸的拉伸的图像1304。例如，如图13所示，被拉伸的图像1302可以被视频缩放器808沿着X轴加长(例如，被延伸)以形成尺寸更大的被拉伸的图像1304。例如，可以在第一和第二图像数据620和622的像素数据6 和 628上执行像素插补技术，来拉长图形1302。同样地，出现在左侧和右侧图像1102和1104 中以及因此出现在被拉伸的图像1302的左和右侧的物体，沿着X轴在更大尺寸的被拉伸的图像1304的左和右侧被拉伸(例如，从圆形被拉伸为椭圆形)。更大尺寸的被拉伸的图像 1304的外部的左和右部分被视频缩放器808剪裁(裁掉与被拉伸的图像1302相比该更大尺寸的被拉伸的图像1304增加的长度量)，并且更大尺寸的被拉伸的图像1304的被剪裁的版本被视频缩放器808分为两半，以形成被缩放的左和右侧图像1306和1308。被缩放的左和右侧图像1306和1308可以由显示设备606显示。结果是，被缩放的左和右侧图像1306 和1308具有与左侧和右侧图像1102和1104相同的尺寸，但是它们之间的偏移量具有相对的增加。同样地，包括在被缩放的左和右侧图像1306和1308中的三维内容，被观看者感知为相对于与左侧和右侧图像1102和1104对应的三维内容，其被沿着Z轴移动到离观看者更远处。以相似的方式，视频缩放器808缩小左侧和右侧图像1102和1104(例如，沿着X 轴压缩左侧和右侧图像1102和1104)，得到的三维内容在Z轴上被朝着用户移动。例如，可以在第一和第二图像数据620和622的像素数据6 和6 上执行像素二次采样或下采样技术来水平压缩图像1302(并且可以选择性地增加像素列)。同样地，在一个实施例中，在流程图700的步骤706里，视频缩放器808可以被配置来执行图14所示的流程图1400。在流程1400的步骤1402中，第一图像数据被修改以缩放第一图像。在步骤1404中，第二图像数据被修改以缩放第二图像。如上所述，视频缩放器808能够修改右和左图像数据620和622以缩放与三维视频相对应的右和左图像，以使三维视频不与图形叠加506相干扰。因此，在实施例中，图形叠加可以被移位，三维内容可以被压缩，三维内容可以被移位，和/或三维内容可以被视图调节器604(图6A)缩放以移除图形叠加与三维内容之间的干扰。视图调节器604生成被修改的媒体内容信号612，被修改的媒体内容信号612包括了以这些方式中的一个或多个方式被修改以移除干扰的三维内容和图形叠加(例如，包括第一图像数据620、第二图像数据622和/或图形叠加数据6M中一个或者多个的被修改形式)。显示设备606显示三维内容和图形叠加的被修改形式，观看者能够看到图形叠加和三维内容，因此图形叠加和三维内容被观看者无干扰地感知。以这种方式，观看者能够更清楚地看到图形叠加和/或三维内容。总结本发明各种各样的实施例已经在上面描述，它们应该被理解为只为举例而给出， 而不是限制。在不脱离本发明的精神和范围下，结构和细节上的各种变化对于相关领域的技术人是显而易见的。因此，本发明范围的宽度不应该受到任何上述的实施例的限制，而只应该依照所附的权利要求和它们的等同范围来定义。
权利要求
1.一种显示系统，其特征在于，包括接收媒体内容信号的干扰检测器，所述媒体内容信号包括代表图形叠加的图形叠加数据、代表第一图像的第一图像数据、以及代表第二图像的第二图像数据，所述第一和第二图像代表三维内容，所述干扰检测器被配置来在三维视体中检测图形叠加和三维内容之间的干扰；视图调节器，被配置来修改所述图形叠加数据、第一图像数据或者第二图像数据中的至少一个以使所述图形叠加和所述三维内容无干扰，所述视图调节器生成被修改的媒体内容信号，所述被修改的媒体内容信号包括所述图形叠加数据、第一图像数据或者第二图像数据中至少一个被修改的数据；和接收所述被修改的媒体内容信号的显示设备，所述显示设备被配置来使所述图形叠加和所述三维内容被观看者视为无干扰。
2.根据权利要求1所述的显示系统，其特征在于，所述干扰检测器被配置来通过确定图形叠加数据被包括在媒体内容信号内以及根据预先确定的信息估计干扰来检测干扰。
3.根据权利要求1所述的显示系统，其特征在于，所述视图调节器包括图形叠加移位器，所述图形叠加移位器被配置来修改图形叠加数据，以改变图形叠加在三维视体中的位置来与三维内容无干扰。
4.根据权利要求1所述的显示系统，其特征在于，所述视图调节器包括视频压缩器，被配置来修改第一图像数据和第二图像数据，以在三维视体中压缩所述三维内容来与图形叠加无干扰。
5.根据权利要求4所述的显示系统，其特征在于，所述视频压缩器被配置来修改第一图像数据和第二图像数据以线性压缩所述三维内容。
6.根据权利要求4所述的显示系统，其特征在于，所述视频压缩器被配置来修改第一图像数据和第二图像数据以非线性压缩所述三维内容。
7.根据权利要求1所述的显示系统，其特征在于，所述视图调节器包括视频移位器，所述视频移位器被配置来修改第一图像数据以在第一方向上移动第一图像以及修改第二图像数据以在第二方向上移动第二图像，从而改变所述三维内容在三维视体中的位置来与图形叠加无干扰。
8.根据权利要求7所述的显示系统，其特征在于，所述视频移位器更进一步被配置来修改第一图像数据以缩放被移位的第一图像以及修改第二图像数据以缩放被移位的第二图像。
9.根据权利要求1所述的显示系统，其特征在于，所述视图调节器包括视频缩放器，所述视频缩放器被配置来修改第一图像数据以缩放第一图像以及修改第二图像数据以缩放第二图像，从而改变所述三维内容在三维视体中的位置来与图形叠加无干扰。
10.一种方法，其特征在于，包括接收媒体内容信号，所述媒体内容信号包括代表图形叠加的图形叠加数据、代表第一图像的第一图像数据、以及代表第二图像的第二图像数据，所述第一和第二图像代表三维内容；在三维视体中检测图形叠加和三维内容之间的干扰；修改所述图形叠加数据、第一图像数据或者第二图像数据中的至少一个以使所述图形叠加和所述三维内容无干扰；和基于所述图形叠加数据、第一图像数据或者第二图像数据中至少一个被修改的数据来使无干扰的图形叠加和三维内容被观看者观看。
全文摘要
本发明涉及实现三维视频和附加图形一起显示而不产生干扰的方法和显示系统。媒体内容信号被接收。该媒体内容信号包括代表图形叠加的图形叠加数据、代表第一图像的第一图像数据以及代表第二图像的第二图像数据。第一和第二图像代表三维内容。在三维视体中在图形叠加和三维内容之间检测到干扰。图形叠加数据、第一图像数据或者第二图像数据中的至少一个被修改以使图形叠加和三维内容无干扰。基于被修改的图形叠加数据、第一图像数据和/或第二图像数据，无干扰的图形叠加和三维内容能够由观看者观看到。
文档编号H04N13/00GK102316344SQ20111017890
公开日2012年1月11日 申请日期2011年6月29日 优先权日2010年6月29日
发明者杰森·戴莫斯, 艾克·伊克泽尹 申请人:美国博通公司