专利名称：用于处理视频的方法和系统的制作方法
技术领域：
本发明涉及通信系统。更具体地说，本发明涉及基于三维显示功能显示三维图像。
背景技术：
很多设备都具有数字视频功能，例如，数字电视、数字直播系统、数字记录系 统、游戏机等。数字视频设备相比传统的模拟视频系统在处理和以更高带宽效率传送视 频序列方面具有显著的进步。视频内容可以用二维格式或三维格式记录。在各种应用，例如，DVD电影和数 字电视中，一般偏爱三维视频，因为对观看者来说，它通常比二维视频更真实。三维视 频包括左视图视频和右视图视频。三维视频帧可以由左视图视频部分和右视图视频部分 组合而成。比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于 本领域的普通技术人员来说是显而易见的。
发明内容
本发明提供了一种用于基于三维显示功能显示三维图形的方法和系统，并在权 利要求中得到了更完整的阐述。根据一个方面，一种用于处理视频的方法，包括由三维图形和/或三维视频处理设备中的一个或多个处理器和/或电路执行如下 步骤基于三维显示设备使用的显示格式来生成将在所述三维显示设备上显示的三维 内容的左视图三维图形帧和相应的右视图三维图形帧；以及将所述左视图三维图形帧和所述相应的右视图三维图形帧传送给所述三维显示 设备。优选地，所述三维图形和/或三维视频处理设备包括以下一个或多个机顶盒 禾口电脑。优选地，所述方法进一步包括基于所述三维显示设备使用的时序显示格式生成 所述左视图三维图形帧和所述相应的右视图三维图形帧。优选地，所述方法进一步包括基于所述三维显示设备使用的偏振显示格式生成 所述左视图三维图形帧和所述相应的右视图三维图形帧。优选地，所述方法进一步包括基于一个或多个显示器偏振模式对所述左视图三 维图形帧和/或所述右视图三维图形帧进行亚取样。 优选地，所述方法进一步包括基于奇数像素行对左视图三维图形帧和相应的右 视图三维图形帧其中之一进行亚取样，以及基于偶数像素行对所述左视图三维图形帧和 所述相应的右视图三维图形帧中的另一个进行亚取样。
优选地，所述方法进一步包括基于棋盘模式内交替的像素位置对左视图三维图 形帧和相应的右视图三维图形帧其中之一进行亚取样，以及基于所述棋盘模式内互补交 替的像素位置对所述左视图三维图形帧和所述相应的右视图三维图形帧中的另一个进行 亚取样。优选地，所述左 视图三维图形帧的像素与视频像素混合和/或所述右视图三维 图形帧的像素与视频像素混合。优选地，所述左视图三维图形帧和所述右视图三维图形帧以时间顺序显示。优选地，所述左视图三维图形帧和所述右视图三维图形帧以互补模式亚取样、 在单一帧中交错并利用左视图像素和右视图像素的不同偏振方向显示。根据一个方面，一种用于处理视频的系统，包括第一三维图形和/或三维视频处理设备中的一个或多个处理器和/或电路，其中 所述一个或多个处理器和/或电路用于基于三维显示设备使用的显示格式来生成将在所述三维显示设备上显示的三维 内容的左视图三维图形帧和相应的右视图三维图形帧；以及将所述左视图三维图形帧和所述相应的右视图三维图形帧传送给所述三维显示 设备。优选地，所述三维图形和/或三维视频处理设备包括以下一个或多个机顶盒 禾口电脑。优选地，所述一个或多个处理器和/或电路用于基于所述三维显示设备使用的 时序显示格式生成所述左视图三维图形帧和所述相应的右视图三维图形帧。优选地，所述一个或多个处理器和/或电路用于基于所述三维显示设备使用的 偏振显示格式生成所述左视图三维图形帧和所述相应的右视图三维图形帧。优选地，所述一个或多个处理器和/或电路用于基于一个或多个显示器偏振模 式对所述左视图三维图形帧和/或所述右视图三维图形帧进行亚取样。优选地，所述一个或多个处理器和/或电路用于基于奇数像素行对左视图三维 图形帧和相应的右视图三维图形帧其中之一进行亚取样，以及基于偶数像素行对所述左 视图三维图形帧和所述相应的右视图三维图形帧中的另一个进行亚取样。优选地，所述一个或多个处理器和/或电路用于基于棋盘模式内交替的像素位 置对左视图三维图形帧和相应的右视图三维图形帧其中之一进行亚取样，以及基于所述 棋盘模式内互补交替的像素位置对所述左视图三维图形帧和所述相应的右视图三维图形 帧中的另一个进行亚取样。优选地，所述左视图三维图形帧的像素与视频像素混合和/或所述右视图三维 图形帧的像素与视频像素混合。优选地，所述左视图三维图形帧和所述右视图三维图形帧以时间顺序显示。优选地，所述左视图三维图形帧和所述右视图三维图形帧以互补模式亚取样、 在单一帧中交错并利用左视图像素和右视图像素的不同偏振方向显示。本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节， 将在以下的描述和附图中进行详细介绍。
图1是根据本发明的实施例的示范性三维视频和/或三维图形通信系统的框 图；图2是根据本发明的实施例的用于基于三维显示功能生成和/或处理左视图和/ 或右视图三维图形的示范性视频接收单元的示意图；图3是根据本发明的实施例的示范性左视图和右视图三维图形帧的示意图；图4是根据本发明的实施例的左视图和右视图三维图形帧的时序显示的示意 图；图5是根据本发明实施例的包含左视图和右视图三维图形帧的像素行的示范性 偏振三维图形帧的示意
图6是根据本发明实施例的包含左视图和右视图三维图形帧的像素的棋盘模式 的示范性偏振三维图形帧的示意图；图7是根据本发明实施例的生成左视图和右视图三维图形以及基于显示类型处 理该左视图和右视图三维图形的示范性步骤的流程图。
具体实施例方式本发明用于基于三维显示功能显示三维图形的方法和系统提供了一些实施例。 根据本发明的各种实施例，第一三维图形和/或三维视频处理设备中的一个或多个处理 器和/或电路可以基于三维显示设备使用的显示格式来生成将在所述三维显示设备上显 示的三维内容的左视图三维图形帧和相应的右视图三维图形帧。可以将左视图三维图形 帧和右视图三维图形帧传送给三维显示设备。就这一点而言，第一三维图形和/或三维 视频处理设备可以包括以下一个或多个机顶盒和电脑。左视图三维图形帧和/或右视图三维图形帧可以基于显示格式的类型生成。例 如，左视图三维图形帧和相应的右视图三维图形帧可以基于三维显示设备使用的时序格 式生成。可选地，左视图三维图形帧和相应的右视图三维图形帧可以基于三维显示设备 使用的偏振显示格式生成。左视图三维图形帧和/或右视图三维图形帧可以基于一个或 多个偏振显示模式亚取样。例如，左视图三维图形帧和相应的右视图三维图形帧中的一 个可以基于奇数像素行亚取样。另外，左视图三维图形帧和相应的右视图三维图形帧中 的另一个可以基于偶数像素行亚取样。在发明的另一个实施例中，左视图三维图形帧和相应的右视图三维图形帧中的 一个可以基于棋盘模式中的交替像素位置亚取样。另外，左视图三维图形帧和相应的右 视图三维图形帧中的另一个可以基于棋盘模式中的互补交替像素位置亚取样。左视图三 维图形帧和/或右视图三维图形帧中的像素可以与视频像素混合，例如，左视图和右视 图视频像素和/或二维视频像素。在本发明的各种实施例中，左视图三维图形帧和右视 图三维图形帧可以以时间顺序显示。在本发明的另一个实施例中，左视图三维图形帧和 右视图三维图形帧可以以互补模式亚取样、在单一帧中交错并利用左视图和右视图像素 的不同偏振方向显示。以这种方式，就可以基于各种三维显示功能生成并处理左视图和 /或右视图三维图形帧。例如，为了显示的目的基于随后亚取样的知识产生三维图形帧可 以提高处理三维图形帧的质量以及减小处理三维图形帧的复杂度。例如，随后亚取样的知识可以减少物理内存和/或处理设备并能提高内存和/或处理器带宽的使用率。图1是根据本 发明的实施例的示范性三维视频和/或三维图形通信系统的框 图。如图1所示，示出了视频传送单元(VTU)llO、通信网络120、视频接收单元 (VRU) 130、内存116和三维显示设备114。VTU 110可以包括合适的逻辑、电路、接口和/或代码，用于向VRU 130提供 编码的视频内容。VTU 110可以用于编码三维视频。例如，VTU 110可以用于将三维视 频编码为左视图视频流和右视图视频流，可以将它们称作左视图视频流和/或右视图视 频流。左视图视频流和/或右视图视频流通过不同的通道传送给VRU 130。另外，左视 图三维图形信息流和/或右视图三维图形信息流可以通过不同的通道传送给VRU 130。左 视图三维图形信息流和右视图三维图形信息流可以称作左视形流和右视形流。 VTUllO的例子可以包括有线电视首端、直播卫星首端和网络服务器。通信网络120可以包括合适的逻辑、电路、接口和/或代码，用于提供VTUllO 和VRU 130间的通信平台。通信网络120可以是有线或无线通信网络。通信网络120可 以是局域网、广域网、因特网等。VRU 130可以包括合适的逻辑、电路、接口和/或代码，用于通过通信网络120 接收来自VTU 110的传输流。接收到的传输流可以包括编码的左视图和/或右视图三维 视频流，例如，包括一个或多个三维电视节目的视频流，还可以包括左视图和/或右视 图三维图形信息流。例如，左视图和/或右视图三维图形信息可以包括左视图和/或右视 图原始三维图形。就这一点而言，VRU 130可以用于从接收到的传输流解复用或解析左 视图和/或右视图视频流和/或左视图和/或右视图三维图形信息流。VRU 130可以从 其内存116中提取和/或在其中存储左视图和/或右视图视频流数据和/或左视图和/或 右视图三维图形信息。在本发明的各种实施例中，左视图和/或右视图三维图形信息不 能从VTU 100接收。例如，左视图和/或右视图三维图形信息可以存储在VRU 130中。 左视图和/或右视图三维图形信息可以与左视图和/或右视图视频内容相关联，或者可以 与视频内容不相关。在本发明的各种实施例中，左视图和/或右视图三维图形信息可以 基于用户输入进行选择。VRU 130可以用于解码提取的左视图和/或右视图三维视频流 数据。VRU 130可以用于基于左视图和/或右视图三维图形信息产生左视图和/或右视 图三维图形。例如，左视图和/或右视图三维图形信息可以包括左视图和/或右视图原 始图形，将该图形提供给VRU 130以产生左视图和/或右视图三维图形。左视图和/或 右视图三维图形可以包括左视图和/或右视图三维像素数据和/或左视图和/或右视图三 维图形帧。就这一点而言，VRU 130可以基于三维显示设备114的功能处理左视图和/ 或右视图三维图形信息和/或左视图和/或右视图三维图形。左视图和/或右视图三维 图形信息、三维图形、三维像素和/或三维帧可以称作左视图和/或右视形信息、图 形、像素和/或帧。示范性VRU 130可以包括机顶盒和/或个人电脑。三维显示设备114可以用于显示左视图和右视图三维图形和/或三维视频数据， 显示方式可以是交替时序的左视图和右视图帧和/或包含交错左视图和右视图视频像素 的单一帧，其中左视图和右视图视频像素以不同角度或不同方向偏振。例如，左视图像 素行可以与右视图像素行相交替，其中左视图像素行和右视图像素行可以以不同角度或 不同方向偏振。在本发明的另一个实施例中，包含交替的左视图和右视图像素的棋盘格子模式可以以不同角度或不同方向偏振以便区别左视图和右视图像素。就这一点而言， 三维显示设备114中可以使用包括基于行和/或基于棋盘偏振模式的偏振片。在本发明的各种实施例中，三维显示设备114可以使用左手系和右手系圆偏振 来区别左视图和右视形像素数据。在本发明的其它实施例中，三维显示设备114可 以利用以不同角度交替的线性偏振，例如，加上45度和减去45度来区别左视图和右视图 像素数据。当三维显示设备114用于显示偏振的左视图和/或右视图三维图形和/或偏 振的左视图和/或右视图三维视频时，观看者需要佩戴偏振化三维眼镜，这种眼镜可以 根据左视图显示偏振为左眼滤光以及根据右视图显示偏振角度或方向为右眼滤光。在本 发明的各种实施例中，三维显示设备114可以用于与三维眼镜通信以便自适应匹配所使 用的偏振类型。例如，三维眼镜和/或三维显示设备114可以用于自适应确定是使用圆 偏振还是使用线偏振。就这一点而言，三维显示设备114和/或三维眼镜可以通过蓝牙 连接来通信，但是，本发明并不受限于此，还可以使用其它有线和/或无线连接。三维显示设备114可以用于显示时序的左视图和右视图三维图形数据和/或左视 图和右视图三维视频数据，显示方式可以是左视图像素和右视图像素的交替帧。当三维 显示设备114用于显示时序的左视图和/或右视时，观看者需要佩戴活 动快门三维眼 镜(active shutter 3D glasses)。针对时序显示而产生的左视图和右视图三维图形帧可以分 别表示在不同时间点的图像，该时间点可以根据显示率来进行间隔，但是，本发明并不 受限于此。在本发明的各种实施例中，三维显示设备114可以用于与三维快门眼镜通信 以便自适应同步左视图和右视图三维图形帧的刷新率与左和右三维眼镜的快门速度。就 这一点而言，三维显示设备114和/或三维眼镜可以通过蓝牙连接来通信，但是，本发明 并不受限于此，还可以使用其它有线和/或无线连接。在本发明的各种实施例中，三维显示设备114可以用于将左视图视频数据与左 视图三维图形数据混合，以及将右视图视频数据域右视图三维图形数据混合。三维显示 设备114可以用于基于时序的左和右帧显示左视图和/或右视图三维图形和/或视频。进 一步地，三维显示设备114可以用于基于左和右像素偏振模式显示左视图和/或右视图三 维图形和/或视频。示范性三维显示设备114可以包括三维电视或电脑显示器。工作中，VTU 110可以用于编码左视图和/或右视图三维视频和/或左视图和/ 或右视图三维图形信息。例如，可以将三维电视节目编码成左视图视频流和/或右视图 视频流。类似地，可以将三维图形信息编码成左视形信息流和/或右视形信息 流。可以将包含许多编码的视频和/或三维图形流的多路复用传输流通过通信网络120传 送给VRU 130。VRU 130可以用于接收和/或解复用该传输流，以及用于提取左视图和 /或右视图三维视频和/或左视图和/或右视图三维图形信息。VRU 130可以用于解码 编码的左视图和/或右视图三维视频流以及左视图和/或右视图三维图形信息流。VRU 130可以用于处理接收到的左视图和/或右视图三维图形信息以产生左视图和/或右视图 三维图形。在本发明的各种实施例中，左视图和/或右视图三维图形信息可以存储在VRU 130中，并可以由VRU 130用于产生左视图和/或右视图三维图形。VRU130可以利用三 维显示设备114显示功能的知识来决定如何处理左视图和/或右视图三维图形信息。例 如，三维显示设备114可以包括时序显示和/或偏振显示功能。类似地，VRU 130可以利用三维显示设备114功能的知识来处理左视图和/或右视图三维视频流。VRU 130可以将左视图和/或右视图三维图形和/或左视图和/或右视图三维视频传送给三维显示设备 114。三维显示设备114可以用于将相应的左视图三维图形数据覆盖、混合和/或代替左 视图三维视频数据，和/或将相应的右视图三维图形数据覆盖、混合和/或代替右视图三 维视频数据。得到的混合三维左视图视频和/或左视图三维图形数据可以与混合三维右 视图视频和/或右视图三维图形数据一起按时间顺序显示。可选地，混合三维左视图视 频和/或左视图三维图形数据可以与混合三维右视图视频和/或右视图三维图形数据同时 显示，其中混合三维左视图视频和/或左视图三维图形数据以及混合三维右视图视频和/ 或右视图三维图形数据可以由三维显示设备114以不同方式偏振。图2是根据本发明的实施例的用于基于三维显示功能生成和/或处理左视图和/ 或右视图三维图形的示范性视频接收单元的示意图。如图2所示，示出了包含VRU130 的视频处理系统200，该VRU 130包括主处理器208、解码器204、内存和回放模块216、 本地存储器218、图形处理器210。另外，示出了三维显示设备114，包括左混合模块284 和右混合模块286。三维显示设备114参考图1所示。左混合模块284可以包括合适的逻辑、电路、 接口和/或代码，用于接收和混合左视图三维图形流以及左视图三维视频流。就这一点 而言，左混合模块284可以利用混合因子用于左视图视频数据和左视图三维图形数据的 混合。在本发明的各种实施例中，三维显示设备114可以基于左视图和/或右视图三维 图形的透明程度来确定混合因子。在本发明的其它实施例中，左视图和/或右视图三维 图形内容可以代替视频内容，和/或当不需要视频内容时，可以显示左视图和/或右视图 三维图形内容。右混合模块286可以包括合适的逻辑、电路、接口和/或代码，用于接 收和混合右视图三维图形流以及右视图三维视频流。就这一点而言，右混合模块286可 以利用混合因子用于右视图视频数据和右视图三维图形数据的混合。在本发明的各种实 施例中，三维显示设备114可以基于图形的透明程度来确定混合因子。在本发明的其它 实施例中，图形内容可以代替视频内容，和/或当不需要视频内容时，可以显示图形内 容。可以将左混合模块284和/或右混合模块286的输出以交替的左视图和右视图帧显 示，或者将它们以包含左视图和右视图像素的交替偏振的单一帧形式亚取样、交错以及 显不。三维显示设备114可以用于显示左视图和/或右视图三维图形和/或与三维或二 维视频混合的左视图和/或右视图三维图形。就这一点而言，三维显示设备114可以基 于许多显示技术中的一种或多种来显示三维图形和/或视频。例如，三维显示设备114 可以利用偏振显示技术，例如，通过偏振液晶显示设备(LCD)。在本发明的另一个实施 例中，三维显示设备114可以利用时序显示技术，通过DLN后方投影显示器或高速率等 离子显示器。另外，三维显示设备114可以用于利用以下一种或多种技术光谱过滤技 术、立体电影技术和/或浦夫立希(Pulfrich)技术。本发明不受任意特定类型的三维显示 技术的限制，而可以使用任意合适的三维视频和/或三维图形显示技术。主处理器208可以包括合适的逻辑、电路、接口和/或代码，用于控制VRU130 中的各个单元的运行，例如解码器204和图形处理器210。主处理器208可以支持各种 应用，例如，VRU 130上左视图和/或右视图三维图形的生成和/或三维视频的解码。主处理器208可以用于执行程序指令和/或传送用来产生左视图和/或右视图三维图形的 配置参数。主处理器208可以用于与内存和回放模块216和/或本地存储器218通信， 以便读取和/或写入左视图和/或右视图三维图形数据、视频数据。可以将用来产生左 视图和/或右视图三维图形的三维图形信息传送给内存和回放模块216和/或图形处理器 210。主处理器208可以用于控制和/或使图形处理器210由图形信息产生左视图和/或 右视图三维图形。左视图和/或右视图三维图形可以称作左视图和/或右视形或左 视图和/或右视形流。就这一点而言，主处理器208可以用于选择左视图和/或右 视形流以便在三维电视节目中显示。
解码器204可以包括合适的逻辑、电路、接口和/或代码，用于将从VTU 110中 接收到的左视图和/或右视图视频流以帧为单位进行解码。解码器204可以用于利用各 种视频解压算法，例如MPEG-2、MPEG-4、AVC> VCU VP6、H.264和/或其它视频 格式，将从VTU 110中接收到的左视图视频变为解压的或解码的视频内容。来自左视图 解码中的信息，例如场景信息，可以被传送以用于例如右视图解码。另外，解码器204 可以包括合适的逻辑、电路、接口和/或代码，用于将从VTU 110中接收到的右视图视 频以帧为单位进行解码。解码器204可以用于利用各种视频解压算法，例如MPEG-2、 MPEG-4、AVC> VCU VP6、H.264和/或其它视频格式，将从VTU 110中接收到的右 视图视频变为解压的或解码的视频内容。图形处理器210可以包括合适的逻辑、电路、接口和/或代码，用于从主处理器 208和/或内存和回放模块216接收三维左视图和/或右视图三维图形信息，例如，三维 左视图和/或右视图原始图形，并可以输出左视图和/或右视图三维图像。另外，图形 处理器210可以具有三维显示设备114的各种功能的知识，和/或可以用于根据三维显示 设备114的功能来处理左视图和/或右视图三维图形。例如，图形处理器210可以用于 产生用于时序三维显示功能的和/或偏振三维显示功能的左视图和/或右视图三维图形。 在本发明的各种实施例中，图形处理器210可以用于产生交替时序的左视图和右视图三 维图形。在本发明的其它实施例中，图形处理器210可以用于亚取样左视图和/或右视 图三维图形数据，例如，产生线偏振模式和/或棋盘格子偏振模式的三维图形。另外， 亚取样的三维图形数据可以由图形处理器210来处理，以便改善亚取样的三维图形内容 的外观和/或减轻亚取样造成的视觉上的人工痕迹。例如，图形处理器210可以改善和/ 或光滑亚取样的对角线。图形处理器210可以用于产生左视图和右视图三维图形流的左 视图和/或右视图三维图形。可以将产生的左视图和右视图三维图形流传送给三维显示 设备114。在本发明的各种实施例中，例如，左视图和/或右视图三维图形内容可以覆 盖、混入和/或代替左视图和/或右视图三维视频内容和/或二维视频内容。另外，示 范性左视图和/或右视图三维图形可以包括用户界面，例如，用户向导和/或菜单。内存和回放模块216可以包括合适的逻辑、电路、接口和/或代码，用于存储 VRU 130可能使用的信息，例如，配置参数、可执行指令和/或左视图和/或右视图三维 图形和/或视频数据。可执行指令可以包括由解码器204用来处理左视图和/或右视图 视频内容的各种图像处理算法。另外，可执行指令可以包括由图形处理器210用来提供 左视图和/或右视图三维图形的图形处理算法。例如，可执行指令可以实现左视图和/或右视图三维图形基于三维显示设备114的功能的生成。存储在内存和回放模块216中 的数据可以包括以下一个或多个的输入和/或输出解码器204、图形处理器210、存储 器218、主处理器208和/或三维显示设备114。就这一点而言，存储的数据可以包括左 视图和/或右视图视频内容和/或可以包括左视图和/或右视图三维图形内容。内存和 回放模块216可以包括RAM、ROM、以闪存为例的低延迟非易失性内存和/或其它合适 的电子数据存储器。本地存储器218可以包括合适的逻辑、电路、接口和/或代码，用于记录及存储 各种视频应用和/或三维图形节目的内容和/或三维图形数据。本地存储器218是VRU 130的可选组件。本地存储器218可以包括磁和/或光驱动器，例如硬盘。本地存储器 218还可以包括固体存储器，例如闪存和/或其它合适的能够记录及存储数据和指令的电 子数据存储器。工作中，解码器204可以用于接收三维视频数据的左视图和/或右视图视频流。 左视图视频流和右视图视频流可以由解码器204解码，还可以存储在内存和回放模块216 和/或存储器218中。主处理器208可以选择图形处理器210将要处理的左视图和/或 右视图三维图形信息，例如，左视图和/或右视图原始三维图形。例如，左视图和/或 右视图三维图形信息可以存储在VRU 130中，和/或可以从VTU 110的复用传输流中接 收。就这一点而言，左视图和/或右视图三维图形信息可以存储在内存和回放模块216 和/或存储器218中。可以将选定的左视图和/或右视图三维图形信息发送给图形处理 器210，用来处理和/或表现左视图和/或右视图三维图像。
图形处理器210可以用于根据接收到的左视图和/或右视形信息产生左视图 和/或右视图三维图形。左视图和/或右视形可以包括左视图和/或右视图像素数 据。在本发明的各种实施例中，图形处理器210可以用于产生三维左视图和/或右视图 图形的时序帧。在本发明的其它实施例中，图形处理器210可以用于产生包含垂直亚取 样的左视图和/或右视图像素交替行的三维图形帧。就这一点而言，例如，左视图和/ 或右视图像素交替行可以与三维显示设备114的显示偏振的交替行相对应。进一步地， 在本发明的一个实施例中，图形处理器210可以用于垂直及水平亚取样以便产生棋盘格 子模式的交替的左视图和右视图像素，用于以棋盘格子偏振模式来显示三维图形内容。为了时序显示和/或偏振显示而生成的左视图和/或右视图三维图形可以称作左 视图和/或右视形流。左视图和/或右视图视频流可以包括线偏振模式的子样和/ 或棋盘格子偏振模式的子样。VRU 130可以向三维显示设备114输出左视图和/或右视 图视频流和/或左视图和/或右视图三维图形流。三维显示设备114可以用于接收左视 图和/或右视图视频流和/或左视图和/或右视图三维图形流，和/或可以用于在显示三 维视频和/或三维图形内容前，在左混合模块284中混合左视图三维图形内容与左视图视 频内容，以及在右混合模块286中混合右视图三维图形内容与右视图视频内容。三维显 示设备114可以以时序交替的左视图和右视图三维帧形式和/或以每帧中均包含偏振的左 视图和/或右视图像素的三维帧形式来显示左混合和/或右混合的视频和三维图形内容。 本发明不受任意特定的三维显示方法和/或任意特定模式的左视图和/或右视图三维帧或 左视图和/或右视图三维像素的限制，而可以使用任意合适的方法和/或方法的组合来区 别左视图和/或右视形和/或视频内容。
图3是根据本发明的实施例的示范性左视图和右视图三维图形帧的示意图。如图3所示，示出了左视图三维图形帧310和右视图三维图形帧312。左视图三维图形帧310和/或右视图三维图形帧312可以包括由图形处理器210 产生的三维图形。例如，三维图形可以基于三维图形信息产生，例如，存储在VRU 130 中或由VRU 130从VTU 110中接收的原始三维图形。左视图三维图形帧310可以包括从 立体的左视图角看到的图形内容，右视图三维图形帧312可以包括从立体的右视图角看 到的图形内容。就这一点而言，位于左视图三维图形帧310中的对象的视角不同于位于 右视图三维图形帧312中的相同对象的视角。另外，左视图三维图形帧310中可能被某 个对象遮住的至少一部分背景图案在右视图三维图形帧312中是可见的，反之亦然，因 为两个帧310和312中的视角不同。在本发明的各种实施例中，左视图三维图形帧310和右视图三维图形帧312可以 包括同时发生的两个视点，但是，本发明并不受限于此。例如，根据两个视图310和312 是如何按时间显示的，由左视图三维图形帧310代表的时间点与由右视图三维图形帧312 代表的时间点是不同的。就这一点而言，例如，由左视图和右视图帧310和312代表的 不同时间点可以与三维显示设备114显示这两个视图的速率相对应。左视图三维图形帧可以称作左视形帧，右视图三维图形帧可以称作右视图 图形帧。图4是根据本发明的实施例的左视图和右视图三维图形帧的时序显示的示意 图。如图4所示，示出了包含左视图三维图形帧410和右视图三维图形帧412的三维时 序帧系统400。左视图三维图形帧410和/或右视图三维图形帧412可以类似于和/或大致等 同于如图3所示的左视图三维图形帧310和/或右视图三维图形帧312。三维时序帧系 统400可以包括一个帧流的一部分，其中帧流可以包括许多对三维帧。帧流中的三维帧 对可以包括左视图三维图形帧和右视图三维图形帧，其中每个帧可以由三维显示设备114 按顺序显示。另外，示范性三维流可以包括各种三维图形和/或三维视频内容，例如， 三维电视节目可以包括三维图形、包含三维图形的三维电视广告和/或三维图形用户界 面。在本发明的各种实施例中，左视图三维图形帧410可以与相应的左视图三维视 频帧混合，右视图三维图形帧412可以与相应的右视图三维视频帧混合。例如，三维显 示设备114可以执行三维视频与三维图形帧的混合。工作中，包含左视图三维图形帧410和右视图三维图形帧412的时序帧系统400 可以由三维时序显示器显示，例如，三维显示设备114。显示的时序帧系统400的观看 者可以佩戴三维快门眼镜，该眼镜可以以与左视图三维图形帧410和右视图三维图形帧 412的显示速率相对应的速率来交替阻挡左眼视图和右眼视图。以这种方式，观看者可以 感知三维图形内容和/或混合视频内容的立体左视图和右视图。在本发明的各种实施例 中，三维图形可以与二维视频混合或叠加。图5是根据本发明实施例的包含左视图和右视图三维图形帧的像素行的示范性 偏振三维图形帧的示意图。如图5所示，示出了交替行三维图形帧520。交替行三维图形帧520可以包括奇数和偶数行交替的左视图三维图形帧像素和右视图三维图形帧像素。例如，左视图三维图形像素可以从如图3所示的左视图三维图 形帧310中亚取样得到，右视图三维图形像素可以从如图3所示的右视图三维图形帧312 中亚取样得到。在本发明的一个实施例中，可以对左视图三维图形帧310和/或右视图三维图形 帧312进行亚取样，这样可以消除和/或不显示每个帧中的一个不同部分的像素。例如， 奇数行像素可以从左视图三维图形帧310中取样，偶数行像素可以从右视图三维图形帧 312中取样。进一步地，可以将亚取样的左视图三维图形帧310中的像素和亚取样的右 视图三维图形帧312中的像素交错以产生交替行三维图形帧520。交替行三维图形帧520 可以包括左视图和右视图三维图形像素的交替行构成的单一帧。在本发明的各种实施例中，交替行三维图形帧520中的像素可以通过混合视频 像素和三维图形像素来产生。就这一点而言，来自左视图和右视图三维视频帧的视频像 素数据可以与来自左视图和右视图三维图形帧310和/或312中的像素数 据分别混合，左 视图和右视图三维视频帧类似于左视图和右视图三维图形帧310和/或312。混合操作可 以在亚取样之前或之后执行。例如，在一些情形中，左视图和右视图三维视频帧以及左 视图和右视图三维图形帧可以在混合前进行亚取样。在本发明的另一个实施例中，左视 图和右视图视频帧可以与左视图和右视图三维图形帧310和/或312分别混合，然后亚取 样出奇数或偶数行的混合左视图帧及混合右视图帧。可选地，来自左视图和右视图三维 图形帧310和/或312的像素可以与二维视频混合和/或叠加。图6是根据本发明实施例的包含左视图和右视图三维图形帧的像素的棋盘模式 的示范性偏振三维图形帧的示意图。如图6所示，示出了棋盘三维图形帧630。棋盘三维图形帧630可以包括交替的左视图三维图形帧内容和右视图三维图形 帧内容的像素位置。就这一点而言，棋盘三维图形帧630的一行中的相邻像素位置和同 一帧中沿着一列的相邻像素可以在左视图三维图形像素和右视图三维图形像素间交替。 左视图三维图形像素可以从如图3所示的左视图三维图形帧310中亚取样，右视图三维图 形像素可以从如图3所示的右视图三维图形帧312中亚取样。在本发明的一个实施例中，左视图三维图形帧310和/或右视图三维图形帧312 可以以两种互补的棋盘模式亚取样，这样可以消除和/或不显示每个帧中的一个不同部 分的像素。就这一点而言，两种包含0至N行以及0至M列的示范性互补棋盘格子模式可 以包括奇数行、奇数列像素位置和偶数行、偶数列像素位置的第一模式以及奇数行、偶 数列像素位置和偶数行、奇数列位置的第二模式。可以将亚取样的左视图三维图形帧310 中的像素和亚取样的右视图三维图形帧312中的像素交错以产生棋盘三维图形帧630。棋 盘三维图形帧630可以包括单一的三维图形帧，该三维图形帧包含在相邻的垂直及水平 像素位置上的交替的左视图三维图形像素和右视图三维图形像素。在本发明的各种实施例中，棋盘三维图形帧630中的像素可以包括混合的视频 和三维图形像素。就这一点而言，可以在棋盘模式亚取样之前或之后执行混合操作。例 如，在一些情形中，左视图和右视图三维视频帧以及左视图和右视图三维图形帧310和 312可以以互补棋盘模式进行亚取样。亚取样的左视图视频像素可以与亚取样的左视图三 维图形像素混合，类似地，亚取样的右视图视频像素可以与亚取样的右视图三维图形像 素混合。在本发明的另一个实施例中，可以将左视图和右视图视频帧与左视图和右视图三维图形帧310和/或312分别混合。随后，以互补棋盘模式对混合的左视图和右视图 帧进行亚取样。可选地，来自左视图和右视图三维图形帧310和/或312的像素可以与 二维视频混合和/或叠加。 工作中，包含左视图三维图形像素的像素位置和右视图三维图形像素的像素位 置的棋盘三维图形帧630可以由偏振三维显示器来显示，例如，三维显示设备114。就这 一点而言，三维显示设备114可以使用基于棋盘格子的偏振片，该偏振片可以在不同的 方向偏振左视图和右视图三维图形像素的交替的像素位置。所述不同的方向可以包括， 例如，不同的圆偏振方向或不同的线偏振方向。显示的棋盘三维图形帧630的观看者可 以佩戴三维偏振眼镜。就这一点而言，三维偏振眼镜可以包括一个左侧或左镜头，该镜 头的偏振方向或角度与显示的左视图三维图形像素位置的方向或角度相同。类似地，三 维偏振眼镜可以包括一个右侧或右镜头，该镜头的偏振方向或角度与显示的右视图三维 图形像素位置的方向或角度相同。以这种方式，观看者可以感知三维图形内容和/或混 合视频内容的立体左视图及右视图。尽管亚取样是以一个帧和/或棋盘模式的奇数及偶数行进行描述的，但本发明 并不受限于此。例如，还可以使用其它模式的亚取样。进一步地，本发明并不受限于使 用任意特定的三维显示方法，而可以使用任意合适的方法和/或方法的组合来区别左视 图和/或右视图三维图形内容和/或视频内容。例如，本发明的各种实施例可以使用光 谱过滤技术、立体电影技术和/或浦夫立希技术。图7是根据本发明实施例的产生左视图和右视图三维图形以及基于显示类型处 理该左视图和右视图三维图形的示范性步骤的流程图。示范性步骤可以开始于步骤710。 在步骤712中，左视图三维图形帧310和右视图三维图形帧312可以由，例如，图形处 理单元210产生。在步骤714，当左视图和右视图以时间顺序显示时，示范性步骤可以 继续进行步骤716。在步骤716，左视图和右视图三维图形帧310和312可以由三维显示 设备114按时间交替显示，并且可以用三维快门眼镜观看。示范性步骤可以结束于步骤 718。在本发明的各种实施例中，三维显示设备114可以在显示左视图和右视图帧之前， 将左视图和右视图三维图形帧310和/或312与三维和/或二维视频内容混合。在步骤 714，当左视图和右视图基于偏振技术显示时，示范性步骤可以继续进行步骤720。在步 骤720，可以将来自相应的左视图和右视图三维图形帧310和312的像素进行亚取样及交 错，以产生单个三维图形帧，例如，交替行三维图形帧520或棋盘三维图形帧630。就这 一点而言，可以在亚取样之前或亚取样之后将左视图和/或右视图三维图形像素与三维 和/或二维视频混合。在步骤722，可以利用多偏振角度或方向来显示交错的三维图形 帧，并可以使用三维偏振眼镜观看。例如，可以利用基于行和/或基于棋盘的偏振模式 来显示交错的三维图形帧。在本发明的一个实施例中，第一三维图形和/或三维视频处理设备中的一个或 多个处理器和/或电路，例如，VRU 130，可以根据三维显示设备114使用的显示格式， 为将在三维显示设备114上显示的三维内容产生左视图三维图形帧，例如，左视图三维 图形帧310，和相应的右视图三维图形帧，例如，右视图三维图形帧312。可以将左视图 三维图形帧和右视图三维图形帧传送给三维显示设备114。就这一点而言，第一三维图形 和/或三维视频处理设备，例如VRU130，可以包括以下一个或多个机顶盒和电脑。左视图三维图形帧和/或右视图三维图形帧可以基于一种类型的显示格式产生。例如，左 视图三维图形帧和相应的右视图三维图形帧可以基于三维显示设备114使用的时序显示 格式产生。可选地，左视图三维图形帧和相应的右视图三维图形帧可以基于三维显示设 备114使用的偏振显示格式产生。左视图三维图形帧和/或右视图三维图形帧可以基于一 个或多个显示偏振模式进行亚取样。例如，左视图三维图形帧310和相应的右视图三维 图形帧312其中之一可以基于奇数像素行进行亚取样。另外，左视图三维图形帧310和相 应的右视图三维图形帧312中的另一个可以基于偶数像素行进行亚取样。在本发明的另 一个实施例中，左视图三维图形帧310和相应的右视图三维图形帧312其中之一可以基于 棋盘模式中交替的像素位置进行亚取样。另外，左视图三维图形帧310和相应的右视图 三维图形帧312中的另一个可以基于棋盘模式中互补的交替像素位置进行亚取样。来自 左视图三维图形帧和/或右视图三维图形帧的像素可以与视频像素混合，例如，左视图 和右视图视频像素和/或二维视频像素。在本发明的各种实施例中，左视图三维图形帧 和右视图三维图形帧可以按如图4所示的以时间顺序显示。在本发明的其它实施例中， 左视图三维图形帧和右视图三维图形帧可以以互补模式进行亚取样，如图5和图6所示， 可以在单一帧中交错，并且可以利用左视图和右视图像素的各种偏振方向来显示。以这 种方式，就可以基于三维显示设备114的各种功能来产生并处理左视图和/或右视图三维 图形帧了。本发明的另一个实施例可以提供一种机器和/或计算机可读存储器和/或媒介， 其内存储的机器代码和/或计算机程序包括至少一个代码段，所述至少一个代码段由机 器和/或计算机执行，从而使该机器和/或计算机执行上述基于三维显示器功能提供三维 图形的步骤。因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在 至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同 部分以分散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用 软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计 算机系统，使其按方法运行。本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的 全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程 序所指的是可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指 令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之 后实现特定功能a)转换成其它语言、编码或符号；b)以不同的格式再现。 虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱 离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情 形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于 所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
权利要求
1.一种用于处理视频的方法，其特征在于，包括由三维图形和/或三维视频处理设备中的一个或多个处理器和/或电路执行如下步骤基于三维显示设备使用的显示格式来生成将在所述三维显示设备上显示的三维内容 的左视图三维图形帧和相应的右视图三维图形帧；以及将所述左视图三维图形帧和所述相应的右视图三维图形帧传送给所述三维显示设备。
2.根据权利要求1所述的方法，其特征在于，所述三维图形和/或三维视频处理设备 包括以下一个或多个机顶盒和电脑。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括基于所述三维显示 设备使用的时序显示格式生成所述左视图三维图形帧和所述相应的右视图三维图形帧。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括基于所述三维显示 设备使用的偏振显示格式生成所述左视图三维图形帧和所述相应的右视图三维图形帧。
5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括基于一个或多个显 示器偏振模式对所述左视图三维图形帧和/或所述右视图三维图形帧进行亚取样。
6.—种用于处理视频的系统，其特征在于，包括第一三维图形和/或三维视频处理设备中的一个或多个处理器和/或电路，其中所述 一个或多个处理器和/或电路用于基于三维显示设备使用的显示格式来生成将在所述三维显示设备上显示的三维内容 的左视图三维图形帧和相应的右视图三维图形帧；以及将所述左视图三维图形帧和所述相应的右视图三维图形帧传送给所述三维显示设备。
7.根据权利要求6所述的系统，其特征在于，所述三维图形和/或三维视频处理设备 包括以下一个或多个机顶盒和电脑。
8.根据权利要求6所述的系统，其特征在于，所述一个或多个处理器和/或电路用于 基于所述三维显示设备使用的时序显示格式生成所述左视图三维图形帧和所述相应的右 视图三维图形帧。
9.根据权利要求6所述的系统，其特征在于，所述一个或多个处理器和/或电路用于 基于所述三维显示设备使用的偏振显示格式生成所述左视图三维图形帧和所述相应的右 视图三维图形帧。
10.根据权利要求6所述的系统，其特征在于，所述一个或多个处理器和/或电路用 于基于一个或多个显示器偏振模式对所述左视图三维图形帧和/或所述右视图三维图形 帧进行亚取样。
全文摘要
本发明涉及一种用于处理视频的方法和系统。第一三维图形和/或三维视频处理设备产生包含三维内容的左视图和右视图三维图形帧，并传送给三维显示设备以供显示。该三维帧是基于三维显示设备使用的显示格式产生的。第一三维设备可以包括机顶盒和/或电脑。左视图和/或右视图三维图形帧可以基于时序显示和/或偏振显示产生。三维图形帧的亚取样可以基于奇数和偶数行偏振显示模式和/或棋盘偏振模式。左视图和右视图三维图形像素可以与视频像素混合。左视图和/或右视图三维图形帧可以以时间顺序显示。左视图和/或右视图三维图形帧可以以互补像素模式亚取样、在单一帧中交替并利用左视图和右视图像素的不同偏振方向显示。
文档编号H04N13/00GK102026007SQ20101028095
公开日2011年4月20日 申请日期2010年9月14日 优先权日2009年9月15日
发明者伊利亚·克莱巴诺夫, 萨米尔·赫尔亚尔卡, 陈雪敏, 马库斯·凯勒曼 申请人:美国博通公司