专利名称：用于处理视频的方法和系统的制作方法
技术领域：
本发明涉及通信系统。更具体地说，本发明涉及通过无线通信链路进行三维视频ififn。
背景技术：
很多设备都具有数字视频功能，例如，数字电视、数字直播系统、数字记录系统、游 戏机等。数字视频设备相比传统的模拟视频系统在处理和以更高带宽效率传送视频序列方 面具有显著的进步。视频内容可以用二维格式或三维格式记录。在各种应用，例如，DVD电影和数字电 视中，一般偏爱三维视频，因为对观看者来说，它通常比二维视频更真实。三维视频包括左 视图视频和右视图视频。三维视频帧可以由左视图视频部分和右视图视频部分组合而成。比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本 领域的普通技术人员来说是显而易见的。
发明内容
本发明提供了一种通过无线通信链路进行三维视频通信的方法和/或系统，在权 利要求中得到了更完整的阐述。根据一个方面，一种用于处理视频的方法，包括由第一视频处理设备中的一个或多个处理器和/或电路执行如下步骤解码包含左视图视频流和右视图视频流的三维视频；以及通过所述第一视频处理设备的第一无线接口将所述左视图视频流、所述右视图视 频流、左视形流以及右视形流进行无线通信。优选地，所述第一视频处理设备包括以下至少一种机顶盒和计算机。优选地，所述方法进一步包括在进行所述无线通信前将所述右视图视频流与所述 右视形流混合和/或将所述左视图视频流与所述左视形流混合。优选地，所述方法进一步包括在进行所述无线通信前压缩所述左视图视频流、所 述右视图视频流、所述左视形流以及所述右视形流。优选地，所述无线通信的左视图压缩视频流、所述右视图压缩视频流、所述左视图 压缩图形流以及所述右视图压缩图形流由第二视频处理设备相应的第二无线接口接收，所 述第二视频处理设备包括三维和/或二维视频显示设备。优选地，所述方法进一步包括利用存储在所述第一视频处理设备中和/或由所述 第一视频处理设备接收的左视图与右视形信息来生成所述左视形流和所述右视 形流。优选地，所述方法进一步包括由所述第一视频处理设备中的图形处理器来生成所 述左视形流和所述右视形流的图形对象。优选地，所述方法进一步包括利用无损、视觉无损和/或水平有损压缩方法来压3缩所述左视图视频流、所述右视图视频流、所述左视形流、所述右视形流、所述左 视图视频流与所述左视形流的混合流和/或所述右视图视频流与所述右视形流 的混合流。优选地，第二视频处理设备将压缩的所述左视图视频流、压缩的所述右视图视频 流、压缩的所述左视形流、压缩的所述右视形流、压缩的所述左视图视频流与所述 左视形流的混合流和/或压缩的所述右视图视频流与所述右视形流的混合流进 行解压，所述第二视频处理设备包括三维和/或二维视频显示设备。优选的，所述第二视频处理设备将解压缩的所述左视图视频流和解压缩的所述左 视形流进行混合和/或将解压缩的所述右视图视频流和解压缩的所述右视形流 进行混合。优选地，所述第二视频处理设备显示混合的所述左视图视频流与所述左视形 流以及混合的所述右视图视频流与所述右视形流。优选地，所述左视图视频流、所述右视图视频流、所述左视形流和所述右视图 图形流包括未压缩数据。根据一个方面，一种用于处理视频的系统，包括第一视频处理设备中的一个或多个处理器和/或电路，其中所述一个或多个处理 器和/或电路用于解码包含左视图视频流和右视图视频流的三维视频；以及通过所述第一视频处理设备的第一无线接口将所述左视图视频流、所述右视图视 频流、左视形流以及右视形流进行无线通信。优选地，所述第一视频处理设备包括以下至少一种机顶盒和计算机。优选地，所述一个或多个处理器和/或电路用于在进行所述无线通信前将所述右 视图视频流与所述右视形流混合和/或将所述左视图视频流与所述左视形流混合。 优选地，所述一个或多个处理器和/或电路用于在进行所述无线通信前压缩所述 左视图视频流、所述右视图视频流、所述左视形流以及所述右视形流。优选地，所述无线通信的左视图压缩视频流、所述右视图压缩视频流、所述左视图 压缩图形流以及所述右视图压缩图形流由第二视频处理设备相应的第二无线接口接收，所 述第二视频处理设备包括三维和/或二维视频显示设备。优选地，所述一个或多个处理器和/或电路用于利用存储在所述第一视频处理设 备中和/或由所述第一视频处理设备接收的左视图与右视形信息来生成所述左视图 图形流和所述右视形流。优选地，所述一个或多个处理器和/或电路用于由所述第一视频处理设备中的图 形处理器来生成所述左视形流和所述右视形流的图形对象。优选地，所述一个或多个处理器和/或电路用于利用无损、视觉无损和/或水平有 损压缩方法来压缩所述左视图视频流、所述右视图视频流、所述左视形流、所述右视图 图形流、所述左视图视频流与所述左视形流的混合流和/或所述右视图视频流与所述 右视形流的混合流。优选地，第二视频处理设备将压缩的所述左视图视频流、压缩的所述右视图视频流、压缩的所述左视形流、压缩的所述右视形流、压缩的所述左视图视频流与所述 左视形流的混合流和/或压缩的所述右视图视频流与所述右视形流的混合流进 行解压，所述第二视频处理设备包括三维和/或二维视频显示设备。优选地，所述第二视频处理设备将解压缩的所述左视图视频流和解压缩的所述左 视形流进行混合和/或将解压缩的所述右视图视频流和解压缩的所述右视形流 进行混合。优选地，所述第二视频处理设备显示混合的所述左视图视频流与所述左视形 流以及混合的所述右视图视频流与所述右视形流。优选地，所述左视图视频流、所述右视图视频流、所述左视形流和所述右视图 图形流包括未压缩数据。本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在 以下的说明书和附图中进行详细介绍。
图1是根据本发明实施例的用于通过无线链路进行三维视频和图形通信的示范 性视频编码系统的框图；图2是根据本发明实施例的用于向视频显示单元无线发送左视图和右视图三维 视频与图形流的示范性视频接收单元的框图；图3A是根据本发明实施例的用于向视频显示单元无线发送左视图和/或右视图 三维视频流与左视图和/或右视形流的示范性视频接收单元的框图；图;3B是根据本发明实施例的用于无线接收来自视频接收单元的压缩的左视图和 右视图三维视频流以及处理来自视频接收单元的左视图和右视形流的示范性显示设 备的框图；图4A是根据本发明实施例的用于实现三维视频和三维图形从视频接收单元到视 频显示设备的无线传输的示范性步骤的流程图；图4B是根据本发明实施例的用于视频显示单元从视频接收单元无线接收三维视 频和三维图形的示范性步骤的流程图。
具体实施例方式本发明通过无线通信链路进行三维视频通信的方法和系统提供了一些实施例。根 据本发明的各种实施例，第一视频处理设备中的一个或多个处理器和/或电路可以用于接 收和/或解码左视图和右视图视频流。可以将左视图视频流、右视图视频流、左视形流 和右视形流无线通信给第二视频处理设备。就这一点而言，第一视频处理设备可以包 括以下至少一种例如机顶盒和计算机。第二视频处理设备可以包括三维和/或二维视频 显示设备，例如电视机。在本发明的各种实施例中，在进行无线通信前，可以将右视图视频 流与右视形流混合和/或将左视图视频流与左视形流混合。在进行无线通信前， 可以压缩左视图视频流、右视图视频流、左视形流以及右视形流。就这一点而言， 左视图压缩的视频流、右视图压缩的视频流、左视图压缩的图形流以及右视图压缩的图形 流可以通过第一视频处理设备的第一无线接口通信并由第二视频处理设备相应的第二无线接口接收，第二视频处理设备可以包括三维和/或二维视频显示设备。可以利用左视图 和右视形信息生成左视形流和右视形流。左视图和右视形信息可以存储 在第一视频处理设备中和/或由第一视频处理设备接收。第一视频处理设备中的图形处理器可以生成左视形流和右视形流的图 形对象。在本发明的各种实施例中，可以利用无损、视觉无损和/或水平有损压缩方法来压 缩左视图视频流、右视图视频流、左视形流、右视形流、左视图视频流与左视 形流的混合流和/或右视图视频流与右视形流的混合流。第二视频处理设备将压缩的 左视图视频流、压缩的右视图视频流、压缩的左视形流、压缩的右视形流、压缩的 左视图视频流与左视形流的混合流和/或压缩的右视图视频流与右视形流的混 合流进行解压。第二视频处理设备包括三维和/或二维视频显示设备。进一步地，第二视 频处理设备将解压的左视图视频流与解压的左视形流混合和/或将解压的右视图视 频流与解压的右视形流混合。第二视频处理设备可以显示左视图视频流与左视形 流的混合流以及右视图视频流与右视形流的混合流。左视图视频流、右视图视频流、左 视形流和/或右视形流可以包括未压缩的数据。图1是根据本发明实施例的用于通过无线链路进行三维视频和图形通信的示范 性视频编码系统的框图。如图1所示，示出了视频传送单元(VTU) 110、通信网络120、视频 接收单元(VRU) 130、无线接口 150和160以及视频显示设备114。VTU 110可以包括合适的逻辑、电路、接口和/或代码，用于向VRU 130提供编码的 视频内容。VTU 110可以用于编码三维视频。例如，VTU 110可以用于将三维视频编码为左 视图视频流和右视图视频流，又被称作左视频流和右视频流。左视图视频流和/或右视图 视频流可以通过不同信道传送给VRU 130。左视图和/或右视图视频流可以包括三维视频 内容和/或可以包括二维和/或三维图形信息。VTU 110的例子可以包括有线电视前端、直 播卫星前端以及网络服务器。通信网络120可以包括合适的逻辑、电路、接口和/或代码，用于提供VTUllO和 VRU 130间的通信平台。通信网络120可以是有线或无线通信网络。通信网络120可以是 LAN、WAN、因特网等。VRU 130可以包括合适的逻辑、电路、接口和/或代码，用于通过通信网络120从 VTU 110接收传输流。接收到的传输流可以包括，例如娱乐节目的编码的三维视频流，例如， 三维电视节目和/或三维图形信息。就这一点而言，VRU 130可以用于解复用或解析接收 到的传输流，例如，包含三维电视节目的左视图和右视图编码的三维视频流，还可以在VRU 130的内存或本地存储器中提取和/或存储左视图和右视图视频流。VRU 130可以用于解 码提取的三维电视节目的编码的三维视频流。例如，可以用相关三维电视节目的左视图和 右视图覆盖图形信息，或者可以根据用户输入观看图形信息。图形信息可以存储在VRU 130 中和/或可以由VRU 130接收，例如，通过视频流。左视图和/或右视形信息可以在本 地进行处理以产生左视图和右视形对象或图形帧。可以利用，例如水平压缩技术，来压缩左视图和右视图视频流以及左视图和右视 形对象。压缩的左视图和右视图视频流以及包含图形对象的左视图和右视形流可 以通过无线传送方法从VRU 130的无线接口 150通信给视频显示设备114的无线接口 160。 在视频显示设备114中，可以将左视图和右视图视频流以及左视图和右视形流进行解压。进一步地，可以将左视图视频流与左视形流混合以及将右视图视频流与右视 形流混合。视频显示设备114可以用于显示与三维图形混合的三维视频和/或可以用于将 得到的混合的三维视频和图形转化为二维视频以便显示。示范性VRU 130可以包括机顶盒 和/或个人计算机。示范性视频显示设备114可以包括三维和/或二维电视机。无线接口 150可以包括合适的逻辑、电路、接口和/或代码，用于将三维的左视图 和/或右视图视频和/或图形流无线通信给视频显示设备114的无线接口 160。就这一点 而言，无线接口 150可以用于利用任意合适的无线技术。例如，无线接口 150可以包括以下 至少一种60GHz无线接口、无线局域网(WLAN)接口和/或无线个人局域网(WPAN)接口。当无线接口 150包括60GHz无线接口时，60GHz无线接口 150用于将三维的左视图 和/或右视图视频和/或图形流无线通信给视频显示设备114的无线接口 160。例如，可以 支持本地文件分发、三维和/或二维视频和/或三维和/或二维图形连接和/或高速三维 和/或二维视频单机或多机游戏。60GHz无线接口 150可以包括一个物理层接口或一个物 理层接口与一个媒体访问控制层。60GHz信号可以，例如，进行短距离发送、点对点发送和/ 或以高度定向辐射模式发送。无线接口 15060GHz物理接口可以支持超宽带(UWB)技术或 其它无线技术。当无线接口 150包括无线局域网(WLAN)时，无线接口 150用于将三维的左视图 和/或右视图视频和/或图形流无线通信给视频显示设备114的无线接口 160。就这一点 而言，WLAN无线接口 150可以用于支持IEEE802. 11物理层(PHY)或PHY与媒体访问控制 (MAC)层。另外，WLAN无线接口 150可以工作在频谱下部，例如，在2. 4GHz和/或5GHz附 近。WLAN无线接口 150可以实现本地文件分发、三维和/或二维视频和/或三维和/或二 维图形通信和/或高速三维和/或二维视频单机或多机游戏。当无线接口 150包无线个人局域网(WPAN)时，无线接口 150用于将三维的左视图 和/或右视图视频和/或图形流无线通信给视频显示设备114的无线接口 160。WPAN无 线接口 150可以包括，例如，包含一个物理层接口或一个物理层接口与一个媒体访问控制 (MAC)层的蓝牙收发器。WPAN无线接口 150可以工作在，例如2. 4GHz和/或5GHz频率带， 或可以工作在其它可用频谱。本发明并不受限于无线接口 150中的任意特定无线技术。本发明的各种实施例可 以利用各种合适的无线技术。例如，无线接口 150可以支持3GPP、3GPP2、WIMAX、WiFi、LTE、 WLAN、蓝牙、60GHz、紫蜂以及其它无线技术。无线接口 160可以包括合适的逻辑、电路、接口和/或代码，用于从VRU130的无线 接口 150无线接收三维的左视图和/或右视图视频和/或图形流。就这一点而言，无线接 口 150可以用于利用任意合适的无线技术。例如，无线接口 150可以包括以下至少一种 60GHz无线接口、无线局域网(WLAN)接口和/或无线个人局域网(WPAN)接口。当无线接口 160包括60GHz无线接口时，60GHz无线接口 160用于从VRU130的无 线接口 150无线接收三维的左视图和/或右视图视频和/或图形流。例如，可以支持本地 文件分发、三维和/或二维视频和/或三维和/或二维图形连接和/或高速三维和/或二 维视频单机或多机游戏。60GHz无线接口 150可以包括一个物理层接口或一个物理层接口 与一个媒体访问控制层。60GHz信号可以，例如，进行短距离接收、点对点接收和/或以高度 定向辐射模式接收。无线接口 16060GHz物理接口可以支持超宽带(UWB)技术或其它无线7技术。当无线接口 160包括无线局域网(WLAN)时，无线接口 160用于从VRU130的无线 接口 150无线接收三维的左视图和/或右视图视频和/或图形流。就这一点而言，WLAN无 线接口 160可以用于支持IEEE802.il物理层(PHY)或PHY与媒体访问控制(MAC)层。另 外，WLAN无线接口 150可以工作在频谱下部，例如，在2.4GHz和/或5GHz附近。WLAN无线 接口 150可以实现本地文件分发、三维和/或二维视频和/或三维和/或二维图形通信和 /或高速三维和/或二维视频单机或多机游戏。当无线接口 160包无线个人局域网(WPAN)时，无线接口 160用于从VRU 130的无 线接口 150无线接收三维的左视图和/或右视图视频和/或图形流。WPAN无线接口 160可 以包括，例如，包含一个物理层接口或一个物理层接口与一个媒体访问控制(MAC)层的蓝 牙收发器。WPAN无线接口 160可以工作在，例如2. 4GHz和/或5GHz频率带，或可以工作在 其它可用频谱。本发明并不受限于无线接口 160中的任意特定无线技术。本发明的各种实施例可 以利用各种合适的无线技术。例如，无线接口 160可以支持3GPP、3GPP2、WIMAX、WiFi、LTE、 WLAN、蓝牙、60GHz、紫蜂以及其它无线技术。视频显示设备114可以包括合适的逻辑、电路、接口和/或代码，用于通过无线通 信方式接收三维的左视图和/或右视图视频和/或图形并显示所述三维视频和/或图形。 另外，视频显示设备114可以用于解压接收到的左视图和/或右视图视频和/或图形流。视 频显示设备114可以用于将左视形数据域左视图视频数据混合以及用于将右视 形数据域右视图视频数据混合。视频显示设备114可以用于根据至少一种显示技术显示三 维混合左视图视频和/或图形与混合右视图视频和/或图形。例如，视频显示设备114可 以利用，例如偏振液晶显示器(LCD)的偏振显示技术。在本发明的另一个实施例中，视频显 示设备114可以利用双环背投影显示器或高频帧等离子显示器的时序显示技术。此外，视 频显示设备114可以用于利用以下至少一种技术光谱过滤技术、立体电影技术和/或普尔 弗里奇(Pulfrich)技术。本发明并不受限于任意特定的显示技术，并可以利用任意合适的 三维视频和/或图形显示技术。在运行中，VTU 110可以用于将三维视频内容，例如三维电视节目，编码为左视图 视频流和右视图视频流。可以通过通信网络120将复合的传输流传送给VRU 130。VRU 130 可以用于将接收到的传输流解复用为编码的三维电视节目的三维视频流，并可以用于提取 左视图和/或右视形信息。VRU 130可以用于解码编码的三维电视节目的左视图和右 视图三维视频流。根据设备配置和/或用户输入，可以在三维电视节目期间显示左视图和 右视图三维图形。VRU 130可以在本地处理左视图和右视形，以产生可称作左视图和 右视形流的左视图和右视形对象。VRU 130可以用于利用，例如水平压缩技术，来 压缩左视图和右视图视频流以及左视图和右视形流。VRU 130可以通过无线接口 150 将压缩的左视图和右视图视频流与压缩的左视图和右视形流传送给视频显示设备114 的无线接口 160。视频显示设备114可以用于解压左视图和右视图视频流以及左视图和右 视形流，并可以将相应的左视形对象和右视形对象覆盖、混合和/或代替解 码的左视图三维视频流数据。得到的混合的三维视频可以由视频显示设备114作为三维视 频显示或由视频显示设备114转化为二维视频以便显示。
图2是根据本发明实施例的用于向视频显示单元无线发送左视图和右视图视频 与图形流的示范性视频接收单元的框图。如图2所示，示出了包含VRU130的视频处理系统 200，VRU 130可以包括主处理器208、解码器204、内存及回放模块216、本地存储器218、图 形处理器210、视频和图形混合模块230、左视图和右视图视频和图形压缩模块232以及无 线接口 150。另外，还示出了无线接口 160和视频显示设备114。主处理器208可以包括合适的逻辑、电路、接口和/或代码，用于控制VRU130中各 个单元的运行，例如，解码器204、图形处理器210、视频和图形混合模块230和/或压缩模 块220。主处理器208可以支持各种应用，例如，VRU130上的三维视频流。主处理器208可 以用于与内存及回放模块216和/或本地存储器218通信。主处理器208可以用于生成左 视图和/或右视形信息，以生成用于覆盖、混合和/或代替接收到的左视图和/或右视 图三维视频流数据的图形。示范性图形可以包括用户界面，例如，用户向导和/或菜单，或 者可以包括覆盖三维视频数据的三维图形。可以将左视图和/或右视形信息传送给内 存及回放模块216和/或图形处理器210以便处理图形并生成左视图和右视形对象， 这些图形对象可以称作左视图和右视形流。就这一点而言，主处理器208可以配置用 于选择三维电视节目中显示用的图形。解码器204可以包括合适的逻辑、电路、接口和/或代码，用于以帧为单位解码从 VTU 110接收到的左视图视频。解码器204可以用于利用各种视频解压算法，例如MPEG-2、 MPEG-4、AVC、VC1、VP6、H. 264和/或其它视频格式将来自VTU 110的左视图视频转化为解 压的或解码的视频内容。图形处理器210可以包括合适的逻辑、电路、接口和/或代码，用于从主处理器208 和/或内存及回放模块216接收左视图和/或右视形信息，以及可以执行图形处理。图 形处理器210可以用于在图形处理过程中与内存及回放模块216进行图形通信。图形处理 器210可以用于生成左视图和右视形流的相应图形对象。生成的左视图和右视形 流可以传送给视频和图形混合模块230。内存及回放模块216可以包括合适的逻辑、电路、接口和/或代码，用于存储信息， 例如VRU 130可能利用的可执行指令和数据。可执行指令可以包括图形处理器210用来生 成左视图和右视形对象的图形处理算法。存储的数据可以包括左视图和/或右视图解 码视频内容和/或左视图和/或右视形信息。就这一点而言，内存及回放模块216可 以被图形处理器210在生成图形帧时用作“缓存存储器”。内存及回放模块216可以包括 RAM、ROM、以闪存为例的低延迟非易失性内存和/或其它合适的电子数据存储器。本地存储器218可以包括合适的逻辑、电路、接口和/或代码，用于记录并存储视 频应用和/或图形节目的内容或数据。本地存储器218是VRU 130的可选组件。本地存储 器218可以包括磁和/或光驱动器，例如硬盘。本地存储器218还可以包括固体存储器，例 如闪存和/或其它合适的能够记录及存储数据和指令的电子数据存储器。视频和图形混合模块230可以包括合适的逻辑、电路、接口和/或代码，用于将左 视图视频流与左视形混合，并将右视图视频流与右视形混合。就这一点而言，视频 和图形混合模块230可以利用混合因子来进行混合。在本发明的各种实施例中，混合因子 可以根据图形的透明度来确定。在本发明的另一个实施例中，当不需要视频数据时可以用 图形代替视频和/或可以显示图形。视频和图形混合模块230的输出可以传送给左视图和右视图视频和图形压缩模块232。左视图和右视图视频和图形压缩模块232可以包括合适的逻辑、电路、接口和/或 代码，用于在通过无线传输方式将左视图和右视图视频流传送给视频显示设备114前压缩 混合的左视图视频和图形内容以及压缩混合的右视图视频和图形内容。左视图和右视图视 频和图形压缩模块232可以利用无损和/或视觉无损压缩方式。在本发明的各种实施例中， 左视图和右视图视频和图形压缩模块232仅在水平方向上压缩左视图和右视图视频流，因 为大脑可以组合或分辨左视图和右视图帧。在运行中，解码器204可以用于接收三维视频数据的左视图和右视图流。左视图 视频流和右视图视频流可以由解码器204解码并存储在内存及回放模块216和/或存储器 218中。主处理器208可以生成和/或选择存储在内存及回放模块216和/或存储器218 中的左视图和/或右视形信息。可以将生成的和/或选择的左视图和/或右视形 信息发送给图形处理器210以便处理。图形处理器210可以用于根据接收到的左视图和/ 或右视形信息生成左视图和/或右视形对象。左视图和/或右视形对象可以 称作左视图和/或右视形流。可以将解码的左视图和/或右视图视频流和生成的左视图和/或右视形对象 传送给视频和图形混合模块230。视频和图形混合模块230可以将解码的左视图视频流与 生成的左视形对象混合以及将解码的右视图视频流与生成的右视形对象混合。可 以将左视图和/或右视图混合的视频和图形流传送给左视图和右视图视频和图形压缩模 块232进行压缩。可以由VRU 130的无线接口 150通过无线传输方式将压缩的左视图和/ 或右视图混合的视频和/或图形流传送给视频显示设备114的无线接口 160。视频显示设 备114可以用于解压左视图和/或右视图混合的视频和图形流并可以显示左视图和/或右 视图混合的视频和图形内容。若视频显示设备114是刷新速率为240Hz的IXD显示器，当捕捉和/或生成三维 视频和/或图形内容时，摄像设备例如相机可以使用速率为60Hz的帧。以这种方式，当将 分离的左视图和右视图混合视频和图形内容传送给视频显示设备114时，对于每个捕捉的 60Hz视频和/或图形帧，可以生成四个帧。例如，可以生成左视图混合的视频和图形帧、黑 帧、右视图混合的视频和图形帧以及另一个黑帧。以这种方式，利用240Hz显示二维视频的 视频显示器可以用于显示60Hz混合的视频和图形内容，该内容包括240Hz的每个视频和/ 或图形捕捉瞬间的四个帧。LCD显示器具有缓慢的响应时间。此外，LCD显示器可以是持久 型显示器，其中像素持续在屏幕上显示直至被覆盖。这样，将黑帧与三维左视图帧和/或三 维右视图帧交替可以防止在屏幕上同步显示左视图帧像素和右视图帧像素。带宽方面，相 对于二维视频使用的带宽来说，附加带宽对LCD显示器的三维视频的无线通信，甚至对于 单独发送的额外的同屏显示(OSD)帧来说，并不是必需的。由于黑帧的存在，插入OSD帧中 的附加帧可以是用于与二维和/或三维显示器进行无线通信的带宽的一部分。图3A是根据本发明实施例的用于向视频显示单元无线发送左视图和/或右视图 视频流与左视图和/或右视形流的示范性视频接收单元的框图。如图3A所示，示出了 包含VRU 130的视频处理系统300A，VRU 130可以包括主处理器308、解码器304、内存及回 放模块316、本地存储器318、图形处理器310、左视图和右视图视频压缩模块320、左视图和 右视形压缩模块322以及无线接口 150。另外，还示出了无线接口 160和视频显示设备
主处理器308可以包括合适的逻辑、电路、接口和/或代码，用于控制VRU130中各 个单元的运行，例如，解码器304、图形处理器310和/或压缩模块320和322。主处理器308 可以支持各种应用，例如，VRU 130上的三维视频流。主处理器308可以用于与内存及回放 模块316和/或本地存储器318通信。主处理器308可以用于生成左视图和/或右视 形信息，以生成用于覆盖、混合和/或代替接收到的左视图和/或右视图三维视频流数据的 图形。示范性图形可以包括用户界面，例如，用户向导和/或菜单，或者可以包括覆盖三维 视频数据的三维图形。可以将左视图和/或右视形信息传送给内存及回放模块316和 /或图形处理器310以便处理图形并生成左视图和右视形对象，这些图形对象可以称 作左视图和右视形流。就这一点而言，主处理器308可以配置用于选择三维电视节目 中显示用的图形。解码器304可以包括合适的逻辑、电路、接口和/或代码，用于以帧为单位解码从 VTU 110接收到的左视图视频。解码器304可以用于利用各种视频解压算法，例如MPEG-2、 MPEG-4、AVC、VC1、VP6、H. 264和/或其它视频格式将来自VTU 110的左视图视频转化为解 压的或解码的视频内容。可以进行信息通信，例如左视图解码过程中的场景信息，以便用于 右视图解码。另外，解码器304可以用于以帧为单位解码来自VTU 110的右视图视频。解 码器304可以用于利用各种视频解压算法，例如MPEG-2、MPEG-4、AVC、VC1、VP6、H. 264和/ 或其它视频格式将来自VTU 110的左视图视频转化为解压的或解码的视频内容。图形处理器310可以包括合适的逻辑、电路、接口和/或代码，用于从主处理器308 和/或内存及回放模块316接收左视图和/或右视形信息，以及可以执行图形处理。图 形处理器310可以用于在图形处理过程中与内存及回放模块316进行图形通信。图形处理 器310可以用于生成左视图和右视形流的相应图形对象。生成的左视图和右视形 流可以传送给左视图和右视形压缩模块322。内存及回放模块316可以包括合适的逻辑、电路、接口和/或代码，用于存储信息， 例如VRU 130可能利用的可执行指令和数据。可执行指令可以包括图形处理器310用来生 成左视图和右视形对象的图形处理算法。存储的数据可以包括左视图和/或右视图解 码视频内容和/或左视图和/或右视形信息。就这一点而言，内存及回放模块316可 以被图形处理器310在生成图形帧时用作“缓存存储器”。内存及回放模块316可以包括 RAM、ROM、以闪存为例的低延迟非易失性内存和/或其它合适的电子数据存储器。本地存储器318可以包括合适的逻辑、电路、接口和/或代码，用于记录并存储视 频应用和/或图形节目的内容或数据。本地存储器318是VRU 130的可选组件。本地存储 器318可以包括磁和/或光驱动器，例如硬盘。本地存储器318还可以包括固体存储器，例 如闪存和/或其它合适的能够记录及存储数据和指令的电子数据存储器。左视图和右视图视频压缩模块320可以包括合适的逻辑、电路、接口和/或代码， 用于在通过无线传输方式将左视图和右视图视频流传送给视频显示设备114前压缩左视 图视频内容以及压缩右视图视频内容。左视图和右视形压缩模块322可以包括合适的逻辑、电路、接口和/或代码， 用于在通过无线传输方式将左视图和右视形流传送给视频显示设备114前压缩左视 形流以及压缩右视形流。11
左视图和右视图视频压缩模块320和/或左视图和右视形压缩模块322可以 利用无损和/或视觉无损压缩方式。在本发明的各种实施例中，左视图和右视图视频压缩 模块320和/或左视图和右视形压缩模块322可以用于仅在水平方向压缩左视图和右 视图视频流。人脑可以组合或分辨包含遗失像素的左视图和右视图帧。在本发明的另一个实施例中，可以将一个帧的一部分，例如，左视图视频帧、右视 图视频帧、左视形帧和/或右视形帧中的一行，压缩并无线传送给视频显示设备 114，而不是立刻将整个帧进行传送。例如，视频和/或图形帧的一些部分可以包括能够实 现有效压缩性能的几行，但是帧的这些部分比整个帧小得多。传送帧的一部分而不是整个 帧可以减小视频信息与图形信息接收间的延迟，因此可以降低缓冲需求和/或无线接收器 的复杂度。在运行中，解码器304可以用于接收三维视频数据的左视图和右视图流。左视图 视频流和右视图视频流可以由解码器304解码并存储在内存及回放模块316和/或存储器 318中。主处理器308可以生成和/或选择存储在内存及回放模块316和/或存储器318 中的左视图和/或右视形信息。可以将生成的和/或选择的左视图和/或右视形 信息发送给图形处理器310以便处理。图形处理器310可以用于根据接收到的左视图和/ 或右视形信息生成左视图和/或右视形对象。左视图和/或右视形对象可以 称作左视图和/或右视形流。解码的左视图和/或右视图视频流可以由左视图和右视 图视频压缩模块320接收并利用水平压缩技术进行压缩。类似地，左视图和/或右视 形流可以由左视图和右视形压缩模块322接收并利用水平压缩技术进行压缩。可以由 VRU 130的无线接口 150通过无线传输方式将压缩的左视图和/或右视图视频流和/或压 缩的左视图和/或右视形流传送给视频显示设备114的无线接口 160。视频显示设备 114可以用于解压左视图和/或右视图视频流和/或左视图和/或右视形流，并可以将 左视形与左视图视频流混合以及将右视形与右视图视频流混合，然后显示混合的 视频和图形内容。在本发明的各种实施例中，当传送分开的左视图和右视图视频流以及分开的左视 图和右视形流而不是传送如图2所述的左视图和右视图混合的视频和图形内容时，传 输带宽将要加倍。然而，通过分开压缩视频和图形内容，左视图和右视图视频压缩模块320 和/或左视图和右视形压缩模块322可以用于利用不同的压缩技术。就这一点而言， 对于图形和视频内容，压缩效率可以是不同的。此外，在本发明的各种实施例中，视频和/ 或图形内容可以不在无线传送给视频显示设备114前压缩。例如，可以降低图形内容的帧 速率以便未压缩的图形内容可以无线传送给视频显示设备114。就这一点而言，比起使用 二到一压缩，未压缩图形的传输速率可以是压缩图形帧速率的一半。如图2所述，当视频显 示设备114是IXD显示器并用作二维显示器时，例如240Hz显示器，相对于发送二维视频信 息，发送三维图形和视频时可以不需要附加带宽。图;3B是根据本发明实施例的用于无线接收来自视频接收单元的压缩的左视图和 右视图三维视频流以及处理来自视频接收单元的左视图和右视形流的示范性显示设 备的框图。如图:3B所示，示出了包含视频显示设备114的视频处理系统300B，视频显示设 备114可以包括无线接口 160、左视图和右视图视频解压模块380、左视图和右视形解 压模块382、左视图混合模块384、右视图混合模块386以及三维和/或二维显示器314。另12外，还示出了无线接口 150、左视图和右视图视频压缩模块320以及左视图和右视形压 缩模块322。左视图和右视图视频解压模块380可以包括合适的逻辑、电路、接口和/或代码， 用于解压视频显示设备114通过无线接口 160接收的压缩的左视图视频流和/或压缩的右 视图视频流。可以将解压的左视图视频流传送给左视图混合模块384以及将解压的右视图 视频流传送给右视图混合模块386。左视图和右视形解压模块382可以包括合适的逻辑、电路、接口和/或代码， 用于解压视频显示设备114通过无线接口 160接收的压缩的左视形流和/或压缩的右 视形流。可以将解压的左视形流传送给左视图混合模块384以及将解压的右视图 图形流传送给右视图混合模块386。左视图混合模块384可以包括合适的逻辑、电路、接口和/或代码，用于接收并混 合左视图视频流与左视形流。就这一点而言，左视图混合模块384可以利用混合因子 来进行混合。在本发明的各种实施例中，视频显示设备114可以根据图形的透明程度确定 混合因子。在本发明的另一实施例中，当不需要视频数据时可以用图形代替视频和/或可 以显示图形。可以将左视图混合模块384的输出传送给三维和/或二维显示器314。右视图混合模块386可以包括合适的逻辑、电路、接口和/或代码，用于接收并混 合右视图视频流与右视形流。就这一点而言，右视图混合模块386可以利用混合因子 来混合右视图视频和右视形。在本发明的各种实施例中，视频显示设备114可以根据 图形的透明程度确定混合因子。在本发明的另一实施例中，当不需要视频数据时可以用图 形代替视频和/或可以显示图形。可以将右视图混合模块386的输出传送给三维和/或二 维显示器314。在本发明的各种实施例中，可以将混合的右视图和/或左视图视频和图形转 化为二维进行显示。在运行中，视频显示设备114可以通过无线接口 160经无线传输接收压缩的左视 图视频流、压缩的右视图视频流、压缩的左视形流和/或压缩的右视形流。左视图 和右视图视频解压模块380可以用于接收压缩的左视图和右视图视频流并执行对所述视 频流的解压处理。左视图和右视形解压模块382可以接收左视图和右视图压缩的图形 流并可以对所述接收的图形流执行解压处理。可以将经左视图和右视图视频解压模块380 解压的左视图视频流以及经左视图和右视形解压模块382解压的左视形流传送 给左视图混合模块384。左视图混合模块384可以将左视形流与左视图视频流混合并 可以向三维和/或二维显示器314输出混合的左视图视频与图形。类似地，可以将经左视 图和右视图视频解压模块380解压的右视图视频流以及经左视图和右视形解压模块 382解压的右视形流传送给右视图混合模块384。右视图混合模块384可以将左视图 图形流与左视图视频流混合并可以向三维和/或二维显示器314输出混合的右视图视频与 图形。三维和/或二维显示器314可以显示混合的左视形与视频和/或混合的右视图 图形与视频。图4A是根据本发明实施例的用于实现三维视频和三维图形从视频接收单元到视 频显示设备的无线传输的示范性步骤的流程图。示范性步骤开始于步骤410。在步骤412， 三维视频接收单元(VRU) 130可以接收左视图视频流和右视图视频流。在步骤414，由解码 器304对左视图视频流和右视图视频流进行解码。在步骤416，由左视图和右视图视频压缩单元320对左视图视频流和右视图视频流进行水平压缩。在步骤418，由图形处理器310 对存储在VRU 130中或与左视图和/或右视图视频流一起接收的左视图和/或右视形 信息进行处理，以生成左视形流和/或右视形流。在步骤420，由左视图和右视图 图形压缩单元322对左视形流和/或右视形流进行水平压缩。在步骤422，由无线 接口 150采用无线传输方式将左视图压缩的视频流、右视图压缩的视频流、左视图压缩的 图形流以及右视图压缩的图形流传送给三维和/或二维视频显示设备114。示范性步骤可 以持续于图4B。图4B是根据本发明实施例的用于视频显示单元从视频接收单元无线接收三维视 频和三维图形的示范性步骤的流程图。在步骤424，三维和/或二维视频显示设备114可以 通过无线接口 160经无线传输接收左视图压缩的视频流、右视图压缩的视频流、左视图压 缩的图形流以及右视图压缩的图形流。在步骤426，左视图和右视图视频解压模块380可 以解压左视图视频流和/或右视图视频流。在步骤428，左视图和右视形解压模块382 可以解压左视形流和右视形流。在步骤430，可以在左视图混合模块384中根据混 合因子混合左视图视频流与左视形流。另外，可以在右视图混合模块386中根据混合 因子混合右视图视频流与右视形流。在步骤432，可以将混合的左视图视频和图形流以 及混合的右视图视频和图形流传送给三维和/或二维显示器314。示范性步骤可以结束于 步骤434。在本发明的另一个实施例中，第一视频处理设备中的一个或多个处理器和/或电 路，例如，VRU 130，可以用于接收和/或解码左视图和右视图视频流。可以将左视图视频 流、右视图视频流、左视形流以及右视形流无线传送给第二视频处理设备，例如视 频显示设备114。就这一点而言，第一视频处理设备可以包括以下至少一种例如机顶盒与 计算机。第二视频处理设备可以包括三维和/或二维视频显示设备，例如电视机。在本发 明的各种实施例中，在进行无线通信前，可以由视频和图形混合模块230将右视图视频流 与右视形流混合和/或将左视图视频流与左视形流混合。在进行无线通信前，由 如图2所述的左视图和右视图视频和图形压缩模块232或由如图3A所述的左视图和右视 图视频压缩模块320与左视图和右视形压缩模块322对左视图视频流、右视图视频流、 左视形流以及右视形流进行压缩。就这一点而言，左视图压缩的视频流、右视图压 缩的视频流、左视图压缩的图形流以及右视图压缩的图形流可以由第一视频处理设备，例 如VRU 130的第一无线接口 150发送，并由第二视频处理设备相应的第二无线接口 160接 收，第二视频处理设备可以包括三维和/或二维视频显示设备，例如，视频显示设备114。可以利用左视图和右视形信息生成左视形流和右视形流。左视图和 右视形信息可以存储在第一视频处理设备，例如VRU 130中，和/或可以由第一视频 处理设备，例如VRU 130接收。第一视频处理设备中的图形处理器210可以生成左视 形流和右视形流的图形对象。在本发明的各种实施例中，可以由图形压缩模块232、左 视图和右视图视频压缩模块320和/或左视图和右视形压缩模块322利用无损、视觉 无损和/或水平有损压缩方式对左视图视频流、右视图视频流、左视形流、右视形 流、混合的左视图视频流与左视形流和/或混合的右视图视频流与右视形流进行 压缩。第二视频处理设备中的左视图和右视图视频解压模块380和/或左视图和右视形解压模块382可以解压压缩的左视图视频流、压缩的右视图视频流、压缩的左视 形流、压缩的右视形流、压缩的混合左视图视频流与左视形流和/或压缩的混合 右视图视频流与右视形流。第二视频处理设备可以包括三维和/或二维视频显示器。 进一步地，第二视频处理设备中的左视图混合模块384和/或右视图混合模块386可以将 解压的左视图视频流与解压的左视形流混合和/或将解压的右视图视频流于解压的 右视形流混合。第二视频处理设备，例如视频显示设备114，可以显示混合的左视图视 频流与左视形流以及混合的右视图视频流与右视形流。在本发明的各种实施例 中，左视图视频流、右视图视频流、左视形流和/或右视形流可以包括未压缩的数 据。在本发明的另一个实施例中，第一视频处理设备中的一个或多个处理器和/或电 路，例如VRU 130可以接收和/或解码左视图和右视图视频流。另外，可以由第一视频处 理设备，例如VRU 130生成左视图和右视形流。左视图视频流、右视图视频流、左视图 图形流以及右视形流可以被压缩并无线传送给第二视频处理设备，例如视频显示设备 114。就这一点而言，第一视频处理设备，例如VRU 130可以包括以下至少一种例如机顶盒 与计算机。第二视频处理设备，例如视频显示设备114可以包括三维和/或二维视频显示 设备，例如电视机。可以利用左视图和右视形信息生成左视形流和右视形流，左视图和 右视形信息可以存储在第一视频处理设备，例如VRU 130中，和/或可以由第一视频处 理设备，例如VRU 130接收。例如，第一视频处理设备，例如VRU 130中的图形处理器310 可以生成左视形流和右视形流的图形对象。可以分别由左视图和右视图视频压缩 模块320和/或左视图和右视形压缩模块322利用水平压缩技术对左视图视频流、右 视图视频流、左视形流以及右视形流进行压缩。第二视频处理设备，例如视频显示设备114可以通过第二无线接口 160接收压缩 的左视图视频流、压缩的右视图视频流、压缩的左视形流以及压缩的右视形流。另 外，第二视频处理设备，例如视频显示设备114可以分别在左视图和右视图视频解压模块 380与左视图和右视形解压模块382中解压接收到的包含左视图视频流、右视图视频 流、左视形流以及右视形流的信息流。第二视频处理设备，例如视频显示设备114 可以在左视图混合模块384中将左视图视频流与左视形流混合。类似地，第二视频处 理设备，例如视频显示设备114可以在右视图混合模块384中将右视图视频流与右视 形流混合。第二视频处理设备，例如视频显示设备114可以显示混合的左视图视频流与左 视形流并可以显示混合的右视图视频流与右视形流。以这种方式，可以在VRU 130 与视频显示设备114间通过无线通信方式进行三维视频与三维图形的通信，VRU 130可以 是机顶盒，视频显示设备114可以是电视机。本发明的另一个实施例可以提供一种机器和/或计算机可读存储器和/或媒介， 其内存储的机器代码和/或计算机程序包括至少一个代码段，所述至少一个代码段由机器 和/或计算机执行，从而使该机器和/或计算机执行上述通过无线通信链接进行三维视频 通信的步骤。因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一 个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分15散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结 合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使 其按方法运行。本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全 部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指 的是可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统 具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功 能a)转换成其它语言、解码或符号；b)以不同的格式再现。虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离 本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材 料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具 体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
权利要求
1.一种用于处理视频的方法，其特征在于，包括由第一视频处理设备中的一个或多个处理器和/或电路执行如下步骤解码包含左视图视频流和右视图视频流的三维视频；以及通过所述第一视频处理设备的第一无线接口将所述左视图视频流、所述右视图视频 流、左视形流以及右视形流进行无线通信。
2.根据权利要求1所述的方法，其特征在于，所述第一视频处理设备包括以下至少一 种机顶盒和计算机。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括在进行所述无线通 信前将所述右视图视频流与所述右视形流混合和/或将所述左视图视频流与所述左 视形流混合。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括在进行所述无线通 信前压缩所述左视图视频流、所述右视图视频流、所述左视形流以及所述右视形流。
5.根据权利要求4所述的方法，其特征在于，所述无线通信的左视图压缩视频流、所述 右视图压缩视频流、所述左视图压缩图形流以及所述右视图压缩图形流由第二视频处理设 备相应的第二无线接口接收，所述第二视频处理设备包括三维和/或二维视频显示设备。
6.一种用于处理视频的系统，其特征在于，包括第一视频处理设备中的一个或多个处理器和/或电路，其中所述一个或多个处理器和 /或电路用于解码包含左视图视频流和右视图视频流的三维视频；以及通过所述第一视频处理设备的第一无线接口将所述左视图视频流、所述右视图视频 流、左视形流以及右视形流进行无线通信。
7.根据权利要求6所述的系统，其特征在于，所述第一视频处理设备包括以下至少一 种机顶盒和计算机。
8.根据权利要求6所述的系统，其特征在于，所述一个或多个处理器和/或电路用于在 进行所述无线通信前将所述右视图视频流与所述右视形流混合和/或将所述左视图 视频流与所述左视形流混合。
9.根据权利要求6所述的系统，其特征在于，所述一个或多个处理器和/或电路用于在 进行所述无线通信前压缩所述左视图视频流、所述右视图视频流、所述左视形流以及 所述右视形流。
10.根据权利要求9所述的系统，其特征在于，所述无线通信的左视图压缩视频流、所 述右视图压缩视频流、所述左视图压缩图形流以及所述右视图压缩图形流由第二视频处理 设备相应的第二无线接口接收，所述第二视频处理设备包括三维和/或二维视频显示设 备。
全文摘要
本发明涉及一种用于处理视频的方法和系统。第一视频处理设备，例如机顶盒，接收并解码左视图和右视图视频流，以及生成左视图和右视形流。将左视图和右视图视频流与左视图和右视形流压缩并无线通信给第二视频处理设备，例如三维和/或二维电视机。图形流由第一视频处理设备上的图形处理器利用存储的和/或接收的图形信息生成。第二视频处理设备无线接收并解压视频和图形。在第一视频处理设备进行无线通信前或第二视频处理设备进行无线接收后将左视图视频与图形混合和/或将右视图视频与图形混合。第二视频处理设备显示混合的左视图视频与图形和/或混合的右视图视频与图形。
文档编号H04N13/00GK102045580SQ20101050446
公开日2011年5月4日 申请日期2010年10月12日 优先权日2009年10月13日
发明者伊利亚·克莱巴诺夫, 萨米尔·赫尔亚尔卡, 陈雪敏, 马库斯·凯勒曼 申请人:美国博通公司