专利名称：编码视频内容的方法
编码视频内容的方法优先权的要求本申请要求2009年8月12日提交的标题为"Backward Compatible 3D TV Format and Method”的美国临时专利申请序号61/230，780的优先权利益，其公开因此通过引用被
全部合并。
背景技术：
通过捕获两个视图(一个用于左眼并且另一个用于右眼)来提供用于三维电视 (3D TV)的深度知觉。这两个视图被压缩并且通过各种网络被发送或者存储在存储介质上。 解码器解码这两个视图并且将所解码后的视频发送到3D TV用于显示。已知将两个视图合并为单个视频帧或者保持分离。将两个视图合并为单个视频帧的已知好处是当前的编码器和解码器可用于压缩和解压缩视频。然而，该方法造成两个问题。首先，诸如基于MPEG-4AVC压缩算法的视频压缩算法造成两个视图在它们边缘处的串扰。当前用于避免两个眼睛视图之间的串扰的一个方法是关闭AVC/H. 264编码处理中的解块滤波器。然而，已知该方法降低了编码效率并且造成视频中的成块伪像。将两个视图合并为单个视频帧的第二个问题是所合并的视频不向后兼容于二维(2D) TV，也就是，当前的2D TV不能显示与两个视图之一相对应的所解码的视频。
发明内容
根据实施例，公开了一种编码视频内容的方法。该方法包括操纵三维(3D)视频内容的第一视图和第二视图的比特以占据视频的第一切片和视频的第二切片。边界被配置成在第一和第二切片之间形成。以彼此分离的方式对第一切片和第二切片的比特中的每一个进行编码以形成第一独立压缩视频切片和第二独立压缩视频切片。其后，第一和第二独立压缩视频切片被复用以形成可操作以被处理以呈现二维OD)和3D视频中的至少一种的至少一个传输流。根据另一个实施例，视频编码器可操作为编码视频内容。视频编码器包括一个或多个模块，所述一个或多个模块被配置成操纵三维(3D)视频内容的第一视图和第二视图的比特以占据视频的第一切片和视频的第二切片。边界被配置成在第一和第二切片之间形成。所述一个或多个模块还被配置成以相互分离的方式对第一切片和第二切片中的每一个的比特进行编码以形成第一独立压缩视频切片和第二独立压缩视频切片，并且配置为复用第一独立压缩视频切片和第二独立压缩视频切片以形成可操作以被处理以呈现2D和3D视频中的至少一种的至少一个传输流。视频编码器还包括被配置成实现所述一个或多个模块的处理器。根据另一个实施例，公开了一种将至少一个传输流呈现为可显示视频的方法。该方法包括接收所述至少一个传输流，其包括与三维(3D)视频的第一视图相对应的第一独立压缩视频切片和与3D视频的第二视图相对应的第二独立压缩视频切片。第一和第二独立压缩视频视图被配置成占据视频的分离切片。边界被配置成在第一和第二切片之间形成。然后解码第一和第二独立压缩视频切片中至少一个的比特。使用所解码后的第一和第二独立压缩视频切片中的所述至少一个来呈现2D和3D视频中的一种。根据另一个实施例，一种视频解码器包括一个或多个模块，所述一个或多个模块被配置成接收至少一个传输流，所述传输流包括与3D视频的第一视图相对应的第一独立压缩视频切片和与3D视频的第二视图相对应的第二独立压缩视频切片。第一和第二视图被配置成占据视频的分离切片。边界被配置成在第一和第二切片之间形成。所述一个或多个模块进一步被配置成解码第一和第二独立压缩视频切片中至少一个的比特并且配置为使用第一和第二独立压缩视频切片中的至少一个来呈现2D和3D视频中的一种。视频解码器还包括被配置成实现所述一个或多个模块的处理器。在另外的实施例中，公开了一种其上嵌入有一个或多个计算机程序的计算机可读存储介质，所述一个或多个计算机程序实现了上面公开的编码视频内容和将传输流呈现为可显示视频的方法。本发明的实施例提供了一种用于编码视频内容以便由解码器呈现为2D和3D视频中的一种的方法和装置。视频内容包括与为左眼和右眼显示相对应的第一和第二视图。当视频内容要被显示为3D视频时，呈现第一视图和第二视图两者。然而，当视频内容要被显示为2D视频时，诸如当机顶盒配备有2D解码器时，仅呈现第一视图和第二视图中的一个。 照此，包含第一视图和第二视图两者的单个传输流可被传送到具有2D和3D解码器之一的机顶盒。替代地，可用能够操作为呈现2D视频的多个传输流中的单个传输流来发送包含第一和第二视图的多个传输流。
根据以下描述参考附图，本发明的特征对于本领域技术人员将变得显而易见，在附图中图1图示了根据本发明的实施例的网络架构；图2图示了根据本发明的实施例的3D视频编码器的功能框图；图3图示了根据本发明的另一个实施例的3D视频编码器的功能框图；图4图示了根据本发明的实施例的3D视频解码器的简化框图；图5图示了根据本发明的实施例的编码视频内容的方法流程图；图6图示了根据本发明的实施例的将传输流呈现为可显示视频的方法流程图；图7图示了根据本发明的实施例的可用于编码传输流中的视频内容并且根据传输流呈现3D视频的计算机系统的框图；以及图8图示了根据本发明的实施例的视频切片的图。
具体实施例方式为了简单和说明性的目的，本发明通过主要引用其示例性实施例来进行描述。在以下描述中，阐述了许多具体细节来提供对本发明的透彻理解。然而，对于本领域普通技术人员来说将显而易见的是，可可以在不限于这些具体细节的情况下实施本发明。在其它情况下，未详细描述众所周知的方法和结构以避免不必要地模糊本发明。
图1图示了根据实施例的可使用3D视频解码器130的系统的网络架构100。如图1中所示，网络架构100被图示为有线电视(CATV)网络架构，包括电缆头端110和电缆网络111。许多数据源101、102、103可通信地耦合到电缆头端110，包括但决不限于多个服务器101、因特网102、经由内容提供商103接收到的无线电信号或电视信号。电缆头端110 还通过电缆网络111通信地耦合到一个或多个订户150a到150η。应当理解，图1中描绘的网络架构100可包括另外的构件，并且这里描述的一些构件可被移除和/或修改，而不会偏离网络架构100的范围。电缆头端110被配置成通过电缆网络111将传输流131输出到订户150a到150η 的机顶盒(STB) 120a到120η，电缆网络111可包括卫星传输、因特网102或例如使用固定光纤或同轴电缆的其它网络。STB 120a到120η是从电缆头端110接收传输流131并且将传输流131处理成为用于在电视、计算机监视器、个人数字助理(PDA)、蜂窝电话等上面显示的格式的设备。根据实施例，STB 120a到120η中的一个或多个包括由有限电视提供者或卫星电视提供商提供的独立设备。根据另一个实施例，STB 120a到120η中的一个或多个包括集成到电视、计算机、蜂窝电话、PDA等中一个或多个中的设备和/或软件。STB 120a到120η中的每一个配备有2D解码器121和/或3D解码器130。2D解码器121被配置成解码2D内容；而3D解码器130被配置成解码3D内容并且也可被配置成解码2D内容。另外，或者替代地，STB 120a到120η中的一个或多个可配备有2D解码器121 和3D解码器130两者，以由此能够解码两种类型的内容。在任何方面，STB 120a到120η 被配置成向2D显示器123或3D就绪显示器122输出解码的内容。为了显示3D内容，需要 3D就绪显示器122。如以下更详细论述的，传输流131被配置成为3D视频解码器130和2D 解码器121两者提供交叉的标准兼容性。图2图示了根据实施例的3D视频编码器200的功能框图。3D视频编码器200可形成图1中描绘的电缆头端110的一部分或包括在其中，并且通常可被配置成呈现用于传送到订户150a到150η的视频。应当理解，图2中描绘的3D视频编码器200可包括另外的构件，并且这里描述的一些构件可被移除和/或修改，而不会偏离3D视频编码器200的范围。如图2中所示，3D视频编码器200包括操纵模块202、第一编码模块204、第二编码模块206、描述符处理模块208和复用模块210。模块202-210可包括软件、硬件、或软件和硬件的组合。因此，在一个实施例中，模块202-210中的一个或多个包括电路构件。在另一个实施例中，模块202-210中的一个或多个包括可由处理器执行的在计算机可读存储介质上存储的软件代码。操纵模块202被配置成访问要被呈现为3D视频的视频内容220。例如，如图1中所示，可通过接收来自广播节目的视频内容、网络电视(IPTV)、交换视频(SDV)、视频点播 (VOD)或其它视频源来访问视频内容220。视频内容220包括使得视频内容220能够以3D 视频格式被显示的第一视图和第二视图(未示出)。第一视图包括左眼视图和右眼视图中的一个并且第二视图包括左眼视图和右眼视图中的另一个。操纵模块202被配置成操纵第一视图和第二视图以占据可被显示为视频切片的视频的第一切片22 和视频的第二切片222b。操纵模块还被配置成形成第一和第二切片 222a-222b之间的边界。第一切片22 和第二切片222b可以各种方式中的一种或多种方式由3D就绪显示器122来显示，以向观看者提供3D观看体验。也如下所述，2D解码器121 可解码第一切片22 和第二切片222b以在2D显示器123上显示视频内容220。在图8中示出了第一切片22 和第二切片222b可被显示为视频800的切片的方式的示例。如图8中所示，视频800的切片被水平地布置并且包括与第一视图相对应的上半部和与第二视图相对应的下半部。视频800的切片的水平布置允许解码器在读取视频的分离切片时有更好的效率。另外，视频800的上半部和下半部通过边界252分离。两个切片22 和222b之间的边界252使得解块滤波器能够在跨越边界252时被关闭，同时仍然使得能够在切片22 到222b的每一个内执行解块滤波。照此，可避免第一视图22 和第二视图222b之间的串扰。通过保留切片22 到222b中的每一个内激活的解块，编码效率不会受到大的影响并且实质上减少了由于阻塞造成的噪声。操纵模块202还被配置成输出视频800的切片以分离编码模块204和206。尽管两个编码模块204和206被配置成分离地编码视频800的切片，但是3D视频编码器200可包括任何数量的编码模块204和206，而不会偏离本发明的范围。在该示例中，操纵器202 可将视频800的分离切片的上半部和下半部中的一个或其两者操纵为不止一个整数数量的切片。照此，操纵器202可将视频内容220操纵为不止两个切片，以由此形成多于两个的分离视频流，所述分离视频流每一个可被分离地编码。为了清楚，以下论述将针对于视频内容布置在第一和第二切片22 和222b中的情况。第一编码模块204被配置成压缩第一切片22 以形成与视频内容220相关联的第一独立压缩视频切片22如。第二编码模块206被配置成压缩第一切片222b以形成与视频内容220相关联的第二独立压缩视频切片224b。第一和第二独立压缩视频切片22 和 224b不一定是相关于其它视频流被压缩，例如与之对比的是，其中彼此相关地编码视频流的MVC编码的视频流。相反，第一编码模块204和第二编码模块206中的每一个可分别压缩第一独立压缩视频切片22 和第二独立压缩视频切片2Mb，而没有引用视频切片22 和224b中的另一个。这里使用的“MPEG”指代用于编码和解码输出流的一组标准，如运动图像专家组所定义的。MPEG包括用于传输流的若干格式，诸如MPEG-2和MPEG-4部分10/ H. 2640至少凭借分离地压缩在第一切片22 和第二切片222b中包含的视频，第一独立压缩视频切片22 和第二独立压缩视频切片224b中的任一个可被解码以用于以2D格式观看。根据实施例，使用第一压缩格式HfMnMPEGD来压缩第一独立压缩视频切片2Ma，并且使用与第一压缩格式不同的第二压缩格式(例如MPEG-4)来压缩第二独立压缩视频切片224b。当使用不同的编码标准(例如MPEG-2和MPEG-4)来压缩两个切片 222a-222b时，广播中心的约束允许相同的节目内具有不同stream_type值的两个视频分量(也就是，可使用现有的用于MPEG-2视频(0x02)和MPEG-4 (OxlB)的stream_type值)。根据另一个实施例，第一和第二独立压缩视频切片22 和224b以共同的压缩格式被压缩。第二独立压缩视频切片224b可处于比第一独立压缩视频切片22 更低的分辨率。第二独立压缩视频切片224b被分配了用于传输流131的节目图表中与第一独立压缩视频切片22 不同的新的流类型。节目图表被用于描述包括与该节目相关联的基本流的每一个单个节目。流类型可在节目图表中被指定。用于第二视图的新的流类型可由传输流来分配，例如MPEG-2。
如图2中进一步示出的，描述符处理模块208被配置成从第一编码模块204和第二编码模块206接收第一独立压缩视频切片22 和第二独立压缩视频切片224b。描述符处理模块208还被配置成创建关联的描述符2 并且将其添加到第一和第二独立压缩视频切片22 和224b。描述符2 可包括例如关于以下的信息第一和第二独立压缩视频切片22 和224b中的每一个相关于哪个视图、实现了什么编码标准来编码第一和第二独立压缩视频切片22 和224b中的每一个、在视图分辨率不同的情况下的上采样规则、用于组合视图的信息(例如，字段交织或帧交织等)。描述符处理模块208可从操纵模块202、第一编码模块204和第二编码模块206中的一个或多个接收描述第一和第二独立压缩视频切片22 和224b的信息，并且可在生成描述符226中使用该信息。描述符2 被配置成允许接收包含压缩视频切片22 和224b的传输流131的解码器解码(包括视频分辨率的任何调整)并且根据所解码的第一和第二切片22 和222b来呈现2D或3D视频。复用模块210被配置成分别从第一编码模块204和第二编码模块206接收第一和第二独立压缩视频切片22 和224b。其后，复用模块210被配置成连同相关联的描述符 226复用第一和第二独立压缩视频切片22 和224b以形成至少一个传输流131。例如，第一和第二独立压缩视频切片22 和224b可包括在单个传输流中。替代地，独立压缩的视频切片22 和224b可在分离的传输流中被发送。独立压缩的视频切片22 和224b以及描述符2 可包括在至少一个传输流131中的共同节目中。共同节目例如可对应于单个广播信道。另外，或者替代地，至少一个传输流131可包括网际协议(IP)分组或可遵循被配置成支持传输流131传输的任何分组化方案。例如，传输流131可包括MPEG流、IP分组或用于从源向端用户传输3D视频的任何适当介质。图3图示了根据实施例的3D视频编码器260的替代实现。如图3中所示，3D视频编码器260包括视图合并器沈4、帧切片器沈6、编码器268和流分离器270。应当理解，图 3中描绘的3D视频编码器260可包括另外的构件，并且这里描述的一些构件可被移除和/ 或修改，而不会偏离3D视频编码器沈0的范围。如图3中所示，视图合并器沈4接收与左视图沈加相关联的比特和与右视图
相关联的比特。视图合并器264被配置成合并左视图沈加和右视图以形成单个帧， 例如以上部和下部格式。另外，视图合并器264被配置成将用于3D构成的描述符与单个帧关联。用于3D构成的描述符被配置成允许解码器从编码器260接收至少一个传输流以解码(包括视频分辨率的任何调整)并且根据所解码的第一和第二视图沈加和沈213的比特来呈现2D或3D视频。帧切片器266被配置成将单个帧切成多个视频切片用于例如作为同一传输流的一部分进行传输。具有解块滤波器控制的编码器268被配置成编码视频的切片以形成单个视频帧和比特流或者替代地形成两个分离的比特流。根据实施例，单个视频帧和比特流可被发送到端用户，例如图1中的订户150a-150n。替代地，单个流视频帧可由流分离器270分离以形成第一和第二独立压缩视频切片2Ma-224b并且作为分离的视频切片在多个传输流中被传送，例如，参考上面的图2所示出和论述的。图4图示了根据实施例的被配置成接收和显示3D内容的系统300的简化框图。系统300被描绘为包括STB 120c，包括3D解码器130和来自图1的3D就绪TV 122。如上所述，STB 120c的功能可由各种其它设备执行，诸如集成到电视、计算机、蜂窝电话、PDA等中的一个或多个内的设备和/或软件。应当理解，图4中描绘的系统300可包括另外的构件， 并且这里描述的一些构件可被移除和/或修改，而不会偏离系统300的范围。如图4中所示，STB 120c包括输入/输出模块302、解复用模块304和3D视频解码器130，3D视频解码器130包括3D解码模块306和3D组合模块308。模块302-308可包括软件、硬件、或软件和硬件的组合。因此，在一个实施例中，模块302-308中的一个或多个包括电路构件。在另一个实施例中，模块302-308中的一个或多个包括可由处理器执行的在计算机可读介质上存储的软件代码。输入/输出模块302被配置成从头端110接收传输流131。输入/输出模块302 可包括通用串行总线(USB)、以太网接口、或另一类型的接口，并且传输流131可以是QAM调制的流。其后，解复用模块304可选择频率并且解调频率以获得多节目传输流(MPTS)。解复用模块304被配置成解复用MPTS以提取与订户可选择的多个节目中的每一个相对应的单节目传输流(SPTS)。例如，订户150η可使用STB 120c来选择具有3D内容的节目。然后，解复用模块304解复用MPTS以形成第一和第二独立压缩视频切片22 和224b。第一和第二独立压缩视频切片22 和224b中的每一个具有不同的编解码器。3D解码模块306被配置成解码第一和第二独立压缩视频切片22 和224b以形成第一视图和第二视图。在解码第一和第二独立压缩视频切片22 和224b中，3D解码模块 306被配置成访问传输流131中的描述符2 并且在解码压缩视频切片22 和224b中使用其中包含的指令。3D呈现模块308被配置成访问传输流131中的描述符2 并且使用其中包含的指令来呈现3D视频310。更具体地，3D呈现模块308被配置成处理解码后的第一和第二独立压缩视频切片22 和224b以形成适合于在3D就绪TV 122上显示为立体视图或多个视图的3D视频310。描述符2 可包括补充增强信息(SEI)以形成3D视频310。另外，输入/ 输出模块302被配置成其后将3D视频310例如输出到3D就绪TV。根据实施例，第一和第二独立压缩视频切片22 和224b在单传输流中的单个帧中被接收。替代地，用于第一和第二独立压缩视频切片22 和224b的比特可在分离的传输流中被接收。根据另一个实施例，在至少一个传输流131是符合MPEG-2的流的情况下，来自描述符2 的一些呈现和组合信息可包括在压缩视频流(诸如图片用户数据)中。这提供了关于使用单个流的信息、组合和呈现了相同视频序列中的两个字段或两个帧以及另外的显示相关的元素。根据另一个实施例，3D呈现模块被配置成将与第一和第二视图相对应的帧(半个垂直分辨率的每一个)缝合为具有包括一个眼睛视图的上半部和包括另一个眼睛视图的下半部的单个视频帧。3D呈现模块308进一步被配置成以上部和下部面板格式来创建视频帧并且将该视频帧发送到3D就绪TV 122，3D就绪TV 122被配置成以上部和下部面板格式来呈现3D视频。3D视频解码器130或STB 120c还可被配置成以上部和下部面板格式在 3D视频的两个半部中插入标题文本和在屏显示(OSD)信息。根据另一个实施例，为了呈现3D视频310，3D呈现模块308被配置成将与两个眼睛视图相对应的帧垂直地内插为全分辨率并且将垂直内插的帧输出到3D就绪TV 122用于3D显示。另外，STB 120c也可被配置成在两个垂直内插的帧中插入标题文本和OSD信息。根据STB 120η包括2D解码器121的进一步的实施例，2D解码器121能够根据包含第一和第二压缩视频切片22 和224b的同一传输流131呈现2D视频。在这方面，2D解码器121被配置成解码第一和第二压缩视频切片22 和224b中的一个并且呈现所解码后的流以用于在2D或3D显示器上显示。2D解码器121能够根据第一和第二压缩视频切片 22 和224b中的一个来呈现全分辨率的2D视频流，因为第一和第二压缩视频切片22 和 224b中的每一个被彼此独立地压缩。另外，2D解码器121可将第一视图和第二视图中的一个垂直地内插为全分辨率以用于在2D或3D显示器上显示。此外，2D解码器121可丢弃未用于生成要被显示的视频的视图。因此，传输流131可被用于在具有带有常规2D解码器的 STB和带有3D解码器的STB的混合的网络架构中提供向后兼容性。另外，其中安装有例如常规机顶盒的常规2D解码器的STB 120η可被配置成在内插之后插入标题文本和OSD信肩、ο根据示例，2D解码器121可基于用来编码视频切片22 和224b的压缩类型来选择第一和第二压缩视频切片22 和224b中的一个。作为示例，其中2D解码器121被配置成解码MPEG-2编码流并且已使用MPEG-4标准压缩了第一压缩视频切片22 并且已使用了 MPEG-2标准压缩了第二压缩视频切片2Mb，2D解码器121可被配置成解码第二压缩视频切片224b。现在相关于以下图5和图6中描绘的方法400和500的流程图来分别描述可使用3D视频编码器200和STB 120c用于编码视频流的方法和可解码视频流以呈现视频以用于显示的方法的示例。对于本领域普通技术人员应当显而易见的是，方法400和500表示普遍的说明并且可添加其它步骤或可移除、修改或重新安排现有步骤，而不会偏离方法400 和500的范围。另外，作为示例而不是限制，相关于图2、图3和图4中描绘的构件来描述方法 400 和 500。方法400和500中阐述的一些或全部操作可被包含作为任何期望的计算机可读介质中存储并且由计算机系统上的处理器执行的一个或多个计算机程序。可被用于存储可操作为实现本发明的软件的示例性计算机可读介质包括但不限于常规的计算机系统RAM、 ROM、EPROM、EEPR0M、硬盘或其它数据存储设备。首先参考图5，示出了根据实施例的编码视频内容220以形成传输流131的方法 400。方法400可由如上相关于图2所述的3D视频编码器200执行。在步骤402，例如通过操纵模块202来访问视频内容220。如上所述，视频内容220 可包括第一视图和第二视图。第一视图和第二视图可被操作为呈现3D视频。在步骤404，操纵模块202操纵第一和第二视图以占据视频800的分离切片。例如，第一和第二视图可被操纵成占据视频的第一切片22 和视频的第二切片222b，如图8 中所示。在步骤406，视频800的分离切片分别由第一编码模块204和第二编码模块206 编码以形成第一独立压缩视频切片22 和第二独立压缩视频切片224b。第一和第二独立压缩视频切片22 和224b可以共同的压缩格式被压缩，或者替代地，以不同压缩格式被压缩，如以上相关于图2所述。在步骤408，描述符处理模块208生成描述符226，描述符2 包含用于在解码和组合第一和第二独立压缩视频切片22 和224b以形成2D和3D视频中的一个或两者中使用的信息。在步骤410，复用模块210复用第一和第二独立压缩视频切片22 和224b以形成至少一个传输流131。接收所述至少一个传输流131的解码器可被配置成解码在所述至少一个传输流131中包含的压缩视频切片22 和224b以呈现2D或3D视频。复用模块210 也可在所述至少一个传输流131中包括描述符226。在步骤412，传输流131通过网络被输出到一个或多个订户150a-150n，例如如图 1中所示。现在转到图6，示出了根据实施例的将至少一个传输流131呈现为2D或3D可显示视频的方法500。方法500可由如上相关于图4所述的STB120C和/或STB 120η执行。在步骤502，例如通过STB 120c/120n的输入/输出模块302来接收至少一个传输流131。如上所述，所述至少一个传输流131包括第一和第二独立压缩视频切片22 和 224b以及描述符226。在步骤504，解码第一和第二独立压缩视频切片22 和224b中的至少一个。在解码器包括3D解码器130的第一示例中，3D解码器130解码第一和第二独立压缩视频切片22 和224b以用于呈现为3D显示格式。在解码器包括2D解码器121的第二示例中， 2D解码器121成为第一和第二独立压缩视频切片22 和224b中的一个以用于呈现为2D 显不格式。在步骤506，例如通过3D呈现模块308来呈现所述至少一个解码的视频切片以用于显示为2D和3D视频之一。另外，在步骤508，所呈现的2D或3D视频被输出到2D和3D 显示器122和123中的一个。现在转到图7，示出了根据本发明的实施例配置的计算设备600的示意性表示。计算设备600包括一个或多个处理器602，诸如中央处理单元；一个或多个显示设备604，诸如监视器；一个或多个网络接口 608，诸如局域网LAN、无线802. Ilx LAN、3G移动WAN或WiMax WAN ；和一个或多个计算机可读介质610。这些构件中的每一个操作地耦合到一条或多条总线 612。例如，总线 612 可以是 EISA、PCI、USB、FireWire、NuBus 或 PDS。计算机可读介质610可以是参与向处理器602提供指令以用于执行的任何适当介质。例如，计算机可读介质610可以是非易失性介质，诸如光盘或磁盘；易失性介质，诸如存储器；和传输介质，诸如同轴电缆、铜线和光纤。传输介质也可采用声音、光或射频波。计算机可读介质610也可存储其它软件应用，包括字处理器、浏览器、电子邮件、即时通信、媒体播放器和电话软件。计算机可读介质610也可存储操作系统614，诸如Mac OS、MS Windows、Unix或 Linux ；网络应用616 ；和视频编码/解码应用618。操作系统614可以是多用户、多处理、 多任务、多线程、实时的等。操作系统614也可执行基本任务，诸如识别来自诸如键盘或键区的输入设备的输入；向显示器604发送输出；跟踪介质610上的文件和目录；控制外围设备，诸如磁盘驱动器、打印机、图像捕获设备；和管理一条或多条总线612上的业务。网络应用616包括用于建立和维护网络连接的各种构件，诸如用于实现包括TCP/IP、HTTP、以太网、USB和FireWire的通信协议的软件。视频编码/解码应用618提供各种软件构件以用于编码3D视频内容以便在传输流中传输和解码所编码的视频内容以便显示为2D或3D视频中的至少一种，如上所述。在某些实施例中，由应用618执行的一些和全部处理可集成到操作系统614内。在某些实施例中，处理可至少部分地在数字电路中、或者在计算机硬件、固件、软件或其任何组合中实现， 也如上面所述。本发明的实施例提供了一种用于编码要由解码器呈现为2D和3D视频之一的视频内容的方法和装置。视频内容包括与用于左眼和右眼的显示相对应的第一和第二视图。当视频内容要显示为3D视频时，呈现第一视图和第二视图。然而，当视频内容要显示为2D视频时，诸如当机顶盒配备有2D解码器时，仅仅呈现第一视图和第二视图之一。照此，包含第一视图和第二视图两者的单个传输流可被传送到具有2D和3D解码器之一的机顶盒。这里已经描述和图示的是本发明的实施例连同它们的一些变化。这里使用的术语、描述和图形仅作为例示被阐述并且不旨在作为限制。本领域技术人员将认识到，在本发明的精神和范围内许多变化是可能的，其中本发明旨在由以下权利要求(及其等同物)来限定，其中所有术语意思是它们最宽泛的合理含意，除非另外地表示。
权利要求
1.一种编码视频内容的方法，所述方法包括操纵三维(3D)视频内容的第一视图和第二视图的比特以占据视频的第一切片和视频的第二切片，其中边界被配置成在所述第一切片和所述第二切片之间形成；以彼此分离的方式对所述第一切片和所述第二切片中的每一个的比特进行编码，以形成第一独立压缩视频切片和第二独立压缩视频切片；以及复用所述第一和第二独立压缩视频切片以形成至少一个传输流，其中所述至少一个传输流能够操作以被处理以呈现二维OD)和3D视频中的至少一种。
2.根据权利要求1所述的方法，其中，复用所述第一和第二独立压缩视频切片以形成所述至少一个传输流进一步包括复用所述第一和第二独立压缩视频切片以形成单个视频帧，其中所述至少一个传输流包括所述单个视频帧。
3.根据权利要求1所述的方法，其中，复用所述第一和第二独立压缩视频切片以形成所述至少一个传输流进一步包括复用所述第一和第二独立压缩视频切片以形成分离的视频切片，其中所述至少一个传输流包括所述分离的视频切片。
4.根据权利要求1所述的方法，其中，以彼此分离的方式对所述第一切片和所述第二切片中的每一个进行编码进一步包括以共同的压缩格式编码所述第一切片和所述第二切片的比特并且向所述第一独立压缩视频切片和所述第二独立压缩视频切片分配不同的流类型。
5.根据权利要求1所述的方法，其中，以彼此分离的方式对所述第一切片和所述第二切片中的每一个进行编码进一步包括以相互不同的第一和第二压缩格式分别对所述第一切片和所述第二切片的比特进行编码。
6.根据权利要求1所述的方法，其中，所述第一和第二独立压缩视频切片中的至少一个在能够操作以被处理以显示2D视频的全分辨率的2D兼容流中被编码。
7.根据权利要求1所述的方法，进一步包括生成描述符，其中所述描述符包含用于呈现所述第一和第二独立压缩视频切片的至少一个以呈现所述2D和3D视频中的至少一种的信息；并且其中复用所述第一独立压缩视频切片和所述第二独立压缩视频切片进一步包括在所述至少一个传输流中包括所述描述符。
8.一种将至少一个传输流呈现为可显示视频的方法，所述方法包括接收所述至少一个传输流，所述传输流包括与三维(3D)视频的第一视图相对应的第一独立压缩视频切片和与所述3D视频的第二视图相对应的第二独立压缩视频切片，其中所述第一视图和第二视图被配置成占据视频的分离切片，并且其中边界被配置成在所述第一切片和第二切片之间形成；解码所述第一和第二独立压缩视频切片中的至少一个的比特；以及使用解码后的第一和第二独立压缩视频切片中的所述至少一个来呈现二维OD)和3D 视频中的一种。
9.根据权利要求8所述的方法，其中，所述第一和第二独立压缩视频切片作为单个视频帧和分离视频切片中的一种被接收。
10.根据权利要求8所述的方法，其中，接收所述至少一个传输流进一步包括接收在所述至少一个传输流中的描述符；以及其中解码和呈现中的至少一个进一步包括使用所述描述符进行解码和呈现中的至少一个。
11.根据权利要求8所述的方法，其中，所述第一和第二独立压缩视频切片中的比特已分别利用彼此不同的第一和第二压缩格式进行了编码，所述方法进一步包括确定所述第一和第二独立压缩视频切片的压缩格式；选择使用与解码器兼容的压缩格式已经压缩的所述第一和第二独立压缩视频切片中的一个；并且其中解码进一步包括解码已使用兼容的压缩格式压缩的所述第一和第二独立压缩视频切片中的一个的比特以呈现2D视频。
12.根据权利要求8所述的方法，其中，呈现所述2D视频和所述3D视频中的一种进一步包括将与所述第一切片和第二切片相对应的帧组合为单个视频帧，其中所述单个视频帧包括由所述第一视图的比特构成的上半部和由所述第二视图的比特构成的下半部。
13.一种用于编码视频内容的视频编码器，所述视频编码器包括一个或多个模块，所述一个或多个模块被配置成用于操纵三维(3D)视频内容的第一视图和第二视图的比特以占据视频的第一切片和视频的第二切片，其中边界被配置成在所述第一切片和第二切片之间形成；用于以相互分离的方式对所述第一切片和第二切片中每一个的比特进行编码以形成第一独立压缩视频切片和第二独立压缩视频切片；以及用于复用所述第一独立压缩视频切片和所述第二独立压缩视频切片以形成至少一个传输流，其中所述至少一个传输流能够操作以被处理以呈现所述二维OD)视频和所述3D视频中的至少一种；以及处理器，所述处理器被配置成实现所述一个或多个模块。
14.根据权利要求13所述的视频编码器，其中，所述一个或多个模块进一步被配置成复用所述第一和第二独立压缩视频切片的比特以形成单个视频帧和分离视频切片中的一种。
15.根据权利要求13所述的视频编码器，其中，所述一个或多个模块进一步被配置成用于在共同的压缩格式下编码所述第一切片和所述第二切片的比特并且用于向所述第一和第二独立压缩视频切片分配不同的流类型。
16.根据权利要求15所述的视频编码器，其中，所述一个或多个模块进一步被配置成编码要由2D解码器处理的所述第一切片和所述第二切片的比特以形成全分辨率的2D兼容流。
17.根据权利要求13所述的视频编码器，其中，所述一个或多个模块进一步被配置成 用于生成与所述第一和第二独立压缩视频切片相关联的描述符，其中所述描述符包含用于呈现所述第一和第二独立压缩视频切片中的至少一个的比特以呈现所述2D视频和所述3D 视频中的至少一种的信息；用于将所述描述符包括在所述至少一个传输流中。
18.—种视频解码器，包括一个或多个模块，所述一个或多个模块被配置成接收至少一个传输流，所述至少一个传输流包括与三维(3D)视频的第一视图相对应的第一独立压缩视频切片和与所述3D视频的第二视图相对应的第二独立压缩视频切片，其中所述第一和第二视图被配置成占据视频的分离切片，并且其中边界被配置成在所述第一切片和第二切片之间形成；所述一个或多个模块进一步被配置成用于解码所述第一和第二独立压缩视频切片中的至少一个的比特；以及用于使用所述第一和第二独立压缩视频切片中的至少一个来呈现二维QD)和3D视频中的一种；以及处理器，所述处理器被配置成实现所述一个或多个模块。
19.根据权利要求18所述的视频解码器，其中，所述一个或多个模块进一步被配置成 用于确定所述第一和第二独立压缩视频切片的压缩格式；用于选择已经使用与解码模块兼容的压缩格式压缩的所述第一和第二独立压缩视频切片中的一个；以及用于解码已经使用兼容的压缩格式压缩的所述第一和第二独立压缩视频切片中的一个的比特以呈现2D视频。
20.一种存储至少一个计算机程序的计算机可读存储介质，所述至少一个计算机程序当被执行时实现编码视频内容的方法，所述方法包括操纵三维(3D)视频内容的第一视图和第二视图的比特以占据视频的第一切片和视频的第二切片，其中边界被配置成在所述第一切片和所述第二切片之间形成；以彼此分离的方式对所述第一切片和所述第二切片中的每一个的比特进行编码，以形成第一独立压缩视频切片和第二独立压缩视频切片；以及复用所述第一和第二独立压缩视频切片以形成至少一个传输流，其中所述至少一个传输流能够操作以被处理以呈现所述2D视频和所述3D视频中的至少一种。
21.一种存储至少一个计算机程序的计算机可读存储介质，所述至少一个计算机程序当被执行时实现将至少一个传输流呈现为可显示视频的方法，所述方法包括接收所述至少一个传输流，所述至少一个传输流包括与三维(3D)视频的第一视图相对应的第一独立压缩视频切片和与所述3D视频的第二视图相对应的第二独立压缩视频切片，其中所述第一和第二视图被配置成占据视频的分离切片，并且其中边界被配置成在所述第一视图和第二视图之间形成；解码所述第一和第二独立压缩视频切片中的至少一个的比特；以及使用所解码后的第一和第二独立压缩视频切片中的所述至少一个来呈现二维OD)和 3D视频中的一种。
全文摘要
在编码视频内容的方法中，三维(3D)视频内容的第一视图和第二视图的比特被操纵成占据视频的第一切片和视频的第二切片，其中边界被配置成在第一切片和第二切片之间形成。另外，以彼此分离的方式对第一切片和第二切片中的每一个的比特进行编码，以形成第一独立压缩视频切片和第二独立压缩视频切片。然后，复用第一和第二独立压缩视频切片以形成至少一个传输流，所述至少一个传输流可操作以被处理以呈现二维(2D)和3D视频中的至少一种。
文档编号G06K9/36GK102473240SQ201080034583
公开日2012年5月23日 申请日期2010年8月3日 优先权日2009年8月3日
发明者阿杰伊·卢特拉 申请人:通用仪表公司