合并编码比特流的制作方法

专利名称：合并编码比特流的制作方法
技术领域：
所描述的实施涉及编码。各种特殊实施涉及合并多个编码流。
背景技术：
用户可具有被编码和存储在硬盘上的特定视频内容。而后,用户可获取相同视频内容的另ー编码版本。但是，新版本可具有改进的质量。用户因此处于可能存储相同内容的两种不同版本的情形之中。

发明内容
根据一般的方面，访问数据序列的第一 AVC编码。访问数据序列的第二 AVC编码。第二 AVC编码在质量上区别于第一 AVC编码。将第一 AVC编码和第二 AVC编码合并为使用AVC的SVC扩展的第三AVC编码。进行合并以便第一 AVC编码占有第三AVC编码的至少第ー层，且第二 AVC编码占有第三AVC编码的至少第二层。第一或第二层中的至少ー个是第一或第二层中另一个的參考层。一个或多个实施的细节在以下附图和描述中阐述。即使以ー种特殊方式描述，应当明白的是可以以各种方式配置或具体化实施。例如，实施可作为方法进行，或具体化为装置，诸如例如被配置以进行ー组操作的装置或存储用于进行ー组操作的指令的装置，或以信号具体化实施。从下列结合附图和权利要求考虑的详细描述中，其他方面和特征将变得显然。


图I是描绘转码系统的第一实施的示例的方框/流程图。图2是描绘转码系统的第二实施的示例的方框/流程图。图3是描绘转码系统的第三实施的示例的方框/流程图。图4是描绘转码系统的第四实施的示例的方框/流程图。图5是描绘转码系统的第五实施的示例的方框/流程图。图6是描绘可以结合一个或多个实施使用的编码系统的示例的方框/流程图。图7是描绘可以结合一个或多个实施使用的内容分配系统的示例的方框/流程图。图8是描绘可以结合一个或多个实施使用的解码系统的示例的方框/流程图。图9是是描绘可以结合一个或多个实施使用的视频传送系统的示例的方框/流程图。图10是描绘可以结合一个或多个实施使用的视频接收系统的示例的方框/流程图。 图11是描绘用于转码比特流的处理的示例的方框/流程图。
具体实施例方式在本申请中所描述的至少ー个实施将ー个用AVC编码和另ー个用AVC或SVC编码的两个编码视频比特流合并为新SVC比特流。在前的AVC比特流包含对于在后的AVC或SVC比特流的增强视频信息。生成新SVC比特流，以便其如果可能的话包含与在后的AVC或SVC比特流一致的子比特流，且将来自在前的AVC比特流的增强信息编码为新SVC比特流的(多个)增强层。实施描述用于本合并处理的转码示图。本特殊实施的好处包括避免以下ー个或多个的能力(i)解码AVC或SVC比特流，(ii)用于AVC或SVC比特流的运动补偿，(iii)解码在前的AVC比特流,或(iv)用于在前的AVC比特流的运动补偿。AVC更特别地參考现有的国际标准化组织/国际电子技术委员会(IS0/IEC)活动图像专家组_4 (MPEG-4)部分10高级视频编码(AVC)标准/国际电信联盟，电信部(ITU-T)H. 264建议(以下“H. 264/MPEG-4AVC标准”或变化(variation)，诸如“AVC标准”或简单为“AVC”)。SVC更特别地參照AVC标准的可伸缩视频编码(“SVC”)扩展(附录G)，參照H. 264/MPEG-4AVC，SVC 扩展(“SVC 标准，，或简单为 “SVC”)。參考图7并继续在背景技术中所讨论的示例，图7描绘适于在家中的实施的内容分配系统700。该分配系统700包括用于存储内容的媒体保管库710 (media vault)。该媒体保管库可以是例如硬盘。分配系统700包括用于显示来自媒体保管库710的内容的多个显示设备，其耦接到媒体保管库710。该显示设备包括个人数字助理(“PDA”)720，移动电话730和电视(“TV”)740。用户已经在媒体保管库710上存储由AVC或SVC编码的特定视频内容。而后，用户获取AVC所编码的相同视频内容的另一版本。这个版本具有改进的质量，例如，更高的分辨率，更高的位速率，和/或更高的帧速率。作为进ー步的示例，这个版本可具有提供更好质量的长宽比。用户可期待例如在TV 740上显示新AVC版本，同时也保留在移动电话730或PDA 720上显示较低质量版本(之前存储的AVC/SVC版本)的选项。实际上，从存储空间的立足点来看，用户通常偏好存储包括多种格式的SVC编码，因为这取决于设备的分辨率而允许将不同格式提供给用户的不同显示设备720-740。结果是，用户希望向现有AVC或SVC比特流增加新AVC比特流,且希望混合比特流被SVC编码的。借助SVC，用户可以享受诸如以下的好处，例如相同视频内容的不同版本的简单取回、较小的磁盘空间消耗和更简单的媒体库管理。用户希望处理是轻量级的，因为该处理要求有限数量的存储器/磁盘空间，并且是高效的因为它很快。为了协助完成该目的(that end),系统700还包括转码器750，该转码器在各种实施中是关于下列图2-图5所描述的转码器中的ー个。转码器750为了例如访问作为转码处理输入的所存储的编码并存储已转码的输出而耦接于媒体保管库710。假定新AVC比特流包含现有(AVC或SVC)视频比特流具有的全部视频内容信息。此外,新比特流也包含诸如以下的额外的质量改进信息,例如更高分辨率、更高帧速率、更高位速率或任何它们的组合。而且，两个比特流之间的每个对应访问单元(已编码图片)是彼此时间对准的(temporally aligned)。在此背景下，时间对准意味着越过不同瞬时分辨率的比特流和对应于相同视频场景的已编码图片应当具有相同的呈现时间。这个要求确保了更高瞬时分辨率的比特流包含较低瞬时分辨率的比特流所编码的全部场景。因此，现在可能利用在对应相同场景但是来自不同比特流的已编码图片之间的关联(correlation)。用于创建新比特流的第一实施包括完全解码新AVC比特流为像素域(例如，YUV)视频序列。实施随后应用完全SVC编码以生成所期待的SVC比特流，并且在完全SVC编码期间增强现有AVC/SVC比特流的相同的编码參数。用于创建新比特流的第二实施包括向新AVC比特流应用转码处理。即，应用AVC到SVC的转码处理。通过该处理，生成新SVC输出比特流。该新SVC输出比特流包含可能与现有AVC/SVC比特流一致的子比特流。注意，尽管AVC/SVC比特流已经存在，但是没有应用它产生该子比特流。參照图1，系统100示出了第二实施的示例。该系统100接收具有1080p格式的新AVC比特流100以及具有720p和480p格式的现有SVC比特流两者作为输入。这两种格式各自在不同的SVC空间层中。系统100产生具有全部三种1080p、720p和480p格式的新SVC比特流130。三种格式的每个都占据不同的空间层。通过向新SVC比特流130应用比特流提取处理，提取具有720p和480p格式的SVC子比特流150，且该SVC子比特流150在这个示例中与所输入的SVC比特流120相同。相比于完全解码AVC比特流的第一实施，因为系统100进行转码，所以图I的系统100节省了解码和编码消耗。现在讨论第三实施。尽管第一和第二实施两者都是有效的，第三实施通常更高效。效率增加是因为第三实施通常是较低计算密集的(intensive)且因此相比于第一和第二实施是较少费时的。另外，效率增加是因为第三实施通常要求较少的存储器/磁盘空间以存储例如临时编码結果。參考图2和图3，示出了第三实施的两种示例。图2提供了其中现有比特流是SVC比特流的示例。图3提供了其中现有比特流是AVC比特流的示例。參考图2，系统200接收新AVC比特流110和现有SVC比特流120两者作为输入。该系统200产生可与图I的SVC比特流130相同的新SVC比特流230作为输出。所输出的比特流230的子流与所输入的现有SVC比特流120 —致。所输出的比特流230的(多个)已编码增加层包含来自新AVC比特流110的额外视频内容信息。使用转码器240产生所输出的比特流230。尽管图I的转码器140仅接收単一的比特流作为输入，但是该转码器240接收两种所输入的比特流。參考图3，系统300接收新AVC比特流110和现有AVC比特流320两者作为输入。该系统300产生新SVC比特流330作为输出。所输出的比特流330的子流与所输入的现有AVC比特流320 —致。所输出的比特流330的(多个)已编码增加层包含来自新AVC比特流110的额外视频内容信息。使用转码器340产生所输出的比特流330。尽管图I的转码器140仅接收単一的比特流作为输入，但是该转码器340与转码器240 —祥，接收两种所输入的比特流。转码器240、340的ー个方面是转码器240、340可以重新使用来自新AVC比特流 110和现有AVC/SVC比特流120、320两者的编码信息。进行该重新使用以便得到新的所输出的SVC比特流230、330的(多个)増加层。如上所述，因为如图I所示，传统转码器经常只具有ー个编码比特流作为其主输入，所以转码器240、340通常不同于传统转码器。转码 器240、340的实施可重新使用以各种方式包含在所输入的比特流中的信息。这些各种方式涉及例如实施的复杂性和性能之间的权衡。參考图4，示出用于重新使用来自所输入比特流的信息的第一实施。包括但不局限于图4，图中虚线所划模块是可选操作。图4包括接收新AVC比特流110和现有AVC/SVC比特流420两者作为输入的系统400。比特流420可以是AVC比特流或SVC比特流，且可以是例如现有SVC比特流120或现有AVC比特流320。系统400产生所输出的SVC比特流430作为输出。SVC比特流430可以是例如SVC比特流130、230或330中的任何ー个。系统400提供转码器240、340中任一个的实施。系统400包括完全解码所输入的新AVC比特流110为YUV视频序列的AVC解码器445。输出指的是图I中的已解码的YUV视频448。系统400也包括非可选的AVC/SVC重编码器450。该重编码器450对所输入的现有AVC/SVC比特流420操作，且重编码不符合作为參考层的(多个)编码要求的现有比特流中的任何图片/片(slice)/宏块(“MB”)。这个的示例可以是必须将最高增强层里的内编码(intra coded) MB编码为如參考层所要求的“受限内部(constrained intra)”模式，以便于满足单循环解码要求。因为相比于非參考层，參考层的编码參数或要求是不同的，所以可要求重编码450。另外，来自AVC/SVC比特流420的层可以不是比特流420的參考层，但是该层可以在合并的所输出的SVC比特流430中作为參考层使用。因此，将由重编码器450重编码该层。因为例如所输入的AVC/SVC比特流420的层可以已经在AVC/SVC比特流420中作为參考层使用了，所以重编码器450是可选的。决定从AVC/SVC比特流420中重编码多少以及哪个层或图片一般是实施问题。人们可以选择“重编码”AVC/SVC比特流420中更多的层或图片以便新比特流具有更多的參考候选以从中选择，反之亦然。注意，在至少ー个实施中，该“重编码”是ー种转码，其改变AVC/SVC比特流420中的内编码宏块(如果有的话)为受限内编码宏块。重编码器450的输出指的是參考层比特流452。将会理解，如果例如现有AVC/SVC比特流420不需要重编码，则參考层比特流452可以与现有AVC/SVC比特流420相同。系统400包括接收參考层比特流452的AVC/SVC语法剖析器455。AVC/SVC语法剖析器455从參考层比特流452中提取有关内编码MB、运动和残余信号的相关信息。作为对标准SVC增强层编码器的输入，来自參考层的相关信息是众所周知的。系统400包括增强层编码器460。该增强层编码器460接收从AVC/SVC语法剖析器455提取的信息。增强层编码器460也接收完全解码的YUV视频序列448。增强层编码器460是与平常SVC编码器中的典型增强层编码器相同的。具体地，增强层编码器460包括预测模块462，该预测模块462包括在层间使用关联(correlation)的层间预测器463和在层内使用关联(correlation)的层内预测器464。进ー步，增强层编码器460包括变换/缩放/量化模块466，其从预测模块462接收输出并处理源自预测(层间和层内两者)的预测残余。该变换/缩放/量化模块466通过应用变换以聚集(concentrate)残余图片能量到少量系数来处理预测残余，然后进行缩放和量化以产生所期待的位速率。另外，增强层编码器460包括从变换/缩放/量化模块466接收输出的熵编码器468，并移除已编码运动信息和量化残余信号内的顺序统计冗余。熵编码器468产生增强层比特流469，其是增强层编码器460的输出系统400还包括接收增强层比特流469和參考层比特流452的层组合器475。该层组合器475将已编码增强层比特流469与參考层比特流452合井。层组合器475输出所期待的新SVC比特流430。如上所说明的且如图4所示，系统400使用SVC增强层编码器而对SVC增强层编码器无任何改动。这极大地降低了实施的复杂性。系统400是有效及高效的。但是，该系统400不进行新的所输入的AVC比特流110的完全解码和增强层的编码。如此，系统400不利用来自新的输入的AVC比特流110的编码信息。參考图5，示出用于重新使用来自输入比特流的信息的第二实施。图5包括与系统400 ー样的系统500，该系统500接收新AVC比特流110和现有AVC/SVC比特流420两者作为输入。系统500产生所输出的SVC比特流430作为输出。系统500提供转码器240、340中的任一个的实施。正如下面将说明的，与系统400相反，系统500利用来自新的所输入的AVC比特流110的编码信息。另外，正如将在图5中所见，系统500在压缩域操作中操作，其相比于在空间域中操作降低了复杂性。系统500的下部(如图5所示)通常对应于对现有AVC/SVC比特流430的操作且与系统400是相同的。S卩，系统500向重编码器450提供AVC/SVC比特流420。重编码器450产生參考层比特流452，井向AVC/SVC语法剖析器455和层组合器475两者提供该參考层比特流452。但是，系统500的上半部分(如图5所示)不同于系统400。上半部分通常对应于对新AVC比特流110的操作。在上半部分，系统500包括接收所输入的新AVC比特流110的AVC语法剖析器545。该AVC语法剖析器545为每个MB提取压缩域内的编码信息。编码信息包括例如指示编码模式、运动(例如，运动矢量)和残余信号(例如，编码残余信号的DCT系数)的信息。所提取的编码信息允许系统500计算原编码模式的编码消耗(如下面更完全说明的)。如果这样的层间预测模式具有比原编码模式更好的编码消耗，则所提取的编码信息也允许系统500利用层间预测模式重编码MB (如下面更完全说明的)。系统500包括接收来自AVC语法剖析器545的所提取编码信息的模式决定模块560。该模式决定模块560也从AVC/SVC语法剖析器455接收从參考层中共址(co-located)MB提取的对应信息。该參考层来自现有AVC/SVC比特流420。模式决定模块560为新AVC比特流110内的每个MB评估编码模式。该模式决定模块560计算并比较与AVC比特流110中的MB的原编码模式相关的编码消耗、以及如果将在从SVC可被使用的一个或多个层间预测模式中编码MB则将要导致的编码消耗。系统500包括可选的层间预测模式重编码器570。如果模式决定模块560确定SVC层间预测模式的ー个具有最低的编码消耗，则利用所选择的层间预测模式重编码从AVC比特流110评估的特定MB。该层间预测模式重编码器570进行该重编码。对于给定MB，如果模式决定模块560确定来自AVC比特流110的原编码模式具有最低的编码消耗，则不需要该MB的重编码。因此，层间预测模式重编码器570被绕过或作为穿过(pass through)对待。在此情况下,给定MB保留来自新AVC比特流110的编码且不依赖于(即，不作为參考使用)现有AVC/SVC比特流420。
系统500包括可选的残余重编码器580。残余重编码器580确定是否有与特定MB相关的编码残余信号。如果有编码残余信号，则残余重编码器580通过使用SVC层间残余预测机制试图进一歩降低冗余。这是ー个对于本技术领域内普通人员众所周知的标准SVC编码步骤。残余重编码器580接收并对下列之一操作(i)来自层间预测模式重编码器570的重编码输出，或(ii)如果已经绕过层间预测模式重编码器570，则来自AVC比特流110的原编码。残余重编码器580的输出是增强层比特流585，其可以与增强层比特流层比特流469相同。注意，如果没有编码残余信号，则残余重编码器580可以被绕过或作为穿过对待。层组合器475组合(也称为合并)增强层比特流585和參考层比特流452。从层组合器475输出组合的比特流作为输出SVC比特流430。相比于系统400，系统500利用来自新AVC比特流110的编码信息以协助增强层编码，从而通常降低整体复杂性和存储器/磁盘空间要求。系统400称为像素域转码器，而系统500称为语法域转码器。如上所讨论，模式决定模块560为各种模式进行消耗计算。现在讨论了ー种实施，
尽管很清晰的是，其他实施以及这个已讨论实施的其他细节很好地处于本领域普通技术范围之内。可以通过检查为考虑中的MB编码残余所要求的位，确定来自AVC比特流110的现有编码模式的编码消耗。在另ー实施中，在计算消耗中考虑全部的位，包括指示编码模式、提供运动矢量和指示參考图片等所要求的位。但是，对于残余所要求的位将经常确定编码消耗是否是最低的或不在可用模式之中。实施可以以允许比较各种不同编码模式的任何方式确定编码消耗。对于在压缩域操作的实施，比较各种编码模式的编码消耗而不计算那些模式的精确的编码消耗经常是充分的而且是可能的。模式决定模块560也计算其他SVC模式的编码消耗。在一个实施中，进行下列分析以计算编码消耗。考虑三种不同类型的增强层编码(来自现有AVC比特流110的编码使用现有AVC/SVC比特流420作为參考)中间编码、内编码和残余重编码。本实施不需要是最优的，因为没有特意评估全部可能的编码模式。但是，其他实施确实评估全部可能的编码模式，并且因此是最优的。如果增强层原编码模式是中间编码模式且如果基础层编码模式是中间编码模式，则考虑编码增强层MB的中间编码。对于这种情况，增强层借用包括运动矢量、參考帧索引和分区大小的运动信息，且不进行基础层的完全重建。这对降低的计算复杂性上提供了优势。使用所借用的运动矢量寻找增强层的预测器。结果是，不进行參考帧中的捜索来寻找恰当的运动矢量。因为运动补偿(运动矢量的捜索)经常是计算密集的操作，所以这在降低的计算复杂性上又提供了另外优势。使用由基础层运动信息所提供的预测器，并计算残余。这种情况牵涉解码增强层以便能够基于基础层预测器计算残余。在计算残余之后，可以评估中间编码模式的编码消耗。如果增强层原编码模式是内编码模式且如果基础层编码模式是内编码模式，则为编码增强层MB而考虑内编码。对于这种情况，解码(重建)共址基础层MB以便其可以用作用于增强层的预测器(參考)使用。从基础层借用分区大小。进ー步，也解码增强层MB。但是，不要求运动补偿。一旦计算了残余，相对于基础层预测器，可以确定内编码模式的编码消耗。对于全部产生残余的模式考虑残余重编码。特别地，使用来自共址基础层MB的残余作为增强层残余的预测器。检查用于基础层的DCT系数，重建基础层残余并将其上采样至增强层的分辨率，且使用所上采样的重建作为用于增强层残余的预测器。随后基于基础层残余预测器计算新残余。新残余通常给予编码增益，且因此降低编码消耗。当然，如果没有降低编码消耗，则可以跳过残余重编码并可以使用之前的编码結果。应当清晰的是，在残余重编码中，用可以是内编码模式或中间编码模式(或者，如同之前所讨论的，来自新AVC比特流110的原编码模式)的所选择的编码模式最先编码来自增强层的每个宏块。但是，如上所述，进行残余重编码的进ー步操作。如上所迷，“残余重编码”通常给予编码增益，并因此调低编码消耗。实际上，可向任何内编码模式或中间编码模式应用残余重编码。在一个实施中，模式决定模块560进行用于任何内编码模式或中间编码模式(以及用于新AVC比特流110的原编码模式)的两种消耗计算。第一消耗计算是没有额外残余重编码操作的。第二消耗计算是有额外残余重编码操作的。另外，残余重编码不要求运动补偿是没有价值的。残余重 编码要求解码基础层残余(并且，如果正在考虑来自新AVC比特流110的原编码模式，则是原增强层残余的解码)。但是，残余重编码不要求基础层(或者增强层)的完全重建。完全重建也通常要求确定基础层(或者增强层)的预测器井向基础层(或者增强层)预测器叠加已解码的残余。系统400对于借用来自共址基础层MB的运动信息的中间编码模式不要求运动补偿也是没有价值的。另外，如果使用中间编码模式来编码增强层MB，则系统400不要求解码基础层MB。參考图11，示出处理1200，其提供用于转码比特流的实施的示例。处理1200包括访问数据序列的第一 AVC编码(1210)和访问数据序列的第二 AVC编码(1220)。第二 AVC编码在质量上不同于第一 AVC编码。处理1200包括将第一 AVC编码和第二 AVC编码合并为使用AVC的SVC扩展的第三AVC编码(1230)。诸如以下进行该合并(i )第一 AVC编码占有第三AVC编码中的至少第一层，(ii)第二 AVC编码占有第三AVC编码中的至少第二层，和(iii)通过使用第一或第ニ层中的至少ー个作为第一或第二层中另外一个的參考层来利用第一和第二层之间的至少一些联系。例如由系统200、300、400、500或700中的任何ー个的转码器可以使用处理1200。进ー步，可以使用处理1200以例如合并以下比特流(i)在媒体保管库710中所存储的，(ii)如以下在图10中描述的由接收器输出的，和/或(iii)如以下在图6或图9中所述的由编码器编码的。另外，可以使用处理1200以例如提供合并的比特流以用于(i)媒体保管库710上的存储，(ii)如以下在图9中描述的由发送器的发送，和/或(iii)如以下在图8或图10中描述的由解码器的解码。因此，应当清晰的是，在各种实施中转码器或其他被恰当地配置的处理设备被包括在(i)图6的编码器600的输出处，(ii)图8的解码器110的输入处，(iii)在图9的发送器4304和编码器4302之间，和/或(iv)在图10的解码器4406和接收器4402之间。參考图6，编码器600描绘了解码器的实施，该解码器可被用来解码诸如例如视频图像或深度图像的图像。在一种实施中，编码器600编码组成新AVC比特流110的图像。也可以使用编码器600以编码数据，诸如例如提供关于已编码比特流的信息的元数据。可以将编码器600作为例如关于图9如下所描述的视频发送系统的一部分实现。所输入的图像序列到达叠加器601以及位移补偿(displacement compensation)块620和位移估算块618。注意,位移指例如运动或差异(disparity)。叠加器601的另ー个输入是经由开关623接收的各种可能的參考图片信息中的ー个。例如，如果与开关623信号通信的模式决定模块624參考目前正被编码的相同块或片，确定编码模式应当是内预测，则叠加器从内预测模块622接收该叠加器的输入。可替代地，如果模式决定模块624确定编码模式应当是參考不同于当前被编码的块或片的块或片的位移补偿和估算，则叠加器从位移补偿模块620接收该叠加器的输入。叠加器601向变换模块602提供信号,该变换模块602被配置以变换其输入信号井向量化模块604提供变换后的信号。该量化模块604被配置以对其所接收的信号进行量化并向熵编码器605输出已量化的信息。该熵编码器605被配置以对其输入信号进行熵编码以生成比特流。逆量化模块606被配置以从量化模块604接收已量化的信号并对已量化信号进行逆量化。依次，逆变换模块608被配置以从模块606接收逆量化的信号并对其所接收的信号进行逆变换。模块606和608重创建或重建从叠加器601所输出的信号。叠加器或组合器609叠加(组合)从逆变换模块608和开关623所接收的信号并向内预测模块622和环内(in loop)滤波器610输出由此产生的信号。进ー步，内预测模块622使用其所接收的信号进行如上所述的内预测。相似地，环内滤波器610对从叠加器609所接收的信号滤波，并向參考缓冲器612提供已滤波信号，该參考缓冲器612向位移估算模块618和位移补偿模块620提供图像信息。元数据可作为已编码元数据向编码器600叠加并与来自熵编码器605的输出比特流组合。可替代地，例如，可向用于熵编码的熵编码器605输入未编码元数据连同已量化的图像序列。參考图8，解码器1100描绘了解码器的实施，该解码器可用于解码图像并将这些图像提供给例如诸如TV 740的显示设备。解码器1100也可用于解码例如提供关于已解码比特流的信息的元数据。可将解码器1100作为例如以下关于图10所描述的视频接收系统的一部分实现。解码器1100可以被配置以使用比特流接收器1102接收比特流，该比特流接收器1102依次与和比特流剖析器1104进行信号通信，井向剖析器1104提供比特流。该比特流剖析器1104可以被配置以向熵解码器1106发送残余比特流，向模式选择模块1116发送控制语法要素(element)，井向位移补偿模块1126发送位移(运动/差异)矢量信息。逆量化模块1108可以被配置以对从熵解码器1106接收的熵解码信号进行逆量化。另外，逆变换模块1110可以被配置以对从逆量化模块1108接收的逆量化信号进行逆变换并向叠加器或组合器1112输出逆变换信号。叠加器1112可以根据所使用的解码模式接收各种其他信号中的ー种。例如，模式决定模块1116可以确定是否通过编码器剖析和分析控制语法要素对当前已处理的块进行位移补偿或内预测编码。根据所确定的模式，模式选择控制模块1116可以基于控制语法要素访问并控制开关1117，从而叠加器1112可以从位移补偿模块1126或内预测模块1118中接收信号。这里，内预测模块1118可以被配置以例如进行内预测以使用当前正被解码的相 同块或片的參考来解码块或片。依次，位移补偿模块1126可以被配置以例如进行位移补偿以使用块或片的參考来解码块或片，该块或片是当前正被处理的相同帧的或另ー个之前已经处理的、不同于当前被处理的块或片的帧的块或片。在接收预测或补偿信息信号以后，叠加器1112可以将预测或补偿信息信号与逆变换信号叠加，用于向诸如例如去块滤波器(deblocking filter)的环内滤波器1114发送。环内滤波器1114可以被配置以将其输入信号滤波并输出已解码图片。叠加器1112也可以向内预测模块1118输出所叠加的信号用于内预测的使用。进一歩，环内滤波器1114可以向參考缓冲器1120发送已滤波的信号。參考缓冲器1120可以被配置以剖析其所接收的信号以准许并帮助通过要素1126的位移补偿解码，參考缓存1120向该要素1126提供已剖析的信号。这样的已剖析的信号可以是例如全部或部分各种图像。元数据被包含在向比特流接收器1102提供的比特流中。该元数据可由比特流剖析器1104剖析，并由熵解码器1106解码。在使用输出(未显示)的熵解码之后，可从解码器1100中提取已解码的元数据。现在參考图9，示出视频发送系统/装置4300，可对其应用上述特征和原理。视频发送系统4300可以是例如用于发送使用诸如例如卫星、电缆、电话线或地面广播的各种媒体的任何ー种的收发中心(head-end)或发送系统。可以通过因特网或ー些其他网络提供发送。视频发送系统4300能够生成并传递例如视频内容和诸如例如包括例如深度和/或差异值的深度指示器的其他内容。视频发送系统4300包括编码器4302和能够发送已编码信号的发送器4304。编码器4302接收可包括例如图像和深度指示器的视频信息，并基于视频信息生成(多个)已编码信号。编码器4302可以是例如如上所详细描述的编码器之一。编码器4302可以包括子模块，其包括例如用于接收并装配各种信息片段为用于存储或发送的结构化格式的装配单元。各种片段的信息可以包括例如，已编码或未编码的视频，已编码或未编码的深度指示器和/或信息，和已编码或未编码的要素，诸如例如运动矢量、编码模式指示器和语法要素。发送器4304可以例如被适配以发送具有ー个或多个代表已编码图片和/或与之有关信息的比特流的节目信号。通常的发送器进行诸如以下功能的ー个或多个例如提供纠错编码、在信号中交织数据、随机化信号中的能量和使用调制器4306向一个或多个载波调制信号。发送器4304可以包括天线(未显示)或与天线连接。进ー步，发送器4304的实施可以包括或限于调制器。现在參考图10，示出向其应用上述特征和原理的视频接收系统/装置4400。视频接收系统4400可以被配置以从诸如例如卫星、电缆、电话线或地面广播的各种媒体中接收信号。可以通过因特网或ー些其他网络接收信号。视频接收系统4400可以是例如移动电话、计算机、机顶盒、电视或接收已编码视频并提供例如用于向用户显示或用于存储的已解码视频的其他设备。因此，视频接收系统4400可以将其输出提供给例如诸如TV 740的电视屏幕、计算机监视器、计算机(用于存储、处理或显示)、媒体保管库710或ー些其他存储、处理或显示设备。视频接收系统4400能够接收并处理包括视频信息的视频内容。视频接收系统4400包括能够接收诸如例如本申请实施中所描述的信号的已编码信号的接收器4402，和能够解码所接收信号的解码器4406。接收器4402可以例如被适配以接收具有代表已编码图片的多个比特流的节目信号。通常的接收器进行诸如以下功能中的ー个或多个例如接收已调制的和已编码的数据信号、使用解调器4404解调来自一个或多个载波的数据信号、去随机化信号中的能量、去交织信号中的数据和解码信号的纠错。接收器4402可以包括天线(未显示)或与天线连接。接收器4402的实施可包括或限于解调器。解码器4406输出包括例如视频信息的视频信号。该解码器4406可以是例如上面所详细描述的解码器1100。各种实施提及“图像”、“视频”或“帧”。更一般地，向“图片”应用这样的实施，该“图片”可包括例如各种视频成分(component)的任何一种或它们的组合。这样的成分或它们的组合包括例如亮度、色度、(YUV或YCbCr或YPbPr的)Y、(YUV的)U、(YUV的)V、(YCbCr的)Cb、(YCbCr 的)Cr、(YPbPr 的)Pb、(YPbPr 的)Pr、(RGB 的)红、(RGB 的)绿、(RGB 的)蓝、
S-视频和任何这些成分的负值或正值。“图片”也可以指例如巾贞、场或图像。术语“图片”也可以或可替代地指各种不同类型的内容，包括例如，通常的ニ维视频，2D视频图片的视差图或对应于2D视频图片的深度图。參考本原理的“一个实施例”或“实施例”或“ー个实施”或“实施”，以及这些的其他变化意味着特定特征、结构、特性等等在本原理的至少ー个实施例所包括的实施例的联系中所描述的。因此，出现在整个说明书各种位置的短语“在一个实施例中”或“在实施例中”或“在一个实施中”或“在实施中”以及任何其他变化的出现不需要全部指向同样的实施例。另外，本申请及其权利要去可以指“确定”各种信息片段。确定信息可以包括例如估算信息、计算信息、预测信息、识别信息或从存储器中取回信息的ー个或多个。值得赞赏的是，在“A/B”、“A和/或B”和“A和B的至少ー个”的情况下的任何以下“/”、“和/或”和“的至少ー个”的使用意欲涵盖仅第一个列出的选项(A)的选择，或仅第ニ个列出的选项(B)的选择，或仅选项两者(A和B)的选择。如进ー步的示例，在“ A、B和/或C”和“ A、B和C中的至少ー个”和“A、B或C中的至少ー个”的情况下，这样的用词意欲涵盖仅第一个列出的选项(A)的选择，或仅第二个列出的选项(B)的选择，或仅第三个列出的选项(C)的选择，或仅第一和第二个列出的选项(A和B)的选择，或仅第一和第三个列出的选项(A和C)的选择，或仅第二和第三个列出的选项(B和C)的选择，或全部三个选项(A和B和C)的选择。只要对于本领域及相关领域技术人员是简单清晰的，就可以将这个扩展到尽可能多的所列出的条目。因此提供具有特定特征和方面的ー个或多个实施。但是这些实施的变化和额外的应用是预期的且处于我们的公开范围内，并且所述实施的特征和方面可以适于其他实施。例如，可以扩展这些实施以合并三个或更多比特流的组。也可以扩展这些实施以应用AVC和SVC以外的不同标准，诸如例如用于多视角编码(MVC)的H. 264/MPEG-4AVC(AVC)扩展(AVC标准的附录H)、MPEG-2、用于3-D视频编码(3DV)和高性能视频编码(HVC)的建议的MPEG/JVT标准和MPEG-C部分3 (国际标准化组织(ISO) /国际电子技术委员会(IEC) 23002-3)。另外，可使用其他标准(现有的或将来的)。当然，不需要使用在一个标准中的实施和特征。另外，也可以在编码视频和/或编码诸如例如深度数据或差异数据的其 他类型数据的背景下使用本原理。如进ー步的示例，另ー实施使用新SVC比特流替换新AVC比特流110。本实施允许合并两个SVC比特流或者ー个新SVC比特流和一个现有AVC比特流。
在再另ー实施中，新比特流(无论AVC或SVC)具有比现有比特流(无论AVC或SVC)更低的质量。在一个这样的实施中，使用新比特流作为所合并的比特流的基础层。在以上实施的另ー变化中，第一比特流是AVC比特流，且第二比特流是具有两种质量格式的SVC比特流。该两种质量格式中的第一个具有低于AVC比特流的质量。该两种质量格式中的第二个具有高于AVC比特流的质量。在所合并的比特流中，使用(SVC比特流的)两种质量格式中的第一个作为第一比特流的基础层。此处所述实施可以以例如方法或过程、装置、软件程序、数据流或信号被实施。即使仅在单一形式的实施的背景下讨论(例如仅作为ー种方法讨论)，所讨论的实施的特征也可以以其他形式(例如，装置或程序)实施。可以以例如恰当的硬件、软件和固件实现装置。方法可以以例如诸如例如处理器的装置被实现，该处理器指一般包括例如计算机、微处理器、集成电路或可编程逻辑器件的处理设备。处理器也包括通信设备，诸如例如计算机、移动电话、便携式/个人数字助理(“PDAs”)和便于终端用户间的信息通信的其他设备。在此描述的各种处理和特征的实施可以以各种不同装备或应用(具体例如与数据编码和解码相关联的装备或应用)具体化。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的前处理器、视频编码器(coder)、视频解码器、视频编解码器、网页服务器、机顶盒、膝上型电脑、个人电脑、移动电话、PDA和其他通信设备。应当清晰的是，装备可以是移动的且甚至被安装在移动车辆上。另外，可以通过由处理器执行的指令实施方法，且这些指令(和/或由实施产生的数据值)可以被存储在处理器可读媒体中，诸如例如，集成电路、软件载体或诸如例如硬盘、密致软盘、随机存取存储器(“RAM”)或只读存储器(“ROM”)的其它存储设备。指令可以形成在处理器可读媒体上有形具体化的应用程序。指令可以是例如在硬件、固件、软件或组合中。可以在例如操作系统、独立应用或两者的组合中找到指令。因此，处理器的特征可以在于例如，被配置以实现处理的设备和包括处理器可读媒体(诸如存储设备)的设备两者具有用于实现处理的指令。进ー步，除了或代替指令，处理器可读媒体可以存储由实施产生的数据值。正如对于本领域技术人员明显的是，实施可以产生被格式化以携带信息的各种信号，该信息可以是例如所存储的或所发送的。该信息可以包括例如，执行方法的指令或由所描述实施之ー产生的数据。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。该格式化可以包括例如编码数据流并调制载波与已编码数据流。信号携帯的信息可以是例如模拟或数字信息。该信号可以通过各种已知的不同的有线或无线链路发送。可以在处理器可读媒体上存储该信号。已经描述了一定数量的实施。然而，将会理解，可以做各种修改。例如，可以组合、补充、修改或移除不同实施的要素以产生其他实施。另外，普通技术人员将明白，其他结构和过程可以替代那些公开，并且所得到的实施将以至少基本相同的(多个)功能、至少基本相同的(多个)方式进行，以完成至少与所公开实施基本相同的(多个)結果。因此，这些和其他实施是本公开可预期的并且是在本公开范围内的。
权利要求
1.ー种方法，包括 访问数据序列的第一 AVC编码； 访问所述数据序列的第二 AVC编码，所述第二 AVC编码在质量上区别于所述第一 AVC编码；和 将所述第一 AVC编码和所述第二 AVC编码合并为使用所述AVC的SVC扩展的第三AVC编码，从而所述第一 AVC编码占有所述第三AVC编码的至少第一层，且所述第二 AVC编码占有所述第三AVC编码的至少第 二层，且其中所述第一或第二层中的至少ー个是所述第一或第二层中另一个的參考层。
2.如权利要求I所述的方法，其中，合并包括剖析用于所述第一AVC编码的语法。
3.如权利要求2所述的方法，其中，合并进一歩包括基于所剖析语法进行对给定宏块的增强层编码而不重建对应于所剖析语法的第一 AVC编码的宏块。
4.如权利要求3所述的方法，其中 在所述第一 AVC编码上进行所述增强层编码，和 所述给定宏块的增强层编码使用对所述给定宏块的第一 AVC编码的编码模式，而不重建所述给定宏块。
5.如权利要求3所述的方法，其中 在所述第二 AVC编码上使用所述第一 AVC编码作为基础层进行所述增强层编码，和 所述给定宏块的增强层编码使用来自与所述给定宏块共址的宏块的所述第一 AVC编码的运动信息，而不重建所述给定宏块。
6.如权利要求2所述的方法，其中，合并进一歩包括剖析用于所述第二AVC编码的语法。
7.如权利要求6所述的方法，其中 在所述第二 AVC编码上使用所述第一 AVC编码作为基础层进行所述增强层编码，和 所述给定宏块的增强层编码使用用于所述给定宏块的第二 AVC编码的编码模式，而不重建所述给定宏块。
8.如权利要求I所述的方法，其中合并包括 在所述第三AVC编码中形成基础层，所述基础层由至少部分所述第一 AVC编码占有；和 在所述第三AVC编码中形成增强层，所述增强层由至少部分所述第二 AVC编码占有，其中形成增强层包括使用来自所述基础层中的共址宏块的运动信息在所述第二 AVC编码中编码给定宏块，而不对所述给定宏块进行运动补偿。
9.如权利要求I所述的方法，其中合并包括 在所述第三AVC编码中形成基础层；和 在所述第三AVC编码中形成增强层，所述增强层由至少部分所述第一 AVC编码占有，其中形成增强层包括编码所述第一 AVC编码的部分中的给定宏块以产生增强层残余，并基于所述基础层中的共址宏块的编码的残余通过使用预测器进行所述增强层残余的残余重编码。
10.如权利要求9所述的方法，其中进行残余重编码包括 从DCT系数中重建所述基础层残余；和 如果需要的话，将重建的基础层残余上采样为所述增强层的分辨率以产生所述预测器。
11.如权利要求I所述的方法，其中合并包括 使用至少部分所述第一 AVC编码作为所述第三AVC编码中的基础层； 对所述第一 AVC编码剖析语法； 对所述第二 AVC编码剖析语法；和 使用所述第一 AVC编码的已剖析语法和第二 AVC编码的已剖析语法来编码至少部分所述第二 AVC编码为所述第三AVC编码中的增强层。
12.如权利要求11所述的方法，其中合并进ー步包括 为所述部分第二 AVC编码中的给定宏块评估所剖析语法； 为所述部分第一 AVC编码中的共址宏块评估所剖析语法； 如果所述给定宏块的原编码模式和所述共址宏块的原编码模式是内编码模式，则使用所述共址宏块的重建作为所述给定宏块的參考； 如果所述给定宏块的原编码模式和所述共址宏块的原编码模式是间编码模式，则使用来自所述共址宏块的运动信息编码所述给定宏块；和 如果所述给定宏块的原编码模式和所述共址宏块的原编码模式两者既不是内编码模式，也不是间编码模式，则使用所述给定宏块的编码模式编码所述给定宏块。
13.如权利要求12所述的方法，其中合并进一歩包括进行源自于编码所述给定宏块的增强层残余的残余重编码。
14.如权利要求I所述的方法，其中合并包括 使用至少部分所述第一 AVC编码作为所述第三AVC编码中的基础层； 使用至少部分所述第二 AVC编码作为所述第三AVC编码中的增强层； 对于所述部分第二 AVC编码中的给定宏块，确定使用所述基础层作为參考的一个或多个编码模式的编码消耗；和 从ー个或多个编码模式中选择编码模式以在编码所述给定宏块中使用，所述选择是基于所述评估的。
15.如权利要求14所述的方法，其中选择包括从ー个或多个编码模式中选择具有最低确定编码消耗的编码模式。
16.如权利要求14所述的方法，其中合并进一歩包括使用所选择的编码模式重编码所述给定宏块。
17.如权利要求I所述的方法，其中合并包括 使用至少部分所述第一 AVC编码作为所述第三AVC编码中的基础层； 使用至少部分所述第二 AVC编码作为所述第三AVC编码中的增强层； 全面解码至少部分所述第二 AVC解码为像素域数据序列； 剖析至少部分所述第一 AVC编码的语法；和 向SVC增强层编码器提供所述像素域数据序列和已剖析语法以生成所述增强层。
18.如权利要求I所述的方法，其中合并包括 使用至少部分所述第一 AVC编码作为所述第三AVC编码中的基础层；和 重编码至少部分所述第一 AVC编码以便于其符合SVC比特流中的參考层的要求。
19.如权利要求I所述的方法，其中所述第一AVC编码或所述第二 AVC编码的一个或多个是至少具有基础层和第一增强层的SVC编码。
20.如权利要求I所述的方法，其中合并包括 解码所述第一 AVC编码； 重编码已解码的第一 AVC编码；和 用所述重编码的第一 AVC编码占有所述第一层，其中所述第一 AVC编码以所述重编码的第一 AVC编码的形式占有所述第一层。
21.如权利要求I所述的方法，其中通过使用所述第一或第二层中的至少ー个作为所述第一或第二层的另ー个的參考层，来利用所述第一和第二层之间的至少ー些关联。
22.—种装置，包括 用于访问数据序列的第一 AVC编码的部件； 用于访问所述数据序列的第二 AVC编码的部件，所述第二 AVC编码在质量上区别于第一 AVC编码；和 用于将所述第一 AVC编码和所述第二 AVC编码合并为使用所述AVC的SVC扩展的第三AVC编码的部件，从而所述第一 AVC编码占有所述第三AVC编码的至少第一层，且所述第二AVC编码占有所述第三AVC编码的至少第二层，且其中所述第一或第二层中的至少ー个是所述第一或第二层中另一个的參考层。
23.—种转码器，其被配置以进行至少以下操作 访问数据序列的第一 AVC编码； 访问所述数据序列的第二 AVC编码，所述第二 AVC编码在质量上区别于第一 AVC编码；和 将所述第一 AVC编码和所述第二 AVC编码合并为使用所述AVC的SVC扩展的第三AVC编码，这样所述第一 AVC编码占有所述第三AVC编码的至少第一层，且所述第二 AVC编码占有所述第三AVC编码的至少第二层，且其中所述第一和第二层中的至少ー个是所述第一和第二层中另一个的參考层。
24.如权利要求23所述的转码器，其中所述转码器包括被集中配置以进行以下操作的一个或多个处理器或编码器 访问所述第一 AVC编码； 访问所述第二 AVC编码；和 将所述第一 AVC编码和所述第二 AVC编码合并为所述第三AVC编码。
25.—种处理器可读媒体，具有在其中存储的、用于使得一个或多个处理器集中进行至少以下操作的指令 访问数据序列的第一 AVC编码； 访问所述数据序列的第二 AVC编码，所述第二 AVC编码在质量上区别于第一 AVC编码；和 将所述第一 AVC编码和所述第二 AVC编码合并为使用所述AVC的SVC扩展的第三AVC编码，从而所述第一 AVC编码占有所述第三AVC编码的至少第一层，且所述第二 AVC编码占有所述第三AVC编码的至少第二层，且其中所述第一或第二层中的至少ー个是所述第一或第二层中另一个的參考层。
26.ー种装置包括接收器，其被配置以接收包括数据序列的第一 AVC编码的信号；和 转码器，其被配置以进行至少以下操作 访问数据序列的第一 AVC编码； 访问所述数据序列的第二 AVC编码，所述第二 AVC编码在质量上区别于第一 AVC编码；和 将所述第一 AVC编码和所述第二 AVC编码合并为使用所述AVC的SVC扩展的第三AVC编码，从而所述第一 AVC编码占有所述第三AVC编码的至少第一层，且所述第二 AVC编码占有所述第三AVC编码的至少第二层，且其中所述第一或第二层中的至少ー个是所述第一或第二层中另一个的參考层。
27.如权利要求26所述的装置，进ー步包括用于存储所述第三AVC编码的耦接于所述 转码器的存储设备。
全文摘要
至少一个实施提供了一种用于合并两种AVC(包括，例如SVC附录)比特流的转码器。各种实施提供了诸如以下的优势，例如避免至少一个比特流的完全解码和/或避免编码增强层块期间的运动补偿。一种特殊实施包括访问数据序列的第一和第二AVC编码。第二AVC编码在质量上区别于第一AVC编码。该特殊实施进一步包括合并第一AVC编码和第二AVC编码为使用AVC的SVC扩展的第三AVC编码。进行该合并以便于第一和第二AVC编码占有不同的层，并且第一层是对于第二层的参考层。
文档编号H04N7/26GK102656885SQ201080056675
公开日2012年9月5日 申请日期2010年12月10日 优先权日2009年12月14日
发明者A.格里克利, F.瓦尔多塞拉, 吴振宇 申请人:汤姆森特许公司