编码设备和用于对包含场的电影进行可伸缩编码的方法

专利名称：编码设备和用于对包含场的电影进行可伸缩编码的方法
编码设备和用于对包含场的电影 进行可伸缩编码的方法发明领域本发明涉及视频压缩/解压缩领域，尤其涉及包含了可伸缩视频比 特流的视频应用。特别地，本发明涉及一种编码设备，该设备包含了 用于将电影数据编码成压缩的可伸缩比特流的编码装置，其中该编码始于包含隔行(interlaced)场的至少一个隔行基层以及至少一个包 含逐行(progressive)帧的逐行增强层，所述隔行场中的某些场是与 场重复标记相关联的重复场。 发明背景特别地，在下列文献中描述了适于输出可伸缩视频比特流的可伸 缩视频压缩4支术的实例MPEG-2标准的可伸缩扩展(相关实例参见"Information Technology Generic coding of moving pictures and associated audio information: Video" ， IS0/IEC 13818-2， 1996 ) ， MPEG-4标准的可伸缩扩展(相关实例参见"Information Technology - Coding of Audio— Visual Objects - Part 2: Visual"， IS0/IEC 14496-2:2001， Second Edition, 2001 )，以及H. 264/AVC(也被称为JSVC)标准的可伸缩扩展(相关实例参见"Final Draft International Standard of Joint Video Specification" ， ISO IBC 14496-10， 2004 ， 以及 JSVC Working Draft 2， output document JVT-0201 of the 16th JVT meeting, Busan， South Korea, April 2005 )。 在很多应用中用到了可伸缩视频编码，例如家庭联网、xDSL广播 和移动5危传输。特另'J地，在文献"Requirements and Applications for Scalable Video Coding" , output document N6880 of the 71" MPEG meeting, Hong Kong， China, January 2005中描述了某些应用。这其中的某些应用涉及的是被流传输或广播到标清(隔行)或高 清(逐行)电视机之类的多个设备的电影(以24帧/秒的速率逐行扫 描)。在此类应用中，将要编码的电影数据包括至少一个基层和至少 一个增强层。优选地，所述一个或多个基层(或者至少一个较低的空 间层)是用隔行场编码的，而所述一个或多个增强层则允许恢复逐行信号，与此同时，帧速率必须与目标显示器的至少一个速率匹配。本 发明涉及的正是这种可伸缩视频比特流。由于帧速率不同，因此，这些电影(或影片)在时间上是异于视频的。回想一下，视频速率会根据标准而改变，例如在NTSC中是30 帧/秒，在PAL/SECAM中是25帧/秒，而在高清(HD )情况下则是25、 30或60帧/秒。由于该时间差异，在被编码以及在电视上传送之前， 有必要对电影(或影片)进行时间调整。为了应用该时间调整，举例 来说，我们可以使用所谓的"3:2下拉(pull-down)"技术，该技术 的目的是将电影信号转换成30帧或60场/秒的隔行视频信号。某些时 间调整技术、尤其是借助这种3:2下拉技术的时间调整技术引入了某 些数据场副本。因此，为了有效编码基层的重复数据场，在现有视频 压缩标准中使用了所谓的"场重复标记"。如果我们希望使用现有技术(例如上文引用的压缩标准)利用逐 行增强层以可伸缩形式对这种序列进行编码，那么至少可以采用三种 解决方案。第一种解决方案是将增强层和基层全都视为逐行形式来对其进行 编码。但是在这种解决方案中，基层并未得到良好编码。第二种解决方案是将增强层和基层全都视为隔行形式来对其进行 编码。但是在这种解决方案中，"场图像编码"不利于一个或多个增 强层的压缩效率。

图1描述的第三种解决方案是使用隔行编码工具来编码基层(BL )， 然后成对重组这个编码基层(BL)的连续隔行场(FTi， BTi)，以便 构成用于预测一个或多个增强(更高)层(EL)的预测帧(PFr)。但 是，该解决方案将会产生某些(失配)预测帧(MPFr),这些预测帧 是附属于初始材料中的不同帧的两个场(FTi， BTi)的组合，并且其 对预测而言是非常不利的。由此，通过使用上述压缩技术(例如MPEG-2、 MPEG-4以及 H.264/AVC),可以对包含重复场或帧的可伸缩视频流进行编码，但是 在压缩性能和视觉质量方面，这种处理显然不是非常有效的。发明概述本发明的目的是改善这种状况。为此目的，本发明涉及一种如在说明书前言部分定义的编码设备，该编码设备的特征还在于编码装置被安排为i)构造一个预测层，其 中该预测层包括从隔行基层的场配对定义的预测帧，这些配对不包括 含有重复场的配对，以及ii)在为了处理遗失预测帧而对与隔行基层 的相应重复场相关联的场重复标记加以考虑的同时，通过计算每一个 预测帧与相应逐行帧之间的差值来编码一个或多个逐行增强层的逐行 帧。换言之，我们使用了与隔行基(或更低)层的重复场相关联的场 重复标记来编码与这个隔行基层相关联的一个或多个逐行增强(或更 高)层的逐行帧。通过这种处理，可以更有效地执行编码，以及在解 码过程中更好地重建逐行视频序列。根据本发明的编码设备可以包括单独或组合考虑的附加特征，尤 其是(a) 编码装置可以被安排为i)构造一个预测层，其中该预测层 只包括根据不与场重复标记相关联的隔行基层的场配对而定义的预测 帧，以及ii )通过计算逐行帧与相应预测帧之间的差值，只对与预测 帧相对应的每一个逐行帧进行编码；(b) 编码装置可以被安排为i)构造一个预测层，其中该预测 层包括根据不与场重复标记相关联的隔行基层的场配对而定义的预测 帧，以及重复预测帧，其中当重复预测帧对应的是与场重复标记相关 联的隔行基层的场时，每一个所述重复预测帧都与在前的预测帧相同， 以及ii)通过计算其自身与相应预测帧以及重复预测帧之间的差值来 编石马逐4亍帧；(c) 编码装置可以被安排为i)构造一个预测层，其中该预测 层包括根据隔行基层中与场重复标记不相关联的场配对定义的预测 帧，以及使用与遗失预测帧相对应的逐行帧之前的逐行帧的副本来填 充与关联于场重复标记的隔行基层的场相对应的每一个遗失预测帧， 以及ii)通过计算该逐行帧与相应预测帧或逐行帧副本之间的差值来 编码与预测帧相对应的每一个逐^亍帧；(d) 编码设备可以包括空间过采样装置，该装置被安排为为预测 层施加空间过采样处理，以便获取与所要编码的逐行帧之一相等的空 间分辨率；(e) 编码设备可以包括调整装置，该调整装置将时间调整技术应用于与第一帧速率相关联的主电影数据，以便以第二帧速率输出一个 或多个隔行基层以及一个或多个逐行增强层，所述第二帧速率适于在选定显示设备上显示(例如，该调整装置可以被安排为应用所谓的"3: 2 下拉"时间调整技术)。本发明还提供了一种解码设备，其中该解码设备包括用于对压缩 的可伸缩比特流进行解码的解码装置，其中所述解码始于至少一个包 含隔行编码场的编码隔行基层以及至少一个包含编码逐行帧的编码逐 行增强层，并且其中某些隔行编码场是与场重复标记相关联的重复场。该解码设备的特征在于解码装置被安排为i)构造一个预测层， 其中该预测层包含了根据编码隔行基层的场配对定义的预测帧，以及 ii )在考虑到了与编码隔行基层的相应重复场相关联的场重复标记的 同时，通过计算每一个预测帧与每一个编码逐行增强层的相应编码逐 行帧的总和来重建一个或多个逐行增强层的逐行帧。根据本发明的解码设备可以包括单独或组合考虑的附加特征，尤 其是(a) 解码装置可以被安排为i)构造一个预测层，其中该预测 层只包括根据编码隔行基层中与场重复标记不相关联的场配对定义的 预测帧，以及ii)通过计算每一个预测帧与相应编码逐行帧的总和来 重建一个或多个逐行增强层的每一个逐行帧，以及使用先前重建的逐 行帧的副本来填充与关联于场重复标记的编码隔行基层的场相对应的 每一个遗失逐行帧；(b) 解码装置可以被安排为i)构造一个预测层，其中该预测 层包括根据编码隔行基层中与场重复标记不相关联的场配对定义的预 测帧，以及重复预测帧，其中当重复预测帧对应的是与场重复标记相 关联的编码隔行基层的场时，每一个重复预测帧都与在前的预测帧相 同，以及ii)通过计算每一个预测帧或重复预测帧与相应编码逐行帧的总和来重建一个或多个逐行增强层的每一个逐行帧；(c) 解码装置可以被安排为i)构造一个预测层，其中该预测层只包括根据编码隔行基层中与场重复标记不相关联的场配对定义的 预测帧，以及ii)通过计算预测帧与相应编码逐行帧的总和来重建与 预测帧相对应的一个或多个逐行增强层的每一个逐行帧，以及通过计 算相应编码逐行帧与所要重建的逐行帧之前的已重建逐行帧的副本的总和来重建与遗失预测帧相对应的一个或多个逐行增强层的每一个逐 行帧。本发明还提供了一种包括如上介绍的编码设备和/或解码设备的 电子装置。举例来说，该电子装置可以是家庭服务器，专用于家庭联 网的机顶盒，广播编码器，流式传输编码器，或是显示器。本发明还提供了一种用于在经过压缩的可伸缩比特流中对电影数 据进行编码的方法，其中该编码始于包含隔行场的至少一个隔行基层 以及至少一个包含了逐行帧的逐行增强层，其中某些隔行场是与场重 复标记相关联的重复场。该编码方法包括i)构造一个预测层，其中该预测层包含根据隔行基层的场配对定义的预测帧，以及ii)在考虑到与隔行基层的相应 的第一和第二重复场相关联的场重复标记的同时，通过计算每一个预测帧与相应逐行帧之间的差值来编码每一个逐行增强层的逐行帧。本发明还提供了一种用于对经过压缩的可伸缩比特流进行解码的 方法，其中所述解码始于至少一个包含了隔行编码场的编码隔行基层 以及至少一个包含编码逐行帧的编码逐行增强层，并且其中某些隔行 编码场是与场重复标记相关联的重复场，。该解码方法包括以下步骤i)构造一个预测层，其中该预测层包 括根据编码隔行基层的场配对定义的预测帧，以及ii)在考虑到与编 码隔行基层的第一和第二重复场相关联的场重复标记的同时，通过计 算每一个预测帧与每一个编码逐行增强层的相应编码逐行帧的总和来 重建每一逐行增强层的逐行帧。本发明的典型应用是通过电视广播来向不同电子设备传递电影， 其中举例来说，所述电子设备可以是隔行标清显示器(在很多情况下， 它是隔行的阴极管显示器)或逐行高清显示器。附图简述通过考察下文中的详细描述和附图，可以清楚了解本发明的其他 特征和优点，其中图1示意性描述了根据现有技术的隔行基层(BL)、将要编码的 逐行增强层(EL)以及预测层(PL)的实例，图2从功能上示意性描述了根据本发明的编码设备实施例的一个 实例，图3示意性描述了将要编码的隔行基层(BL)和逐行增强层(EL) 的实例，以及相应的预测层(PL)和编码逐行增强层(EL，)的第一 实例，图4示意性描述了将要编码的隔行基层(BL)和逐行增强层(EL) 的实例，以及相应的预测层(PL)和编码逐行增强层(EL，)的第二 实例，图5示意性描述了将要编码的隔行基层(BL)和逐行增强层(EL) 的实例，以及相应的预测层(PL)和编码逐行增强层(EL，)的第三 实例，图6从功能上示意性描述了根据本发明的解码设备的一个实例，图7示意性描述了将要解码的编码隔行基层(BL')和编码逐行 增强层(EL，)的实例，以及相应的预测层(PL，)和解码逐行增强 层(EL")的第一实例，图8示意性描述了将要解码的编码隔行基层(BL，)和编码逐行 增强层(EL，)的实例，以及相应的预测层(PL，)和解码逐行增强 层(EL，，)的笫二实例，以及图9示意性描述了将要解码的编码隔行基层(BL，)和编码逐行 增强层(EL，)的实例，以及相应的预测层(PL，)和解码逐行增强 层(EL，，)的第三实例。详细描述首先参考图2，该图描述的是根据本发明的编码设备Dl的实施例 例示，其中举例来说，所述编码设备既可以是家庭服务器或机顶盒(尤 其是专用于家庭联网)之类的电子设备的一部分，也可以是广播编码 器或流式传输编码器。本发明尤其适合将电影(或影片)通过电视广 播给不同的电子设备，例如隔行标清显示器或逐行高清显示器。回想一下，电影(或影片)具有与视频不同的帧速率。通常，电 影的帧速率等于24帧(或图像)每秒。而视频的帧速率则会依照标准 而改变(在NTSC中是30帧每秒，在PAL/SECAM中是"帧每秒，对高 清(HD)而言则是25、 30或60帧每秒)。正如在图2中从功能方面示意性描述的那样，根据本发明的编码 设备D1包括至少一个编码模块CM，用于将接收到的电影数据编码成经 过压缩的可伸缩比特流。值得一提的是，对接收到的电影数据来说，该数据要么是为了将 其(第一)帧速率转换成另一个(第二)帧速率而被应用了时间调整 技术的(经过预处理的)数据，要么必须对其应用时间调整技术的"主"数据PVD。如果接收到的电影数据是经过预处理的数据，那么编码设备 D1只包括编码模块CM。如果接收到的电影数据是主数据PVD，那么如 图2所示，编码设备D1必须包括调整模块AM(用于帧速率转换)和编 码模块CM。在这里可以实施本领域技术人员已知的任何时间调整技术(可以 由调整模块AM来实施)，以便产生预备在传送之前进行处理和编码的 预处理电影数据，例如在电视上传送。举个例子，我们可以使用所谓 的"3: 2下拉"技术，该技术会将电影信号转换成30帧(或60场)每 秒的隔行视频信号。在这里，"预处理电影数据"指的是应用了时间 调整技术并且会在至少一个隔行(电影数据)基层BL与至少一个逐行 (电影数据)增强层EL之间分配的电影数据。回想一下，隔行基层BL包括以低分辨率或标准分辨率来定义图像 的隔行数据场，而逐行增强层EL包含的则是逐行帧，其中在使用逐行 扫描进行显示的过程中，如果这些逐行帧与一个或多个相关联的隔行 基层相结合，那么将会提供更高的图像分辨率。更具体地说，隔行基 层BL包括前场(top field) TFi和后场(bottom field) BFi，其中 前场通常包含了从第一行开始定义图像奇数(或偶数)行的数据，而 后场则通常包含了用于定义图像偶数(或奇数)行的数据。如图1所 示，前场TFi 是从后场BFi时间移位的。而视频中所有图像的隔行 场则定义了一个"隔行视频"(IV)。此外，逐行增强层EL包括被分组为逐行帧的图像数据。逐行增强 层数据通常被称为"逐行数据，，，并且该数据定义了通常所说的"逐 行视频"(PV)。 一个或多个逐行增强层可以与一个隔行基层相关联。 在显示之前，已解码的逐行增强层的逐行数据将会与相关联的已解码 隔行基层的已解码隔行数据相结合，以便定义标清或高清图像。在这里，对于接收到的将要处理和编码的电影数据来说，假设其 隔行基层BL包括某些通过时间调整技术而被引入的重复场DF。正如本 领域技术人员已知的那样，每一个重复场DF都与一个通常被称为"场 重复标记，，的标记相关联，并且在经过编码的比特流SVB中传送。编码模块CM可以包括空间过采样模块，其中在将接收到的预处理 隔行基层BL的第一 TFi和第二 BFi场用于构造预测层PL之前，该空 间过采样模块会对其应用空间过采样处理。这样做允许获取空间分辨 率与将要编码的逐行帧之一相等的隔行基层BL。编码模块CM包括处理模块PM，它被安排为根据接收到的隔行基层 BL的前场TFi和后场BFi来构造一个预测层PL。更确切地说，它构造 了一个包含预测帧PFr的预测层PL，其中每一个预测帧都包括基层BL 的前场TFi以及(这个基层BL的)后场BFi，并且所述后场BFi在时 间上处于这个前场TFi之后。举个例子，如果基层BL包括前场TFi序 列(Al， ， Bl， ， Bl， ， Cl， ， Dl，，...)和后场BFi序列(A2， ， B2，， C2， ， C2， ， D2，，...)，那么预测层PL应该包括图1所示的预测帧 序歹'J (Al， +A2， ， Bl， +B2， ， Bl， +C2， ， Cl， +C2， ， Dl， +D2，，…)。编码模块CM的编码子模块EM使用预测层PL来编码每一个逐行增 强层EL的逐行帧。更确切地说，编码子模块EM被安排为计算预测层 PL的每一个预测帧与逐行增强层EL的相应逐行帧之间的差值，以便输 出一个包含编码逐行帧的编码逐行增强层EL'。举个例子，如图3所示，如果预测帧等于Al， +A2，，并且相应的 逐行帧等于A,那么编码子模块EM计算的相应编码逐行帧等于5A，， 其中5 A，= A - (Al， +A2，)。当预测层PL包含的是根据属于同一图像的前场和后场构造的预测 帧时，这种计算将会正确运作。但是，当预测层PL包含的是根据属于 两个连续图像(如图l所示)的前场和后场构造的"复合"预测帧(或 失配预测帧)MPFr时，该计算将无法正确运作。这种情况会在隔行基 层BL包含重复场DFi的时候发生。在这种情况下，"复合"预测帧MPFr 与将要编码的相应逐行帧将会失配。图1中的预测层PL的第三预测帧 (Bl， +C2，)即为这种复合预测帧的一个实例。对根据本发明的编码设备Dl来说，其目的是克服由隔行基层BL 的重复场DFi引入的缺陷。为此目的，当其接收到经过预处理的电影 数据(BL+EL)时，其处理模块PM将被安排为构造一个预测层PL,其 中该预测层PL包括根据隔行基层BL的第一 TFi和第二 BFi场定义的 预测帧，并且其编码子模块EM被安排为在考虑了与隔行基层BL所具 有的相应第一TFi和第二BFi重复场相关联的场重复标记FiRF的同时，通过计算每一个预测帧与相应逐行帧之间的差值来编码每一个增强层EL的逐行帧。编码设备Dl至少可以采用三种不同方式来使用场重复标记FiRF。 现在参考图3来描述在编码过程中根据本发明使用场重复标记 FiRF的第一方式。在所述第一方式中，处理模块PM都安排为每当接收 到包含与至少一个增强层EL相关联的至少一个隔行基层BL的预处理 电影数据时构造一个预测层PL,其中该预测层只包括如下的预测帧 每一预测帧是根据与场重复标记FiRF不相关联的隔行基层BL的前场 TFi和后场BFi定义的。由此，处理模块PM没有保留复合预测帧，并 且在预测层PL中将会遗失某些预测帧(MPF)。在这种情况下，编码子模块EM被安排为只对逐行增强层EL中与 预测帧相对应的逐行增强层EL的每一个逐行帧进行编码。由此，它会 计算与已有预测帧相对应的每一个逐行帧同所述相应预测帧之间的差 值。在图3所示实例中，遗失的是第三预测帧MPF，由此，编码子模块 EM并未编码增强层EL的第三逐行帧。这样一来，经过编码的逐行增强 层EL，包含的是从相应差值(A- (Al， +A2， ))、 (B- (Bl， +B2，))、 (C - (Cl， +C2，))和(D- (Dl， +D2，))产生的编码逐行帧5 A， ， 5 B， ， 5C，和5D，。值得一提的是， 一旦构造了预测层PL，那么编码子模块EM根据笫 一方式(结合图3 )实施的编码技术与现有技术中的编码设备实施的编 码技术是相同的。这种编码技术是本领域技术人员公知的，并且在这 里不再对其进行描述。编码子模块EM输出 一个预备通过例如网络传送到显示设备的经过 压缩的可伸缩比特流SVB，该比特流包含经过编码的隔行基层BL，以 及一个或多个经过编码的逐行增强层EL。现在通过参考图4来描述根据本发明而在编码过程中使用场重复 标记FiRF的第二方式。在所述第二方式中，处理模块PM都被安排为 每当接收到包含与至少一个增强层EL相关联的至少一个隔行基层BL 的预处理电影数据时构造一个预测层PL,该预测层包含每一个都是根 据与场重复标记FiRF不相关联的隔行基层BL的前场TFi和后场BFi 定义的预测帧以及重复预测帧DPFt，其中当重复预测帧DPFr与关联于场重复标记(FiRF)的隔行基层BL的一个或多个第一 TFi和/或第二 BFi场相对应时，该重复预测帧分别与其前的预测帧相同。由此，在预 测层PL中既没有复合预测帧，也没有遗失的预测帧MPF。在图4的非限制性实例中，预测层PL包括预测帧序列(Al， +A2，， Bl， +B2， ， Bl， +B2， ， Cl， +C2， ， Dl， +D2，，…)。由于第三预 测帧(Bl，+B2，)对应于与场重复标记FiRF相关联的重复场(Bl，) DFi, 因此它是第二预测帧(Bl， +B2，)的重复DPFr。在这种情况下，由于逐行增强层EL的每一个逐行帧都与相应的预 测帧或重复预测帧DPFr相关联，因此，编码子模块EM被安排为对所 迷每一个逐行帧进行编码。这样一来，它会计算每一个逐行帧与相应 预测帧或重复预测帧DPFr之间的差值。在图4所示的实例中，编码子模块EM产生一个编码逐行增强层 EL，，该层包含了从相应差值(A-(Al， +A2， ))、 (Ba-(Bl， +B2，))、 (Bb-(Bl， +B2， ))、 (C-(Cl， +C2，))以及(D-(Dl， +D2，))得到的编 码逐;f于帧5A， 、 5Ba， 、 5 Bb， 、 5 C'以及5D，。值得一提的是， 一旦构造了预测层PL，那么由编码子模块EM根据 第二方式(结合图4)实施的编码技术与现有技术中的编码设备实施的 编码技术是相同的。这种编码技术对本领域技术人员来说是公知的， 并且在这里不再对其进行描述。编码子模块EM输出一个预备传送到显示设备的经过压缩的可伸缩 比特流SVB，该比特流包含了编码隔行基层BL，以及一个或多个编码 逐行增强层EL，所述传送可以例如经由网络来进行。现在将通过参考图5来描述根据本发明而在编码过程中使用场重 复标记FiRF的第三方式。所述第三方式是第一方式的一种变体，在该 方式中，处理模块PM都被安排为每当接收到包含与至少一个逐行增强 层EL相关联的至少一个隔行基层BL的预处理电影数据时构造一个预 测层PL，该预测层PL包含了两个来源的预測帧。第一个来源是隔行基层BL。处理模块PM将会构造(第一)预测帧， 其中每一个预测帧都是根据不与场重复标记FiRF相关联的隔行基层 BL的前场TFi和后场BFi定义的。由此，处理模块PM并未保持复合预 测帧，并且在预测层PL中将会遗失某些预测帧(MPF)。第二个来源是逐行增强层EL。该处理模块PM将会构造(第二 )预测帧，以便将遗失的预测帧MPF填充到正在构造的预测层PL中。更确 切地说，每当检测到与增强层EL的逐行帧相对应的遗失预测帧MPF时， 它都会重复处于这个相应逐行帧之前的逐行帧，并且使用该重复逐行 帧DFr来填充相应的遗失预测帧MPF。由此，在最终的预测层PL中将 不再有遗失的预测帧MPF。在图5的非限制性实例中，预测层PL包括预测帧序列(Al' +A2，， Bl， +B2， ， Ba， Cl， +C2， ， Dl， +D2，，...)。由于第三预测帧(Ba) 对应的是与场重复标记FiRF相关联的重复场(Bl， ) DFi，因此它是 增强层EL的第二逐行帧(Ba)的副本DFr。在这种情况下，由于增强层EL的每一个逐行帧都与相应预测帧或 重复逐行帧DFr相关联，因此，编码子模块EM被安排为对所述每一个 逐行帧进行编码。这样一来，它会计算每一个逐行帧与相应预测帧或 重复逐行帧DFr之间的差值。在图5所示的实例中，编码子模块EM产生一个编码逐行增强层 EL，，该层包含了从相应差值(A-(A1， +A2， ))、 (Ba-(B1， +B2，))、 (Bb-Ba)、 (C-(C1， +C2，))以及(D-(D1， +D2，))得到的编码逐行帧5 A， 、 5Ba， 、 5Bb， 、 5 C'以及5D，。值得一提的是， 一旦构造了预测层PL,那么由编码子模块EM根据 第三方式(结合图5)实施的编码技术与现有技术中的编码设备实施的 编码技术是相同的。这种编码技术对本领域技术人员来说是公知的， 并且在这里不再对其进行描述。编码子模块EM输出一个预备传送到显示设备的经过压缩的可伸缩 比特流SVB，该比特流包含了编码隔行基层BL，以及一个或多个编码 逐行增强层EL，并且所述传送可以例如经由网络来进行。现在将通过参考图6来描述根据本发明的解码设备D2的实施例例 示，其中举例来说，所述解码设备既可以是诸如家庭服务器或机顶盒(尤其是专用于家庭联网的)的电子装置的一部分，也可以是隔行标 清显示器或逐行高清显示器。如图6中从功能上示意性描述的那样，根据本发明的解码设备D2 主要包括一个解码模块DM，用于对编码i殳备Dl产生的经过压缩的可伸 缩比特流SVB进行解码。作为输入，该解码设备接收至少一个编码隔 行基层BL，以及至少一个编码逐行增强层EL，。解码模块DM包括处理模块PM，和解码子模块SDM,其中该处理模 块被安排为构造一个预测层PL，，该预测层包括根据接收到的编码隔 行基层BL的前场TFi，和后场BFi，定义的预测帧，该解码子模块则 根据所接收的每一个编码逐行增强层EL，的编码逐行帧、所接收的编 码隔行基层BL的前场TFi，和后场BFi，以及与隔行基层BL，的第一 TFi，和第二BFi，重复场相关联的场重复标记FiRF来重建每一个增强 层EL"的逐行帧。更确切地说，解码子模块SDM被安排为在考虑了与隔行基层BL， 中的相应的第一 TFi，和第二 BFi，重复场相关联的场重复标记FiRF 的同时，计算每一个预测帧与所接收的每一个编码逐行增强层EL，的 相应编码逐4于帧的总和。解码设备D2至少可以采用三种不同方式来使用场重复标记FiRF。现在将通过参考图7来描述根据本发明而在解码过程中使用场重 复标记FiRF的第一方式。在所述第一方式中，处理模块PM，都被安排 为每当接收到与至少一个编码逐行增强层EL'相关联的至少一个编码 隔行基层BL，时构造一个预测层PL，，其中该预测层只包括每一个都 是根据不与场重复标记FiRF相关联的编码隔行基层BL'的前场TFi， 和后场BFi，定义的预测帧。由此，处理模块PM，并未保持复合预测 帧(先前定义的)，并且在预测层PL，中将会遗失某些预测帧(MPF) (如图7所示)。在这种情况下，每个接收到的编码逐行增强层EL，还包括遗失编 码逐行帧MEF,该MEF与预测层PL，的遗失预测帧MPF相对应(如图7 所示)，这是因为它已经由编码设备D1根据第一方式进行了定义。这样一来，解码子模块SDM被安排为通过计算预测层PL，的每一 个预测帧与相应(已有)编码逐行帧的总和来重建每一个增强层EL" 的每一个逐行帧，并且使用在先重建的逐行帧的副本来填充与关联于 场重复标记FiRF的隔行基层BL，的第一TFi'和/或第二BFi，场相对应的每一个遗失重建逐行帧 在图7所示的实例中，第三预测帧MPF和相应的第三编码逐4亍帧 MEF是遗失的。因此，解码子模块SDM首先重建与已有编码逐行帧相对 应的逐行帧，由此将会给出(A， = (Al， +A2， ) + 5A， )、 (B， = (Bl， +B2， ) + 5B， )、 (C-(C1， +C2， ) + 5C，)以及(D，= (Dl， +D2，)+ 5D，)。然后，它会重复第二重建逐行帧B，，以便产生第三重建逐 行帧B，。由此，最终的重建逐行增强层EL"包括逐行帧序列(A， ， B，， B， ， C， ， D，)'值得一提的是，除了专用于填充遗失逐行帧的部分之外，解码子 模块SDM依照第一方式(结合图7)实施的解码技术与现有技术中的解 码设备执行的解码技术是相同的。这种解码技术对本领域技术人员来 说是公知的，并且在这里不再对其进行描述。解码子模块SDM输出一个预备通过可能的组合来构造用于显示的标清或高清图像的已解码可伸缩比特流，其中该比特流包含了解码隔 行基层BL以及一个或多个解码逐行增强层EL"。现在将通过参考图8来描述根据本发明而在解码过程中使用场重 复标记FiRF的第二方式。在所述第二方式中，处理模块PM，被安排为 在每次接收到与至少一个编码逐行增强层EL，相关联的至少一个编码 隔行基层BL，时构造一个预测层PL，，该预测层PL，包括每一个都是 根据不与场重复标记FiRF相关联的编码隔行基层BL'的前场TFi，和 BFi，定义的预测帧，以及重复预测帧DPF,其中当所述重复预测帧DPF 对应于与场重复标记FiRF相关联的编码隔行基层BL，的一个或多个第 一 TFi，和/或第二 BFi，场时，它们将会分别等同于处于其前的预测 帧。由此，在预测层PL，中既没有复合预测帧，也没有遗失预测帧MPF。在图8的非限制性实例中，预测层PL，包括预测帧序列(Al， +A2，， Bl， +B2， ， Bl， +B2， ， Cl， +C2， ， Dl， +D2，，...)。由于第三预测 帧(Bl， +B2，)对应的是与场重复标记FiRF相关联的重复场(Bl，) DFi,因此它是第二预测帧(Bl， +B2，)的重复DPF。在这种情况下，解码子模块SDM将会通过计算预测层PL，的每一 个预测帧或重复预测帧DPF与编码逐行增强层EL'的相应编码逐行帧 的总和来重建每一个增强层EL"的每一个逐行帧。在图8所示的实例中，重建逐行增强层EL"包括逐行帧序列(A，= (Al， +A2， ) + 5A， )， (Ba，= (Bl， +B2， ) + 5 Ba, )， (Bb，= (Bl， +B2， ) + 5Bb， )， (C-(Cl， +C2， ) + 5 C，)以及(D，= (Dl， +D2，) + 5D，)。值得一提的是， 一旦构造了预测层PL，，那么解码子模块SDM根 据第二方式(结合图8)实施的解码技术与现有技术中的解码设备实施的解码技术是相同的。这种解码技术对本领域技术人员来说是公知的， 并且在这里不再对其进行描述。解码子模块SDM输出一个预备通过可能的组合来构造用于显示的 标清或高清图像的已解码可伸缩比特流，其中该比特流包含了解码隔 行基层BL以及一个或多个解码逐行增强层EL"。现在将通过参考图9来描述根据本发明而在解码过程中使用场重 复标记FiRF的第三方式。所述第三方式是笫一方式的一种变体，在该 方式中，处理模块PM，被安排为每当接收到与至少一个编码逐行增强 层EL'相关联的至少一个编码隔行基层BL，时构造一个预测层PL', 该预测层只包括每一个都是根据不与场重复标记FiRF相关联的编码隔 行基层BL，的前场TFi，和后场BFi，而定义的预测帧。由此，处理模 块PM，并未保留复合预测帧(先前定义的)，并且在预测层PL，中将 会遗失某些预测帧(MPF)(如图9所示)。在这种情况下，与第一方式相反，接收到的每一个编码逐行增强 层EL，并不包含遗失的编码逐行帧MEF,这是因为所述层已经由编码 设备Dl根据第三方式进行了定义。这样一来，解码子模块SDM被安排为通过计算预测层PL，的每一 个现有预测帧与相应编码逐行帧的总和来重建每一个增强层EL"的每 一个逐行帧，并且使用相应编码逐行帧与被重建逐行帧前的重建逐行 帧的副本的总和来填充与遗失的预测帧相对应的每一个遗失的重建逐 行帧(然后则填充与关联于场重复标记FiRF的隔行基层BL，的第一 TFi，和/或第二BFi，场相对应的每一个遗失的重建逐行帧)。在图9所示的实例中，第三预测帧MPF是遗失的。因此，解码子 模块SDM首先重建的是与这个预测帧相对应的逐行帧，由此将会给出 (A， = (Al， +A2， ) + 5A， )， (Ba， = (Bl， +B2， ) + 5 Ba，)，…， (C， = (C1， +C2， ) + 5C，)以及(D， - (Dl， +D2， ) + 5 D，)。 然后，它会重复第二个重建逐行帧Ba，，并且将其添加给第三编码逐 行帧5Bb，，以便产生第三个重建逐行帧Bb， (Bb， = Ba， + 5 Bb，)。 由此，最终的重建逐行增强层EL"包括逐行帧序列(A' ， Ba' ， Bb'， C， ， D，)。值得一提的是，除了专用于填充遗失逐行帧的部分之外，解码子 模块SDM依照第三方式(结合图9)实施的解码技术与现有技术中的解码设备执行的解码技术是相同的。这种解码技术对本领域技术人员来 说是公知的，并且在这里不再对其进行描述。解码子模块SDM输出一个预备通过可能组合来构造用于显示的标 清或高清图像的已解码可伸缩比特流，其中该比特流包含了解码隔行 基层BL以及一个或多个解码逐行增强层EL"。优选地，编码设备Dl和解码设备D2是集成电路IC。这种集成电 路可以用CMOS技术或是当前在芯片工厂中使用的任何技术来实现。但 是，这其中的每一个设备也可以作为软件或是软硬件组合而在任何可 编程平台或电子设备中实现。本发明可以被认为是一种编码方法，特别地，该编码方法可以借 助如上所述的编码设备Dl的实施例例示来实施。由此，在下文中仅仅 述及了该编码方法的主要特征。根据本发明的编码方法包括i)构造一个预测层PL,该预测层包 括根据隔行基层BL的(第一TFi和第二BFi)场定义的预测帧，以及 ii)在考虑了与隔行基层BL的相应重复场相关联的场重复标记FiRF 的同时，通过计算每一 个预测帧与相应逐行帧之间的差值来编码每一 个逐行增强层EL的逐行帧。本发明还可以被视为一种解码方法，特别地，该方法可以借助如 上所述的解码设备D2的实施例例示来实施。由此，在下文中仅仅述及的是该解码方法的主要特征。这种解码方法包括i)构造一个预测层PL，，该预测层包括根据 编码隔行基层BL，的场配对(TFi，和BFi，)定义的预测帧，以及ii) 在考虑了与编码隔行基层BL，的相应重复场相关联的场重复标记FiRF 的同时，通过计算每一个预测帧与每一个编码逐行增强层的相应编码 逐行帧的总和来重建每一个增强层EL"的逐行帧。本发明并不局限于如上所述并且仅仅作为实例的编码设备、解码 设备、电子设备、编码方法以及解码方法的实施例，相反，本发明包 含了本领域技术人员可以想到并处于后续权利要求范围以内的所有替 换实施例。实际上，借助硬件或软件项实施功能的方式是很多的。就此而论， 这些附图是非常概略的，并且它们仅仅显示了本发明的可行性实施例。 由此，虽然附图将不同功能显示成不同部件，但是并不排除由单个硬件或软件项来执行若干种功能。此外也不排除由硬件或软件项装置或 是这二者的装置来执行某种功能。在这里，在参考附图论证详细描述之前所做的说明是为了例证而 不是限制本发明。在附加权利要求范围以内，多种替换方案都是可以 存在的。任何权利要求中的参考符号都不应该被解释成是限制权利要 求。单词"包括"并没有排除在权利要求所列举的部件或步骤之外还 存在其他部件或步骤。处于部件或步骤之前的单词"一"或"一个" 并未排除多个部件或步骤的存在。
权利要求
1.一种编码设备(D1)，包括用于将电影数据编码为压缩的可伸缩比特流(SVB)的编码装置(CM)，其中该编码是从包含隔行场的至少一个隔行基层(BL)以及包含了逐行帧的至少一个逐行增强层(EL)开始的，并且其中某些隔行场是与场重复标记(FiRF)相关联的重复场，其特征在于所述编码装置被安排为i)构造一个预测层(PL)，其中该预测层包括根据所述隔行基层(BL)中除了包含重复场的配对之外的场配对而定义的预测帧，以及ii)在为了处理每一个遗失预测帧而对与所述隔行基层(BL)的相应重复场相关联的场重复标记(FiRF)加以考虑的同时，通过计算每一个预测帧与相应逐行帧之间的差值来编码每一个逐行增强层(EL)的所述逐行帧。
2. 根据权利要求1的编码设备，其特征在于所述编码装置被安排 为i)构造一个预测层(PL)，其中该预测层只包括根据不与场重复标 记(FiRF)相关联的所述隔行基层(BL)的场配对而定义的预测帧， 以及ii)通过计算逐行帧与相应预测帧之间的差值而只对与该预测帧 相对应的每一个逐4于帧进4于编码。
3. 根据权利要求1的编码设备，其特征在于所述编码装置被安排 为i )构造一个预测层(PL)，该预测层包括根据不与场重复标记(FiRF) 相关联的所述隔行基层(BL)的场配对而定义的预测帧，以及重复预 测帧，其中当所述重复预测帧对应的是与场重复标记(FiRF)相关联 的所述隔行基层(BL)的场时，每一个所述重复预测帧都与在前的预 测帧相同，以及ii)通过计算所述逐行帧与相应预测帧以及重复预测 帧之间的差值来对其进行编码。
4. 根据权利要求1的编码设备，其特征在于所述编码装置被安排 为i )构造一个预测层(PL)，该预测层包括根据不与场重复标记(FiRF) 相关联的所迷隔行基层(BL)的场配对定义的预测帧，以及使用与遗标记(FiRF)的所述隔行基层(BL)的场相对应的每一个遗失预测帧， 以及ii )通过计算该逐行帧与相应预测帧或逐行帧副本之间的差值来 编码与预测帧相对应的每 一 个逐4亍帧。
5. 根据权利要求1至4中任一权利要求的编码设备，其特征在于它包括过采样装置，该装置被安排用于在构造所述预测层(PL)之前 对所述隔行基层(BL)的所述场进行过采样，以便获取与所要编码的 逐行帧的一个空间分辨率相等的空间分辨率。
6. 根据权利要求1至5中任一权利要求的编码设备，其特征在于 它包括调整装置(AM)，该装置被安排为将时间调整技术应用于与第 一帧速率相关联的主电影数据(PVD),以便以适于在选定显示设备上 显示的第二帧速率来输出所述隔行基层(BL)和所述一个或多个逐行 增强层(EL)。
7. 根据权利要求6的编码设备，其特征在于所述调整装置(AM) 被安排为应用所谓的3: 2下拉时间调整技术。
8. —种解码设备(D2)，包括用于对压缩的可伸缩比特流进行解 码的解码装置(DM)，其中所述解码始于至少一个包含隔行编码场的 编码隔行基层(BL，)以及至少一个包含编码逐行帧的编码逐行增强 层(EL，)，并且其中某些隔行编码场是与场重复标记(FiRF)相关 联的重复场，其特征在于所述解码装置(DM)被安排为i)构造一个 预测层(PL，)，该预测层包含了根据编码隔行基层(BL，)的场配 对定义的预测帧，以及ii)在考虑到了与所述编码隔行基层(BL，) 的相应重复场相关联的所述场重复标记(FiRF)的同时，通过计算每 一个预测帧与每一个编码逐行增强层(EL，)的相应编码逐行帧的总 和来重建一个或多个逐行增强层(EL")的所述逐行帧。
9. 根据权利要求8的解码设备，其特征在于所述解码装置(DM) 被安排为i)构造一个预测层(PL，)，该预测层只包括根据不与场重 复标记(FiRF)相关联的编码隔行基层(BL，)的场配对定义的预测 帧，以及ii)通过计算每一个预测帧与相应编码逐行帧的总和来重建 每一个逐行增强层(EL")的每一个逐行帧，以及使用在前的重建逐 行帧的副本来填充与关联于场重复标记(FiRF)的编码隔行基层(BL，) 的场相对应的每一个遗失逐《于帧。
10. 根据权利要求8的解码设备，其特征在于所述解码装置(DM) 被安排为i)构造一个预测层(PL，)，该预测层包括根据不与场重复 标记(FiRF)相关联的所述编码隔行基层(BL，)的场配对而定义的 预测帧，以及重复预测帧，当重复预测帧对应的是与场重复标记(F i RF ) 相关联的所述编码隔行基层(BL，)的场时，每一个重复预测帧与在前的预测帧相等，以及ii)通过计算每一个预测帧或重复预测帧与相应编码逐行帧的总和来重建每一个逐行增强层(EL，，)的每一个逐行帧。
11. 根据权利要求8的解码设备，其特征在于所述解码装置(DM) 被安排为i )构造一个预测层(PL，)，其中该预测层只包括根据不与 场重复标记(FiRF)相关联的所述编码隔行基层(BL，)的场配对而 定义的预测帧，以及ii)通过计算预测帧与相应编码逐行帧的总和来 重建与该预测帧相对应的每一个逐行增强层(EL")的每一个逐行帧， 以及通过计算相应编码逐行帧与所要重建的逐行帧之前的已重建逐行 帧的副本的总和来重建与遗失预测帧相对应的每一个逐行增强层(EL")的每一个逐行帧。
12. —种电子设备，其特征在于它包括根据前述任一权利要求的 编码设备(Dl)和/或解码设备(D2)。
13. 根据权利要求12的电子设备，其特征在于它选自于包含家庭 服务器、专用于家庭联网的机顶盒、广播编码器、流传输编码器以及 显示器的组。
14. 一种用于在压缩的可伸缩比特流(SVB)中编码电影数据的方 法，其中该编码是从包含隔行场的至少一个隔行基层(BL)以及包含 逐行帧的至少一个逐行增强层(EL)开始的，其中某些隔行场是与场 重复标记(FiRF)相关联的重复场，其特征在于它包括以下步骤i) 构造一个预测层(PL)，该预测层包括根据所述隔行基层(BL)的场 配对而定义的预测帧，以及ii)在考虑了与所述隔行基层(BL)的相 应重复场相关联的场重复标记(FiRF)的同时，通过计算每一个预测 帧与相应逐行帧之间的差值来编码每一个逐行增强层(EL)的所述逐 行帧。
15. —种用于解码压缩的可伸缩比特流的方法，其中该解码是从 包含隔行编码场的至少一个编码隔行基层(BL，)以及包含了编码逐 行帧的至少一个编码逐行增强层(EL，)开始的，并且其中某些隔行 编码场是与场重复标记(FiRF)相关联的重复场，其特征在于该方法 包括以下步骤i)构造一个预测层(PL，)，该预测层包括根据所述 编码隔行基层(BL，)的场配对而定义的预测帧，以及ii)在考虑与 所述编码隔行基层(BL，)的相应重复场相关联的所述场重复标记(FiRF)的同时，通过计算每一个预测帧与每一个编码逐行增强层 (EL，)的相应编码逐行帧的总和来重建一个或多个逐行增强层(EL")的逐行帧。
全文摘要
一种用于电子装置的编码设备(D1)，包括用于将电影数据编码成压缩的可伸缩比特流(SVB)的编码装置(CM)，其中该编码是从包含隔行场的至少一个隔行基层(BL)以及包含了逐行帧的至少一个逐行增强层(EL)开始的，并且其中某些隔行场是与场重复标记相关联的重复场。更确切地说，这些编码装置被安排为i)构造一个预测层(PL)，该预测层包括根据所述隔行基层(BL)的第一和第二场定义的预测帧，但是排除了那些包含重复场的预测帧，以及ii)在为了处理遗失预测帧而对与隔行基层(BL)的相应重复场相关联的场重复标记加以考虑的同时，通过计算每一个预测帧与相应逐行帧之间的差值来编码每一个逐行增强层(EL)的逐行帧。
文档编号H04N7/26GK101406065SQ200780010302
公开日2009年4月8日 申请日期2007年3月16日 优先权日2006年3月23日
发明者A·鲍尔格 申请人:皇家飞利浦电子股份有限公司