专利名称：利用加权预测编码/解码多层视频的方法和装置的制作方法
技术领域：
符合本发明的装置和方法涉及视频编码，而且更具体地，涉及在多层视 频编解码器中利用层间信息有效地编码多个层。
背景技术：
随着信息通信技术的发展，包括因特网在内，包含诸如文本、视频、音 频等等各种信息的多媒体服务日益增多。多媒体数据需要存储媒体的较大的 容量以及用于传送的较宽的带宽，因为多媒体数据的量通常很大。例如，具
有640*480分辨率的24位真彩图像每帧需要640*480*24位的容量，即，大 约7.37兆位的数据。当以每秒30帧的速度传送该图像时，需要221兆位/ 秒的带宽。当存储基于这样的图像的90分钟电影时，需要大约1200千兆位 的存储空间。因而，压缩编码方法是用于传送包含文本、视频、和音频的多 媒体数据所必须的。
数据压缩的基本原理是去除数据冗余度。可以通过去除其中在图像中重 复相同的颜色或物体的空间冗余度、其中在运动图像中相邻帧之间改变甚微 或在音频中重复相同的声音的时间冗余度、或者考虑人眼视力和对高频的有 限感知的心理视觉冗余度来压缩数据。可以将数据压缩根据是否损失源数据 而划分为有损/无损压缩，根据是否独立地压缩单独的帧而划分为帧内/帧间 压缩，以及根据压缩所需的时间是否与复原所需的时间相同而划分为对称/ 不对称压缩。数据压缩如果压缩/复原时间延迟不超过50毫秒则定义为实时 压缩，而当帧具有不同的分辨率时就定义为可缩放压缩。对于文本或医学 (medical)数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。 进一步，帧内压缩通常用于去除空间冗余度，而帧间压缩通常用于去除时间 冗余度。
用于传送多媒体信息的传输介质根据传送的媒体类型而在性能上有差 异。当前使用的传输介质具有各种传输率，范围例如从能够以每秒数十兆位 的传输率传送数据的很高速度的通信网络到具有384 Kbps的传输率的移动
通信网络。诸如MPEG-1、 MPEG-2、 H.263或H.264的之前的一见频编码4支术 基于经运动补偿的预测编码技术去除冗余度。具体地，通过运动补偿来去除 时间冗余度，而通过变换编码来去除空间冗余度。这些技术具有良好的压缩 率，但是由于在主算法中使用了递归方法而不能提供真实可缩放位流的灵活 性。因而，近来已经对基于小波的可缩放视频编码进行了积极的研究。可缩 放性表示部分地解码单个压缩位流的能力，即，执行多种类型的视频再现的 能力。可缩放性包括表示视频分辨率的空间可缩放性、表示视频质量等级的 信噪比(SNR)可縮放性、表示帧频的时间可缩放性、以及其组合。
H.264可缩放扩展(以下称为'H.264 SE，)的标准化目前由MPEG (运 动画面专家组)和ITU (国际电信联盟)的联合视频组(JVT )执行。H.264 SE的一个有利特征在于，其利用了层之间的关联以在采用H.264编码技术 时编码多个层。虽然所述多个层从分辨率、帧频、SNR等等方面考虑彼此不
这一点，提出了多种在编码上层数据时利用关于下层的信息的有效技术。
图1是用于说明传统H.264中提出的加权预测的图。所述加权预测允许 将经运动补偿的参考画面适当地缩放而不是平均地缩放，以便改善预测效率。
当前画面10中的运动块11 ('宏块，或'子块，作为用于计算运动向量 的基本单位)与由前向运动向量22指向的左参考画面20中的预定图像21 对应，同时与由后向运动向量32指向的右参考画面30中的预定图像31对 应。
编码器通过从运动块11中减去从图像21和31获得的预测图像来减少 用于表示运动块11所需的位数。不使用加权预测的传统编码器通过简单地 将图像21和31平均来计算预测图像。然而，由于运动块11通常与左和右 图像21和31的平均不相同，因而难以获得准确的预测图像。
为了克服该不足，H.264中提出了一种利用加权总和确定预测图像的方 法。根据该方法，为每个片段(slice)确定权重因子a和(3，并使用权重因 子a和(3与图像21和31的乘积的总和作为预测图像。所述片段可以由多个 宏块组成而且与画面相同。多个片段可以构成画面。所述提出的方法可以通 过调整权重因子而获得与运动块11差别甚小的预测图像。该方法还可以通 过从运动块11中减去预测图像而改善编码效率
发明内容
技术问题
虽然H.264中定义的加权预测很有效，但是该技术迄今仅被用于单层视
频编码。尚未有研究关注于将该技术应用于多层可缩放视频编码。从而，需 要将加权预测应用于多层可縮滋j见频编码。
技术方案
本发明的说明性的、非限制性的实施例克服上面的缺点以及上面未描述 的其它不足。符合本发明的装置和方法利用来自下层中的画面的信息来估计 将被应用于上层中的画面的权重因子，并利用所估计的权重因子对所述上层 中的画面才丸4亍力口权预测。
这些装置和方法还提供用于执行所述加权预测的算法。 通过下面对优选实施例的描述，本发明的这些和其它方面将得到说明或 显而易见。
根据本发明的 一个方面，提供一种通过利用关于下层中的画面的信息对 上层中的当前画面执行加权预测来编码视频的方法，该方法包括读取关于 下层画面的信息；利用所述关于下层画面的信息计算权重因子；利用所述权 重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以 及对当前画面与所述预测画面之间的差进行编码。
根据本发明的另 一个方面，提供一种通过利用关于下层中的画面的信息 对上层中的当前画面执行加权预测来解码视频的方法，该方法包括从输入 位流中提取紋理数据和运动数据；从紋理数据重建关于下层画面的信息；利 用所述关于下层画面的信息计算权重因子；利用所述权重因子计算当前画面 的参考画面的加权总和并产生当前画面的预测画面；以及从紋理数据重建当 前画面的余量信号并将重建的余量信号添加到预测画面。
根据本发明的另 一个方面，提供一种利用关于下层中的画面的信息对上 层中的当前画面执行加权预测的视频编码器，该视频编码器包括用于读取 关于下层画面的信息的部件；用于利用所述关于下层画面的信息计算权重因 子的部件；用于利用所述权重因子计算当前画面的参考画面的加权总和并产 生当前画面的预测画面的部件；以及用于对当前画面与所述预测画面之间的
差进行编码的部件。
根据本发明的另一个方面，提供一种利用关于下层中的画面的信息对上
层中的当前画面执行加权预测的视频解码器，该视频解码器包括用于从输 入位流中提取紋理数据和运动数据的部件；用于从紋理数据重建关于下层画 面的信息的部件；用于利用所述关于下层画面的信息计算权重因子的部件； 用于通过利用所述权重因子计算当前画面的参考画面的加权总和来产生当 前画面的预测画面的部件；以及用于将紋理数据当中当前画面的紋理数据添 加到预测画面的部件。
通过结合附图详细描述其优选实施例，本发明的以上和其它特征以及优 点将变得更加显而易见，其中
图1是用于说明H.264中提出的传统加权预测的图2是示出根据本发明的实施例的多层加权预测方法的流程图3是示出图2中所示的步骤S50的子步骤的流程图4示出其中上层分辨率为下层两倍但帧频与下层相同的多层视频结
构；
图5示出其中上层和下层具有经运动补偿的时间滤波(MCTF)结构的 多层视频结构；
图6示出其中上层和下层具有分层B结构的多层视频结构； 图7示出其中上层具有MCTF结构而且下层具有分层B结构的多层视 频结构；
图8示出其中上层和下层具有相同帧频而且画面具有多个参考方案的多 层视频结构；
图9示出其中在当前画面是异步画面时应用本发明的实施例的示例； 图10是用于说明将从下层计算得到的权重因子用于上层的方法的示意
图11是根据本发明的实施例的视频编码器的框图； 图12是根据本发明的实施例的视频解码器的框图； 图13是其中根据本发明的示范性实施例的视频编码器和/或视频解码器 工作的系统的示意性框图。
具体实施例方式
通过参照下面对优选实施例的详细描述以及附图，将更容易理解本发明 的优点和特征以及其实现方法。然而，本发明可以以许多不同形式具体化， 而且不应当被解读为限于这里阐述的实施例。更确切地，提供这些实施例是 为了使本公开彻底和完整并向本领域技术人员全面传达本发明的概念，而且
本发明将仅由所附权利要求书限定。说明书全文中类似的引用数字指代类似
的元素。
现在将参照其中示出本发明的实施例的附图更全面地描述本发明。 加权预测可以对由画面亮度的逐渐增加或减少造成的淡入或淡出序列 很有效。当使用多层可缩放视频编解码器编码淡入或淡出序列时，将被应用 于上层的权重因子被预期为与下层的权重因子类似。也即，来自下层中的画 面的信息可以用于对上层中的画面执行加权预测。该情况下，编码器不需要
向解码器发送用于加权预测所需的权重因子a和(3,因为来自下层中的画面 的信息在编码器和解码器处均可得到。于是，解码器可以根据与编码器中使 用的相同的算法来^L行加权预测。
图2是示出根据本发明的实施例的多层加权预测方法的流程图。
参照图2，如果在步骤S10中输入上层中的当前画面，则在步骤S20中 确定当前画面是否是同步画面。本发明中，同步画面意味着在下层('基础 画面，)的相同位置具有相应的画面的画面。异步画面意味着在下层的相同 时间位置不具有相应的画面的画面。时间上相同的位置可以被确定为如联合 可缩放视频模型(JSVM)所定义的计数画面(Picture of Count POC)。
如果当前画面是同步画面(步骤S20中的"是")，则在步骤S30中编码 器确定当前画面具有与基础画面相同的参考方案和参考距离。所述参考方案 可以是前向参考、后向参考、双向参考、或其它多重参考方案。所述参考距 离指^皮预测的画面与参考画面之间的时间距离。JSVM中，可以将所述时间 距离表示为被预测的画面的POC与参考画面的POC之间的差。
如果当前画面具有与基础画面相同的参考方案和参考距离(步骤S30中 的"是")，则在步骤S50中编码器对当前画面应用加权预测。相反地，如果 当前画面不具有与基础画面相同的参考方案和参考距离(步骤S30中的 "否")，则在步骤S60中编码器不对当前画面应用加权预测。
图3是示出图2中所示的步骤S50的子步骤的流程图。参照图3，在步 骤S51中，编码器读取关于下层中的画面的信息。关于下层画面的信息包括 基础画面以及相对于基础画面经运动补偿的参考画面。步骤S52中，利用关 于下层画面的信息计算权重因子a和(3。稍后将更详细地描述步骤S52中从 给定画面计算权重因子a和卩的方法('权重因子计算算法，)。
步骤S53中，编码器利用运动向量对参考画面执行运动补偿以获得当前 画面。在运动补偿期间，使用通过运动估计从上层估计得到的运动向量。如 果使用多个参考画面，则应当使用适当的运动向量对多个参考画面中的每一 个才丸4于运动补偿。
步骤S54中，编码器将权重因子a和p乘以经运动补偿的参考画面并将 乘积相加以获得预测画面(或预测片段)。编码器在步骤S55中计算当前画 面(或片段)与预测画面(或片段)之间的差并在步骤S56中对差进行编码。
如参照图3所述，不必向解码器发送用于对上层执行加权预测所需的额 外标志或权重因子。解码器可以通过以与编码器相同的方式执行加权预测来 计算编码器中使用的权重因子。
图4至8示出可以应用本发明的多种多层视频结构。图4示出一种结构， 其中上层(层2)中的画面分辨率为下层(层1 )中的画面的两倍但帧频与 下层相同，而且两个层均具有单个时间等级。引用符号I、 P、和B分别表 示I画面(或片段)、P画面(或片段)或B画面(或片段)。
画面具有相同的参考方案和参考距离，所以层i中的参考画面具有与层2中 相应画面相同的位置。可以使用应用于基础画面的权重因子来对其基础画面 具有相同的参考方案和参考距离的上层中的当前画面进行编码或解码。当 然，在两个层使用相同的参考方案时，可以使用非相邻画面作为参考画面。 图5示出一种多层视频结构，其中上层(层2)的帧频为下层(层1 ) 的两倍。参照图5,上层比下层多一个时间等级。这里描述的技术可以应用 于其中将上和下层分解为分层时间等级的结构。也即，可以使用应用于它们
相应的基础画面57至59的权重因子来有效地对上层中的高通画面当中满足 参照图2所述的条件的画面54至56进行编码和解码。另一方面，不对上层 中处于最高等级(等级2)的没有相应的基础画面的高通画面50至53应用 加4又预测。
图6示出一种多层视频结构，其中上层(层2)和下层(层l)具有H.264 中定义的分层B结构。与图5中一样，上层的帧频为下层的两倍。所述分层 B结构中，以与MCTF结构不同的方式将每个层分解为时间等级。也即，帧 频以从高到低等级的次序增加。假定上层的帧频是A，当解码器期望以帧频 A/4解码视频时，编码器仅发送处于等级2的画面。当解码器期望以帧频A/2 解码视频时，编码器可以仅发送处于等级2和1的画面。当解码器期望以帧 频A解码视频时，编码器可以发送处于全部等级的画面。
参照图6,高通画面61具有与基础画面64相同的参考方案和参考距离， 而高通画面62具有与基础画面65相同的参考方案和参考距离。因而，可以 使用应用于基础画面64和65的权重因子对高通画面61和62进行加权参考。 另一方面，不对高通画面63应用加权参考，因为它不具有相应的基础画面。
图7示出一种多层视频结构，其中上层(层2)具有MCTF结构而且下 层(层1)具有分层B结构。参照图7，不对上层中的处于等级2的高通画
另一方面，处于等级1或0的高通画面具有相应的基础画面。例如，高通画 面72具有基础画面75。虽然高通画面72具有MCTF结构而且基础画面75 具有分层B结构，但是如果两个画面72和75具有相同的参考方案和参考距 离则可以毫无问题M^应用加4又预测。因为两个画面72和75实际上具有相同 的参考方案和参考距离，所以可以应用加权预测。类似地，可以使用分配给 画面74的4又重因子对画面73才丸4亍加4又预测。
图8示出一种多层视频结构，其中上层(层2)和下层(层1 )具有单 个时间等级，而且上层中的全部高通画面具有相应的基础画面。然而，上层 中的高通画面不全具有与它们相应的基础画面相同的参考方案和参考距离。
例如，高通画面81具有与其相应的基础画面85相同的参考方案(双向 参考方案)和相同的参考距离(1)。高通画面82具有与其相应的基础画面 86相同的参考方案(后向参考方案)和相同的参考距离(1)。相反地，高通 画面83和84不采用与它们相应的基础画面87和88相同的参考方案。因而， 不对高通画面83和84应用加权预测。
虽然在上面描述中，在当前画面是同步画面而且当前画面具有与基础画 面相同的参考方案和参考距离时应用加权预测，但是本发明不限于图2至8 中所示的具体实施例。
在当前画面是异步画面时，可以使用当前画面的最接近时间位置处的下 层画面及其参考画面来计算权重因子。当如图9中所示上层(层2)的帧频
为下层(层l)的两倍时，上层中的画面91和93具有相应的基础画面，而 且上层和下层中的画面具有不同的参考距离。然而，可以使用画面91和93 的最接近时间位置处的下层中的画面92及其参考画面94和96来计算画面 91和93的4又重因子a和p。
例如，对下层画面92以及参考画面94和96应用'权重因子计算算法， 以计算权重因子a和(3,其可以用作为画面91和93的权重因子。结果，在 像淡入或淡出序列中亮度逐渐增加或减少时可能发生微小的误差但并不显 著地影响编码性能。对其它序列，该方法与其中应用一半权重因子a和卩的 情况相比显示出较高的编码性能。以下，将处于上层画面的相同时间位置的 或最接近时间位置的下层画面统一称为'基础画面'。
现在将描述所述'权重因子计算算法'。图IO是用于说明将从下层计算 得到的权重因子用于上层的方法的示意图。
首先将参照图IO描述下层中发生的操作。即，单元块41意味着尺寸范 围从块尺寸到画面尺寸的区域。因而，单元块41可以是运动块、宏块、片 段、或画面。当然，与单元块41对应的参考画面中的图像42和43具有与 单元块41相同的尺寸。当单元块41是运动块时来自单元块41的运动向量 44和45意味着运动向量。当单元块41是宏块、片段、或画面时，运动向量 44和45意味着多个运动向量的图形表示。
权重因子计算算法由以下步骤组成(a)使用预定系数otk和队计算基 础画面的参考画面的加权总和；以及(b )确定使基础画面与加权总和之间 的差的平方最小化的系数(Xk和Pk的值。其中，OCk和Pk分别表示前向和后向 系数。
当利用加权预测(即，步骤(a)中参考图像42和43的加权总和)获 得当前单元块41的预测块时，单元块41中像素Sk的加权预测值P(S0可以 由等式(1)定义。
<formula>formula see original document page 12</formula>…(l)
其中Sw的S^分别表示图像42和43中与像素Sk对应的像素。 作为实际像素Sk与预测值P(Sk)之间的差的误差Ek可以由等式(2)定
义 H ) = K &一, - A * …(2 )
因为Ek是单个像素的误差，所以单元块41中的误差的平方的总和(2Ek2)
由等式(3)定义
JX二S(KH"w)2 …(3)
当对2Ek2关于(Xk求偏微分并将微商设为零以获得使5:Ek2最小化的ak时，
得到等式(4)。该情况下，将队设为0以便不考虑pk的影响。
使SE 最小化的第一权重因子ak可以由等式(5)给出
当以与(Xk相同的方式计算时，使SE 最小化的第二权重因子队可以由 等式(6)给出
可以使用前述算法确定图10中所述的下层中的单元块41的权重因子cik 和卩k。可以使用权重因子ock和(3k作为上层中与单元块41对应的块46的权 重因子。当上层具有与下层相同的分辨率时，块46和41具有相同的尺寸。 当上层具有比下层更高的分辨率时，块46可以具有比块41更大的尺寸。
上层使用分配给下层的权重因子ak和pk计算参考图像47和48的加权 总和而不是计算新的权重因子，从而减少开销。在编码器和解码器中均可以 以相同的方式执行使用分配给下层的权重因子作为上层的权重因子的过程。
虽然利用上述过程独立地计算权重因子(Xk和(3k，但是可以基于ak+(3k=l 的假定将这些因子归一化。换句话说，通过使用l-otk代替(3k而仅将一个权 重因子oik用于双向参考方案。在等式(3)中用l-oik代替Pk给出等式(7): IXHD-(H)、]2 …(7)
等式(7)中使证J最小化的权重因子ak可以由等式(8)定义
Zd -&—)X^v+i - (8)
~~l](n,)2~~ …
与使用权重因子Otk和Pk二者相比，仅使用一个归一化的权重因子(Xk减
少了计算量。通过使用(Xk和l-ak分别作为参考图像47和48的权重因子而 获得加权总和。
图11是根据本发明的实施例的视频编码器100的框图。参照图11,将
输入当前画面F供给到运动估计器105、减法器115、以及下采样器170。 在基础层中， 一见频编码器100以下面方式工作。 下采样器170在时间上和空间下采样当前画面F。
运动估计器205使用相邻参考画面对经下采样的画面F。执行运动估计 以得到运动向量MV。。可以使用原始图像For作为参考画面(开环编码)，或 者可以使用解码图像F。/作为参考画面(闭环编码)。以下假定视频编码器100 中的上层和下层均支持闭环编码。对于运动估计，广泛使用块匹配算法。换 句话说，将当前帧中预定尺寸的块与相应的块进行比较，其中每一个在预定 范围的搜索块中被移动一个像素或部分像素(1/2像素、1/4像素等等)，并 检测具有最小误差的最佳匹配块。对于运动估计，可以使用简单的固定块尺 寸运动估计以及分层可变尺寸块匹配(HVSBM)。
运动补偿器210使用运动向量MVq为参考画面Fo/进行运动补偿以得到 经运动补偿的画面mc(F(v)。当使用多个参考画面F()/时，可以对多个参考画 面F(,/中的每一个执行运动补偿。将经运动补偿的画面mc(F。,')或利用经运动 补偿的画面mc(F()/)计算得到的预测图像供给到减法器215。当使用单向参考 时，输入经运动补偿的画面mc(F。/)。当使用双向参考时，可以在将其输入 到减法器215之前通过将多个经运动#卜偿的画面mc(F。/)平均来计算预测画 面。因为本发明的当前实施例不受是否对下层应用加权预测的影响，所以图 11示出未对下层应用加权预测，当然，也可以对下层应用加权预测。
减法器215从经下采样的画面F。中减去估计的画面(或每个经运动补 偿的块)并产生差信号Ro,接着将其提供到变换器220。
变换器220对差信号R。执行空间变换并产生变换系数R。T。所述空间变 换方法可以包括离散余弦变换(DCT)、或小波变换。具体地，在采用DCT 的情况下可以创建DCT系数，而在采用小波变换的情况下可以创建小波系 数。
量化器225将变换系数量化。量化是指利用离散数值来表示以任意实数 值形成的变换系数的过程。例如，执行量化以使得用预定的量化步长来除变 换系数，并接着使用整数将结果取整。
将从量化器225提供的量化结果(即，量化系数RQQ )提供到熵编码单 元150和逆量化器230。逆量化器230将量化系数R^逆量化。根据量化中使用的预定量化步骤， 以与由量化器225执行的量化相反的次序执行逆量化，以还原与量化期间产 生的指标匹配的数值。
逆变换器235接收逆量化结果并执行逆变换。以与由变换器220执行的 变换相反的次序执行逆变换。具体地，可以使用逆DCT变换、或逆小波变 换。加法器240将逆变换结果和由运动补偿器210执行的运动补偿步骤中使 用的预测画面(或经运动补偿的画面)相加，并产生还原画面F"
緩冲器245存储从加法器240提供的加法结果。因而，在緩沖器245中 不仅存储当前的还原画面Fo'而且存储之前存储的还原画面F0/。
在上层中，视频编码器100以下面方式工作。
与在下层中一样，在上层中视频编码器100包括运动估计器105，计 算运动向量MV;运动补偿器IIO，使用运动向量MV为参考画面F/进行运 动补偿；减法器115，计算当前画面F与预测画面P之间的余量信号R;变 换器120，对余量信号R施加变换以产生变换系数RT;量化器125，将变换 系数RT量化以输出量化系数RQ。上层的视频编码器还包括逆量化器130、 逆变换器135、加法器140、以及緩沖器145。由于这些组件的功能和操作与 下层中的相同，将略去对它们的重复说明。下面描述将着重于所述组件的区 别特征。
权重因子计算器180使用下层中与上层中的当前画面对应的基础画面 Fi)和经运动补偿的参考画面mc(F"')来计算权重因子a和(3。可以通过上面等 式(5)和(6)计算权重因子a和(3。可以通过等式(8)计算归一化的权重 因子。当然，在使用单向参考方案时，将可以仅使用一个权重因子。
加权总和计算器160使用计算得到的权重因子a和p (或归一化的权重 因子)来计算由运动补偿器110提供的经运动#卜偿的画面mc(F/)的加^L总和。 例如，当Fa和Fb是经运动补偿的画面而且Fa和Fb的权重因子是a和(3时， 加权总和可以表示为a*Fa+(3*Fb。当仅使用一个经运动补偿的画面Fa以及经 运动补偿的画面Fa的权重因子a时，加权总和表示为a*Fa。
同时，如上所述，对每个运动块、宏块、片段、或画面执行加权预测。 如果以比画面更小的单元执行加权预测，则应当计算与画面中单元的It量对 应的多对权重因子a和(3，并对每个单元应用不同的权重因子以计算加权总 和。将由加权总和计算器160获得的加权总和(即，预测画面P)供给到减
法器115。
减法器115通过^/v当前画面F中减去预测画面P而产生余量信号R,并 将其提供到变换器120。变换器120对余量信号R施加空间变换以创建变换 系数RT。量化器125将变换系数RT量化。
熵编码单元150分别对从运动估计器105和205提供的经运动估计得到 的运动向量MV和MV。以及从量化器125和225提供的量化系数RQ和R0Q 执行无损编码。所述无损编码方法可以包括例如霍夫曼编码、算术编码、以 及本领域普通技术人员所知的任何其它合适的无损编码方法。
图12是根据本发明的实施例的视频解码器300的框图。
熵解码单元310对输入位流执行无损解码，并提取各个层的运动向量 MV和MV(,以及紋理数据RQ和R0Q。在每个层中以与由熵编码部件#1行的 无损编码相反的次序执行无损解码。
将提取的下层的紋理数据R。Q提供到逆量化器420，并将提取的下层的 运动向量MV。提供到运动补偿器460。将提取的上层的紋理数据RQ提供到 逆量化器320,并将提取的上层的运动向量MV提供到运动补偿器360。
首先将描述在下层中执行的解码过程。
逆量化器420对紋理数据R^执行逆量化。逆量化是使用与量化过程中 相同的量化表来还原与量化过程期间产生的指标匹配的数值的过程。
逆变换器430接收逆量化结果R()T'并执行逆变换。以与由变换器执行的 变换过程相反的次序执行逆变换。具体地，可以使用逆DCT变换、或逆小 波变换。作为逆变换的结果，还原的余量信号Ro'被提供到加法器440。
运动补偿器460使用提取的运动向量MV。对之前还原并存储在緩冲器 450中的下层的参考画面Fo,'进行运动补偿，并产生经运动补偿的画面 mc(F0r')。
在上层中，视频解码器300以下面方式工作。
与在下层中一样，在上层中视频解码器300包括逆量化器320、逆变换 器330、緩冲器350、以及运动补偿器360。由于这些组件的功能和操作与下 层中的相同，将略去对它们的重复说明。下面描述将着重于所述组件的区别特征。
^l重因子计算器380使用基础画面Fo和经运动补偿的画面mc(F。/)来计 算权重因子a和(3。可以通过等式(5)和(6)计算权重因子a和p。可以通过等式(8)计算归一化的权重因子。当然，在使用单向参考方案时，将 可以仅使用一个权重因子。
加权总和计算器370使用计算得到的权重因子a和(3 (或归一化的权重 因子)来计算由运动补偿器360提供的经运动补偿的参考画面mc(F/)的加权 总和。将由加权总和计算器370获得的加权总和(即，预测画面P)供给到 加法器340。
与视频编码器100中一样，对每个运动块、宏块、片段、或画面执行加 权预测。如果以比画面更小的单元执行加权预测，则应当计算与画面中单元 的数量对应的多对权重因子a和(3,并对每个单元应用不同的权重因子以计
算力口4又总禾口。
加法器340将从逆变换器330提供的逆变换结果R'与预测画面相加并还 原当前画面F'。緩冲器350存储还原的当前画面F'。
图13是其中根据本发明的示范性实施例的视频编码器IOO和视频解码 器300工作的系统的示意性框图。所述系统可以是电视机(TV)、机顶盒、 台式、膝上、或掌上计算机、个人数字助理(PDA)、或者视频或图像存储 装置(例如，磁带录像机(VCR)或数字录像机(DVR))。此外，所述系统 可以是上述装置的组合、或者是其中包括它们当中的另外的装置的部分的一 个装置。所述系统包括至少一个视频/图像源910、至少一个输入/输出单元 920、处理器940、存储器950、以及显示单元930。
视频/图像源910可以是TV接收机、VCR、或其它视频/图像存储装置。 视频/图像源910可以表示利用因特网、广域网(WAN)、局域网(LAN)、 地面广播系统、有线网、卫星通信网、无线网、电话网等等从服务器接收视 频或图像的至少一个网络连接。此外，视频/图像源910可以是所述网络的组 合、或者是其中包括所述网络当中的另外的网络的部分的一个网络。
输入/输出单元920、处理器940、以及存储器950通过通信介质960彼 此通信。通信介质960可以是通信总线、通信网络、或至少一个内部连接电 路。从视频/图像源910接收的输入视频/图像数据可以由处理器940使用存 储在存储器950中的至少一个软件程序来处理，并可以由处理器940执行， 以产生提供到显示单元930的输出^L频/图像。
具体地，存储在存储器950中的软件程序包括执行根据本发明的实施例 的方法的可缩放基于小波的编解码器。所述编解码器可以存储在存储器950
中，可以从诸如致密盘形只读存储器(CD-ROM)或软盘的存储介质读取， 或者可以通过各种网络从预定服务器下载。
工业实用性
如上所述，根据本发明的实施例的视频编码器和视频解码器通过从基础 画面计算权重因子而不需向解码器发送额外信息使得能够有效地进行上层 画面的加权预测，从而改善纟见频数据的压缩效率。
虽然已经参照其示范性实施例具体地展示和描述了本发明，但是本领域 技术人员应当理解，可以在其中从形式和细节上做出各种改变而不背离由所 附权利要求书限定的本发明的精神和范围。
权利要求
1.一种通过利用关于下层中的画面的信息对上层中的当前画面执行加权预测来编码视频的方法，该方法包括读取关于下层画面的信息；利用所述关于下层画面的信息计算权重因子；利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及对当前画面与预测画面之间的差进行编码。
2. 如权利要求1所述的方法，其中所述关于下层画面的信息包含与当 前画面》寸应的基础画面以及所述基；出画面的参考画面。
3. 如权利要求2所述的方法，其中所述基础画面的参考画面是从所述 基础画面通过运动向量经运动补偿得到的画面。
4. 如权利要求2所述的方法，其中所述基础画面是具有与当前画面最 接近的时间位置的下层帧。
5. 如权利要求2所述的方法，其中所述基础画面是具有与当前画面相 同的时间位置的下层帧。
6. 如权利要求4所述的方法，其中如果当前画面具有与所述基础画面 相同的参考方案和参考距离则执行所述信息的读取、所述权重因子的计算、 参考画面的所述加权总和的计算、以及对所述差的编码。
7. 如权利要求1所述的方法，其中以画面、片段、宏块、和运动块其 中之一为单位执行所述权重因子的计算以及参考画面的所述加权总和的计
8. 如权利要求2所述的方法，其中所述权重因子的计算包括 利用预定系数计算所述基础画面的参考画面的加权总和；以及计算使所述基础画面与所述加权总和之间的差的平方最小化的系数的值。
9. 如权利要求8所述的方法，其中所述系数包括前向和后向系数。
10. 如权利要求9所述的方法，其中所述前向和后向系数之和为1 。
11. 如权利要求l所述的方法，其中参考画面的所述加权总和的计算包括 如果仅存在当前画面的一个参考画面，则计算所述权重因子与当前画面 的参考画面的乘积；以及如果存在当前画面的多个参考画面，则将适当的权重因子分别乘以所述 多个参考画面，并将乘积加到一起。
12. —种通过利用关于下层中的画面的信息对上层中的当前画面执行加 权预测来解码包含在输入位流中的视频的方法，该方法包括从所述输入位流中提取紋理数据和运动数据； 从所述紋理数据重建关于下层画面的信息； 利用所述关于下层画面的信息计算权重因子；利用所述权重因子计算当前画面的参考画面的加权总和并产生当前画 面的子贞测画面；以及从所述紋理数据重建当前画面的余量信号并将重建的余量信号添加到 予贞:测画面。
13. 如权利要求12所述的方法，其中所述关于下层画面的信息包含与
14. 如权利要求13所述的方法，其中所述基础画面的参考画面是从所 述基础画面通过运动向量经运动补偿得到的画面。
15. 如权利要求13所述的方法，其中所述基础画面是具有与当前画面 相同的时间位置的下层帧。
16. 如权利要求13所述的方法，其中所述基础画面是具有与当前画面 最接近的时间位置的下层帧。
17. 如权利要求15所述的方法，其中如果当前画面具有与所述基础画 面相同的参考方案和参考距离则执行所述紋理数据和运动数据的提取、所述 关于下层画面的信息的重建、所述权重因子的计算、参考画面的所述加权总 和的计算、以及所述余量信号的重建。
18. 如权利要求13所述的方法，其中以画面、片段、宏块、和运动块 其中之一为单位执行所述权重因子的计算以及参考画面的所述加权总和的
19. 如权利要求13所述的方法，其中所述权重因子的计算包括 利用预定系数计算所述基础画面的参考画面的加权总和；以及计算使所述基础画面与所述加权总和之间的差的平方最小化的系数的值。
20. 如权利要求19所述的方法，其中所述系数包括前向和后向系数。
21. 如权利要求20所述的方法，其中所述前向和后向系数之和为1。
22. 如权利要求12所述的方法，其中参考画面的所述加权总和的计算 包括如果仅存在当前画面的一个参考画面，则计算所述权重因子与当前画面 的参考画面的乘积；以及如果存在当前画面的多个参考画面，则将适当的权重因子分别乘以所述 多个参考画面，并将乘积加到一起。
23. —种利用关于下层中的画面的信息对上层中的当前画面执行加权预 测的视频编码器，该^L频编码器包括用于读取关于下层画面的信息的部件； 用于利用所述关于下层画面的信息计算权重因子的部件； 用于利用所述权重因子计算当前画面的参考画面的加权总和并产生当 前画面的预测画面的部件；以及用于对当前画面与预测画面之间的差进行编码的部件。
24. —种利用关于下层中的画面的信息对上层中的当前画面执行加权预 测的视频解码器，该视频解码器包括用于从输入位流中提取紋理数据和运动数据的部件； 用于从所述紋理数据重建关于下层画面的信息的部件； 用于利用所述关于下层画面的信息计算权重因子的部件； 用于通过利用所述权重因子计算当前画面的参考画面的加权总和来产 生当前画面的预、测画面的部4牛；以及用于将所述紋理数据当中当前画面的紋理数据添加到预测画面的部件。
全文摘要
一种在多层视频编解码器中利用层间信息有效地编码多个层的方法和装置。该方法包括读取关于下层画面的信息；利用所述关于下层画面的信息来计算权重因子；利用所述权重因子来计算当前画面的参考画面的加权总和并产生当前画面的预测画面；以及对当前画面与所述预测画面之间的差进行编码。
文档编号H04N7/24GK101185334SQ200680019116
公开日2008年5月21日 申请日期2006年4月20日 优先权日2005年5月2日
发明者李教爀, 车尚昌, 韩宇镇 申请人:三星电子株式会社