专利名称：三维小波视频编码中的自适应帧分组算法的制作方法
技术领域：
本发明涉及视频编码领域中的帧分组算法，具体为一种三维小波视频编码中的自适应帧
分组算法。
扭旦灶士 冃尔忟不
由于小波变换的多尺度分析特性，基于三维小波变换的视频序列压缩方法能够提供质量、 空间、时间可扩展性。在现行的技术上，三维小波变换通过一维时域小波变换加二维空域小 波变换的方式实现。在进行一维时域小波变换时， 一般采用结合运动补偿的时域滤波技术。 运动补偿时域滤波技术使得时域小波变换在具有较强相关性的像素间进行，从而有效地去除 各帧之间的相关性，提升编码效率。
由于存储和编解码的限制，在对视频序列进行时域一维小波变换时首先需要对序列进行 分组(Gro叩of Picture, GOP)，然后再对每个GOP进行多级时域一维小波变换。在进行多级 时域小波变换时，每一级变换均对上一级变换得到的低频帧进行运动补偿时域滤波，直至只 剩下一个低频帧，附图1示出了G0P大小为16时的这一过程。因此，当时域小波变换进行到 较高级时需要对在时域上相隔较远的帧进行运动补偿小波变换。例如，当G0P大小为16时， 第四级时域Harr小波变换是在基于原序列的第1帧和第9帧所得到的两个低频帧之间进行 的。因此，若视频序列具有较强的运动，则相隔较远的两帧之间的运动补偿效果会变差，从 而降低编码效率。然而，目前的大部分三维小波视频编码方案并没有很好地考虑到这一特性， 主要采用两种方法确定GOP大小方法一是采用固定大小(一般为8或者16)的G0P对视频 序列进行处理；方法二是根据当前GOP的运动情况去判定下一个GOP的大小。方法一不能随 视频序列的运动变换情况而自适应地改变GOP大小。方法二虽能自适应地改变GOP大小，但 不能很好地跟踪视频序列的运动变化。因此，这两种分组算法都可能造成潜在的编码性能下 降。
另一方面，运动补偿时域Harr小波变换具有如下特性 一个大小为2* = 1,2,3,…)的 G0P的运动补偿时域Harr小波变换可以通过如下方式实现首先将该G0P按前后顺序分为两 个大小为W的子GOP，再对两个子GOP分别进行运动补偿时域Harr小波变换，最后再对得到 两个子G0P的低频帧丄u和丄,进行一级运动补偿时域Harr小波变换。由上述步骤得到的1个 低频帧和2 + AT-l个高频帧即为原GOP的运动补偿时域Harr小波变换结果。附图2示出了此 特性在7^ = 4时的一个例子。同理， 一个大小为7V的G0P可以由其两个大小为AT/2的子G0P 的进行上述的合并而实现。因此， 一个大小为2、/^ = 2，3,4,...)的GOP可以由其大小为2的子GOP开始，通过逐级对连续的且大小一致的子GOP的低频帧进行运动补偿时域Harr小波变换
而进行合并的方式得到最终的运动补偿时域Harr小波变换结果。
发明内容
为克服背景技术中所叙述的分组算法的不足，本发明的目的在于，提供一种能自适应视
频序列变化情况的三维小波视频编码中的自适应帧分组算法，其具体技术方案如下
一种应用于三维小波视频编码中的自适应帧分组算法，首先确定一个最大GOP大小，通
过逐级合并子GOP的方式，实现最大GOP的运动补偿时域Harr小波变换，并在每次合并的过 程中检验需要进行的运动补偿是否有效，即能否准确地对高频帧像素进行预测，以此确定是 合并两个子G0P，从而得到两个子GOP所组成的GOP的运动补偿时域Harr小波变换结果，还 是保持两个子GOP不变而得到两个独立的子GOP，从而将最大GOP划分为若干独立子GOP，得 到自适应的GOP结构，其特征在于，具体包括下列步骤
基于背景技术中所描述的运动补偿时域Harr小波变换的特性，在确定最大GOP的大小为 ^max(W顯== 4，5，6，…)并将视频序列划分为连续的大小为Wmax的GOP后，采用如下过程 实现每个最大GOP运动补偿时域Harr小波变换首先将最大GOP划分为若干大小为2的子 GOP,并对这些子GOP进行运动补偿时域Harr小波变换，然后再对两个连续且大小为2的子 GOP的低频帧进行运动补偿时域Harr小波变换。两个大小为2的子GOP进行上述步骤后，将 得到由二者合并所得的大小为4的子GOP的运动补偿时域Harr小波变换结果。完成合并大小 为2的子GOP之后，再合并连续的两个大小为4的子G0P，得到大小为8的子GOP的运动补 偿时域Harr小波变换结果，重复对得到的子GOP进行上述合并过程，直至得到原GOP的运动 补偿时域Harr小波变换结果。
为了得到自适应的帧分组结构，在进行上述的对连续的两个大小一致的子GOP的低频帧 进行运动补偿时域Harr小波变换，合并两个子GOP的过程中，需要检验在两个低频帧间进行 的运动补偿过程是否有效，即能否准确地对高频帧像素进行预测，并由此确定是对两个子GOP 的低频帧进行运动补偿时域Harr小波变换，从而合并两个子GOP并得到两个子GOP所组成的 GOP的运动补偿时域Harr小波变换结果，还是保持两个子GOP不变而得到两个独立的子GOP。 在进行上述判断时，若运动补偿效率较低，则不合并两个子G0P，保持两个子GOP的低频帧 不变，从而得到两个独立的子G0P，否则若能有效进行运动补偿，则对两个子GOP的低频帧 进行运动补偿时域Harr小波变换，从而合并两个子G0P，得到两个子GOP所组成的GOP的运 动补偿时域Harr小波变换的结果。对于一个最大G0P，从大小为2的子GOP开始重复进行上 述的检测、合并的步骤，直至不能合并任何两个子GOP或者只存在一个GOP，得到最终的GOP 结构。
由前述可知，本发明具有如下有益效果直接依据运动补偿的效果将最大GOP分解为若
干合适大小的子GOP，得到优化的分组结构；在得到分组结构的同时已经对各子GOP进行了
运动补偿时域Harr小波变换，可以直接进行后续的处理过程；仅在判断结果为不合并子GOP
时增加一次运动补偿过程，因此本发明只会少量地增加编码算法的变换复杂度。
图1， G0P大小为16时的运动补偿时域Harr小波变换过程。
图1示出了 G0P大小为16时的运动补偿时域Harr小波变换过程。在图1中，1代表未 进行变换之前G0P中的各帧；2和3分别代表第一级运动补偿时域Harr小波变换后所得到的 低频帧和高频帧；4和5分别代表第二级运动补偿时域Harr小波变换后所得到的低频帧和高 频帧；6和7分别代表第三级运动补偿时域Harr小波变换后所得到的低频帧和高频帧；8和 9分别代表了第四级运动补偿时域Harr小波变换后所得到的低频帧和高频帧；如图所示，原 G0P —共需要进行四级运动补偿时域Hair小波变换，最终得到的1个低频帧8， 8个高频帧3, 4个高频帧5， 2个高频帧7和1个高频帧9，即原G0P经过运动补偿时域Harr小波变换后得 到1个低频帧和15个高频帧。
图2, G0P大小为8时分解为子G0P实现运动补偿时域Harr小波变换的过程。
图2示出了大小为8的G0P分解为两个子G0P实现运动补偿时域Harr小波变换的过程。 在图2中，10和11分别表示由原G0P的前4帧和后4帧所组成的子G0P中的各帧；12和13 分别表示第一个子GOP第一级运动补偿时域Harr小波变换后所得的低频帧和高频帧；14和 15分别表示第二个子GOP第一级运动补偿时域Harr小波变换后所得的低频帧和高频帧；16 和17分别表示第一个子GOP第二级运动补偿时域Harr小波变换后所得的低频帧和高频帧； 18和19分别表示第二个子GOP第二级运动补偿时域Harr小波变换后所得的低频帧和高频帧； 20和21分别表示对第一个子GOP和第二个子GOP的运动补偿时域Harr小波变换过程；22和 23表示对两个子GOP的低频帧进行运动补偿时域Harr小波变换后所得到的低频帧和高频帧； 如图所示，大小为8的GOP的运动补偿时域Harr小波变换可以通过对其大小为4的子GOP的 低频帧作一次运动补偿时域Harr小波变换而实现。
图3，分组算法实施过程和结果。
图3示出了本发明所述分组算法的一次具体实施过程和结果。图中24至31代表将原GOP 按顺序划分所得的8个大小为2的子GOP; 32代表对GOP作运动补偿时域Harr小波变换的过 程；对子G0P24，子G0P25，子G0P26，子G0P27，子G0P28,子G0P29，子G0P30，子GOP31 进行由32所表示的运动补偿时域Harr小波变换，其结果分别由33， 34， 35， 36， 37， 38, 39， 40所表示；42， 43， 44, 45代表分别由子G0P24和子GOP25，子G0P26和子G0P27，子G0P28和子G0P29，子G0P30和子G0P31合并后所得的大小为4的子GOP的运动补偿时域Harr 小波变换结果；46代表由子G0P28，子G0P29,子G0P30，子G0P31合并后所得的大小为8的 子GOP的运动补偿时域Harr小波变换结果；41代表一个判决器，用来判定两个子GOP的低 频帧进行一次运动补偿时域Harr小波变换时的运动补偿是否有效，从而决定是否合并两个子 G0P。
具体实施例方式
根据前述的描述，以下给出发明者的对所发明的算法的一个具体实施流程，但本专利所 保护的范围并不限于该实施流程。
1) 设定最大的GOP大小为UA^ =2*^ = 4，5,6，...)，并将视频序列划分为连续的大
2) 对于每个大小为7V^的G0P,将其划分为W^/2个大小为2的子GOP，并对每个子
GOP进行时域Harr小波变换后标记为非独立GOP;
3) 若存在未被标记为独立GOP的子GOP，则转第4歩，否则转第5步；
4) 从第一个未被标记为独立GOP的子GOP开始，对连续的两个子GOP，若二者中至少有 一个被标记为独立GOP或二者大小不一致，则将两个GOP均标志为独立GOP并转到第5歩， 否则先保留它们的低频帧丄。，A ，再对A)和A进行时域Harr小波变换，得到一个低频帧ZZ和
一个高频帧丄//，检查新得到的高频帧丄/z与变换之前的帧i:,是否满足下式
<『 (1)
上式中，M4S()表示求该帧所有像素的平均绝对值，r表示一个阈值，取值为0.06，
那么有如下两种结果
今若丄,和丄//能够满足(1)式，则用ZX和丄/Z取代丄。和A并合并这两个子GOP，并将新 的GOP标记为非独立G0P;
今若A和不能够满足(1)式，则丄。和^保持不变，并将这两个子GOP标记为独立GOP;
5)若所有的子GOP都被标志为独立G0P或者只存在一个子G0P且该G0P大小为Wraax则 结束分组，否则转到第3步。
在上述实施例中，式(i)中的阈值r是基于对大量标准测试序列进行测试所取得的。这个
取值能够对大部分的测试序列取得优化编码效率的效果。
图中24至31代表原G0P按顺序划分的8个大小为2的子G0P
附图3示出了本发明依据上述流程对一个G0P进行分组的过程和结果。图中所述的最大 G0P的大小为16。如图所示，首先对最大GOP进行划分，得到由24至31所代表的原G0P按
顺序划分的8个大小为2的子G0P，随后分别对子G0P24， G0P25，子G0P26，子G0P27,子 G0P28，子G0P29，子G0P30，子G0P31进行由32所表示的运动补偿时域Har:r小波变换，得 到分别由33， 34， 35， 36， 37， 38， 39， 40所表示的结果。接下来，33和34， 35和36， 37 和38， 39和40均经过判决器41以判定是否合并子GOP。四个判决器的结果均为进行合并， 得到42， 43， 44， 45所表示的分别由子G0P24和子G0P25， 子G0P26和子G0P27,子G0P28 和子G0P29,子G0P30和子GOP31合并后所得到的大小为4的子GOP的运动补偿时域Harr小 波变换结果。接着，42和43再经过判决器41，判决结果为不进行合并，42和43保持不变； 44和45也经过判决器41，判决结果为进行合并，得到46所表示的由子G0P28，子G0P29, 子G0P30，子G0P31合并所组成的大小为8的子GOP的运动补偿时域Harr小波变换结果。接 下来无法再继续进行合并操作，分组过程结束。原大小为16的GOP被划分为两个分别由子 G0P24和子G0P25，子G0P26和子G0P27所组成的大小为4的子G0P，以及一个由G0P28,子 G0P29，子G0P30，子G0P31所组成的大小为8的子GOP.
权利要求
1.一种三维小波视频编码中的自适应帧分组算法，首先确定一个最大GOP大小，通过逐级合并子GOP的方式，实现最大GOP的运动补偿时域Harr小波变换，并在每次合并的过程中检验需要在两个低频帧间进行的运动补偿是否有效，即能否准确地对高频帧像素进行预测，以此确定是合并两个子GOP，从而得到两个子GOP所组成的GOP的运动补偿时域Harr小波变换结果，还是保持两个子GOP不变而得到两个独立的子GOP，从而将最大GOP划分为若干独立子GOP，得到自适应的GOP结构。
2. 根据权利l所述的三维小波视频编码中的自适应帧分组算法，其特征在于所叙述的最大 G0P的大小A^^为24 , AT为大于3的整数。
3. 根据权利l所述的三维小波视频编码中的自适应帧分组算法，其特征还在于通过逐级合 并子GOP的方式，实现运动补偿时域Harr小波变换的过程首先是将最大GOP划分为若干大小 为2的子G0P，并对这些子GOP进行运动补偿时域Harr小波变换，然后合并连续的两个大小 为2的两个子G0P，得到大小为4的子G0P的运动补偿时域Harr小波变换结果，再合并连续 的两个大小为4的子GOP，得到大小为8的子G0P的运动补偿时域Harr小波变换结果，重复 对得到的子GOP进行上述合并过程，直至得到原GOP的运动补偿时域Harr小波变换结果。
4. 根据权利l所述的三维小波视频编码中的自适应帧分组算法，其特征还在于所叙述的合 并子GOP是指对两个子GOP的低频帧进行运动补偿时域Harr小波变换，得到由二者合并所得 的GOP的运动补偿时域Harr小波变换结果。
5. 根据权利l所述的三维小波视频编码中的自适应帧分组算法，其特征还在于根据运动补 偿是否有效，以确定是否合并子GOP的过程是指若运动补偿效率较低，则不合并两个子GOP， 保持两个子GOP的低频帧不变，从而得到两个独立的子G0P，否则若能有效进行运动补偿， 则对两个子GOP的低频帧进行运动补偿时域Harr小波变换，从而合并两个子GOP,得到两个 子GOP所组成的GOP的运动补偿时域Harr小波变换的结果。
全文摘要
本发明涉及视频编码领域中的一种三维小波视频编码中的自适应帧分组算法。该算法包括如下步骤首先将最大GOP划分为大小为2的子GOP，再采用逐级合并连续且大小一致的子GOP的方式实现最大GOP的运动补偿时域Harr小波变换；在每次合并子GOP前，检验将进行的运动补偿是否有效，并以此确定是合并子GOP，还是不合并子GOP而得到独立的子GOP；重复上述过程直至不能合并任何子GOP或者只剩下一个子GOP，得到最终的GOP结构。该算法能够自适应视频序列的变换，将最大GOP划分为一个或者若干个独立GOP，提升编码性能。
文档编号H04N7/26GK101184243SQ20071019542
公开日2008年5月21日 申请日期2007年11月28日 优先权日2007年11月28日
发明者凃国防, 吴伟仁, 孙应飞, 灿 张, 康 陈 申请人:中国科学院研究生院