专利名称：基于码率控制的可伸缩多描述视频编码结构设计方法
技术领域：
本发明属于视频编码及网络传输领域。特别涉及基于码率控制的可伸縮 多描述视频编码结构设计方法。
背景技术：
Internet的无连接包转发机制主要是为了解决突发性的数据传输而设 计的，带宽变化、网络拥塞均将造成包数据的丢失，其本身并不能很好地适 应可伸縮视频码流的传输。对于传统的可伸縮视频码流(Scalable Video Coding ， SVC) —旦丢失了基本层的数据，即使接收再多的增强层数据也 无法正常解码出视频。可伸縮多描述编码是一种在信源编码端利用码流间冗 余度，换取稳定性传输的有效方法。可伸縮多描述编码技术的基本思想是 把视频序列编码成两个或多个重要性相同的视频编码码流，即视频描述。每 个描述都可独立打包成可伸缩码流并在相互独立的信道上传输。只要这些描 述不是同时受到数据丢失的影响，那么在接收端根据这些描述所包含的信息 可获得质量可接受的视频。为了保证从任意一个描述中都可以恢复出一定质 量的视频，各个描述之间将会含有一定的冗余信息，并假设同一视频在多路 径传输过程中多个描述同时丢失信息(尤其是丢失基本层信息)的概率非常 小。这使得可伸缩多描述编码成为一种可靠的视频编码方法。
目前的可伸縮多描述视频编码技术可以分为基于量化的可伸縮多描述 编码技术是对同一信源使用多个不同的量化过程，以产生不同的量化结果； 在基于变换的可伸縮多描述编码的过程中通过成对的相关性变换或普通变换产生不同的描述；基于运动矢量的可伸縮多描述编码技术是将运动矢量信 息包含在不同的描述中；基于运动补偿的可伸縮多描述编码技术通常采用高 阶预测来增强预测之间的相关性，然后将编码得到的数据打上奇帧或偶帧的 标记，平均分配到不同的描述中。
现在的大多数可伸縮多描述算法都是在视频序列的时间和空间冗余度 上作处理，很少有通过码率控制实现可伸縮多描述视频编码的。基于码率控 制的可伸縮多描述技术就是从码率截断方面着手的一种技术，其通过将熵编 码之后的码流按照不同的方式打包以形成可伸縮多描述视频码流。这种技术 在寞体实施中较为简单方便，多描述的解码和单描述解码可以融为一体，是 一种有效的可伸縮多描述视频编码技术。
发明内容
'
本发明的目的在于克服上述现有技术不足，提供一种基于码率控制的可 伸縮多描述视频编码结构设计方法，该方法能够减小有损网络传输对视频观 看效果的影响，使得客户端接收到相对稳定的视频观看效果。
为了实现上述任务，本发明采用的技术解决方案是
实现基于拉格朗日码率控制的可伸縮多描述视频编码设计方法，
首先对原始视频进行传统的沿象素运动轨迹的时域运动补偿滤波，消除 视频帧之间的时域相关性；
然后对时域滤波得到的时域高低频帧进行空域二维离散小波变换，并对
小波分解后的小波系数进行量化以及熵编码；
随后通过将编码后的码流结果以码块为基本单位分成两类或多类，对不 同的码块采用不同的码率进行截断嵌入式码率控制，形成两个或多个描述子 码流，从而得到在时间、空间和质量上均可伸縮的多描述视频描述码流；
最后将不同的视频描述码流在相互独立的信道上进行多路径传输。
4所述的在对编码后的结果进行分类，利用拉格朗日不等式的性质以及视 频中的码率一失真特性将视频帧中码块分为两类或者多类，并针对不同类的 码块分配不同的最大可容码率，首先根据利用拉格朗日不等式的性质以及视
频中的码率一失真特性将视频帧中码块分为两类，任一类A为描述一 的精细
描述，包括低频子带，另一类B为描述一的粗糙描述；同样类B包括低频子
带为描述二的精细描述，类A为描述二的粗糙描述，所谓精细描述是指对相
应码块分配较多得码率，使得其可以有较小的失真，粗糙描述是指对相应码
块分配较少得码率，使得其可以有较大的失真，对于精细描述，采用较大的
码率进行三维码率控制；对于粗糙描述，采用较小得码率进行三维码率控制；
码率控制后按照视频流的格式对两个描述分别打包，即形成了两个重要性相
同的可伸縮多描述视频编码结果。
本发明是一种在信源编码端利用码流间冗余度，提高稳定性传输的有效方
法。该技术提供了支持基于拉格朗日码率控制的多描述可伸縮数字视频编解码结
构设计方法，使得客户端可以从不同的传输信道中获得一定质量的视频码流，从
而获得较为稳定的观看质量，更加适应新型视频媒体应用的发展。
图l是本发明系统结构示意图2是本发明可伸縮多描述码流的多路径传输示意图。
图3是本发明运动补偿时域滤波技术。
图4是本发明基于拉格朗日方法的帧码块划分示意图。
图4(a)表示码率截断候选截断点的选取。
图4(b)表示码率截断后嵌入式码流的结构。
图5是本发明可截断嵌入式码率控制技术。图6是本发明基于拉格朗日码率控制方法的码率控制流程图。 下面结合附图对本发明的内容作进一步详细说明。
具体实施例方式
本发明在空间可伸縮、时间可伸縮、质量可伸縮技术的基础上进一步实 现视频码流的不同插述编码。
由于码块间的码率-失真曲线拥有一定的联系性，可以将视频帧中的码 块分为两类，该编码技术通过在码率控制部分对视频帧中不同类的码块采用 不同的码率控制约束条件，从而获得同一视频内容重要性相同的不同编码码 流，这些码流在网络中利用不同的信道单独传输。如果一个视频描述的数据 包因为网络带宽变化、网络拥塞造成丢失、延迟，客户端可以根据另一个描 述进行视频的解码，从而提高客户端观看的可靠性；如果客户端可以接收到
多个视频描述，由于描述间拥有不同的信息内容，那么客户端将会获得更好 的主观和客观视觉效果。
本发明实现了以上基于拉格朗日码率控制的可伸縮多描述编解码技术， 并将其应用于网络传输中，用户可根据网络传输的具体情况来获取相应质量 以及稳定性的视频码流。
按照上述技术方案，发明人在编解码系统中，采用运动补偿时域滤波
(MCTF)，滤波器选取5-3小波或Haar小波。空域采用了 5-3小波，9-7小 波或Haar小波。编码时采用嵌入式码块优化截断编码技术、位平面编码和 上下文自适应熵编码技术。
参照图1所示，首先对原始视频进行传统的沿象素运动轨迹的时域运动
补偿滤波(MCTF)，消除视频序列的时域相关性，然后对时域滤波得到的
时域高低频帧进行空域二维小波变换(DWT)，并经过嵌入式编码器编码对
小波系数进行量化以及编码。随后将编码后的结果分成两个不同的描述通过"三维码率控制(3DEBCOT)"对已生成的嵌入式码流在时间、空间和质量
上进行不同的码流截断。生成的每个描述码流在不同的码块中所含的信息是 拥有一定冗余的，仅仅单独依靠单个描述也可以恢复出一定质量的视频，如 果可以同时接收到两个描述，那么客户端的主观以及客观观看效果要比仅接 受到一个描述的效果有一定的提高。
参照图2所示，0节点是服务器端，负责向其它节点传输不同的视频码 流；1、 2节点分别接受0节点传输出的一种视频描述，并将其所接收到的 描述通过网络传输给3、 4节点。根据不同的网络稳定性，对于3， 4节点分 别有三种不同的接收情况，即只接收视频描述一或者描述二的情况以及两个 描述均接收到的情况。
参照图3所示，对于每一组帧，首先通过运动估计确定运动轨迹，然后
沿运动轨迹进行完全可重构的时域小波分解得到时域低频帧和高频帧，将能 量集中到低频帧，而运动细节用高频帧表示，从而消除帧间的相关性，同时 还可以提供时域可伸縮性。图中黑色视频帧为运动补偿时域滤波技术的最终 输出结果，而阴影视频帧为中间计算结果。
参照图4所示，.图中所示为一个视频组(GOP)中各个帧的码块划分情 况。其中帧内实线表示二维小波分解后的子带划分情况，虚线为子带内的码 块划分情况。
首先建立一个最为简单的多路径传输结构，如图2。图2中的0节点是 服务器端，负责向其它节点传输不同的视频码流；1、 2节点分别接受0节 点传输出的一种视频描述，并将其所接收到的描述通过网络传输给3、 4节 点。根据不同的网络稳定性，对于3， 4节点分别有三种不同的接收情况， 即只接收视频描述一或者描述二的情况以及两个描述均接收到的情况。设A和A分别为只收到描述一和描述二时的失真度，A和^为只收到描述一和描述二时的概率，D。为两个描述均接收到时的失真度，^为两个描述均接收到的概率，《和A'为两个描述的实际码率，i ;和《为两个描述的最大可容
码率。如果要使这两个节点满足冗余度最小且编码效果较好的条件，则需要
辆足:
1) 平均失真度5 = ;^0。+;^1+/721)2最小。
2) a《。
根据拉格朗日原理，如果要满足上述两个要求，要只需要求式i)的最小
值'
■/ = /VD0 +jPlA +P2"2 -iO + p2(i 2 -《)
由于式(i)中i ;和《均为常数，可以将式(i)化简为:
(i)
J" = +52D2+/ 2i 2 (2)
如果式(2)中的每一个部分均由各个码块数据之和表示，则推导出式
(3)
_ _ JV JV JV
7 = 2《+1^2,+《1]《+《1^2,+^1^'+^1^2,
/e/2 ,=1 ,=2 z=l /=2
(3)
其中《表示描述一中各个码块的失真度，《表示描述二中各个码块的失真度，化表示描述一中各个码块的码流长度，同理&表示描述二中各个码块的码流长度。对式(3)求其偏导并令其结果为O。可以得到式(4)
l +《
码块属于该描述码块不属于该描述
因此可以将码块按照码率失真特性分为两个子类^、 ^。"描述-
(4)'"中^类码块利用i ;值进行可伸縮码流截断，^类码块利用《进行可伸縮码流截 断；"描述二"则反之。这样就形成了两个不同的可伸縮描述。
由于这种方法需要先遍历视频帧中的所有码块，所消耗的时间复杂度比 较高，且运算较为复杂，在此方法基础上可以选用较为简单的方法，如图2 所示，对于描述一，深色部分用《>《进行码率截断，浅色部分用《进行码
率截断，由于i 一《则可认为利用i ;进行码率截断的部分为描述一的精细描 述，利用《进行码率截断为描述一的粗略描述。同理对于描述二，对深色部
分进行粗略描述，对浅色部分进行精细描述。由于LL子带的信息非常重要，
且对解码后视频的主观、客观观看效果有很大的影响，因此无论描述一还是
描述二都对LL子带进行精细描述码率截断。
参照图5所示，视频帧中每一个码块都对应一条码率-失真度曲线。一 般来说，失真度会随着码率的增大而减小，即码率-失真度曲线的斜率会单 调递减。根据此可以选择嵌入式编码码率控制的候选截断点，如图5(a)，所 有的候选解断点均是可能的码率控制截断点。选取候选解断点之后按照希望 码率-失真度阈值将熵编码后的码流分成不同的层，如图5(b)所示。每一层
都是根据客户端网络传输路径中对码率的需求，去分配不超过传输路径中设 定的码流大小的熵编码码字。在客户端解码时，客户所获取的累计层数的码 流越多，解码出来的图像质量越好。
参照图6所示，首先，按照图4所示方法划分精细粗糙描述，然后分别 对每个描述的各个码块进行精细粗糙码块的判断。所述精细描述为分配了较 多码率的码块，解码后其所含信息主观效果更为清晰；所述粗糙描述为分配 了较少码率的码块，解码后其所含信息的主观效果相对模糊。若是精细码块 则采用较大码率经行码率控制，否则采用较小码率经行码率控制。最后对每个描述的各个码块按照标准扫描次序(Z字型扫描)依次打包，从而形成不 同的描述。
本发明提供的具有时间、空间、质量及复杂度可伸縮及联合可伸縮的多 描述视频编码设计方法，可以满足视频流媒体异构传输网络服务和用户多样 性的需求。具体包括
1) 通过"运动补偿时域滤波技术"，对原始视频消除帧间的时域冗余。
2) 通过"熵编码技术"，对消除时域冗余后的视频纹理信息的进行有效 的编码。
3) 通过"拉格朗日特性的码率控制技术"，对编码后的信息分成两个或 者多个不同的类别。
4) 通过"三维可截断嵌入式码率控制技术"，对分类后的编码信息根据 不同的需求实现码流的任意截断，以实现不同视频描述的生成；
5) 通过"多路径传输技术"，将生成的多个视频描述子独立传输。
6) 以上的步骤整体称为"拉格朗日码率控制的可伸縮多描述编解码技 术系统架构"，对原始视频码流进行可伸縮多描述视频编码。
所述"拉格朗日码率控制的可伸縮多描述编解码技术体系统架构"是指，
把视频序列编码成多个描述子，每个描述子的比特流具有完全可分级性的视 频编码方法。它通过一次编码将视频组成不同描述子的码流，在这样多样化 需求的环境下，可以根据用户的需求自适应的选择需要传输的码流，即实现 一次编码多描述多层解码。这种灵活的码流组织模式既能充分利用当前的网 络带宽的条件，又可以满足终端的多样性、网络的异构性等视频通信和网络 传输需求。
所述"运动补偿时域滤波技术"是指，通过运动估计确定运动轨迹，然 后沿运动轨迹进行完全可重构的时域小波分解得到时域低频帧和高频帧，将能量集中到低频帧，而运动细节用高频帧表示，从而消除帧间的相关性。
所述"熵编码技'术"是指，通过位平面编码技术和算术编码技术，对时 域空域小波变换后的小波系数进行不定长编码，以获得视频纹理信息的编码 码流。其主要歩骤包括两部分，首先利用位平面编码产生对应每个码字的上 下文，然后采取基于上下文的自适应算术编码实现压縮编码。
所述"基于拉格朗日特性的码率控制技术"是指，利用拉格朗日不等式 的性质以及视频中的码率一失真特性将视频帧中码块分为两类或者多类，并 针对不同类的码块分配不同的最大可容码率以产生重要性相同但内容不同 的视频编码码流，即视频描述编码(视频中的每一帧均可划分为互相独立的 码块)。然后将每一个视频描述单独打包，并在相互独立的信道上向客户端 传输。生成的每个描述码流在不同的码块中所含的信息是拥有一定冗余的， 仅仅单独依靠单个描述也可以恢复出一定质量的视频，如果可以同时接收到 两个描述，那么客户端的主观以及客观观看效果要比仅接受到一个描述的效 果有一定的提高。
所述"可截断嵌入式码率控制技术"是指，把压縮生成的码流可划分成 若干子集，每一个子集表示对源视频图像的一个压縮。嵌入式码流可在任意 一处候选截断点被截断，得到不同码率或质量的重构图像。根据传输路径和 客户端的需求对编码结果进行截断，将原始视频码流分成不同的层表示，以 达到在相同码流长度时的最优编码结果。
所述"多路径传输技术"是指，把视频的每个描述子按照不同的传输路 径传输到目的节点，从而实现视频的多个描述子的独立传输。目的节点根据 接收到的描述子数目进行解码，随着描述子数目的增多，是视频的解码质量 也随之提高。
权利要求
1. 基于码率控制的可伸缩多描述视频编码结构设计方法，其特征在于，具体包括下列步骤首先对原始视频进行传统的沿象素运动轨迹的时域运动补偿滤波，消除视频帧之间的时域相关性；然后对时域滤波得到的时域高低频帧进行空域二维离散小波变换，并对小波分解后的小波系数进行量化以及熵编码；随后通过将编码后的码流结果以码块为基本单位分成两类或多类，对不同的码块采用不同的码率进行截断嵌入式码率控制，形成两个或多个描述子码流，从而得到在时间、空间和质量上均可伸缩的多描述视频描述码流；最后将不同的视频描述码流在相互独立的信道上进行多路径传输。
2、 根据权利要求1所述的基于码率控制的可伸縮多描述视频编码结构设计方法，其特征在于，所述的在对编码后的结果进行分类，利用拉格朗日不等式的性质以及视频中的码率一失真特性将视频帧中码块分为两类或者多类，并针对不同类的码块分配不同的最大可容码率，首先根据利用拉格朗日不等式的性质以及视频中的码率一失真特性将视频帧中码块分为两类，任一类A为描述一的精细描述，包括低频子带，另一类B为描述一的粗糙描述；同样类B包括低频子带为描述二的精细描述，类A为描述二的粗糙描述，所谓精细描述是指对相应码块分配较多得码率，使得其可以有较小的失真，粗糙描述是指对相应码块分配较少得码率，使得其可以有较大的失真，对于精细描述，采用较大的码率进行三维码率控制；对于粗糙描述，采用较小得码率进行三维码率控制；码率控制后按照视频流的格式对两个描述分别打包，即形成了两个重要性相同的可伸縮多描述视频编码结果。
全文摘要
本发明公开了一种基于码率控制的可伸缩多描述视频编码结构设计方法。是对同一个视频采用两个或多个重要性相同的描述。通过“运动补偿时域滤波技术”，消除时域冗余；通过“熵编码技术”，实现三维小波系数的多描述视频纹理信息的有效编码；通过“拉格朗日特性的码率控制技术”，实现不同视频描述的形成；通过“三维可截断嵌入式码率控制技术”，实现码流的任意截断，以满足不同质量的视频解码结果；通过“多路径传输技术”，实现多个描述子的独立传输。
文档编号H04N7/26GK101478677SQ20081023644
公开日2009年7月8日 申请日期2008年12月24日 优先权日2008年12月24日
发明者兰旭光, 苗 惠, 策 李, 斌 王, 薛建儒, 赵松霖, 郑南宁 申请人:西安交通大学