专利名称：用于解码复杂度限制下的视频编码方法
技术领域：
本发明属于多媒体通信技术领域，特别涉及用于解码复杂度限制下的实时视频编码方法。
背景技术：
随着移动多媒体时代的到来，越来越多的人利用手机、个人数字助理(PDA)和笔记 本电脑等终端设备接入移动通信网络，并借助终端移动性和网络覆盖性，享受无处不在的 视听娱乐。与固定网络业务相比，无线业务不受地点和行为的限制，只要用户愿意，就可 以在任何场所、任何时间接入到无线内容提供商，获取资讯、视频、音频等服务。这种集 网络技术、终端技术和视频处理技术于一体的技术形式必将主导未来的信息业务，包括手 机电视、在线点播、手机视频电话、交通监控、智能家电以及汽车电子等领域。当前各国公司都对这一前沿领域进行了实用化、产品化的探索。但是，这些方案都只 是针对视频业务的数据量大、无线带宽低、无线信道具有时变、易错等特点，采用一些诸 如视频压縮标准11.264和实时传输协议(RTP)、用户数据包协攻'(UDP)及英特网互联协 议(IP)捆绑的措施来保障视频通信的进行。该方法默认移动终端在任何时候都有充足的 能力来处理视频流。这显然不够合理。众所周知，移动终端一般要求体积小、待机时间长， 通常都面临着各种各样严格的资源限制，如中央处理器(CPU)能力、缓存和电池能量等 等，而且某些限制还会随着时间动态地改变或者依赖于当时终端的状况。这与多媒体处理 这类耗费大量计算资源的应用是相抵触的。此外，基于移动互联网络的多媒体系统存在异 构性因素，即节目源在压縮方式、时间和空间分辨率以及信息速率方面都存在不同，不同 终端之间的处理能力也存在明显差异。所以，将视频编解码和网络协议简单组合的方法是 很难对各种终端奏效的，尤其是在解码端可用资源的限制将对视频服务的质量造成重大影 口向的情况下。对于一个基于变换的运动补偿视频编码方法，如H.264、 MPEG-4等，解码复杂度主要 由码率、零系数比例、宏块的预测模式以及帧率等因素决定；具体包括(a) 码流解析和熵解码的计算复杂度(由耗费的时间度量)会随接收码率的增大而增 加，其中码率通常由量化参数(QP)和宏块跳过率(MSR)所决定；(b) 残差系数中零系数比例(由量化参数所决定)越低，解码器中的反量化和反离散 余弦变换模块所需的计算复杂度越大；(c) 视频编码中的宏块跳过(SKIP)模式不同于其它宏块模^ (16x16， 16x8， 8x16， 8x8, 8x4， 4x8, 4x4)，其处理方式是从参考帧中拷贝相同位置的宏块或者预测运动向量所指向 的宏块到当前帧，不需要其它任何操作。这样就省去了其它模式中运动补偿、反量化、反离散余弦变换等计算复杂度较大的操作，大大减小了解码端的计算负荷，同时使重构视频 质量的下降也处于可接受的范围内；(d)帧率也是一个很重要的因素，它直接决定了解码端在1秒钟内需要完成解码的帧 数。帧率越大，对解码端的性能要求也越高。目前可以査到的与本发明比较相关的专利有3个，其公开了与计算复杂度控制和调整 相关的视频编码方法和装置，申请号分别为200480033477.4、 200580010306.4和 200610155131.2。但是这些方法均是针对视频编码器计算复杂度控制而言，而非对解码器 ^计算能力的自适应。发明内容本发明的目的是为克服已有技术的不足之处，提出一个解码复杂度限制下的视频编码 方法，其通过调整QP、 MSR和编码帧率等参数，使生成的码流所需的解码复杂度在解码 端的解码能力范围内，同时最大化视频的重构质量。该方法主要用于带反馈信道的实时编 码场景。本发明提出了一种用于解码复杂度限制下的视频编码方法，需要编码端和解码端进行 交互，包括以下步骤-1)解码端和编码端建立双向通信孝接，解码端请求视频数据，编码端发送压縮的视频码流；'2)解码端解码接收到的视频流，并估计自身的解码复杂度模型C(《,"中的模型参数 集S，并反馈给编码端。C(《,"(表征编码端在参数^，^设置下编码输出的码流被解码 所需的计算复杂度)中变量《为量化参数QP，变量r为宏块跳过率MSR (MSR为被编码 为SKIP模式的宏块在一帧中所占的比例)；3) 解码端检测所能提供的最大解码能力C^，并反馈给编码端；4) 编码端接收解码端反馈的解码复杂度模型参数集S和最大解码能力C^，并最优化 解码复杂度目标函数，再根据该目标函数的解来实时调整编码器的QP、 MSR和编码帧率 各参数设置，并进行编码及发送视频流；5) 每隔一定周期(1~30秒)，重复步骤3)、步骤4)。上述步骤2)中解码端估计解码复杂度模型C&，/0中的模型参数集S，包括以下步骤,设要估计的解码复杂度模型为<:^,0 = (/ .6—1.^ + 6。，该模型的模型参数集 5 = {",/ ,",6}中的各参数为常量加权系数，其中^[l，51]门Z+， Z+表示正整数集合， ,e
， 值域的组合构成可行域；21) 记录解码过程中每个视频帧的编码参数设置{&,/;}和解码耗费的计算复杂度(: ; 其中，字母下标"eZ+表示解码帧号；22) 用解码复杂度模型C(^"对记录的样点值^n,^Cj,"sZ+进行最小均方误差拟 合，获得模型参数集S并反馈给编码端；上述步骤4)中在编码端最优化解码复杂度目标函数，并根据该目标函数的解来实时 调整编码器的QP、 MSR和编码帧率各参数设置，包括以下步骤41) 最小化解码复杂度目标函数AC并使其满足约束AOO。遍历QP和MSR组成的可行域&,d，从中找到最优参数对 使其满足(《Vl-argmin(C鹏-(^e,)如+ 6/^，即使码流所需的解码复杂 度C(《V"与C鹏的差值最小，并且C隨-C(《V*)20;42) 根据41)目标函数的解，实时调整编码器的QP、 MSR和编码帧率各参数设置421) 如果步骤41)中的目标函数存在可行解^*，"}，则编码端按以下步骤依次调整 QP和MSR这两个参数(a) 以最优参数《*为(^编码当前帧；(b) 将当前帧编码后的M个宏块的编码失真(由均方误差度量)从小到大排序；(c) 将前L"'M」个编码失真最小的宏块强制编码为跳过(SKIP)模式，其余的保持 原宏块模式；其中，符号[J表示下取整运算；422) 如果步骤41)中的目标函数不存在可行解，编码端则降低编码帧率，其降低幅 度范围为1~5帧/秒。本发明的特点是(a) 本发明设计的解码复杂度模型是通用的，对于不同的解码器仅仅需要重新估计解 码复杂度模型参数；(b) 本发明的方法没有对视频码流的表征语法进行修改，其输出的码流一定能够兼容 原来使用的视频编码标准，解码器无需改动；(c) 本发明简单实用性，编码端仅通过调整3个编码参数的设置，就能提供对解码能 力各异的移动终端的适应性。''本发明的有益效果主要包括两个方面(a) 对于不同解码能力终端的自适应性来说，可以通过选取最优的QP、 MSR以及编 码帧率参数，使编码输出码流的复杂度具有可控性，能够满足解码端解码能力的限制；(b) 对于原本不具备解码播放视频能力的低端手机(处理器主频为100 200MHz)来 说，可以通过以牺牲少量的视频质量为代价获得流畅的视频播放效果。
图1为本发明用于解码复杂度限制下视频编码的总体流程图。 图2为本发明的解码端实施例的流程图。 图3为本实施例解码复杂度模型测试。图4为编码端工作的流程图。1=1, L - 、 - 、.L、 - 'v兵评头她万瓦本发明提出了一种解码复杂度限制下的视频编码方法。现以国际视频编码标准H.264 为例，并结合附图对本发明的实施例进行详细的描述。 本实施例的条件如下移动终端采用大显CU928型号的PDA，解码器运的硬件环境为主频400MHz的英特 尔Xscale PXA 263处理器和64MB容量的随机存取存储器(RAM)，软件环境为针对手 持电话设备的微软移动视窗操作系统的2003版本。其中，测试序列采用1/4标准化图像 格式(QCIF， 176x144)的Foreman序列；解码器采用H.264标准的参考软件JM;编码 器图像组(GOP)的结构为IPPP...IPPP..， I帧间隔为30，参考帧数为1，运动搜索范围 是16，熵编码方式是基于上下文的自适应二进制算术编码(CABAC)。 ' 本实施例的总体流程如图1所示，它是建立在编码端和解码端周期性地进行交互的 基础之上的，包括以下步骤1)解码端和编码端建立双向通信连接，解码端请求视频数据，编码端发送压縮的视 频码流；2 )解码端解码接收到的视频流，并估计自身的解码复杂度模C(^) = (,e—""和+ 6r)中的模型参数集S—a，/ ,",W(模型参数对于同一个硬件和li 码器实现来说是固定的，所以该步骤只在通信初期进行一次)，并反馈给编码端；3) 解码端检测所能提供的最大解码能力C^，并反馈给编码端；4) 编码端接收解码端反馈的解码复杂度模型参数集S和最大解码能力C，^，并最优 化解码复杂度目标函数，再根据该目标函数的解来调整编码器的QP、 MSR和帧率各参 ，设置，并进行编码及发送视频流。其中，参数QP值域为22~30， MSR值域为0.19-0.58， 编码帧率为1~10帧；5) 每隔5秒的周期，重复步骤3)、步骤4)。图2为图1中解码端的步骤2)、步骤3)和步骤5)的工作流程的进一步详细说明。 在视频通信初期，解码端解码接收到的视频流，并同时估计自身的解码复杂度模型参数 集S，具体包括以下步骤(21) 解码器记录解码过程中每个视频帧的编码参数和解码耗费的计算复杂 度C"，其中，字母下标"eZ+表示解码帧号。图3显示了这些记录结果，图中包括在量 化参数QP分别等于22、 24、 26、 28、 30的条件下的五组值。其中，平面的横纵坐标分 别为量化参数^和宏块跳过率r"，其对应的样点值C"由实心圆点表示。可见，在同一量 化参数下，解码复杂度为MSR的近似线性函数；在同一宏块跳过率条件下，解码复杂度 .,函数为QP的近似指数函数。(22) 用解码复杂度模型C(^)-(^e-叫)如+ ^)对图3中记录的样点值k人，Cj进行最小均方误差拟合，获得模型参数集5 = {",/ ，"，6}并反馈给编码端。(23) 解码端检测移动终端的最大解码能力Cm双并将其反馈回编码端；(24) 解码端每隔5秒的周期，重复(23)。图4为图1中编码端的步骤4)和步骤5)的实施例工作流程的进一步详细说明，即 编码端最优化解码复杂度目标函数，并根据该目标函数的解来实时调整编码器的QP、 MSR和编码帧率各参数设置，具体包括以下步骤(41) 编码端接收来自解码端的解码复杂度模型参数集5 = {",々,",6};(42) 编码端获取周期性更新的解码端所能提供的最大解码能力C^ ;(43) 最小化解码复杂度目标函数$g AC = Cmax—(/ .e—"".(" + &)并使其满足约束AOO。遍历QP(22~30)和MSR(0.19~0.58)组成的可行域{《,,从中找到最优参数对&*，r ， 使其满足{《*,"} = argmin{Cmax，即使码流所需的解码复杂度C(^,") 与解码端最大解码能力Cmax的差值最小，但却不超过C^ ;(44) 如果步骤(43)中的目标函数存在可行解^*,"},编码端则按以下歩骤依次 调整QP和MSR这两个参数(a) 以最优参数9*为量化参数编码当前帧；(b) 将当前帧编码后的99个宏块(QCIF图像)的编码失真(由均方误差度量) 从小到大排序；(c) 将前|_99"」个编码失真最小的宏块强制编码为跳过(SKIP)模式，其余的保持原宏块模式；其中，符号^」表示下取整运算；(45) 如果步骤(43)中的目标函数没有可行解，编码端则降低编码帧率。设=10 是上一周期的帧率，义是当前周期的帧率，么/ = 3是编码帧率的减少幅度，那么当前周期 的编码帧率为《=10-3 = 7帧/秒。(46) 编码端每隔5秒的周期，重复步骤(42)。 尽管本发明已参照具体实施方式
进行描述和举例说明，但是并不意味着本发明限于这些描述的实施方式。本发明以国际视频编码标准H.264为例进行说明，但是并不局限于此， 只要定义了 SKIP宏块模式的标准，如MPEG-4，均可按照本思想进行改动。本领域技术 人员可在本发明思想下对本发明进行多种不同的修改，但凡依本发明权利要求书范围所做 的同等的变化及修饰，均属于专利保护范畴。
权利要求
1. 一种用于解码复杂度限制下的视频编码方法，其特征在于，编码端和解码端进行交互，包括以下步骤1)解码端和编码端建立双向通信连接，解码端请求视频数据，编码端发送压缩的视频码流；2)解码端解码接收到的视频流，并估计自身的解码复杂度模型C(q，r)中的模型参数集S，并反馈给编码端；C(q，r)中变量q为量化参数QP，变量r为宏块跳过率MSR；3)解码端检测所能提供的最大解码能力Cmax，并反馈给编码端；4)编码端接收解码端反馈的解码复杂度模型参数集S和最大解码能力Cmax，并最优化解码复杂度目标函数，再根据该目标函数的解来实时调整编码器的QP、MSR和帧率各参数设置，并进行编码及发送视频流；5)每隔一定周期，重复步骤3)、步骤4)。
2. 如权利要求l所述方法，其特征在于，所述步骤2)中解码端估计解码复杂度模型 C(g，r)中的模型参数集S，包括以下步骤设要估计的解码复杂度模型为C^," = (,e—叫).^ + 6"，该模型的模型参数集 5 = {"，/ ，",6}中的各参数为常量加权系数；其中，^[1,51]门Z+， Z+表示正整数集合， re
， b，^值域的组合构成可行域；21) 记录解码过程中每个视频帧的编码参数设置^。，/^和解码耗费的计算复杂度C。； -， 其中，字母下标"eZ+表示解码帧号；22) 用解码复杂度模型C^,0对记录的样点值(^,/;,Cj,neZ+进行最小均方误差拟 合，获得模型参数集S并反馈给编码端。
3. 如权利要求l所述方法，其特征在于，所述步骤4)中最优化解码复杂度目标函数， 实时调整编码器的QP、 MSR和编码帧率各参数设置，包括以下步骤41) 最小化解码复杂度目标函数并使其满足约束AO0;遍历QP和MSR组成的可行域^,4 ，从中找到最优参数对 ，使其满足(^，")-argmin(C隨-(;5.e,).(a + 6^ ，即使码流所需的解码复杂 度C (9*， r *)与C鹏的差值最小，并且C, - C(f,") 2 0;42) 根据41)目标函数的解，实时调整编码器的QP、 MSR和编码帧率各参数设置421) 如果步骤41)中的目标函数存在可行解{《*,"}，编码端则按以下步骤依次调整 Qi>和MSR这两个参数(a) 以最优参数^为QP编码当前帧；(b) 将当前帧编码后的M个宏块的编码失真从小到大排序；(c) 将前I/、M」个编码失真最小的宏块强制编码为跳过(SKIP)模式，其余的保持 原宏块模式；其中，符号IJ表示下取整运算-,422) 如果步骤41)中的目标函数不存在可行解，编码端则降低编码帧率，其降低幅 度范围为1~5帧/秒。
全文摘要
本发明涉及用于解码复杂度限制下的视频编码方法，属于多媒体通信技术领域；本方法包括解码端和编码端建立双向通信连接；解码端解码接收到的视频流，并估计自身的解码复杂度模型C(q，r)中的模型参数集S和检测所能提供的最大解码能力C<sub>max</sub>，并反馈给编码端；编码端接收解码端反馈的解码复杂度模型参数集S和最大解码能力C<sub>max</sub>，并最优化解码复杂度目标函数，再根据该目标函数的解来实时调整编码器的QP、MSR和帧率各参数设置，并进行编码及发送视频流；本发明兼容原有的视频编码标准，编码输出的码流解码复杂度可控，能够自适应于解码能力各异的移动终端。
文档编号H04N7/50GK101277448SQ200810104940
公开日2008年10月1日 申请日期2008年4月25日 优先权日2008年4月25日
发明者戴琼海, 肖红江, 魏宇平 申请人:清华大学