专利名称：基于快速模式判决的h.264/avc高效转码器的制作方法
技术领域：
本发明属于网络通信技术领域，涉及H. 264/AVC (advanced video coding)标准内 的快速码率转码方法，可用于实时多媒体传输及其它数据传输。
背景技术：
随着移动通信技术的不断发展，网络接入速度的飞速提升，移动终端日趋智能化， 以及数字压缩技术的日益优化，移动终端已从简单的通信、联络工具，发展成为一个多媒体 智能平台。与此同时，传统的彩信、图铃下载等增值业务已无法满足用户的需求。移动流媒 体的出现将改变这种状况，它能为用户提供包括视频点播、移动视频聊天、移动视频监控等 服务。移动流媒体是移动通信和流媒体传输的结合，它通过移动网络在移动终端上采用流 媒体技术进行数据传输。然而，移动终端的多样性，无线网络的波动性以及移动终端的处理 能力有限制约了移动流媒体的发展，需要研究相应的技术来解决这些问题。码率变换的视频转码可以根据终端的处理能力以及网络带宽的条件，提供最合适 的视频流，因此码率变换是解决上述问题的关键技术。码率转换最直接的办法是采用级联 的全解全编转码器。它将解码后的视频流按目标码率进行重新编码，并且为了消除漂移误 差引入了反馈环路从而能得到最佳的图像质量。但是完整的解码和编码过程具有极高的计 算复杂度，实用的转码结构一般是在上述结构的基础上采取许多优化措施，充分利用输入 码流信息，在保持视频质量下降不大的条件下，尽可能降低转码运算复杂度。视频码率转码是视频转码中最早研究的内容，其目的是在保持低运算复杂度和高 图像质量的基础上实现压缩视频流的高码率到低码率的转换，从而适应不同信道带宽。码 率转码研究的重点集中在两个方面一是如何减小系统的复杂度，二是如何在目标压缩码 率下达到最高的图像质量。码率转码最直接的方式是采用级联式码率变换转码器。参照图1，它分为两个部 分先由解码器对输入视频流解码，再由一个编码器按照要求对解码后的视频进行编码。通 过将解码后的视频流按目标码率进行重新编码，从而能够得到最佳的图像质量。该技术方 案实现时需要对输入码流进行完全解码，然后对解码后图像重新进行运动估计、编码模式 判决等编码操作，运算复杂度高，不能满足实时视频转码要求，在实际视频通信系统中对运 算/存储等资源的占用率很高，从而造成设备成本居高不下、实际推广应用困难。
发明内容
本发明的目的在于克服上述已有技术的缺点，提出一种基于快速模式判决的 H. 264/AVC高效转码器，通过直接对宏块模式进行选择和运动矢量的细化的方法，简化编码 端模式判决和运动估计操作，以降低转码运算复杂度，满足实时转码的要求。为实现上述目的，本发明提供的H. 264/AVC高效码率转码系统包括解码器用于对H. 264/AVC视频码流解码，得到宏块模式、运动信息、残差图像和 解码帧图像，并将宏块模式、运动信息和残差图像传送给快速模式判决器，同时把解码帧图像传送给编码器；快速模式判决器用于根据解码器送来的信息和编码器送来的参考帧图像对解码 帧图像进行快速模式判决得到新的宏块模式，并传送给编码器；编码器用于根据快速模式判决器传送的信息对解码器送来的解码帧图像进行编 码，得到既定目标码率的H. 264/AVC压缩码流。为实现上述目的，本发明提供的H. 264/AVC高效码率转码方法，包括如下步骤(1)对接收到的视频码流进行解码，得到解码帧图像F以及每一个宏块的编码模 式与运动矢量、残差块矩阵三者之和，该解码图像作为当前时刻的编码帧；(2)判断当前编码帧是否为I帧，如果是，则不参与快速转码，用JVT会议参考软 件JM中的高复杂度RDO模式判决，计算当前编码帧每个宏块的最佳帧内宏块模式，退出快 速模式判决；(3)判断当前编码帧是否为第一个P帧，如果是，则不参与快速转码，转到步骤 (4)，否则对当前帧的每个宏块执行步骤(5)；(4)用JVT会议参考软件JM中的高复杂度RDO模式判决和运动搜素方法，计算当 前编码帧每个宏块的最佳宏块模式和运动矢量，并对解码帧图像F进行编码，最后计算出 当前帧最佳宏块模式下的平均失真值，作为后续编码帧的模式判决门限T，退出快速模式判 决；(5)计算当前宏块残差系数和及平方和，分别用符号Σ Diffi和Σ Diffi2表示；(6)计算出当前编码帧的参考帧的平均绝对误差MAD、均方误差MSE和预测运动矢 量；(7)如果当前宏块模式为帧内模式或者SKIP模式，则直接复用当前宏块模式，记 为新的宏块模式H，新的运动矢量S为零，转到步骤(9)；否则通过下式估计宏块失真度D=E Diffi2+2 α *MAD* Σ Diffi+ β *MSE，
^v2dl+mv2dj其中~~Γ‘ β = 16*16* α , mvdl + mvdj其中mVdi，mVdj为当前解码宏块运动矢量的两个分量，‘，;^为当前解码帧所有 宏块运动矢量的两个分量的平均值，根据估计的失真度D和模式判决门限T，选择新的宏块 模式H;(8)解码宏块运动矢量和预测运动矢量分别作为搜索起点，对当前宏块做小钻型 搜索，得到新的运动矢量S;(9)利用宏块模式H和新的运动矢量S，对解码帧图像F进行编码；(10)当前帧编码完成后，统计重构帧和解码帧的峰值信噪比，若与上一帧统计峰 值信噪比结果相差超过一个门限，则返回步骤(4)，否则，退出快速编码。本发明与现有技术相比具有如下优点1)本发明的快速模式判决系统由于采用了快速模式判决器，简化了编码器的运动 矢量搜索和宏块模式判决，使得编码器的运算量大为降低，节省编码时间。2)本发明中的快速模式判决方法，由于充分利用解码图像和参考帧的图像信 息、运动矢量、宏块编码类型和残差，直接进行宏块模式的选择和运动矢量的细化，简化了 H. 264/AVC编码器复杂的RDO模式判决、运动估计的操作，在保持转码图像质量的情况下，
5极大地降低了转码运算复杂度和和时间。
图1是现有的H. 264/AVC像素域级联全解全编转码系统框图；图2是本发明H. 264/AVC高效码率转码系统框图；图3是本发明H. 264/AVC高效码率转码方法流程图。
具体实施例方式参照图2，本发明的基于快速模式判决的H. 264/AVC高效码率转码系统，由解码 器、快速模式判决器和编码器三部分组成。其中解码器用于对输入的H. 264/AVC压缩视频码流进行解码，并把宏块模式信息和 运动信息传给快速模式判决器，同时把解码图像传送给编码器。解码器主要由变长解码器、 反量化、反变换、运动补偿和参考帧五个单元组成。其中变长解码器、反量化和反变换三个 单元用来计算残差图像和解码信息，运动补偿和参考帧两个单元用来产生预测图像。预测 图像和残差图像相加得到解码图像。快速模式判决器利用解码器得到的解码帧图像数据和编码器参考帧图像数据进 行快速模式判决得到的宏块模式，并传送给编码器。编码器利用快速模式判决器得到的宏块模式和运动信息对解码器解码图像进行 编码，输出既定目标码率的H. 264/AVC压缩码流。编码器由变换、量化、变长编码器、运动补 偿、解码环和反馈环六个单元组成。其中变换、量化、变长编码器三个单元用来编码残差图 像，运动补偿、解码环和反馈环三个单元用来产生预测图像，其中变长编码器还用来编码边 信息，预测模式、量化参数、运动矢量。本发明系统的工作原理如图2所示解码器对输入的H. 264/AVC压缩比特流通过 变长解码器、反变换、反DCT变换后，得到残差图像像素值，并与运动补偿单元得到的预测 图像相加得到解码图像，传送至编码器。同时变长解码器将运动信息传送至快速模式判决 器和运动补偿单元，将解码宏块信息传送至快速模式判决器。快速模式判决器利用解码器 得到的解码帧图像和编码器参考帧图像进行快速模式判决操作，并传送至编码器。编码器 利用快速模式判决得到的宏块模式和运动矢量对解码器输出的解码图像进行编码。将解码 图像和编码器运动补偿得到的预测图像相减得到的残存图像，然后进行整数DCT变换、量 化和熵编码，同时把解码需要的边信息，一起组成压缩视频码流输出。同时将量化系数通过 解码环路、反馈环路得到重构图像，并且参考帧图像数据传送至快速模式判决器以供后续 帧快速模式判决使用。参照图3，本发明的高效码率转码方法步骤如下步骤1，对输入的H. 264视频压缩码进行解码，得到每个宏块的编码模式、运动矢 量、残差和解码帧图像。步骤2，判断当前编码帧是否为I帧，如果是则采用JVT会议参考软件JM的高复杂 RDO帧内模式判决，退出快速转码。步骤3，判断当前编码P帧在当前的GOP里是否为第一个P帧，如果是则不参与快 速转码，转到步骤4，否则对当前P帧的每个宏块执行步骤5。
6
步骤4，对当前帧每个宏块利用JVT会议参考软件JM的RDO高复杂度模式判决和 运动搜素计算模块模式和运动矢量，并且统计该帧最佳帧间宏块模式下的失真平均值作为 后续编码帧模式判决的门限Ti，i为枚举类型可以为P16 X 16，P16 X 8，P8 X 16和P8 X 8四 种值，退出快速模式判决。步骤5，如果当前宏块模式为帧内模式或者SKIP模式，则直接复用当前宏块模式， 记为新的宏块模式H，新的运动矢量S为零，转到步骤(9)；否则通过下式估计宏块失真值 其中α=> β = 16*16* α ,
mvdl+mvdj其中mvdi，mvdj为当前解码宏块运动矢量的两个分量，‘，;^为当前解码帧所有 宏块运动矢量的两个分量的平均值，根据估计的失真值D和模式判决门限T，选择与Ti最接 近的帧间模式，并且根据输入解码宏块模式对判决结果予以修正，如果判决结果模式比输 入模式还要精细则直接复用输入模式。步骤6，对当前帧每个宏块以输入的解码宏块运动矢量和预测运动矢量为搜索起 点，做小钻型搜素以细化运动矢量，得到新的运动矢量传送至编码器。步骤7，根据快速判决的新模式和新的运动矢量对当前宏块进行编码。步骤8，当前帧编码后统计重构帧和解码帧的PSNR，若与上一帧统计PSNR结果相 差超过一个门限，则返回步骤3，否则退出。本发明的效果通过以下实验进一步说明1)实验条件硬件环境=CPUIntel Pentium(R) 4，3. OGHZ，1. OG 内存;软件测试模型JMl2. 0 ；Profile :Baseline profile ；GOP 结构IPPPP…;编码帧数10，100;参考帧数目1;搜索范围16像素；搜索精度1/4像素精度；RDO JVT会议参考软件JM规定的高复杂度RDO ；参考序歹[J :akiyo> bridge-close> bidge-far> container^ flower> hall ；输入码流的源码率为1024kbps，分辨率为352x288CIF格式，帧率30fps ；输出码流的目标码率为512kbps，分辨率为352x288CIF格式，帧率30fps。2)实验内容实验1 统计各参考序列在上述实验条件下采用级联全解全编得到的第一个P帧的各最 佳帧间模式的平均失真值。实验结果见表1。表1 最佳帧间模式的平均失真值 从表1可以看出，绝大部分序列在编完第一个P帧后得到最佳帧间模式大致可以 根据平均失真分为四类P16xl6，P8x8, P16x8与P8xl6，而且P8x8帧间模式的平均失真最 大，P16xl6帧间模式的最小，而P16x8与P8xl6介于两者之间，说明可以根据宏块失真作为 门限值有效的对宏块模式进行区分。实验2 统计各参考序列在上述实验条件下分别采用级联全解全编方法和本发明提出的 基于快速模式判决的高效码率转码方法，进行转码10帧图像，得到各模式的相匹配的比 例。各序列的实验结果分别见表2 (a)、表2 (b)、表2 (C)、表2 (d)、表2 (e)和表2 (f)。表2 (a) :akiyo参考序列模式匹配比例 表2 (b) :bridge-close参考序列模式匹配比例 表2 (c) :bridge-far参考序列模式匹配比例 表2(d) :bridje-far参考序列模式匹配比例 表2 (e) :flower参考序列模式匹配比例 表2 (f) :hall参考序列模式匹配比例 从表2 (a)、表2(b)、表2 (C)、表2(d)、表2(e)和表2 (f)可以看出，用本发明提出 的基于快速模式判决得到的宏块模式与级联全解全编高复杂度RDO得到的宏块模式相比 匹配比例可达到60% 80%，这有效的保证了高效转码的图像质量。实验3 统计各参考序列在上述实验条件下分别采用级联全解全编方法和本发明提出的 基于快速模式判决的高效码率转码方法，进行转码100帧图像，所消耗的编码时间、转码时 间及图像的Y、u、v分量的PSNR。级联转码结果见表3 (a)，高效转码结果见表3 (b)，两者性 能比较结果见表3 (C)。表3 (a)级联转码性能 表3(b)高效转码性能
表3 (c)级联转码性能和高效转码性能比较结果 从表3(a)、3(b)和3 (c)可以看出，本发明提出的基于快速模式判决的高效码率转 码方案在质量损失很小的情况下，节省编码时间可达90%之多。
权利要求
一种基于快速模式判决的H.264/AVC高效转码系统，包括解码器用于对H.264/AVC视频码流解码，得到宏块模式、运动矢量、残差图像和解码帧图像，并将宏块模式、运动矢量和残差图像传送给快速模式判决器，同时把解码帧图像传送给编码器；快速模式判决器用于根据解码器传送的信息和编码器传送的参考帧图像对解码帧图像进行快速模式判决得到新的宏块模式，并传送给编码器；编码器用于根据快速模式判决器传送的信息对解码器传送的解码帧图像进行编码，得到既定目标码率的H.264/AVC压缩码流。
2.根据权利要求1所述的H.264/AVC高效码率转码器系统，其中解码器包括变长解码器用于对H. 264/AVC压缩比特流依次进行熵解码和重排序，得到一组变换 系数传送给反量化单元，并从H. 264/AVC压缩比特流中提取出运动矢量、宏块模式和参考 帧信息，将宏块模式和参考帧信息分别传送给快速模式判决器和参考帧单元，将运动矢量 传送给快速模式判决器和解码器运动补偿单元；反量化单元用于对变长解码器传送的变换系数进行反量化得到量化系数，并把量化 系数传送给反变换单元；反变换单元用于对反量化单元传送的量化系数进行反DCT变换得到残差图像，并把 残差图像传送给快速模式判决器，同时把残差图像和运动补偿单元传送的预测图像相加得 到解码图像传送给编码器；运动补偿单元用于根据参考帧单元传送的参考帧和变长编码器传送的运动矢量进行 运动补偿，得到预测图像，并把预测图像传送给反变换单元；参考帧单元用于产生参考帧，并把参考帧传送给运动补偿单元。
3.根据权利要求1所述的H.264/AVC高效码率转码系统，其中编码器包括参考帧单元用于产生参考帧，并把参考帧分别传送给运动补偿单元和快速模式判决器；运动补偿单元用于根据快速模式判决器传送的宏块模式，对编码器参考帧单元传送 的参考帧和解码器传送的运动矢量作小钻型搜索以细化运动矢量，并把它传送给变长编码 器，同时进行运动补偿得到预测帧传送给变换单元；变换单元用于将解码器送来解码图像减去编码器运动补偿单元传送的预测图像，得 到的残差图像，并对残差图像进行整数DCT变换得到变换系数，将该变换系数传送到量化 单元；量化单元用于对变换单元得传送的变换系数进行量化，得到量化系数，该量化系数传 送给变长编码器；变长编码器用于对量化单元传送的量化系数进行熵编码，将得到的数据和边信息按 H. 264/AVC的码流格式要求组成压缩视频码流；解码环路用于产生反馈环路的重构图像，它包括反量化和反变换两个单元。
4.一种基于快速模式判决的H. 264/AVC高效码率转码法，包括如下步骤(1)对接收到的视频码流进行解码，得到解码帧图像F以及每一个宏块的编码模式与 运动矢量、残差块矩阵三者之和，该解码图像作为当前时刻的编码帧；(2)判断当前编码帧是否为I帧，如果是，则不参与快速转码，用JVT会议参考软件JM中的高复杂度RDO模式判决，计算当前编码帧每个宏块的最佳帧内宏块模式，退出快速模 式判决；(3)判断当前编码帧是否为第一个P帧，如果是，则不参与快速转码，转到步骤(4)，否 则对当前帧的每个宏块执行步骤(5)；(4)用JVT会议参考软件JM中的高复杂度RDO模式判决和运动搜素方法，计算当前编 码帧每个宏块的最佳宏块模式和运动矢量，并对解码帧图像F进行编码，最后计算出当前 帧最佳宏块模式下的平均失真值，作为后续编码帧的模式判决门限T，退出快速模式判决；(5)计算当前宏块残差系数和及平方和，分别用符号ΣDiffi和[Diffi2表示；(6)计算出当前编码帧的参考帧的平均绝对误差MAD、均方误差MSE和预测运动矢量；(7)如果当前宏块模式为帧内模式或者SKIP模式，则直接复用当前宏块模式，记为新 的宏块模式H，新的运动矢量S为零，转到步骤(9)；否则通过下式估计宏块失真值D = Yj Dijff +2a* MAD * ^ Diffi +β* MSETnv1di + Tnv2di其中α =’ β = 16*16* α，mvdi + mvdj其中mvdi，mvdJ为当前解码宏块运动矢量的两个分量，mvdi, mvdJ为当前解码帧所有宏 块运动矢量的两个分量的平均值，根据估计的失真值D和模式判决门限T，选择新的宏块模 式H;(8)解码宏块运动矢量和预测运动矢量分别作为搜索起点，对当前宏块做小钻型搜索， 得到新的运动矢量S;(9)利用宏块模式H和新的运动矢量S，对解码帧图像F进行编码；(10)当前帧编码完成后，统计重构帧和解码帧的峰值信噪比，若与上一帧统计峰值信 噪比结果相差超过一个门限，则返回步骤(4)，否则，退出快速编码。
5.根据权利要求4所述的H.264/AVC高效码率转码方法，其中步骤(1)所述的解码器 对接收到的视频码流进行解码，得到图像解码信息M和解码帧图像F，按如下步骤进行(5a)对输入的压缩比特流进行熵解码，得到一组变换系数X ；(5b)变换系数X依次经过反量化和反变换后，得到残差图像；(5c)从压缩比特流中解码出宏块模式、宏块运动矢量和参考帧信息，根据参考帧信息 中指定的参考帧和运动矢量进行运动补偿，得到预测图像P ；(5d)将残差图像和预测图像块P相加得到解码图像块。
6.根据权利要求4所述的H.264/AVC高效码率转码方法，其中步骤(9)所述的利用宏 块模式H和新的运动矢量S，对解码帧图像F进行编码，按如下步骤进行(6a)根据最佳宏块模式H和运动矢量S，进行运动补偿得到预测图像；(6b)将当前编码帧图像和预测图像相减，得到残差图像，残差图像依次通过DCT变换、 量化和变长编码，最后输出既定目标码率的H. 264/AVC压缩码流。
全文摘要
本发明公开了一种基于快速模式判决的H.264/AVC高效转码系统，它属于网络通信技术领域，主要解决现有转码方法运算复杂度高和实时性差的缺点。该转码器系统由解码器、快速模式判决器和编码器三部分组成。解码器将解码出的宏块模式、运动矢量和残差图像传送给快速模式判决器，同时把解码帧图像传送给编码器，快速模式判决器根据解码器传送的信息和编码器传送的参考帧图像对解码帧图像进行快速模式判决得到新的宏块模式，并传给编码器，编码器根据快速模式判决器传送的信息对解码器传送的解码帧图像进行编码，得到既定目标码率码流。本发明极大的降低转码运算复杂度，减少了转码的时间，可用于实时多媒体传输及其它数据传输。
文档编号H04N7/26GK101909211SQ20101001350
公开日2010年12月8日 申请日期2010年1月4日 优先权日2010年1月4日
发明者刘海啸, 古立峰, 宋彬, 秦浩 申请人:西安电子科技大学