专利名称：基于时空掩盖效应的自适应码率控制方法
技术领域：
本发明涉及到一种基于时空掩盖效应的自适应码率控制方法，将反映视觉感知系 统某部分特征的宏观描述统一到一个整体的数学模型中，特别是将人眼对于运动信 息的感知特性与其他感知特性相融合。与H. 264中的改进型VM8码率控制算法相比较， 本方法可以用更少的比特数获得更佳的主观视觉质量。
技术背景以计算机技术、视频、音频和通信技术为基础的多媒体技术通过Internet网络使 人们的生活更加丰富多彩。现如今各种视频编码标准中采用的压縮技术，主要以香农 的信息论为基础，采用便于数学计算的视频质量评价准则，去除视频信息在空间和时 间上的统计冗余，从而得到受信息熵约束的视频码流。但随着各种压縮编码技术的曰 趋完善和成熟,压縮效率已达到较高水平,压縮比已经接近香农理论框架下的极限，很 难有进一步的提高。为了进一步提高压縮效率满足越来越高的实际需求，寻找提高压 縮效率的新方法和技术已迫在眉睫。近年来，结合视觉感知模型的编码方法受到极大 的关注,这些方法主要是挖掘和利用人眼视觉系统(human video system, HVS)的特性 来提高压縮效率,产生主观质量更好的更低的压縮码流。现存的视频编码方法大多采用率失真优化来去除视频的统计冗余信息，而该方法 中评价视频编码失真的准则通常为均方误差(MSE)和峰值信噪比(PSNR)。该评价准则 并不和人眼视觉系统(HVS)对于视频的评价完全一致，因此该类视频编码方法存在不 能去除生理/心理信息冗余的缺陷，而人眼是最终的信息接收者，信噪比高的帧并不 一定有最佳的主观视觉质量。现有的基于感兴趣区域(ROI)的码率控制方法是基于多对象的控制方法，或是在 率失真方程上做文章，它们并没有考虑人眼这个最终的接收者，也不能判别出帧哪些 区域可以使用更少的比特数，哪些区域要用更多的比特数来达到更佳的主观视觉质 量。或者是用更少的比特数来达到一样的主观视觉质量。掩盖效应是一种重要HVS特性，是指在多个视觉激励存在的情况下， 一个视觉 激励的存在使另一个激励的可见阈值提升(或可见性的降低)的现象。也就是说掩盖 效应的存在将会导致视觉的敏感阈值的改变，既可以是抑制，也可以是加强。按照掩 盖效应发生在时间或空间域，可以分为空间域掩盖和时间域掩盖。时间掩盖效应是由于亮度的变化在时间上的不连续而造成视觉阈值的提升或下 降。这就说明在视频帧中，当有场景突变或者快速运动的目标时，视觉阈值将会有所 提升，此时人眼的感知度将会大大的降低。而空间掩盖效应的主要表现形式为对比掩盖。研究发现在对比掩盖中，当信号和 造成掩盖效应的信号具有相同的频率分布和方向特性的时候，对比掩盖效应最强。根 据空间掩盖效应，人眼对低频区域的失真比较容易察觉，而对高频区域的失真不易察 觉。鉴于此，本发明方法从人眼视觉系统出发，利用时空掩盖效应来建立一个感知模 型，通过该模型计算视频帧的复杂度以及各个宏块的感知度，利用复杂度和感知度来 调节帧与宏块的比特数，使得视频帧在码率和PSNR变化不大的情况下获得更好的主观视觉质量。 发明内容本发明的目的是针对已有技术存在的缺陷，提供一种基于时空掩盖效的自适应码 率控制方法，利用时空掩盖效应来计算帧级复杂度与宏块级的感知度，然后利用复杂度与感知度在GOP中调节帧级比特数与宏块级比特数。复杂度高的帧，自适应码率 控制算法将会给予它更多的比特数。而对于图像中人眼感兴趣的区域，码率控制算法 将给予该区域更多的比特数，提升该区域的视觉质量；反之，对于非感兴趣区域则给 予较少的比特数，但此时人的主观视觉质量并没有下降。该算法可以使视频编码在码 率和PSNR变化不大的情况下获得更好的主观视觉质量。 为达到上述的目的，本发明的构思是-如图1所示，首先对视频编码的原始序列进行预处理，然后利用时空掩盖效 应计算帧级复杂度以及各宏块的感知度，自适应码率控制算法再根据帧复杂度对 帧比特数进行分配，宏块的量化参数则由该宏块的感知度来最终确定。 根据上述发明构思，本发明采用下述技术方案一种基于时空掩盖的自适应码率控制方法，其特征在于将反映感知系统某部 分特征的宏观描述统一到一个整体的数学模型中，特别是将人眼对于运动信息的 感知特性与其他感知特性相融合；其具体操作步骤如下-(1) 输入视频帧；(2) 对视频帧预处理对未编码的原始序列进行滤波处理；(3) 建立感知模型利用时^掩盖效应计笪当前编码帧的帧复杂度以及各个宏块的感知度，若为I帧则仅计算帧复杂度，不计算其宏块感知度；(4) 利用自适应码率控制算法来调整帧比特数以及宏块的量化参数;(5) 利用已修改的量化参数对视频帧重新编码。 上述步骤(2)中的对视频帧预处理的方法如下 对当前帧利用5X5的高斯模板进行高斯滤波，模板如下所示'24542—4912945121512549129424542上述步骤(3)中的建立感知模型的步骤是① 对已滤波的图像用Sobel算法求边界得到边界图像/'(");② 对已滤波的图像求累积帧差，计算公式如下所示，其中尸'(")表示第n帧图像 的累积帧差，表示第n帧原始序列图像-,'(")=i(/("-H")) (8)③ 对边界图像/'(w)和累计帧差图像尸'(w)进行与运算，就得到了前景边界图像，然后进行填充，即可得到前景图像； 对原始图像中的宏块的亮度进行自相关运算得到该宏块的平滑度， 其中S附oo决表示当前宏块的平滑度，MSgray(")表示当前宏块第n个像素点的灰度值-256iS,of/2 二 Z[細g，(") * MJ5gray(" + 30)]◎对原始图像中的宏块进行梯度运算得到该宏块的活动性^"/w，下式中/,j表示当前宏块第i行第j列的亮度值◎对原始图像中的宏块运动矢量进行运算得到该宏块的时间掩盖性， 下式中MFx、 MF少表示当前宏块的水平与垂直方向的运动矢量，MK表示 该宏块的时间掩盖特性-⑦ 由以上几个参数计算该宏块的感知度Foc^，其中a、 b、 c为加权参 数；,0，"《/表示当前宏块是否为前景中的宏块，若当前宏块为前景块，则尸OW"W等于l，否则等于0:Focus = a * MKz + 6 * SmooA + c *」c"ve + Fonvani⑧ 由帧中所有宏块的感知度计算该帧的复杂度Co^7/ex一 395396上述步骤(4)中的自适应码率控制算法的步骤如下① 根据当前设置的带宽和帧率以及图像组GOP的长度，对当前GOP分配一个目标比特数r,",0)=朋-她* iV卿，其中7;(",,0)为G0P目标比特数，Bit一rate Fra附g 一 r她 s p为带宽，Frame—rate为帧率，N柳为G0P长度；② 如果当前帧为I帧，则根据该帧的复杂度，调整I帧的量化参数g^;下式 中a、 e、 Y为调节参数；Com; tea7y为当前帧的复杂度，a、 b、 c为阈值<formula>formula see original document page 9</formula>③如果当前帧为P帧，则分配目标比特数为:<formula>formula see original document page 9</formula>式中f(n"j)表示当前P帧预分配的比特数，bit—rate表示带宽，frame—rate 表示帧率，Tbl(ni,j)表示第i个GOP的第j个P帧预分配的比特数，B。(n,.j)表示 第i个GOP的第j个P帧编码前缓冲区实际占有比特数，Wp(Di丄》表示第i个GOP 的第j一l个P帧的复杂度，TV(rii,j)表示第i个GOP的第j个P帧编码前GOP剩 余的比特数，a与0为常量；④根据该p帧的复杂度，调整其目标比特数/(",,,)为-其中a 、 0、 Y为调节参数；Comp/e;c砂为当前帧的复杂度，a、 b、 c为阈值；⑤根据目标比特数，由r-q二次率量化模型计算得该帧的量化参数qp; 根据宏块的感知度来修正其量化参数QP:上式中2《表示第n个宏块的量化参数，尸^船表示宏块感知度，a、 p、 Y为调节参数，a、 b为阈值。 上述步骤(4)中的调整帧比特数的步骤如下① 第i个gop中的第j帧编码前的比特数t;(",.,力=7; o, j -1) -, y -1)，其中/1(",,/-1)表示第i个g0p的第j-1帧编码实际所用的比特数；② 缓冲区的剩余比特数更新为A" J),它表示第i个GOP的第j帧编码后缓冲 区的剩余比特数，^(w,，y-l)表示第i个g0p的第j-1帧编码实际所用的比特数， Bit—rate为带宽，Frame—rate为帧率。<formula>formula see original document page 10</formula>本发明与H. 264的校验模型JM10. 2版本上的码率控制算法相比，具有如下的突 出特点和优点本发明能够将分配给GOP的比特数在其帧间进行合理的调整，能够将分配给编码帧的比特数在人眼感兴趣区域和非感兴趣区域之间进行合理的调整，在相同甚至更少的比特数情况下获得更佳的主观视觉质量。
图l是本发明的基于时空掩盖效应的自适应码率控制方法流程框图。图2是图1中感知模型的结构框图。图3是图1中自适应码率控制算法的结构框图。图4是JM10. 2校验模型中码率控制算法编码的I帧所使用的比特数与本发明自适 应码率控制方法编码I帧所使用的比特数的对比图。图5是JM10. 2校验模型中码率控制算法编码的I帧图像与本发明自适应码率控 制方法编码I帧编码图像的对比。图6是JM10. 2校验模型中码率控制算法编码的P帧所使用的比特数与本发明自 适应码率控制方法编码P帧所使用的比特数的对比图。图7是JM10. 2校验模型中码率控制算法编码的P帧图像与本发明自适应码率控 制方法编码P帧编码图像的对比。
具体实施方式
本发明的一个实施例子结合附图详述如下本基于时空掩盖效应的自适应码率控制方法是按图1所示程序框图，在CPU为Athlon x2 2. 0GHz、内存1024M的PC测试平台上编程实现，图5和图7为JM10. 2 校验模型与本发明的编码图像的对比。参见图l，本基于时空掩盖效应的自适应码率控制方法，通过感知模型得到了当 前编码帧的帧复杂度以及各个宏块的感知度(I帧只获得帧复杂度，不计算其宏块感 知度)，然后利用帧复杂度对其分配的比特数进行调整，利用其宏块的感知度对宏块 的量化参数进行调整，该发明能够利用相同甚至更少的比特数获得更佳的主观视觉质如图2所示，本基于时空掩盖效应的自适应码率控制方法，首先建立一个感 知模型，该模型是基于时空掩盖效应基础之上的。感知模型将反映视觉感知系统 某部分特征的HVS的宏观描述统一到一个整体的数学模型中。利用时空掩盖效应， 建立一个基于人眼视觉系统(HVS)Jll感知模型。感知模型的主要作用就是分it视频帧中的每一个宏块(MB)的重要性，根据其重要性的大小给其标注一个感知度， 然后统计该帧的复杂度。感知度的分析则利用了时空掩盖效应，通过计算MB的 运动大小、活动性、纹理复杂度、以及前后景的不同来综合考虑。感知度(Focus)是区分视频帧中宏块重要性的关键参数。该参数的计算是通过宏 块的纹理复杂度、运动大小、前后景以及活动性来加权判别的。感知度的计算由一下 几个方面来完成的(1) 根据空间掩盖效应，纹理越复杂的区域能够隐藏越多的噪声，而平滑区域 相对来说隐藏噪声的能力较弱。由于平滑区域的直方图信息比较集中，平移后的直方 图与原直方图几乎是正交的，因此，本算法利用宏块的亮度直方图信息来计算该宏块 的纹理复杂度。256S,oA =》MBgray(") * M5gra_y(M + 30)](1)式中MBgray(n)表示该宏块亮度值为n的像素的个数，Smooth表示纹理复杂度。(2) 根据人眼视觉系统(HVS)，人眼对视频中前景图像的关注度远远大于背景图 像的关注度。运动前景的分割，为了尽可能的降低算法复杂度，节约编码时间，本算 法采用的是一种简单有效的方法。首先对图像序列做帧间差分与隔帧差分,然后将两 类差分结果进行累积，对累积结果采取交集聚类求出运动前景轮廓。但是这样出来的 轮廓依然不是很完善，因此将此轮廓再与Sobel算子得出的边界图相与，最后得出的 边界轮廓二值化处理后，扫描填充即可得到图像序列中的运动前景。(3) 根据时间掩盖效应，当发生场景切换或物体有较大的运动时，人眼需要一 个适应的过程，此时人眼的分别率会下降，所以这些区域可以分配较少的比特数，而 人眼对小范围的物体移动有较大的关注度，这些区域要分配较多的比特数。所以对运 动大小的判别是一个比较关键的部分。实验中我们发现， 一般的视频序列中运动向量 的运动幅度大于32的小块的运动通常已足够大，当MB运动幅度大于32时，人眼的 对此MB的分辨率会大幅度下降。所以我们将运动向量大小的判别阈值定义为32。 MB运动向量的计算如公式2所示，式中MFx、 M^表示当前宏块的水平与垂直方向的运动矢量，MFz表示该宏块的时间掩盖特性。,z = V评x2 (2)(4)对于视频图像来说，MB的活动性越大，就需要越多的比特数，相反，如果 活动性大的宏块分配的比特数少了，那么图像的主观视频质量就会严重下降。本算法 中活动性的计算采用梯度法，如公式(3)所示，/^.表示当前宏块第i行第j列的亮度值。颠w =丄伝^ '" A" I ③丄o _!〕卜o y=o 》-o 乂=0 J由以上四个步骤，感知度的计算由运动矢量MVz、纹理复杂度Smooth、是否前景 Forward、活动性大小Active这4个参数加权计算得出的，如公式4。其中a、 b、 c 为加权参数；Fon^W表示当前宏块是否为前景中的宏块，若当前宏块为前景块，则 尸onraW等于l,否则等于0。Fociw = fl * MFz + 6 * tSmoo决+ c * Jc"ve + Forvtwc/ (4)而帧复杂度Complexity的计算则由所有宏块的Focus统计得来，如公式(5)。395Co附p/ex办="2^5- (5)396自适应码率控制算法是在感知模型的基础上进行比特数的分配以及量 化参数的调整，如图3所示，其关键步骤如下.-第一，P帧比特数的分配本算法的码率控制模型是基于VM8模型修改而来，P帧比特数的分配如公式(6)所 示。式中f(ni,j)表示当前P帧预分配的比特数，bit—rate表示带宽，frame—rate表示 帧率，Tbl(ni.j)表示第i个GOP的第j个P帧预分配的比特数，B。fe,j)表示第i个G0P的第 j个P帧编码前缓冲区实际占有比特数，Wp(rii,w)表示第i个G0P的第j一l个P帧的复杂 度，TV( ,j)表示第i个G0P的第j个P帧编码前G0P剩余的比特数，a与e为常量。再次 分配则是根据当前帧的复杂度来进行的。(6)从式6中可以看出P帧比特数主要取决于目标比特数和剩余比特数两个参数来综 合考虑的。式中的复杂度Wp(ru,w)是由量化参数、预分配比特数以及前一帧的复杂度 加权得来的，与本文中的自适应码率算法中的帧复杂度是两个概念，本文算法中的帧 复杂度是由感知模型计算得到的。在得到f(rii,j)后，P帧比特数的第一次分配完成。 第二，建立感知模型利用感知模型计算该帧的复杂度以及帧内各个宏块的感知度，如公式4与5所示。 第三，P帧比特数的二次分配根据帧复杂度Coraplexity进行第二次分配，如公式(7)。/)* az/(Co，/ex办> a) j) = < /("w) * > C呻/— > 6) (7)其中a、 e、 Y为调节参数；Com; fedO;为当前帧的复杂度，a、 b、 c为阈值。第四，宏块量化参数的修正类似与帧比特数的分配，宏块比特数的分配也是根据宏块的复杂度与前一帧相同 位置的宏块实际比特数这两个参数来确定的。结合感知模型，利用各个宏块的感知度 我们来调整这个修正量化参数。最终的量化参数由该宏块的量化参数以及修正量化参 数来决定。根据上述理论，本实施例的具体操作步骤如下(1) 对未编码的原始序列进行滤波处理，预处理方法是对当前帧利用5X5的高斯模板进行高斯滤波，模板如下所示2 4 5 4 2一4 9 12 9 4<5 12 15 12 5>4 9 12 9 42 4 5 4 2(2) 建立感知模型计算帧级复杂度与宏块的感知度，其过程是 ①对已滤波的图像用Sobel算法求边界得到边界图像;② 对已滤波的图像求累积帧差，计算公式如下所示，其中/"(^)表示第n帧图像 的累积帧差，/(n)表示第n帧原始序列图像<formula>formula see original document page 15</formula> (8)③ 对边界图像/'(")和累计帧差图像/"(")进行与运算，就得到了前景边界图像，然后进行填充，即可得到前景图像； 对原始图像中的宏块的亮度进行自相关运算得到该宏块的平滑度， 其中SmooA表示当前宏块的平滑度，MSgmy(")表示当前宏块第n个像素点的灰度值-<formula>formula see original document page 15</formula>⑤对原始图像中的宏块进行梯度运算得到该宏块的活动性A^v"下式中/,j表示当前宏块第i行第j列的亮度值<formula>formula see original document page 15</formula> 对原始图像中的宏块运动矢量进行运算得到该宏块的时间掩盖性， 下式中M^、 MF少表示当前宏块的水平与垂直方向的运动矢量，MFz表示该宏块的时间掩盖特性<formula>formula see original document page 15</formula>⑦ 由以上几个参数计算该宏块的感知度Foc^，其中a、 b、 c为加权参 数；FonmW表示当前宏块是否为前景中的宏块，若当前宏块为前景块，则 Forvrani等于l，否则等于0:⑧ 由帧中所有宏块的感知度计算该帧的复杂度Compfec办395Cp/ex办 一画-396(3)利用以上两步计算出来的帧级复杂度和宏块的感知度，自适应码率控制算法的过 程如下① 根据当前设置的带宽和帧率以及图像组G0P的长度，对当前G0P分配一个目标比特数i;(",.,o)=服-她*iv聊，其中t;(",，o)为gop目标比特数，Bit_rateFrame _ r她 s p 为带宽，Frame—rate为帧率，N柳为G0P长度；② 如果当前帧为I帧，则根据该帧的复杂度，调整I帧的量化参数QS。下式 中a、 e、 Y为调节参数；Compfec外为当前帧的复杂度，a、 b、 c为阈值g《+ A z/"(C画卢x^ < 6)(D如果当前帧为P帧，则分配目标比特数为/(",》="{，-她+ 乂) - A (",,》]}/ra附e — r她式中f(ni,j)表示当前P帧预分配的比特数，bit—rate表示带宽，frame—rate 表示帧率，Tbl(ni,》表示第i个GOP的第j个P帧预分配的比特数，B。(ni.》表示 第i个G0P的第j个P帧编码前缓冲区实际占有比特数，Wp(rii,j-》表示第i个G0P 的第j一l个P帧的复杂度，Tjni,j)表示第i个G0P的第j个P帧编码前G0P剩 余的比特数，a与e为常量。 根据该p帧的复杂度，调整其目标比特数/0,》为其中a、 0、 Y为调节参数；Com; /ex办为当前帧的复杂度，a、 b、 c为阈值⑤根据目标比特数，由R-Q 二次率量化模型计算得该帧的量化参数QP; 根据宏块的感知度来修正其量化参数QP:上式中G《表示第n个宏块的量化参数，Foc船表示宏块感知度，a、 e、 Y为调节参数，a、 b为阈值。 (4)码率控制算法的参数更新的步骤如下① 第i个gop中的第j帧编码前的比特数rr (",,力=7; (", j -1) - ,, y _ i)，其 中j(",，y-i)表示第i个G0P的第j-i帧编码实际所用的比特数；② 缓冲区的剩余比特数更新为其中A(w,，/)表示第i个GOP的第j帧编码后缓冲区的剩余比特数，乂(^J-1)表示第i个GOP的第j-l帧编码实际所用的比特数，Bit一rate为带宽，Frame—rate 为帧率。以下给出输入视频格式为352x288的CIF时的实例，采用JM10. 2版本的 H.264编码器对标准测试序列进行编码。H.264编码器的配置如下Baseline Profile, IPPP，每15帧插入1个I帧，1个参考帧，带宽设置为256k bps，帧 率设置为30fps，初始量化参数设置为32。采用典型的标准测试序列deadline作为输入视频进行测试，由图4可以看出，自 适应码率控制算法的I帧所用平均比特数明显比校验模型的码率控制算法中I帧的平 均比特数少。主观视觉质量如图5所示，左上为校验模型重建的第0帧图像，即第一个 I帧，所用比特数为71080，右上为相对应的自适应模型的图像，所用比特数为58712，两者相差12368个比特，但是主观视觉质量并没有下降，人眼辨别不出这两者的区别。P帧所用比特数的比较如图6所示，校验模型中每个GOP最后的几帧图像比特数下降得比较厉害，甚至只有前面几帧图像比特数的四分之一不到，使得图像质量不均衡。相反，自适应码率控制算法中后面几帧图像的比特数有所提升，就是为了防止出现上述情况，使图像的视觉质量一致。而每一个G0P所用的平均比特数如表1所示，当GOP中的视频帧复杂度较高，且有剧烈运动时，此时分配给GOP的比特数较多，如第7个G0P。当GOP复杂度较低，能用较少的比特数达到较高的主观视觉质量时，则分配给GOP的比特数较少。平均来说基于感知模型的自适应码率控制算法每个GOP都比校验模型所使用的比特数少，但是达到了更佳的主观视觉质量，如图7所示。表IGOP平均比特数的比较23 45 6 7 8 Average8576 8476 8555 8638 8533 8867 8276 8575 73867291587571899242113898775 8134GOP类型 1校验模型 8781感知模型 762权利要求
1、一种基于时空掩盖效应的自适应码率控制方法，其特征在于将反映视觉感知系统某部分特征的宏观描述统一到一个整体的数学模型中，特别是将人眼对于运动信息的感知特性与其他感知特性相融合；其具体操作步骤如下a.输入视频帧；b.对视频帧预处理对未编码的原始序列进行滤波处理；c.建立感知模型利用时空掩盖效应计算当前编码帧的帧复杂度以及各个宏块的感知度，若为I帧则仅计算帧复杂度，不计算其宏块感知度；d.利用自适应码率控制算法来调整帧比特数以及宏块的量化参数；e.利用已修改的量化参数对视频帧重新编码。
2、 根据权利要求l所述的基于时空掩盖效应的自适应码率控制算法，其特征在于所 述步骤(2)中的对视频帧预处理的方法是对当前帧利用5X5的高斯模板进行高 斯滤波，模板如下所示-'24542、4912945121512549129424542
3、根据权利要求1所述的基于时空掩盖效应的自适应码率控制算法，其特征在于所 述步骤(3)中的建立感知模型的计算帧复杂度与宏块的感知度的步骤是-① 对已滤波的图像用Sobel算法求边界得到边界图像/'(w);② 对已滤波的图像求累积帧差，计算公式如下所示，其中尸'(")表示第n帧图像 的累积帧差，/(n)表示第n帧原始序列图像,'(")=玄(/("-0-/("-卜1)) (8)③ 对边界图像/'(")和累计帧差图像/"(")进行与运算，就得到了前景边界图像，然后进行填充，即可得到前景图像；④ 对原始图像中的宏块的亮度进行自相关运算得到该宏块的平滑度，其中 SwooA表示当前宏块的平滑度，MSgrqK")表示当前宏块第n个像素点的灰 度值-2565VwooA =》MSgra>>(w) * MSgray(" + 30)]"=o⑤对原始图像中的宏块进行梯度运算得到该宏块的活动性A^Ve，下式中 /w.表示当前宏块第i行第j列的亮度值-l"^(V1 '" ,十"■ ^^"V' w 'J+1 ioU=o _/=0 '=0 >0 对原始图像中的宏块运动矢量进行运算得到该宏块的时间掩盖性，下式中MFx、 MFy表示当前宏块的水平与垂直方向的运动矢量，MFz表示该宏 块的时间掩盖特性⑦ 由以上几个参数计算该宏块的感知度Foc^，其中a、 b、 c为加权参数； FonraW表示当前宏块是否为前景中的宏块，若当前宏块为前景块，则 FonraW等于l，否则等于0:⑧ 由帧中所有宏块的感知度计算该帧的复杂度Cow;pfea'(y:395Co附p/ex办=^-396
4、根据权利要求1所述的基于时空掩盖效应的自适应码率控制算法，其特征在于所 述步骤(4)中的自适应码率控制算法的步骤如下① 根据当前设置的带宽和帧率以及图像组GOP的长度，对当前G0P分配一个目标比特数7;(",,0) = ^"—她,,其中K^o)为目标比特数，Bit—rate Fra, 一 r她 s p为带宽，Frame—rate为帧率，Ng叩为G0P长度;② 如果当前帧为I帧，则根据该帧的复杂度，调整I帧的量化参数gf ;下式 中a、 e、 Y为调节参数；Ow^fed(y为当前帧的复杂度，a、 b、 c为阈值g《+ " z/(C/ /e;a-(y > ")g《+义 z/(C函/ /e:n'/)/ < 6)③如果当前帧为p帧，则分配目标比特数为/("i 7 ) = " C-她+ a[JM , ) — a )] }"v鳥—^k卜i)'式中f (ni.j)表示当前p帧预分配的比特数，bit_rate表示带宽，frame_rate 表示帧率，Tbl(nJ表示第i个GOP的第j个P帧预分配的比特数，B。(rii,j)表示 第i个G0P的第j个P帧编码前缓冲区实际占有比特数，Wp(m,j—》表示第i个G0P 的第j一l个P帧的复杂度，Tr(n,.j)表示第i个G0P的第j个P帧编码前G0P剩 余的比特数，a与0为常量； 根据该p帧的复杂度，调整其目标比特数/("")为其中a、 13、 Y为调节参数；Com/7/exW为当前帧的复杂度，a、 b、 c为阈值；⑤ 根据目标比特数，由R-Q 二次率量化模型计算得该帧的量化参数QP;⑥ 根据宏块的感知度来修正其量化参数QP:g尸"+ " z/Xa > Fo謹 > 的g尸"+义z/(Fo皿< 6)上式中2尸"表示第n个宏块的量化参数，Foc船表示宏块感知度，a、 p、 Y为调节 参数，a、 b为阈值。
5、根据权利要求1所述的基于时空掩盖效应的自适应码率控制算法，其特征在于所 述步骤(4)中的调整帧比特数的步骤如下①第i个gop中的第j帧编码前的比特数7; (",, /) = 7; (",., 乂 -1) -, y -1)，其中l)表示第i个G0P的第j-l帧编码实际所用的比特数； ②缓冲区的剩余比特数更新为Frame r她其中A"，力表示第i个GOP的第j帧编码后缓冲区的剩余比特数，J(",，y-l)表示第i个GOP的第j-l帧编码实际所用的比特数，Bit—rate为带宽，Frame_rate为 帧率。
全文摘要
本发明涉及一种基于时空掩盖效应的自适应码率控制方法。本方法将反映视觉感知系统某部分特征的宏观描述统一到一个整体的数学模型中，特别是将人眼对于运动信息的感知特性与其他感知特性相融合。首先对视频编码的原始序列进行预处理，然后利用时空掩盖效应计算帧级复杂度以及各宏块的感知度，自适应码率控制算法再根据帧复杂度对帧比特数进行分配，宏块的量化参数则由该宏块的感知度来最终确定。本方法与H.264的校验模型JM10.2版本上的码率控制算法相比，在相同甚至更少的比特数情况下获得更佳的主观视觉质量。
文档编号H04L1/00GK101325711SQ20081004063
公开日2008年12月17日 申请日期2008年7月16日 优先权日2008年7月16日
发明者张兆扬, 张锦辉, 潘铮雯, 石旭利 申请人:上海大学