专利名称：一种基于图像特征的码率控制方法及装置的制作方法
技术领域：
本发明涉及图像压縮技术领域，特别涉及一种基于图像特征的码率控制方 法及装置。
背景技术：
JPEG2000编码体系以其优越的性能，目前正广泛应用于图像压縮技术领 域。JPEG2000编码体系中码率控制的核心是率-失真最优问题，即达到给定码 率的同时，失真最小。JPEG2000标准中采用压縮后率失真优化(PCRD-opt， Post-Compression Rate-Distortion optimization)算法进行码率控制，该码率控制 对算术编码后的码流进行优化分层截断，即根据码率约束对码流进行截断，以 满足保留的码流达到压縮后的图像质量最好(即失真最小)。
假设给定一个分层截断阈值，令Ri和Di分别表示编码块i截断后产生的 码率和失真，则编码截断后得到的图像总体码率R和失真D为
; = f / ,z) = f1化 ^ '和 ^ '
在JPEG2000标准码率控制方法中，只需要考虑码率约束，即取得
台' (Rmax为最大码率)的同时保证 ^ 最小。
采用拉格朗日乘数法，将上述码率控制方式转化为公式(O:
<formula>formula see original document page 4</formula>
其中，X为拉格朗日算子，^^。w为码率阈值。
图1是JPEG2000标准编码体系中的嵌入式块编码过程，它包括了 Tier-l 编码、码率控制和Tier-2编码三个阶段。其中，在Tier-l阶段，将计算各编码
块i的最优截断点集合Hi，该集合中的元素为斜率^z"和截断点
zZ("AllAl-、义'")随z'单调递减，对WO的计算如公式(2)所示
根据公式(1)，将图像最优问题转化为求解每个编码块的率-失真最优问 题。对于不同的X，利用二分査找法，在集合Hi中査找大于X的最小A'")对
应的截断点z'，并且该截断点集"}满足图像码率小于码率阈值。 图1中的JPEG2000标准码率控制方法的具体实现过程如下 步骤l、初始化过程在初始化过程中，初始化二分査找法中的率失真斜
率最小值^nin和最大值、ax。令、in=0， ^ax=M，其中斜率最大值M依据
JPEG2000压縮系统实现不同而不同；
步骤2、刷新当前率-失真斜率值令斜率A^0wnin+U/2;
步骤3、计算图像当前码率R:记《为当前质量层中编码块/的集合i/,中
大于X的最小值的截断点，计算图像当前码率 '—(AR为两个截断点 之间码流的长度)；
步骤4、判断码率R是否满足码率阈值^^。w要求如果^>&^。"，则令 义咖=几+ 1，转步骤5;否则，令4 =几，如果* =《^爐，整个码率控制结束，
否贝J令义max-义，转步骤5;
步骤5、码率控制终止如果、》>;1皿，转步骤2;否则，整个码率控制结束。
采用JPEG2000标准压縮图像序列时，在Tier-l阶段对全部小波系数进行 编码和存储，然后采用上述方法根据目标码率约束找到所有编码块的最优截断
点/截断斜率，对各编码块进行截断。截断之后，大部分编码数据不需要被输
出，即Tier-l阶段中大部分计算和存储都是冗余的。Tier-l阶段是JPEG2000 编码体系的瓶颈，编码时间占用整个编码过程50%以上的时间。
发明内容
本发明实施例提供一种基于图像特征的码率控制方法及装置，用以解决现 有的JPEG2000编码体系中在Tier-l阶段的计算量和存储过大，编码时间过长
的问题。
一种基于图像特征的码率控制方法，包括 计算当前图像帧的图像活跃性量；
将计算得到的当前图像帧的图像活跃性量与预先选择的参考图像帧的图 像活跃性量进行比较；
基于所述比较结果判断当前图像帧和参考图像帧的场景是否相似，若相 似，基于所述参考图像帧的截断斜率对当前图像帧进行码率控制；否则
计算当前图像帧满足预先设定的图像质量阈值和码率阈值的截断斜率，以 及基于计算得到的截断斜率对当前图像帧进行码率控制。
一种基于图像特征的码率控制装置，包括
图像活跃性量计算模块，用于计算当前图像帧的图像活跃性量；
图像场景比较模块，用于将计算得到的当前图像帧的图像活跃性量与预先 选择的参考图像帧的图像活跃性量进行比较，基于所述比较结果判断当前图像 帧和参考图像帧的场景是否相似；
第一码率控制模块，用于按照比较结果，在当前图像帧和参考图像帧场景 相似时，基于所述参考图像帧的截断斜率对当前图像帧进行码率控制；
截断斜率计算模块，用于按照比较结果，在当前图像帧和参考图像帧场景 不相似时，计算当前图像帧满足预先设定的图像质量阈值和码率阈值的截断斜 率；以及
第二码率控制模块，用于基于计算得到的截断斜率对当前图像帧进行码率 控制。
本发明实施例利用了恒定质量压縮时图像/视频序列中相似图像的截断斜 率值相近的特点，根据图像活跃性量来衡量相邻图像的相似性。如果图像相似， 则根据参考图像帧来预测当前图像帧的截断斜率，仅编码大于该截断斜率的编 码通道，而不需对所有量化后的小波系数进行编码和存储；否则计算当前图像
帧满足预先设定的图像质量阈值和码率阈值的截断斜率，以及基于计算得到的 截断斜率对当前图像帧进行码率控制。由于图像/视频序列中存在大量的相似
图像，因此采用本发明的算法，可以在压缩质量与JPEG2000编码体系相当的 情况下，有效减少tier-l阶段不必要的计算和存储，从而减少图像序列的编码 时间。
图1为现有的JPEG2000编码体系中的熵编码流程图； 图2A为基于图像质量和码率约束的JPEG2000码率控制方法的熵编码流 程图2B为基于图像质量和码率约束的JPEG2000码率控制方法的流程图。
图3A为本发明实施例中基于图像特征的JPEG2000码率控制方法流程图3B为本发明实施例中的JPEG2000编码系统流程图3C为本发明实施例中图像特征计算流程图4为本发明实施例中基于图像特征的码率控制装置图。
具体实施例方式
目前，JPEG2000编码系统有两种实现方式按图像处理和按行处理。按 图像处理的实现，采用传统的小波变换方式，严格遵循JEPG2000编码流程， 每个阶段处理完成后将中间数据存储在缓存中，然后进入下一阶段。该类实现，
需缓存大量的中间数据，并且由于未考虑阶段间的相关性，尤其对于大图像而 言，易造成访存命中率低，从而造成编码时间过长。按行处理的实现，采用按 行处理的小波变换方式，图像数据按行输入，进行各阶段处理，直至某阶段需 要新的数据时，该阶段处理暂停，然后输入一行新数据。该类实现，不仅减少 了中间数据的缓存容量，而且利用各阶段处理的相关性，大大减少了存储开销， 提高了访存命中率，减少了编码时间。本发明实施例中的码率控制方法是针对
按行实现的JPEG2000编码系统。
申请人此前己申请了"基于图像质量和码率约束的JPEG2000码率控制方 法"(申请号200610171509.8)，本发明是在该码率控制方法基础上进行改进。 该已申请的码率控制方法通过计算当前图像帧满足预先设定的图像质量 阈值和码率阈值的截断斜率来对当前图像帧进行码率控制，具体流程如图2A 和图2B所示，具体包括以下步骤
歩骤210、输入一帧图像，设定图像质量约束峰值信噪比^^^《^^^和码
率约束^^/zo/d ，
步骤220、根据步骤210中设定的峰值信噪比P^^《^"。w初始化压縮图像 失真阈值D^"。"，并初始化二分査找法中的率失真斜率A,和^皿； 步骤230、刷新当前率-失真斜率值，令A—、m+、ax)/^ 步骤240、计算图像当前码率i 和失真D，当前质量层中编码块^的截断点
z'的率失真斜率^z)为集合《中大于当前率-失真斜率值A的最小值时，计算图
像当前码率 'z'—-1 和失真' ； 所述集合77,为各编码块z'的最优截断点集合；
步骤250、判断步骤240中计算得到的图像当前码率^是否满足步骤210 中设定的码率阈值&f/"如果">《/^。"，则令\>'。=;1 + 1，然后执行步骤270;
否则，令 "'=^后，执行下一步；
步骤260、判断步骤240中计算得到的失真"是否满足步骤220中初始化 得到的失真阈值A-，如果^^^^。"，贝lJ令几，-几，执行步骤270;如果
"<A^。w，令l,"l，执行歩骤270;如果D:Dthres認，整个码率控制结束；
步骤270、如果A,〉、m,执行步骤230;否则，整个码率控制结束。
本发明方案在己经申请的码率控制方案基础上，利用相似图像的截断斜率 值相近的特点，根据图像活跃性量来衡量当前图像帧和参考图像帧的相似性，
若相似，基于所述参考图像帧的截断斜率对当前图像帧进行码率控制；否则， 计算当前图像帧满足预先设定的图像质量阈值和码率阈值的截断斜率，以及基 于计算得到的截断斜率对当前图像帧进行码率控制，即采用已经申请的码率控 制方法进行码率控制。这样压縮后的图像质量满足图像质量阈值的要求，并有 效减少编码计算量和存储空间，从而减少编码时间。本发明实施例的码率控制
模型如下
其中，R表示码率，D表示失真，^""。w表示压縮图像失真阈值，&^。" 表示码率阈值，Min (R)表示最小化R。
下面结合附图，对本发明作进一步的说明。
如图3A所示，本发明实施例中基于图像特征的JPEG2000码率控制方法 的总体流程如下
步骤310、设定图像质量约束i^iV&^。w和码率约束&^。^在本步骤中，
图像质量约束和码率约束的值是由用户根据对码率和图像质量应用的需求来 设定的。
步骤320、初始化参数初始化参考图像帧和当前图像帧的全局图像活跃性量IAMpret和IAMt及局部活跃性量IAMprep和IAMp;初始化参考图像帧 的截断斜率sl叩e0，和计算局部活跃性量的图像行数n。
在初始化参考图像帧和当前图像帧的全局图像活跃性量IAMpret和IAMt 及局部活跃性量IAMprep和IAMp时，令IAMt = 0， IAMp = 0， IAMpret = INT—MAX, IAMprep = INT—MAX。其中，INT—MAX = 2A31 。 在初始化参考图像帧的截断斜率slope0时，令sl叩eO = 0。 在初始化局部活跃性量的图像行数n时，令n-IAMline。按行处理的实 现方式中，输入N行数据完成小波变换后，再输入一行数据，小波变换系数 进入Tier-l阶段进行处理，即开始对位平面进行位平面建模和算术编码。N值 随编码块大小、图像大小、分区大小和小波变换核的不同而不同。如编码块大 小为64x64，分区大小设为最大值，采用9/7小波，图像大小为2048x857时， N值为131。为了减少Tier-l阶段不必要的编码，需在第N+l行数据进入Tier-] 阶段后，得到当前图像帧图像的截断斜率，因此IAMlinK-N。 步骤330、初始化帧数令frame一num为图像序列帧数。 步骤340、更新帧数如果(frame一num > 0)，令frame—num = frame_num -1，转歩骤350;否则，执行步骤380。 步骤350、处理当前图像帧。
步骤360、对截断后的码流在Tier-2过程中完成符合JPEG2000码流格式 要求的打包，得到JPEG2000压縮码流。 步骤370、更新参数 令IAMprep = IAMp。
如果(IAMpret = INT—MAX),令IAMpret = IAMt， slopeO = slope。将采
用本申请人在先申请的"基于图像质量和码率约束的JPEG2000码率控制方法" 进行码率控制的图像帧作为参考图像帧，将其全局图像活跃性量作为 IAMpret,并将其截断斜率作为参考斜率slope0，然后执行步骤340。 歩骤380、图像序列编码结束。
其中，步骤350进一步包括以下步骤(如图3B所示)
步骤351、对输入的每行数据做色彩变换、图像活跃性量计算和小波变换， 直到处理完n行数据，得到IAMp值。计算经过色彩变换的图像数据的基于梯 度的图像活跃性量(IAM， Image Activity Measure)作为图像特征的量度。
步骤352、预测图像截断斜率
利用图像特征，预测图像的相似性，从而预测图像的截断斜率。令参考图 像帧的图像活跃性量为IAMO，参考图像帧的截断斜率为sl叩eO;当前图像帧 的图像活跃性量记为IAM1。相同压缩比情况下，参考图像帧和当前图像帧采 用JPEG2000压缩后的峰值信噪比(PSNR， Peak Signal Noise Ratio)差值为A ， 则满足下式
|/赢0-/赢l—min(l-e丰)，e-剩-1)L4M0 = A,I4M0 (3) 其中，《"-9.0,-10.0)， A,是IAM的、波动范围。
设定A,值后，如果l"M0-"緒I^A,"M0，则认为两帧图像的场景相似，并
且具有相似的截断斜率，当前图像帧可以采用slopeO作为截断斜率进行压縮， 并且压缩后的图像质量与参考图像帧的差值在A范围内。
假设PSNR波动范围为A-0.3必是可接受的质量波动范围，此时IAM波 动范围为A^0.015。
本发明实施例中，如果((abs(IAMp-IAMprep) > delta"AMprep川(abs(IAMt -IAMpret) > delta*IAMpret))，令IAMpret = INT—MAX, slope = 0;否则，令slope ■■— slopeOo.
步骤353、继续处理(N-n+l)行数据后，进入Tier-l阶段。 一旦当前编码块 的编码通道的RD-slope(Rate-Distortion-slope)大于预测的斜率(slope),则结束
当前编码块的编码，开始处理下一编码块。各编码块编码结束后，可以得到编 码块的码率。
步骤354、所有图像行处理结束后，"计算IAM"模块输出IAMt， "Tier-1
编码"模块输出图像码率rate。其中，图像码率rate为各编码块码率之和。。
歩骤355、如果(slope-0)，则采用本申请人在先申请的"基于图像质量和 码率约束的JPEG2000码率控制方法"进行码率控制，使码率满足图像质量约
束"濯^油w (峰值信噪比)和码率约束Aw^;否则，如果rat《^w^， 则已编码数据为最终输出码流；如果^&>^^。 ，则可采用背景技术中提到的 压缩后率失真优化(PCRD-opt)方法对已编码的码流进行截断满足码率约束
如图3C所示，步骤351中图像活跃性量IAM的计算进一步包括如下步
骤
计算经过色彩变换的图像数据的基于梯度的图像活跃性量(IAM, Image Activity Measure)作为图像特征的量度，记为
y"Mc (4)
1 W-2W2-1 1 A^-1A^-2
■/、 ^ 乂Vl 7V2 ^
其中，/力,力是分量c中像素(/，y)的值，Ni和N2表示图像的高度和宽度，
iM和ri2为变量。
步骤351h初始化过程
初始化图像水平方向和垂直方向的活跃性量IAMh和IAMv，并初始化行 数n和列数m。
在初始化图像水平方向和垂直方向的活跃性量时，令IAMh = 0和IAMv =0。
在初始化行数和列数时，令11 = 0， height为图像行数；令111 = 0， width 为图像列数。
步骤3512:读入一行数据，记为A(0:width-1)。 步骤3513:更新IAMh和IAMv，并令temp-0:
如果!1==0，则
i) 如果nK width,转ii)，否则转步骤3514;
ii) 令Z4Mz二Z4Mz+te^ ， 5(附)=，= |^4(> )—+1)|, m = w + l， 转i);
否则，
iii) 如果m< width,转iv)，否则转步骤3514;
iv) 令Z4M二Z4Mz+te^ ，Z4Mv = Z4Mv + |^( —3(附)| ，S(ot) = j(附)，
fc附p = — j(附+1)| ， 附=/ + 1， 转iii)。
步骤3514:如果n<height,转步骤3512;否则，转步骤3515。 步骤3515: IAM = IAMh/(width -l)Zheight + IAMv/(height-l)/width ，结束。
本发明实施例还提供了一种基于图像特征的码率控制装置，如图4所示， 包括图像活跃性量计算模块401、图像场景比较模块402、第一码率控制模 块403和截断斜率计算模块404、第二码率控制模块405。
图像活跃性量计算模块401，用于计算当前图像帧的图像活跃性量；
图像场景比较模块402，用于将计算得到的当前图像帧的图像活跃性量与 预先选择的参考图像帧的图像活跃性量进行比较，基于所述比较结果判断当前 图像帧和参考图像帧的场景是否相似；
第一码率控制模块403，用于按照比较结果，在当前图像帧和参考图像帧 场景相似时，基于所述参考图像帧的截断斜率对当前图像帧进行码率控制；
截断斜率计算模块404，用于按照比较结果，在当前图像帧和参考图像帧 场景不相似时，计算当前图像帧满足预先设定的图像质量阈值和码率阈值的截 断斜率；以及
第二码率控制模块405，用于基于计算得到的截断斜率对当前图像帧进行 码率控制。
较佳地，所述图像活跃性量计算模块401计算当前图像帧经过色彩变换后 的图像数据的基于梯度的图像活跃性量。
其中图像场景比较模块402基于比较结果判断当前图像帧和参考图像帧
的场景是否相似具体是指，所述当前图像帧的图像活跃性量IAM1与所述参考 图像帧的图像活跃性量IAM0满足下式
|14細-"Ml| S min("A/(2a),e—M2a) -l)"MO = A,"M0
式中，A为相同压縮比情况下，参考图像帧和当前图像帧采用JPEG2000 压縮后的峰值信噪比的差值，ae(-9.0,-10.0)， A,是IAM1相对于IAM0的波动范围。
其中上述的第一码率控制模块403具体包括
用于对当前图像帧中率-失真斜率大于参考图像帧截断斜率的编码通道进 行编码的子模块；
用于在所述编码后图像数据的码率小于等于预先设置的码率阈值时，将该 编码数据作为最终输出码流；否则采用压縮后率失真优化算法对当前图像帧码 率进行控制以满足所述码率阈值要求的子模块。
本发明实施例利用了恒定质量压縮时图像/视频序列中相似图像的截断斜 率值相近的特点。根据图像活跃性量来衡量相邻图像的相似性，如果图像相似， 则根据已编码图像来预测当前图像帧的截断斜率，仅编码大于该截断斜率的编 码通道，而不需对所有量化后的小波系数进行编码和存储；否则采用本申请人 在先申请的"基于图像质量和码率约束的JPEG2000码率控制方法"进行截断。 由于图像/视频序列中存在大量的相似图像，因此采用本发明的算法，可以在 压縮质量与JPEG2000编码体系相当的情况下，有效减少tier-l编码所需的计 算量和存储空间。
对于不同的图像/视频序列，不同的码率和质量阈值，编码减少的计算量 和存储空间会有所不同。
以分辨率为2048x857的"StEM"序列(36bpp)为例，采用9/7小波变换， 在码率阈值为lbpp、峰值信噪比阈值为35dB时，本发明实施例中tier-l编码 时间为JPEG2000编码体系时间的29.2。/。。在码率阈值为3bpp、峰值信噪比阈
值为40dB时，本发明实施例中tier-1编码时间为JPEG2000编码体系时间的 55.1%。
以分辨率为1920x1080的"01dTownCross"序列G6bpp)为例，采用9/7 小波变换，在码率阈值为lbpp、峰值信噪比阈值为35dB时，本发明实施例中 tier-l编码时间为JPEG2000编码体系时间的43.7%。在码率阈值为3bpp、峰 值信噪比阈值为40dB时，本发明实施例中tier-l编码时间为JPEG2000编码体 系时间的57.3%。
本实施例中的码率控制方案，可以满足图像质量和码率约束，并且利用了 图像序列中存在大量相似图像帧的特点，可以减少多数图像帧的不必要计算和 存储，减少Tier-l阶段的编码时间。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发 明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
权利要求
1、一种基于图像特征的码率控制方法，其特征在于，包括步骤计算当前图像帧的图像活跃性量；将计算得到的当前图像帧的图像活跃性量与预先选择的参考图像帧的图像活跃性量进行比较；基于所述比较结果判断当前图像帧和参考图像帧的场景是否相似，若相似，基于所述参考图像帧的截断斜率对当前图像帧进行码率控制；否则计算当前图像帧满足预先设定的图像质量阈值和码率阈值的截断斜率，以及基于计算得到的截断斜率对当前图像帧进行码率控制。
2、 如权利要求1所述的方法，其特征在于，计算当前图像帧的图像活跃 性量是指计算当前图像帧经过色彩变换后的图像数据的基于梯度的图像活跃
3、 如权利要求1所述的方法，其特征在于，基于所述比较结果判断当前 屈像帧和参考图像帧的场景是否相似具体是指，所述当前图像帧的图像活跃性 量IAM1与所述参考图像帧的图像活跃性量IAM0满足下式<formula>formula see original document page 2</formula>式中，A为相同压縮比情况下，参考图像帧和当前图像帧采用JPEG2000 编码体系压縮后的峰值信噪比的差值，a e(-9.0,-10.0) ， A,是IAM1相对于IAMO 的波动范围。
4、 如权利要求1所述的方法，其特征在于，所述基于参考图像帧的截断 斜率对当前图像帧进行码率控制的过程具体包括对当前图像帧中率-失真斜率大于参考图像帧的截断斜率的编码通道进行 编码；若编码后图像数据的码率小于等于预先设置的码率阈值，则该编码数据为 最终输出码流；否则采用压縮后率失真优化算法对当前图像帧码率进行控制以满足所述码率 阈值要求。
5、 一种基于图像特征的码率控制装置，其特征在于，包括 图像活跃性量计算模块，用于计算当前图像帧的图像活跃性量； 图像场景比较模块，用于将计算得到的当前图像帧的图像活跃性量与预先 选择的参考图像帧的图像活跃性量进行比较，基于所述比较结果判断当前图像 帧和参考图像帧的场景是否相似；第一码率控制模块，用于按照比较结果，在当前图像帧和参考图像帧场景相似时，基于所述参考图像帧的截断斜率对当前图像帧进行码率控制；截断斜率计算模块，用于按照比较结果，在当前图像帧和参考图像帧场景 不相似时，计算当前图像帧满足预先设定的图像质量阈值和码率阈值的截断斜 率；以及第二码率控制模块，用于基于计算得到的截断斜率对当前图像帧进行码率 控制。
6、 如权利要求5所述的装置，其特征在于，所述图像活跃性量计算模块 计算当前图像帧经过色彩变换后的图像数据的基于梯度的图像活跃性量。
7、 如权利要求5所述的装置，其特征在于，所述图像场景比较模块基于 所述比较结果判断当前图像帧和参考图像帧的场景是否相似具体是指，所述当 前图像帧的图像活跃性量IAM1与所述参考图像帧的图像活跃性量IAMO满足 下式<formula>formula see original document page 3</formula>式中，A为相同压縮比情况下，参考图像帧和当前图像帧采用JPEG2000 编码体系压縮后的峰值信噪比的差值，a e(-9.0,-10.0) ， A,是IAM1相对于IAM0 的波动范围。
8、 如权利要求5所述的装置，其特征在于，所述第一码率控制模块具体 包括用于对当前图像帧中率-失真斜率大于参考图像帧截断斜率的编码通道进 行编码的子模块；用于在所述编码后图像数据的码率小于等于预先设置的码率阈值时，将该 编码数据作为最终输出码流；否则采用压縮后率失真优化算法对当前图像帧码 率进行控制以满足所述码率阈值要求的子模块。
全文摘要
本发明公开了一种基于图像特征的码率控制方法，包括计算当前图像帧的图像活跃性量；将计算得到的当前图像帧的图像活跃性量与预先选择的参考图像帧的图像活跃性量进行比较；基于所述比较结果判断当前图像帧和参考图像帧的场景是否相似，若相似，基于所述参考图像帧的截断斜率对当前图像帧进行码率控制；否则，计算当前图像帧满足预先设定的图像质量阈值和码率阈值的截断斜率，以及基于计算得到的截断斜率对当前图像帧进行码率控制。本发明还提供了一种基于图像特征的码率控制的装置。本发明可以在压缩质量与JPEG2000编码体系相当的情况下，有效减少tier-1阶段不必要的计算和存储，从而减少图像序列的编码时间。
文档编号H04N7/26GK101102502SQ20071012058
公开日2008年1月9日 申请日期2007年8月21日 优先权日2007年8月21日
发明者玲 李, 王贞松, 勐 郭 申请人:中国科学院计算技术研究所