专利名称：一种基于率失真代价和模式频率的快速帧间模式选择方法
技术领域：
本发明涉及一种视频图像帧间编码模式选择方法，尤其涉及一种减小 跳过宏块和帧间宏块搜索和计算开销，在基本不牺牲图像质量的条件下， 提高帧间模式选择速度的方法，属于计算机视觉技术领域。
背景技术：
帧间预测是视频和图像处理领域中一项基础而关键的技术，已应用于
H.261、 H.263、 H.264、 MPEG-1、 MPEG-2和MPEG-4等国际编码标准中。 帧间预测用于获得两幅图像中宏块之间的相互关系。目前最新的视频编码 国际标准H.264中采用的多模式帧间预测方法具有适用范围广、预测精度 高等优点，是较为理想的帧间预测方法。多模式帧间预测方法将待编码宏 块划分为不同的组合，通过比较不同组合方式的编码代价得到最优帧间编 码模式。由于H.264标准中推荐的全模式决策方法FMD (Full Mode Decision)需要遍历所有的组合方式，而每一种组合方式都需要进行编码 过程中最耗时的运动估计，因此该方法的计算复杂度非常高。
多模式帧间预测包括七种模式，可以分为宏块级和块级预测。宏块级 帧间预测以16X16尺寸的图像块为基础，对16X16、 16X8和8X16尺 寸的图像块进行预测；块级帧间预测是则以8X8尺寸的图像块为基础， 对8X8、 8X4、 4X8和4X4尺寸的图像块进行预测。实验表明，多模式 帧间预测能够更加准确地描述图像块之间的关系，有效地提高编码效率。因此成为当前许多应用领域中的研究热点。
汪264标准中推荐的多模式帧间预测方法首先进行宏块级预测，对16 X16、 16X8和8X16的图像块分别进行运动估计，并记录各种模式的最 小率失真代价值；然后对8X8、 8X4、 4X8和4X4尺寸的图像块进行预 测。在块级预测时，因为每一个8X8图像块都有4种划分模式，而每个 图像块的划分模式又是独立的，所以必须对4个8X8尺寸的图像块分别 计算4种划分的最小率失真代价值，并且每一次最小率失真代价值计算过 程中还需要进行若干次运动估计。这种穷举式的帧间模式选择方法运算复 杂度非常高。
发明内容
本发明的目的是提供一种快速帧间模式选择方法。该方法可以利用已 编码宏块的率失真代价值和及其帧间编码模式出现的频率信息，在不进行 模式遍历的情况下，直接预测得到当前编码块可能的帧间编码模式或模式 集合。并且在可能编码模式集合的预测过程中设置了提前终止条件。此外， 为了保障率失真代价值和帧间编码模式等统计信息的准确性，该方法还通 过定期进行全模式决策来更新上述统计信息，使统计信息能够随视频内容 的变化而变化，提高该方法对视频场景的自适应性。
为实现上述目的，本发明采用下述的技术方案。其特征在于包括以下 步骤-
步骤一定期对视频序列中的若干帧图像进行全模式决策，得到所述 若干帧图像中各宏块的最优编码模式，保存全模式决策过程中得到的所述 各宏块的最小率失真代价值和对应的编码模式，并统计各种编码模式平均率失真代价值及其出现的频率。
步骤二比较当前待编码宏块的跳过模式所对应的率失真代价值与步 骤一中统计得到的跳过模式平均率失真代价值，判断当前待编码宏块是否 应编码为跳过模式，如果是，则退出帧间编码模式预测过程。
步骤三根据步骤一中得到的与当前待编码宏块在时间和空间上相邻 的若干已编码宏块的最优编码模式所属的编码模式集合，判定当前待编码 宏块所属的帧间预测候选模式集合。
步骤四根据步骤一中得到的各种编码模式的出现频率，对步骤三中 得到的帧间预测候选模式集合内的各编码模式进行降序排列，然后按照排 列后的顺序对各编码模式依次进行预测，在预测过程中，通过比较相应率 失真代价值与该编码模式平均率失真代价值之间的关系，决定是否终止帧 间编码模式的预测过程。
较优的，所述步骤二中判断当前待编码宏块是否应编码为跳过模式的 步骤具体包括
21)如果当前待编码宏块采用跳过模式时的率失真代价值小于步骤一中统 计得到的跳过模式的平均率失真代价值，则判断当前待编码宏块应编 码为跳过模式；
较优的，所述步骤三中判定当前待编码宏块所属的帧间预测候选模式 集合的步骤具体包括
31)检査与当前待编码宏块在时间和空间上相邻的多个已编码宏块，如果 其编码模式都属于同一个自定义的编码模式集合，则认为当前待编码 宏块最优的编码模式也属于该自定义的编码模式集合，设置所述自定义的编码模式集合为当前待编码宏块的帧间预测候选模式集合； 较优的，所述自定义的编码模式集合包括宏块编码模式集合与亚宏块 编码模式集合，其中所述宏块编码模式集合中包含跳过模式、16X 16模式、 16X8模式和8X16模式，所述亚宏块编码模式集合中包含8X8模式、8 X4模式、4X8模式、4X4模式、Intral6模式和Intra4模式。
较优的，所述步骤四中通过比较相应率失真代价值与该编码模式平均 率失真代价值之间的关系，决定是否终止帧间编码模式的预测过程具体包 括
41)如果该编码模式所对应的率失真代价值小于其平均率失真代价值，则 认为该编码模式的率失真代价值已经可以接受，直接终止对所述帧间 预测候选模式集合内剩余编码模式的预测。 本发明所提供的基于率失真代价和模式频率的快速帧间模式选择方
法可以有效减小传统帧间全模式决策的计算开销，并对于视频序列内容的
变化具有较好的自适应能力。有关的测试结果表明，本方法对于各类视频
序列的帧间模式选择都能获得较好的效果。
图1是本发明基于率失真代价和模式频率的快速帧间模式选择流程图； 图2是当前块的时间和空间相邻块分布示意图；
具体实施例方式
前已述及，本发明利用视频图像帧间编码模式的率失真代价值和模式 出现频率等统计信息，以及时空相邻块编码模式的相关性，通过縮小模式预测的范围以及提前终止模式的预测过程等方法，实现了快速的帧间模式 选择。
下面结合
本发明的实现方式，图l中明确表示了本发明的过
程。首先，定期对视频序列中的若干帧图像进行全模式决策；其次，判断
当前待编码宏块是否应编码为跳过模式，如果是，则将最优编码模式设置
为跳过模式并终止剩余模式的预测，如果否，则根据当前编码宏块的时间
和空间相邻块所属的集合，判定当前待编码宏块可能的帧间预测候选模式
集合；最后，对候选模式集合内的各编码模式按照出现频率的降序预测，
如果预测过程中发现某个模式所对应的率失真代价值小于该模式的平均
率失真代价值，则终止候选模式集合内剩余模式的预测。
步骤一定期对视频序列中的若干帧图像进行全模式决策
现有的帧间模式选择方法通常是直接采用H.264标准推荐的全模式决
策或者是某种快速帧间模式选择方法，前者的优点是编码效率较高，缺点
是计算复杂度太高；而后者的优点是速度快，但是精度会随着视频内容的
变化而降低，而且这种错误会蔓延。本发明中，通过定期对视频序列中的
若干帧图像进行全模式决策，然后在此基础上，采用快速帧间模式选择方
法，克服了视频内容变化对快速帧间模式选择方法的影响，避免了错误在
视频序列中的蔓延。
步骤一的具体实施步骤如下
(1)待编码图像块与参考图像块残差的计算 图像块的残差表征了两个图像块之间的相似程度，在计算图像块残差 时，采用式(1)计算出两个图像块的平方差SSZ)。<formula>formula see original document page 9</formula>(i )
式(l)中MOZ^表示当前采用的编码模式，2P表示该图像块编码时采用 的量化参数，S(x,力表示当前待编码宏块在位置(x,力处的像素值， C(x,乂I 2尸)表示参考图像宏块在位置0,力处的像素值。
(2) 率失真代价值的计算
因为最终的编码代价既包括图像块的失真所需的编码位数，而且需要 包括编码模式信息所需要的位数，所以率失真代价值采用拉格朗日函数 aflgra"g/a"/w""/on)的方法计算。在计算图像块残差时，采用式(2)
计算出在特定和2尸参数下的率失真代价值。
<formula>formula see original document page 9</formula>(2)
义腳,0.85x2(,乖(3) 式(2)中的Am。m是拉格朗日因子，该因子采用式(3)的经验公式进行 计算，7MI^(S,C,MOi^ I gP)表示在待编码宏块与参考宏块在特定MOZ)￡ 和gP参数下的编码时需要的位数，J(S,C,M9Z^lgP，&。。"表示在特定
MOZ^和2户参数下某个编码模式对应的率失真代价值。
(3) 最优编码模式的选择
最优编码模式的选择是通过比较式(2)计算出的各模式所对应的率失
真代价，然后选择其中最小的率失真代价对应的编码模式为最优编码模
式。在选择最优编码模式时，采用式(4)计算出最优的编码模式。 MO￡>￡* -argminJ(S,C,MOZ)五lg户,;i媚朋)(4)
MO￡)￡
式(4)中MOD￡*表示最优编码模式。步骤二判断当前待编码宏块是否应编码为跳过模式
跳过宏块是指当前待编码宏块与参考图像中搜索窗口内的所有宏块匹 配后，发现运动矢量为(0， 0)的参考宏块的匹配效果最佳，而且其残差 块在量化之后的结果为0 (即无需特别的位数来编码残差信息)，这类待编 码宏块可以被编码为跳过宏块。跳过模式是帧间编码模式中最简单的一种 编码模式，其编码所用的位数最少，主要适用于视频图像中的背景区域或
者是静止的目标区域。按照H.264标准中推荐的算法，跳过模式的确定需
要在全模式搜索之后，才能通过比较最小率失真代价值得到。本发明中， 针对采用传统跳过宏块确定方法计算复杂度高的问题，提出了一种快速跳 过宏块确定方法。该方法能够根据对不同编码模式最小率失真代价值的统 计结果，通过比较待编码宏块跳过模式的率失真代价值与已编码跳过宏块 的率失真代价值平均值，直接判定当前待编码宏块是否应该编码为跳过模式。
步骤二的具体实施步骤如下
(1)计算当前待编码宏块采用跳过模式所对应的率失真代价值
宏块跳过模式对应率失真代价值的计算是式(2)率失真代价计算公
式的一种特例。在计算图像块残差时，采用式(5)计算当前待编码宏块
在跳过模式和特定2^参数下的率失真代价值。
J,i^卿S,C尸)+ A秦(5)
式(5)中的义M皿是拉格朗日因子，该因子采用式(3)的经验公式进行 计算，MD(S,C,M/i312P)表示跳过编码模式和特定2P参数下待编码宏块 与参考宏块的平方差，J(SK/P)表示跳过模式对应的率失真代价值。(2)判断当前待编码宏块是否应编码为跳过模式
当前待编码宏块是否应编码为跳过模式的判定依据是通过比较式(5)
得到的跳过模式的率失真代价值与已编码跳过宏块的率失真代价值平均
值实现的，具体实现时，采用式(6)判定。
M9"￡* j , 、 乂 (6、
式(6)中的Me""0SK/P)表示已编码的跳过宏块的平均率失真代价值。 步骤三判定当前待编码宏块可能的帧间预测候选模式集合
对于图像中的每一个宏块，H.264中推荐的全模式搜索方法需要遍历所
有模式后，才能够得到最优编码模式，需要遍历这些模式包括 {16xl6,16x8,8xl6,8x8,8x4,4x8，4x4,/Wral6,/"/ra4}。本发明中，首先将这
些模式分为两个集合，然后利用宏块编码模式在时间和空间上的相关性， 通过比较待编码宏块时间和空间相邻块的编码模式所属的模式集合，判定 待编码宏块可能的候选模式集合，从而减小编码模式遍历的范围，提高编 码模式选择的速度。
步骤三的具体实施步骤如下
(1)编码模式的分类
根据对不同编码模式纹理和运动特性的分析，将编码模式分为宏块级
编码模式集合与亚宏块级编码模式集合。编码模式的分类如式(7)所示。
細c/證={5^,16x16,16x8,8x16}
^Mfi一c/證={8x8， 8x4， 4x8,4x4,6， Mra4} 、 乂
式(7)中的/"加16和/"加4是两种帧内编码模式，因为其编码特性与亚
宏块级的帧间编码模式相似，所以将其划分在亚宏块级编码模式集合中。(2)候选模式集合的预测
候选模式集合的预测通过检查待编码宏块的时间和空间相邻块的编码 模式所属的模式集合实现，附图2中列出了时间和空间相邻块的位置关系， 如果发现待编码宏块的所有时间和空间相邻块的编码模式属于同一个集 合，则认为待编码宏块的最优编码模式在该模式集合内。具体实现时，采
用式(8)判定。
<formula>formula see original document page 12</formula>
式(8)中的"X"表示当前待编码宏块。 步骤四对候选模式集合内的各编码模式按照出现频率的降序预测 在步骤一中，通过全模式决策已经得到了各种编码模式出现的频率等统计 信息，在对步骤三中得到的候选模式集合检查时，根据这一统计信息，按 照候选集合中各编码模式出现频率的降序来检查每个模式。在对编码模式 检查过程中，如果发现某个模式所对应的率失真代价值小于该模式的平均 率失真代价值(从步骤一中得到)，则认为该模式的率失真代价值已经可 以接受，将其设置为最优编码模式并直接终止候选模式集合内剩余模式的 预测。
以上公开的仅为本发明的具体实例，根据本发明提供的思想，本领域 的技术人员能思及的变化，都应落入本发明的保护范围内。
权利要求
1、一种基于率失真代价和模式频率的快速帧间模式选择方法，其特征在于包括以下步骤步骤一定期对视频序列中的若干帧图像进行全模式决策，得到所述若干帧图像中各宏块的最优编码模式，保存全模式决策过程中得到的所述各宏块的最小率失真代价值和对应的编码模式，并统计各种编码模式平均率失真代价值及其出现的频率；步骤二比较当前待编码宏块的跳过模式所对应的率失真代价值与步骤一中统计得到的跳过模式平均率失真代价值，判断当前待编码宏块是否应编码为跳过模式，如果是，则退出帧间编码模式预测过程；步骤三根据步骤一中得到的与当前待编码宏块在时间和空间上相邻的若干已编码宏块的最优编码模式所属的编码模式集合，判定当前待编码宏块所属的帧间预测候选模式集合；步骤四根据步骤一中得到的各种编码模式的出现频率，对步骤三中得到的帧间预测候选模式集合内的各编码模式进行降序排列，然后按照排列后的顺序对各编码模式依次进行预测，在预测过程中，通过比较相应率失真代价值与该编码模式平均率失真代价值之间的关系，决定是否终止帧间编码模式的预测过程。
2、 如权利要求1所述的方法，其特征在于所述步骤二中判断当前待 编码宏块是否应编码为跳过模式的步骤具体包括如果当前待编码宏块采用跳过模式时的率失真代价值小于步骤一中统 计得到的跳过模式的平均率失真代价值，则判断当前待编码宏块应编码为跳过模式。
3、 如权利要求1所述的方法，其特征在于所述步骤三中判定当前待 编码宏块所属的帧间预测候选模式集合的步骤具体包括检査与当前待编码宏块在时间和空间上相邻的多个已编码宏块，如果 其编码模式都属于同一个自定义的编码模式集合，则认为当前待编码宏块 最优的编码模式也属于该自定义的编码模式集合，设置所述自定义的编码 模式集合为当前待编码宏块的帧间预测候选模式集合。
4、 如权利要求3所述的方法，其特征在于所述自定义的编码模式集 合包括宏块编码模式集合与亚宏块编码模式集合，其中所述宏块编码模式 集合中包含跳过模式、16X16模式、16X8模式和8X16模式，所述亚宏 块编码模式集合中包含8X8模式、8X4模式、4X8模式、4X4模式、Intra16 模式和Intra4模式。
5、 如权利要求1所述的方法，其特征在于所述步骤四中通过比较相 应率失真代价值与该编码模式平均率失真代价值之间的关系，决定是否终止帧间编码模式的预测过程具体包括如果该编码模式所对应的率失真代价值小于其平均率失真代价值，则 认为该编码模式的率失真代价值己经可以接受，直接终止对所述帧间预测 候选模式集合内剩余编码模式的预测。
全文摘要
本发明首先利用已编码各类宏块的率失真代价的平均值，通过比较待编码宏块跳过模式的率失真代价值与之的关系，预测当前宏块是否应编码为跳过宏块，然后通过检查时间和空间上已编码相邻宏块所属的模式集合，预测当前待编码宏块可能的帧间编码模式集合，并利用已编码各类宏块帧间编码模式的出现频率，从最可能的编码模式开始进行预测，并且在预测过程中，通过比较率失真代价值与该模式平均率失真代价值之间的关系，决定是否提前终止帧间编码模式的预测过程。本发明通过利用通过利用宏块编码模式的统计信息，以及宏块之间编码模式的相关性，在不进行模式遍历的情况下，直接预测得到当前编码块可能的帧间编码模式集合。
文档编号H04N7/26GK101448159SQ20091000071
公开日2009年6月3日 申请日期2009年1月8日 优先权日2009年1月8日
发明者力 周, 波 李, 炜 李, 范圣印, 陈志高 申请人:北京航空航天大学