专利名称：一种h.264标准的帧内预测模式选择方法
技术领域：
本发明涉及一种H.264标准的帧内预测模式选择方法，尤其涉及一种基于残差绝对值和及最有可能模式的H.264标准的帧内模式选择优化方法。
背景技术：
新视频编码标准H.264自发布以来，就引起了极大的关注，其中原因无疑是它的高压缩率。跟以前的视频标准相比，H.264可以节约大约50％的比特率。但是，H.264压缩率的提高是以计算复杂度的增加为代价的。H.264主档次(mainprofile)解码器的计算容量是MPEG4简单档次(simple profile)的3倍，而编码器的计算复杂度提高了不止一个数量级。主要原因是一方面H.264采用尽可能多的预测模式以提高预测精度，减少比特率；另一方面预测模式选择是通过率失真最优化法(Ratio Distortion Optimization，RDO)来进行的，它穷尽搜索所有模式来选择失真和比特率最小的模式。对于帧内预测，以前的视频标准H.261/H.263到MPEG-1/2/4都是在转换域中进行的；而H.264采用已解码的相邻块象素对当前块象素进行预测，是一种空间域的预测。它有两种预测类型，Intra_16×16和Intra_4×4。Intra_16×16支持4种预测模式，Intra_4×4支持9种预测模式。
发明内容为了解决现有技术中H.264标准的帧内预测模式选择的计算复杂度高的技术问题。本发明提出了一种基于残差绝对值和及最有可能模式的H.264标准的帧内模式选择优化方法，该方法采用固定数量的模式筛选与中止策略结合，根据残差绝对值和及最有可能模式筛选出几种最可能的预测模式，并进行率失真最优化法进行选择，进而减小预测模式选择的计算复杂度。
本发明解决现有技术中H.264标准的帧内预测模式选择的计算复杂度高的技术问题所采用的技术方案是提供一种H.264标准的帧内预测模式选择方法，该模式选择方法包括a.输入帧图像；b.进行16×16预测模式选择；步骤b包括b1.按照16×16预测模式对帧图像的当前宏块进行预测；b2.计算16×16预测模式下的残差绝对值和SAD16并进行排序；b3.如果16×16预测模式下的最小残差绝对值和SAD16MIN小于阈值TH16_1，则将最小残差绝对值和SAD16MIN所对应的预测模式作为当前宏块的最佳预测模式并结束当前宏块的预测模式选择。
根据本发明一优选实施例，步骤b进一步包括b4.如果16×16预测模式下的次小残差绝对值和SAD16SMIN与最小残差绝对值和SAD16MIN的差Diff16大于阈值TH16_2，则将最小残差绝对值和SAD16MIN所对应的模式作为当前宏块的最佳16×16预测模式。
根据本发明一优选实施例，步骤b进一步包括b5.如果最小残差绝对值和SAD16MIN大于阈值TH16_3，则结束步骤b。
根据本发明一优选实施例，步骤b进一步包括b6.计算16×16预测模式下的再残差绝对值和SATD16并将最小再残差绝对值和SATD16MIN所对应的预测模式作为当前宏块的最佳16×16预测模式。
根据本发明一优选实施例，步骤b进一步包括b7.如果在步骤b4或b6中确定了当前宏块的最佳16×16预测模式，计算最佳16×16预测模式的率失真代价RDcost16。
根据本发明一优选实施例，模式选择方法进一步包括c.进行4×4预测模式选择；步骤c包括c1.按照4×4预测模式对帧图像的4×4宏块进行预测；c2.计算4×4预测模式下的残差绝对值和SAD4并进行排序；c3.如果4×4预测模式下的次小残差绝对值和SAD4SMIN与最小残差绝对值和SAD4MIN的差Diff4大于阈值TH4_1，则将最小残差绝对值和SAD4MIN所对应的预测模式作为4×4宏块的最佳4×4预测模式。
根据本发明一优选实施例，步骤c进一步包括c4.如果量化系数QP＞28，且最小残差绝对值和SAD4MIN所对应的预测模式为最有可能模式MPM，则将最小残差绝对值和SAD4MIN所对应的模式作为4×4宏块的最佳4×4预测模式。
根据本发明一优选实施例，步骤c进一步包括c5.以率失真最优化方法从最小残差绝对值和SAD4MIN、次小残差绝对值和SAD4SMIN与最有可能模式MPM中选择4×4宏块的最佳4×4预测模式。
根据本发明一优选实施例，步骤c进一步包括c6.如果经步骤c5选择出的最佳4×4预测模式的4×4块的率失真代价RDCOST4的和S_RDCOST4大于步骤b中选择出的最佳16×16预测模式的率失真代价RDCOST16，则将最佳16×16预测模式作为最佳预测模式并结束帧图像的模式选择。
根据本发明一优选实施例，模式选择方法进一步包括d.对步骤b中选择的最佳16×16预测模式与步骤c中选择的当前宏块的最佳4×4预测模式进行比较，以确定最佳预测模式。
上述技术方案的有益效果是通过研究最佳模式同模式的残差绝对值之和(Sum of Absolute Differences，SAD)和最有可能模式(Most_probableMode，MPM)之间的关系，采用固定数目的模式筛选与中止策略相结合。其首先根据SAD和最有可能模式筛选出几种最可能的模式，然后进行RDO选择，进而降低了H.264视频编码标准的帧内预测模式选择的计算复杂度。
图1是本发明H.264视频编码标准的帧内预测模式选择方法的流程图；图2是本发明中所使用的ROD方法的示意框图。
具体实施方式下面结合附图和实施例对本发明进一步说明。
如图1所示，图1是本发明H.264视频编码标准的帧内预测模式选择方法的流程图。在本发明中为了克服现有H.264的帧内预测模式选择算法复杂度太高，计算量大的缺点，通过改进模式筛选方法和中止算法，极大的减少了模式预测中的计算量，从而提高了预测的速度。
本发明预测模式选择方法的具体流程包括1.输入帧图像。
2.进行Intra_16×16预测模式选择过程2.1按照Intra_16×16的4种预测模式对帧图像的当前宏块进行预测；2.2计算残差绝对值和SAD16并进行排序；2.3如果最小残差绝对值和SAD16MIN小于阈值TH16_1，则将SAD16MIN所对应的预测模式作为最佳预测模式并结束当前宏块的预测模式选择；
2.4如果次小残差绝对值和SAD16SMIN与最小残差绝对值和SAD16MIN的差Diff16大于阈值TH16_2，则将最小残差绝对值和SAD16MIN所对应的模式作为最佳16×16预测模式；2.5如果最小残差绝对值和SAD16MIN大于阈值TH16_3，则结束步骤b，跳转到3进行4×4预测模式选择；2.6计算再残差绝对值和SATD16并将最小再残差绝对值和SATD16MIN对应的预测模式作为最佳16×16预测模式；2.6如果在步骤2.4或2.6中确定了最佳16×16预测模式，计算率失真代价RDcost16，并结束16×16预测模式选择过程，跳转到3进行4×4预测模式选择。
3 Int ra_4×4模式选择过程3.1按照4×4预测模式对帧图像的4×4宏块进行预测；3.2计算残差绝对值和SAD4并进行排序；3.3如果次小残差绝对值和SAD4SMIN与最小残差绝对值和SAD4MIN的差Diff4大于阈值TH4_1，则将最小残差绝对值和SAD4MIN所对应的模式作为该4×4宏块的最佳4×4预测模式；3.4如果QP＞28，且最小残差绝对值和SAD4MIN所对应的预测模式为最有可能模式(Most_probable Mode，MPM)，则将SAD4MIN所对应的模式作为该4×4宏块的最佳4×4预测模式；3.5以RDO方法从SAD4最小的两个模式与最有可能模式MPM中选择该4×4宏块的最佳4×4预测模式，其中RDO方法的过程如图2所示；3.6如果该4×4宏块已经选择出的最佳4×4预测模式的4×4块的率失真代价RDCOST4的相加得到的和S_RDCOST4大于最佳16×16预测模式的率失真代价RDCOST16，则将最佳16×16预测模式作为最佳预测模式并结束当前宏块的模式选择。
4在对当前16×16宏块进行完Intra_4×4模式选择后，如果同时存在最佳Intra_16×16预测模式和Intra_4×4预测模式后，将Intra_16×16、Intra_4×4模式的选择结果进行比较，选出两种预测类型中的SAD最小的作为当前宏块的最佳模式。
需要说明的是1)率失真代价(RDcost)由以下公式确定RDcost＝SSD+λmode×Rate(1)其中，SSD为原始块和重构块象素值的平方差之和；λmodc的值为0.85·2OP3；Rate表示这种预测模式下的比特率。RDcost的具体计算过程如下首先对模式的预测残差进行变换/量化，计算Rate；然后对变换/量化的结果进行反向量化/反向变换，将其结果与模式预测的结果相加进行图像重构，利用重构图像和原始图像的差异计算SSD；最后是利用公式将两项相加计算总的RDcost。
2)MPM，由于图像的空间相关性，经常出现相邻的块用到相同模式的情况。MPM是根据相邻块的预测模式确定的当前块最有可能的预测模式。
3)阈值Th16_1，Th16_2，Th16_3，Th4_1是通过实验统计得到的结果。其中Th16_2，Th4_1是常量；Th16_1，Th16_3与量化系数QP有关。
由于SAD的大小与最佳模式有很紧密的关系，H.264的编码是对残差变换之后进行的，而SAD是残差绝对值之和，因此基本上，残差越小，越有可能成为最佳模式。而MPM主要是利用了图像的空间相关性，即相邻块的最佳模式相同的可能性很大；而且当MPM为最佳模式时还可以节约比特率，因此相同预测结果下，MPM会得到优先考虑。
本发明采用上述中止策略的原理如下中止算法是根据一些显然或者绝对成立的判据，提前中止模式选择过程中的一部分或全部的运算，直接得出模式选择结果。考虑到算法的目的是减少计算量，要求这些条件的实现比较简单，不会带来太多的附加计算量；且中止条件的制定要比较严格，以免对模式选择的质量带来损失。
本算法采用的中止策略分为Intra_16×16过程中的中止和Intra_4×4过程中的中止。
1.Intra_16×16过程中的中止有三个中止策略A.当Intra_16×16预测模式的最小SAD小于某个阈值Th16_1时，直接跳出当前宏块的模式选择过程。主要依据是当Intra_16×16预测模式的SAD非常小时，表明此模式的预测精度高，用的比特率少；首先在Intra_16×16模式中它很容易成为最佳模式，而且较Intra_4×4预测模式，它用来进行模式编码的比特数少，更有可能成为最佳模式。
Th16_1的选取应该非常谨慎。本文采用的策略是，当QP小时，Th16_1的值较小，为预测相当准确的情况；当QP大时，由于模式编码用的比特数对比特率的影响变大，Intra_16×16模式成为最佳模式的可能性也变大，因此Th16_1随着QP的增加而增大。
B.当Intra_16×16预测模式的最小SAD与次小SAD的差大于Th16_2时，直接选择此模式为最佳Intra_16×16预测模式。
C.当Intra_16×16模式的最小SAD大于Th16_3时，认为最佳模式不可能为Intra_16×16模式。Th16_3的大小与QP有关。当QP很小时，预测模式为Intra_16×16模式的情况很少，Th16_3可以定得很小；随着QP增加，Intra_16×16模式成为最佳模式的可能性增加，Th16_3也应该相应增加。
2.Intra_4×4过程中的中止Intra_4×4模式选择过程也用了三种中止策略A.由于Intra_16×16模式选择先于Intra_4×4，即Intra_16×16模式的RDcost会先计算出来。可以在Intra_4×4预测过程中将已预测块的RDcost相加，当进行到某个块时，总的4×4块的RDcost大于Intra_16×16模式的RDcost，表明Intra_4×4不可能成为最佳模式，中止模式选择过程。这个中止策略是无损的。
B.当Intra_4×4模式的最小SAD与次小SAD的差大于Th4_1时，直接选择此模式为最佳Intra_4×4预测模式。试验结果表明，当Th4_1大于200时，选出的模式是最佳Intra_4×4模式的正确性高达95％，且与QP的大小无关。
C.QP＞28，当具有最小SAD的Intra_4×4模式同时也是MPM时，直接选择此模式为最佳Intra_4×4模式。主要原因是随着QP增大，MPM的影响越来越大。
本算法通过研究最佳模式同模式的残差绝对值之和以及最有可能模式之间的关系，提出了一种新的帧内模式选择方法，其采用固定数目的模式筛选与中止策略相结合。其首先根据SAD和最有可能模式筛选出几种最可能的模式，然后进行RDO选择，进而降低了H.264视频编码标准的帧内预测模式选择的计算复杂度。
上述的详细描述仅是示范性描述，本领域技术人员在不脱离本发明所保护的范围和精神的情况下，可根据不同的实际需要设计出各种实施方式。
权利要求
1.一种H.264标准的帧内预测模式选择方法，所述模式选择方法包括a.输入帧图像；b.进行16×16预测模式选择；所述步骤b包括b1.按照16×16预测模式对所述帧图像的当前宏块进行预测；b2.计算所述16×16预测模式下的残差绝对值和SAD16并进行排序；b3.如果所述16×16预测模式下的最小残差绝对值和SAD16MIN小于阈值TH16-1，则将所述最小残差绝对值和SAD16MIN所对应的预测模式作为所述当前宏块的最佳预测模式并结束所述当前宏块的预测模式选择。
2.根据权利要求1所述的模式选择方法，其特征在于所述步骤b进一步包括b4.如果所述16×16预测模式下的次小残差绝对值和SAD16SMIN与所述最小残差绝对值和SAD16MIN的差Diff16大于阈值TH16-2，则将所述最小残差绝对值和SAD16MIN所对应的模式作为所述当前宏块的最佳16×16预测模式。
3.根据权利要求2所述的模式选择方法，其特征在于所述步骤b进一步包括b5.如果所述最小残差绝对值和SAD16MIN大于阈值TH16-3，则结束所述步骤b。
4.根据权利要求3所述的模式选择方法，其特征在于所述步骤b进一步包括b6.计算所述16×16预测模式下的再残差绝对值和SATD16并将最小再残差绝对值和SATD16MIN所对应的预测模式作为所述当前宏块的最佳16×16预测模式。
5.根据权利要求4所述的模式选择方法，其特征在于所述步骤b进一步包括b7.如果在步骤b4或b6中确定了所述当前宏块的最佳16×16预测模式，计算所述最佳16×16预测模式的率失真代价RDcost16。
6.根据权利要求5所述的模式选择方法，其特征在于所述模式选择方法进一步包括c.进行4×4预测模式选择；所述步骤c包括c1.按照4×4预测模式对所述帧图像的4×4宏块进行预测；c2.计算所述4×4预测模式下的残差绝对值和SAD4并进行排序；c3.如果所述4×4预测模式下的次小残差绝对值和SAD4SMIN与最小残差绝对值和SAD4MIN的差Diff4大于阈值TH4-1，则将所述最小残差绝对值和SAD4MIN所对应的预测模式作为所述4×4宏块的最佳4×4预测模式。
7.根据权利要求6所述的模式选择方法，其特征在于所述步骤c进一步包括c4.如果量化系数QP＞28，且所述最小残差绝对值和SAD4MIN所对应的预测模式为最有可能模式MPM，则将所述最小残差绝对值和SAD4MIN所对应的模式作为所述4×4宏块的最佳4×4预测模式。
8.根据权利要求7所述的模式选择方法，其特征在于所述步骤c进一步包括c 5.以率失真最优化方法从所述最小残差绝对值和SAD4MIN、所述次小残差绝对值和SAD4SMIN与最有可能模式MPM中选择所述4×4宏块的最佳4×4预测模式。
9.根据权利要求8所述的模式选择方法，其特征在于所述步骤c进一步包括c6.如果经所述步骤c5选择出的最佳4×4预测模式的4×4块的率失真代价RDCOST4的和S_RDCOST4大于所述步骤b中选择出的最佳16×16预测模式的率失真代价RDCOST16，则将所述最佳16×16预测模式作为最佳预测模式并结束所述帧图像的模式选择。
10.根据权利要求8所述的模式选择方法，其特征在于所述模式选择方法进一步包括d.对所述步骤b中选择的最佳16×16预测模式与所述步骤c中选择的所述当前宏块的最佳4×4预测模式进行比较，以确定最佳预测模式。
全文摘要
本发明涉及一种H.264标准的帧内预测模式选择方法，该模式选择方法包括a.输入帧图像；b.进行16×16预测模式选择；步骤b包括b1.按照16×16预测模式对帧图像的当前宏块进行预测；b2.计算16×16预测模式下的残差绝对值和SAD16并进行排序；b3.如果16×16预测模式下的最小残差绝对值和SAD1文档编号H04N7/32GK101087427SQ20061006091
公开日2007年12月12日 申请日期2006年6月6日 优先权日2006年6月6日
发明者王继山, 黄慧娟, 李挥, 马建设, 胡小民, 张政操, 陈慕羿, 李烽, 韩晓鹏 申请人:北京大学深圳研究生院