专利名称：一种avs编码器快速帧间模式选择方法及装置的制作方法
技术领域：
本发明涉及数字视频编解码技术领域，尤其涉及ー种AVS编码器快速帧间模式选择方法及装置。
背景技术：
视频压缩技术在多媒体及其传输系统中占有重要的地位，随着多媒体技术的不断发展，高效的压缩技术成为大家研究的热点。AVS(Ad vanced Audio Video CodingStandard)标准是由中国数字音视频编解码技术标准工作组(简称AVS工作组)提出，具有自主知识产权的数字音视频编解码技术标准。AVS与H. 264在编码性能上相当，而算法复杂度明显低于H. 264，因此成为数字媒体领域里的一支极具竞争力的力量。无论对于AVS还是H. 264，率失真优化(RDO)都占有举足轻重的作用。RDO是ー个综合考量编码水平的指标，它对编码质量和码流大小给出了一个综合评价。一般来讲，采用RDO判据能够平均带来
O.5dB左右的増益，尽管全RDO判据对编码器性能有显著的提高，但是高复杂度阻碍了其应用。通常而言，需要经过运动估计(ME)、离散余弦变换(DCT)、量化、反量化、反变换和熵编码等环路才能得到重构像素和真实的码流大小，因此RDO具有较高的运算复杂度。所以，率失真优化对编码器来说是ー个不小的挑战。对于上述问题，现有技术中一般有两类解决方法。其一是减少候选模式数；其ニ是简化率失真计算模型，通过近似计算D和R的方法来简化计算复杂度。然而现有的方法往往单纯从算法的角度来看待这个问题，并没有针对硬件的可实现性对算法进行改造，导致上述两类解决方案仅仅停留在理论阶段，没有大大的实际应用价值。
发明内容
本发明解决的技术问题在于如何在能够保证高率失真性能的前提下，显著降低硬件实现复杂度。为了解决以上问题，本发明公开了ー种AVS编码器快速帧间模式选择方法，包括步骤一、提取每个像素点的最小可分辨视觉亮度差JND，根据视觉感知判决模型提取出每个像素点的最小可分辨亮度差，此亮度差用于步骤三中计算边缘点的个数；步骤ニ、计算每个像素点的梯度值，根据Sobel算子提取出每个像素点的水平和垂直梯度值，此梯度值用于步骤三中计算边缘点的个数，Sobel算子在图像处理中用于提取像素边缘信息值；步骤三、计算边缘点个数，通过比较步骤一中得到的每个像素点的JND和步骤ニ中得到的每个像素点的梯度值，可以获取边缘点的个数，边缘点分为三类，分别是宏块边缘点MLEP，水平边缘点HEP和垂直边缘点VEP ；步骤四、帧间模式选择，根据步骤三计算得到的三类边缘点的个数，可以从16x16、16x8,8x16和8x8这四种宏块划分模式中选取出最佳模式；步骤五、确定流水线调度策略，基于快速帧间模式选择算法，采用5级流水算法，前级模式决策MD模块优先从16x16，16x8,8x16和8x8这4种模式中计算并预选出最优模式，将最优模式传递给运动估计ME模块，ME模块将计算出的direct模式和最优模式的原始像素值和预测值绝对差之和SAD和运动向量MV传递给后级MD模块，同吋，后级MD模块从帧内预测IP模块获取intra模式的预测值，根据计算得到3个候选模式的率失真代价，比较各种模式的率失真代价，选取率失真最小的模式为最終的最优模式。进ー步，作为一种优选，所述提取每个像素点的最小可分辨视觉亮度差JND包括判决当前編码帧类型，如果当前編码帧为I帧，则跳过不处理；如果当前編码帧为P、B帧，则根据视觉感知判决模型提取出像素点的JND。进ー步，作为一种优选，所述计算每个像素点的梯度值包括通过Sobel算子分别提取出每个像素点的水平梯度值和垂直梯度值。
进ー步,作为一种优选,所述计算边缘点个数包括根据已求出的姆个像素点的JND及其水平梯度值和垂直梯度值，分别统计宏块边缘点个数，水平边缘点HEP个数和垂直边缘点VEP个数，所述的统计宏块边缘个数，具体步骤为比较计算出的每个像素点的JND和水平梯度值的大小，以及JND和垂直梯度值的大小，如果像素点的水平梯度值大于JND，或者垂直梯度值大于JND,则此像素点为ー个宏块边缘点MLEP。所述的统计水平边缘点个数，具体步骤为比较计算出的每个像素点的JND和水平梯度值的大小以及JND和垂直梯度值的大小，如果像素点的水平梯度值大于JND，并且垂直梯度值小于等于JND，则此像素点为ー个水平边缘点HEP，所述的统计垂直边缘点个数，具体步骤为比较计算出的每个像素点的JND和水平梯度值的大小以及JND和垂直梯度值的大小，如果像素点的垂直梯度值大于JND，并且水平梯度值小于等于JND，则此像素点为ー个垂直边缘点VEP。进ー步，作为一种优选，所述帧间模式选择步骤为首先，判断统计出的MLEP是否小于等于10，如果MLEP小于10，选择16x16模式为最佳帧间模式；其次，判断统计出的MLEP是否大于10并且小于等于128，如果MLEP大于10并且小于等于128，则最佳模式从16x8和8x16这两种模式之间选择；最后，判断统计出的MLEP是否大于128，如果MLEP大于128，则最佳模式为8x8 ;对于MLEP介于10和128之间的情况，此时需要判断HEP和VEP的大小；如果HEP大于VEP，则最佳模式为16x8 ;如果VEP大于HEP，则最佳模式为8x16。进ー步，作为一种优选，所述确定流水线调度策略步骤为基于快速帧间模式选择算法，采用5级流水算法，前级模式决策MD预判模块优先从16x16，16x8,8x16和8x8这4种模式中计算出最优模式，并将最优模式传递给ME模块，ME模块将计算出的direct模式和最优模式的RDO传递给后级MD模块，同时，后级MD模块从帧内预测IP模块获取intra模式的预测值。根据计算得到的3个候选模式的率失真代价，比较各种模式的率失真代价，选取率失真最小的模式为最終的最优模式。同时本发明还公开了ー种AVS编码器快速帧间模式选择装置，所述快速帧间模式选择装置包括前级模式选择预判模块，利用快速算法优先从16x16、16x8、8xl6和8x8模式中选出最优模式，減少了 PB帧中的宏块级候选模式，降低后级模式选择的复杂度；ME模块，用于计算预选出的最优模式和direct模式的原始像素值和预测值绝对差之和SAD和运动向量MV ;帧内预测模块，用于产生帧内模式的预测值，此模块用重构值进行预测；率失真代价计算及后级模式选择模块，用于计算各个模式的率失真代价，并同时进行模式选择；模式选择输出模块，本模块用于输出最优模式的模式信息以及重构值，熵编码信息。
进ー步，作为一种优选，所述前级模式选择预判模块结构，包括JND提取运算电路、梯度值提取运算电路、基于比较的边缘点提取电路和最优模式选择电路。相对于现有技术而言，本发明具有如下优势(a)、通过算法级优化，将算法改造成易硬件实现的算法，在不显著降低性能的前提下，大幅降低编码器的硬件实现复杂度，很好地把算法和结构融合起来(b)、巧妙安排流水线调度策略，合理划分处理单元，提高电路的并行度，最終实现了一种基于率失真的高性能模式决策装置。(c)、在计算率失真代价的过程中把熵编码的信息存储下来，在输出阶段进行输出，避免编码阶段又进行熵编码处理，提高了硬件的共享，降低了硬件资源。(d)、本发明的装置能够使编码器在极端环境中保持很强的鲁棒性，在低带宽环境中维持较高的编码质量，并同时能满足实时性要求；而在带宽充足的环境中能够保证视频图像的高质量。
当结合附图考虑时，通过參照下面的详细描述，能够更完整更好地理解本发明以 及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进ー步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中图I是本发明AVS快速帧间模式选择算法流程图；图2是基于视觉感知韦伯曲线建立的数学模型函数图；图3是像素点背景売度提取不意图；图4是模式选择装置的模块结构示意图；图5是前级模式选择的模块结构图；图6A是FME两路并行前向处理结构示意图；图6B是FME两路并行后向处理结构示意图。
具体实施例方式以下參照图1-6对本发明的实施例进行说明。
为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式
对本发明作进ー步详细的说明。參照图1，为本发明的快速帧间模式选择算法流程图。具体包含如下步骤模式选择初始化步骤S100，在初始化的过程中，给模式选择配置需要的參数，如图I所示，需要配置的參数有编码帧类型、量化步长；执行流程S101，根据提取到的原始像素值，可以统计出每个宏块中的MLEP、HEP和VEP的大小；根据判决条件S102，确定模式选择的分支，如果MLEP不大于10，则执行流程S103，选择16x16为最佳模式，否则，进入判决条件S104，继续确定模式选择的分支，如果MLEP大于10且不大于128，则进入判决条件S105，继续确定模式选择的分支，否则，执行流程S106，选择8x8为最佳模式；一旦进入判决条件S105，如果HEP大于VEP，则执行流程S107，选择16x8为最佳模式，否则执行流程S108，选择8x16为最佳模式；然后进入基于率失真的代价计算S109,计算最佳模式、Direct模式和中贞内模式的率失真代价，最后，基于率失真代价进行模式选择S110，并把相关结果输出。为了清楚地说明本发明的方法和装置，下面以AVS为例进行说明。在前面所述的模式选择方法中，对于AVS来说,候选模式生成具体为从16x16模式、16x8模式,8x16模式,8x8模式中基于快速算法选出ー种最佳预测模式Candidate,进而从ME获得Direct模式和Candidate的SAD和MV，从IP获得Intra模式的预测值，则候选模式为Intra模式，Direct模式和Candidate。最后选择三种候选模式中率失真最小者为最佳模式。參照图2，为基于视觉感知韦伯曲线建立的数学模型函数图。其中I是ー个像素点的背景亮度值，Λ I是最小可分辨视觉亮度差(JND)，Δ I/Ι是韦伯比。根据图2所建立的数学模型，可以得到如下表达式
权利要求
1.ー种AVS编码器快速帧间模式选择方法，其特征在于，包括 步骤一、提取每个像素点的最小可分辨视觉亮度差JND，根据视觉感知判决模型提取出每个像素点的最小可分辨亮度差，此亮度差用于步骤三中计算边缘点的个数； 步骤ニ、计算每个像素点的梯度值，根据Sobel算子提取出每个像素点的水平和垂直梯度值，此梯度值用于步骤三中计算边缘点的个数，Sobel算子在图像处理中用于提取像素边缘信息值； 步骤三、计算边缘点个数，通过比较步骤一中得到的每个像素点的JND和步骤ニ中得到的每个像素点的梯度值，可以获取边缘点的个数，边缘点分为三类，分别是宏块边缘点MLEP，水平边缘点HEP和垂直边缘点VEP ； 步骤四、帧间模式选择，根据步骤三计算得到的三类边缘点的个数，可以从16x16、16x8,8x16和8x8这四种宏块划分模式中选取出最佳模式； 步骤五、确定流水线调度策略，基于快速帧间模式选择算法，采用5级流水算法，前级模式决策MD模块优先从16x16，16x8,8x16和8x8这4种模式中计算并预选出最优模式，将最优模式传递给运动估计ME模块，ME模块将计算出的direct模式和最优模式的原始像素值和预测值绝对差之和SAD和运动向量MV传递给后级MD模块，同时，后级MD模块从帧内预测IP模块获取intra模式的预测值，根据计算得到3个候选模式的率失真代价，比较各种模式的率失真代价，选取率失真最小的模式为最終的最优模式。
2.根据权利要求I所述的ー种AVS编码器快速帧间模式选择方法，其特征在于，所述提取每个像素点的最小可分辨视觉亮度差JND包括判决当前編码帧类型，如果当前编码帧为I帧，则跳过不处理；如果当前編码帧为P、B帧，则根据视觉感知判决模型提取出像素点的 JND。
3.根据权利要求书I所述的ー种AVS编码器快速帧间模式选择方法，其特征在于，所述计算每个像素点的梯度值包括通过Sobel算子分别提取出每个像素点的水平梯度值和垂直梯度值。
4.根据权利要求书I所述的ー种AVS编码器快速帧间模式选择方法，其特征在于，所述计算边缘点个数包括根据已求出的每个像素点的JND及其水平梯度值和垂直梯度值，分别统计宏块边缘点个数，水平边缘点HEP个数和垂直边缘点VEP个数,所述的统计宏块边缘个数，具体步骤为比较计算出的每个像素点的JND和水平梯度值的大小，以及JND和垂直梯度值的大小，如果像素点的水平梯度值大于JND，或者垂直梯度值大于JND，则此像素点为ー个宏块边缘点MLEP。所述的统计水平边缘点个数，具体步骤为比较计算出的每个像素点的JND和水平梯度值的大小以及JND和垂直梯度值的大小，如果像素点的水平梯度值大于JND，并且垂直梯度值小于等于JND，则此像素点为ー个水平边缘点HEP，所述的统计垂直边缘点个数，具体步骤为比较计算出的每个像素点的JND和水平梯度值的大小以及JND和垂直梯度值的大小，如果像素点的垂直梯度值大于JND，并且水平梯度值小于等于JND，则此像素点为ー个垂直边缘点VEP。
5.根据权利要求书I所述的ー种AVS编码器快速帧间模式选择方法，其特征在于，所述帧间模式选择步骤为首先，判断统计出的MLEP是否小于等于10，如果MLEP小于10，选择16x16模式为最佳帧间模式；其次，判断统计出的MLEP是否大于10并且小于等于128，如果MLEP大于10并且小于等于128，则最佳模式从16x8和8x16这两种模式之间选择；最后，判断统计出的MLEP是否大于128，如果MLEP大于128，则最佳模式为8x8 ;对于MLEP介于10和128之间的情況，此时需要判断HEP和VEP的大小；如果HEP大于VEP，则最佳模式为16x8 ;如果VEP大于HEP，则最佳模式为8x16。
6.根据权利要求书I所述的ー种AVS编码器快速帧间模式选择方法，其特征在于，所述确定流水线调度策略步骤为基于快速帧间模式选择算法，采用5级流水算法，前级模式决策MD预判模块优先从16x16，16x8,8x16和8x8这4种模式中计算出最优模式，并将最优模式传递给ME模块，ME模块将计算出的direct模式和最优模式的RDO传递给后级MD模块，同时，后级MD模块从帧内预测IP模块获取intra模式的预测值。根据计算得到的3个候选模式的率失真代价，比较各种模式的率失真代价，选取率失真最小的模式为最終的最优模式。
7.根据权利要求书I 6之一所述的ー种AVS编。
8.16x8、8xl6和8x8模式中选出最优模式，减少了 PB帧中的宏块级候选模式，降低后级模式选择的复杂度；ME模块，用于计算预选出的最优模式和direct模式的原始像素值和预测值绝对差之和SAD和运动向量MV ;帧内预测模块，用于产生帧内模式的预测值，此模块用重构值进行预测；率失真代价计算及后级模式选择模块，用于计算各个模式的率失真代价，并同时进行模式选择；模式选择输出模块，本模块用于输出最优模式的模式信息以及重构值，熵编码信息。
9.根据权利要求书7所述的ー种AVS编码器快速帧间模式选择装置，其特征在于，所述前级模式选择预判模块结构，包括JND提取运算电路、梯度值提取运算电路、基于比较的边缘点提取电路和最优模式选择电路。
全文摘要
本发明公布了一种AVS编码器快速帧间模式选择方法，包括采用视觉感知判决模型和像素点边缘信息从16x16模式、16x8模式、8x16模式和8x8模式中预先选择出最优模式；便于硬件实现的快速帧间模式选择算法，突破帧间模式选择数据依赖，使帧间模式选择无需等待相关的重构数据，成为高效无中断模式选择流水线实现的前提；设计面向硬件可实现的高效率计算率失真代价的5级流水算法，使基于率失真代价的帧间模式选择实际硬件应用推广成为可能；最后，根据预选最优模式、direct模式和intra模式这三种候选模式的带价值确定最优模式。本发明还公布一种AVS帧间模式选择装置，显著提高了硬件编码器的编码性能。
文档编号H04N7/34GK102685497SQ201210115398
公开日2012年9月19日 申请日期2012年5月29日 优先权日2012年5月29日
发明者李帅, 祝闯, 解晓东, 贾惠柱, 高文 申请人:北京大学