专利名称：一种可伸缩视频编码的空间增强层快速模式选择方法
技术领域：
本发明涉及一种可伸缩视频编码的快速模式选择方法，特别涉及一种针对可伸 缩视频编码空域增强层的快速模式选择方法。
背景技术：
随着互联网与无线网络技术的发展，数字视频技术的应用随处可见，第三代移 动通信技术(3G)的普及使得高效的视频编码技术变得越来越重要。同时快速发展的 网络技术也要求视频内容具有各种不同的时域、空域分辨率以及不同的重建质量。为 了使一个单一的视频流能够同时满足上述的不同要求，人们提出了可伸缩视频编码技术 (SVC)。在可伸缩视频编码中，视频流可以被部分或者全部解码以获取不同帧率、不同 空间分辨率或者不同重建质量的视频图像。目前基于H.264的可伸缩视频编码系统被采纳为可伸缩视频编码的标准，被称 为H.264/SVC，H.264/SVC通过“等级B帧”结构来获得时域可伸缩性，对于空域可 伸缩，H.264/SVC才用了分层编码技术。为了提高编码效率，与H.264视频编码标准一 样，H.264/SVC编码器需要从多种宏块编码模式中选出一个率失真代价最小的最佳模式 对一个宏块进行编码，这大大增加了编码复杂度。所述多种宏块编码模式包括2种帧 内模式 Intral6xl6、Intra4x4 ； 5 种帧间模式分别是 Skip、16x16、16x8、8x16 和 8x8 模 式，其中8x8模式又包括4种子模式分别为Sub8x8、Sub8x4、Sub4x8和Sub4x4模式。 对于帧间模式，编码器的计算量极为复杂，编码器完成每一种帧间模式的率失真计算需 要进行运动补偿预测、DCT变化、量化、反量化、熵编码等复杂过程，将占用大量编码 时间。除此之外，H.264/SVC还在空间增强层引入了新的层间预测技术，以提高层间 编码效率，这增加了两种新的预测模式BLSKIP、INTRABLo在BLSKIP模式下，空间 增强层的分割信息、运动矢量以及残差数据直接从空间基本层对应宏块中推导出来。在 INTRABL模式下，帧内预测的空间基本层对应宏块首先被重建，重建后的数据作为空间 增强层宏块的预测信号，之后空间增强层宏块编码原始信号与预测信号的残差。与H.264 视频编码标准相同，H.264/SVC依次计算所有可行模式的率失真代价，最后选取率失真 代价最小的那个模式作为编码模式。
发明内容
为解决现有技术中可伸缩视频编码标准空间增强层宏块模式选择计算复杂度过 高、运算量过大而导致耗时过久的问题，本发明提供一种可伸缩视频编码的空间增强层 快速模式选择方法。本发明解决其技术问题所采取的技术方案是其可伸缩视频编码的空间增强层 快速模式选择方法为若当前编码宏块的空间基本层对应宏块的最佳模式为帧内模式，则当前编码宏 块选择帧内模式作为当前编码宏块的候选模式子集，并通过“率失真最优化”模型在所述候选模式子集中选择率失真代价最小的模式作为当前编码宏块的最佳模式，后结束该 快速模式选择过程。若当前编码宏块的空间基本层对应宏块的最佳模式为帧间模式，则计算当前编 码宏块Skip模式的率失真代价，并根据当前编码宏块的周围宏块计算当前编码宏块的 Skip模式提早跳出的率失真代价门限；判断当前编码宏块Skip模式的率失真代价是否小 于所述率失真代价门限若是，则选择Skip模式作为当前编码宏块的最佳模式，后结束 该快速模式选择过程；否则，根据位于当前编码宏块的左方、上方和右上方的相邻已编 码宏块的最佳模式计算当前编码宏块的模式质量，并根据所述当前编码宏块的模式质量 和编码器所维护的当前编码参数下的模式质量门限表来选择当前编码宏块的候选模式子 集，并通过“率失真最优化”模型在该候选模式子集中选择率失真代价最小的模式作为 当前编码宏块的最佳模式，后结束该快速模式选择过程。进一步地，本发明所述“当前编码宏块选择帧内模式作为当前编码宏块的候选 模式子集”按如下方法进行当所述当前编码宏块的空间基本层对应宏块的最佳模式为Intra4x4时，选择 Intra4x4和INTRABL模式作为当前编码宏块的候选模式子集；当所述当前编码宏块的空间基本层对应宏块的最佳模式为Intral6X16时，选择为 Intral6xl6和INTRABL模式作为当前编码宏块的候选模式子集。进一步地，本发明所述“当前编码宏块的Skip模式提早跳出的率失真代价门 限”的计算方法如下在当前编码宏块的左方、左上方、上方和右上方的四个相邻已编码宏块中，找 到所有最佳模式为Skip模式的宏块，计算出这些宏块的Skip模式的率失真代价的平均 值，把该平均值设定为所述率失真代价门限。进一步地，本发明所述“根据所述当前编码宏块的模式质量和编码器所维护的 当前编码参数下的模式质量门限表来选择当前编码宏块的候选模式子集”包括如下步 骤1)若当前编码宏块的左方、上方、右上方均存在相邻已编码宏块，则利用公式 (1)计算当前编码宏块的模式质量并执行步骤2)，否则将所述候选模式子集设置为Skip、 16x16、16x8、8x16 和 Sub8x8 模式，并执行步骤 4)；MW = 2A+2B+C(1)式(1)中，A、B、C分别表示当前编码宏块的左方、上方、右上方的相邻已编 码宏块的最佳模式所对应的权值，A、B、C从由4个不同数值组成的同一个集合中任意 选取一个数值；2)获取当前编码宏块的空间基本层对应宏块的最佳模式，根据所述空间基本层 对应宏块的最佳模式在所述模式质量门限表中找出对应的3个模式质量门限，3个模式质 量门限按其门限值由小到大依次为第一门限、第二门限、第三门限；若当前编码宏块的 模式质量小于第一门限，则所述候选模式子集为Skip和16x16模式；若当前编码宏块的 模式质量大于等于第一门限且小于第二门限，则所述候选模式子集为Skip、16x16、16x8 和8x16模式；若当前编码宏块的模式质量大于等于第二门限且小于第三门限，则所述候 选模式子集为Skip、16x16、16x8、8x16和8x8模式；若当前编码宏块的模式质量大于等于第三门限，则所述候选模式子集为Skip、16x8、8x16和8x8模式；3)若所述候选模式子集包括8x8模式，则从该候选模式子集的除8x8模式以外 的其他候选模式中选择率失真代价最小的模式作为暂时最佳模式；若所述暂时最佳模式 为Skip或16x16模式，则从该候选模式子集中剔除8x8模式并执行步骤4)，否则首先计 算8x8模式中的SubSxS模式的率失真代价，再将该率失真代价与所述暂时最佳模式的率 失真代价相比较如果所述SubSxS模式的率失真代价更大，则从该候选模式子集中剔除 Sub8x4、Sub4x8、Sub4x4模式并执行步骤4)，否则直接执行步骤4);4)将BLSKIP和Intra4x4模式加入到候所述选模式子集中。进一步地，本发明所述所述“编码器维护的当前编码参数下的模式质量门限 表”按如下方法获得a)在所述当前编码参数下，分别对Bus、Football和Forman测试序列按可伸缩
视频编码标准方法进行编码测试，根据测试结果得到可伸缩视频编码空间增强层宏块的 帧间模式的概率分布，以及可伸缩视频编码空间基本层对应宏块的最佳模式在每一种帧 间模式下可伸缩视频编码空间增强层宏块的最佳模式的条件概率分布；b)将公式(2)中的A、B、C的所有可能的取值进行任意组合得到64种取值组 合，并按公式(2)计算每一种取值组合所对应的宏块的模式质量，同时利用步骤a)所述 空间增强层宏块的帧间模式的概率分布计算出所述每一种取值组合的发生概率；MW = 2A+2B+C(2)式⑵中，A、B、C分别表示任意一个所述空间增强层宏块的左方、上方、右 上方的相邻已编码宏块的最佳模式所对应的权值，A、B、C从由4个不同数值组成的同 一个集合中任意选取一个数值；c)根据步骤b)所述64种取值组合的模式质量的由低到高顺序，对模式质量对应 的发生概率进行排列，且对其中模式质量相同的发生概率按发生概率自身的由低到高顺 序进行排列；d)分别计算所述空间基本层对应宏块的最佳模式在每一种帧间模式下的第一门 限、第二门限、第三门限，并根据计算得到的所有门限建立“编码器维护的当前编码参 数下的模式质量门限表”；所述第一门限的计算方法如下首先根据所述空间基本层的最佳模式，找到所 述空间增强层宏块的最佳模式的条件概率分布；计算该分布中Skip模式的概率，接着 从第一项开始逐项累加经步骤C)排列后的发生概率，直到累加得到的概率之和大于所述
“该分布中Skip模式的概率”，此时截止项所对应的模式质量为第一门限；所述第二门限的计算方法如下首先根据所述空间基本层的最佳模式，找到所 述空间增强层宏块的最佳模式的条件概率分布；计算该分布中Skip和16x16模式的概率 和，接着从第一项开始逐项累加经步骤c)排列后的发生概率，直到累加得到的概率之和 大于所述“该分布中Skip和16x16模式的概率和”，此时截止项所对应的模式质量为第 二门限；所述第三门限的计算方法如下首先根据所述空间基本层的最佳模式，找到 所述空间增强层宏块的最佳模式的条件概率分布；计算该分布中Skip、16x16、16x8和 8x16模式的概率和，接着从第一项开始逐项累加经步骤C)排列后的发生概率，直到累加得到的概率之和大于所述“该分布中Skip、16x16、16x8和8x16模式的概率和”，此时 截止项所对应的模式质量为第三门限。与现有技术相比，本发明的优点在于1.当当前编码宏块的空间基本层对应宏块的最佳模式为帧内模式时，该当前编 码宏块的候选模式子集仅包括帧内模式，这大大减少了需要计算率失真代价的编码模式 的数量，从而减少了编码时间。2.当当前编码宏块的空间基本层对应宏块的最佳模式为帧间模式时，本发明通 过设定一个当前编码宏块的Skip模式提早跳出的率失真代价门限，并在当前编码宏块的 Skip模式的率失真代价小于所述率失真代价门限时直接结束模式选择过程，从而减少了 编码时间。3.本发明依据当前编码宏块的模式质量和一张编码器维护的当前编码参数下的 模式质量门限表来选择当前编码宏块的候选模式子集，而候选模式子集的编码模式数量 较少，从而减少了编码时间。
图1是本发明方法的流程图；图2是图1中的“帧内情况下的模式选择”的具体流程示意图；图3是图1中的“依据模式质量进行模式选择”的具体流程示意具体实施例方式下面结合图1至图3以及实施例对本发明做进一步的说明。本发明在JSVM12测试模型上进行仿真实验，并把仿真结果同现有的可伸缩 视频编码空间增强层标准全搜索方法在编码时间、码率以及码流的PSNR方面进行了对 比。本实施例所设置的当前编码参数如表1所示表1 本实施例的当前编码参数
权利要求
1.一种可伸缩视频编码的空间增强层快速模式选择方法，其特征是若当前编码宏块的空间基本层对应宏块的最佳模式为帧内模式，则当前编码宏块选 择帧内模式作为当前编码宏块的候选模式子集，并通过“率失真最优化”模型在所述候 选模式子集中选择率失真代价最小的模式作为当前编码宏块的最佳模式，后结束该快速 模式选择过程。若当前编码宏块的空间基本层对应宏块的最佳模式为帧间模式，则计算当前编码宏 块Skip模式的率失真代价，并根据当前编码宏块的周围宏块计算当前编码宏块的Skip模 式提早跳出的率失真代价门限；判断当前编码宏块Skip模式的率失真代价是否小于所述 率失真代价门限若是，则选择Skip模式作为当前编码宏块的最佳模式，后结束该快速 模式选择过程；否则，根据位于当前编码宏块的左方、上方和右上方的相邻已编码宏块 的最佳模式计算当前编码宏块的模式质量，并根据所述当前编码宏块的模式质量和编码 器所维护的当前编码参数下的模式质量门限表来选择当前编码宏块的候选模式子集，并 通过“率失真最优化”模型在该候选模式子集中选择率失真代价最小的模式作为当前编 码宏块的最佳模式，后结束该快速模式选择过程。
2.根据权利要求1所述的可伸缩视频编码的空间增强层快速模式选择方法，其特征 是，“当前编码宏块选择帧内模式作为当前编码宏块的候选模式子集”按如下方法进 行当所述当前编码宏块的空间基本层对应宏块的最佳模式为Intra4X4时，选择Intra4x4 和INTRABL模式作为当前编码宏块的候选模式子集；当所述当前编码宏块的空间基本层对应宏块的最佳模式为Intral6xl6时，选择为 Intral6xl6和INTRABL模式作为当前编码宏块的候选模式子集。
3.根据权利要求1所述的可伸缩视频编码的空间增强层快速模式选择方法，其特征 是，“当前编码宏块的Skip模式提早跳出的率失真代价门限”的计算方法如下在当前编码宏块的左方、左上方、上方和右上方的四个相邻已编码宏块中，找到所 有最佳模式为Skip模式的宏块，计算出这些宏块的Skip模式的率失真代价的平均值，把 该平均值设定为所述率失真代价门限。
4.根据权利要求1所述的可伸缩视频编码的空间增强层快速模式选择方法，其特征 是，“根据所述当前编码宏块的模式质量和编码器所维护的当前编码参数下的模式质量 门限表来选择当前编码宏块的候选模式子集”包括如下步骤1)若当前编码宏块的左方、上方、右上方均存在相邻已编码宏块，则利用公式(1) 计算当前编码宏块的模式质量并执行步骤2)，否则将所述候选模式子集设置为Skip、 16x16、16x8、8x16 和 Sub8x8 模式，并执行步骤 4)；MW = 2A+2B+C (1)式(1)中，A、B、C分别表示当前编码宏块的左方、上方、右上方的相邻已编码宏 块的最佳模式所对应的权值，A、B、C从由4个不同数值组成的同一个集合中任意选取 一个数值；2)根据当前编码宏块的空间基本层对应宏块的最佳模式在所述模式质量门限表中找 出对应的3个模式质量门限，3个模式质量门限按其门限值由小到大依次为第一门限、 第二门限、第三门限；若当前编码宏块的模式质量小于第一门限，则所述候选模式子集为Skip和16x16模式；若当前编码宏块的模式质量大于等于第一门限且小于第二门限， 则所述候选模式子集为Skip、16x16、16x8和8x16模式；若当前编码宏块的模式质量大 于等于第二门限且小于第三门限，则所述候选模式子集为Skip、16x16、16x8、8x16和 8x8模式；若当前编码宏块的模式质量大于等于第三门限，则所述候选模式子集为Skip、 16x8、8x16 和 8x8 模式；3)若所述候选模式子集包括8x8模式，则从该候选模式子集的除8x8模式以外的其他 候选模式中选择率失真代价最小的模式作为暂时最佳模式；若所述暂时最佳模式为Skip 或16x16模式，则从该候选模式子集中剔除8x8模式并执行步骤4)，否则首先计算8x8模 式中的SubSxS模式的率失真代价，再将该率失真代价与所述暂时最佳模式的率失真代价 相比较如果所述SubSxS模式的率失真代价更大，则从该候选模式子集中剔除Sub8x4、 Sub4x8、Sub4x4模式并执行步骤4)，否则直接执行步骤4)；4)将BLSKIP和Intra4x4模式加入到候所述选模式子集中。
5.根据权利要求1所述的可伸缩视频编码的空间增强层快速模式选择方法，其特征 是，所述“编码器维护的当前编码参数下的模式质量门限表”按如下方法获得a)在所述当前编码参数下，分别对Bus、Football和Forman测试序列按可伸缩视频 编码标准方法进行编码测试，根据测试结果得到可伸缩视频编码空间增强层宏块的帧间 模式的概率分布，以及可伸缩视频编码空间基本层对应宏块的最佳模式在每一种帧间模 式下可伸缩视频编码空间增强层宏块的最佳模式的条件概率分布；b)将公式(2)中的A、B、C的所有可能的取值进行任意组合得到64种取值组合， 并按公式(2)计算每一种取值组合所对应的宏块的模式质量，同时利用步骤a)所述空间 增强层宏块的帧间模式的概率分布计算出所述每一种取值组合的发生概率；MW = 2A+2B+C (2)式(2)中，A、B、C分别表示任意一个所述空间增强层宏块的左方、上方、右上方 的相邻已编码宏块的最佳模式所对应的权值，A、B、C从由4个不同数值组成的同一个 集合中任意选取一个数值；C)根据步骤b)所述64种取值组合的模式质量的由低到高顺序，对模式质量对应的发 生概率进行排列，且对其中模式质量相同的发生概率按发生概率自身的由低到高顺序进 行排列；d)分别计算所述空间基本层对应宏块的最佳模式在每一种帧间模式下的第一门限、 第二门限、第三门限，并根据计算得到的所有门限建立“编码器维护的当前编码参数下 的模式质量门限表”；所述第一门限的计算方法如下首先根据所述空间基本层的最佳模式，找到所述空 间增强层宏块的最佳模式的条件概率分布；计算该分布中Skip模式的概率，接着从第一 项开始逐项累加经步骤c)排列后的发生概率，直到累加得到的概率之和大于所述“该分 布中Skip模式的概率”，此时截止项所对应的模式质量为第一门限；所述第二门限的计算方法如下首先根据所述空间基本层的最佳模式，找到所述空 间增强层宏块的最佳模式的条件概率分布；计算该分布中Skip和16x16模式的概率和， 接着从第一项开始逐项累加经步骤C)排列后的发生概率，直到累加得到的概率之和大于 所述“该分布中Skip和16x16模式的概率和”，此时截止项所对应的模式质量为第二门限；所述第三门限的计算方法如下首先根据所述空间基本层的最佳模式，找到所述空 间增强层宏块的最佳模式的条件概率分布；计算该分布中Skip、16x16、16x8和8x16模 式的概率和，接着从第一项开始逐项累加经步骤C)排列后的发生概率，直到累加得到的 概率之和大于所述“该分布中Skip、16x16、16x8和8x16模式的概率和”，此时截止项 所对应的模式质量为第三门限。
全文摘要
本发明公开一种可伸缩视频编码的空间增强层快速模式选择方法若当前编码宏块的空间基本层对应宏块的最佳模式为帧内模式，则当前编码宏块选择帧内模式作为当前编码宏块的候选模式子集。若当前编码宏块的空间基本层对应宏块的最佳模式为帧间模式，则计算当前编码宏块的Skip模式提早跳出的率失真代价门限，如果当前编码宏块Skip模式的率失真代价小于所述率失真代价门限，则选择Skip模式作为当前编码宏块的最佳模式；否则，计算当前编码宏块的模式质量，根据当前编码宏块的模式质量和编码器所维护的当前编码参数下的模式质量门限表来选择当前编码宏块的候选模式子集。本发明大大减少需要计算率失真代价的编码模式的数量，从而减少编码时间。
文档编号H04N7/26GK102025995SQ201010595188
公开日2011年4月20日 申请日期2010年12月10日 优先权日2010年12月10日
发明者吴珂, 谢立 申请人:浙江大学