专利名称：分层视频编码中编码模式选择方法及装置的制作方法
技术领域：
本发明涉及图像处理技术领域，特别涉及一种分层视频编码中编码模式选择方法 及装置。
背景技术：
视频技术的应用中，编码器的实现效率一直是关注的重点，特别对于实时编码的 监控应用，高效的编码器一直是追求的目标。现在的发展趋势，视频图像分辨率越来越大， 视频路数越来越多，要求编码器不仅仅要处理标清，还要处理高清；不仅仅要实现一路编 码，还需要实现多路编码。这样，就要在编码器的实现时，加入系列快速处理算法。可伸缩编码技术，实际是一种多层编码技术，也是一种多路编码技术，需要在同一 编码器中进行不同分辨率的图像编码。在上层图像编码过程中，可以采用同层的编码信息 作为参考，称为层内预测；也可以采用参考层图像信息作为参考，成为层间预测。2007年底，MPEG与VECG的联合视频专家组在H. 264/AVC标准的基础上，制定了可 伸缩视频压缩编码标准，称为H. 264/SVC (以下简称SVC)，该标准已经被ISO采纳，成为国际 标准。SVC是多层视频压缩编码标准，每一层对应着一路视频序列的输入。视频序列的固 有属性包括分辨率大小(如CIF、QVGA.720P等)、帧率(30帧/秒)。为了提高压缩性能， SVC采用层间预测技术，即当前层在编码的时候，可以从参考层中获得预测数据作为参考数 据。在标准中，当前编码层称为增强层，参考层称为基本层。根据增强层与基本层输入视频 序列的不同，SVC中包含三种可伸缩方案质量可伸缩、时域可伸缩和空域可伸缩。在质量 可伸缩情况下，增强层和基本层输入视频序列的分辨率、帧率都相同，但相对基本层，编码 后的增强层有更高的保真度，即更高的图像质量；时域可伸缩情况下，增强层和基本层输入 视频序列的分辨率相同，帧率不同，相对基本层，增强层输入视频序列的帧率更高；空域可 伸缩情况下，增强层和基本层输入视频序列的分辨率不同，帧率相同，相对基本层，增强层 输入视频序列的分辨率更大(也可以相同)。针对三种可伸缩场景，SVC分别采用质量可伸 缩技术、时域可伸缩技术、空域可伸缩技术三种相对应的压缩编码技术，减少增强层与基本 层间的冗余信息，以提高编码压缩效率。SVC编码产生的码流能高效便捷地适用异质环境， 比如带宽迥异的异质网络，分辨率大小不同的显示设备，处理能力强弱相差的消费终端。空域可伸缩技术是针对当前层和参考层输入视频序列的分辨率大小不同而制定 的。空域可伸缩技术在编码时，将每帧视频图像分成更小编码单元进行编码，这种更小编码 单元称为编码块。在编码增强层某一编码块的时候，可以通过增强层本身的数据获取编码 所需要的参考数据，称为层内预测；也可以通过基本层的数据获取编码所需的参考数据，称 为层间预测。根据获取参考数据的方式不同，层内预测也包含两大类别帧内预测和帧间预 测。帧内预测是指参考数据来自同一图像帧的预测方式；帧间预测是指参考数据来自另外 图像帧(一帧或者两帧)的预测方式。在SVC中，帧内预测有4x4块大小的预测，包含9中 模式，比如横向预测、纵向预测等，另外还有8x8、16xl6块大小的预测，均包含多种模式；帧 间预测的模式更多，有前向参考的P帧预测，也有双向参考的B帧预测等，每种还可以根据块大小划分为16xl6、16x8等7种不同的模式。在层间预测情况，SVC做了限制，有两种方 式，层间帧内预测、层间帧间预测。在基本层的对应编码块采用帧内编码方式时候，增强层 的编码块可以采用层间帧内预测；在基本层对应编码块采用帧间编码方式时候，增强层的 编码块可以采用层间帧间预测。根据预测信息不同，层间帧间预测包括层间运动信息(运 动矢量、参考索引等)预测和层间残差信息预测。可见，在SVC标准中，编码块的编码模式 种类繁多。但编码之后，每个编码块只对应一种编码模式，编码器很大一部分任务就是从种 类繁多的编码模式中选择当前宏块最适合的编码模式。现有技术中，编码模式选择方法选择是编码器实现中非常重要的部分。优越的模 式选择方案能够快速有效从种类繁多的编码模式中选择适合的编码模式，这样就很大程度 降低了编码的复杂度，提高编码速度，同时还能保证编码压缩性能。SVC标准近两年才制定，对SVC的实现目前还是处于刚刚展开的阶段，目前的模式 选择方案是直接比较层内预测和层间预测的性能，选择性能优异者作为最后的编码模式。现有技术中一种空域可伸缩技术编码模式选择方法可以如图1所示。具体的，是 计算层内预测模式的性能描述参数P_EL，并计算层间预测模式的性能描述参数P_BL，通过 比较P_EL与P_BL，选择性能描述参数优越的作为最后的编码模式。如果层间预测模式的 性能描述参数P_BL大于层内预测模式的性能描述参数P_EL，则选择层内模式；反之，如果 层间预测模式的性能描述参数P_BL小于层内预测模式的性能描述参数P_EL，则选择层间 模式。当然，性能描述参数有许多种，比如编码块的率失真值(RD)，编码块的绝对差值和 (SAD)等。特别的，在比较时，P_EL%P_BL是同一类型，要么全是SAD，要么全是RD。这些 参数是对编码效率的衡量，其大小就能反应编码性能的好坏。因此，现有技术通过比较层内 预测模式与层间预测模式的这两个性能描述参数来确定最终的编码模式。在对现有技术的研究和实践过程中，发明人发现现有技术中存在以下问题现有技术方法的编码模式选择方法不可避免的都需要计算出层内预测模式和层 间预测模式的性能描述参数，再进行比较，这样，这个计算过程会引入额外的运算复杂度， 从而降低编码器的速度。
发明内容
本发明实施例的目的是提供一种分层视频编码中编码模式选择方法及装置，以减 小计算量，降低计算复杂度。为解决上述技术问题，本发明实施例提供一种分层视频编码中编码模式选择方法 及装置是这样实现的一种分层视频编码中编码模式选择方法，包括获取增强层编码块选择层内预测模式的运动信息；在层内预测模式运动信息的基础上获取增强层编码块选择层间预测模式的运动 fn息；通过判断层内模式的运动信息与层间模式的预测运动信息是否一致选择编码模 式，如果层内模式的运动信息与层间模式的预测运动信息一致，则采用层间运动信息预测 模式来进行编码，否则采用层内模式来进行编码。一种分层视频编码中编码模式选择装置，包括
5
第一获取单元，用于获取增强层编码块选择层内预测模式的运动信息；第二获取单元，用于在层内预测模式运动信息的基础上获取增强层编码块选择层 间预测模式的运动信息；选择单元，通过判断层内模式的运动信息与层间模式的预测运动信息是否一致选 择编码模式，如果层内模式的运动信息与层间模式的预测运动信息一致，则采用层间运动 信息预测模式来进行编码，否则采用层内模式来进行编码。由以上本发明实施例提供的技术方案可见，SVC编码中，表示编码块的信息有运动 信息和残差信息。运动信息用来指示编码块对应的预测数据，残差则是编码块与测数据的 差值。层间运动信息预测是SVC中一种层间预测方式，利用该模式可以有效降低对运动信 息表示的比特数目，但是对于残差的表示没有明显提升。本申请避免在模式选择时候引入 性能参数的技术，仅仅比较层间模式和层内模式的运动信息是否一致，来选择编码模式，减 小计算量，也保证了图像编码质量。
图1为现有技术中一种空域可伸缩技术编码模式选择方法；图2为本申请空域可伸缩性的示意图；图3为本申请分层视频编码中编码模式选择方法实施例的流程图；图4为本申请运动矢量示意图；图5为本申请帧间预测模式示意图；图6为本申请空域可伸缩的两层编码中，增强层和基本层分辨率关系示意图；图7为本申请图3实施例的一具体例子的流程图；图8为本申请一种分层视频编码中编码模式选择装置实施例的框图；图9为本申请一种分层视频编码中编码模式选择装置实施例的另一框图。
具体实施例方式本发明实施例提供一种分层视频编码中编码模式选择方法及装置。为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本 发明实施例作进一步的详细说明。本申请针对SVC中的模式选择，提出一种层内或层间运动信息预测模式的选择方 案，在当前层的编码块选定层内编码模式后，快速有效地判断是否选择层间运动信息预测 模式，从而降低层间编码模式选择的复杂度。SVC是可伸缩性视频编码标准，支持三种可伸缩方案时域可伸缩性，空域可伸缩 性，以及质量可伸缩性，本专利适合空域可伸缩性。图2是空域可伸缩性的示意图，增强层 图像经过裁剪、缩小，得到基本层图像，增强层虚线区域就是基本层图像在增强层中对应的 区域。SVC中要求W。>=ffb, Hc >= Hb。Wb，Hb是基本层图像的宽度和高度·Χ，He是增强 层图像的宽度和高度；W。，H。是基本层在增强层对应部分的宽度和高度，即只有处于W。，H。中 的编码块才存在层间预测模式；(xO，y0)是基本层在增强层中对应图像的左上角，用于确 定对应图像位置的。为了提高编码压缩性能，标准中提供了很多编码模式，可以分成层内预测模式和层间预测模式两大类别。层内预测模式与H. 264/AVC中的编码模式一致，层间预测模式是 利用参考层的数据来获得预测数据的方式，是SVC中特有的。本申请是在确定层内预测模 式的基础上，进一步判断是否需要采取层间运动信息预测模式。本申请分层视频编码中编码模式选择方法实施例的流程可以如图3所示，包括S310 获取增强层编码块选择层内预测模式的运动信息。获取层内模式的运动信息是指从众多的层内预测模式中选择确定合适的层内模 式，并采用该模式编码，获得的运动信息。运动信息在视频编码中包含运动矢量和参考索引。如图4中所示，当当前帧的当前块映射至参考帧上时，映射的当前块，与参考帧上 的匹配块位置不一定重合，有偏离，这个偏离就用运动矢量来表示。视频中相邻图像帧的内 容非常相近。为了提高编码效率，可以采用预测编码，对编码块与参考帧中匹配块进行差 分，得到差分数值，即残差，这样，在后续编码中只需要对残差进行处理。但是毕竟两帧图像 拍摄有一定间隔，图像中物体在这段间隔内发生了运动，当前帧上的物体直接对应到参考 帧上面，物体不会重合，而是有一定偏移，即由运动矢量表示。图4中的箭头表示运动矢量， 它是一个二维数组，例如表示为(χ，y)，χ、y分别表示横向和纵向的运动。在获取运动矢量时，从参考帧的搜索范围内，选择最佳匹配块，使得性能参数最 小。参考索引范围是编码控制参数，编码器会事先设定。这里性能参数是衡量匹配度的参 数，可以是SAD，也可以是SSD (Sum of squared difference，方差和)等。在设定搜索范围 后，进一步如何确定搜索点是编码器的具体编码策略，这样的策略种类繁多，最易理解的一 种是在搜索范围内进行搜索，对于每个搜索点，得到性能参数，再选择性能参数最小。参考索引用于指示匹配块在前面第几个参考帧中。参考索引的确定与运动矢量确 定方式类似，可以通过在不同参考帧中搜索，选取其性能好的从而得到参考索引。S320 在层内预测模式运动信息的基础上获取增强层编码块选择层间预测模式的 运动信息。获取增强层编码块选择层间模式的运动信息，可以是从基本层相对应的编码块数 据中提取增强层编码的层间预测运动信息。宏块在做帧间预测的时候，有不同的预测模式。图5所示是帧间预测模式，也是帧 间层内预测模式，共有7种，根据分块大小不同，可别分成16xl6、16x8、8x16、8x8、8x4、4x8 和4x4。每种模式下，宏块划分成不同的分块，与运动信息对应，即对应于一组运动矢量和参 考索引。比如16x8模式，共有2个分块，每个分块有其对应的运动矢量和参考索引。在SVC编码器已经选定层内预测模式的情况下，也就是图5中的一种，要进一步获 得各个编码块的层间运动预测信息，可以按照以下步骤进行Al 查找确定的增强层编码块在基本层中的对应块。可以由每个增强层编码块的 像素坐标(1，1)位置计算获得基本层中的对应块。编码块是矩形的，每个矩形块包含若干 像素点，这些像素点用坐标表示，左上角的点一般定义为(0，0)位置。计算过程按照式(1)、 (2)。基本层中包含(Bx，By)点的4x4块就是增强层编码块在基本层中的对应块。
Ex、Ey是增强层像素位置，Bx、By是增强层像素点(Ex，Ey)在基本层中的对应位 置，S是计算精度，一般取16，round()是取整计算，例如四舍五入取整。A2:获得基本层中对应块的运动信息，该运动信息包含运动矢量和参考索引信息。将前述确定的基本层对应块的运动信息中的参考索引信息作为增强层编码块选 择层间预测模式的参考索引信息。A3 将基本层对应块的运动矢量经过缩放后，作为增强层编码块选择层间预测模 式的运动矢量。可以将基本层对应块的运动矢量经过缩放后，作为增强层编码块选择层间预测模 式的运动矢量，即作为增强层编码块选择层间预测模式的运动矢量。缩放公式如式3所示 其中Mv_EL是缩放后的运动矢量，Mv_BL是缩放前运动矢量。Mv_BLx，Mv_BLy是基 本层对应块运动矢量，χ表示水平分量，y表示垂直分量。Mv_ELx，Mv_ELy是缩放后运动矢 量，就是层间预测模式运动信息中的运动矢量。S330:通过增强层编码块选择的判断层内模式的运动信息与层间模式的预测运动
信息是否一致选择编码模式。在前面两步骤的基础上，通过检查层内模式的运动信息与层间模式的预测运动fi 息是否一致，来选择最终的编码模式。具体的，如果两者一致，则采用层间运动信息预测模式来进行编码，否则采用层内 模式来进行编码。SVC编码中，表示编码块的信息有运动信息和残差信息。运动信息用来指示编码块 对应的预测数据，残差则是编码块与预测数据的差值。层间运动信息预测是SVC中一种层 间预测方式，利用该模式可以有效降低对运动信息表示的比特数目，但是对于残差的表示 没有明显提升。本申请避免在模式选择时候引入性能参数的技术，仅仅比较层间模式和层 内模式的运动信息是否一致，来选择编码模式，减小计算量，而且，选择层间模式发生层间 预测模式与层内与模式运动信息一致时，也保证了图像编码质量。以下举个例子对上述方法实施例加以说明。如图6所示，在空域可伸缩的两层编码中，增强层和基本层分辨率的比例为2。该 具体例子按照如图7所示的步骤实现S710 获取Al层内预测模式的运动信息，运动矢量是Μν_Α1，参考索引为RIdx_Al。如前所述，这也在获取运动矢量时，从参考帧的搜索范围内，选择最佳匹配块，以 使得性能参数最小。参考索引范围是编码控制参数，编码器会事先设定。这里性能参数是衡量匹配度的参数，可以是SAD或SSD等。Al是增强层的编码块，它的层内模式选择确定为16x16模式，例如按照上述方式 获得的运动矢量是Μν_Α1，参考索引为RIdx_Al。S720 在Al层内预测模式运动信息的基础上获取层间预测模式的运动信息，运动 矢量是 MvPred_Al = 2*Mv_A0，参考索引为 RIdxPred_Al = RIdx_A0。这里需要说明的是，基本层和增强层是相对概念，比如共三层的情况，从下往上是 层A0，层Al，层A2。层A2的参考层为层Al，层Al的参考层为层A0，那么层Al相对层AO是 增强层，层Al相对层A2是基本层。AO虽然处于下层，但也是一个编码块，也需要编码，也有 运动信息。按照前述(1)、(2)式可计算得到Al所对应的基本层的参考块为AO，AO是大小为 8x8的块。对AO进行编码后，它的运动矢量为Μν_Α0，参考索引为RIdx_A0。在层间运动信息预测的时候，将基本层对应块的运动矢量经过缩放后，作为增强 层编码块选择层间预测模式的运动矢量，得到增强层编码块选择层间预测模式的运动矢量 和预测索引分别为MvPred_Al = 2*Mv_A0，RIdxPred_Al = RIdx_A0，其中2为增强层基本 层的缩放因子。S730:通过判断层内模式的运动矢量、参考索引与层间模式的运动矢量、参考索引 是否一致，如果一致选择层间运动信息预测模式，如果不一致则选用层内编码模式。此时，如果MvPred_Al = Μν_Α1，并且 RIdxPred_Al = RIdx_Al，则判断该编码块选 择层间运动信息预测模式；如果MvPred_Al ！ = Μν_Α1或者RIdxPred_Al ！ =RIdx_Al，则 选用层内编码模式。现有技术的编码模式选择方法，没有考虑层间预测模式与层内预测模式的数据关 系，重复计算两者性能参数，再进行比较，这在运算上产生了浪费。而上述实施例避免在模 式选择时候引入性能参数的技术，仅仅比较层间模式和层内模式的运动信息是否一致，来 选择编码模式，减小计算量，也保证了图像编码质量。以下介绍本申请一种分层视频编码中编码模式选择装置实施例，该装置实施例可 以如图8所示，包括第一获取单元81，用于获取增强层编码块选择层内预测模式的运动信息；第二获取单元82，用于在层内预测模式运动信息的基础上获取增强层编码块选择 层间预测模式的运动信息；选择单元83，通过判断层内模式的运动信息与层间模式的预测运动信息是否一致 选择编码模式，如果层内模式的运动信息与层间模式的预测运动信息一致，则采用层间运 动信息预测模式来进行编码，否则采用层内模式来进行编码。优选地，所述装置实施例可以如图9所示，其中所述第二获取单元82包括查找单元821，查找所述增强层编码块确定的层内预测模式在基本层中的对应 块；第三获取单元822，获得基本层中对应块的运动信息，该运动信息包含运动矢量和 参考索引信息；缩放单元823，用于将基本层对应块的运动矢量经过缩放后，作为增强层编码块选 择层间预测模式的运动矢量。
优选地，所述运动信息包含运动矢量和参考索引，所述的增强层编码块大小是 16x16，16x8，8x16，8x8，8x4，4x8，4x4 中的一种。优选地，所述查找单元821查找确定的增强层编码块在基本层中的对应块，具体 可以包括由每个增强层编码块的(1，1)位置，通过下式⑴、(2)计算获得(Bx，By) 将基本层中包含(Bx，By)点的4x4块确定为增强层编码块在基本层中的对应块。优选地，第三获取单元822获得基本层中对应块的运动信息，具体可以包括将前述确定的基本层对应块的运动信息中的参考索引信息作为增强层编码块选 择层间预测模式的参考索引信息。可以将基本层对应块的运动矢量经过下述公式(3)缩放后，作为增强层编码块选
择层间预测模式的运动矢量 其中Mv_EL是缩放后的运动矢量，Mv_BL是缩放前运动矢量。Mv_BLx，Mv_BLy是基 本层对应块运动矢量，χ是水平分量，y是垂直分量。Mv_ELX，Mv_ELy是缩放后运动矢量，就 是层间预测模式运动信息中的运动矢量。优选地，在第一获取单元81获取增强层编码块选择层内预测模式的运动信息时， 可以从参考帧的搜索范围内，选择最佳匹配块，使得性能参数最小。然通过实施例描绘了本发明实施例，本领域普通技术人员知道，本发明有许多变 形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发 明的精神。
权利要求
一种分层视频编码中编码模式选择方法，其特征在于，包括获取增强层编码块选择层内预测模式的运动信息；在层内预测模式运动信息的基础上获取增强层编码块选择层间预测模式的运动信息；通过判断层内模式的运动信息与层间模式的预测运动信息是否一致选择编码模式，如果层内模式的运动信息与层间模式的预测运动信息一致，则采用层间运动信息预测模式来进行编码，否则采用层内模式来进行编码。
2.如权利要求1所述的方法，其特征在于，所述在层内预测模式运动信息的基础上获 取增强层编码块选择层间预测模式的运动信息，包括查找所述增强层编码块在基本层中的对应块；获得基本层中对应块的运动信息，该运动信息包含运动矢量和参考索引信息； 将基本层对应块的运动矢量经过缩放后，作为增强层编码块选择层间预测模式的运动矢量。
3.如权利要求2所述的方法，其特征在于，所述查找确定的增强层编码块在基本层中 的对应块，包括由每个增强层编码块的(1，1)位置，通过下式(1)、(2)计算获得(Bx，By) 将基本层中包含(Bx，By)点的4x4块确定为增强层编码块在基本层中的对应块。
4.如权利要求2所述的方法，其特征在于，所述获得基本层中对应块的运动信息的索 引信息，包括将前述确定的基本层对应块的运动信息中的参考索引信息作为增强层编码块选择层 间预测模式的参考索引信息。
5.如权利要求2所述的方法，其特征在于，所述将基本层对应块的运动矢量经过缩放 后，作为增强层编码块选择层间预测模式的运动矢量，包括将基本层对应块的运动矢量经过下述公式(3)缩放后，作为增强层编码块选择层间预 测模式的运动矢量 其中Mv_EL是缩放后的运动矢量，Mv_BL是缩放前运动矢量，Mv_BLx, Mv_BLy是基本层 对应块运动矢量，x表示水平分量，y表示垂直分量，Mv_ELx, Mv_ELy是缩放后运动矢量。
6.如权利要求1所述的方法，其特征在于，在增强层编码块选择获取层内预测模式的 运动信息时，从参考帧的搜索范围内，选择使得性能参数最小的最佳匹配块。
7.如权利要求1-6中任一项所述的方法，其特征在于，所述的增强层编码块，其大小是 16x16，16x8，8x16，8x8，8x4，4x8，4x4 中的一种。
8.—种分层视频编码中编码模式选择装置，其特征在于，包括第一获取单元，用于获取增强层编码块选择层内预测模式的运动信息；第二获取单元，用于在层内预测模式运动信息的基础上获取增强层编码块选择层间预 测模式的运动信息；选择单元，通过判断层内模式的运动信息与层间模式的预测运动信息是否一致选择编 码模式，如果层内模式的运动信息与层间模式的预测运动信息一致，则采用层间运动信息 预测模式来进行编码，否则采用层内模式来进行编码。
9.如权利要求8所述的装置，其特征在于，所述第二获取单元包括查找单元，查找所述增强层编码块在基本层中的对应块；第三获取单元，获得基本层中对应块的运动信息，该运动信息包含运动矢量和参考索 引信息；缩放单元，用于将基本层对应块的运动矢量经过缩放后，作为增强层编码块选择层间 预测模式的运动矢量。
10.如权利要求8所述的装置，其特征在于，所述运动信息包含运动矢量和参考索引， 所述的增强层编码块大小是16x16，16x8，8x16，8x8，8x4，4x8，4x4中的一种。
全文摘要
一种分层视频编码中编码模式选择方法及装置。所述方法包括获取增强层编码块选择层内预测模式的运动信息；在层内预测模式运动信息的基础上获取增强层编码块选择层间预测模式的运动信息；通过判断层内模式的运动信息与层间模式的预测运动信息是否一致选择编码模式，如果层内模式的运动信息与层间模式的预测运动信息一致，则采用层间运动信息预测模式来进行编码，否则采用层内模式来进行编码。利用本发明，可以减小计算量。
文档编号H04N7/32GK101873484SQ200910165229
公开日2010年10月27日 申请日期2009年8月13日 优先权日2009年8月13日
发明者俞海, 武晓阳, 胡扬忠, 贾永华, 邬伟琪 申请人:杭州海康威视软件有限公司