背景帧的码率控制方法和装置与流程

本发明涉及数字视频的编解码技术领域，尤其涉及一种背景帧的码率控制方法和装置。

背景技术：

近年来，多种基于背景建模的监控视频编码方法被提出，有效减少了视频编码的背景冗余，显著提升了编码性能。为了使背景帧对后续帧编码起到更好的预测参考作用，建模得到的背景帧往往以较高质量编入码流中。因此，背景帧的比特数明显大于普通编码帧的比特数，造成瞬时码率突增，缓冲器溢出，重建背景帧也无法被参考。

实际视频编码应用中，需要对整个序列进行码率控制来满足传输带宽的需求，码率控制下的基于背景建模的监控视频编码方法码流平稳，但是大大削弱了背景帧参考带来的性能，甚至出现性能损失。而背景帧中并不是所有区域的预测参考价值都相同。

技术实现要素：

本发明的实施例提供了一种背景帧的码率控制方法和装置，有效解决了视频传输过程中瞬时码率突增问题，并且尽可能保证了背景帧的参考价值。

为了实现上述目的，本发明采取了如下技术方案。

一种背景帧的码率控制方法，包括：

判定待编码背景帧的不同区域的预测参考价值，所述预测参考价值为预测的在进行帧间预测时待编码背景帧的不同区域对待编码普通帧的参考价值；

根据所述预测参考价值，设定所述待编码背景帧的不同区域的重要性级别；

根据所述不同区域的重要性级别，调整所述待编码背景帧的不同区域的编码质量。

所述判定待编码背景帧的不同区域的预测参考价值的步骤包括：

统计进行帧间预测时预订数量的已编码普通帧对已编码背景帧的不同区域的参考次数；

根据所述已编码普通帧对已编码背景帧的不同区域的参考次数，判定待编码背景帧的对应区域的预测参考价值。

所述根据所述已编码普通帧对已编码背景帧的不同区域的参考次数，判定待编码背景帧的对应区域的预测参考价值的步骤包括：

所述已编码普通帧对已编码背景帧的区域的参考次数越多，则判定为：待编码背景帧的对应区域的预测参考价值越大。

所述判定待编码背景帧的不同区域的预测参考价值的步骤包括：

在背景建模过程中，获取预定数量的待编码普通帧序列；

计算所述普通帧序列中的相邻普通帧的同位点像素值的差值的绝对值；

将所述差值的绝对值和阈值进行比较；

如果所述差值的绝对值小于所述阈值，则表示所述相邻普通帧的同位像素值变化不大，前景经过的概率较小，则不进行分段；否则，在所述相邻普通帧处对所述普通帧序列进行分段；

统计所述各个像素点对所述普通帧序列的分段段数，生成所述普通帧序列的各个区域的分段段数；

根据所述普通帧序列的各个区域的分段段数，判定待编码背景帧的不同区域的预测参考价值。

所述根据所述普通帧序列的各个区域的分段段数，判定待编码背景帧的不同区域的预测参考价值的步骤包括：

所述普通帧序列的区域的分段段数越少，则判定为：待编码背景帧的对应区域的预测参考价值越高。

所述根据所述不同区域的重要性级别，调整所述待编码背景帧的不同区域的编码质量的步骤包括：

基于编码树单元，调整所述待编码背景帧的不同区域的编码质量；

或者，基于编码单元或宏块，调整所述待编码背景帧的不同区域的编码质量；

或者，基于预测单元，调整所述待编码背景帧的不同区域的编码质量；

或者，基于变换单元，调整所述待编码背景帧的不同区域的编码质量；

或者，基于像素，调整所述待编码背景帧的不同区域的编码质量。

所述根据所述不同区域的重要性级别，调整所述待编码背景帧的不同区域的编码质量的步骤包括：

按照所述待编码背景帧的不同区域的重要性级别，给所述待编码背景帧的不同区域分配不同的用于编码的比特数。

一种背景帧的码率控制装置，包括：

判定单元，判定待编码背景帧的不同区域的预测参考价值，所述预测参考价值为在进行帧间预测时待编码背景帧的不同区域对待编码普通帧的参考价值；

设定单元，根据所述预测参考价值，设定所述待编码背景帧的不同区域的重要性级别；

调整单元，根据所述不同区域的重要性级别，调整所述待编码背景帧的不同区域的编码质量。

所述判定单元包括：

统计子单元，统计进行帧间预测时预订数量的已编码普通帧对已编码背景帧的不同区域的参考次数；

判断子单元，根据所述已编码普通帧对已编码背景帧的不同区域的参考次数，判定待编码背景帧的对应区域的预测参考价值。

所述判定单元包括：

获取子单元，在背景建模过程中，获取预定数量的待编码普通帧序列；

计算子单元，计算所述普通帧序列中的相邻普通帧的同位点像素值的差值的绝对值；

比较子单元，将所述差值的绝对值和阈值进行比较；

分段子单元，如果所述差值的绝对值小于所述阈值，则表示所述相邻普通帧的同位像素值变化不大，前景经过的概率较小，则不进行分段；否则，在所述相邻普通帧处对所述普通帧序列进行分段；

统计子单元，统计所述各个像素点对所述普通帧序列的分段段数，生成所述普通帧序列的各个区域的分段段数；

判定子单元，根据所述普通帧序列的各个区域的分段段数，判定待编码背景帧的不同区域的预测参考价值。

由上述本发明的实施例提供的技术方案可以看出，本发明实施例中，根据所述预测参考价值，调整所述待编码背景帧的不同区域的编码质量，通过改变背景帧不同参考价值区域的编码质量，有效解决了视频传输过程中瞬时码率突增问题，并且尽可能保证了背景帧的参考价值。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种背景帧的码率控制方法的处理流程图；

图2为本发明实施例一提供的一种背景帧的码率控制方法的一实施例中的视频序列的示意图；

图3为本发明实施例一提供的一种背景帧的码率控制方法的另一实施例中的视频序列的示意图。

图4为本发明一种背景帧码率控制方法的另一实施例的流程图；

图5为本发明一种实施例的编码树单元(CTU)级背景帧码率控制方法的步骤框图。

图6为本发明实施例一提供的一种背景帧的码率控制装置的处理流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

以下描述本发明的应用场景。

实施例1：

如图1所示，为本发明所述的一种背景帧的码率控制方法，包括：

步骤11，判定待编码背景帧的不同区域的预测参考价值，所述预测参考价值为在进行帧间预测时待编码背景帧的不同区域对待编码普通帧的参考价值；

步骤12，根据所述预测参考价值，设定所述待编码背景帧的不同区域的重要性级别；

步骤13，根据所述不同区域的重要性级别，调整所述待编码背景帧的不同区域的编码质量。

本发明通过改变背景帧不同参考价值区域的编码质量，有效解决了视频传输过程中瞬时码率突增问题，并且尽可能保证了背景帧的参考价值。也就是说，本发明根据背景帧不同区域的预测参考价值高低，改变背景帧不同区域质量，对背景帧进行码率控制，保证背景帧预测参考价值的情况下解决视频传输过程中瞬时码率突增的问题。

在一实施例中，步骤11包括：

步骤111，统计进行帧间预测时预订数量的已编码普通帧对已编码背景帧的不同区域的参考次数；步骤111具体为：所述已编码普通帧对已编码背景帧的区域的参考次数越多，则判定为：待编码背景帧的对应区域的预测参考价值越大。

步骤112，根据所述已编码普通帧对已编码背景帧的不同区域的参考次数，判定待编码背景帧的对应区域的预测参考价值。

图2所示，所述本发明所述的一种背景帧的码率控制方法包括：

步骤1，统计已编码普通帧(第1～n-1帧)在帧间预测时对已编码背景帧(第0帧)不同区域的参考次数；

步骤2，根据第1步中统计得到的已编码背景帧第0帧的被参考次数，对待编码背景帧第n帧进行预测，对第n帧划分为重要和不重要区域两级(或更多级别)，参考次数多的为更重要区域；

步骤3，设定不同的调整力度，如基于编码单元或基于编码树单元等；

步骤4，在背景帧第n帧中，以第3步中设定的调整力度为单位(即以不同大小的块为单位)分配不同的比特数，分配比特数越高，编码质量越高。

在另一实施例中，步骤11步骤包括：

步骤211，在背景建模过程中，获取预定数量的待编码普通帧序列；

步骤212，计算所述普通帧序列中的相邻普通帧的同位点像素值的差值的绝对值；

步骤213，将所述差值的绝对值和阈值进行比较；

步骤214，如果所述差值的绝对值小于所述阈值，则表示所述相邻普通帧的同位像素值变化不大，前景经过的概率较小，则不进行分段；否则，在所述相邻普通帧处对所述普通帧序列进行分段；

步骤215，统计所述各个像素点对所述普通帧序列的分段段数，生成所述普通帧序列的各个区域的分段段数；

步骤216，根据所述普通帧序列的各个区域的分段段数，判定待编码背景帧的不同区域的预测参考价值。步骤216具体为：所述普通帧序列的区域的分段段数越少，则判定为：待编码背景帧的对应区域的预测参考价值越高。

例如，如图3所示，本发明所述的一种背景帧的码率控制方法包括：

步骤1，对于待编码普通帧(第1～n-1帧)上的同位像素点，如a₁、a₂、a₃…a_n-1，并且认为a₁至a_n-1是一整段，在编码过程中，计算相邻两帧同位像素点的差值，例如a₂-a₁、a₃-a₂、a₄-a₃……a_n-1-a_n-2。如果差值大于设定阈值，说明相邻两帧该点像素值变化较大，很可能是有前景经过或前背景切换，那么就进行分段处理。例如，a₈-a₇大于阈值，则认为a₁至a₇是一段，a₈到a_n-1是一段，那么原来的一整段就被分成了两段。根据此方法，在编码过程中，对第1～n-1帧上每个同位像素点的分段段数进行统计，分段段数越少，说明像素值稳定，很可能为背景区域。此步骤结束后，第n-1帧及其之前的图像完成编码。

步骤2，根据第一步中得到的分段段数统计，对待编码背景帧第n帧进行预测，对第n帧划分为重要和不重要区域两级(或更多级别)，统计段数越少的为更重要区域；

步骤3，设定不同的调整力度，如基于编码单元或基于编码树单元等。

步骤4，在待编码背景帧第n帧中，以第3步中设定的调整力度为单位(即以不同大小的块为单位)分配不同的比特数，分配比特数越高，编码质量越高。

步骤13包括：

基于编码树单元，调整所述待编码背景帧的不同区域的编码质量；

或者，基于编码单元或宏块，调整所述待编码背景帧的不同区域的编码质量；

或者，基于预测单元，调整所述待编码背景帧的不同区域的编码质量；

或者，基于变换单元，调整所述待编码背景帧的不同区域的编码质量；

或者，基于像素，调整所述待编码背景帧的不同区域的编码质量。

或者，步骤13包括：

按照所述待编码背景帧的不同区域的重要性级别，给所述待编码背景帧的不同区域分配不同的用于编码的比特数。

另一实施例：

如图4所示，本发明提出了一种视频编码中背景帧码率控制方法，该方法的步骤包括：

步骤41，根据一段编码时间内不同预测单元对背景帧的参考情况，来预测(判定)待编码背景帧的不同区域的预测参考价值的高低；

步骤42，将背景帧不同区域按重要程度进行级别划分；也就是说，根据不同区域的预测参考价值不同，对当前待编码背景帧进行区域划分；例如：根据预测参考价值高低，将背景帧划分为重要区域和非重要区域两级，或者更精细地划分为更多级别。

步骤43，根据设定的调整力度，对背景帧不同重要级别的区域进行编码质量调整；也就是说，调整背景帧中不同预测参考价值区域的质量。例如，设定基于编码树单元，或基于编码单元或宏块，或基于预测单元，或基于变换单元，或基于像素的调整力度，对背景帧不同重要级别，基于设定的调整力度，对背景帧更重要的级别分配更多比特数，反之，分配更少比特数；

步骤44，更新背景帧不同区域质量改变后需要调整的参数。例如，修正或更新背景帧不同区域质量调整后的需要随之调整的参数，包括但不限于量化参数、拉格朗日乘子的更新和其他参数修正。

其中，步骤41使用的判定方法为：根据一段编码时间内不同预测单元对背景帧的参考情况，来预测待编码背景帧不同区域预测参考价值的高低。

其中，步骤42具体为：将背景帧划分为重要区域和非重要区域两级，或者，将背景帧不同区域按重要程度划分为更多级别。

其中，步骤43中，对于调整背景帧不同预测参考价值区域的质量的调整力度，可以基于编码树单元对背景帧质量进行调整；或者，基于编码单元或宏块对背景帧质量进行调整；或者，基于预测单元对背景帧质量进行调整；或者，基于变换单元对背景帧质量进行调整；或者，基于像素对背景帧质量进行调整。

步骤43可以基于编码树单元对背景帧不同重要级别的区域进行比特数分配调整，对背景帧更重要级别的区域分配更多比特数，反之，分配更少比特数；或者，基于编码单元或宏块对背景帧不同重要级别的区域进行比特数分配调整，对背景帧更重要级别的区域分配更多比特数，反之，分配更少比特数；或者，基于预测单元对背景帧不同重要级别的区域进行比特数分配调整，对背景帧更重要级别的区域分配更多比特数，反之，分配更少比特数；或者，基于变换单元对背景帧不同重要级别的区域进行比特数分配调整，对背景帧更重要级别的区域分配更多比特数，反之，分配更少比特数；或者，基于像素对背景帧不同重要级别的区域进行比特数分配调整，对背景帧更重要级别的区域分配更多比特数，反之，分配更少比特数。

对于背景帧码率控制方法，在步骤43之后，还包括：

步骤44，更新背景帧不同区域质量改变后需要调整的参数。

以下描述另一实施例。

图5示出了本发明一个实施例的背景帧码率控制方法示意图。如图5所示，本实施例的背景帧码率控制方法包括：

S1：判定背景帧中不同区域的预测参考价值高低。

背景帧中不同区域的预测参考价值判定是算法的基础环节，精确的预测价值判定有助于编码性能的提升。采用基于背景建模的判定方法。在背景建模过程中，将前后两帧同位像素点的差值和预设的阈值进行比较。如果差值小于这一阈值，该像素点的像素值在前后两帧变化不大，则不分段；否则，该像素点的像素值在前后两帧有较大变化，进行分段。对背景建模过程中各个像素点的分段段数进行统计，分段段数多的区域是前景出现频率高的区域，预测参考价值较低，分段段数少的区域是前景出现频率低的区域，预测参考价值较高。

S2：根据不同区域的预测参考价值不同，对当前待编码背景帧进行区域划分。

具体为：设定判定阈值，将背景区域划分为重要区域，非重要区域和一般区域三级。

S3：调整背景帧中不同预测参考价值区域的质量。

图5中，Bg(background)表示背景建模生成的背景帧。S-GOP(super-group of pictures超级图片组)是用于背景更新采用的结构，在S-GOP中，初始的一段序列在编码过程中，通过背景建模得到用于S-GOP₁帧间参考的背景帧Bg1，而S-GOP₁中最后一段序列在编码过程中通过背景建模得到用于下一个S-GOP帧间参考的背景帧，以此类推。

以CTU级调整背景帧量化参数，对于预测参考价值高区域，采用较小量化参数，提升编码质量并分配较多比特数；对于预测参考价值低区域，采用较大量化参数，降低编码质量并减少分配比特数；对于预测参考价值一般区域，采用原有量化参数，编码质量保持不变。

S4：相关参数的修正和更新。

消除最佳预测模式对编码性能的影响，当相邻预测单元的质量比当前预测单元质量差时，停止对相邻预测单元预测模式的参考，不使用最佳预测模式。同时，根据调整后的量化参数，更新拉格朗日乘子值。

该实例测试基于高性能视频编码(HEVC)平台，在低延时配置下，对比参考方法为HEVC参考软件HM12.0的码率控制方法，编码帧数为1020帧，前120帧为训练集，120帧之后可得到背景帧，编码性能用BD-rate(码率)和BD-PSNR(峰值信噪比)表示，背景帧编码比特数和I帧编码比特数的比值用BG/I表示。QP表示初始帧的量化参数。测试序列来自北京大学数字媒体所数据集PKU-SVD-A，其中后缀sd表示分辨率为720x576的视频序列，hd表示分辨率为1920x1080的视频序列。实验结果如表1所示。

由表1可以得出，本发明提出方法编码性能更好，背景帧编码比特数接近I帧编码比特数，得到的码流不会引起码率突增。

表1

如图6所示，为本发明所述的一种背景帧的码率控制装置，包括：

判定单元61，判定待编码背景帧的不同区域的预测参考价值，所述预测参考价值为在进行帧间预测时待编码背景帧的不同区域对待编码普通帧的参考价值；

设定单元62，根据所述预测参考价值，设定所述待编码背景帧的不同区域的重要性级别；

调整单元63，根据所述不同区域的重要性级别，调整所述待编码背景帧的不同区域的编码质量。

所述判定单元61包括：

统计子单元，统计进行帧间预测时预订数量的已编码普通帧对已编码背景帧的不同区域的参考次数；

判断子单元，根据所述已编码普通帧对已编码背景帧的不同区域的参考次数，判定待编码背景帧的对应区域的预测参考价值。

在一个实施例中，所述判定单元61包括：

获取子单元，在背景建模过程中，获取预定数量的待编码普通帧序列；

计算子单元，计算所述普通帧序列中的相邻普通帧的同位点像素值的差值的绝对值；

比较子单元，将所述差值的绝对值和阈值进行比较；

分段子单元，如果所述差值的绝对值小于所述阈值，则表示所述相邻普通帧的同位像素值变化不大，前景经过的概率较小，则不进行分段；否则，在所述相邻普通帧处对所述普通帧序列进行分段；

统计子单元，统计所述各个像素点对所述普通帧序列的分段段数，生成所述普通帧序列的各个区域的分段段数；

判定子单元，根据所述普通帧序列的各个区域的分段段数，判定待编码背景帧的不同区域的预测参考价值。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。