基于视频内容复杂度自适应的极低延迟高性能视频编码帧内码率控制方法
【技术领域】
[0001] 本发明涉及图像通信领域中的视频编码码率控制问题，尤其是涉及一种高性能视 频编码标准HEVC的帧内编码自适应码率控制方法。
【背景技术】
[0002] 码率控制技术在视频传输系统中的作用十分重要，特别是在实时视频传输应用中 更是起到举足轻重的作用。码率控制的作用是调整视频编码参数，使得编码输出码率与传 输带宽相匹配，并因此能够防止编码端和解码端的缓冲区发生上溢和下溢。为了达到这个 目的，以往的视频编码标准都将码率控制技术加入到了各自的视频编码框架之中。例如， MPEG2标准中的TM5，MPEG4中的VM-8，H. 263中的TMN8，以及H. 264中的JiLHEVC作为最新一代 视频编码标准，其性能与H. 264相比，节约了50%的编码码率，但是随着高清视频的出现，如 何进一步提升视频压缩及传输质量的问题逐渐进入人们视野。因此，如何在固定带宽下，以 极低的传输延迟，实时传输编码码流，同时避免缓冲区数据溢出成为视频编码领域研究的 热点。
[0003] 在实时视频通信系统中，除了率失真(RD)特性标准之外，端到端的延迟同样会影 响接收端接收视频的质量。Chen Q等建立了视频编码RD特性与端到端传输延迟之间的模 型，由此模型可以看出，端到端延迟最终会影响接收端视频的RD性能。此外，在实时视频通 信中，每一帧的实际编码比特并不总是与编码端传输带宽相等;为了解决这个问题，编解码 端都会设置一个缓冲区来临时存储编码比特，而这个缓冲区会造成更大的端到端传输延 迟。视频传输延迟分为两个部分:信道延迟和由缓冲区造成的缓冲延迟。由于信道延迟很难 被预估，所以必须降低编解码系统中的缓冲延迟。目前，许多实时视频通信应用系统都要求 极低的延迟，例如电视会议，视频通话，室内无线视频通信等。在这些应用场景中，缓冲区必 须设置的很小，以适应极低延迟的要求。然而在现有的低延迟码率控制算法中，其缓冲区都 远远大于编码一帧所产生的比特数。即使将编解码端的缓冲区大小都设为编码一帧所产生 的比特数，其总延迟依然远远大于两帧延迟。此外，考虑到HEVC主要是针对处理高分辨率视 频，那么其每一帧的编码比特数都会较大。将以上因素所导致的延迟综合考虑后，可以发现 最终导致的端到端延迟必然会被用户所察觉，并带来十分不好的用户体验。因此，HEVC中的 现有针对低延迟的码率控制方法都不能达到极低延迟的应用要求。
[0004] 现有大多数码率控制方法，都是针对P帧的码率控制。但实际上，在HEVC标准中I帧 (帧内编码帧）的重要性要比H. 264更为突出。由于HEVC中运动补偿技术的长足进步，P帧和B 帧的压缩率相比I帧压缩率得以进一步提高。因此，相较于H. 264标准，HEVC标准中分给I帧 的比特数在整个通信带宽中所占的比重变得更大了。除此之外，每个编码G0P中的第一帧 (也就是I帧）所消耗的比特数也会远远高于P帧和B帧，也就是说，不当的I帧比特分配方法 极易造成缓冲区的上溢。因此，出现了一些编码帧内容复杂度自适应的I帧码率控制方法。 Karczewicz等提出一种HEVC标准中的I帧码率控制算法，在其方法中，每个I帧的复杂度由 绝对变换误差和（sum of absolute transformed differences，SATD)来表不。这一方法与 以往HEVC中的I帧算法相比，在比特估计准确度上有了一定的提升。接着，Wang等提出一种 用梯度表示每帧复杂度的HEVC帧内码率控制算法，其复杂度都由每一帧计算出的梯度来表 示。实验证明，Wang的方法与目前最新的I帧码率控制算法相比，其进一步提高了码率控制 的性能。虽然以上两种I帧码率控制算法在性能上都有了提高，但其使用的视频帧复杂度表 示方法都是只使用了每一帧中的空域复杂度特性而没有使用在时域上前后相连的帧之间 的复杂度关联性。因此，需要一种结合空域复杂度表示和时域复杂度关联的空时复杂度表 示方法。另外，以上所提两种码率控制算法需要事先知道并计算每一帧的复杂度，这也进一 步加大了端到端的延迟，而这些延迟都是极低视频通信系统中不希望出现的。
[0005] HEVC是目前最新的视频编码标准。随着HEVC的发展，有很多的码率控制模型被纳 入到HEVC标准当中。Choi Η等所提出的R-Q模型被纳入到了早期的HEVC测试软件框架HM6 中。但是，由于R-Q模型中所估计的比特数并不是最终向接收端发送的比特数，所以其码控 准确度较低。Liang X等提出了一种R-P模型，其中P是HEVC编码中DCT系数经量化后，零值所 占的百分比。相较于R-Q模型，R-P模型在目标比特估计的准确度上有了一定的改进。但是， R-P模型的实现，必须满足两个前提假设：（i )P值与量化参数Q是一一对应的；（ii)变换块大 小是固定的。这些假设与HEVC中基于四叉树的编码分块结构并不相符。最近，Libin等人提 出，在HEVC编码框架中，进行率失真计算时所用到的拉格朗日系数(即λ)对于HEVC码率控制 起到了关键的作用，并在此基础上提出了一种R-λ码率控制模型，此模型与R-Q、R-p模型相 比将，表现出了更高的比特预测准确率和更好的编码RD性能。同时，R-λ模型的计算复杂度 也较低。因此，R-λ模型已被纳入到HM10.0中并作为最新的HEVC码率控制方法。但是，由于R-λ模型在进行码率控制时，并未考虑每一帧视频的复杂度，而将每一帧复杂度纳入到码率控 制算法中，可以提高码率控制性能。所以其码率控制准确性还有待进一步改善。并且，对于 视频实时传输中非常重要的缓冲区大小和缓冲区充盈度也并未纳入到R-λ模型当中。因此， 在本发明算法中我们提出一种高效的复杂度自适应的极低延迟HEVC帧内码率控制算法。
【发明内容】
[0006] 针对新一代视频压缩编码标准HEVC中的I帧码率控制问题，本发明利用视频序列 的每一帧自身的空域复杂度以及由帧与帧之间的复杂度关联性所表示的时域复杂度及缓 冲区状态，提出了一种基于视频内容复杂度的自适应高性能视频编码码率控制方法，明显 的降低了 I帧所引起的缓冲区滞留数据量，极大的降低了由缓冲区所引起的端到端传输延 迟，同时保证了视频质量，在带宽一定，且要求为极低延迟的实时编码传输系统中具有较好 的应用前景。
[0007] 本发明的基本思想是利用梯度作为每一帧自身空域复杂度的度量方式，再利用时 域复杂度对当前帧的空间复杂度进行预测，自适应地获取LCU行和LCU的帧内梯度，进行LCU 行层和IXU层目标比特分配。
[0008] 本发明针对HEVC视频编码标准提出了 一种基于视频内容复杂度的自适应高性能 视频编码I帧码率控制方法。主要包括利用缓冲区状态调节帧层目标比特和LCU行层目标比 特以及空时结合的视频复杂度度量。在帧层码率控制过程中，通过已编码帧累加的缓冲区 滞留数据量对当前I帧目标比特进行调节;在LCU行层码率控制中，利用在时间上前后连接 帧的复杂度关联性，对当前帧的复杂度进行预测，并利用每一个LCU行的复杂度与当前帧预 测复杂度的比例，对每一个LCU行进行比特分配。本发明利用缓冲区状态调节帧层目标比特 和LCU行层比特分配，并根据连续帧之间的复杂度相关性对当前帧的复杂度进行预测，从而 使码率控制在每一帧中的每个LCU行进入编码器后，就可进行码率控制，大大减小了缓冲区 的大小和缓冲区内的数据滞留量，以满足极低端到端视频通信延迟的要求。在此基础上满 足实际码率更加符合给定的目标码率，同时使实际比特趋于平稳，以充分利用有限的带宽。 具体主要包括以下过程步骤：
[0009] (1)根据配置文件设置的目标码率、帧率得到每个I帧的帧层目标比特和帧层标准 目标比特，并设置缓冲区大小；
[0010] (2)判断当前编码帧是否为第一个I帧，若为第一个I帧，帧层目标比特为标准目标 比特。若不是第一个I帧，帧层目标比特为经过缓冲区状态调整后的目标比特；
[0011] (3)判断当前编码帧是否为第一个I帧，若为第一个I帧，遍历当前帧的每个LCU，求 出其帧内梯度，将每个LCU的自适应梯度累加，得到帧层总梯度。若不为第一个I帧，则利用 连续帧之间的复杂度相关性，由前一帧的帧层总梯度预测出当前I帧帧层总梯度；
[0 012 ](4)根据当前L C U行的梯度总和占当前帧总梯度的比例分配每个L C U行的目标比 特，并根据LCU行的尺寸得到每个LCU行的模拟带宽；
[0013 ] (5)根据当前每个IXU的梯度占当前帧中LCU行总梯度的比例分配每个IXU的目标 比特，并根据LCU的尺寸得到每个LCU的模拟带宽；
[0014] (6)进入xCompress⑶，对每个LCU进行编码，其编码实际比特与模拟带宽的差值累 加到缓冲区，得到已编码帧累加的缓冲区滞留数据，并在下一帧的帧层比特分配时进行反 馈调节，得到下一帧的目标比特。
[0015] 在本发明的上述技术方案中，所述帧层标准目标比特为配置文件设置的目标码率 除以帧率得到的每帧目标比特，未经缓冲区状态调整，而所述帧层目标比特是经缓冲区状 态调整后的帧层目标比特。
[0016] 在本发明的上述技术方案中，所述缓冲区大小为帧层标准目标比特的三分之一。
[0017] 在本发明的上述技术方案中，所述缓冲区状态调整帧层目标比特的具体方法为：
[0019] 其中，TTar/f表示每帧的标准目标比特，BufsiZE表示缓冲区大小，BufFiil表示缓冲区 滞留数据量。Θ为调整系数，经过实验统计，本发明的方法取最优值1.32。
[0020]在本发明的上述技术方案中，对当前帧的整帧复杂度的具体预测方法为，当前帧 前j个LCU行的梯度累加和与前一帧前j个LCU行的梯度累加和相减，并求出相减后的差值 与前一帧前j个LCU行的梯度累加和的比值，具体求解公式为：
[0022]其中，GPPSum,R(j，t)表示当前帧前j个LCU行的梯度累加和，GPP Sum,R(j，t-l)表示前 一帧前j个LCU行的梯度累加和。Sim即为帧间相似度。若Sim的绝对值大于阈值T，则当前帧 与前一帧为非相似帧，否则为相似帧。
[0023] 在本发明的上述技术方案中，所述LCU模拟带宽为根据当前LCU的尺寸占帧尺寸的 比例分配的IXU目标比特。
[0024] 根据本发明的上述方法可以编制执行上述基于梯度的自适应高性能视频编码I帧 码率控制方法的HEVC视频编码器。
[0025] 本发明是基于以下思路分析而完成的：
[0026]标准的HEVC码率控制算法主要分为两步:第一步是根据帧结构、纹理复杂度等参 数进行目标比特分配;第二步是根据目标比特调整编码器参数，从而影响实际比特分配，使 实际比特更加接近目标比特。由于目标比特分配是码率控制的首要一步，其准确程度直接 影响着后续编码的性能，因此，码率控制优化方法主要是通过改善目