视频压缩中基于优先级的空间域扫描方法及装置与流程

本发明涉及视频研究领域，特别涉及一种视频压缩中基于优先级的空间域扫描方法及装置。

背景技术：

视频压缩系统，旨在通过对原始视频信号进行分析与处理，用相比较于原始信号较少量的比特，保留视频信号中的重要视觉信息。一个视频压缩系统分为编码端与解码端。视频压缩系统的编码端，将原始视频信号转化为比特流。视频压缩系统的解码端，接收比特流，还原视频。如果被还原的视频与原始视频保持完全一致，称为无损视频编码。如果被还原的视频与原始信号相比存在失真，则称为有损视频编码。

常见的视频压缩系统编码端通常包含以下几个部分：1，分块；2，预测；3，变换与量化；4，扫描；5，熵编码。解码端对应进行逆操作。如图1所示。

前人研究指出：当扫描对象为DCT或ADST系数时，之字形扫描是接近最优的。其主要原因如下：DCT或ADST系数的导出是基于“一阶自回归马尔科夫模型”的。一阶自回归马尔科夫模型的协方差矩阵进行本征分解后，本征值即代表系数方差，也就是说系数是否在概率上容易取大幅值。对本征值进行排序即可导出接近之字形扫描的路径。根据系数方差进行降序排序扫描，可以使得系数满足：大幅度系数靠前，小幅度系数靠后，大量0系数集中以及尾部集中等特性。这在熵编码器看来是非常好的统计特性。

然而当变换为相等变换/变换旁路时，变换系数的大小难以预先推测。因此，扫描结果通常比较凌乱，扫描系数的统计规律变弱，这对于熵编码器的高效处理是不利的。

技术实现要素：

1、本发明的目的。

本发明针对残差变换中的相等变换/旁路变换，其变换系数扫描顺序难以预先推测的问题，而提出一种扫描方法及装置，设计出更好的扫描路径以提高编码性能。

2、本发明所采用的技术方案。

在本发明中，提出一种方法估算相等变换系数的方差，并提出根据方差大小降序扫描相等变换系数。使得系数满足：大幅度系数靠前，小幅度系数靠后，大量0系数集中以及尾部集中等特性。

本发明提出的一种视频压缩中基于优先级的空间域扫描方法：扫描对象为相等残差编码变换/变换旁路系数，通过方差函数估算系数相对大小；根据方差的大小进行排序扫描。

基于本发明优选的实施方式，所述的根据方差的大小进行排序为降序排序。

基于本发明优选的实施方式，所述的扫描相等残差编码变换/变换旁路系数具体方法如下：

计算帧内方向性预测残差方差函数或帧间运动补偿预测残差方差函数；

针对方差函数进行从大到小排序，对相等残差编码变换/变换旁路系数进行扫描。

基于本发明优选的实施方式，所述的帧内方向性方差函数为：

其中相等变换系数坐标为(m,n)，当前块坐标范围是1<=m<=M, 1<=n<=N，块边缘坐标为m=0或n=0。L为该系数至边缘预测像素的距离，α为预测方向与边缘法线夹角，n’为边缘预测像素所在坐标。

基于本发明优选的实施方式，所述的帧间运动补偿方差函数为：

其中，K为常数，为梯度模平方函数在参考帧的运动补偿后的参考小块相同坐标处取值。

本发明提出了一种使用权利要求1-3任一所述的视频压缩方法，扫描步骤中，扫描对象为相等残差编码变换/变换旁路系数，通过方差函数估算系数；根据方差的大小进行排序扫描。

基于本发明优选的实施方式，所述的根据方差的大小进行排序为降序排序。

基于本发明优选的实施方式，所述的扫描相等残差编码变换/变换旁路系数具体方法如下：

计算帧内方向性方差函数或帧间运动补偿方差函数；

针对方差函数进行从大到小排序，对相等残差编码变换/变换旁路系数进行扫描。

基于本发明优选的实施方式，所述的帧内方向性方差函数为：

其中相等变换系数坐标为(m,n)，当前块坐标范围是1<=m<=M, 1<=n<=N，块边缘坐标为m=0或n=0，L为该系数至边缘预测像素的距离，α为预测方向与边缘法线夹角，n’为边缘预测像素所在坐标。

基于本发明优选的实施方式，所述的帧间运动补偿方差函数为：

其中，K为常数，为梯度模平方函数在参考帧的运动补偿后的参考小块相同坐标处取值。

本发明提出了一种视频压缩中基于优先级的空间域扫描装置，包括：

用于扫描对象为相等残差编码变换/变换旁路系数，通过方差函数估算系数的估算装置；

用于根据方差的大小进行排序扫描的排序扫描装置。

基于本发明优选的实施方式，所述的排序扫描装置根据方差的大小进行排序为降序排序。

基于本发明优选的实施方式，所述的相等残差编码变换/变换旁路系数具体包括：

计算帧内方向性方差函数或帧间运动补偿方差函数的估算装置；

针对方差函数进行从大到小排序，对相等残差编码变换/变换旁路系数进行扫描的排序扫描装置。

基于本发明优选的实施方式，所述的估算装置中帧内方向性方差函数为：

其中相等变换系数坐标为(m,n)，当前块坐标范围是1<=m<=M, 1<=n<=N，块边缘坐标为m=0或n=0，L为该系数至边缘预测像素的距离，α为预测方向与边缘法线夹角，n’为边缘预测像素所在坐标。

基于本发明优选的实施方式，所述的帧间运动补偿方差函数为：

其中，K为常数，为梯度模平方函数在参考帧的运动补偿后的参考小块相同坐标处取值。

本发明提出的一种使用权利要求11-13任一所述的视频压缩装置，包括如下步骤：扫描步骤中，扫描对象为相等残差编码变换/变换旁路系数，通过方差函数估算系数；根据方差的大小进行排序扫描。

基于本发明优选的实施方式，所述的根据方差的大小进行排序为降序排序。

基于本发明优选的实施方式，所述的扫描相等残差编码变换/变换旁路系数具体方法如下：

计算帧内方向性方差函数或帧间运动补偿方差函数；

针对方差函数进行从大到小排序，对相等残差编码变换/变换旁路系数进行扫描。

基于本发明优选的实施方式，所述的帧内方向性方差函数为：

其中相等变换系数坐标为(m,n)，当前块坐标范围是1<=m<=M, 1<=n<=N，块边缘坐标为m=0或n=0，L为该系数至边缘预测像素的距离，α为预测方向与边缘法线夹角，n’为边缘预测像素所在坐标。

基于本发明优选的实施方式，所述的帧间运动补偿方差函数为：

其中，K为常数，为梯度模平方函数在参考帧的运动补偿后的参考小块相同坐标处取值。

3、本发明的有益效果。

本发明提出的方差估算方法，可以直接应用于残差变换中的相等变换/旁路变换，利用方差函数对像素信息进行直接编码，实现系数满足：大幅度系数靠前，小幅度系数靠后，大量0系数集中以及尾部集中等特性，熵编码器能够高效的对本发明的统计特性良好的数据进行编码，从而提高编码性能。

附图说明

图1为视频编码与解码系统架构示意图。

图2为视频帧原始分块示意图。

图3为原始分块数据示意图。

图4为垂直预测分块示意图。

图5为图2边界数据垂直复制之后得到的预测值示意图。

图6为图2中与图4中的预测值误差示意图。

图7为图2中与图4中的预测值误差数据示意图。

图8为之字形系数扫描示意图。

图9为预测不精确性模型帧内方向性预测示意图。

图10为本发明标准差示意图。

图11为本发明示例标准差函数值示意图。

图12为本发明示例扫描顺序示意图。

图13为之字形扫描结果示意图。

图14为本发明本专利的扫描结果示意图。

具体实施方式

如何输入规整的统计数据，使熵编码器能够高效的对统计特性良好的数据进行编码，从而提高编码性能是本发明要解决的根本问题。当扫描相等残差编码变换/变换旁路系数时，变换系数的大小难以预先推测。因此，扫描结果通常比较凌乱，扫描系数的统计规律变弱，这对于熵编码器的高效处理是不利的。相等变换系数的扫描问题，归根结底是缺乏一个好的方法来估算系数的方差。这也是本发明致力解决的问题。在本发明中，提出一种方法估算相等变换系数的方差，并提出根据方差大小降序扫描相等变换系数。

常见的视频压缩系统编码氛围分块、预测、变换与量化、扫描、熵编码等步骤。

分块步骤：一个视频包含许多帧，一个视频编码系统分别对每一帧进行编码。在编码一帧的时候，首先对一个视频进行分块。然后对每一个小块分别编码。常见的分块策略包含：固定大小分块：例如JPEG系统采用固定8x8像素分块。H.264系统基于宏块的可变大小分块策略。HEVC系统基于四叉树的分块策略。以及MPEG4系统基于形状的分块策略。

分块有利于视频编码系统对视频内容进行自适应，从而达到理想的编码效果。

预测步骤：视频帧被分块之后，每一小块逐一编码。每一个小块的像素信息中存在冗余，这种冗余在视频中非常常见。例如，一个小块与周围小块存在相似性，一个小块与前一帧视频中的小块存在相似性。为了初步减少数据冗余，首先对这一个小块的内容进行预测，并对预测误差在下一步进行编码。通过精心设计预测方法，可以大大减少每一个小块中包含的数据量。常见的预测方法包含：方向性帧内预测，直流分量帧内预测，运动补偿帧间预测等。

在方向性帧内预测中，已经被编码过的小块的边界像素值沿着某个方向复制到当前小块，作为该小块的预测数据。图2-7显示了一个4x4像素小块垂直方向性预测的例子。在这个例子中，原始数据（图2和图3）存在大量信息。由于垂直预测（图4和图5）与小块中的垂直边缘相匹配，所以垂直预测数据与原始数据非常接近。预测误差（图6和图7）相比较于原始数据非常小。在这个例子中，垂直预测大量减少了所需要编码的数据量。

变换步骤：上一步预测误差，又称预测残差进行进一步编码。残差编码通常进行变换，转换为变换系数。变换的目的是寻找一组高效的残差像素表达方式，数学上通常要求变换是正交归一的。变换系数被量化为整数后，进行下一步扫描。

常见的变换技术有：离散余弦变换（DCT） 以及非对称正弦变换（ADST）。这两种变换过程中存在浮点数与量化，变换过程会引入少量的视频失真，通常使用于有损视频压缩

另一种变换称为相等残差编码变换/变换旁路。这种变换对残差像素仅仅做量化，或者直接将残差像素作为变换系数输出。由于相等变换不存在浮点运算，因此可以保证精确地保留残差整数值，可用于有损视频压缩或者无损视频压缩。

扫描步骤：上一步的变换系数通常是二维的，为了对二维变换系数进行编码，首先需要将其转换为一组一维的数组。这个过程称作扫描。在扫描的过程中，希望有效考虑到变换系数的统计特性，将统计特性相似的系数聚集，使得下一步熵编码更为有效。

现有的扫描技术有很多种。包括针对于DCT，ADST系数的之字形扫描（Zig-zag），在HEVC系统中采用了针对于预测方向自适应的扫描方式 [3]。

图8举例说明用之字形方法扫描一块8x8的二维量化系数。空白表示系数为0，扫描后的结果对应为：15,2,0,4,1,0,0,0……这个一维数据被送入下一步进行熵编码。

熵编码步骤：被扫描后的一维系数送入熵编码器转换为最终的二进制流。熵编码通过对扫描后的一维数据的统计特性进行研究，从而减少统计上的冗余。

熵编码器的设计依赖于扫描后系数的统计特性。对于通常的编码系统来说，利用到的统计特性包含有：大幅度系数靠前，小幅度系数靠后；大量0系数聚集；尾部包含大量0系数等。通常来说，送入熵编码器的扫描系数越是规整，熵编码器的效率就越高。

实施例1

本发明提出的视频压缩中基于优先级的空间域扫描方法，具体按照如下步骤：

步骤1：假定相等变换系数坐标为(m,n)，当前块坐标范围是1<=m<=M, 1<=n<=N，块边缘坐标为m=0或n=0。则系数方差可由预测不精确性模型[6]估算。具体来说：

情况一：当选用帧内方向性预测时，方差函数由以下公式给出：

公式中各变量含义请参考图9，L为该系数至边缘预测像素的距离，α为预测方向与边缘法线夹角，n’为边缘预测像素所在坐标。图示为预测像素取自左边缘的情况。当预测像素取自上边缘时，置换m与n的位置即可。

情况二：当选用帧间运动补偿时，方差函数由以下公式给出：

其中，K为常数，为梯度模平方函数在参考帧的运动补偿后的参考小块相同坐标处取值。

步骤2：针对从大到小进行排序，依据的大小次序，对残差像素/相等变换系数进行扫描。

实施例2

假设需要对图6的残差系数进行扫描。

1，首先估算

由预测不精确性模型公式，函数如图10与图11所示：（在计算梯度值时使用了平均差值）

2，由决定扫描顺序，对其进行排序，得到扫描顺序如下图12所示：

按此顺序扫描图7的残差数据，获得扫描后结果为：

0.1, 0.2, 0.1, 0.1, 0.1, 0, 0, 0……（后全0）

相比较之下，如果按照之字形扫描，得到的扫描结果为：

0, 0, 0, 0, 0.1, 0, 0, 0, 0.1, 0, 0.1, 0.1, 0, 0, 0.2, 0

比较两组结果可以明显看出，使用该专利扫描技术的扫描结果有如下特性：

大量0系数集中在尾部，大幅值系数靠前，小幅值系数靠后。这对于熵编码器是非常有利的。

真实视频信号测试结果：

我们将视频标准测试信号ice_qcif 进行固定4x4分块，帧内预测。将相等变换系数使用两种方法进行扫描。方法1：之字形扫描。方法2：本专利的方法。

我们研究扫描方法对于整个测试信号内4x4小块的平均效应。为此，我们比较每一处系数的幅度总和。一个好的扫描方法，在平均意义上会使得大系数靠前，小系数靠后。因此，一个好的扫描方法应该使得扫描结果快速递减。

比较图13和图14我们可以清楚的看出。在平均意义下，本发明的扫描方法使得扫描结果的统计规律非常规整，并满足熵编码器的需求。