一种变换域全局高精度运动矢量估计方法
【专利摘要】一种变换域的全局高精度运动矢量估计方法,该方法主要应用于平移运动图像序列运动矢量估计。该方法包括以下步骤：视频提取步骤，多维矩阵分块重组步骤，矩阵变换步骤，系数降维步骤，折叠点提取步骤，窗确定步骤，加窗数据筛选步骤，最小二乘直线迭代拟合步骤，获取运动矢量步骤。从本发明的实施例也证明了该方法精度误差能降到10-4量级，运动矢量估计的精度越高，而运动估计精度越高，差值的分布越趋近于零，差值块的能量越小，最后所产生的码流比特位率也越少，压缩性能越好。该方法参考了多帧图像，具有计算复杂度低，运动估计精度高且结果连续等特点，有效解决了现有空域内运动矢量估计方法估计结果局部最优、估计精度离散、高计算复杂度高的不足。
【专利说明】一种变换域全局高精度运动矢量估计方法
【技术领域】
[0001]本发明涉及数字图像视频编码【技术领域】，更具体地，图像视频压缩编码中一种变换域的全局高精度运动矢量估计方法。其特征是变换域的全局连续高精度的运动矢量估计，其中变换域，是指将视频矩阵进行多维矢量矩阵离散余弦变换之后，对其变换后的系数进行加工处理，从而实现运动矢量估计。
【背景技术】
[0002]视频可以看作是一系列静态图像帧构成的缓变序列，因此其时域冗余要远远大于空域冗余，因此，在前一帧的基础上对第二帧图像进行编码时，可以首先利用第一帧的块对第二帧进行预测，找出要编码的帧中每一个块在参考帧中的位移，称之为运动矢量，并对运动矢量和两个块相减的残差进行编码，从而在很大程度上去除了时域冗余度。其中，在编码端搜索运动矢量的过程称为运动估计，而在解码端将预测块与预测残差相叠加的过程称为运动补偿。
[0003]运动估计是视频编码的关键技术，其最基本的原理是利用相邻帧间的时间相关性，通过预测来减少时间冗余度，在实际编码中，为了节省码率，并不传输每一帧的全部数据，而是利用运动估计求出每一帧与其预测参考帧之间的差值。运动估计越准确，差值的分布越趋近与零，差值块的能量越小，经过变换、量化和嫡编码后所产生的码流的比特位率也越少，因此，运动估计搜索的准确程度直接影响到了编码的压缩性能。
[0004]另一方面，运动估计是视频压缩编码系统中最耗时的一个模块，可占到编码运算总量的60%?80%，是编码过程中运算最密集的地方，要想提高视频压缩系统的编码速度，达到实时压缩，必须缩短时间占用比例最大的运动估计所耗费的时间。
[0005]到目前为止，所有的视频编码标准都是在空域内寻找参考帧中局部最优匹配块进行运动矢量估计，最新视频编码标准H.265运动矢量估计也是采用局部最优块匹配运动矢量估计方法，该方法复杂度非常高，而且运动矢量估计精度是离散化的，H.265运动矢量估计精度为四分之一像素。
【发明内容】
[0006]为了克服现有空域内运动矢量估计方法局部最优、精度离散化、高复杂度的不足，本发明针对平移视频序列，提出了变换域运动矢量估计方法，该方法不仅是全局性的，而且复杂度低，精度高且连续，而运动估计精度越高，差值的分布越趋近于零，差值块的能量越小，最后所产生的码流比特位率也越少，压缩性能越好。
[0007]—种变换域全局高精度运动矢量估计方法，至少包括以下几个步骤:
[0008]第一步:视频选取步骤
[0009]选取YUV格式视频，针对平移视频进行运动矢量估计，Y是亮度分量，U、V是色度分量，人类视觉系统对亮度比彩色更敏感，因此主要提取Y亮度分量作为实验数据；
[0010]第二步:多维分块重组步骤[0011]该步骤主要是对源视频数据进行分块重组，分成若干个视频子矩阵，分块大小一般有 64*64、32*32、16*16 等；
[0012]第三步:矩阵变换步骤
[0013]运用多维矢量矩阵离散余弦变换矩阵，对三维子矩阵进行多维矢量矩阵离散余弦变换，计算出三维系数矩阵，变换后的系数也是一个三维矩阵，这个三维矩阵中的每一个的系数都对应一个三维坐标，该系数就可以在三维坐标系中对应的位置用一个小圆点表示；
[0014]第四步:系数降维步骤
[0015]将上一步骤计算得到的三维系数矩阵中不为O的系数在三维坐标系中用小圆点表示出来，这些小圆点主要集中在一个折叠平面上，折叠平面的两个边沿在三维坐标左右侧面上，并且这些点集中在一条折叠的直线段上，提取这两个含有运动矢量信息的侧面，就可以对三维系数的处理降到二维平面上进行处理；
[0016]第五步:折叠点提取步骤
[0017]首先，对上一步骤中提取的两个面中的数据点进行纵轴最大值和最小值截取，接着，计算出截取的这些点到原点的距离，根据距离大小分辨出几个折叠点，最后分别计算出每个折叠点附近点的横坐标均值，以此作为折叠点的横坐标；
[0018]第六步:窗确定步骤
[0019]根据上一步骤计算出的折叠点，进一步通过折叠点的横坐标来确定窗的范围；
[0020]第七步:加窗数据筛选步骤
`[0021]如果是运动矢量是整数像素，各段直线都是完整的，但是如果运动矢量是非整数像素，最后一段是并不是完整的，对于整数像素，采用上一步骤得到的窗截取出最后一段数据；对于非整数像素，加窗截取倒数第二段数据；
[0022]第八步:直线迭代拟合步骤
[0023]用上一步骤得到的窗进行数据点截取，再分别对剩下的数据进行最小二乘直线迭代拟合，计算出拟合直线的斜率为Cl1和d2 ；
[0024]第九步:获取运动矢量步骤
[0025]根据上一步骤计算出来的直线斜率Cl1和d2，因此所估计的运动矢量为[ + (I1, ±d2]。
[0026]所述的第二步多维分块重组主要按以下步骤来实现:
[0027]第(I)步，将视频Y分量左上角定义为坐标原点，横向向右扫描M1个像素，跳至第二行，横向向右扫描M1个像素，重复上述过程，直到扫描M2行，此时得到Y第一帧的第一个M1^M2 块；
[0028]第(2)步，跳至Y第二帧，重复第一步过程，得到Y第二帧的第一个札*112块，依次跳至Y第三帧、第四帧直至第N1帧，即得到第一个MfM2^N1的视频子矩阵；
[0029]第(3)步，跳回至Y第一帧，依次右移至第二块，第三块直至最后一块，重复前两步，实现整幅Y帧的分块采样，得到Y帧的所有MfM2^N1三维视频子矩阵，本发明中M1和M2相等。
[0030]所述的第三步多维矢量矩阵离散余弦变换步骤，是对多维分块重组得到的三维视频子矩阵进行多维矢量矩阵离散余弦变换，变换的公式为:[0031 ]
【权利要求】
1.一种变换域全局高精度运动矢量估计方法，其特征在于:至少包括以下几个步骤: 第一步:视频选取步骤 选取YUV格式视频，Y是亮度分量，U、V是色度分量，人类视觉系统对亮度比彩色更敏感，因此主要提取Y亮度分量作为实验数据； 第二步:多维分块重组步骤 该步骤主要是对源视频数据进行分块重组，分成若干个视频子矩阵，分块大小一般有64*64、32*32、16*16 等； 第三步:矩阵变换步骤 运用多维矢量矩阵离散余弦变换矩阵，对三维子矩阵进行多维矢量矩阵离散余弦变换，计算出三维系数矩阵，变换后的系数也是一个三维矩阵，这个三维矩阵中的每一个的系数都对应一个三维坐标，该系数就可以在三维坐标系中对应的位置用一个小圆点表示；第四步:系数降维步骤 将上一步骤计算得到的三维系数矩阵中不为O的系数在三维坐标系中用小圆点表示出来，这些小圆点主要集中在一个折叠平面上，折叠平面的两个边沿在三维坐标左右侧面上，并且这些点集中在一条折叠的直线段上，提取这两个含有运动矢量信息的侧面，就可以对三维系数的处理降到二维平面上进行处理； 第五步:折叠点提取 步骤 首先，对上一步骤中提取的两个面中的数据点进行纵轴最大值和最小值截取，接着，计算出截取的这些点到原点的距离，根据距离大小分辨出几个折叠点，最后分别计算出每个折叠点附近点的横坐标均值，以此作为折叠点的横坐标； 第六步:窗确定步骤 根据上一步骤计算出的折叠点，进一步通过折叠点的横坐标来确定窗的范围； 第七步:加窗数据筛选步骤 如果是运动矢量是整数像素，各段直线都是完整的，但是如果运动矢量是非整数像素，最后一段是并不是完整的，对于整数像素，采用上一步骤得到的窗截取出最后一段数据；对于非整数像素，加窗截取倒数第二段数据； 第八步:直线迭代拟合步骤 用上一步骤得到的窗进行数据点截取，再分别对剩下的数据进行最小二乘直线拟合，计算出拟合直线的斜率为Cl1和d2 ； 第九步:获取运动矢量步骤 根据上一步骤计算出来的直线斜率Cl1和d2，因此所估计的运动矢量为[土屯，±d2]。
2.根据权利要求1所述的一种变换域全局高精度运动矢量估计方法，其特征在于，所述的第二步多维分块重组主要按以下步骤来实现: 第(I)步，将视频Y分量左上角定义为坐标原点，横向向右扫描乂个像素，跳至第二行，横向向右扫描M1个像素，重复上述过程，直到扫描M2行，此时得到Y第一帧的第一个MfM2块； 第(2)步，跳至Y第二帧，重复第一步过程，得到Y第二帧的第一AMfM2块，依次跳至Y第三帧、第四帧直至第N1帧，即得到第一个MfM2^N1的视频子矩阵； 第(3)步，跳回至Y第一帧，依次右移至第二块，第三块直至最后一块，重复前两步，实现整幅Y帧的分块采样，得到Y帧的所有MfM2^N1三维视频子矩阵，本发明中M1和M2相等。
3.根据权利要求1所述的一种变换域全局高精度运动矢量估计方法，其特征在于:所述的第三步多维矢量矩阵离散余弦变换，是对多维分块重组得到的三维视频子矩阵进行多维矢量矩阵离散余弦变换，变换的公式为:
4.根据权利要求1所述的一种变换域全局高精度运动矢量估计方法，其特征在于:所述第八步直线迭代拟合步骤，主要按以下方法来实现: 第(I)步，用加窗截取得到数据采用最小二乘直线拟合，拟合出一条直线； 第(2)步，计算出各点到该直线的距离，并求出其均值，根据该均值设定合适的步长； 第(3)步，设定阈值为均值减去步长k倍，k从O开始，每迭代一次k加I ; 第(4)步，用设定的阈值剔除距离大于阈值的点，用剩下的点再次采用最小二乘直线拟合法，拟合出一条直线，将该直线的斜率与第(I)步拟合出直线的斜率进行对比，如果差值小于给定值，则停止迭代，导出第(4)步求得的斜率，如果差值很大，则返回到第(3)步，依次往下进行。
5.根据权利要求4所述的一种变换域全局高精度运动矢量估计方法，其特征在于:所述的最小二乘直线拟合原理及公式为:以离散分布并且总体呈现直线轨迹的坐标点来求出直线参数，设直线的带参方程为:
Y = ax+b 利用直线轨迹上某个区间离散点的坐标(Xi，yi)(i = 1，…，n)，定义误差项
【文档编号】H04N19/625GK103686187SQ201310682114
【公开日】2014年3月26日 申请日期:2013年12月7日 优先权日:2013年12月7日
【发明者】桑爱军, 钟江江, 于洋, 陈绵书, 李晓妮, 陈贺新 申请人:吉林大学