利用残差系数分布特征和贝叶斯定理优化hevc残差编码的方法
【专利摘要】本发明涉及一种利用残差系数分布特征和贝叶斯定理优化残差编码的方法。本方法的操作步骤如下：（1）按照控制文件里设定的顺序读取视频序列的每一帧图像，（2）对每帧图像的亮度和色度值进行帧内预测和帧间预测，从而求得残差系数，（3）根据残差系数对残差块TU（最大为32×32）进行纹理判定或进行贝叶斯模型判定，从而决定是否提前中止分块编码，（4）对整块TU进行DCT变换和量化，从而求得量化参数，（5）对量化系数进行熵编码，最后以比特流的形式输出。本发明在保证编码质量的损失可以忽略不计的情况下，提高了视频编码速度，更有利于视频的实时采集。
【专利说明】利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法
【技术领域】
[0001]本发明涉及高分辨率视频编码【技术领域】，特别是利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，适用于高分辨率视频编码和实时视频采集。
【背景技术】
[0002]近些年由于多媒体技术的迅猛发展，高清电视(HDTV)，3D立体视频，视频通信等新技术已逐渐为大家所熟知，人们被带入了一个崭新的视频时代。所有这些技术在提供给人们多式多样的高质量视频享受的同时，也对视频编码技术提出了更高的要求。其中，一个最重要的特征就是相比于之前的标清二维视频这些新技术要处理更为巨大的数据量，现有的视频编码标准如H.264已经力不从心，于是具有更高压缩效率的视频编码标准HEVC应用而生。为提高编码效率HEVC采用了许多新的技术，如更大的编码块，循环递归编码结构，更多的帧内预测模式等，这些改进在提高编码效率的同时，也使得整个算法变得相当复杂，很不利于其投入实际应用。为此，如何有效地降低HEVC编码复杂度成为现今一个研究热点。
[0003]帧内预测、帧间预测在整个视频编码过程中占用了大部分的时间，成为主要研究方向，并且方法已趋于成熟。而包括整数变换、量化以及反变换和反量化的残差编码也占用了不少编码时间，一些学者对其进行了研究。其中，文献[I]在分析了 HEVC残差编码块TU(Transform Unit)的树形结构和循环递归编码基础上提出了一种简便的TU提前中止方案。通过统计残差块经过整数变换和量化后的量化系数中的非零系数个数，来决定是否要中止分块编码。该方法节省的编码时间很多，但编码质量损失也比较大。
[0004]文献[2]提出的HEVC残差编码优化算法比较完善。作者首先分析了最优编码模式判定标准:率失真代价函数，然后找出整块TU及其四个子块TU在编码比特率上的相互关系，并分析了全零块类型在整块TU和其子块之间的相互推导关系。通过对比TU四个子块的率失真代价和与预设阈值的大小，实现跳过大块残差编码和中止小块残差编码。
[0005]文献[3]针对HEVC帧内预测和帧间预测的残差编码不同点，分别提出了关于帧内预测的快速编码算法和关于帧间预测的快速残差编码算法。前者在参考代码HM2.0中原有方案的基础上进一步减少帧内预测中参与率失真计算的帧内预测模式个数，但对每种模式都进行穷尽的残差树搜索，从而在降少编码时间的基础上也保证了编码质量。后者首先找出四个子TU的参数系数中的最大值和最小值并让它们作差，然后该差值与设定阈值相比较从而判定是否要提前中止分块残差编码。
[0006]文献[I]: Kiho Choi and Euee S.Jang, “Early TU decision method for fastvideo encoding in high efficiency video coding,，’ELECTRONICS LETTERS, Vol.48，N0.12，7th June, 2012.文献[2]: Su-Wei Tengj Hsueh-Ming Hang and Y1-Fu Chen, “Fast Mode DecisionAlgorithm for Residual Quadtree Coding in HEVCj，’ IEEE Visual Communications andImage Processing.VCIP.2011.6116062, pp.1-4，2011. 文 献[3]: Yih Han Tan，Chuohao Yeoj Hui Li Tan and Zhengguo Li，“OnResidual Quad-tree Coding In HEVCj ” IEEE Multimedia Signal Processing, 13thInternational Workshop.MMSP.2011.6093805，pp.1-4，2011.
【发明内容】
本发明的目的是针对HEVC特有的残差编码结构和技术缺陷，提供一种利用残差系数分部特征和贝叶斯定理优化HEVC残差编码的方法，在保证主观质量不变的情况下，可有效地提高视频编码速度。为达到上述目的，本发明的构思是:第一，在保证视频编码质量变化不大的前提下，利用残差系数的高斯分布特征，对残差块TU上下两个子块和左右两个子块进行两次假设检验，从而判断出当前残差块TU的内部纹理特性，以减少不必要的子块残差编码。第二，利用贝叶斯判定模型，对TU进行提前中止子块编码使得编码速度得到提高。
[0007]根据上述发明构思，本发明采用如下的技术方案:
一种利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，其特征在于操作步骤如下:
(O输入视频序列:按照控制文件里设定的顺序读取视频序列的每一帧图像，
(2)帧内/帧间预测:对每帧图像的亮度和色度值进行帧内预测和帧间预测，从而求得残差系数，
(3)TU提前中止判定:根据残差系数对残差块TU (最大为32X32)进行纹理判定或进行贝叶斯模型判定，从而决定是否提前中止分块编码，
(4)DCT变换和量化:对整块TU进行DCT变换和量化，从而求得量化参数，
(5)熵编码:对量化系数进行熵编码，最后以比特流的形式输出。
[0008]本发明与已有技术相比较，具有如下显而易见的突出实质性特点和显著技术进
I K
少:
1)、本HEVC视频编码优化方法在保证视频编码质量不变的同时，使得编码过程在残差编码这个子过程就能提高编码速度，实验中可以节省的残差编码时间最多为60% ；
2)、本HEVC视频编码优化方案中关于残差系数分布特性的优化算法是基于假设检测的，所以可以根据实际需求通过修改显著水平实现编码质量和编码速度之间的折中；
3)、本HEVC视频编码优化方案中基于贝叶斯判定模型的优化算法选取预测误差和残差系数的均方差MAD为特征向量因子进行模式判断，而这两个值在帧内和帧间预测中就已求出，所以该优化方法不会额外地增加编码时间。
【专利附图】
【附图说明】
[0009]图1是本发明中的利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法的原理框图。
[0010]图2是Skip、帧间和帧内预测的框图。
[0011]图3是基于残差系数分布特征算法框图。
[0012]图4是TU的结构框图。
[0013]图5是在不同⑶、以及帧间和帧内预测时，可用于残差编码的TU类型。
[0014]图6是熵编码示意框图。
[0015]图7a是分辨率为832 X 480的测试序列RaceHorses在基于残差系数分布特征的优化算法下的RD曲线图。
[0016]图7b是分辨率为1280X720的测试序列vidvol在基于残差系数分布特征的优化算法下的RD曲线图。
[0017]图8是基于残差系数分布特征优化算法与HM5.0中原始方法相比较的实验结果，主要参数包括:亮度的PSNR，比特率以及残差编码时间。
[0018]图9a是分辨率为832 X 480的测试序列RaceHorses在基于贝叶斯判定模型的优化算法下的RD曲线图。
[0019]图9b是分辨率为1280X720的测试序列vidvol在基于贝叶斯判定模型的优化算法下的RD曲线图。
[0020]图10是基于贝叶斯判定模型优化算法与HM5.0中原始方法相比较的实验结果，主要参数包括:亮度的PSNR，比特率以及残差编码时间。
【具体实施方式】
[0021]以下结合附图对本发明的优选实施例作进一步的详细说明:
实施例一:
利用残差块系数的分布特征和贝叶斯定理优化HEVC残差编码的方法(参见图1)包括以下步骤:
(O输入视频序列:按照控制文件里设定的顺序读取视频序列的每一帧图像，
(2)帧内/帧间:对每帧图像的亮度和色度值进行帧内预测和帧间预测，从而求得残
差
系数，
(3)TU提前中止判定:根据残差系数对残差块TU (最大为32X32)进行纹理判定或 进行贝叶斯模型判定，从而决定是否提前中止分块编码，
(4)DCT变换和量化:对整块TU进行DCT变换和量化，从而求得量化参数，
(5)熵编码:对量化系数进行熵编码，最后以比特流的形式输出。
[0022]实施例二:本实施例与实施例一基本相同，特别之处如下:(见图2至图10)
上述步骤(2)是对输入视频序列进行帧内和帧间预测，参见图2，其具体步骤如下:(2-1)帧内预测是利用编码块周围(左边和上边)已编码参考像素对当前块进行预测从而消除视频图像在空间上的冗余；帧间预测通过参考编码块所在帧的前后帧对其进行运动估计和运动补偿从而消除视频序列的时间冗余。HEVC按照率失真最优的判定标准从多个帧内和帧间候选模式中选出最优的帧内和帧间预测模式。率失真代价函数为:
CosIrd(I)
其中Cbsijffi为率失真代价值，Β为预测失真值，Λ为在不同预测模式下输出的比特数，A为拉格朗日参数。
[0023](2-2)与之前的视频编码标准H.264不同，为提高编码效率，HEVC采用更大的编码块(64X64)，循环递归的编码方式，帧内预测模式增加到35种，这些改进在提高编码效率的同时也使得帧内和帧间预测变得更为复杂。
[0024](2-3)若输入的是I帧，则只对其进行帧内预测并进行率失真优化；若为P帧或B帧，则先对其进行Skip模式预测和帧间预测，然后再进行帧内预测。最后按率失真优化标准从三种模式中选出最优的预测模式。
[0025]上述步骤(3)对残差块的系数进行判定的方法有两种，具体步骤如下:
(3-1)基于高斯分布的假设检验法
由相关文献研究可知，残差系数服从期望值为零的高斯分布，即满足以下表达式:
【权利要求】
1.一种利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，其特征在于: (O输入视频序列:按照控制文件里设定的顺序读取视频序列的每一帧图像； (2)帧内/帧间预测:对每帧图像的亮度和色度值进行帧内预测和帧间预测，从而求得残差系数； (3)TU提前中止判定:根据残差系数对残差块TU (Transform Unit)(最大为32X 32)进行纹理判定或进行贝叶斯模型判定，从而决定是否提前中止分块编码； (4)DCT变换和量化:对整块TU进行DCT变换和量化，从而求得量化参数； (5)熵编码:对量化系数进行熵编码，最后以比特流的形式输出。
2.根据权利要求1所述的利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，其特征在于所述步骤(2)帧内/帧间预测的具体步骤如下: (2-1)帧内预测是利用编码块左边和上边已编码参考像素对当前块进行预测从而消除视频图像在空间上的冗余；帧间预测通过参考编码块所在帧的前后帧对其进行运动估计和运动补偿从而消除视频序列的时间冗余；HEVC按照率失真最优的判定标准从多个帧内和帧间候选模式中选出最优的帧内和帧间预测模式；率失真代价函数为:
3.根据权利要求1所述的利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，其特征在于所述步骤(3) TU提前中止判定的具体步骤如下: ①基于高斯分布的假设检验法 由相关文献研究可知，残差系数服从期望值为零的高斯分布，即满足以下表达式: X Ν(/ι,σ2)(2) 其中I表不残差系数，Zi = 0为均值，Oji为方差，表不闻斯分布； 为判断整块TU是否适合划分成四个子TU可以把整块TU分为两种划分方式，如图3所示。如果两种划分方式都满足，则可认为TU适合分成四个子TU。如果采用图3中的划分方式编码效果较好，则残差系数应该服从高斯分布，由于服从同一分布则两个部分的期望值#应该没有显著性差别。因此，可以通过假设检验判断该模式的预测效果，根据概率论的知识得到: \ Ul.(3)
^1% 1%上式中》%和|?2分别表示图3中A和B两个子块中残差系数的个数，f分布为学生氏分布，W2是该分布的自由度，X，j是每种划分方式中两部分像素亮度的均值，Pk、/%是两个部分各自的数学期望值，上式中毛如下:
4.根据权利要求1所述 的利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，其特征在于:所述步骤(4)DCT变换和量化的具体步骤如下: ①HEVC进行整数变换和量化时，TU的最大尺寸为32X 32，最小尺寸为4X4，类似于⑶的四叉树结构； ②针对不同的CU、PU、帧内以及帧间预测，TU有不同的可用类型。
5.根据权利要求1所述的利用残差系数分布特征和贝叶斯定理优化HEVC残差编码的方法，其特征在于:所述步骤(4)熵编码的具体步骤如下: ①对量化系数进行可变长熵编 码(VLC)或算术编码(CABAC)，从而消除量化系数的符号冗余，实现对视频序列的进一步压缩； ②经熵编码的数据最终以比特流的形式输出；通过相关码率控制技术可实现比特率的自适应改变，这大大提高了 HEVC编码器的网络友好性。
【文档编号】H04N19/00GK103546749SQ201310480055
【公开日】2014年1月29日 申请日期:2013年10月14日 优先权日:2013年10月14日
【发明者】沈礼权, 赵文强, 曹志明, 胡乾乾, 赵振军 申请人:上海大学