专利名称：基于交织预测的视频帧内无损编解码方法及系统的制作方法
技术领域：
本发明涉及一种信号处理的视频编解码技术领域的方法，具体是一种基于交织预测的视频帧内无损编解码方法及系统。
背景技术：
视频帧内无损压缩技术对于高质量视频的存储、编辑和传输等应用至关重要。新一代视频编码国际标准H.264/AVC支持视频的帧内无损压缩，为提高帧内编码的效率，H.264/AVC标准引入了基于方向的空间预测技术。空间预测技术，是指利用图像相邻像素点之间的高度空间相关特性，通过使用当前宏块(或块)相邻的重建像素值，来预测当前宏块(或块)内的像素点。基于方向的空间像素预测是指在预测像素点时，考虑不同的方向采取不同的预测方法，也就分别对应多种不同的预测模式。在编码时，编码器会遍历所有各种模式(方向)的预测，选择最优的预测模式。H.264/AVC编码标准对于亮度分量和色度分量的空间预测，是分开处理的。对于色度分量，统一采用了四种预测模式。对于亮度分量，考虑其复杂的纹理特性，为了提高预测准确性，引入了16×16、8×8和4×4三种可选的宏块划分，分别对应I_16×16、I_8×8和I_4×4宏块类型。每种宏块类型又包含若干种预测模式。编码器在编码时，会遍历各种宏块类型的所有预测模式，选择最优的预测模式。一般来讲，对于比较平坦的像素区域，用I_16×16类型预测会比较准确；而对于纹理比较丰富的区域，I_4×4类型预测会比较准确；I_8×8类型是H.264针对高清晰度和高保真度的视频而新加入的。亮度分量中I_8×8类型和I_4×4类型的预测模式完全相同；色度分量的预测模式和亮度分量中I_16×16类型的预测模式也完全相同。由于H.264/AVC标准中基于方向的空间预测技术是以块为单位，即预测值均是来自于相邻块。因此，对于纹理和结构复杂的图像，块内像素的预测性能仍然有待提高。
经过对现有技术的文献检索发现，Yung-Lyul Lee，Ki-Hun Han，Gary J.Sullivan等人在《IEEE Trans.On Image Processing》(美国电气与电子工程师学会的图像处理期刊)的2006年15期上第2610到第2615页上发表的“ImprovedLossless Intra Coding for H.264/MPEG-4AVC”(改进的H.264/MPEG-4AVC帧内无损编码方法)一文中提出了采用逐像素递归预测的方法进行编码，获得了压缩性能的提升，这种方法在实现上通过对特定预测模式获得的残差图像进行整数变换，但该方法进一步增加了编码的复杂度，并且只适应用特定方向的预测模式也抑制了对复杂纹理图像的预测性能。
发明内容
本发明针对上述现有技术的不足，提供了一种基于交织预测的视频帧内无损编解码方法及系统，交织预测是通过改变常规编码中像素的光栅扫描顺序，先编码当前图像下采样的像素，然后用已编码重建的像素去预测剩余的像素，使得编码时候可以利用邻域内对称的参考像素，产生更精确的预测，改善了预测性能，从而提高了视频帧内无损压缩的性能。
本发明是通过以下技术方案实现的 本发明所涉及的基于交织预测的视频帧内无损编解码方法，包括 在编码端，将原始视频中的每帧下采样成四幅子图像，然后通过交织编码器编码输出；在解码端，对每帧码流通过交织解码器恢复四幅子图像，然后通过上采样重构原始视频帧； 在交织编码器和交织解码器中，对第一幅子图像的编解码采用H.264/AVC标准中帧内预测方法，对后续三幅子图像的编解码采用交织预测方法，并通过修改H.264/AVC标准的语法元素，组织四幅子图像的码流。
所述将原始视频帧下采样成四个子图像，具体为按照水平方向和垂直方向偶数位置、水平方向偶数位置而垂直方向奇数位置、水平方向奇数位置而垂直方向偶数位置、水平方向和垂直方向奇数位置四种情况，将原始视频帧均匀抽样成四个子图像，子图像的宽度和高度为原始视频帧宽度和高度的一半。
所述通过上采样重构原始视频帧，具体为与下采样相逆，根据四个子图像中每个像素点在原始视频帧中的位置，组合出原始视频帧。
所述交织预测方法，宏块亮度分量和色度分量分别以4×4块和8×8块为单位单独进行交织预测模式选择，亮度分量和色度分量使用相同的交织预测模式，具体为 对第二幅子图像按预测方向的不同，包括水平、水平向左、水平向右、对角向右和对角向左共计五种预测模式； 对第三幅子图像，按预测方向的不同，包括垂直、垂直向上、垂直向下、对角向右和对角向左共计五种预测模式； 对第四幅子图像，按预测方向的不同，包括均值、垂直、水平、对角向右和对角向左共计五种预测模式。
所述修改H.264/AVC标准的语法元素，具体如下 (1)在序列参数集(SPS)语法里面，增加一个1个比特的标志位元素i_pic_interlaved_prediction_coding_flag，用于表明该码流中的帧内编码帧(I帧)是否采用基于像素级的交织预测方法； (2)当SPS中语法标志元素i_pic_interlaved_prediction_coding_flag为真且当前条带为I帧时，在条带头(slice_header())语法里面，增加一个2比特的语法元素sub_slice_idx，用于表明子图像的序号，其值为0，1，2和3时分别对应子图像S0，S1，S2和S3； (3)当SPS中语法标志元素i_pic_interlaved_prediction_coding_flag为真，当前条带为I帧且条带头语法元素sub_slice_idx不等于0时，宏块层语法(macroblock_layer())需修改为去掉语法元素mb_type，其余部分语法元素与帧内宏块(Intra MB)Intra4×4类型类似。
本发明所涉及的基于交织预测的视频帧内无损编解码系统，包括原始视频帧模块、下采样模块、交织编码器、信道模块、交织解码器、上采样模块、重构视频模块，其中 原始视频模块负责缓存原始视频序列，从中获得当前待编码的一个视频帧，发送给下采样模块； 下采样模块将收到的一个原始视频帧下采样成四个子图像后，发送给交织编码器； 交织编码器对四个子图像中的第一个子图像用H.264/AVC标准中帧内预测方法进行编码，对后续三幅子图像采用交织预测的方法进行编码，并对四个编码后子图，通过修改H.264/AVC标准的语法元素组织成码流，送入信道模块； 信道模块对输入码流进行存储或者传输后，送入交织解码器； 交织解码器对输入码流按照修改的H.264/AVC标准的语法元素，对输入码流进行解析，将第一个子图像对应的码流用H.264/AVC标准中帧内预测方法进行解码，重建第一个子图像，对后续三个子图像采用交织预测的方法进行解码，重建后三个子图像，并将四个图像送入上采样模块； 上采样模块接收到四个子图像后，采用上采样重建一个原始视频帧，送入重构视频模块； 重构视频模块，将所有重构视频帧，根据时间关系或应用需求输出。
与现有技术相比，本发明具有如下有益效果本发明将H.264/AVC标准中基于块的预测方法变为基于像素级的预测方法，预测更为精细，性能更佳，尤其对于复杂纹理图像，改善效果更为显著。与此同时，由于交织预测预测模式较H.264/AVC标准的预测模式少，复杂度也有所降低。在H.264/AVC标准基础上的实验表明，采用基于交织预测方法的帧内无损压缩，较之与H.264/AVC标准的帧内无损压缩，大约能降低5％～20％的码率。
图1是本发明系统的结构框图； 图2是原始视频帧S到子图像S0、S1、S2和S3的像素下采样示意图 图(a)为原始视频帧S，图(b)为S0子图像，(c)为S1子图像(d)为S2子图像，(e)为S3子图像； 图3是本发明的编解码流程图 图(a)是基于交织预测的编码流程图，图(b)是基于交织预测的解码流程图； 图4是本发明对子图像S1编码时进行交织预测的示意图； 图5是本发明对子图像S2编码时进行交织预测的示意图； 图6是本发明对子图像S3编码时进行交织预测的示意图。
具体实施例方式 下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例系统对视频序列中每一帧原始视频执行编码、解码，包括如下步骤 步骤一，原始视频帧模块从原始视频序列中获得一幅当前待编码的视频帧S，缓存后发送给模块下采样模块； 步骤二，下采样模块将S处理得到四个子图S0、S1、S2和S3，然后将子图发送给交织编码器，具体处理如图2所示为 将水平方向和垂直方向偶数位置的像素，即所有标记为‘0’的点，按照光栅扫描顺序组成S0，如图2(b)所示；将水平方向奇数位置而垂直方向偶数位置的像素，即所有标记为‘1’的点，按照光栅扫描顺序组成S1，如图2(c)所示；将水平方向偶数位置而垂直方向奇数位置的像素，即所有标记为‘2’的点，按照光栅扫描顺序组成S2，如图2(d)所示；将水平方向和垂直方向奇数位置的像素，即所有标记为‘3’的点，按照光栅扫描顺序组成S3，如图2(e)所示；子图像S0，S1，S2和S3的宽度值和高度值均为原始图像S的一半； 步骤三，交织编码器对接收到的四个子图像进行编码，将码流发送给信道模块，编码的步骤如图3(a)所示，具体如下 (1)四个子图S0、S1、S2和S3，作为交织编码器的输入； (2)采用H.264/AVC标准的帧内预测方法对子图像S0进行编码； (3)利用子图像S0采用交织预测的方法对子图像S1进行编码，图4所示，为对子图像S1进行交织预测的示意图，x为子图像S1中的当前预测像素点，a-j为x邻域内对应子图像S0的像素点。假设predx为对像素点x的预测值，五种交织预测模式分别为 预测模式0水平 predx＝Clip1((a-5b+20c+20d-5e+f+16)＞＞5) 预测模式1水平向左 predx＝(5c+3d+4)＞＞3 预测模式2水平向右 predx＝(3c+5d+4)＞＞3 预测模式3对角向右 predx＝(c+d+g+j+2)＞＞2 预测模式4对角向左 predx＝(c+d+h+i+2)＞＞2 函数Clip1()将预测的像素值限定在0到255之间如果预测值小于0，则取值为0；如果预测值大于255，则取值255；否则不变。后面出现，其含义相同。
按照率失真优化准则，在五种候选预测模式中选择最优模式，计算出预测残差，采用H.264/AVC帧内编码相同的方法执行模式和残差的编码； (4)利用子图像S0和S1采用交织预测的方法对子图像S2进行编码；如图5所示，为对子图像S2进行交织预测的示意图，x为子图像S2中的当前预测像素点，g-l为x邻域内对应子图像S0的像素点，a-d为x邻域内对应子图像S1的像素点。假设predx为对像素点x的预测值，五种交织预测模式分别为 预测模式0垂直 predx＝Clip1((g-5h+20i+20j-5k+l+16)＞＞5) 预测模式1垂直向上 predx＝(5i+3j+4)＞＞3 预测模式2垂直向下 predx＝(3i+5j+4)＞＞3 预测模式3对角向右 predx＝(a+d+1)＞＞1 预测模式4对角向左 predx＝(b+c+1)＞＞1 按照率失真优化准则，在五种候选预测模式中选择最优模式，计算出预测残差，采用H.264/AVC帧内编码相同的方法执行模式和残差的编码； (5)利用子图像S0、S1和S2对子图像S3进行交织预测，如图6所示，x为子图像S3中的当前预测像素点，m-p为x邻域内对应子图像S0的像素点，g-1为x邻域内对应子图像S1的像素点，a-f为x邻域内对应子图像S2的像素点。假设predx为对像素点x的预测值，五种交织预测模式分别为 预测模式0均值 predx＝Clip1((2c+2d+2i+2j-m-n-o-p+2)＞＞2) 预测模式1垂直 predx＝Clip1((g-5h+20i+20j-5k+l+16)＞＞5) 预测模式2水平 predx＝Clip1((a-5b+20c+20d-5e+f+16)＞＞5) 预测模式3对角向右 predx＝(m+p+1)＞＞1 预测模式4对角向左 predx＝(n+o+1)＞＞1 按照率失真优化准则，在五种候选预测模式中选择最优模式，计算出预测残差，采用H.264/AVC帧内编码相同的方法执行模式和残差的编码； (6)对图像S0、S1、S2和S3编码之后的码流按照修改的H.264/AVC语法进行码流的组织，具体为 在序列参数集语法里面，设置标志位元素i_pic_interlaved_prediction_coding_flag为1，表示该帧图像采用交织预测方法； 设置图像S0的条带头语法里面sub_slice_idx的值为0，按照H.264/AVC语法组织其余码流数据； 对图像S1、S2和S3，分别设置条带头语法sub_slice_idx的值为1、2和3，删除宏块层语法元素mb_type，按照H.264/AVC标准的语法组织其余码流数据； 步骤四，信道模块对视频帧码流进行存储或者传输后，发送给交织解码器； 步骤五，交织解码器，对接收到的包含四个子图像的码流进行解码，将恢复出的四个子图像发送给上采样模块，交织解码器解码的步骤如图3(b)所示，具体如下 (1)收到一个视频帧码流，根据码流中序列参数语法集中i_pic_interlaved_prediction_coding_flag的值为1，确定该视频帧码流包含四个子图像码流； (2)根据条带语法中sub_slice_idx值为0，对该条带按照标准H.264/AVC的帧内解码方法，恢复第一个子图像S0； (3)根据条带语法中sub_slice_idx值为1，利用恢复出的子图像S0，采用与编码相同的交织预测的模式，对子图像S1进行解码，恢复出第二个子图像S1； (4)根据条带语法中sub_slice_idx值为2，利用恢复出的子图像S0和S1，采用与编码相同的交织预测的模式，对子图像S2进行解码，恢复出第三个子图像S2； (5)根据条带语法中sub_slice_idx值为3，利用恢复出的子图像S0、S1和S2，采用与编码相同的交织预测的模式，对子图像S3进行解码，恢复出第四个子图像S3； (6)得到四个解码子图像S0，S1，S2和S3，送入上采样模块； 步骤六，上采样模块将四个子图S0、S1、S2和S3，按照如图2所示的下采样的逆过程，重构出一个原始视频帧S，发送给重构视频模块； 步骤七，重构视频模块将所有重构视频帧，按照时间先后关系输出显示。
实施效果 依据上述步骤，在开源H.264/AVC编码器x264 rev602基础上，对标准测试序列CIF格式，25fps的football进行100帧编码全I帧模式，量化参数(QP)取值为0，无8×8离散余弦变换(DCT)，残差无DCT和量化，CABAC熵编码。
实验表明，采用标准的帧内预测方法压缩后码流大小为8214698字节，采用基于像素级的交织预测压缩后的码流大小为6743917字节。两者相比，采用基于像素级的交织预测的编码方法能节省17.90％的码率。
权利要求
1、一种基于交织预测的视频帧内无损编解码方法，其特征在于，在编码端，将原始视频中的每帧下采样成四幅子图像，然后通过交织编码器编码输出；在解码端，对每帧码流通过交织解码器恢复四幅子图像，然后通过上采样重构原始视频帧；
在交织编码器和交织解码器中，对第一幅子图像的编解码采用H.264/AVC标准中帧内预测方法，对后续三幅子图像的编解码采用交织预测方法，并通过修改H.264/AVC标准的语法元素，组织四幅子图像的码流。
2、根据权利要求1所述的基于交织预测的视频帧内无损编解码方法，其特征是，所述将原始视频帧下采样成四个子图像，具体为按照水平方向和垂直方向偶数位置、水平方向偶数位置而垂直方向奇数位置、水平方向奇数位置而垂直方向偶数位置、水平方向和垂直方向奇数位置四种情况，将原始视频帧均匀抽样成四个子图像，子图像的宽度和高度为原始视频帧宽度和高度的一半。
3、根据权利要求1所述的基于交织预测的视频帧内无损编解码方法，其特征是，所述通过上采样重构原始视频帧，具体为与下采样相逆，根据四个子图像中每个像素点在原始视频帧中的位置，组合出原始视频帧。
4、根据权利要求1所述的基于交织预测的视频帧内无损编解码方法，其特征是，所述交织预测方法，宏块亮度分量和色度分量分别以4×4块和8×8块为单位单独进行交织预测模式选择，亮度分量和色度分量使用相同的交织预测模式，具体为对第二幅子图像包括水平、水平向左、水平向右、对角向右和对角向左共计五种预测模式；对第三幅子图像，包括垂直、垂直向上、垂直向下、对角向右和对角向左共计五种预测模式；对第四幅子图像，包括均值、垂直、水平、对角向右和对角向左共计五种预测模式。
5、根据权利要求1所述的基于交织预测的视频帧内无损编解码方法，其特征是，所述修改H.264/AVC标准的语法元素，具体如下
在序列参数集语法中，增加一个1个比特的标志位元素i_pic_interlaved_prediction_coding_flag，用于表明码流中的帧内编码帧是否采用基于像素级的交织预测方法；
当序列参数集语法中，标志位元素i_pic_interlaved_prediction_coding_flag为真且当前条带为I帧时，在条带头语法里面，增加一个2比特的语法元素sub_slice_idx，用于表明子图像的序号，其值为0，1，2和3时分别对应子图像S0，S1，S2和S3；
当序列参数集语法中，标志位元素i_pic_interlaved_prediction_coding_flag为真，当前条带为I帧且条带头语法元素sub_slice_idx不等于0时，宏块层语法作如下修改去掉语法元素mb_type，其余部分语法元素与帧内宏块Intra4×4类型相同。
6、一种基于交织预测的视频帧内无损编解码系统，其特征在于，包括原始视频帧模块、下采样模块、交织编码器、信道模块、交织解码器、上采样模块、重构视频模块，其中
原始视频模块负责缓存原始视频序列，从原始视频序列中获得当前待编码的一个视频帧，发送给下采样模块；
下采样模块将收到的一个原始视频帧下采样成四个子图像后，发送给交织编码器；
交织编码器对四个子图像中的第一个子图像用H.264/AVC标准中帧内预测方法进行编码，对后续三幅子图像采用交织预测的方法进行编码，并对四个编码后子图，通过修改H.264/AVC标准的语法元素组织成码流，送入信道模块；
信道模块对输入码流进行存储或者传输后，送入交织解码器；
交织解码器对输入码流按照修改的H.264/AVC标准的语法元素，对输入码流进行解析，将第一个子图像对应的码流用H.264/AVC标准中帧内预测方法进行解码，重建第一个子图像，对后续三个子图像采用交织预测的方法进行解码，重建后三个子图像，并将四个图像送入上采样模块；
上采样模块接收到四个子图像后，采用上采样重建一个原始视频帧，送入重构视频模块；
重构视频模块将所有重构视频帧，根据时间关系或应用需求输出。
全文摘要
一种信号处理的视频编解码技术领域的基于交织预测的视频帧内无损编解码方法及系统，在编码端中，将每个帧内编码帧(I帧)下采样形成一定顺序的四幅子图像，对第一幅子图像采用基于标准预测的编码，对后续三幅子图像依次采用交织预测的编码；在解码器中，将收到的每个I帧码流，对第一幅子图像部分的码流按照标准预测的解码，对后续三幅图像的码流采用基于像素级交织预测的解码，最后将解码出的四幅子图像进行上采样组合得到I帧解码图像。本发明中的交织预测方法，较标准的预测方法，具备更佳的预测性能，从而提高了视频的帧内无损压缩性能。
文档编号H04N11/04GK101252686SQ20081003485
公开日2008年8月27日 申请日期2008年3月20日 优先权日2008年3月20日
发明者利 宋, 奕 徐, 蓉 解, 张文军, 聪 熊 申请人:上海交通大学