基于机器学习的高性能视频转码方法及其转码器与流程

本发明涉及图像通信领域中的视频转码技术问题，尤其是涉及一种高性能视频转码帧间模式判定方法。

背景技术：

近年来，随着视频业务的飞速发展，人们对观看高清视频的需求也越来越高。目前主流的视频压缩编码标准H.264/AVC/AVC已经不能适应高数据量下的高清视频传输。在这种趋势下，ISO/IEC和ITU-T联合制定了目前最新的国际视频编码标准(HEVC)，该标准的压缩率相比H.264/AVC/AVC提升了一倍左右，尤其对高清视频有很好的压缩效果，但也由此带来了计算复杂度的提高。因此，如何在保证视频编码质量的同时降低编码的计算复杂度成为了视频编码领域研究的热点。

相对于H.264/AVC/AVC，HEVC在编码方法上有较大的不同，主要体现在以下几个方面：(1)采用了更加灵活的编码结构来提高编码效率，它包括编码单元CU、预测单元PU和变换单元TU，同时将H.264/AVC/AVC中宏块的大小从16×16扩展到了64×64，以便于更好的进行高分辨率视频的压缩；(2)采用了更多的帧内预测方向，最多可达35种预测方向，更广范围的PU尺寸和更多的PU帧内预测方向使得HEVC帧内预测比H.264/AVC/AVC有了更高的编码效率；(3)采用了更多的帧间预测模式，包含了对称PU模式和非对称PU模式，使得HEVC有了更加精确的块匹配；(4)采用了更多尺寸和类型的正交变换，采样点自适应偏移(SAO)，自适应环路滤波(ALF)和并行化设计等技术。

随着HEVC的制定，标准间转码研究的方向逐渐转移到以往的视频编码标准到HEVC标准的转码。Shen Tong等提出直接在H.264/AVC/AVC中的对应模式和其邻近的四个模式中选择出最佳帧内预测模式。Zhang Dong等提出利用基于率失真优化模型的功率谱及输入的残差、预测模式和运动矢量等信息估计CU的最佳四叉树划分、最佳PU模式以及每个PU的最佳运动矢量；对于帧内预测，提出减少CU和PU分块候选的方法，以节省编码时间。这两种方法虽然都降低了计算复杂度，但是对码率影响较大。Tamer Shannableh提出一种基于内容建模的MPEG-2到HEVC的视频转码方法，引入基于内容的机器学习方法预测HEVC编码单元的深度。Eduardo Peixoto提出基于动态阈值和内容建模的H.264/AVC/AVC到HEVC的视频转码器，视频序列的前些帧的编码参数用来训练转码器学习特定视频的映射，之后，Eduardo Peixoto提出两种模式映射算法，一种是使用动态阈值法，用H.264/AVC/AVC的编码参数决定HEVC编码的分块模式；另一种是使用线性判决函数映射H.264/AVC/AVC的编码参数到HEVC的分块模式。这两种方法要达到好的转码效果，都需要大量的训练。Peiyin Xing针对监控视频提出一种基于背景模型分类器的转码方法，该方法节省了50％的计算复杂度，但是应用范围比较单一。

技术实现要素：

针对新一代视频压缩编码标准HEVC计算复杂度较高的特点，本发明利用不同编码标准间的编码模式和运动估计的相关性，提出了一种基于机器学习的高性能视频帧间编码方法，减少帧间预测编码的次数，从而有效地降低了编码端的计算复杂度。

本发明的基本思想是利用不同编码标准间的编码模式的相关性，利用H.264/AVC/AVC标准中的编码信息和HEVC标准中的编码信息做为提取数据，利用此提取数据进行机器学习。并利用机器学习结果来快速确定CU的划分模式，从而减少预测编码的遍历深度以及冗余的RDCost递归计算。进而达到减少计算复杂度的目的。

本发明针对H.264/AVC/AVC到HEVC的转码提出一种快速转码方法,包括编码方式预测。在编码方式划分中，提取H.264/AVC/AVC中的最终编码块大小模式，并提取HEVC中的最终编码块大小模式，将这些数据放入机器学习分类器中进行训练学习。并找到两个标准间的模式对应关系。进而利用此对应关系将H.264/AVC/AVC中的编码块模式按一定规则映射到HEVC编码模式中，提前进行CU划分；在预测模式选择中，遍历由确定CU深度下的PU预测模式，减少不必要的率失真值计算。具体主要包括以下过程步骤：

(1)判断当前编码帧是否为前十帧，若为前十帧，则提取H.264/AVC/AVC和HEVC中的CU深度信息；

(2)获取宏块信息：将H.264/AVC/AVC格式的码流放到H.264/AVC/AVC解码器中解码，这些信息包括宏块所在帧的编号，宏块所在帧中的坐标位置，宏块的预测模式，运动分块规则，运动矢量(MV)。

(3)获取编码单元(CU)信息：将解码后的码流放入HEVC中进行编码，这些信息包括CU所在帧的编号，CU所在帧中的坐标位置，CU的预测模式，运动分块规则，运动矢量(MV)。

(4)利用此信息进行机器学习训练，机器学习方法为基于树增强的贝叶斯分类算法，得到第十一帧及其之后帧的预测模式中的深度映射关系；当HEVC的CU大小为64×64、32×32，根据训练得出的深度映射关系，预测是否继续向下分割。当HEVC的CU大小为16×16、8×8时编码深度关系；

(5)由于基于上述过程分析得到的LCU中包含的子CU的尺寸以及子CU所对应的PU模式均已确定。因此，在编码HEVC的一个LCU时本发明可以通过对应LCU中子CU的这些信息精简当前LCU的四叉树划分以及PU模式的遍历。这里要说明的是，由于当前LCU是基于帧间预测的相关信息得到的并不包含帧内预测的相关信息；因此为了防止误差扩散，本发明规定HEVC中的帧内预测的PU模式并不会精简而是作为HEVC中CU编码必定遍历的PU模式。

在上述方案中，本发明定义了以下几个测试的指标：BD-ratedelta rate)，BD-PSNR(delta peak signal-to-noise rate)和ΔTime。

其中，BD-rate表示本发明转码算法相比H.264/AVC到HEVC直接级联视频转码方法在同PSNR下比特率变化的百分比；BD-PSNR表示本发明转码算法相比H.264/AVC到HEVC直接级联视频转码方法视频质量的变化；Time_转和Time_HEVC分别表示本发明转码算法和H.264/AVC到HEVC直接级联视频转码方法的总体编码时间，ΔTime表示本发明转码算法相比H.264/AVC到HEVC直接级联视频转码方法增加编码时间的百分比。根据本发明提出的算法能够在保持比特率和PSNR基本不变的情况，大大节省编码时间。

本发明研究分析了H.264/AVC/AVC与HEVC之间帧间预测编码模式的区别，并根据这些区别，设计出一种新的帧间转码算法。首先将用H.264/AVC/AVC编码器编码好的码流放入H.264/AVC/AVC解码器中解码，在解码过程中提取宏块的各个信息：包括各个宏块的预测模式、坐标位置、帧间预测块的尺寸和MV等信息，然后将这些提取到的信息用于贝叶斯机器学习训练，将训练所得的预测模式，转化为HEVC编码可用的CU、PU信息，最后直接将该CU、PU信息用于HEVC编码中。由于有确定的CU、PU信息，因此在HEVC的编码过程中，不需要按照其原来的编码方式进行CU的四叉树划分，也不需要在每个CU深度下遍历所有可能的PU模式，而只需要计算对应的CU深度下的PU模式和帧内预测模式，从而节省了转码中CU四叉树划分和PU模式遍历的计算复杂度。实验结果表明，本发明的转码方法，在比特率和视频质量损失较小的情况下，较大幅度地降低了编码的计算复杂度。

附图说明

图1转码系统框图；

图2 HEVC中7种PU模式；

图3 H.264/AVC/AVC帧间预测块尺寸。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

1.同时打开两个算法的程序并设置好相同的配置文件，参考软件选择HM16.0，量化步长(QP)值分别取22、27、32和37。本发明将与H.264/AVC/AVC到HEVC直接级联视频转码的方法进行比较。并对其三种视频编码性能：比特率、峰值信噪比(PSNR)以及视频编码时间(其中PSNR体现视频的客观视频质量，视频编码时间体现编码的计算复杂度)，进行了比较分析。

2.在HEVC视频编码技术中，PU预测模式可以采取对称和非对称的综合预测模式，也可以只采取对称预测模式，本发明采取对称预测模式。

3.编码的对象为标准的HEVC测试视频为：BasketballDrill、PartyScene、Fourpeople、Johnny、BQTerrace、Kimono1、KristenAndSara、BlowingBubbles、BQSquare和BasketballPass。

4.输入2个相同的视频序列；

5.分别对2个相同的视频序列进行快速转码和直接级联转码；

6.利用H.264/AVC/AVC视频编码器JM18.2对视频序列在H.264/AVC/AVC方式下进行视频编码，形成H.264/AVC/AVC格式码流；

7.对H.264/AVC/AVC格式码流解码，得到重建视频，再对该重建视频用HEVC方式编码，得到直接级联转码方法的比特率、PSNR、编码时间等信息；

8.对H.264/AVC/AVC格式码流解码，得到重建视频，同时在解码过程中获取宏块坐标位置、分块信息、MV等信息，根据这些信息完成机器学习预测，最终将H.264/AVC解码端获得的宏块信息转化为具有CU、PU格式的适用于HEVC编码的LCU信息，然后对重建视频进行HEVC编码，并将LCU信息用于编码中，直接计算对应CU下的对应PU模式。而不需要在每个CU深度下逐个遍历所有的PU模式；

9.两个程序分别输出视频编码后的视频序列,并对不同CU深度下进行机器学习预测的比特率、PSNR值以及总的视频编码时间，质量指标的结果如表1所示，统计显示本发明算法比H.264/AVC到HEVC直接级联转码方法在BD-rate上变化了2.814％左右，在视频质量BD-PSNR值方面降低0.144dB，在视频编码计算复杂度方面降低了74％左右。从总体来看，本发明算法与H.264/AVC到HEVC直接级联转码方法相比，在视频压缩率(由比特率下降程度来体现)和视频质量损失很小的前提下，较大幅度地降低了视频编码的计算复杂度(见表1)。

表1 本发明算法与H.264/AVC到HEVC直接级联转码方法之间视频编码性能的比较