基于时域信息的自适应视频预处理方法
【技术领域】
[0001] 本发明涉及视频预处理领域，特别是涉及到基于时域信息的自适应视频预处理方 法。 技术背景
[0002] 随着信息技术的发展，尤其是高清视频和移动互联网的发展，多媒体视频的数量 以及需求呈现快速的膨胀。新一代视频编码标准HEVC的发展较上一代的标准已经降低了 50%的码率，发展下一代新的视频编码标准并带到实际的应用中仍然需要较长的发展时间， 而通过结合视频预处理的技术，可以明显的提升视频编码的效率和提升其主观质量。
[0003] 视频预处理技术是在视频进行编码前，对其进行的一系列处理操作，主要目的是 为了降低码率和提升质量。经过多年的研宄发展，视频预处理技术主要包括传统的滤波、插 值和去隔行等方法。基于感兴趣区域的编码和JND相结合的预处理方法都可以有效的提升 视频编码的质量和效率。
[0004] 在常见的视频预处理技术中，空域信息的处理很容易会破坏前后帧之间的时域相 关性，从而会降低视频预处理的效果。
【发明内容】
[0005] 本发明所要解决的技术问题是，提供一种基于时域信息的自适应视频预处理方 法，以最大程度地保留前后帧之间的时域相关性，并降低码率，提升主观质量。
[0006] 为解决上述技术问题，本发明采用如下技术方案：一种基于时域信息的自适应视 频预处理方法，其步骤如下： 步骤S1、读入一帧视频图像数据； 步骤S2、获得各像素基于时域信息的加权系数； 步骤S3、计算各像素的双边滤波值； 步骤S4、根据加权系数和双边滤波值，让处理后的像素点的值取自于原像素以及该像 素双边滤波值的加权和，即获得视频预处理值。
[0007] 进一步地，进行步骤Sl时，对第一帧数据不进行处理。
[0008] 进一步地，进行步骤S2时，计算获得各像素基于运行估计残差的加权系数，结合 运动估计的信息，加权系数wt (p)的计算公式如下：
在公式（1)中，P为当前像素位置，Q为以P为中心的预定大小的像素区域，而 Residuen(P)为Q区域中像素点的运动估计的残差，Thresh1是促使函数平滑的参数。
[0009] 进一步地，在步骤S3中，双边滤波值If (p)的计算公式如下：
在公式（2)中，Df为双边滤波的窗口大小，In(p)是原像素值，而w d(p, q, 〇d)和wjp， q，分别是空间域核和值域核，分别由以下公式计算而得：
[0010] 进一步地，在步骤S4中，图像处理之后的像素值的计算公式如下：
在公式（5)中，In(p)是原像素值，If (p)是该像素的双边滤波值，Thresh2为阈值，当该 区域中的像素点的运动估计的残差和低于阈值时，则保留其像素值不变。
[0011] 通过采用上述技术方案，本发明具有以下技术效果：本发明通过计算基于时域信 息的加权系数，特别是基于运动估计残差的加权系数，从而将时域信息的影响实现量化计 算，再基于双边滤波值和加权系数处理原始图像，所获得的图像处理后的值为双边滤波值 和原始像素值的加权和，实现了在运动估计准确以及相对静止区域保持其时域信息不变， 在运动估计剧烈以及残差估计相对不准确的区域通过双边滤波实现降噪的边界保存效果， 可以最大程度地保留视频前后帧之间的时域相关性，并同时获得明显的码率的下降和主观 质量的提升。
【附图说明】
[0012] 图1是本发明基于时域信息的自适应视频预处理方法的框架图。
[0013] 图2是本发明基于时域信息的自适应视频预处理方法的各个分辨率下测试序列 的码率收益以及平均收益的变化曲线图。
[0014] 图3是本发明基于时域信息的自适应视频预处理方法在174kbps时直接编码序列 帧以及预处理后编码序列帧的示意图。
[0015] 图4是本发明基于时域信息的自适应视频预处理方法在码率646kbps下 PartyScene第37帧序列两个区域对比示意图。
【具体实施方式】
[0016] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相 互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
[0017] 如图1所示，本发明提供一种基于时域信息的自适应视频预处理方法，其主要步 骤如下： 步骤S1、读入一帧视频图像数据； 步骤S2、获得各像素基于时域信息的加权系数； 步骤S3、计算各像素的双边滤波值； 步骤S4、根据加权系数和双边滤波值获得视频预处理值。
[0018] 以下对各步骤的具体实施过程进行详细说明。
[0019] 步骤Sl 为保证时域信息的准确性，可默认第一帧数据不进行处理。
[0020] 步骤 S2 在进行编码操作时，若以前的运动残差在进行变换量化之后会获得清零的效果，而在 滤波操作之后可能不能够进行量化变换到0,从而会减弱降低码率的效果。
[0021] 在视频编码的运动估计过程中，当运动估计的残差非常小时以及属于静止区域 时，证明运动估计的准确度比较高，残差则会很小，在进行最终的变换量化后，码率信息会 很少，同时质量损失会很小，因而在进行预处理的过程中，对这类的像素点或者像素区域进 行保留或者进行轻微的滤波操作；而对于其它运动复杂的像素点或者区域，可以进行强度 更大的滤波操作，去除视觉冗余信息，保留或者强化关键区域，进而可以达到降低码率提升 质量的效果。
[0022] 由于双边滤波的边界保留特性，因此在对要处理的像素点或者区域采用该处理方 式，不但可以去除冗余信息，让运动估计更加准确，另一方面，该处理方式的边界保留特性， 可以维持图像的重要特征。
[0023] 为了让原始图像在进行预处理操作之后，同时对静止区域以及运动估计相对准确 区域保留更多的原始信息，同时对非静止区域以及运动估计误差相对偏大的区域去除冗余 信息但是保留关键特征信息，本发明采用一个加权系数，让处理后的像素点的值取自于原 像素以及该像素双边滤波值的加权和，结合运动估计的信息，加权系数如下：
在公式（1)中，P为当前像素位置，D为以P为中心的3x3像素区域，而Residuen(P)为 D区域中像素点的运动估计的残差，Thresh1是为了让该函数更加平滑的参数，其取值范围 可以是400~600,优选为500。可以看出，当该像素区域静止，或者运动估计更加准确时，该 区域的运动残差值平方和会更小，进而会导致加权系数w t (p)更大，反之，当运动估计残差 值偏大时，则加权系数wt (p)就会变小。
[0024] 步骤S3 进行本步骤时，If(P)双边滤波的定义如下：
在公式（2)中，QfS双边滤波的窗口大小，在具体实施时，可以取水平和垂直方向±3 像素位置大小，即7x7的大小窗口，而wd (p, q, 〇 d)和wjp，q，〇 J分别是空间域核和值域 核：
[0025] 步骤 S4 获得和时域相关的加权系数wt (p)之后，图像处理之后的像素值变为：
在公式（5)中，In(p)是原像素值，If(p)是该像素进行双边滤波之后的值。当运动残差 越小以及相对静止区域，预处理后的像素值更加趋于原像素值，反之，预处理后的像素值更 加趋近双边滤波的像素值。通过设定阈值Thresh 2，阈值Thresh2的取值范围可以是40~60， 优选为50。当该区域的残差和低于阈值时，认定该像素位置运动估计准确，应该保留其像素 值不变，同时，也降低了运算复杂度。
[0026] 本发明的预处理方法的实验效果如下：相对于以前H. 264等编码器，HEVC在运 动估计上采取了更加准确和高效的预测方法，因而在该实验中，我们计算残差时，采用了 上面所描述的ffiVC的运动估计方法。原视频序列以及进行预处理后的视频序列分别在 HM 12.0编码器上进行编码，比较其码率以及主观质量。其中在该实验中，参数选择分别为 Thresh1=SOOJhresh 2=SO, 〇 d=3, 〇 r=15。测试序列分别有 416x240p，832x480p，1280x720p， 1920xl080p。每个测试序列的QP选取从31到40之间。
[0027] 通过采用本发明的预处理方法，可以获得平均6%的无主观质量损失的码率下降 (如图2所示)，而在一些视频序列中还能获得主观质量的提升，如图3和图4所示，其中，图 3中的上图为直接编码后的图像，下图为预处理后编码的图像；图4中的下方六张小图中， 左侧的a组为预处理后编码的图像，而中间的b组为直接编码的图像，右侧的c组为全局双 边滤波后编码的图像。
[0028] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同范围限定。
【主权项】
1. 一种基于时域信息的自适应视频预处理方法，其特征在于，其步骤如下： 步骤S1、读入一帧视频图像数据； 步骤S2、获得各像素基于时域信息的加权系数； 步骤S3、计算各像素的双边滤波值； 步骤S4、根据加权系数和双边滤波值，让处理后的像素点的值取自于原像素以及该像 素双边滤波值的加权和，即获得视频预处理值。2. 如权利要求1所述的基于时域信息的自适应视频预处理方法，其特征在于，进行步 骤S1时，对第一帧数据不进行处理。3. 如权利要求1或2所述的基于时域信息的自适应视频预处理方法，其特征在于，进 行步骤S2时，计算获得各像素基于运行估计残差的加权系数，结合运动估计的信息，加权 系数wt(p)的计算公式如下：在公式（1)中，P为当前像素位置，Q为以P为中心的预定大小的像素区域，而Residuen(p)为Q区域中像素点的运动估计的残差，Thresl^是促使函数平滑的参数。4. 如权利要求3所述的基于时域信息的自适应视频预处理方法，其特征在于，在步骤 S3中，双边滤波值If(p)的计算公式如下：在公式（2)中，为双边滤波的窗口大小，In(p)是原像素值，而wd(p,q, 〇d)和wjp，q，分别是空间域核和值域核，分别由以下公式计算而得：5. 如权利要求4所述的基于时域信息的自适应视频预处理方法，其特征在于，在步骤 S4中，图像处理之后的像素值的计算公式如下：在公式（5)中，In(p)是原像素值，If (p)是该像素的双边滤波值，Thresh2为阈值，当该 区域中的像素点的运动估计的残差和低于阈值时，则保留其像素值不变。
【专利摘要】本发明公开一种基于时域信息的自适应视频预处理方法，步骤如下：步骤S1、读入一帧视频图像数据；步骤S2、获得各像素基于时域信息的加权系数；步骤S3、计算各像素的双边滤波值；步骤S4、根据加权系数和双边滤波值，让处理后的像素点的值取自于原像素及该像素双边滤波值的加权和，获得视频预处理值。本发明基于各像素的双边滤波值和加权系数处理原始图像，所获得的值为双边滤波值和原始像素值的加权和，实现了在运动估计准确以及相对静止区域保持其时域信息不变，在运动估计剧烈以及残差估计相对不准确的区域通过双边滤波实现降噪的边界保存效果，可最大程度地保留视频前后帧之间的时域相关性，并同时获得明显的码率下降和主观质量的提升。
【IPC分类】H04N19/154, H04N19/85
【公开号】CN104994397
【申请号】CN201510397733
【发明人】丁磊, 王荣刚, 王振宇, 高文
【申请人】北京大学深圳研究生院
【公开日】2015年10月21日
【申请日】2015年7月8日