基于jnd因子的超像素高斯滤波预处理方法
【技术领域】
[0001] 本发明涉及视频预处理领域，特别是涉及到基于JND因子的超像素高斯滤波预处 理方法。 技术背景
[0002] 随着信息技术的发展，尤其是高清视频和移动互联网的发展，多媒体视频的数量 以及需求呈现快速的膨胀。新一代视频编码标准HEVC的发展较上一代的标准已经降低了 50%的码率，发展下一代新的视频编码标准并带到实际的应用中仍然需要较长的发展时间， 而通过结合视频预处理的技术，可以明显地提升视频编码的效率和提升其主观质量。
[0003] 视频预处理技术是在视频进行编码前，对其进行的一系列处理操作，主要目的是 为了降低码率和提升质量。经过多年的研宄发展，视频预处理技术主要包括传统的滤波、插 值和去隔行等方法。基于感兴趣区域的编码和JND相结合的预处理方法都可以有效地提升 视频编码的质量和效率。
[0004] 在常见的滤波操作中，可以滤除引入的噪声，同时也可以去除视觉冗余信息。然而 整幅图像中人眼对各个区域的敏感程度不同，每个区域的平滑度和纹理复杂度也不相同， 在常用的滤波操作中，虽然可以明显地降低码率，但是也会带来严重的主观质量的下降。
【发明内容】
[0005] 本发明所要解决的技术问题是，提供一种基于JND因子的超像素高斯滤波预处理 方法，以便能带来明显的码率的下降而不引起主观质量的损失。
[0006] 为解决上述技术问题，本发明采用如下技术方案：一种基于JND因子的超像素高 斯滤波预处理方法，其包括如下步骤： 步骤一、读入视频图像数据：逐帧读入视频图像数据进行处理； 步骤二、超像素划分：基于SLIC超像素方法将该图像分割成为预定大小且由相似像素 组成的超像素，使得每个超像素内的各像素具有相似的平滑度和纹理区域； 步骤三、JND因子计算：计算超像素内每个像素点的基于视觉信息的JND因子并获得其 平均值，并得出该平均值与图像纹理和平滑度的关联，所计算的JND因子为加权亮度平均 差； 步骤四、超像素的自适应高斯滤波：根据超像素内JND因子的平均值确定该超像素的 高斯滤波参数，再采用所述高斯滤波参数对对应的超像素进行高斯滤波操作，即获得预处 理后的视频帧。
[0007] 进一步地，步骤三中，所述JND因子的计算公式为：
而诉（〖,/)为滤波器，/(X..V)表示(+Y,V)位置的像素值。
[0008] 进一步地，步骤四中，根据超像素内JND因子的平均值并采用如下阶梯函数公式 确定该超像素的高斯滤波参数：
其中，5；表示该超像素区域内的像素的JND因子的平均值，Treshold1(we，和 TresholduppOT为设定的该平均值的两个阈值，而b和c为该梯度函数的常量参数。
[0009] 进一步地，步骤四中，超像素的边界区域综合所属超像素的系数的平均和。
[0010] 通过采用上述技术方案，本发明具有以下技术效果：本发明通过将图像分割为相 似像素组成的超像素，由于每个超像素内的像素具有相似的平滑度和纹理区域，因此进行 滤波操作时，以超像素为单位，即超像素内的所有像素享有相同的滤波强度；并基于视觉的 JND因子与图像平滑度关联，确定超像素高斯滤波参数进行滤波处理，而且本发明将超像素 内的JND因子的平均值与高斯滤波方差关联起来，量化决定超像素进行高斯滤波操作的方 差，该方差随着超像素的纹理和平滑度能自适应变化。从而，本发明最终可以通过结合人眼 对图像区域的敏感程度对视频进行自适应的滤波操作，可以带来明显的码率的下降而不引 起主观质量的损失，在码率上，相同参数下获得了平均9. 3%、最高29%的码率下降，并且主 观质量无明显下降。
【附图说明】
[0011] 图1是本发明基于JND因子的超像素高斯滤波预处理方法的框架图。
[0012] 图2是本发明一实施例中将视频帧划分为平均大小为16x16的超像素的示意图。
[0013] 图3是本发明计算加权亮度平均值的滤波器示意图。
[0014] 图4是本发明基于加权亮度平均值的重建图。
[0015] 图5是本发明加权亮度平均值重建图三个选取区域值。
[0016] 图6是本发明lena图像以及三个区域的高斯滤波对比。
[0017] 图7是本发明预处理后的图像主观质量与原始图像。
【具体实施方式】
[0018] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相 互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
[0019] 所述预处理方法的实施是基于一个基于JND因子的超像素高斯滤波预处理系统， 而该系统包含三个主要模块：一个基于SLIC超像素（Superpixel)的图像分割模块，一个基 于视觉的JDN因子计算模块，一个基于JND因子的适应高斯滤波模块。
[0020] 本发明提供一种基于JND因子的超像素高斯滤波预处理方法，主要步骤如下： 步骤一、读入视频图像数据：逐帧读入视频图像数据进行处理； 步骤二、超像素划分：采用基于SLIC超像素（Superpixel)的方法将该图像分割成为预 定大小的超像素； 步骤三、JND因子计算：计算超像素内每个像素点的基于视觉信息的JND因子(加权亮 度平均差）并获得其平均值，并得出该平均值与图像纹理和平滑度的关联； 步骤四、超像素的自适应高斯滤波：根据超像素内JND因子的平均值确定该超像素的 高斯滤波参数，再采用所述高斯滤波参数对对应的超像素进行高斯滤波操作，其中，超像素 的边界区域综合所属超像素的系数的平均和。
[0021] 在具体实施时，步骤一中，在读入视频帧时，不需要考虑前后帧之间的时域相关信 息。
[0022] 而在步骤二中，优选采用基于SLIC超像素的方法(可参考Achanta R，Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012，34(11) : 2274-2282.)将图像分割成平均大约为16x16大小(一个宏块大小）的超像 素，当然，根据实际情况及需求，也可以考虑将超像素的大小设定为其他数值。由图2可以 看出，图像被分割为由相似像素组成的超像素，每个超像素内的像素都有相似的平滑度和 纹理区域。
[0023] 实施步骤三时，在现有的JND计算方法中，JND主要包含两个因子，分别是平均 背景亮度和加权亮度平均差，本发明采用加权亮度平均差G (x，y)(具体的计算方法可 以参考以下文献：文献 1、Yang X, Lin ff, Lu Z, et al. Motion-compensated residue preprocessing in video coding based on just-noticeable-distortion profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2005, 15(6): 742-752.;文献2、Chou C H, Li Y C. A perceptually tuned subband image coder based on the measure of just-noticeable-distortion profile[J]. IEEE Transactions on Circuits and Systems for Video Technology, 1995, 5(6): 467-476.)，其计算公式如 下：
而为滤波器，?TCf)表示(I,