进行处理，得到频域上低频数据扩展以后的DCT 系数，具体如下：
[0038]S11、对待采样的低分辨率视频图像进行4X4点离散余弦变换（DiscreteCosine Transform，DCT)，得到变换后的4X4点DCT系藝
，其 中，
14X4块的DCT变换矩阵。
[0039]S12、对S11所述4X4点DCT系|t行添零扩展至目标上采样倍数 \-ju -ji
-a-m / 2,可得频域上低频数据扩展以后的DCT系_
[0040]S2、对待采样的视频图像在空域进行处理，具体为：
[0041]S21、采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k，具体如下：
[0042]S211、根据上采样像素值与原始像素值的12-律训练求解得到 argm丨11|/(^')*"(1，)'夂，_)")-&'，)''；)||，其中，以\7)为待采样的低分辨率图像的像素点值， g(x'，y'）为原始高分辨率图像像素点值，u(X，y,x'，y'）为构造的自适应6-抽头Wiener滤 波器；
[0043]S212、保持待采样的视频图像的整像素点值，采用S211所述u(x，y，x'，y'）进行非 整像素点插值；
[0044] S22、对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系 数，具体为：
[0045] S221、根据公式gjx，y,n) =hLQG(x,y)*f(x,y,n)，采用改进型Laplicanof Gaussian(LOG)算子对S21所述采样后的视频图像进行模糊处理，其中，f?(x，y，n)是LOG模 糊处理后的视频图像素点值，为LOG算子，
f(x，y，n) 为S21所述采样后的视频图像的像素点值，x，y表示像素点的位置，n表示是第n帧视频图 像，var是视频图像的全局方差，S为高斯分布的标准方差，S= 〇. 7 ;
[0046] S222、根据公式gmask(x,y,n) =f(x,y,rO-gJx，y,n)对S221 所述模糊处理后的 视频图像进行反锐化掩蔽处理，其中，gmask(X，y，n)为反锐化掩蔽处理后的视频图像像素点 值；
[0047] 3223、根据公式;^￡111)(叉，7，11)=;^叉，7，11) + 人\ 8_15(叉，7，11)对5222所述反锐化掩 蔽处理后的视频图像进行锐化处理，其中，fstop(x，y，n)为锐化后的视频图像像素点值，入 =0. 7 ；
[0048] S224、对S223所述经过锐化处理的视频图像进行8X8点DCT变换，截取所述8X8 点DCT变换后的视频图像的DCT变换后的高频系：
其中，k= 2 ;
[0049] S3、将S1所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合 形成上采样图像DCT系
[0050] S45、对S3所述上采样DCT系数进行离散余弦逆变换（InverseDiscreteCosine Transform，IDCT)变换，得到上采样图像的像素值完成上采样过程。
[0051] 输入QCIF(176X144)视频图像，用本发明方案进行上采样至CIF大小 (352X288)，如表1所示为几种上采样方法客观测试结果。
[0052]
[0053] 表 1
[0054] 可以看出，本发明较HybirdDCT-Wiener-BasedInterpolationScheme算法获得 平均0.6dB的PSNR增益和0. 02的SSM增益；本发明较DCT-based算法获得平均0. 7dBPSNR 增益和0. 03的SSM增益。
[0055] 输入960X540大小的视频图像，用本发明方案进行上采样至HD大小 (1920X1080)，如表2所示为几种上采样方法客观测试结果。
[0056]
[0057] 表 2
[0058] 可以看出，本发明较HybirdDCT-Wiener-BasedInterpolationScheme算法获 得平均0. 76dB的PSNR增益和0. 018的SSM增益；本发明较DCT-based算法获得平均 1. 3dBPSNR增益和 0? 022 的SSIM增益。
[0059] 图 3 比较了本发明与Wiener滤波上米样、HybridDCT-Wiener-Based InterpolationScheme上采样的主观结果。本发明获得了比上述算法更加清晰的主观图并 大大减小了HybridDCT-Wiener-BasedInterpolationScheme算法产生的假轮廓等失真。
【主权项】
1. 一种基于空-频域的联合视频图像的上采样方法，其特征在于，包括如下步骤：Sl、 对待采样的视频图像在频域进行处理，得到频域上低频数据扩展以后的DCT系数，具体如 下： 511、 对待采样的低分辨率视频图像进行NXN点离散余弦变换（Discrete Cosine Transform，DCT)，得到变换后的NXN点DCT系数； 512、 对Sll所述变换后的NXN点DCT系数进行扩展处理，得到频域上低频数据扩展以 后的DCT系数，所述扩展处理为将Sll所述变换后的NXN点DCT系数扩展至目标上采样倍 数k，其中，k彡2且k为自然数； 52、 对待采样的视频图像在空域进行处理，具体为： 521、 采用Wiener滤波器进行上采样至目标倍数，所述目标倍数为k ; 522、 对S21所述采样后的视频图像进行处理，得到视频图像DCT变换后的高频系数，具 体为： 5221、 根据公式 gjx.y, n) = hLQG(x，y)*f(x，y，n)，采用改进型 Laplican of Gaussian(LOG)算子对S31所述采样后的视频图像进行模糊处理，其中，R (x，y，η)是LOG模 糊处理后的视频图像素点值，为LOG算子f (X，y，η) 为S21所述采样后的视频图像的像素点值，X，y表示像素点的位置，η表示是第η帧视频图 像，var是视频图像的全局方差，δ为高斯分布的标准方差，δ = 〇. 7 ; 5222、 根据公式gmask(x, y, n) = f (X，y, rO-gJx, y, η)对S221所述模糊处理后的视频图 像进行反锐化掩蔽处理，其中，gmask(x，y，η)为反锐化掩蔽处理后的视频图像像素点值； 3223、根据公式;^_(1，7，11)=;^1，7，11) + 人\ 8_15(1，7，11)对5222所述反锐化掩蔽处 理后的视频图像进行锐化处理，其中，fshaip(x，y，n)为锐化后的视频图像像素点值，λ是锐 化深度因子，λ是经验值； S224、对S223所述经过锐化处理的视频图像进行kNX kN点DCT变换，截取所述kNX kN 点DCT变换后的视频图像的DCT变换后的高频系数； 53、 将Sl所述频域上的低频扩展DCT系数和S2所述DCT变换后的高频系数组合形成 上采样图像DCT系数； 54、 对S3所述上采样DCT系数进行离散余弦逆变换（Inverse Discrete Cosine Transform，IDCT)变换，得到上采样图像的像素值完成上采样过程。2. 根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在 于：S12所述扩展处理具体为对Sll所述变换后的NXN点DCT系数进行添零。3. 根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在 于：S12所述k = 2。4. 根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在 于：S21所述采用Wiener滤波器进行上采样至目标倍数，具体过程为： S211、根据上采样像素值与原始像素值的I2-律，训练求解得到 argminl/W'XqW)-g(x'，/)||，其中，f(x，y)为待采样的低分辨率图像的像素点值， g (X'，y'）为原始高分辨率图像像素点值，u (X，y, X'，y'）为构造的自适应6-抽头Wiener滤 波器； S212、保持待采样的视频图像的整像素点值，采用S211所述u(x，y，X'，y'）进行非整像 素点插值。5. 根据权利要求1所述的一种基于空-频域的联合视频图像的上采样方法，其特征在 于：S223所述λ的取值范围为：〇. 2 < λ < 〇. 7。6. 根据权利要求1或5所述的一种基于空-频域的联合视频图像的上采样方法，其特 征在于：S223所述λ = 〇. 7。
【专利摘要】本发明属于视频图像信号处理领域，尤其涉及视频图像信号的上采样方法。本发明基于空-频域联合的思想，综合空-频域各自的优势实现更加准确的上采样处理。本发明首先将待上采样的低分辨率图像分块后进行DCT变换，其系数作为上采样图像的低频部分，然后在空域对该低分辨率图像采用Wiener滤波器进行插值运算得到目标尺寸的图像，接着对Wiener滤波器插值后的图像进行锐化处理再分块进行DCT变换并提取其高频系数，最后将上述低频系数和高频系数重新组合成目标尺寸上采样图像的DCT块并进行IDCT变换得到最终的上采样视频图像。本发明能大大提高上采样视频图像的PSNR和主观质量，有效地减弱假轮廓和块效应等失真。
【IPC分类】H04N19/86, H04N19/625, H04N19/154, H04N19/117
【公开号】CN104883579
【申请号】CN201510309370
【发明人】邬震宇, 陈长汶, 万群, 沈晓峰, 冯健, 周代英, 窦衡, 廖阔, 况凌
【申请人】电子科技大学
【公开日】2015年9月2日
【申请日】2015年6月8日