一种基于小波变换的视频图像高分辨率重构方法与流程

本发明涉及视频图像信号处理领域，具体涉及一种基于小波变换的视频图像高分辨率重构方法。

背景技术：

视频图像信号高分辨率重构是增加视频图像分辨率大小的一个过程，其主要目标的是提高视频图像信号的分辨率满足高端用户的需求，解决视频源尺寸与接收终端显示屏幕不匹配、缺乏高分辨率片源等问题。目前视频图像高分辨率重构技术已经广泛应用于照片分享、网络视频、广播电视以及视频节目制作，如多屏视频业务中同一视频要在多个不同空间分辨率的接收终端上播放，同一图片在不同尺寸终端上显示，视频图像的分级加密显示。为满足不同多媒体终端用户应用的要求，商业上已经形成了从qcif到uhdtv等多个固定格式。

传统的视频图像高分辨率重构技术通常利用像素之间的空间相似性插入或者重构目标尺寸像素点的值，如经典的bilinear插值、bicubic插值；采样插值滤波器法实现视频图像高分辨率重构，立足于设计更逼近理想低通滤波器性能的采样滤波器，减少混叠或者镜像失真，如6-tap的wiener插值滤波器、4-tap的cubic插值滤波器、16相位4-tap的cubic插值滤波器、13-tap的采样滤波器、以及根据输入图像自身特点设计的各种自适应wiener滤波器；主观效果主导的上采样技术，如基于图像边缘方向性的采样插值方法、基于图像内容自适应采样插值方法。固定系数滤波器法相对简单，能获得客观质量(psnr)相对较高的目标图像，但会引入明显的假轮廓、阶梯效应等失真，主观效果有待提高。

目前在频域实现视频图像高分辨率重构主要通过在dct域进行高频截断或补零处理实现。由于在dct域直接处理高频系数完成图像尺寸变换，因此能获得较好的客观(psnr)质量，但是因为在dct域处理采样和插值过程是按块进行的，所以不可避免的会出现方块效应严重影响主观效果。基于小波变换的视频图像高分辨率重构技术主要通过估计高频系数实现高分辨率重构。例如kentarokinebuchi和donghunwoo提出的hmt与gmm法利用输入视频图像信号一级小波变换的高频系数估计上一级(以输入信号为低频分量一级)的小波变换的重要高频系数概率密度函数，并根据该概率密度函数随机重构重要高频系数幅度值。虽然这些方法能获得比bilinear插值、bicubic插值技术更高的客观质量且避免了dct域进行高分辨率重构产生的方块效应，但目前基于小波变换的重构技术研究具有随机性，主观和客观效果均不够理想也不稳定。

技术实现要素：

针对现有技术中的上述不足，本发明提供的一种基于小波变换的视频图像高分辨率重构方法解决了现有视频或图像重构效果不理想的问题。

为了达到上述发明目的，本发明采用的技术方案为：提供一种基于小波变换的视频图像高分辨率重构方法，其包括以下步骤：

s1、将待重构的视频图像信号在像素域进行插值处理，得到像素域上插值后的视频图像信号；

s2、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数，并对第一高频系数进行筛选，得到第二高频系数；

s3、将待重构的视频图像信号在像素域和小波域进行处理，重构第二高频系数并得到第三高频系数，将第三高频系数和第一高频系数除去第二高频系数的部分组合形成第四高频系数；

s4、按小波变换统一的系数组合方式将待重构的视频图像信号作为低频系数，组合低频系数与第四高频系数形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。

进一步地，将待重构的视频图像信号在像素域进行插值处理，得到像素域上插值后的视频图像信号的方法包括以下步骤：

s1-1、对待重构的视频图像信号按下式进行像素扩展，得到水平和垂直像素个数为输入信号两倍尺寸的视频图像信号i；

i(2i-1,2j-1)＝ilow(i,j),i＝1,2,…,n,j＝1,2,…,m

其中ilow表示输入的视频图像信号大小为m×n；i的其他像素点值为零；

s1-2、对视频图像信号i进行45°和135°方向插值得到对角线像素点的值；对视频图像信号i进行0°和90°方向插值得到水平和垂直方向像素点的值。

进一步地，对视频图像信号i进行45°和135°方向插值得到对角线像素点的值的方法包括为：

s1-2-1-1、根据公式

g45＝|i(i+3,j-3)-i(i+1,j-1)|+|i(i+1,j-1)-i(i-1,j+1)|+|i(i-1,j+1)-i(i-3,j+3)|

g135＝|i(i+3,j+3)-i(i+1,j+1)|+|i(i+1,j+1)-i(i-1,j-1)|+|i(i-1,j-1)-i(i-3,j-3)|

得到待插值点45°和135°方向的梯度值g45和g135；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；

s1-2-1-2、根据待插值点45°和135°方向的梯度值g45和g135的大小和公式

对对角线像素p进行插值，得到对角线像素点的值；其中

p3＝(w1p1+w2p2)/(w1+w2)

t1＝1.5

表示4-抽头cubic卷积插值运算；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；w1和w2均为中间参数。

进一步地，对视频图像信号i进行0°和90°方向插值得到水平和垂直方向像素点的值的方法包括以下步骤：

s1-2-2-1、根据公式

g0＝|i(i+1,j)-i(i+1,j+2)|+|i(i-1,j-2)-i(i-1,j)|+|i(i,j-1)-i(i,j+1)|

+|i(i+2,j-1)-i(i+2,j+1)|+|i(i-2,j-1)-i(i-2,j+1)|

g90＝|i(i,j+1)-i(i+2,j+1)|+|i(i-2,j-1)-i(i,j-1)|+|i(i-1,j)-i(i+1,j)|

+|i(i-1,j+2)-i(i+1,j+2)|+|i(i-1,j-2)-i(i+1,j-2)|

得到待插值点0°和90°方向的梯度值g0和g90；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；

s1-2-2-2、根据待插值点0°和90°方向的梯度值g0和g90的大小和公式

对水平和垂直方向像素q进行插值，得到水平和垂直方向像素点的值；其中

q3＝(v1q1+v2q2)/(v1+v2)

t2＝1.15

表示4-抽头cubic卷积插值运算；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；v1和v2均为中间参数。

进一步地，对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数，并对第一高频系数进行筛选，得到第二高频系数的方法包括以下步骤：

s2-1、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数和并根据公式

得到筛选阈值ts^lh、ts^hl和ts^hh；其中rank(·)表示降序排列的序号，q表示clh、chl或chh系数的总个数；α＝0.5％；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；

s2-2、将第一高频系数绝对值大于相应阈值的系数和作为第二高频系数；其中

进一步地，将待重构的视频图像信号在像素域和小波域进行处理，重构第二高频系数并得到第三高频系数，将第三高频系数和其余高频系数组合形成第四高频系数的方法包括以下步骤：

s3-1、将待重构的视频图像信号进行一级小波变换得到低频小波系数与高频小波系数和

s3-2、将低频小波系数表示的视频图像信号采用与步骤s1相同的方法进行方向插值，得到水平和垂直像素个数扩大一倍的视频图像信号，并对该信号进行一级小波变换得到第三高频系数和

s3-3、将第二高频系数和映射到第三高频系数和

s3-4、根据公式

计算第二高频系数的调整因子；其中ab＝lh,hl,hh，(m,n)∈第二高频系数映射到第三高频系数的位置；

s3-5、根据公式

重构视频图像信号的第四高频系数和其中ab＝lh,hl,hh，(m,n)∈第二高频系数映射到第三高频系数的位置。

进一步地，步骤s4的具体方法为：

将待重构的视频图像信号作为低频系数组合低频系数与第四高频系数和形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。

本发明的有益效果为：本发明基于小波变换思想本发明将待重构的低分辨率视频图像视为高分辨率信号的低频部分，在像素域估计待重构的视频图像的高频信号部分并通过低分辨率视频图像信号的小波系数深度挖掘重构的高频系数与真实高频系数之间的差异趋势重构待重构的高分辨率视频图像信号的高频部分，最终实现高频信息的更准确估计。

本发明能大大提高重构的高分辨率视频图像的客观和主观质量，有效地避免了假轮廓和块效应等失真。

附图说明

图1为本发明的流程图：

图2为对角线像素插值示意图；

图3为水平和垂直像素插值示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1、图2和图3所示，该基于小波变换的视频图像高分辨率重构方法包括以下步骤：

s1、将待重构的视频图像信号在像素域进行插值处理，得到像素域上插值后的视频图像信号；

s2、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数，并对第一高频系数进行筛选，得到第二高频系数；

s3、将待重构的视频图像信号在像素域和小波域进行处理，重构第二高频系数并得到第三高频系数，将第三高频系数和第一高频系数除去第二高频系数的部分组合形成第四高频系数；

s4、根据本领域常用的技术手段，将待重构的视频图像信号作为低频系数，组合低频系数与第四高频系数形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。

将待重构的视频图像信号在像素域进行插值处理，得到像素域上插值后的视频图像信号的方法包括以下步骤：

s1-1、对待重构的视频图像信号按下式进行像素扩展，得到水平和垂直像素个数为输入信号两倍尺寸的视频图像信号i；

i(2i-1,2j-1)＝ilow(i,j),i＝1,2,…,n,j＝1,2,…,m

其中ilow表示输入的视频图像信号大小为m×n；i的其他像素点值为零；

s1-2、对视频图像信号i进行45°和135°方向插值得到对角线像素点的值；对视频图像信号i进行0°和90°方向插值得到水平和垂直方向像素点的值。

对视频图像信号i进行45°和135°方向插值得到对角线像素点的值的方法包括为：

s1-2-1-1、根据公式

g45＝|i(i+3,j-3)-i(i+1,j-1)|+|i(i+1,j-1)-i(i-1,j+1)|+|i(i-1,j+1)-i(i-3,j+3)|

g135＝|i(i+3,j+3)-i(i+1,j+1)|+|i(i+1,j+1)-i(i-1,j-1)|+|i(i-1,j-1)-i(i-3,j-3)|

得到待插值点45°和135°方向的梯度值g45和g135；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；

s1-2-1-2、根据待插值点45°和135°方向的梯度值g45和g135的大小和公式

对对角线像素p进行插值，得到对角线像素点的值；其中

p3＝(w1p1+w2p2)/(w1+w2)

t1＝1.5

表示4-抽头cubic卷积插值运算；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；w1和w2均为中间参数。

对视频图像信号i进行0°和90°方向插值得到水平和垂直方向像素点的值的方法包括以下步骤：

s1-2-2-1、根据公式

g0＝|i(i+1,j)-i(i+1,j+2)|+|i(i-1,j-2)-i(i-1,j)|+|i(i,j-1)-i(i,j+1)|

+|i(i+2,j-1)-i(i+2,j+1)|+|i(i-2,j-1)-i(i-2,j+1)|

g90＝|i(i,j+1)-i(i+2,j+1)|+|i(i-2,j-1)-i(i,j-1)|+|i(i-1,j)-i(i+1,j)|

+|i(i-1,j+2)-i(i+1,j+2)|+|i(i-1,j-2)-i(i+1,j-2)|

得到待插值点0°和90°方向的梯度值g0和g90；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；

s1-2-2-2、根据待插值点0°和90°方向的梯度值g0和g90的大小和公式

对水平和垂直方向像素q进行插值，得到水平和垂直方向像素点的值；其中

q3＝(v1q1+v2q2)/(v1+v2)

t2＝1.15

表示4-抽头cubic卷积插值运算；其中i＝1,2,…,n,j＝1,2,…,m，m×n为视频图像大小；v1和v2均为中间参数。

对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数，并对第一高频系数进行筛选，得到第二高频系数的方法包括以下步骤：

s2-1、对像素域上插值后的视频图像信号进行一级小波变换，得到估计的第一高频系数和并根据公式

得到筛选阈值ts^lh、ts^hl和ts^hh；其中rank(·)表示降序排列的序号，q表示clh、chl或chh系数的总个数；α＝0.5％；

s2-2、将第一高频系数绝对值大于相应阈值的系数和作为第二高频系数；其中

将待重构的视频图像信号在像素域和小波域进行处理，重构第二高频系数并得到第三高频系数，将第三高频系数和其余高频系数组合形成第四高频系数的方法包括以下步骤：

s3-1、将待重构的视频图像信号进行一级小波变换得到低频小波系数与高频小波系数和

s3-2、将低频小波系数表示的视频图像信号采用与步骤s1相同的方法进行方向插值，得到水平和垂直像素个数扩大一倍的视频图像信号，并对该信号进行一级小波变换得到第三高频系数和

s3-3、将第二高频系数和映射到第三高频系数和

s3-4、根据公式

计算第二高频系数的调整因子；其中ab＝lh,hl,hh，(m,n)∈第二高频系数映射到第三高频系数的位置；

s3-5、根据公式

重构视频图像信号的第四高频系数和其中ab＝lh,hl,hh，(m,n)∈第二高频系数映射到第三高频系数的位置。

步骤s4的具体方法为：

将待重构的视频图像信号作为低频系数组合低频系数与第四高频系数和形成重构信号的小波系数，将重构信号的小波系数进行逆小波变换得到高分辨率视频图像信号的像素值，完成视频图像高分辨率重构。

实施例1：

s11、对待重构的176×144大小的视频帧信号按照式(1)进行像素扩展获得352×288尺寸的视频帧信号i；

i(2i-1,2j-1)＝ilow(i,j),i＝1,2,…,n,j＝1,2,…,m(1)

其中ilow表示输入的低分辨率视频帧信号大小为176×144；i的其他像素点值为零；

s12、对s11获得的视频帧信号i进行45o和135o方向插值得到对角线像素点(图2灰色像素点)的值，具体步骤如下：

s121、按照式(2)和式(3)计算待插值点45°和135°方向的梯度值g45和g135：

g45＝|i(i+3,j-3)-i(i+1,j-1)|+|i(i+1,j-1)-i(i-1,j+1)|+|i(i-1,j+1)-i(i-3,j+3)|(2)

g135＝|i(i+3,j+3)-i(i+1,j+1)|+|i(i+1,j+1)-i(i-1,j-1)|+|i(i-1,j-1)-i(i-3,j-3)|(3)

s122、根据g45和g135值大小对对角线像素p按照式(4)和式(5)进行插值；

其中

t1＝1.5

表示4-抽头cubic卷积插值运算；w1和w2均为中间参数。

s13、对s11获得的视频帧信号i进行0°和90°方向插值获得水平和垂直方向像素点(图3白色像素点)的值，具体步骤如下：

s131、按照式(6)和式(7)计算待插值点0°和90°方向的梯度值g0和g90：

s132、根据g0和g90值大小对水平和垂直方向像素q按照式(8)和式(9)进行插值；

其中

t2＝1.15

表示4-抽头cubic卷积插值运算；v1和v2均为中间参数。

s2、对待采样的视频帧信号在空域进行处理步骤s1得到的352×288信号进行一级小波变换，得到第一高频系数和

s3、对步骤s2估计得到的第一高频系数进行筛选，选出第二高频系数，具体如下：

s31、按式(10)计算筛选第二高频系数的阀值ts^lh、ts^hl和ts^hh：

其中rank(·)表示降序排列的序号，q表示clh、chl或chh系数的总个数；

s32、对步骤s2的第一高频系数进行筛选，绝对值大于相应阈值得系数和作为第二高频系数被选出；

s4、对输入待重构的视频帧信号在小波域进行处理，深度挖掘通过低分辨率视频帧信号重构的高频系数与真实高频系数之间的差异趋势，并重构步骤s2估计到的第二高频系数和得到待重构的视频帧信号的第三高频系数和将第三高频系数和第一高频系数除去第二高频系数的部分组合形成第四高频系数和具体步骤为：

s41、对输入待重构的视频帧信号进行一级小波变换得到低频小波系数与高频小波系数和

s42、对低频小波系数表示的低尺寸(88×72)图像按步骤s1进行方向插值得到176×144大尺寸的视频帧信号并对该大尺寸信号进行一级小波变换得到高频小波系数和

s43、将步骤s32筛选出的第二高频系数和映射到步骤s42获得的高频小波系数和

s44、按照式(11)计算第二高频系数的调整因子：

其中ab＝lh,hl,hh，(m,n)∈第二高频系数映射到第三高频系数的位置；

s45、按式(12)重构视频帧信号的第四高频系数和

其中ab＝lh,hl,hh，(m,n)∈第二高频系数映射到第三高频系数的位置；

s5、将输入待重构的视频帧信号视为低频系数并与对s4重构得到的第四高频系数和组合成为重构信号的小波系数，最后进行逆小波变换得到高分辨率视频帧信号的像素值，完成高分辨率重构过程。

输入qcif(176×144)视频帧，用本发明方案进行重构至cif大小(352×288)，如表1所示为几种插值方法客观测试结果比较。

表1

可以看出，本发明较gmm算法获得平均1.98db的psnr增益和0.06的ssim增益；本发明较dct-算法获得平均0.9dbpsnr增益和0.02的ssim增益。

实施例2：

s1、对输入待重构的图像信号在像素域进行处理，得到像素域上插值后的大尺寸图像信号，具体如下：

s11、对待重构的256×256或188×188大小的图像信号按照式(1)进行像素扩展获得512×512或256×256尺寸的图像信号i；

i(2i-1,2j-1)＝ilow(i,j),i＝1,2,…,n,j＝1,2,…,m(1)

其中ilow表示输入的低分辨率图像信号大小为256×256或188×188；i的其他像素点值为零；

s12、对s11获得的图像信号i进行45°和135°方向插值得到对角线像素点(图2灰色像素点)的值，具体步骤如下：

s121、按照式(2)和式(3)计算待插值点45°和135°方向的梯度值g45和g135：

g45＝|i(i+3,j-3)-i(i+1,j-1)|+|i(i+1,j-1)-i(i-1,j+1)|+|i(i-1,j+1)-i(i-3,j+3)|(2)

g135＝|i(i+3,j+3)-i(i+1,j+1)|+|i(i+1,j+1)-i(i-1,j-1)|+|i(i-1,j-1)-i(i-3,j-3)|(3)

s122、根据g45和g135值大小对对角线像素p按照式(4)和式(5)进行插值；

其中

t1＝1.5

表示4-抽头cubic卷积插值运算；w1和w2均为中间参数。

s13、对s11获得的图像信号i进行0°和90°方向插值获得水平和垂直方向像素点(图3白色像素点)的值，具体步骤如下：

s131、按照式(6)和式(7)计算待插值点0°和90°方向的梯度值g0和g90：

s132、根据g0和g90值大小对水平和垂直方向像素q按照式(8)和式(9)进行插值；

其中

t2＝1.15

表示4-抽头cubic卷积插值运算；v1和v2均为中间参数。

s2、对待采样的图像信号在空域进行处理步骤s1得到的512×512或256×256信号进行一级小波变换，得到第一高频系数和

s3、对步骤s2的第一高频系数进行筛选，选出第二高频系数，具体如下：

s31、按式(10)计算筛选第二高频系数的阀值ts^lh、ts^hl和ts^hh：

其中rank(·)表示降序排列的序号，q表示clh、chl或chh系数的总个数；

s32、对步骤s2的第一高频系数进行筛选，绝对值大于相应阈值得系数和作为第二高频系数被选出；

s4、对输入待重构的图像信号在频域进行处理，深度挖掘通过低分辨率图像信号重构的高频系数与真实高频系数之间的差异趋势，并重构步骤s2的第二高频系数和得到待重构的图像信号的第三高频系数和最后将第三高频系数和第一高频系数除去第二高频系数的部分组合形成第四高频系数和具体步骤为：

s41、对输入待重构的图像信号进行一级小波变换得到低频小波系数与高频小波系数和

s42、对低频小波系数表示的低尺寸(188×188或94×94)信号按步骤s1进行方向插值得到256×256或188×188大尺寸的图像信号并对该大尺寸信号进行一级小波变换得到高频小波系数和

s43、将步骤s32筛选出的第二高频系数和映射到步骤s42获得的高频小波系数和

s44、按照式(11)计算第二高频系数的调整因子：

其中ab＝lh,hl,hh，(m,n)∈第二高频系数映射到第三高频系数的位置；

s45、按式(12)重构的图像信号的第四高频系数和

其中ab＝lh,hl,hh，(m,n)∈第二高频系数映射到第三高频系数的位置；

s5、将输入待重构的图像信号视为低频系数并与对s4重构得到的第四高频系数和组合成为重构信号的小波系数，最后进行逆小波变换得到高分辨率图像信号的像素值，完成高分辨率重构过程。

输入256×256或者128×128大小的图像，用本发明方案进行重构至512×512或者256×256大小，如表2所示为几种插值方法客观测试结果比较。

表2

可以看出，本发明较gmm算法获得平均0.95db的psnr增益和0.018的ssim增益；本发明较dct算法获得平均0.7dbpsnr增益和0.007的ssim增益。

需特别说明的是，本文中提及的视频图像信号包括视频信号和图像信号，即视频信号和图像信号均可以采用本方法进行重构。

综上所述，本发明相比于wiener滤波法、dct法、hmt法、dcc法和gmm法的主观结果，本发明获得了比上述算法更加清晰的主观图并大大减小了dct、hmt和gmm算法产生的假轮廓等失真。