基于稀疏表示的图像压缩及重建方法与流程

本发明涉及图像压缩和重建领域，具体涉及一种基于稀疏表示的图像压缩与重建方法。

背景技术：

图像信息具有直观生动具体等显著优点，是人们获取信息的重要方式之一。然而，高质量图像往往占用大量的存储空间，经典的图像压缩技术，如jpeg、jpeg2000能够在尽可能保证图像质量的前提下最大限度地压缩数据量。然而随着高清和超高清图像的出现，伴随着网络带宽和存储介质的局限，传统的图像压缩技术有时不能满足人们对信息获取的要求。

因为网络的带宽和计算机的存储空间的约束，网络传输经常采用低分辨率的，有压缩的图像。然而，实际生活中人们往往更喜欢清晰的图像。因此，在保证重建图像不影响主观质量的前提下，尽可能大地压缩图像数据，使其占用网络带宽和存储空间更小的图像压缩方法十分有意义。

在现有主流图像压缩标准的基础上，本发明公布了一种新的图像压缩与重建框架。该框架结合现有的图像压缩编码方法jpeg2000和现有的基于稀疏表示的图像超分辨率方法，致力于提高图像压缩率和图像重建主观质量。

技术实现要素：

本发明在jpeg2000压缩标准的基础上提出了一种基于稀疏表示的图像压缩和重建方法，目的在于提高图像压缩比，同时保证解压后的图像的主观质量。

为实现技术目的，本发明采用如下技术方案：

s1、对原始待压缩高分辨率图像x下采样，得到下采样后的低分辨率图像yl；

s2、对低分辨率图像yl上采样得到和x相同分辨率的yh，利用四叉树块划分方法对图像yh进行块划分，将图像yh划分成64*64，32*32和16*16的图像块，对于大小为16*16的图像块，进一步划分成大小为4*4的图像块并提取特征，得到低分辨率图像特征块fl；

s3、利用高-低分辨率图像块的一一对应关系和yh的划分结果，对高分辨率图像x做相应的划分，得到块划分后的高分辨率图像块xh；

s4、利用k-svd(k次奇异值分解)分别训练高分辨率图像块xh和低分辨率图像特征块fl对应的字典dh和dl；

s5、在编码端将低分辨率图像yl通过jpeg2000标准压缩，得到yl的压缩码流，并和高低分辨率字典dh和dl打包传输到解码端；

s6、在解码端先对码流解复用，得到低分辨图像yl的压缩码流和高低分辨率字典dh和dl；

s7、对yl的压缩码流利用jpeg2000标准解码得到低分辨率图像y′l，然后对y′l进行上采样得到和原始图像同样分辨率的图像y′h；

s8、对图像y′h进行与步骤s2相同的块划分，并对大小为4*4的图像块进行特征提取，得到相应的图像特征块f′l；

s9、块划分完成后，64*64和32*32划分的块，直接采用步骤s7中上采样的结果作为重建块；对于图像特征块f′l，利用稀疏表示方法及高低分辨率字典dh和dl进行超分辨率重建得到重建图像块x′h；

s10、将所有重建图像块拼接到对应位置，得到重建的高分辨图像x0，然后利用迭代反投影技术对x0进行全局优化，得到最终的重建图像x^*。

作为本发明的优选方案之一，所述的步骤s1的下采样方法可以为现有多种下采样方法，如双三次下采样方法、简单抽取法等。

作为本发明的优选方案之一，所述的步骤s2的上采样方法为双三次上采样方法。

所述的步骤s2利用四叉树块划分方法对图像yh划分的具体实现方式如下：

s2.1将图像yh划分为多个互不重叠的大小为64*64图像块，简称为ctu，它是yh划分的基本单元；

s2.2每个ctu可以选择划分为64*64，32*32和16*16共三类子图像块(cu)，其中大小为64*64与32*32的cu对应yh的平滑区域，大小为16*16的cu对应yh的非平滑区域。

s2.3确定块划分的阈值t，具体方法如下：

对于大小为m*n的图像yh，第i行和第j列相邻像素之间灰度差的平均值分别为和计算公式如下：

块划分的阈值t由整幅m*n图像yh相邻像素之间灰度差的平均值决定，即：

s2.4对于每一个64*64的ctu，其块划分流程如下：

s2.4.1按s2.3相同的方法计算每个ctu相邻像素之间灰度差的平均值tctu，并和分块阈值t进行比较。当tctu>t，则该ctu划分为四个32*32的cu，并执行步骤s2.4.2；否则，该ctu不继续划分，即为64*64的大小；

s2.4.2依次按s2.3相同的方法计算4个32*32cu相邻像素之间灰度差的平均值tcu，并和分块阈值t进行比较。当tcu>t，将该cu划分成4个16*16的cu；否则，该cu不继续划分，即大小为32*32。

所述步骤s2对于大小为16*16的图像块，进一步划分成大小为4*4的图像块并提取特征，得到低分辨率图像特征块fl的具体方法如下：

s2.5对于16*16的cu，进一步划分为多个4*4的图像块，相邻的4*4的图像块有k(0<k<4)个像素的重叠。

s2.6对于4*4的图像块采用下面4个一维滤波器来提取其特征。

f1＝[-1,0,1],f2＝f1^t,f3＝[1,0,-2,0,1],f4＝f3^t其中t表示转置。应用这四个滤波器得到每个图像块的4个特征向量，并将4个特征向量连接成一个64*1特征向量，记为图像特征块fl。

作为本发明的优选方案之一，所述步骤s4利用k-svd训练得到低分辨率图像特征块fl对应的字典dl的具体实现方式如下：

s4.1用所有的fl组成样本数据集矩阵f。

s4.2矩阵f可以由字典矩阵dl和系数矩阵a线性表示，字典训练的目的就是找到字典矩阵dl和系数矩阵a。该线性表示为：

f≈dla

上述字典训练过程可以转化为求解下面的优化问题：

ε为重构误差所允许的最大值。

s4.3上述优化问题的求解步骤如下：

s4.3.1利用yang的《imagesuper-resolutionviasparserepresentation》论文中公布的字典作为初始dl。

s4.3.2在已知dl条件下，求取每一个样本的稀疏系数，得到在该dl对应的系数矩阵a；

s4.3.3在已知a的条件下，采用k-svd方法更新dl；

s4.3.4重复步骤s4.3.2和s4.3.3，直到重构误差满足要求时停止，此时的dl即为fl对应的训练字典。

作为本发明的优选方案之一，所述步骤s4利用k-svd训练高分辨率图像块xh对应的字典dh的过程中，将大小为4*4的图像块xh转化为16*1的列向量，所有的xh组成样本数据集矩阵，和字典dl的训练过程一样，利用k-svd得到字典dh。

作为本发明的优选方案之一，所述的步骤s9利用稀疏表示方法及高低分辨率字典dh和dl进行超分辨率重建过程具体步骤如下：

s9.1对于每一个图像特征块f′l，利用字典dl的稀疏表示，可以求解对应的稀疏系数α，计算公式如下：

f′l＝dlα||α||0≤n

其中α∈rⁿ,n为稀疏字典中的原子个数。

s9.2对应的重建高分辨率图像块x′h可以用字典dh和已求解的稀疏系数α线性组合来表示：

x′h＝dhα||α0≤n

作为本发明的优选方案之一，所述步骤10的利用迭代反投影方法对x0进行全局优化的具体步骤如下：

s10.1对重建高分辨率图像x0进行下采样d和模糊h，模拟高分辨率图像降质过程，通过求解降质后图像x′t和低分辨率图像yl的误差，对重建高分辨率图像xt进行迭代更新。迭代反投影方法的计算公式如下：

xt+1＝xt+((yl-x′t)↑s)*p

其中，x′t＝dhxt，xt为第t次迭代过程高分辨率图像，p为反投影滤波器，↑为上采样，s为上采样因子。

s10.2当最终的重建高分辨率图像x^*满足重建约束时，停止迭代更新，重建约束公式为：

与现有技术相比，本发明具有以下优点：

(1)本发明对图像采用四叉树思想进行块划分，将低分辨率图像的平滑区域划分为大小为64*64和32*32的图像块，将包含细节信息的非平滑图像区域划分为大小为4*4的图像块，在保证字典训练的准确度的基础上，通过减少训练样本的数量，缩短了字典训练时间；

(2)本发明在解码端对解码图像重建时，对于平滑的图像块直接利用双三次插值的方式重建，对于包含细节信息的图像特征块使用稀疏表示的方式重建，在保证图像重建主观质量的前提下，缩短了高分辨率图像重建时间；

(3)本发明通过对高分辨率图像块和低分辨率图像特征块进行联合字典训练，将蕴含在图像内部的附加信息加入到利用外部图像库训练的初始字典中，对训练字典更新，得到对应的高分辨率图像块对应的训练字典dh和低分辨率图像特征块对应的训练字典dl，该字典中所包含的特征更符合图像重建需求，进一步提高图像重建质量。

附图说明

图1是本发明基于稀疏表示的图像压缩和重建方法的框图；

图2是本发明的四叉树块划分示意图；

图3是本发明的图像四叉树块划分结果示意图；

图4是本发明的16*16图像块划分结果示意图。

具体实施方式

下面结合附图和实例对本发明作进一步的解释说明，如图1所示为本发明的一种基于稀疏表示的图像压缩和重建的框图，主要步骤包括：

步骤1：以640*640的图像为待压缩的高分辨率图像x，高分辨率图像x进行4倍下采样，得到空间分辨率为160*160的图像yl；

步骤2：对图像yl进行采样因子为4的双三次上采样，得到分辨率为640*640的图像yh；

进一步，对图像yh利用四叉树思想进行块划分的具体操作如下：

将图像yh划分为多个互不重叠的大小为64*64图像块，简称为ctu，ctu为图像块划分的基本单元，每个ctu可以选择划分为64*64，32*32和16*16共三类子图像块(cu)，图2所示是四叉树块划分示意图。块划分的阈值t由整幅640*640图像yh相邻像素之间灰度差的平均值决定，即：

上式中和分别为图像yh第i行和第j列相邻像素之间灰度差的平均值，计算公式如下：

对于每一个64*64ctu，其块的划分流程如下：

(1)计算每个ctu相邻像素之间灰度差的平均值tctu，并和分块阈值t进行比较。当tctu>t，则该ctu划分为四个32*32的cu，并执行步骤(2)；否则，该ctu不继续划分，即为64*64的大小；

(2)依次计算4个32*32cu相邻像素之间灰度差的平均值tcu，并和分块阈值t进行比较。当tcu>t，将该cu划分成4个16*16的cu；否则，该cu不继续划分，即大小为32*32。

如图3所示是图像四叉树块划分结果示意图。对yh的所有ctu进行上述划分后，yh的平滑区域被划分为大小为64*64和32*32的cu，非平滑区域被划分为16*16的cu。

进一步对大小为16*16的图像块，继续划分成多个大小为4*4的图像块，相邻图像块有k(0<k<4)个像素的重叠。当k＝1时，即相邻图像块有一个像素的重叠，图像块划分结果如图4所示，大小为16*16的图像块划分为25个4*4的图像块。对于4*4的图像块采用下面4个一维滤波器来提取其特征：

f1＝[-1,0,1],f2＝f1^t,f3＝[1,0,-2,0,1],f4＝f3^t其中t表示转置。应用这四个滤波器得到每个图像块的4个特征向量，并将4个特征向量连接成一个64*1特征向量，记为图像特征块fl。

步骤3：原始待压缩高分辨率图像块xh划分：

根据高-低分辨率图像块的一一对应关系，利用低分辨率图像yh的划分结果，对高分辨率图像x做相应的划分，将平滑区域划分为64*64和32*32的图像块，将非平滑区域划分为多个4*4的图像块，相邻图像块有k(0<k<4)个像素的重叠。

步骤4：利用k-svd(k次奇异值分解)分别训练高分辨率图像块xh和低分辨率图像特征块fl对应的字典dh和dl。

进一步，对低分辨率图像特征块fl对应的字典dl的训练如下：

将步骤2得到低分辨率图像特征块fl作为字典dl训练的样本，将所有样本组成样本数据集矩阵f。样本数据集矩阵f可以由字典矩阵dl和系数矩阵a线性表示，字典训练的目的就是找到字典矩阵dl和系数矩阵a。该线性表示为：

f≈dla

上述字典学习可以转化为求解下面的最优化问题：

ε为重构误差所允许的最大值，上述优化问题的求解过程如下：

(1)将yang的《imagesuper-resolutionviasparserepresentation》论文中公布的字典作为初始dl。在已知dl条件下，求取每一个样本的稀疏系数，得到在该dl对应的系数矩阵a；

(2)在已知a的条件下，采用k-svd方法更新dl，k-svd采用逐列更新的方式更新字典，当更新字典第k列dk时，字典其他列的固定不变，计算当前的误差矩阵e：

调整dk和αk,使误差尽可能的小，更新初始字典的每一列后得到第一次迭代后的训练字典；

(3)不断更新系数矩阵和训练字典，直到样本的重构误差满足要求时停止迭代更新，得到低分辨率图像特征块fl对应的训练字典dl。

进一步，高分辨率图像块xh对应字典dh的训练如下：

将步骤3得到大小为4*4的高分辨率图像块xh转化为16*1的列向量，所有的xh组成样本数据集矩阵，和字典dl训练过程一样，利用k-svd算法得到高分辨率图像块xh对应的字典dh。

步骤5：在编码端将低分辨率图像yl通过jpeg2000标准压缩，得到yl的压缩码流，并和高低分辨率字典dh和dl打包传输到解码端；

步骤6：在解码端解复用得到低分辨率图像yl的压缩码流和高低分辨率字典dh和dl；

步骤7：对低分辨率图像yl的压缩码流利用jpeg2000标准解码得到低分辨率图像y′l，空间分辨率为160*160，然后对y′l进行采用4倍上采样得到分辨率为640*640的图像y′h；

步骤8：对图像y′h进行与步骤2相同的块划分，对于平滑区域划分为大小64*64和32*32的图像块，对非平滑区域划分为4*4的图像块，并提取特征得到图像特征块f′l；

步骤9：对于步骤8划分的图像块中，大小为64*64和32*32的图像块，直接利用步骤7中4倍上采样的结果作为重建图像块；对于图像特征块f′l，利用稀疏表示方法利进行重建，具体实现方式如下：

(1)利用图像特征块f′l和字典dl的稀疏表示，可以求解对应的稀疏系数α：

f′l＝dlα||α||0≤n

其中α∈rⁿ,n为稀疏字典中的原子个数。

(2)对应的重建高分辨率图像块x′h利用字典dh和已求解的稀疏系数α线性组合来表示：

x′h＝dhα||α||0≤n

步骤10：将所有重建图像块拼接到对应位置，得到重建的高分辨图像x0，然后利用迭代反投影技术对x0进行全局优化，去除重建图像可能存在锯齿或者振铃效应，得到最终的重建图像x^*，并且满足重建约束：

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。