一种基于系数张量核范数最小化的彩色图像复原方法

1.本发明属于数字图像处理技术领域，它特别涉及利用系数张量核范数最小化约束实现图像复原的方法。


背景技术：

2.图像复原是一种改善图像质量的处理技术，是图像处理研究领域的主要方向之一。图像复原对已知的退化图像进行分析，估计出最接近真实图像的结果，可以看作是一个信号的逆求解过程。直接求解这个过程会导致解空间不唯一，即具有病态特性。因此常从正则化的角度出发将不适定逆问题转化为适定问题。
3.近年来基于稀疏表示与低秩矩阵估计的图像复原方法获得很大成功。由于自然图像中的相似图像块具有相似结构，经过矢量化处理后，相似图像块构成的矩阵具有低秩特性，对每个矩阵施加低秩约束可以恢复出原始图像。传统的基于矩阵的低秩表示方法虽然能很好的表示低维数据，但对于视频、图像等高维数据，这些方法需要将数据样本转换为向量，这往往会破坏原始数据固有的内在结构、特征等信息，导致复原结果不准确。因此，基于张量的数据分析方法受到了越来越多的关注。张量可以看做是矩阵的高维扩展，不但能有效表示高维数据，而且能保持原始数据的内在结构特性。张量低秩表示方法是基于矩阵低秩表示方法的扩展，它可以直接从损毁的张量中准确恢复低秩张量，图像聚类和视频/图像去噪应用验证了该算法的有效性。但此类方法的求解复杂度较高，并且无法应用于去模糊等图像复原领域。
4.最近的研究表明，图像内部存在低秩特性，若利用原始三维张量作为图像线性表示的单位，则可以克服数据降维后空间结构信息被破坏的缺陷。为了学习一个高度冗余的字典，从初始重构图像中实现经济型张量奇异值分解，以此来学习字典对图像进行线性表示，使复原出的图像细节更加丰富。


技术实现要素：

5.本发明的目的在于针对现有基于矩阵图像复原方法存在的不足，提出一种基于系数张量核范数最小化的彩色图像复原方法。该方法首先采用张量对图像进行线性表示，并对图像的表示系数采用张量核范数约束其低秩特性。同时利用初始重构图像学习冗余字典，增强了对图像线性表示的能力。具体包括以下步骤：
6.(1)输入一幅三通道彩色退化图像，利用张量鲁棒主成分分析法对其进行初始重构，得到初始重构图像对进行经济型张量奇异值分解后，得到冗余字典具体步骤为：
7.(1a)首先对进行张量奇异值分解：
[0008][0009]
其中和是正交张量，满足为的共轭转置，表示
第一个正面切片是单位矩阵，其他正面切片均为零矩阵的单位张量，表示正面切片均为对角矩阵的对角张量,表示和之间的张量积；
[0010]
(1b)截取中不为零的部分，并相应截取和的侧向切片实现经济型张量奇异值分解：
[0011][0012]
其中和分别表示截取张量和的前r个侧向切片构成的张量，为的共轭转置，表示截取张量各个正面切片矩阵的前r行和前r列构成的张量，r表示张量各正面切片中非零对角元素个数的最大值，进一步计算冗余字典
[0013][0014]
由此获得冗余字典
[0015]
(2)考虑到彩色图像各通道子图具有高度相似结构特征，因此原始图像张量具有低秩特性，以原始图像张量为处理单位建立低秩约束下的图像复原模型：
[0016][0017]
其中λ表示正则化参数，表示退化后的彩色图像，表示待复原图像的表示系数，h表示图像退化矩阵，表示张量的核范数，定义为其中表示张量在各管纤维上进行离散傅里叶变换后的第i个正面切片矩阵，表示正面切片矩阵的核范数，即矩阵奇异值之和，表示矩阵f范数的平方，表示张量与张量之间的张量积，算子unfοld(
·
)表示向量化张量的各个正面切片矩阵；
[0018]
(3)采用交替方向乘子法对整个重构模型进行迭代求解，先将(2)中的表达式转换为增广拉格朗日函数：
[0019][0020]
其中是辅助变量，定义为是拉格朗日乘子，β是惩罚参数，＜
·
＞表示两个张量的内积，第三项的表示张量f范数的平方；
[0021]
(3a)在给定情况下，求解t+1次迭代中增广拉格朗日函数中的变量的子问题可转化为求解一个关于三维张量的凸优化问题：
[0022][0023]
其中变量该问题是将所有变量变换至频域后利用近端梯度法求解，再反变换至空域得到
[0024]
(3b)在给定情况下，求解t+1次迭代中增广拉格朗日函数中的变量的子问题可转化为求解一个最小二乘问题：
[0025][0026]
其中变量该问题是利用最小二乘法求解得到
[0027]
(3c)更新(3)中的拉格朗日乘子：
[0028][0029]
(4)重复步骤(3a)～(3c)，直到复原的彩色图像满足收敛条件或迭代次数达到预设上限。
[0030]
本发明的创新点是采用张量对图像进行线性表示，并利用初始重构图像学习冗余字典，增强了对图像的稀疏表示能力；进一步对图像的表示系数进行张量核范数约束以充分利用图像内在的低秩特性；另外，针对重构模型采用交替方向乘子法分别求解表示系数和重构图像，其中应用近端梯度法求解含有张量核范数约束项的表示系数优化问题，并通过计算近似最小二乘解获得重构图像，实现彩色图像的复原。
[0031]
本发明的有益效果：采用张量来线性表示图像，有效避免了基于矩阵方法需要对图像降维的缺陷，保留了图像更多的内在空间结构信息；对图像的表示系数采用张量核范数进行约束，充分利用了图像内在的低秩特性；利用初始重构图像学习冗余字典，提高了图像线性表示的精确性，因此最终重构的图像不仅整体视觉效果良好，还保留了大量图像细节，估计结果更接近于真实图像。
[0032]
本发明主要采用仿真实验的方法进行验证，所有步骤、结论都在matlab8.0上验证正确。
附图说明
[0033]
图1是本发明的工作流程图；
[0034]
图2是本发明仿真中使用的3通道彩色图像原图；
[0035]
图3是使用各方法(依次为snn方法、skr方法、jpg-sr方法和本发明方法)对像素保留率为50％的图像bike的复原结果；
[0036]
图4是使用各方法(依次为snn方法、skr方法、jpg-sr方法和本发明方法)对作用文本信息后的图像lena的复原结果；
[0037]
图5是使用各方法(依次为idd-bm3d方法、trpca方法、jsm方法、jpg-sr方法和本发明方法)对运动模糊核作用后的图像light的复原结果；
[0038]
图6是使用各方法(依次为hosvd方法、rta-lsm方法、trpca方法、strollr方法和本发明方法)对添加25％噪声比例的图像castle的复原结果；
具体实施方式
[0039]
参照图1，本发明是一种基于系数张量核范数最小化的彩色图像复原方法，具体步骤包括如下：
[0040]
步骤1，对退化彩色目标图像进行初始重构，并获取字典。
[0041]
(1a)输入一幅三通道彩色退化图像，利用张量鲁棒主成分分析法对其进行初始重
构，得到初始重构图像对进行经济型张量奇异值分解后，得到冗余字典具体步骤为：
[0042]
(1a1)首先对初始重构图像进行张量奇异值分解：
[0043][0044]
其中和是正交张量，满足为的共轭转置，表示第一个正面切片是单位矩阵，其他正面切片均为零矩阵的单位张量，表示正面切片均为对角矩阵的对角张量，表示和之间的张量积；
[0045]
(1a2)截取对角张量中正面切片矩阵不为零的部分，并相应截取和的侧向切片矩阵实现经济型张量奇异值分解：
[0046][0047]
其中和分别表示截取张量和的前r个侧向切片构成的张量，为的共轭转置，表示截取张量各个正面切片矩阵的前r行和前r列构成的张量，r表示张量各正面切片中非零对角元素个数的最大值，进一步计算冗余字典
[0048][0049]
由此获得冗余字典
[0050]
步骤2，建立系数张量核范数最小化约束的图像复原模型并估计系数。
[0051]
(2a)采用式(3)获取的字典对目标退化彩色图像进行线性表示：
[0052][0053]
其中表示张量与张量之间的张量积,考虑到彩色图像各通道子图具有高度相似结构特征，因此原始图像张量具有低秩特性，以原始图像张量为处理单位建立低秩约束下的图像复原模型：
[0054][0055]
其中λ表示正则化参数，表示待复原图像的表示系数，h表示图像退化矩阵，表示张量的核范数，定义为其中表示张量在各管纤维上进行离散傅里叶变换后的第i个正面切片矩阵，表示正面切片矩阵的核范数，即矩阵奇异值之和，表示矩阵f范数的平方，算子unfοld(
·
)表示向量化张量的各个正面切片矩阵；
[0056]
(2b)采用交替方向乘子法对整个重构模型进行迭代求解，引入辅助变量将式(5)中的表达式转换为增广拉格朗日函数：
[0057][0058]
其中是拉格朗日乘子，β是惩罚参数，＜
·
＞表示两个张量的内积，第三项的表示张量f范数的平方，交替求解各优化变量并更新拉格朗日乘子；
[0059]
(2c)在给定情况下，求解t+1次迭代中增广拉格朗日函数中的变量的子问题可转化为求解一个关于三维张量的凸优化问题：
[0060][0061]
其中变量该问题是将所有变量变换至频域后利用近端梯度法求解，再反变换至空域得到为简化表达，在以下求解步骤中将式(7)中迭代上标省略：
[0062]
(2c1)将式(7)凸优化问题中的三维张量和在各自管纤维上进行离散傅里叶变换后得到和张量在空域上的张量积等效于其在频域上的乘积，因此式(7)等效转换到频域后为：
[0063][0064]
(2c2)对式(8)中目标张量的每个正面切片矩阵分别求解，得到求解式：
[0065][0066]
其中和分别是张量和各自对应的第i个正面切片矩阵，表示矩阵的核范数，即矩阵奇异值之和，表示矩阵f范数的平方；
[0067]
(2c3)采用近端梯度法迭代求解式(9)对应的核范数约束下的凸优化问题，先定义函数可见是可微的凸函数，而是不可微凸函数，其近端映射函数定义为：
[0068][0069]
其中表示的近端映射函数，t表示引入的辅助变量，ρ表示步长因子，由于计算近端映射函数等价于对进行奇异值阈值操作，可先对矩阵奇异值分解得到：
[0070][0071]
其中p是左奇异向量矩阵，q是右奇异向量矩阵，q
t
表示q的转置，σ是奇异值矩阵，阈值设为1/ρ，在式(11)基础上定义奇异值阈值算子
[0072][0073]
其中max(
·
)表示取最大值函数，定义为：
[0074][0075]
因此近端映射函数等价为奇异值阈值算子
[0076][0077]
由于的梯度为根据近端梯度法和近端映射函数，关于式(9)中凸优化问题的迭代式表示为：
[0078][0079]
其中ρ设为矩阵的最大特征值，算子s
1/ρ
(
·
)的定义见式(12)，最后再通过离散傅里叶逆变换获得的最优解：
[0080][0081]
其中算子idft(
·
)表示对三维张量的各管纤维进行离散傅里叶逆变换，由此可求解出
[0082]
(2d)在给定情况下，求解t+1次迭代中增广拉格朗日函数中的变量的子问题可转化为求解一个最小二乘问题：
[0083][0084]
其中变量该问题是利用最小二乘法求解得到为简化表达，在以下求解步骤中将式(17)中迭代上标省略：
[0085]
(2d1)将式(17)第二项中的三维张量和的正面切片向量化，并将式(17)最小二乘问题转换为：
[0086][0087]
其中，表示矩阵f范数的平方，h表示图像退化矩阵，表示退化后的彩色图像，unfοld(
·
)表示向量化张量的各个正面切片矩阵；
[0088]
(2d2)对于式(18)中的矩阵采用最小二乘法求解：
[0089][0090]
其中(
·
)-1
表示矩阵求逆，h
t
表示矩阵h的转置，i表示单位矩阵，最后通过将矩阵的各列向量矩阵化获得原求解式中变量的最优解，由此实现关于的子问题的求解；
[0091]
(2e)更新式(6)中的拉格朗日乘子，采用式(20)获得：
[0092][0093]
步骤3，重复步骤(2c)～(2e)，直到复原的彩色图像满足收敛条件或迭代次数达到预设上限。
[0094]
本发明的效果可以通过以下仿真实验进一步说明：
[0095]
一、实验条件和内容
[0096]
实验条件：实验使用人工设置的随机退化过程；实验图像均采用大小为w
×h×
3的3通道彩色图像，每个通道的大小为w
×
h，如图2所示；实验结果评价指标采用峰值信噪比
(psnr)来客观评价重构效果，其中psnr定义为：
[0097][0098]
其中为原始图像，大小为n1×
n2×
n3，为重构结果，psnr值越高表示重构结果更好，更接近真实图像。
[0099]
实验内容：在上述实验条件下，重构结果使用目前在图像复原领域具有代表性的snn方法，skr方法、jpg-sr方法、idd-bm3d方法、trpca方法、jsm方法、hosvd方法、rta-lsm方法和strollr方法与本发明方法进行对比。
[0100]
实验1：用本发明方法和snn方法、skr方法和jpg-sr方法分别对图2中的(a)-(d)进行像素保留率分别为30％、50％、60％和80％并添加标准差为10的高斯噪声后的图像进行重构。其中snn方法通过基于矩阵的迹范数研究来对张量迹范数进行定义，将低秩矩阵补全问题扩展到低秩张量补全，然后对不同的求解场景提出三种不同的求解算法，其在50％像素保留率下的重构结果为图3(a)；skr方法利用自适应核回归函数刻画图像的局部信息，复原效果往往取决于像素位置和固有的局部结构，其在50％像素保留率下的重构结果为图3(b)；jpg-sr通过一种有效的机制来整合图像的局部稀疏性和非局部自相似性，解决了基于补丁稀疏表示模型产生不良的视觉伪影和基于组稀疏表示模型产生过度平滑效应的问题，其在50％像素保留率下的重构结果为图3(c)；实验中本发明方法设置最大迭代次数t＝50，在50％像素保留率下的重构结果为图3(d)。
[0101]
除此之外，还将上述方法与测试图像进行了文本去除对比实验。其中，snn方法的重构结果为图4(a)；skr方法的重构结果为图4(b)；jpg-sr方法的重构结果为图4(c)；本发明方法的重构结果为图4(d)。
[0102]
从图3与图4各方法的重构结果及局部区域放大图可以看出，对比snn方法，skr方法和jpg-sr方法，本发明方法在重构结果的细节部分高于其他对比方法，无论是边缘和纹理区域的恢复，还是在噪声去除上都有较好的视觉效果。
[0103]
表1不同重构方法进行图像修补实验的psnr(db)对比
[0104][0105]
表1给出了各方法在不同像素保留率下的重构结果的psnr指标情况，其中psnr值越高表示重构效果越好，最高psnr值用粗体标出；可以看出本发明方法对比其他方法均有较大提高，此结果与重构效果图相吻合。
[0106]
表2不同重构方法进行图像文本去除实验的psnr(db)对比
[0107][0108]
表2给出了各方法在文本作用后的重构结果的psnr指标情况；显而易见，本发明方法在所有情况下都取得了最高的psnr，进一步验证了本发明方法的有效性能。
[0109]
实验2：用本发明方法和idd-bm3d方法、trpca方法、jsm方法和jpg-sr方法分别对图2中的(e)-(h)进行三种不同模糊核作用后的图像进行复原，这三种模糊核包括9
×
9均匀模糊核、高斯模糊核和运动模糊核。模糊过程还伴随有标准差为的加性高斯白噪声。idd-bm3d是经典算法bm3d在图像去模糊场景上的改进版，其在运动模糊核作用下的复原结果为图5(a)；trpca是鲁棒主成分分析方法rpca在高阶数据上的扩展，在低秩张量和稀疏的双重约束下，能从噪声张量中恢复出比较干净的原始低秩张量，其在运动模糊核作用下的复原结果为图5(b)；jsm通过联合统计模型同时获取图像的局部平滑特性和非局部自相似性，其在运动模糊核作用下的复原结果为图5(c)；jpg-sr方法在运动模糊核作用下的复原
结果为图5(d)；实验中本发明方法设置最大迭代次数t＝50，在运动模糊核作用下的复原结果为图5(e)。
[0110]
从图5各方法的复原结果及局部区域放大图可以看出，对比idd-bm3d方法、trpca方法、jsm方法和jpg-sr方法，本发明方法在复原结果的细节部分高于其他对比方法，复原出来的图像具有更加清晰和锐利的图像边缘和纹理细节，去模糊效果达到最好。
[0111]
表3不同重构方法进行图像去模糊实验的psnr(db)对比
[0112][0113][0114]
表3给出了各方法在不同模糊核作用下的复原结果的psnr指标情况；可以看到本发明方法在不同模糊核作用场景下都取得了最高的psnr值，客观上验证了本发明方法的有效性。
[0115]
实验3：用本发明方法和hosvd方法、rta-lsm方法、trpca方法和strollr方法分别对图2中的(i)-(l)添加高斯噪声比例分别为10％、15％、20％、25％和30％的噪声图像进行重构。其中，hosvd在三维堆块中进行高阶奇异值分解，并通过硬阈值过滤这些系数，其在添加25％噪声比例后的复原结果为图6(a)；rta-lsm将近似张量构建为拉普拉斯混合模型，并以最大后验估计对噪声进行观测，其在添加25％噪声比例后的复原结果为图6(b)；trpca方法在添加25％噪声比例后的复原结果为图6(c)；strollr结合了图像块的自适应变换稀疏性和块匹配形成的数据矩阵的低秩性，从而充分利用自然图像的局部稀疏性和非局部自相似性，其在添加25％噪声比例后的复原结果为图6(d)；实验中本发明方法设置最大迭代次数t＝50，在添加25％的噪声比例后复原结果为图6(e)所示。
[0116]
从图6各方法的复原结果及局部区域放大图可以看出，对比hosvd方法、rta-lsm方法、trpca方法和strollr方法，本发明方法复原出的图像不仅能有效抑制噪声，还能有效保留结构信息，去噪效果达到最好。
[0117]
表4不同方法进行图像去噪实验的psnr(db)对比
[0118]
[0119][0120]
表4给出了各方法在不同噪声比例作用下的复原结果的psnr指标情况；可以看到本发明方法在几乎所有情况中都取得了最高的psnr值，此结果与重复效果图相吻合。
[0121]
上述实验表明，本发明方法复原后的图像内容丰富，不仅具有良好的视觉效果而且客观评价指标性能良好，由此可见本发明对彩色图像复原的有效性。