一种基于低秩张量补全与离散全变分的图像修复方法与流程

本申请属于图像处理领域，具体涉及一种基于低秩张量补全与离散全变分的图像修复方法。

背景技术：

随着现代网络技术、计算机通信以及采样技术的快速发展，待分析的数据大都具有很复杂的结构。在捕获高维多线性数据的过程中，会有部分数据丢失。低秩张量补全(lowranktensorcompletion,lrtc)是根据数据集的低秩性来恢复出丢失元素。矩阵补全，即二阶张量补全问题，可以有效的从已知项的较小样本中估计矩阵的缺失值，已被应用到著名的netflix问题中，在这个问题中，我们可以根据一小部分的电影评级来推断用户对未知电影的偏好。矩阵补全方法通常假设矩阵是低秩的，以此为约束，使给定的不完全矩阵和估计矩阵的差值最小化。但当待分析数据具有复杂的结构时，用矩阵描述高维数据会造成数据的维数灾难、过拟合甚至会破坏数据结构。因此，张量作为矩阵高阶推广能够更好的表达出高阶数据复杂的本质结构。其中，低秩表示是一种极具应用前景的方法。低秩表示广泛应用在信号处理和计算机视觉领域，如图像分类、动态分割和人脸识别等。

图像修复是计算机视觉和图像处理领域的一个重要研究内容，它可以表述为一个缺失值估计问题。缺失值估计的核心问题在于如何建立已知元素和未知元素之间的关系。近年来，有许多学者提出了不同的图像修复算法，主要分为三类：1)基于变分微分方程的图像修复；2)基于纹理合成的图像修复；3)混合方法。bertalmia等人首次提出基于微分方程的图像修复方法，其通过对待修复区域的边界进行不同方向的扩散将未破损区域的信息扩散到待修补的区域的内部来对图像进行修复。这种方法仅对图像中仅有较小区域的破损才具有较好的修复效果。chan等人提出了全变分(totalvariation,tv)算法，其最大优点是有效克服了线性滤波在抑制噪声的同时平滑图像边缘，但是tv算法的最大缺陷是不能满足人类视觉中的“不连续”原则。曲率驱动扩散(curvature-drivediffusion,cdd)算法，是对tv算法的一种改进算法，其目的是解决在tv算法中视觉不连续问题。criminisi等人提出了基于样本块的图像修复算法，其利用待修复区域的边界信息计算待修复块的优先级，然后在图像未破损区域寻找与待修复块相似度最大的样本块来进行填充修补。该算法对大面积的破损区域有较好的修复效果，但是修复时间过长降低了算法效率。

技术实现要素：

本申请提供一种基于低秩张量补全与离散全变分的图像修复方法，该方法在自然图像修复中，在边缘处理上更加平滑，整体图像修复也更加精准。

为实现上述目的，本申请所采取的技术方案为：

一种基于低秩张量补全与离散全变分的图像修复方法，所述基于低秩张量补全与离散全变分的图像修复方法，包括：

步骤1、获取不完全张量即破损图像，确定破损图像中待修复区域的所有未知像素点的集合ω；

步骤2、以低秩张量补全模型为框架，引入tv^d正则项和schatten-p范数，构建基于低秩张量补全与离散全变分的图像修复模型，所述的图像修复模型为：

式中，表示输出的恢复张量，表示输入的不完全张量，且n表示张量的维度，βi为0或1，λi表示平衡参数，tv^d(d(i)m(i))和||m(i)||sp为正则项，m(i)表示张量展开后的第i层矩阵，[d(i)]j,j＝1，[d(i)]j,j+1＝-1，d(i)中的其他元素为0；

步骤3、引入辅助变量和将对所述图像修复模型中的求解转化为对的求解，将对所述图像修复模型中的求解转化为对的求解；

步骤4、采用cp算法迭代优化所述辅助变量采用admm算法求解所述图像修复模型中的r子问题、m子问题和子问题，以更新辅助变量未知变量恢复张量

步骤5、判断是否达到预设的迭代次数，若达到预设的迭代次数，则输出最新的恢复张量即修复后的图像；若未达到迭代次数，则进入步骤4继续迭代。

作为优选，所述确定破损图像中待修复区域的所有未知像素点的集合ω，包括：

获取破损图像中所有像素点的像素值，划分像素值不为0的像素点为已知像素点，划分像素值为0的像素点为未知像素点，取所有未知像素点组成集合ω。

作为优选，所述以低秩张量补全模型为框架，引入tv^d正则项和schatten-p范数，构建基于低秩张量补全与离散全变分的图像修复模型，包括：

步骤2.1、取所述低秩张量补全模型为：

式中，表示输出的恢复张量，表示输入的不完全张量，且n表示张量的维度，m(i)表示张量展开后的第i层矩阵，αi和λi是平衡参数，||m(i)||*和tv(m(i))是正则项；

步骤2.2、引入tv^d正则项保持图像的光滑性，tv^d定义公式如下：

式中，|·|表示在上的l2范数，n表示上采样因子，u(i,j)表示图像中的像素值，ω表示所述集合ω，且ω＝ip×iq表示大小为p×q的二维离散域，表示离散灰度图；

根据所述tv^d定义公式，得到tv^d的对偶形式为：

式中，

步骤2.3、针对低秩矩阵m引入schatten-p范数为：

式中，min{m,n}是低秩矩阵m的秩，σi表示m的第i个奇异值，p为schatten-p范数的参数，当p＝1时，||m||sp则为所有的奇异值之和，即核范数；

且||m||sp的近端映射可表示为：

式中，λ表示平衡参数，p为schatten-p范数的参数；

步骤2.4、利用tv^d正则项和schatten-p范数优化所述低秩张量补全模型，得到基于低秩张量补全与离散全变分的图像修复模型。

作为优选，所述引入辅助变量和将对所述图像修复模型中的求解转化为对的求解，将对所述图像修复模型中的求解转化为对的求解，包括：

步骤3.1、考虑到图像修复模型中的正则项tv^d(d(i)m(i))和正则项||m(i)||sp是不独立的，故引入辅助变量和将所述图像修复模型重写为：

步骤3.2、采用admm算法将公式(7)展开，图像修复模型的展开式为：

式中，是拉格朗日算子，ρ1，ρ2，ρ3是平衡参数，是frobenius范数；

根据公式(6)和(8)，从而将对所述图像修复模型中的求解转化为对的求解，将对所述图像修复模型中的求解转化为对的求解。

作为优选，所述采用cp算法迭代优化所述辅助变量包括：

步骤4.1、建立在admm算法下的子问题为：

步骤4.2、根据tv^d的对偶形式，将步骤4.1中的公式(9)重写为：

步骤4.3、采用cp算法求解步骤4.2中的公式(10)，得到最新的求解过程如下：

步骤4.3.1、初始化参数τ,σ＞0；θ∈[0,1],迭代次数k＝0，最大迭代次数a，

步骤4.3.2、若k≤a，继续向下执行；否则输出q(i)^k+1，作为的最新值；

步骤4.3.3、

步骤4.3.4、q(i)^k+1＝proxτ[g](q(i)^k-τk^tq(i)^k+1)；

步骤4.3.5、

步骤4.3.6、k＝k+1，并返回至步骤4.3.2。

作为优选，所述采用admm算法求解所述图像修复模型中的m子问题，以更新未知变量包括：

步骤4.4、建立在admm算法下的子问题为：

步骤4.5、采用近端梯度下降方法求解的子问题，包括：

令

式中，ψk(m(i))表示的利普希兹常数，且令

根据公式(12)、(13)将公式(11)重写为：

式中，表示ψk(m(i)^k+1)在点m(i)^k的梯度，且

令为；

公式(16)中，ω(i)^k的定义为；

其中，

在对公式(14)求解时，对公式(15)求导得到将代入公式(17)得到ω(i)^k的值，并将ω(i)^k代入公式(16)中得到将代入公式(14)中得到m(i)^k+1作为的最新值。

作为优选，所述采用admm算法求解所述图像修复模型中的r子问题，以更新辅助变量包括：

步骤4.6、建立在admm算法下的子问题为：

步骤4.7、通过最小化问题的求解，即对公式(18)求导，计算出r(i)为：

式中i为单位矩阵，且计算得到r(i)作为的最新值。

作为优选，采用admm算法求解所述图像修复模型中的子问题，以更新恢复张量包括：

步骤4.8、建立在admm算法下的子问题为：

步骤4.9、通过最小化问题的求解，即对公式(20)求导，计算出为：

式中，fold(i)(·)表示张量的模式n展开的相反操作；公式(21)输出的作为的最新值。

作为优选，所述基于低秩张量补全与离散全变分的图像修复方法在算法中显示为：

输入：不完全张量初始化迭代次数t＝0，最大迭代次数b，λ,ρ1，ρ2，ρ3和μ∈[1，1.5]；

输出：恢复张量

s6.1、初始化

s6.2、若t≤b，则继续向下执行；否则输出恢复张量

s6.3、通过公式(9)，(11)，(18)，(20)分别更新

s6.4、更新

s6.5、更新

s6.6、更新

s6.7、计算ρ1＝μρ1,ρ2＝μρ2,ρ3＝μρ3；

s6.8、t＝t+1，并返回至s6.2。

本申请提供的基于低秩张量补全与离散全变分的图像修复方法，该方法引入离散全变分正则项因子整合到统一的目标函数中，提出基于低秩张量补全与离散全变分的方法，来用作自然图像修复，并且识别输入损坏图像的待修复像素，并通过建立已知元素和未知元素之间的关系，对待修复区域的边界进行不同方向的扩散，将未破损区域的信息扩散到待修补的区域的内部来对图像进行修复，最终得到修复后的图像本申请的图像修复方法在边缘处理上更加平滑，整体图像修复也更加精准。

附图说明

图1为本申请的基于低秩张量补全与离散全变分的图像修复方法的流程图；

图2为待修复区域的一种实施例示意图；

图3为本申请的一种应用示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

如图1所示，在一实施例中，提供一种基于低秩张量补全与离散全变分的图像修复方法，以一种对边缘处理更加平滑，整体图像修复更加精准的方式实现图像修复，克服了现有技术中图像修复的不足，具有较大的推广意义。

基于低秩张量补全与离散全变分的图像修复方法的具体步骤如下：

步骤1、获取不完全张量即破损图像，确定破损图像中待修复区域的所有未知像素点的集合ω。

如图2所示，在获取集合ω时，首先获取破损图像中所有像素点的像素值，划分像素值不为0的像素点为已知像素点，划分像素值为0的像素点为未知像素点，取所有未知像素点组成待修复区域的集合ω，且待修复区域的边界为

步骤2、以低秩张量补全模型为框架，引入tv^d正则项和schatten-p范数，构建基于低秩张量补全与离散全变分的图像修复模型。

步骤2.1、取现有技术中的低秩张量补全(lrtc)模型为：

式中，表示输出的恢复张量，表示输入的不完全张量，且n表示张量的维度，m(i)表示张量展开后的第i层矩阵，表示张量展开后的第i层矩阵，αi和λi是平衡参数，||m(i)||*和tv(m(i))是正则项。

步骤2.2、由于tv作为衡量图像光滑度的标准的最大缺陷是不能满足人类视觉中的“不连续”原则，故本实施例中引入tv^d正则项保持图像的光滑性，tv^d定义公式如下：

式中，|·|表示在上的l2范数，n表示上采样因子，u(i,j)表示图像中的像素值，ω表示所述集合ω，且ω＝ip×iq表示大小为p×q的二维离散域，表示离散灰度图。

根据所述tv^d定义公式，得到tv^d的对偶形式为：

式中，

步骤2.3、对于数据恢复来说，直接最小化数据的秩显然是一个np-hard问题，但是由于核范数可以视为秩的凸近似，虽然在这种近似下数据恢复的准确率和鲁棒性都有所提高，但是标准的核范数存在的最大的问题为奇异值受到抑制且重构数据与原始数据之间的误差较大。

为了解决核范数中存在的问题，同时高效地恢复图像，本实施例针对低秩矩阵m引入schatten-p范数为：

式中，min{m,n}是低秩矩阵m的秩，σi表示m的第i个奇异值，p为schatten-p范数的参数，当p＝1时，||m||sp则为所有的奇异值之和，即核范数。

且||m||sp的近端映射可表示为：

式中，λ表示平衡参数，p为schatten-p范数的参数。

步骤2.4、利用tv^d正则项和schatten-p范数优化所述低秩张量补全模型，得到基于低秩张量补全与离散全变分的图像修复模型为：

式中，表示输出的恢复张量，表示输入的不完全张量，且n表示张量的维度，βi为0或1，βi＝1表示张量的第i个模展开中具有光滑分段先验，βi＝0表示张量的第i个模展开中不具有光滑分段先验，λi表示平衡参数，tv^d(d(i)m(i))和||m(i)||sp为正则项，m(i)表示张量展开后的第i层矩阵，表示张量展开后的第i层矩阵，d(i)表示(ii-1)-by-ii的矩阵，且[d(i)]j,j＝1，[d(i)]j,j+1＝-1，d(i)中的其他元素为等于0。

步骤3、引入辅助变量和将对所述图像修复模型中的求解转化为对的求解，将对所述图像修复模型中的求解转化为对的求解。

步骤3.1、考虑到图像修复模型中的正则项tvd(d(i)m(i))和正则项||m(i)||sp是不独立的，故引入辅助变量和将所述图像修复模型(公式(6))重写为：

步骤3.2、采用admm算法(alternatingdirectionmethodofmultipliers，交替方向乘子法)将公式(7)展开，图像修复模型的展开式为：

式中，是拉格朗日算子，ρ1，ρ2，ρ3是平衡参数，是frobenius范数。

根据公式(6)和(8)将对所述图像修复模型中的求解转化为对的求解，将对所述图像修复模型中的求解转化为对的求解。

步骤4、采用(chambolle-pock)cp算法迭代优化所述辅助变量采用admm算法求解所述图像修复模型中的r子问题、m子问题和子问题，以更新辅助变量未知变量恢复张量

具体地，采用cp算法迭代优化所述辅助变量包括：

步骤4.1、建立在admm算法下的子问题为：

步骤4.2、根据tv^d的对偶形式，将步骤4.1中的公式(9)重写为：

步骤4.3、cp算法应用于解决一种基本最小值和对偶最大值的形式问题，该形式问题可表达为且公式(10)与该形式的结构相同，故采用cp算法求解步骤4.2中的公式(10)，得到最新的求解过程如下：

步骤4.3.1、初始化参数τ,σ＞0；θ∈[0,1],迭代次数k＝0，最大迭代次数a，本实施例中可设置a为100，

步骤4.3.2、若k≤a，继续向下执行；否则输出q(i)^k+1，作为的最新值；

步骤4.3.3、

步骤4.3.4、q(i)^k+1＝proxτ[g](q(i)^k-τk^tq(i)^k+1)；

步骤4.3.5、

步骤4.3.6、k＝k+1，并返回至步骤4.3.2。

具体的，采用admm算法求解图像修复模型中的m子问题，以更新未知变量包括：

步骤4.4、建立在admm算法下的子问题为：

步骤4.5、采用近端梯度下降方法求解的子问题，包括：

令

式中，ψk(m)表示的利普希兹常数，且令

根据公式(12)、(13)将公式(11)重写为：

式中，表示ψk(m(i)^k+1)在点m(i)^k的梯度，且

令为；

公式(16)中，ω(i)^k的定义为；

其中，

在对公式(14)求解时，对公式(15)求导得到将代入公式(17)得到ω(i)^k的值，并将ω(i)^k代入公式(16)中得到将代入公式(14)中得到m(i)^k+1作为的最新值。

具体的，采用admm算法求解所述图像修复模型中的r子问题，以更新辅助变量包括：

步骤4.6、建立在admm算法下的子问题为：

步骤4.7、通过最小化问题的求解，即对公式(18)求导，计算出r(i)为：

式中i为单位矩阵，且计算得到r(i)作为的最新值。

具体的，采用admm算法求解所述图像修复模型中的子问题，以更新恢复张量包括：

步骤4.8、建立在admm算法下的子问题为：

步骤4.9、通过最小化问题的求解，即对公式(20)求导，计算出为：

式中，fold(i)(·)表示张量的模式n展开的相反操作；公式(21)输出的作为的最新值。

在对所有子问题求解完成后，更新拉格朗日算子和平衡参数ρ1，ρ2，ρ3。

步骤5、判断是否达到预设的迭代次数，若达到预设的迭代次数，则输出最新的恢复张量即修复后的图像；若未达到迭代次数，则进入步骤4继续迭代。

如图3所示，图中最左侧的图为破损图像，经过本实施例的基于低秩张量补全与离散全变分的图像修复方法处理后，输出最右侧的修复图像，该修复图像的边缘处理平滑，且修复的精准度高。

本实施例引入离散全变分正则项因子整合到统一的目标函数中，并提出基于低秩张量补全与离散全变分的方法，来用作自然图像修复，使得图像处理过程中在边缘处理上更加平滑，整体图像修复也更加精准。

以下通过实施例进一步说明本申请基于低秩张量补全与离散全变分的图像修复方法的流程。

实施例1

本申请的基于低秩张量补全与离散全变分的图像修复方法在算法中显示为：

输入：不完全张量初始化迭代次数t＝0，最大迭代次数b，λ,ρ1，ρ2，ρ3和μ∈[1，1.5]；

输出：恢复张量

s6.1、初始化

s6.2、若t≤b，则继续向下执行；否则输出恢复张量

s6.3、通过公式(9)，(11)，(18)，(20)分别更新

s6.4、更新

s6.5、更新

s6.6、更新

s6.7、计算ρ1＝μρ1,ρ2＝μρ2,ρ3＝μρ3；

s6.8、t＝t+1，并返回至s6.2。

该算法中的s6.1对应于图像修复方法中的步骤1～3，该算法中的s6.3～s6.7对应于图像修复方法中的步骤4，该算法中的s6.2、s6.8对应于图像修复方法中的步骤5。

需要说明的是，本申请中涉及的参数(相关字母或符号)表示的含义相同，从而避免重复定义参数含义。

本实施例的基于低秩张量补全与离散全变分的图像修复方法，首先识别输入损坏图像的待修复像素，并通过建立已知元素和未知元素之间的关系，对待修复区域的边界进行不同方向的扩散，将未破损区域的信息扩散到待修补的区域的内部来对图像进行修复，最终得到修复后的图像该图像修复方法在边缘处理上更加平滑，整体图像修复也更加精准。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于低秩张量补全与离散全变分的图像修复方法方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。