基于光滑塔克分解与高阶张量汉克化的图像修复方法与流程

[0001]
本发明涉及图像处理领域，具体涉及一种图像修复方法。


背景技术：

[0002]
随着现代网络技术、计算机通信以及采样技术的快速发展，待分析的数据大都具有很复杂的结构。通常在图像数据采集的过程中会受到各种外界因素的影响而导致视觉质量较差，例如，硬件设备损坏、光照和电磁波干扰等影响。在此情况下，也可能因为设备或者时间限制，无法直接重新获取相关图像数据。因此，对于目前所存在的各种模糊、低分辨率、部分像素丢失等图像进行修复以获得高质量视觉数据是一个具有实际应用价值的研究内容。
[0003]
图像修复是典型的图像处理不适定问题，它可以表述为一个缺失值估计问题。缺失值估计的核心问题在于如何建立已知元素和未知元素之间的关系，而添加其他先验信息可以有效的解决图像修复问题，例如，局部平滑先验，非局部自相似先验，稀疏先验，低秩先验和稀疏梯度先验等。近年来，有许多学者提出了不同的图像修复算法，主要分为三类：1)基于变分微分方程的图像修复；2)基于纹理合成的图像修复；3)混合方法。bertalmia等人首次提出基于微分方程的图像修复方法，其通过对待修复区域的边界进行不同方向的扩散将未破损区域的信息扩散到待修补的区域的内部来对图像进行修复。这种方法仅对图像中仅有较小区域的破损才具有较好的修复效果。chan等人提出了全变分(total variation,tv)算法，其最大优点是有效克服了线性滤波在抑制噪声的同时平滑图像边缘，但是tv算法的最大缺陷是不能满足人类视觉中的“不连续”原则。曲率驱动扩散 (curvature-drive diffusion,cdd)算法，是对tv算法的一种改进算法，其目的是解决在tv算法中视觉不连续问题。criminisi等人提出了基于样本块的图像修复算法，其利用待修复区域的边界信息计算待修复块的优先级，然后在图像未破损区域寻找与待修复块相似度最大的样本块来进行填充修补。该算法对大面积的破损区域有较好的修复效果，但是修复时间过长降低了算法效率。
[0004]
随着深度神经网络架构的最新发展，深度学习方法在对象检测，图像分类和图像降噪等计算机视觉任务中具有重要意义。但是，基于深度学习的方法需要大量标记的样本，这些样本难以获取并消耗大量的计算量，因此传统方法的研究和应用仍然是必要的，并且有很大的改进空间。


技术实现要素：

[0005]
本发明要克服现有技术的上述问题，提出基于光滑塔克分解与高阶张量汉克化的图像修复方法。，
[0006]
为解决图像数据失真的视觉处理问题，本发明将汉克结构化技术扩展至高阶张量视觉数据中，并充分考虑图像的本质属性，引入离散全变分(discrete totalvariation，tv
d
)正则项因子将其整合到统一的目标函数中。
[0007]
本发明解决其技术问题所采用的技术方案包括以下：
[0008]
基于光滑塔克分解与高阶张量汉克化的图像修复方法，包括如下步骤：
[0009]
步骤1)输入待修复图像确定图像待修复区域并对其进行分块操作，图像中的像素分为已知点和未知点，所述已知点是图像中像素不为0的点，未知点是图像中像素为0的点，图像中所有未知点组成集合ω；
[0010]
步骤2)构建高阶张量汉克化与离散全变分模型；
[0011]
步骤3)结合步骤2)构建的图像修复模型，对彩色图像进行修复，最终重构输出高质量视觉数据图像
[0012]
本发明的有益效果主要表现在：本文把汉克结构化技术扩展应用至张量领域中。考虑到矩阵的低秩性、光滑性同样存在于张量中，首先将数据嵌入到高维张量中，经过多维线性复制和多维的折叠线性操作将张量汉克结构化；其次考虑数据光滑性，引入离散全变分因子进行模型优化，最终通过低秩增量算法来更好的找到最佳秩，其算法具有良好的收敛性并且更精确地还原了自然图像。
[0013]
本发明的优点是：兼顾了图像处理的效率和图像还原的精确性。
附图说明
[0014]
图1是待修复区域示意图；
[0015]
图2是像素丢失率90％的自然图像；
[0016]
图3是利用本发明修复后的自然图像；
[0017]
图4是本发明的方法流程图。
具体实施方式
[0018]
下面结合附图进一步说明本发明的技术方案。
[0019]
基于光滑塔克分解与高阶张量汉克化的图像修复方法，包括如下步骤：
[0020]
步骤1)输入待修复图像确定图像待修复区域并对其进行分块操作，图像中的像素分为已知点和未知点，所述已知点是图像中像素不为0的点，未知点是图像中像素为0的点，图像中所有未知点组成集合ω；
[0021]
步骤2)构建高阶张量汉克化与离散全变分模型；
[0022]
步骤3)结合步骤2)构建的图像修复模型，对彩色图像进行修复，最终重构输出高质量视觉数据图像
[0023]
所述步骤2)的处理过程如下：
[0024]
(2-1)高阶汉克结构化图像修复模型定义如下：
[0025][0026]
式中，表示输入待修复图像，表示修复后图像，表示frobenius范数；其中1表示可观察的像素，0表示缺失的像素；
定义为
[0027][0028]
其中fold
(i,τ)
:通过fold
(i,τ)
可将输入的n 阶张量构造成一个2n阶张量，该操作可以看作多维线性复制和多维的折叠操作；其中是一个复制矩阵，即包含多个单位矩阵的矩阵，具体形式为：
[0029][0030]
(2-2)离散全变分模型定义如下：
[0031][0032]
x表示一个二维图像，v表示梯度；l.表示双线性插值操作，具体表示在网格(n
1
，n
2
)上的插值；
·
*
表示伴随运算操作；离散算子d的定义为(dx)
1
[n
1
,n
2
]＝x[n
1
+1,n
2
]-x[n
1
,n
2
]，(dx)
2
[n
1
,n
2
]＝x[n
1
,n
2
+1]-x[n
1
,n
2
]；
[0033]
令v的l
1,1,2
范数表示三个向量分量v.的l
1,1,2
范数和，即因此离散全变分模型可以重新定义为：
[0034][0035]
充分利用低秩互补信息和潜在的平滑特性。
[0036]
所述步骤3)的处理过程如下：
[0037]
(3-1)构建基于光滑塔克分解与高阶张量汉克化的图像修复模型，其定义如下
[0038][0039][0040]
式中，λ表示平衡参数，表示分解因子u
(n)
的第(j,r)个条目，并且
[0041]
(3-2)公式(6)的求解取决于变量可以使用最小二乘法(alternating least square，als)优化，算法1描述了als的主要过程，
[0042]
算法1：
[0043]
输入：待修复数据核张量维数(r
1
,
…
,r
2n
)
[0044]
输出：分解因子核张量
[0045]
3.2.1初始化分解因子分解因子u
(2n)
和核张量
[0046]
3.2.2当n＝1,
…
,2n时
[0047]
3.2.3
[0048]
3.2.4u
(n)
←
算法2.
[0049]
3.2.5
[0050]
(3-3)算法1描述了一种基于als的传统塔克因子分解，其计算和存储瓶颈是更新因数矩阵u
(n)
，为了解决子问题u
(n)
，我们将其更新如下
[0051][0052]
由于公式(7)的复杂性，使用交替近端梯度算法(alternating proximal gradient method，apg)算法来求解上式，
[0053][0054]
令g(v)＝λ||v||
1,1,2
，c＝-l
*
，因此可以得到
[0055][0056]
因此，其可以转换为对偶问题：
[0057][0058]
最终子问题u
(n)
的求解过程如算法2所述；
[0059]
算法2：
[0060]
3.3.1τ,μ＞0；θ∈[0,1]；k＝0
[0061]
3.3.2初始化u
(0)
,v
(0)
,
[0062]
3.3.3
[0063]
3.3.4
[0064]
3.3.5
[0065]
3.3.6k＝k+1
[0066]
其中prox
σ
和prox
τ
的近端映射为
[0067][0068]
(3-4)另外，基于塔克的方法可以通过塔克的秩最小化来获得令人满意的效果，但是很难设置适当的秩(r
1
,
…
,r
2n
)。在我们的方法中，我们最小化以下目标函数，并且此过程是获得足够低秩的近似的最小值
[0069][0070]
其中ε表示误差阈值；令r
n
′
表示约束条件的最佳秩，
[0071]
e(1)≥e(2)≥
…
≥e(r
n
′-1)≥ε≥e(r
n
′
)
ꢀꢀꢀꢀꢀꢀ
(13)
[0072]
最终，使用低秩增量优化基于光滑塔克分解与高阶张量汉克化的图像修复模型，如算法3所述
[0073]
算法3：
[0074]
输入：待修复数据ω，ε
[0075]
输出：分解因子核张量
[0076]
3.4.1初始化
[0077]
3.4.2
[0078]
3.4.3n
′←
n，r
n
′
←
r
n
[0079]
3.4.4直到收敛条件：
[0080]
(3-5)塔克分解因子重构输出
[0081]
(3-6)类似地，汉克结构化张量的逆汉克结构化可表示为：
[0082][0083]
其中
[0084]
(3-7)最终，输出高质量图像视觉数据完成图像修复。
[0085]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。