一种基于低秩全变分深度先验融合的视觉数据补全方法

本发明属于张量补全，尤其涉及一种基于低秩全变分深度先验融合的视觉数据补全方法。

背景技术：

1、随着科学计算的飞速发展，现实世界的数据能够呈现出更丰富的信息且存储在多维数组，即张量结构。然而，由于环境限制，如设备的传输带宽或用于视觉数据采集的成像条件，数据的部分像素可能会出现丢失的现象，因此张量补全是视觉处理界的一个典型而重要的问题。该方法的一个理想属性是在不损失其原始特征的情况下恢复视觉对象，如边缘锐利度、局部平滑度、角部保留和高对比度，其相关研究被众多应用所推动，包括模式识别、视频监控和医学分析等。张量补全的关键问题是探索数据的先验知识，其可以大致分为两个分支，即显式先验和深度先验。前者是指从理论或实践中的数学表达，而后者大多是基于数据驱动的。近年来，低秩正则化优化模型在图像处理和计算机视觉计算系统中得到了广泛的应用。由于散射像素的密切关联以及张量空间维度的光谱轮廓高度相关，多维数据可自然地被感知为具有低秩属性。基于张量奇异值分解(t-svd)的tubal-rank由于可以精确地刻画多维特性，得到了快速发展。t-svd可以等价地表述为依赖于转化域变换技术的矩阵核范数，例如傅里叶、framelet、酉矩阵和离散余弦变换(dct)等。

2、低秩属性主要针对视觉数据的全局结构，无法捕获局部结构信息。对于局部光滑性，全差分(total variation,tv)正则项是一种良好的补充约束，用以表征空间平滑性和谱带承接性等现象。目前，传统tv在光谱、空间宽度和高度的所有波段上施加相似的稀疏性，也就是说，这些梯度映射的所有波段的稀疏性被隐式地假设为是相同且独立，但该方式偏离了现实数据中不同波段梯度图的稀疏度不同的情况。

3、在简单环境下的张量补全问题中，使用精心设计的显式先验和优化算法取得了良好的结果。然而，当面对具有复杂环境的真实应用程序时，手工制作的正则项无法有效捕获内在特性。最近，基于深度学习(deep-learning,dl)的模型，特别是多层卷积神经网络(cnns)通过纳入数据驱动的先验，取得了明显的性能提高。利用即插即用(plug-and-play,pnp)框架的变量分割技术，训练良好的dl算法可以灵活地插入，迭代地处理子问题。到目前为止，尽管pnp提供了一种灵活的方式来连接显式先验和隐式先验，但只有一个手工制作的先验不足以揭示潜在的属性。

技术实现思路

1、本发明为解决张量补全问题，提出了一种基于低秩全变分深度先验融合的视觉数据补全方法。采用离散余弦变换转化张量核范数和增强三维全变分作为显式先验，并提出了一种非凸方案，以更好地表征全局低秩相关性和局部光滑性。采用了一种加权方案来平衡对不同元素的惩罚。此外，还将数据驱动去噪器作为隐式先验融入到即插即用框架中，以提供显式先验无法捕获的隐式信息，最后使用采用交替方向乘子法(alternatingdirection method of multipliers,admm)算法对每个变量进行优化。

2、为了达到上述目的，本发明提供的技术方案为：一种基于低秩全变分深度先验融合的视觉数据补全方法，包括：

3、所述基于低秩全变分深度先验融合的视觉数据补全方法，包括：

4、构建低秩全变分深度先验融合算法，将观测张量输入低秩全变分深度先验融合算法，所述低秩全变分深度先验融合算法引入三个辅助变量以及约束条件和目标函数用如下公式表示：

5、

6、其中，lβ()表示目标函数，表示复原张量，和λn是拉格朗日乘子，βi,i＝1,…,4是拉格朗日乘子系数，||·||lt表示基于log函数的非凸转化张量核范数，n1表示宽度，n2表示高度，n3表示通道数，表示强制执行复原张量和观测张量在索引集ω保持相等的投影算子，<·,·>为内积，为f范数，t表示矩阵转置，φdl()表示局部连续性的先验，λ和τ为两个权衡参数，n＝1,2,3，||·||21为l21范数，un、vn为的矩阵因子，表示p的梯度，p表示的二维形式，unvnt表示un与的矩阵乘积，n表示维度；

7、采用admm算法对低秩全变分深度先验融合算法的辅助变量y、辅助变量辅助变量复原张量矩阵因子un和矩阵因子vn进行优化，更新拉格朗日参数；

8、输出复原张量。

9、进一步的，所述构建低秩全变分深度先验融合算法，包括：

10、将观测张量转化为似然项和正则化项；

11、通过非凸log函数对转化张量核范数进行近似逼近；

12、引入非凸l21范数，构建非凸增强三维全变分正则项；

13、在pnp框架下插入cnn模型，得到低秩全变分深度先验融合算法。

14、进一步的，所述通过非凸log函数对转化张量核范数进行近似逼近，包括：

15、在转化张量核范数基础上引入log函数衡量奇异值并作为秩函数的非凸松弛，用公式表示为：

16、

17、其中，表示中间变量，为第i个前向切面的第j个奇异值，为的离散余弦变换形式，ε＞0为一个常数；

18、非凸松弛的最小化模型可以表示为：

19、

20、其中，||·||lt为基于log函数的非凸转化张量核范数，表示强制执行和在索引集ω保持相等的投影算子。

21、进一步的，所述引入非凸l21范数，构建非凸增强三维全变分正则项，用公式表示如下：

22、

23、

24、其中，表示非凸增强三维全变分正则项，r为矩阵分解维度，i表示单位矩阵。

25、进一步的，所述采用admm算法对低秩全变分深度先验融合算法的辅助变量辅助变量辅助变量复原张量矩阵因子un和矩阵因子vn进行优化，包括：

26、求解辅助变量

27、移除所有无关因子，相关子问题可表示为：

28、

29、其中，表示的第i个前向切面，表示的第i个前向切面的非凸转化张量核范数，t表示迭代次数，fft()表示傅里叶运算，

30、求解上式需要分别计算每个前向切面，每个前向切面都有如下闭式解：

31、

32、通过对每个前向切面进行奇异值分解，可得到u2与v2，为对角矩阵，对角线上的元素表示为且求解算子eα,ε(·)的具体形式为：

33、

34、其中，c1＝|x|-ε，ε表示一个常数，最后对做逆傅里叶运算，即

35、求解辅助变量

36、相关的子问题为：

37、

38、其中，表示第t+1轮迭代辅助变量的取值，表示第t轮迭代复原张量的取值，表示第t轮迭代拉格朗日乘子的取值；

39、以作为待恢复的数据，可以将空间切片提供给去噪器ffdnet以优化求解，具体形式为：

40、

41、其中，表示的第i个前向切面，表示的第i个前向切面；

42、求解辅助变量

43、通过从低秩全变分深度先验融合算法的目标函数中提取所有包含的项，则需要求解：

44、

45、其中，表示第t+1轮迭代辅助变量的取值，表示unt与的矩阵乘积，unt表示第t轮迭代矩阵因子un的取值，表示第t轮迭代矩阵因子vn的取值，表示第t轮迭代拉格朗日乘子λn的取值；

46、通过对方程进行快速傅里叶变换和卷积定理，的封闭形式解为：

47、

48、其中，为中间变量，⊙表示元素乘积，是傅里叶变换，表示转置变换，|·|2是元素方向的平方，fold(·)表示卷积操作，表示差分矩阵，表示逆算子，1表示全为1的张量；

49、求解复原张量

50、通过从低秩全变分深度先验融合算法的目标函数中收集所有包含的项目，可获得：

51、

52、其中，表示第t+1轮迭代复原张量的取值，表示第t+1轮迭代辅助变量的取值，表示第t轮迭代拉格朗日乘子的取值，表示第t轮迭代拉格朗日乘子的取值；

53、假设即子问题的封闭形式解：

54、

55、其中，表示ω的补集；

56、求解矩阵因子un,n＝1,2,3：

57、通过从目标函数中去掉与un无关的项，则un的子问题可以表述为：

58、

59、其中，表示第t+1轮迭代矩阵因子un的取值，表示第t+1轮迭代变量的取值；

60、由于vn是正交矩阵，则上式等价地重新表述为：

61、

62、假设变量其闭式解为：

63、

64、其中，‖ ‖2表示l2范数；

65、求解矩阵因子vn,n＝1,2,3：

66、通过从低秩全变分深度先验融合算法的目标函数中提取所有包含vn的项，则需要求解：

67、

68、其中，表示第t+1轮迭代矩阵因子vn的取值；

69、其封闭解为：

70、

71、其中，svd( )表示奇异值分解，d表示对角矩阵、b、c表示酉矩阵。

72、本发明与现有技术相比，其显著优点为：本发明分别采用非凸函数log、l21函数增强转化张量核范数以及三维全变分学习低秩、局部光滑的能力，并在pnp框架下cnn模型以探索隐式先验，构建低秩全变分深度先验融合算法，实现低秩全变分深度先验融合策略。