基于高阶张量表示的高光谱图像异常检测方法

1.本发明涉及遥感图像处理领域，具体的说是一种基于高阶张量表示的高光谱图像异常检测方法。


背景技术：

2.高光谱图像蕴含丰富的光谱信息，在辨别不同物质特性方面具有“图谱合一”的优势，而高光谱异常目标检测由于具有非监督特性，被军事侦查、地质采矿和灾后救援等领域广泛应用。然而传统的高光谱异常检测方法，利用低秩稀疏分解将原始高光谱图像从三维结构直接降维为二维矩阵，这破坏了高光谱图像的空间整体结构，造成大量虚警，无法高效地将异常目标与背景分离。因此，如何在保留高光谱“图谱合一”结构同时，利用其在空间域与光谱域先验知识，进行异常目标与背景的有效分离成为了关键问题。
3.传统的方法就是衡量相似度比如距离、密度、角度、基于簇的方法等，这些算法在低维上其实表现都接近，因为核心假设都是“异常点的表示与正常点不同，是少数派”。但大部分类似的算法都会面临维数灾难，即常见的相似性度量(比如欧氏距离)在高维数据上往往会失效。为了解决这个问题，人们提出了很多方法包括：降维或者特征空间选择方法，比如在多个低维空间上做检测再合并。恢复数据分布的本征子空间在机器学习的许多应用中是一个关键的步骤和数据分析。最常用的一种分析方法是主成分分析(pca)。标准的pca对异常值敏感：即使是单个但严重的离群值也可能降低模型的有效性。高维数据所带来的另一个问题是可扩展性。衡量相似度的运算开销是很大的，大部分距离度量的复杂度较高，利用数据结构进行优化或者动态规划来降低复杂度也是常见的探索方向。最理想的情况还是控制维度，找到更好的数据表示方式才是问题的根本。
4.研究引入升阶操作，对数据进行高阶张量表达，利用张量低tensor-train秩近似框架，在保留高光谱整体结构的同时，将合适的正则化约束嵌入高光谱先验知识中。如针对背景张量的空间维分段连续先验，采用空间光谱全变分范数正则项表达；针对背景的光谱维低秩先验，采用对数和范数正则项表达；针对异常目标张量存在组稀疏先验，采用l
2,1
范数正则项进行表达。最终在张量框架下，对目标方程采用交替方向乘子法进行凸优化，达到有效提取异常目标的目的，其原理明确、实验验证效果优越，鲁棒性强。研究将有助于阐明高光谱数据多种全局先验、空间局部特征与异常检测能力之间的关系，为张量表达模型在高光谱遥感影像处理分析提供理论、模型和支持，为将来高光谱图像处理方面提供了一条新的思路。


技术实现要素：

5.针对上述技术不足，本发明旨在提供一种基于对数和范数优化的张量低tt秩分解、空间光谱全变分和组稀疏的方法来处理高光谱图像的异常检测问题。为了充分利用高-多光谱图像的高空间-光谱相关性，引入升阶操作，对数据进行高阶张量表达，利用张量低tensor-train分解对高阶张量数据近似恢复。针对背景张量的空间维分段连续先验，采用
空间光谱全变分范数正则项表达；针对背景的空间光谱维低秩先验，采用对数和范数正则项表达；针对异常目标张量存在组稀疏先验，采用l
2,1
范数正则项进行表达。最终在张量框架下，对目标函数采用交替方向乘子法进行凸优化，达到有效提取异常目标的目的。
6.本发明解决其技术问题所采用的技术方案是：
7.基于高阶张量表示的高光谱图像异常检测方法，在先验初始模型基础上进行如下步骤，再反复迭代优化求解，获取基于高阶张量表示的高光谱图像异常检测模型，实现高光谱图像异常检测，包括：
8.步骤1、利用组稀疏正则项，用于挖掘各谱段图像行空间结构差异性以及共享的稀疏性结构，对异常值进行检测；
9.步骤2、利用对数和优化的高阶张量加权低tt秩对高阶张量数据进行秩近似，用于挖掘张量数据中蕴含的相关性，保持背景；
10.步骤3、采用空间光谱全变分正则化项，用于刻画光谱空间分段连续性。
11.所述该模型对光谱图像进行低秩重建，实现高光谱图像异常检测。
12.所述先验初始模型的建立过程如下：
13.假设异常值沿着张量的第二个维度分布，此外异常值与数据尺度相比具备稀疏的特性，故用l
2,1
范数来度量，则对于任意高阶张量的异常检测问题建模如下：
[0014][0015]
其中，是数据的先验约束项；为输入模型的待处理的观测图像，为背景低秩数据，为模型输出的异常数据；
[0016]
引入低阶先验项得到先验初始模型：
[0017][0018]
所述基于高阶张量表示的高光谱图像异常检测模型为：
[0019][0020][0021]
其中，λ
t
为全变分权重因子，λr为低秩权重因子，β为组稀疏权重因子，μ为拉格朗日因子，αn为张量模式矩阵权重因子，为空间光谱全变分正则化项，为利用对数和优化的高阶张量加权低tt秩项，为组稀疏正则项。
[0022]
所述对数和优化的高阶张量加权低tt秩项中，高阶张量是通过对图像进行升阶操作得到的高阶张量数据，并利用对数和范数进行的张量秩优化近似。
[0023]
所述加权组稀疏项是对不同谱段光谱图像平滑性的描述，挖掘各谱段图像块行空间结构差异性以及共享的稀疏性结构。
[0024]
所述空间光谱全变分正则化项，刻画光谱空间分段连续性，抑制噪声。
[0025]
所述反复迭代优化求解过程中，当相邻两次图像恢复结果数据的误差在阈值范围内，则判断图像重建至当前轮次为符合收敛性，停止迭代。
[0026]
所述误差函数为：
[0027][0028]
其中，为输入的观测数据，为低秩数据，ε为异常数据，tol为给定阈值。
[0029]
所述反复迭代优化求解是采用admm算法。
[0030]
本发明具有以下有益效果及优点：
[0031]
1.本发明方法采用对数和优化的高阶张量加权低tt秩对张量数据进行秩近似，挖掘张量数据中蕴含的相关性。
[0032]
2.本发明方法采用组稀疏正则项，挖掘各谱段图像行空间结构差异性以及共享的稀疏性结构，对异常值进行检测。
[0033]
3.本发明方法采用空间光谱全变分正则化项，刻画光谱空间分段连续性。
[0034]
4.本发明方法在对高光谱异常检测方面要优于现有的算法，具有更好的低秩重建性能和鲁棒性。
附图说明
[0035]
图1是本文方法整体框架图；
[0036]
图2是数据集中两个场景的图像及其参考图；
[0037]
图3是实例1场景下各现有方法与本方法的异常目标检测的定性检测图；
[0038]
图4是实例2场景下各现有方法与本方法的异常目标检测的定性检测图。
具体实施方式
[0039]
下面结合实施例对本发明做进一步的详细说明。
[0040]
本文提出了一种基于高阶张量表达的异常检测方法，并设计了一种利用交替方向乘法算子求解该模型的高效算法。基于高阶张量表示的高光谱图像异常检测方法，是一种利用对数和范数优化的张量低tt秩分解、空间光谱全变分和组稀疏实现的高光谱图像异常检测出方法。高光谱图像蕴含丰富的光谱信息，在辨别不同物质特性方面具有“图谱合一”的优势，而高光谱异常目标检测由于具有非监督特性，被军事侦查、地质采矿和灾后救援等领域广泛应用。传统的高光谱异常检测方法，无法高效地将异常目标与背景分离。因此，如何在保留高光谱“图谱合一”结构同时，利用其在空间域与光谱域先验知识，进行异常目标与背景的有效分离成为了关键问题。为了解决上述问题，本发明利用高阶张量表示方法，提出了一种有效的高光谱图像异常检测方法。研究引入升阶操作，对数据进行高阶张量表达，利用张量低tensor-train秩近似框架，在保留高光谱整体结构的同时，将合适的正则化约束嵌入高光谱先验知识中。针对背景张量的空间维分段连续先验，采用空间光谱全变分范数正则项表达；针对背景的光谱维低秩先验，采用对数和范数正则项表达；针对异常目标张量存在组稀疏先验，采用l
2,1
范数正则项进行表达。最终在张量框架下，对目标方程采用交替方向乘子法进行凸优化，达到有效提取异常目标的目的，其原理明确、实验验证效果优越，鲁棒性强。研究将有助于阐明高光谱数据多种全局先验、空间局部特征与异常检测能力
之间的关系，为张量表达模型在高光谱遥感影像处理分析提供理论、模型和支持，为将来高光谱图像处理方面提供了一条新的思路。
[0041]
a.问题建模
[0042]
假设异常值沿着张量的第二个维度分布(其他维度通用)，即代表可能的异常值，此外异常值与数据尺度相比具备稀疏的特性，故可用l
2,1
范数来度量。对于任意高阶张量的异常检测问题可建模如下，
[0043][0044]
其中，是数据的先验约束项，为输入模型的待处理的观测图像，为背景低秩数据，为模型输出的异常数据。
[0045]
根据视觉应用任务用数据的低秩特性，引入低阶先验项得到
[0046][0047]
张量低tensor-train(tt)秩度量在高阶张量信息挖掘中具备的优势，得益于tt分解中各模矩阵的均衡性机制。对于一个给定的张量它的tt秩被定义为
[0048][0049]
将张量tt秩引入公式(2)，我们有
[0050][0051]
其中，是张量升阶操作。更高阶的张量表达提供了一些重要优势。在张量阶数更高的情况下，张量tt分解也因数据局部结构的有效利用而变得更加有效。此处，我们采用generalization ket augmentation(gka)即泛化升阶机制来对三阶光谱数据进行升阶操作。以初始化块尺寸大小为2
×
2为例，三阶图像的升阶操作定义如下
[0052][0053]
其中表示普段j处的像素值，和uj均为正交基。
[0054]
鉴于公式(4)为组合性质的tt秩的求解是np难问题，我们利用对数和范数进行秩的非凸优化求解。给定张量其张量tt分解下的对数和范数可表示为
[0055][0056]
命题1：对于矩阵a，它的log-sum(ls)范数被定义为
[0057]
‖a‖
ls
＝∑ilog(σi(a)+∈)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0058]
其中σi是矩阵a的第i个奇异值，∈被设计出用来避免零的小的正标量。该问题等价于
[0059][0060]
其中，α为低秩权重因子，c为输入数据。
[0061]
其局部最小值可表示为
[0062]
a＝udiag(d1,d2,
…dn
)v
ꢀꢀꢀꢀ
(9)
[0063]
其中，u为左正交矩阵，v为右正交矩阵。
[0064]
其中di＝d
α,∈
(σi)
[0065][0066]
其中c1＝|x|-∈和
[0067]
公式(4)的求解转化为
[0068][0069]
等同于
[0070][0071]
其中λr为低秩权重因子，β为组稀疏权重因子，μ为拉格朗日因子，
[0072]
为更好的利用光谱图像空间域和谱段域上的分段连续性，我们引入空间光谱全变分项spatial-spectral total variation(sstv)，该先验可建模为
[0073][0074]
其中，w为高光谱图像宽度，h为高光谱图像高度，s为高光谱图像谱段数，i为图像宽度方向坐标，j为图像高度方向坐标，k为图像谱段方向坐标。
[0075]
至此，我们得到如下高阶低tt秩张量表示的异常检测模型
[0076][0077]
λ
t
为全变分权重因子，λr为低秩权重因子，β为组稀疏权重因子，μ为拉格朗日因子，αn为张量模式矩阵权重因子，为空间光谱全变分正则化项，为利用对数和优化的高阶张量加权低tt秩项，为组稀疏正则项。
[0078]
b.算法求解
[0079]
为了变量求解过程中存在耦合问题，对相应变量引入辅助变量得
[0080][0081][0082]
其中，为张量模式矩阵。
[0083]
上述模型的增广拉格朗日函数如下所示
[0084][0085]
更新
[0086][0087]
更新
[0088][0089]
其中，辅助张量式(18)的解决方案如下
[0090][0091]
其中
⊥
表示正交投影操作，由以下式子定义
[0092][0093]
线性操作被定义为
[0094][0095]
其中和(w,h,s)满足
[0096][0097]
for 1≤i≤n
w-1,1≤j≤n
h-1,1≤k≤n
s-1,
[0098]
|w
i,j,k
|≤1,for 1≤i≤n
w-1,
[0099]
|h
i,j,k
|≤1,for 1≤j≤n
h-1,
[0100]
|s
i,j,k
|≤1,for 1≤k≤n
s-1.
[0101]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)
[0102]
l的伴随矩阵操作定义为
[0103][0104]wi,j,k
＝z
i,j,k-z
i+1,j,k
,for 1≤i≤n
w-1,
[0105]hi,j,k
＝z
i,j,k-z
i,j+1,k
,for 1≤j≤n
h-1,
[0106]si,j,k
＝z
i,j,k-z
i,j,k+1
,for 1≤k≤n
s-1.
[0107]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(23)
[0108]
证明：
[0109][0110][0111][0112]
因此，上面介绍的各向同性的sstv范数可以被重写为：
[0113][0114]
其中
[0115][0116]
然后，我们得到
[0117][0118]
根据上述问题，等式(19)可以被再阐述为
[0119][0120]
目标函数在是凸的，在(p,q,r)是凹的。它允许我们切换最小化和最大化的顺序。
[0121][0122]
可以被写为
[0123][0124]
更新
[0125][0126]
对于
[0127][0128]
更新
[0129][0130]
更新拉格朗日乘子
[0131][0132][0133]
本方法在公开数据集san diego和airport1上进行了算法测试，图2中给出了数据集中两个场景的图像及其参考图的。我们将所提方法(f)与代表性异常检测方法(a)-(e)进行了对比，结果如表1、图3和图4所示。表1中给出了auc指标值，用于衡量roc曲线下与坐标轴围成的面积，越接近1代表检测真实性越高。图3和图4中分别给出了不同场景下异常目标检测的定性检测图结果。从结果可以看出，我们的方法取得了更好的检测效果，验证了所提方法的有效性。
[0134]
表1
[0135][0136]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。