一种改进的无监督遥感影像异常检测方法与流程

1.本发明涉及遥感影像异常检测领域，具体涉及一种改进的无监督遥感影像异常检测方法。


背景技术：

2.异常检测，通常也被称为离群点检测，是找出与预期对象的行为差异较大的对象的一个检测过程，是遥感影像研究的重要任务之一，研究方向包括异常像元检测和异常影像检测，其中异常影像检测可用于遥感样本的入库质检，提前剔除异常影像。
3.基于神经网络的异常检测算法由于其优秀的自学习能力，特征提取能力在异常检测领域取得了显著的成果，利用神经网络进行异常检测具有检测精度高的优越性，但是复杂的网络结构需要以监督学习的方式进行训练，需要大量的标注样本，而有标签数据往往意味着高成本和难获得，所以基于神经网络的异常检测方法真正在现实的应用场景中实施时，仍然存在一些瓶颈与问题。如何构造一种适用于遥感影像入库质检的无监督异常检测方法仍然是一项重大挑战。


技术实现要素：

4.针对上述问题，本发明提出一种改进的无监督遥感影像异常检测方法，首先通过无监督的方法赋予无标记遥感影像数据集伪标签，然后通过基于神经网络的异常检测算法迭代地对无标记遥感影像数据集进行异常检测，提高了无监督异常检测的精度。
5.为实现上述技术目的，本发明的技术方案如下：一种改进的无监督遥感影像异常检测方法，该方法包括以下步骤：s1 获取无标记遥感影像数据集，所述无标记遥感影像数据集包括多个无标记遥感影像数据；s2 建立遥感影像异常检测模型，包括特征自训练模块、特征融合模块、异常分类模块；所述自训练模块包括编码器、解码器，所述编码器用于对输入的无标记遥感影像数据进行自训练特征提取，得到自训练特征集，所述解码器用于对输入的自训练特征集进行特征重构，得到重构数据；所述特征融合模块基于平均融合算法对输入的自训练特征集进行融合，得到融合特征；所述异常分类模块包括异常检测特征提取网络，特征优化算法、输出网络，所述异常检测特征提取网络用于对输入的无标记遥感影像数据和重构数据进行异常检测特征提取，得到无标记遥感影像数据特征集和重构数据特征集；所述特征优化算法基于融合特征对无标记遥感影像数据特征集和重构数据特征集进行优化，得到优化的无标记遥感影像数据特征集和优化的重构数据特征集，所述输出网络对优化的无标记遥感影像数据特征集和优化的重构数据特征集进行异常分数计算，得到无标记遥感影像数据的异常分数和重构数
据的异常分数；s3 利用无监督异常检测算法对所述无标记遥感影像数据集进行图像异常检测，得到初始的无标记遥感影像数据的异常分数；s4 根据样本筛选策略，基于当前的无标记遥感影像数据的异常分数，对无标记遥感影像数据集进行筛选和伪标签赋予，得到异常检测样本集，所述异常检测样本集包括多个异常检测样本，所述异常检测样本由伪标签和无标记遥感影像数据组成，所述伪标签包括正常和异常两种类型；s5 将异常检测样本集输入遥感影像异常检测模型进行模型训练，得到训练后的遥感影像异常检测模型；s6 利用训练后的遥感影像异常检测模型对所述无标记遥感影像数据集进行异常检测，对无标记遥感影像数据的异常分数进行更新；s7 迭代执行步骤s4-s6，每次迭代均得到训练后的遥感影像异常检测模型、该训练后的遥感影像异常检测模型的模型精确度和无标记遥感影像数据的异常分数，根据相邻两次迭代的模型精确度计算变化值，判断变化值是否满足迭代停止条件，若满足，则停止迭代；s8分别对每个无标记遥感影像数据在迭代过程中得到的所有异常分数求平均值，得到无标记遥感影像数据的最终异常分数；s9 根据无标记遥感影像数据的最终异常分数，得到所述无标记遥感影像数据集中的异常遥感影像数据和正常遥感影像数据。
6.进一步地，所述遥感影像异常检测模型的损失值包括第一损失值、第二损失值、第三损失值和第四损失值；所述第一损失值由无标记遥感影像数据异常分数以及重构数据异常分数确定；所述第二损失值由归属于异常检测样本的无标记遥感影像数据的异常分数和该异常检测样本的伪标签确定；所述第三损失值由无标记遥感影像数据以及重构数据确定；所述第四损失值由自训练特征集的分布以及标准正态分布确定。
7.进一步地，步骤s4包括：s41按照当前的无标记遥感影像数据的异常分数从小到大的顺序将无标记遥感影像数据集进行排序；s42从正序开始筛选，选出m个无标记遥感影像数据，赋予伪标签正常，得到m个正样本，其中m＞1；s43从倒序开始筛选，选出n个无标记遥感影像数据，赋予伪标签异常，得到n个负样本，其中n＞1，且n＜m；s44将正样本和负样本合并得到异常检测样本集。
8.进一步地，所述特征优化算法包括：将无标记遥感影像数据特征集和重构数据特征集作为待优化样本集，待优化特征集包括多个低层特征和一个高层特征；通过背景抑制算法对所述融合特征进行背景抑制，得到背景抑制特征；保持待优化特征集中的底层特征不变，提取待优化特征集中的高层特征，将所述
待优化特征集中的高层特征与背景抑制特征进行拼接，完成待优化特征集的优化。
9.进一步地，所述无监督异常检测算法包括z-score算法、knn算法、lof算法、孤立森林算法。
10.进一步地，所述异常检测特征提取网络包括多个卷积层，所述输出网络包括至少一个全连接层。
11.本发明的优点在于：（1）本发明通过对每次迭代过程的无标记遥感影像数据的异常分数取平均得到最终的异常分数，能够相对准确地表达出每次迭代过程对最终的异常分数的贡献，一定程度上降低了噪声信息对异常检测的影响，提高异常检测的准确性。
12.（2）本发明构建的异常检测模型，通过平均融合算法和特征优化算法增大待检测遥感影像中异常像元与背景像元的区别，提高了异常检测精度。其中平均融合算法旨在凸显遥感影像中的异常像元，增大异常像元的响应；特征优化算法旨在抑制遥感影像中的背景信息，减小背景像元的响应。
附图说明
13.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
14.图1为本发明提供的一种改进的无监督遥感影像异常检测方法的流程图；图2为本发明一具体实施例的遥感影像异常检测模型原理图；图3为本发明一具体实施例的特征优化算法原理图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
16.请参阅图1，本发明提供一种改进的无监督遥感影像异常检测方法，包括：s1 获取无标记遥感影像数据集，所述无标记遥感影像数据集包括多个无标记遥感影像数据。
17.s2 建立遥感影像异常检测模型，包括特征自训练模块、特征融合模块、异常分类模块。
18.所述自训练模块包括编码器、解码器，所述编码器用于对输入的无标记遥感影像数据进行自训练特征提取，得到自训练特征集，所述解码器用于对输入的自训练特征集进行特征重构，得到重构数据；所述特征融合模块基于平均融合算法对输入的自训练特征集进行融合，得到融合特征；所述异常分类模块包括异常检测特征提取网络，特征优化算法、输出网络，所述异
常检测特征提取网络用于对输入的无标记遥感影像数据和重构数据进行异常检测特征提取，得到无标记遥感影像数据特征集和重构数据特征集；所述特征优化算法基于融合特征对无标记遥感影像数据特征集和重构数据特征集进行优化，得到优化的无标记遥感影像数据特征集和优化的重构数据特征集，所述输出网络对优化的无标记遥感影像数据特征集和优化的重构数据特征集进行异常分数计算，得到无标记遥感影像数据的异常分数和重构数据的异常分数。
19.在本发明一个具体实施例中，编码器由resnet-50网络中的第1块resnet-50卷积网络块、第2块resnet-50卷积网络块、第3块resnet-50卷积网络块、第4块resnet-50卷积网络块、第5块resnet-50卷积网络块依次设置组成，其中，卷积层的卷积核大小为(3,3)、卷积步长为(1,1)、卷积核数目为1、激活函数为relu函数；异常检测特征提取网络由resnet-50网络中的第1块resnet-50卷积网络块、第2块resnet-50卷积网络块、第3块resnet-50卷积网络块、第4块resnet-50卷积网络块、第5块resnet-50卷积网络块依次设置组成，其中，卷积层的卷积核大小为(3,3)、卷积步长为(1,1)、卷积核数目为1、激活函数为relu函数；输出网络包括一个100维的全连接层和一个1维的全连接层。
20.需要说明的是，利用异常分类模块结合自训练模块提高自训练模块的性能，旨在生成的重构数据特征不仅能尽可能地拟合无标记遥感影像数据，而且还能做到尽可能地拟合无标记遥感影像数据在异常分类模块上的性能表现。
21.s3 利用无监督异常检测算法对所述无标记遥感影像数据集进行图像异常检测，得到初始的无标记遥感影像数据的异常分数。
22.在本发明一具体实施例中，步骤s3包括：s31利用基于距离的异常检测算法，根据下式得到无监督异常检测结果q1(x)：其中d(x,x’)为x到x’的距离，且x∈x，x’∈s(x)，其中x为无标记遥感影像数据集，s(x)是无标记遥感影像数据集的一个子集。
23.s32利用孤立森林算法，根据下式得到无监督异常检测结果q2(x)：其中，m为特征个数，h(x)为从孤立树的根节点到叶子节点所经过的边的数量，h(i)为调和数，该值可以被估计为ln(i)+0.5772156649，e(h(x))为样本x在一批孤立树中的路径长度的期望。
24.s33分别将q1(x)和q2(x)归一化，得到归一化结果c1(x)和c2(x)：其中，max是无标记遥感影像数据的最大的异常结果，min在无标记遥感影像数据集最小的无标记遥感影像数据异常结果。
25.s34对归一化结果c1(x)和c2(x)求平均值，得到初始的无标记遥感影像数据的异常
分数s0：s4 根据样本筛选策略，基于当前的无标记遥感影像数据的异常分数，对无标记遥感影像数据集进行筛选和伪标签赋予，得到异常检测样本集，所述异常检测样本集包括多个异常检测样本，所述异常检测样本由伪标签和无标记遥感影像数据组成，所述伪标签包括正常和异常两种类型。
26.s41按照当前的无标记遥感影像数据的异常分数从小到大的顺序将无标记遥感影像数据集进行排序；s42从正序开始筛选，选出m个无标记遥感影像数据，赋予伪标签正常，得到m个正样本，其中m＞1；s43从倒序开始筛选，选出n个无标记遥感影像数据，赋予伪标签异常，得到n个负样本，其中n＞1，且n＜m；s44将正样本和负样本合并得到异常检测样本集。
27.在本发明一具体实施例中，假设n为无标记遥感影像数据集中数据的个数，需要筛选出0.3n个的可信度较高的数据赋予伪标签，m取0.2n，n取0.1n。
28.值得说明的是，每次迭代过程产生的异常检测样本集由上一次迭代过程产生的无标记遥感影像数据的异常分数确定，由于无标记遥感影像数据的异常分数在每次迭代过程中不断更新，因此每次迭代产生的新的异常检测样本集将取代旧的异常检测样本集。
29.s5 将异常检测样本集输入遥感影像异常检测模型进行模型训练，得到训练后的遥感影像异常检测模型。
30.s6 利用训练后的遥感影像异常检测模型对所述无标记遥感影像数据集进行异常检测，对无标记遥感影像数据的异常分数进行更新。
31.请参阅图2，在本发明一具体实施例中，遥感影像异常检测模型的训练包括：（1）将无标记遥感影像数据x输入编码器，得到自训练特征集{fs}。
32.（2）将{fs}输入解码器，得到重构数据x'。
33.（3）基于平均融合算法对输入的自训练特征集{fs}进行融合，得到融合特征fr；其中，f
si
为自训练特征集{fs}中第i个自训练特征，k为自训练特征集中自训练特征的总数量。
34.需要说明的是，平均融合算法旨在凸显自训练特征集{fs}中的异常像元，增大异常像元的响应，初步增大异常像元与背景像元的区别。
35.（4）分别将x和x'输入异常检测特征提取网络，得到无标记遥感影像数据特征集{f
x
}，和重构数据特征集{f
x'
}。
36.（5）利用所述特征优化算法对{f
x
}和{f
x'
}进行优化，得到优化的无标记遥感影像数据特征集{f'
x
}，和优化的重构数据特征集{f'
x'
}。
37.特征优化算法包括：
（5-1）将无标记遥感影像数据特征集和重构数据特征集作为待优化特征集，待优化特征集包括多个低层特征和一个高层特征；（5-2）通过背景抑制算法对所述融合特征进行背景抑制，得到背景抑制特征；（5-3）保持待优化特征集的底层特征不变，提取待优化特征集的高层特征，将所述待优化特征集中的高层特征与背景抑制特征进行拼接，完成待优化特征集的优化。
38.请参考图3，以{f
x
}的优化过程详细说明特征优化算法的原理：步骤1，通过背景抑制算法对fr中背景信息进行抑制，得到背景抑制特征f'r；其中，为fr在属性开操作之后的结果，为fr在属性闭操作之后的结果。
39.步骤2，无标记遥感影像数据特征集{f
x
}的组成为{f1,f2,...,f
k-1
,fk}，保持无标记遥感影像数据特征集{f
x
}中的底层特征集{f1,f2,...,f
k-1
}不变，提取待优化特征集的高层特征fk，通过fk与f'r进行拼接对fk进行优化，得到优化的高层特征f'k，将f'k重新与{f1,f2,...,f
k-1
}合并，得到优化的无标记遥感影像数据特征集{f1,f2,...,f
k-1
,f'
xk
}，即{f'
x
}。
40.需要说明的是，背景抑制算法旨在剔除fr中的大面积连通区域，抑制背景信息对异常检测的干扰，特征优化算法旨在通过抑制背景信息和特征拼接抑制{f
x
}的背景信息，进一步增大异常像元与背景像元的区别。
41.（6）分别将f'
x
和f'
x'
输入输出网络，得到无标记遥感影像数据的异常分数s
x
和重构数据的异常分数s
x'
。
42.在本发明一具体实施例中，所述输出网络包括一个100维的全连接层和一个1维的全连接层。
43.s7 迭代执行步骤s4-s6，每次迭代均得到训练后的遥感影像异常检测模型、该训练后的遥感影像异常检测模型的模型精确度和无标记遥感影像数据的异常分数，根据相邻两次迭代的模型精确度计算变化值，判断变化值是否满足迭代停止条件，若满足，则停止迭代。
44.需要说明的是，如果在迭代过程中，把新的异常检测样本集加入旧的异常检测样本集作为监督信息进行模型训练，实验表明，由于异常检测样本集的伪标签有明显的噪声，异常检测精度会大大降低。所以，在每次迭代过程中，我们没有保留旧的异常检测样本集，直接根据每次迭代过程中得到的无标记遥感影像数据的异常分数重新选取无标记遥感影像数据并赋予其伪标签，作为新的异常检测样本集进行新一轮的迭代训练，达到降低标签噪声对模型训练的影响的目的。
45.s8分别对每个无标记遥感影像数据在迭代过程中得到的所有异常分数求平均值，得到无标记遥感影像数据的最终异常分数。
46.在本发明一具体实施例中，无标记遥感影像数据x在第i迭代过程中得到的异常分数为si(x)，无标记遥感影像数据的最终异常分数s(x)表示为：其中，t为迭代的总次数。
47.需要说明的是，通过对每次迭代过程的无标记遥感影像数据的异常分数取平均得到最终的异常分数，能够相对准确地表达出每次迭代过程对最终的异常分数的贡献，一定程度上降低了噪声信息对异常检测的影响，提高异常检测的准确性。
48.s9 根据无标记遥感影像数据的最终异常分数，得到所述无标记遥感影像数据集中的异常遥感影像数据和正常遥感影像数据。
49.在本发明一具体实施例中，设置一个阈值a，当无标记遥感影像数据x的最终异常分数大于a时，认为x是异常遥感影像数据，当无标记遥感影像数据x的最终异常分数小于a时，认为x是正常遥感影像数据。
50.本发明所述的异常检测模型的损失值包括第一损失值、第二损失值、第三损失值和第四损失值；所述第一损失值由无标记遥感影像数据的异常分数以及重构数据的异常分数确定；所述第二损失值由归属于异常检测样本的无标记遥感影像数据的异常分数和异常检测样本的伪标签确定；所述第三损失值由无标记遥感影像数据以及重构数据确定；所述第四损失值由自训练特征集的分布以及标准正态分布确定。
51.在本发明一具体实施例中，异常检测网络的总损失值包括第一损失值l1、第二损失值l2、第三损失值l3和第四损失值l4，构造过程如下：（1）基于无标记遥感影像数据的异常分数以及重构数据的异常分数确定确定第一损失值l1：其中，s
x
为无标记遥感影像数据x的异常分数，s
x'
为重构数据x'的异常分数。
52.（2）基于归属于异常检测样本的无标记遥感影像数据的异常分数和异常检测样本的伪标签确定第二损失值l2；其中，x为归属于异常检测样本的无标记遥感影像数据，y为异常检测样本的伪标签，当y为正常时，sy=0，当y异常时，sy=1。
53.（3）基于无标记遥感影像数据以及重构数据确定第三损失值l3；其中，x为无标记遥感影像数据，x'为重构数据。
54.（4）基于自训练特征集的分布以及标准正态分布确定第四损失值l4；其中，μ
x
和σ
x2
分别是f
x
的均值和方差，n(0,1)是均值为0，方差为1的标准正态分布；（5）基于l1、l2、l3和l4确定总损失值l
all
：综上所述，利用自训练的思想充分挖掘和利用数据本身信息，一定程度上解决了
传统无监督异常检测算法级别精度低的问题，降低了伪标签噪声对模型训练的影响，既满足检测精度方面的要求，又能够节省人力打标成本。
55.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。