一种基于字典表示的分步式异常检测方法与流程

【技术领域】

本发明属于图像数据处理或分析技术领域，尤其涉及一种基于字典表示的分步式异常检测方法。

背景技术：

空军在未来战争中处于非常重要的位置，而飞机的性能就显得尤为重要。被称为飞机“心脏”的发动机是飞机的性能保障，发动机叶片又被誉为“心脏中的心脏”。发动机叶片在高压腐蚀性燃气的冲击下高速旋转，除了要承受频率、幅度变化巨大的交变拉应力和扭转应力，还要受到热腐蚀、高温氧化作用和机械磨损，工作环境非常恶劣。叶片如果出现裂纹缺陷会影响整个涡轮发动机的正常运行，甚至产生严重后果。

叶片裂纹是危害飞行安全的重要因素，即使是微小裂纹对飞机都可能造成严重的后果，也是飞机主要的损伤模式之一。据美国空军后勤中心(alc)对二十多种现役飞机的详细调查显示，裂纹占飞机全部损伤事故的30％。能否快速准确地检测叶片裂纹，对于缩短战场抢修时间、保障飞机的完好率具有十分重要的意义。

目前国内航空工厂对叶片的检测手段还比较落后，仅限于目视检测或模板检测等传统方法，这些方法具有容易受人为因素影响、检测效率低下、检测精度不高的缺点。另外，已有的基于数据库的检测方法，选择样本大，处理时间长，精度低。所以，亟需我们探索更高效的检测叶片裂纹的新手段和新途径，既可以提升军用或民用航空发动机的生产效率和产品质量，提高发动机安全性和可靠性能；对于现役的飞机能缩短飞行器的停飞检修时间，提高其利用率；还能对叶片损伤进行预先诊断和预防灾害性故障，减少战机和飞行员的损伤。

技术实现要素：

本发明的目的是提供一种基于字典表示的分步式异常检测方法，该检测方法识别效果好、时间复杂度低，虚检率低。

本发明采用以下技术方案：一种基于字典表示的分步式异常检测方法，该检测方法包括以下步骤：

步骤s1、选取待测试样本，提取待测试样本图像特征；

步骤s2、运用正常字典，对步骤s1中的待测试样本图像特征进行一次重构，精确提取出部分正常测试样本，剩余的样本为一次存疑测试样本；

步骤s3、运用异常字典，对步骤s2中的一次存疑测试样本进行二次重构，精确提取出部分异常样本，剩余的为二次存疑测试样本；

步骤s4、运用正常字典和异常字典堆叠的双字典，对步骤s3中的二次存疑测试样本进行三次重构，由双字典重构误差或重构后的系数分布判别二次存疑测试样本为正常样本或异常样本。

进一步地，还包括：在上述步骤s1前构建正常字典和异常字典；

构建正常字典的过程如下：获取大量正常样本的单一特征或者多种特征的组合特征，构建具有过完备性的正常样本特征库，即得；

构建异常字典的过程如下：获取含异常特点的非正常样本的单一特征或者多种特征的组合特征，构建异常样本特征库，即得。

进一步地，在上述步骤s2中，一次重构的具体过程如下：

步骤s21、设计表示模型：建立基于稀疏表示或协同表示的异常目标检测模型，将正常字典和步骤s1中待测试样本的图像特征作为模型的输入；

步骤s22、求解步骤s21中的表示模型：对稀疏表示模型或协同表示模型求解重构系数，得第一重构误差；

步骤s23、设计并训练第一输出函数，将第一重构误差设为训练后的第一输出函数的输入，与预先设定的第一阈值进行数值比较，若第一重构误差小于第一阈值，则此类样本判定为正常样本；若第一重构误差大于等于第一阈值，则判定此类样本为一次存疑测试样本。

进一步地，在步骤s3中，对一次存疑测试样本进行二次重构的具体过程如下：

步骤s31、设计二次表示模型：建立基于稀疏表示或协同表示的异常目标检测模型，将步骤s2中的一次存疑测试样本特征和异常字典作为输入；

步骤s32、求解二次表示模型：对稀疏表示模型或协同表示模型求解重构系数，得第二重构误差；

步骤s33、设计并训练第二输出函数，将第二重构误差设为训练后的第二输出函数的输入，与预先设定的第二阈值进行数值比较；若第二重构误差小于第二阈值，则此类样本判定为异常样本；若第二重构误差大于等于第二阈值，则说明测试样本为二次存疑测试样本。

进一步地，在步骤s4中，对二次存疑测试样本的特征进行第三次检测，具体步骤包括：

步骤s41、设计三次表示模型：建立基于稀疏表示或协同表示的异常目标检测模型，将步骤s3中的二次存疑测试样本特征和双字典作为输入；

步骤s42、求解表示模型：对稀疏表示模型或协同表示模型求解第三重构系数及重构误差；

步骤s43、设计并训练第三输出函数，将第三重构误差或第三重构系数设为训练后的第三输出函数的输入，以判定样本为正常样本或异常样本。

进一步地，在步骤s43中，当将第三重构误差作为输入时，判定样本为正常样本或异常样本的具体过程为：计算基于正常字典的第三重构误差与基于异常字典的第三重构误差之间的差值，并与预先设定的第三阈值进行数值比较，当大于等于第三阈值时，则此类样本判定为异常样本；小于第三阈值时，则此类样本判定为正常样本；或将基于正常字典的第三重构误差与基于异常字典的第三重构误差进行数值比较，由差值进行判断，当差值为正值时，则此类样本判定为异常样本；当差值为负值时，则此类样本判定为正常样本。

进一步地，在步骤s43中，当将第三重构系数作为输入时，判定样本为正常样本或异常样本的具体过程为：将所述第三重构系数送入训练后的监督分类器，根据所述分类器的测试结果，判定样本为正常样本或异常样本。

进一步地，对监督分类器进行训练的过程如下：构建训练样本，利用双字典对训练样本进行稀疏表示或协同表示重构，得正常重构系数和异常重构系数，将正常重构系数和异常重构系数作为监督分类器的输入，得训练后的监督分类器。

进一步地，在步骤s1中，运用与构建正常字典以及异常字典同样的方法获取待测试样本的单一特征或者多种特征的组合特征，作为测试样本特征。

本发明的有益效果是：1、本发明基于绝大多数样本都属于正常样本的事实，建立快速筛选机制。通过第一次重构，将95％以上的样本判定为正常样本，快速排除掉，降低了检测的时间能耗与人工能耗。

2、本发明中一次重构、检测后，先去除大部分的正常样本，剩余的为存疑测试样本，此时测试样本较小；然后对一次存疑的测试样本进行二次重构、检测。基于二次检测的结果，进一步对二次存疑的测试样本进行三次重构、检测。利用基于多种字典表示模型下的检测过程，对可能为异常的样本从正常字典、异常字典以及双字典等不同角度进行表示、分析，逐步提取异常样本，利用多字典表示模式下的二次或三次复检大大降低了异常样本的漏检率，且确保了异常检测的准确率，提高了算法的鲁棒性。

【附图说明】

图1为本发明实施的检测框架图；

图2为本发明基于表示模型的异常检测算法的示意图；

图3为本发明实施例中的检测流程图。

【具体实施方式】

下面结合附图和具体实施方式对本发明进行详细说明。

本发明公开了一种基于字典表示的分步式异常检测方法，如图1所示，该检测方法包括以下步骤：

步骤s1、选取待测试样本，提取待测试样本图像特征；具体为：运用与构建正常字典以及异常字典同样的方法获取待测试样本的单一特征或者多种特征的组合特征，作为测试样本特征。

在步骤s1前构建正常字典和异常字典，构建正常字典的过程如下：获取大量正常样本的单一特征或者多种特征的组合特征，正常样本即为训练样本，构建具有过完备性的正常样本特征库，即得；构建异常字典的过程如下：获取含异常特点的非正常样本的单一特征或者多种特征的组合特征，构建异常样本特征库，即得。

步骤s2、运用正常字典，对步骤s1中的待测试样本图像特征进行一次重构，精确提取出部分正常测试样本，剩余的样本为一次存疑测试样本；一次重构的具体过程如下：

步骤s21、设计表示模型：建立基于稀疏表示或协同表示的异常目标检测模型，将正常字典和步骤s1中待测试样本的图像特征作为模型的输入；

步骤s22、求解步骤s21中的表示模型：对稀疏表示模型或协同表示模型求解重构系数，得第一重构误差；

步骤s23、设计并训练第一输出函数，将第一重构误差设为训练后的第一输出函数的输入，与预先设定的第一阈值进行数值比较，若第一重构误差小于第一阈值，则此类样本判定为正常样本；若第一重构误差大于等于第一阈值，则判定此类样本为一次存疑测试样本。

其中，第一阈值的设定过程如下：扩展第二训练样本，以及每个样本对应的类别标签，即正常样本以及异常样本。建立基于稀疏表示或协同表示的目标检测模型，将正常字典和新的训练样本的图像特征作为模型的输入；对稀疏表示模型或协同表示模型求解重构系数，得正常字典重构误差。在正常字典重构误差的最小值与最大值之间，选取若干个值作为正常字典候选阈值。根据检测准确率、虚警率检测性能，最终确定出第一阈值。

步骤s22、求解步骤s21中的表示模型：对稀疏表示模型或协同表示模型求解重构系数，得第一重构误差；

步骤s3、运用异常字典，对步骤s2中的一次存疑测试样本进行二次重构，精确提取出部分异常样本，剩余的为二次存疑测试样本。

对一次存疑测试样本进行二次重构的具体过程如下：

步骤s31、设计二次表示模型：建立基于稀疏表示或协同表示的异常目标检测模型，将步骤s2中的一次存疑测试样本特征和异常字典作为输入；

步骤s32、求解二次表示模型：对稀疏表示模型或协同表示模型求解重构系数，得第二重构误差；

步骤s33、设计并训练第二输出函数，将第二重构误差设为训练后的第二输出函数的输入，与预先设定的第二阈值进行数值比较；若第二重构误差小于第二阈值，则此类样本判定为异常样本；若第二重构误差大于等于第二阈值，则说明测试样本为二次存疑测试样本。

其中，第二阈值的设定过程如下：扩展第二训练样本，以及每个样本对应的类别标签，即正常样本以及异常样本。建立基于稀疏表示或协同表示的目标检测模型，将异常字典和新的训练样本的图像特征作为模型的输入；对稀疏表示模型或协同表示模型求解重构系数，得异常字典重构误差。在异常典重构误差的最小值与最大值之间，选取若干个值作为异常字典候选阈值。根据检测准确率、虚警率检测性能，最终确定出第二阈值。

步骤s4、运用正常字典和异常字典堆叠的双字典，对步骤s3中的二次存疑测试样本进行三次重构，由双字典重构误差或重构后的系数分布判别二次存疑测试样本为正常样本或异常样本。对二次存疑测试样本的特征进行第三次检测的具体步骤包括：

步骤s41、设计三次表示模型：建立基于稀疏表示或协同表示的异常目标检测模型，将步骤s3中的二次存疑测试样本特征和双字典作为输入；

步骤s42、求解表示模型：对稀疏表示模型或协同表示模型求解第三重构系数及重构误差；

步骤s43、设计并训练第三输出函数，将第三重构误差或第三重构系数设为训练后的第三输出函数的输入，以判定样本为正常样本或异常样本。

在上述步骤s43中，当将第三重构误差作为输入时，判定样本为正常样本或异常样本的具体过程为：计算基于正常字典的第三重构误差与基于异常字典的第三重构误差之间的差值，并与预先设定的第三阈值进行数值比较，当大于等于第三阈值时，则此类样本判定为异常样本；小于第三阈值时，则此类样本判定为正常样本；或将基于正常字典的第三重构误差与基于异常字典的第三重构误差进行数值比较，由差值进行判断，当差值为正值时，则此类样本判定为异常样本；当差值为负值时，则此类样本判定为正常样本。

其中，第三阈值的确定过程如下；扩展第二训练样本，以及每个样本对应的类别标签，即正常样本以及异常样本。求解双字典重构误差，选取若干个小于最大双字典重构误差的值作为双字典候选阈值。根据检测准确率、虚警率检测性能，最终确定出第三阈值。

在步骤s43中，当将第三重构系数作为输入时，判定样本为正常样本或异常样本的具体过程为：将所述第三重构系数送入训练后的监督分类器，根据所述分类器的测试结果，判定样本为正常样本或异常样本。对监督分类器进行训练的过程如下：构建训练样本，利用双字典对训练样本进行稀疏表示或协同表示重构，得正常重构系数和异常重构系数，将正常重构系数和异常重构系数作为监督分类器的输入，得训练后的监督分类器。分类器选择svm或knn或决策树。训练样本中，正常样本的特征重构后的系数记为正常重构系数，异常样本的特征重构后的系数记为异常重构系数。

将本发明中的方法应用于发动机叶片的检测，，选用的数据集是自行采集的发动机叶片的图像，一共包含2000张图像。首先，对采集获得的数据样本进行标注，无裂纹或缺陷存在的为正常数据样本，包含裂纹或缺陷的为异常数据样本。该实例中，包含1500个正常数据样本以及500个异常数据样本。选取150个正常叶片，获取所有正常叶片的多种特征的组合特征，提取图像的颜色特征、纹理特征、轮廓特征、区域特征以及空间关系等特征。并根据待检测正常样本与异常样本的具体差异，选择某种单一特征作对样本进行描述；或者选择两个或三个特征，通过以下两种方式得到组合特征对样本进行描述：(1)多个特征进行相乘、相除等运算，得到组合特征。(2)多个特征向量进行拼接，得到一个更大规模的组合特征。构建具有过完备性的正常叶片特征库，得正常字典；选取50个异常叶片，获取异常叶片的非正常样本的单一特征或者多种特征的组合特征，构建异常样本特征库，即得异常字典。剩余1350个正常叶片以及450个异常叶片均作为待测试叶片。其次，本实施例中，选择协同表示或稀疏表示模型对待测试叶片进行表示。若选择协同表示模型，则利用最小二乘法求解重构系数。若选择稀疏表示模型，则利用omp求解重构系数。待求得重构系数后，利用正常字典或异常字典与对应的重构系数对测试样本进行重构，求得重构误差。并根据重构误差判断叶片的属性，即正常或异常。

选取待检测叶片，提取待检测叶片图像特征，假设待检测叶片的特征表示为x∈r^b，字典表示为a∈r^b×n，其中，n表示字典的规模，b表示字典中原子的维度，即本发明中选择的特征的维度，则协同表示模型的目标函数可以表示为下式(1)：

其中，||·||2表示l2范数，λ表示正则化系数，γ∈rⁿ表示重构系数，可以通过如下公式(2)近似估计：

而稀疏表示模型的目标函数表示如下式(3)：

其中，||·||2、||·||0分别表示l2范数、l0范数，k0表示稀疏度，其规定重构系数γ∈rⁿ中非零值的个数不得超过k0个。本实例中，将k0设置为5。上式可以通过omp算法近似估计，求得重构系数

利用协同表示或者稀疏表示获取到系数的近似估计后，重构误差的计算方式相同，具体如下公式(4)所示：

比较公式(4)获取的重构误差与设定阈值之间的关系，进而给出叶片的检测结果。最终检测出464个异常叶片，其中包含450个异常叶片，以及14个正常叶片。异常叶片的检出率高达100％，虚检个数少。如果采用现有技术中普遍采用的方法，即采用双字典的方法对初始样本直接进行异常叶片的检测，在检出率为100％时，虚检为50个左右。

采用本发明中的方法，一次重构、检测后，先去除大部分的正常样本，剩余的为存疑测试样本，此时测试样本较小，字典规模小，运算简单，运算时间短。然后利用多字典表示模式下的二次或三次复检，大大降低了异常样本的漏检率。