一种基于深度学习的蜂窝复合材料缺陷分类方法与流程

本发明属于材料缺陷检测领域，具体涉及一种基于深度学习的蜂窝复合材料缺陷分类方法。

背景技术：

国际上积极开展红外热成像无损检测技术的研究，一直处于该领域的前沿，在光脉冲、超声激励红外热成像方面取得了很多实际有用的研究成果，广泛应用于飞机复合材料构件内部缺陷及胶接质量的检测、冲击损伤检测以及蒙皮铆接质量检测等。90年代，美国韦恩州立大学hanx.y.等人就将红外热成像检测技术用于飞机蜂窝结构复合材料脱粘、分层、积水、积油、冲击损伤等缺陷的检测。提取不同液体及噪声区域的降温数据并取对数，得到对数降温曲线，根据比较不同液体的对数降温曲线，实现了对表面下不同液体类型的定性区分。

随着人工智能的发展，人们开始将传统机器学习引入红外无损检测技术帮助探测缺陷。科研成果表明，将传统的机器学习算法应用到红外热成像缺陷检测是可行的，不仅能有效的进行缺陷检测，还减少了人工干预，有利于缺陷检测的自动化和智能化。但是研究主要集中在将传统的机器学习算法应用于缺陷检测、缺陷深度和尺寸测量中。暂没有发现将深度学习应用于红外热成像检测复合材料皮下缺陷检测，实现缺陷检测和缺陷类型的智能化识别，对促进红外热成像技术在工业自动化检测具有十分重要的意义。

蜂窝结构材料具有强度重量比高、抗疲劳性能好、制造成本低等独特的力学性能，在商用和军用飞机上有着广泛的应用。但不同类型的异常，如脱胶、粘结性差或粘结性差，都会严重影响其力学性能。同时，由于飞机零部件可能出现密封不良或表面损伤，空心芯结构容易受到液体侵入。这个问题引起了人们对飞机安全的极大关注。机身内少量进水通常是可以容忍的，而蜂窝结构舵内大量滞留水则会导致飞机控制问题。此外，蜂窝部件液压油的出现可能是液压系统故障的早期征兆，严重影响飞行安全。因此、分辨出滞留的液体是水还是油是尤为重要的。而多胶缺陷是在制造过程中产生，需要在出厂过程中淘汰。脱粘缺陷主要是因为飞机在受到冲击损伤会导致蒙皮破损影响结构的稳定性。

因此，有必要研究一种深度学习模型对蜂窝复合材料的内部缺陷进行检测分类的技术。

技术实现要素：

本发明提供一种基于深度学习的蜂窝复合材料缺陷分类方法，采用高能氙灯或卤素灯对试件施加热激励，通过红外热像仪采集训练试件的热图序列并分解为表面各像素采集点的温度时间序列，然后结合已知的训练试件的表面各像素采集点的内部缺陷类型，训练rnn模型得到蜂窝复合材料缺陷检测模型，能降低人工因素干扰对蜂窝复合材料的内部缺陷类型的检测分类，而且快速、准确。

为实现上述技术目的，本发明采用如下技术方案：

一种基于深度学习的蜂窝复合材料缺陷分类方法，包括以下步骤：

步骤1，获取蜂窝复合材料作为训练试件，且已知训练试件表面的各像素采集点的内部缺陷类型；

步骤2，采用高能氙灯或卤素灯对训练试件进行热激励，采用红外热像仪采集训练试件表面在受到热激励后的热图序列，其中热图序列包括一组时间连续的热图，所述热图表示训练试件表面在当前时刻的温度分布图；

步骤3，将热图序列分解为训练试件表面的各像素采集点的温度时间序列；

步骤4，以像素采集点的温度时间序列和相应的内部缺陷类型作为训练数据，对rnn模型进行训练，得到蜂窝复合材料缺陷检测模型；

步骤5，按步骤1-3获取待检测蜂窝复合材料表面的各像素采集点的温度时间序列，并输入至步骤4得到的蜂窝复合材料缺陷检测模型，得到待检测蜂窝复合材料表面的各像素采集点的内部缺陷类型。

本方案通过红外热像仪采集蜂窝复合材料表面的热图序列，并分解得到蜂窝复合材料表面各像素采集点的温度时间序列，即温度变化曲线，而蜂窝复合材料的内部缺陷改变对应的表面像素采集点的温度变化曲线，因此以已知内部缺陷类型的像素采集点的温度时间序列作为样本数据，训练得到的蜂窝复合材料缺陷检测模型，可以自动识别蜂窝复合材料表面各像素采集点的内部缺陷类型，避免人工因素对检测结果的影响。

进一步地，在步骤3之前还包括对热图序列中的热图进行图像预处理，其中图像预处理的具体处理方法为以下任意一种：减背景、热信号重建、系数拟合、绝对差分对比、傅里叶变换、小波变换、一阶微分、二阶微分、主成分分析。

本方案对热图序列进行减背景等预处理，可以降低非内部缺陷造成的热不均匀现象，降低环境因素对检测结果的影响，提高检测结果的信噪比，有利于rnn模型对缺陷特征的识别，进而提高训练得到的蜂窝复合材料缺陷检测模型对缺陷检测分类的正确率。

进一步地，所述缺陷类型包括：积水、积油、脱胶、多粘和无缺陷。

进一步地，所述高能氙灯或卤素灯对蜂窝复合材料进行热激励的加热能量、热图序列的采集时间及采集频率，均根据检测内部缺陷的深度、蜂窝复合材料的热传导系数进行设置。

进一步地，所述rnn模型包括隐藏层和输出层，输出层的神经元数量与内部缺陷类型的数量相同，通过训练rnn模型确定蜂窝复合材料缺陷检测模型的偏差和权重。

进一步地，在步骤3之前包括将得到的所有温度时间序列分组为训练集和验证集；步骤4对rnn模型进行训练包括：使用训练集对rnn模型进行训练得到训练集正确率，使用验证集对训练得到的蜂窝复合材料缺陷检测模型进行验证得到验证集正确率，根据训练集正确率和验证集正确率，验证蜂窝复合材料缺陷检测模型是否合格：若训练集正确率和验证集正确率均位于预设范围内，则执行步骤5；否则调整隐藏层的层数、每个隐藏层的神经元数量、正则化和训练数据的数量，返回步骤4，重新训练蜂窝复合材料缺陷检测模型。

进一步地，所述rnn模型具体采用lstm模型。

有益效果

本发明通过红外热像仪采集蜂窝复合材料表面的热图序列，并分解得到蜂窝复合材料表面各像素采集点的温度时间序列，即温度变化曲线，而蜂窝复合材料的内部缺陷改变对应的表面像素采集点的温度变化曲线，因此以已知内部缺陷类型的像素采集点的温度时间序列作为样本数据，训练得到的蜂窝复合材料缺陷检测模型，可以自动识别蜂窝复合材料内部缺陷类型，避免人工因素对检测结果的影响。

附图说明

图1为本发明所述方法的流程示意图；

图2为本发明实施例中待检测蜂窝复合材料真实的缺陷标签表面映射图；

图3为本发明实施例第一次实验得到的内部缺陷分类位置示意图；

图4为本发明实施例第一次实验得到的分类正确率混淆矩阵图；

图5为本发明实施例第二次实验得到的内部缺陷分类位置示意图；

图6为本发明实施例第二次实验得到的分类正确率混淆矩阵图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。

本发明提供一种基于深度学习的蜂窝复合材料缺陷分类方法，如图1所示，包括以下步骤：

步骤1，获取已知内部缺陷位置和类型的蜂窝复合材料作为训练试件；其中，已知训练试件表面各像素采集点所对应的内部缺陷类型，缺陷类型包括：积水、积油、脱胶、多粘和无缺陷，缺陷可能分布于任意位置处。

在所有训练试件的所有表面像素采集点中，要求涵盖每种内部缺陷类型；且每种内部缺陷类型均对应试件表面数百个像素采集点。

步骤2，采用高能氙灯或卤素灯对训练试件进行热激励，采用红外热像仪采集训练试件表面在受到热激励后的原始热图序列，其中原始热图序列包括一组时间连续的热图，所述热图表示训练试件表面在当前时刻的温度分布图；

采用高能氙灯或卤素灯对训练试件进行热激励，在训练试件表面产生均匀面热源，热向试件内部传播，试件内部结构以及内部缺陷如积水、积油、脱胶、多粘、分层等，会影响热在试件内部的传播，从而影响不同时刻的表面温度场分布。采用红外热像仪采集和记录试件表面随时间变化的温度场分布，即原始热图序列。

所述高能氙灯或卤素灯对蜂窝复合材料进行热激励的加热能量，热图序列的采集时间及采集频率，均根据检测内部缺陷的深度、蜂窝复合材料热传导系数进行设置。

蜂窝复合材料越厚，内部缺陷所在的位置离被检测面越远，即要检测的内部缺陷的深度越深，所需要的加热能量越高。蜂窝复合材料越厚，内部缺陷可能所在的位置离表面越远，即要检测的内部缺陷的深度越深，吸收的加热能量从表面传递到内部缺陷位置处所需要的时间越长，因此要求对原始热图的采集时间越长。

针对蜂窝结构材料来说，蒙皮越厚，蒙皮材料导热系越小，采集时间需越长，采集频率可适当降低。如果不考虑采集的数据量太大的问题，不降低也可以，对检测结果没影响。

如果蜂窝结构材料的被检测面可见光吸收率和红外发射率低，如抛光铝材料，可在被检测面进行提高可见光吸收率和红外发射率的处理，如喷涂水溶性黑漆或者覆膜。

在实际应用中，采集时间以各像素点的温度时间序列趋于平稳为界限，采集频率以能探测到近表面需要检测的缺陷为界限。针对蜂窝结构复合材料的蒙皮为金属、合金或复合材料，厚度一般大于0.5毫米，小于10毫米，采集频率常见在10-200hz之间。

步骤2.5，对原始热图序列进行预处理，得到预处理热图序列；

在实际检测中，在表面加热和试件内部加热不均匀，以及试件因为各种材料性质的比热容不同、导致初始温度有差异，使得红外热像仪采集到的原始热图序列由于三维热扩散的影响导致缺陷边缘模糊。

蜂窝复合材料受到热激励后，理论上会在表面形成一个均匀面热源，但在实际检测中，通常会存在加热不均匀现象，故本发明对原始热图序列进行预处理可以去除加热不均匀的影响，降低三维热扩散影响造成的缺陷显现模糊，提高信噪比。从而有利于rnn模型对缺陷特征的识别，进而提高训练得到的蜂窝复合材料缺陷检测模型对缺陷检测分类的正确率。

其中，在本发明中，对原始热图序列进行预处理，可具体采用减背景处理方法，当然也可以采用其他数据预处理方法，如热信号重建、系数拟合、绝对差分对比、傅里叶变换、小波变换、一阶微分、二阶微分、主成分分析等。由于以上各种数据预处理方法，均为现有技术，此处不再赘述具体的处理方法。

步骤3，将预处理热图序列分解为训练试件表面各像素采集点的温度时间序列，并将像素采集点的温度时间序列分组为训练集和验证集；

为拍摄到训练试件表面的全部像素点，红外热像仪所拍摄到的原始热图一般都超过训练试件的表面，即得到的原始热图的边界为外部环境，故本发明根据经验对得到的原始热图序列中的热图依次进行尺寸裁剪，使裁剪后的热图以及对应得到的预处理热图中的所有像素点均为训练试件表面的像素采集点。在本实施例中，红外热像仪的采集像素为320*240像素，因此每张原始热图中包括320*240个像素点，在经过包括裁剪等的预处理后，每张预处理热图包括230*192个像素点，且预处理热图中的各像素点的像素值为训练试件表面各像素采集点在当前热图时刻的温度值。因此，预处理热图序列，实际为训练试件表面各像素采集点的温度时间序列的集合，故可将预处理热图序列分解为训练试件表面各像素采集点的温度时间序列。

步骤4，以所有像素采集点的温度时间序列和相应的内部缺陷类型作为训练数据，对rnn模型进行训练，得到蜂窝复合材料缺陷检测模型，同时可自动得到蜂窝复合材料缺陷检测模型的训练正确率；

具体的，训练试件上每种缺陷类型的像素采集点数量，与训练试件大小以及各种类型缺陷所占的像素点大小有关。本实施例中，各类缺陷的像素点在600-1500左右。对于深度学习来说，像素采集点越多，训练得到的模型对缺陷类型的判断结果越准确，但是得考虑数据的平衡，某一缺陷类型所占的像素采集点过多或者过少，都会影响模型检测正确率。本实施例中，积水缺陷的全部像素采集点数量在600左右，而脱胶缺陷或多粘缺陷所占的像素采集点数量是积水缺陷所占像素采集点数量的好几倍，数据量相差过大，故针对脱胶缺陷和多粘缺陷，只选取了部分像素采集点的数据作为训练数据。再有大量的数据情况下，训练数据希望来自于不同的试件，数据量越多越好。本实施案例进行两次独立性实验，选择积水缺陷和积油缺陷的所有像素采集点，选择脱胶缺陷、多粘缺陷以及无缺陷三种类型的部分像素采集点，将其温度时间序列和相应的内部缺陷类型作为样本数据。

在本实施例中，rnn模型具体采用lstm模型，且lstm模型包括lstm隐藏层和由5个神经元构成的输出层，输出层的每个神经元对应1种缺陷类型，通过像素采集点的温度时间序列和相应的内部缺陷类型作为训练数据，训练lstm模型确定蜂窝复合材料缺陷检测模型的偏差和权重，得到蜂窝复合材料缺陷检测模型。具体地，在训练试件表面由人工标记各种缺陷类型，并记录各种缺陷类型对应到训练试件表面处的位置坐标。在训练rnn模型时，将训练试件表面各像素采集点的温度时间序列和相应的缺陷类型，输入至rnn模型，从而对rnn模型进行训练。

rnn是深度学习中的一种，主要用于处理序列数据。rnn区别bp网络在于隐藏层之间的连接，跨越了时间点，也就是在所有时间步骤中参数共享来学习过去重复出现的数据，隐藏层不仅与输入的信息数据有关，而且还受到上一时间隐藏层信息的影响，然后经过激活函数，获得输出层的结果。而本实施例的lstm属于rnn的一种，由于lstm具有较好的结构特性，相对于其他rnn模型，能更好地学习到时间较远的信息，解决梯度消失的问题。

其中对lstm模型进行训练包括：使用训练集对lstm模型进行训练得到训练集正确率，使用验证集对训练得到的蜂窝复合材料缺陷检测模型进行验证得到验证集正确率，根据训练集正确率和验证集正确率，验证蜂窝复合材料缺陷检测模型是否合格：若训练集正确率和验证集正确率均位于预设范围内，则执行步骤5；否则调整lstm隐藏层的网络复杂度、正则化和训练数据的数量，返回步骤4，重新训练蜂窝复合材料缺陷检测模型。其中，网络复杂度是指lstm隐藏层的层数以及每个lstm隐藏层的神经元数量，另外正则化属于公知技术，此处不再赘述。

调整lstm隐藏层的网络复杂度、正则化和样本数量的规则为：若在模型训练过程中，训练集正确率逐渐增大，而验证集正确率反而逐渐减小，则蜂窝复合材料缺陷检测模型过拟合，此时减少lstm隐藏层网络复杂度、正则化或增加样本数量，并返回重新执行步骤4，重新训练蜂窝复合材料缺陷检测模型；若在模型训练过程中，训练集正确率低于预设值，则蜂窝复合材料缺陷检测模型欠拟合，此时增加lstm隐藏层网络复杂度，并返回执行步骤4，重新训练蜂窝复合材料缺陷检测模型。

步骤5，按步骤1-3获取待检测蜂窝复合材料表面的各像素采集点的温度时间序列，并输入至步骤4得到的蜂窝复合材料缺陷检测模型，得到待检测蜂窝复合材料表面各像素采集点的内部缺陷类型。

在本发明中，待检蜂窝复合材料表面的各像素采集点的温度时间序列，可按行列顺序从热图序列中分解提取出来，然后依次输入至蜂窝复合材料缺陷检测模型进行检测分类，再对输出的各像素点的内部缺陷类型进行行列排列，即可得到与待检蜂窝复合材料的表面呈像素点对应的内部缺陷位置分布图，如图3所示，且该内部缺陷位置分布图的各像素点的像素，表示待检蜂窝复合材料表面的各像素采集点的内部缺陷类型。又由于每个内部缺陷反应到蜂窝复合材料表面，是由数百个像素点聚集形成，因此得到的内部缺陷位置分布图上能显示出每个内部缺陷的大小。因此本发明方法可进一步得到待检测蜂窝复合材料的每个内部缺陷的类型以及具体位置和大小。

将图3所示的得到的内部缺陷位置分布图，与图2所示的真实缺陷标签表面映射图进行比较，可得出本发明方法对蜂窝复合材料内部缺陷的检测，在缺陷的位置、类型以及大小，基本上保持一致。图4所示的分类正确率，也同时说明本发明方法对蜂窝复合材料内部缺陷检测的正确率较高。因此，本发明方法可广泛应用于蜂窝复合材料的内部缺陷检测，解决目前无法对材料皮下缺陷检测的困难。

本实例进行了两次独立性实验实验。第一次实验将水和油注入10个相邻的蜂窝孔模拟积水积油的缺陷，得到图3所示的内部缺陷位置分布图以及图4所示的测试标签与真实标签的分类正确率归一化混淆矩阵图。第二次实验将水和油注入7个相邻的蜂窝孔模拟积水积油，对其内部缺陷进行检测分类，得到图5所示的内部缺陷位置分布图以及图6所示的测试标签与真实标签的分类正确率归一化混淆矩阵图。其中两次实验，不同点在于水、油蜂窝孔滴灌数量的多少，第一次实验为10孔，第二次实验为7孔，两次实验对每个蜂窝孔注入等量液体，即两次实验中积水缺陷的面积和积油缺陷的面积不同。

以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。