基于红外多特征融合的复合材料缺陷自动识别与度量方法

本发明涉及复合材料无损检测领域，主要涉及一种基于红外多特征融合的复合材料缺陷自动识别与度量方法。

背景技术：

1、复合材料由于其轻质、高比强度和耐损伤等特性，在包括航空航天、交通、医疗和能源等在内的各个领域广泛应用。然而，在复合材料的制造和服役过程中，不可避免地会产生一些缺陷，例如分层、空隙和层间夹杂物等，这些缺陷可能会直接影响到复合材料的材料连续性和结构受力功能，严重情况下会导致构件失效，引发重大的安全事故。尤其是对于一些重型构件(如航空机身和风力发电机叶片)，通常要求对复合材料进行100％的无损检测，以确保其高质量、高可靠性和高性能的特性。因此，复合材料中的缺陷检测一直是确保其在应用中安全性和可靠性的重要且备受关注的问题。

2、复合材料无损检测技术旨在不伤及被检测对象的使用性能下对材料进行非破坏性检测，目前常用的复合材料无损检测方法包括超声波检测，x射线检测和红外热成像检测等。复合材料超声波检测是一种基于声波在材料内部传的播行为的缺陷检测技术，感应灵敏准确，但检测速度慢，对检测人员技术要求较高。x射线检测是一种利用射线透射后的特征等成像的高分辨率无损检测技术，但其扫描效率低且成本高昂。红外热成像检测是通过红外热像仪监测材料表面的热响应，在此基础上进一步建立复合材料的状态信息和表面温度场分布之间的关联，并利用这种关联性来识别缺陷。红外热成像检测与其他无损检测技术相比，其具有扫描速度快、无需耦合、高度可视化等优点。在近期中，已有诸多学者利用红外热成像进行了复合材料的缺陷检测研究。然而，传统手动红外热成像检测方法通常依赖于先验知识和专家经验，限制了其在实际自动缺陷检测中的应用。此外，由于红外信号在检测中容易受到热反射、材料特性和环境条件等因素扰动，会对后续信号处理以及缺陷特征的提取造成较大影响，导致手动数据分析对缺陷的识别检测变得更加复杂，耗时且误差较大。尽管红外热成像在复合材料无损检测中具有广阔的前景，但其在缺陷检测的自动、定量、和高效表征方面仍然面临诸多挑战。

3、近年来，随着人工智能技术的发展，深度学习方法目前已被广泛应用于计算机视觉、自然语言处理等领域。神经网络作为深度学习的重要代表之一，凭借其强大的自适应特征挖掘能力和端到端的便利性，也被逐渐应用于红外热成像对复合材料缺陷的自动高效检测。在红外热成像无损检测中，深度学习模型主要可分为卷积神经网络模型和循环神经网络模型两大类。在这些研究应用中，卷积神经网络类模型处理红外热图时，往往需要对缺陷进行人工检查和标注，这不仅繁琐耗时，而且忽略了热图序列中数据的时间相关性。这种操作限制了模型在提取特征和识别缺陷深度方面的能力。另一方面，虽然循环神经网络类模型能够通过温度的时间演化来检测缺陷深度，但大多数这类方法依赖于从红外数据中提取的单一特征，使得模型在干扰下的偏差较大，导致鲁棒性不足，且其更倾向于关注时间局部信息，这使得模型难以捕捉不同时间步长数据之间的关联性，进而对长期时间序列的相关性和特征提取带来挑战。总体而言，虽然深度学习技术为复合材料的红外热成像缺陷检测带来了新的可能性，但如何有效融合时间序列分析和多维特征提取，以及如何提高模型的泛化性和准确性，仍是该领域亟待解决的关键问题。

技术实现思路

1、本发明的目的在于解决传统复合材料缺陷检测中检测模型泛化性不足，度量精度低，难以自动化的评估裂纹尖端损伤等问题，为复合材料的缺陷检测提供了一种高效且自动化的解决方案。

2、本发明的技术方案是提供一种基于红外多特征融合的复合材料缺陷自动识别与度量方法，其特征在于：

3、步骤1、数据采集与预处理：进行红外热成像实验，捕获含缺陷的样品的红外数据，并将其划分为训练区域与测试区域，用于后续模型的训练与评估；

4、步骤2、多特征模型构建：通过基于特征选择，自动地对数据进行多特征处理；并构建多特征视觉转换神经网络模型；

5、步骤3、数据优化：提出基于实例选择和欠采样的红外数据采样策略，构建了针对性强的红外数据集，为后续的特征提取和模型训练提供优化的数据基础；

6、步骤4、缺陷重建与标签预测：利用训练数据集对该模型进行训练，实现模型参数的优化更新；在模型训练完成后，对检测结果逐像素编码为成像掩码，其中每个像素点都被分配为预测的标签值。自动化精确重建出复合材料缺陷的二维图像；

7、步骤5、自动化高效缺陷检测与度量：利用经过训练的多特征视觉转换神经网络模型对测试数据集进行检测，实现对复合材料缺陷的自动化高效检测和精确度量。

8、进一步地，在步骤1中，进行红外热成像实验数据采集时，选取统一大小、材料的实验试件制成含有不同深度缺陷的复合材料试件，进行长脉冲红外热成像实验，采集有效的红外数据集；对数据集进行标签标注，分为不同深度的缺陷类以及正常区域类，单个像素点的红外数据和标签共同组成了一组数据；把红外数据集按照实际区域划分为训练区域与测试区域。

9、进一步地，在步骤2中，多特征模型构建包含如下步骤：

10、步骤2.1：基于特征工程，选取与缺陷信息具有强关联性红外特征，将原始红外数据转换为更具时间序列模式以及缺陷相关性的信息特征；

11、步骤2.2：构建多特征视觉转换神经网络模型；多特征视觉转换神经网络模型架构由三个模块组成：多特征嵌入模块、转换器模块和分类模块；多特征视觉转换神经网络模型以试件实验红外数据，即温度曲线作为输入，输出为该点处的预测分类的类别；

12、步骤2.3：多特征视觉转换神经网络模型评估指标的建立；采用了包括交并比和f1分数在内的两个指标；交并比(iou)可表示如下：

13、

14、其中：ui为模型检测结果，为真实结果；

15、首先计算出不同深度的缺陷类别在检测结果和真实结果中的像素数目；然后，将检测结果像素区域和真实像素区域的交集数除以它们的并集数，得到该类的交并比；

16、f1分数是精准率和召回率的调和平均数；f1分数表示为：

17、

18、p＝tp/(tp+fp)               (11)

19、r＝tp/(tp+fn)               (12)其中：tp代表真正例，指模型将正例正确地判断为正例的样本数量；fp代表假正例，指模型将负例错误地判断为正例的样本数量；fn代表假负例，指模型将正例错误地判断为负例的样本数量。p代表精确率，衡量了模型在识别出的正例中的准确性。r代表召回率，衡量了模型对所有正类样本的识别能力。

20、进一步地，多特征嵌入模块负责提取和融合多种红外特征；多特征嵌入模块首先将基于温度曲线，自动生成基于步骤2.1中选取的多红外特征中的其他特征；然后通过段近似聚合算法对原始红外特征序列进行预处理，将长序列映射为长度为224的短序列；接着通过格拉米角和场算法，将一维红外数据转换为二维图像；多特征嵌入模块随后对图像进行特征提取与融合处理，并将得到的特征传递给转换器模块；

21、转换器模块中主要由多头自注意力(msa)模块、多层感知机(mlp)和层归一化(layernorm)三个部分组成；通过多头自注意力模块生成自注意力表示，接下来表示会被馈送到之后的层归一化和多层感知机中，以实现对序列长期依赖性的建模，多层感知机主要由线性层和激活函数组成。

22、转换器模块提取特征可表示为：

23、

24、

25、y＝layernorm(yk)                (6)

26、其中：表示为通过第l个转换器模块中多头自注意力的输出，yl表示为第l个转换器模块的输出，k为转换器模块中基础模块数量，y为最后转换器模块的输出；

27、分类模块由一个线性层和softmax函数组成，以实现对缺陷的检测；线性层将输入的特征向量映射到一个维度大小与任务类别数相同的向量，作为模型对样本的的预测分类输出，然后通过softmax函数将该输出转换为预测类别概率的分布：

28、output＝sofmax(linear(y[xclass]))         (7)

29、

30、其中：y[xclass]为转换器模块最终输出y中的xclass向量，fi为第i个节点的输出，c为分类的类别个数，output为模型的预测输出的概率分布，选择概率最高的类别作为最终的预测结果；

31、多特征视觉转换神经网络模型后续训练中构建交叉熵损失来衡量分类误差，公式如下：

32、

33、其中：b为模型训练时batch数，c为类别数，为真实分类标签，o为预测标签；模型通过最小化损失函数来进行训练，以及通过随机梯度下降法(sgd)更新参数。

34、进一步地，在步骤3中，基于实例选择和欠采样的红外数据采样策略包含如下步骤：

35、步骤3.1：通过采样策略构建数据集；首先通过基于缺陷的实际大小，划定向内收缩一定距离的范围作为缺陷区域样本提取范围；之后在受热扩散影响的“过渡区域”中，提取部分正常区域数据；再从远离缺陷的区域中选取样本，作为正常区域的代表性样本，以避免缺陷的干扰；最后，在划定范围中分别使用随机欠采样提取样本，以平衡不同类别的样本数量，减轻热扩散影响；

36、步骤3.2：采样数据集的可视化与评估优化；引入另外两种常见的红外数据采样策略进行对比评估，即基于欠采样的数据集和基于均匀随机取样的数据集；采用t分布随机邻域嵌入算法将高维数据样本分布转化为低维空间的对应分布；并进行数据集的可视化处理，初步评估基于步骤3.1中采样的数据集质量；然后，通过获得的不同的数据集，对基于步骤3.1中构建的多特征视觉转换神经网络模型进行训练，得到模型在不同数据集上的评估结果。

37、进一步地，在步骤4中，引入多种基于深度学习的红外检测模型进行对比评估；对比模型与多特征视觉转换神经网络模型都通过同样的数据集进行训练与参数更新，即基于步骤3方法在试件训练区域获得的采样数据集；模型训练完成后，对检测结果逐像素编码为成像掩码，每个像素点都被分配为预测的标签值，自动化精确重建出复合材料缺陷的二维图像；其中不同分层类别的预测标签包含分层缺陷的深度信息。

38、进一步地，步骤5中，通过基于步骤4中训练好的多特征视觉转换神经网络模型对测试区域数据集进行检测，自动化高效对复合材料缺陷进行检测和精确度量。

39、本发明达到的有益效果是：

40、(1)本发明将复合材料缺陷的自动化检测、成像与度量集成到一个系统中，能利用热成像技术快速自动地检测和量化复合材料中的缺陷。检测复合材料构件的实际状态，保证工作过程中的安全性和可靠性，降低运行的风险。

41、(2)本发明提出的基于实例选择和欠采样的红外数据采样策略，可以构建出针对性强的红外数据集，缓解复合材料红外热成像实验中缺陷区域横向热扩散现象的影响，在保持数据集代表性的同时，缩小类重叠范围，引导模型学习不同区域的可泛化特征，提高模型检测性能。

42、(3)本发明提出的方法在检测阶段，仅处理一维热信号，不涉及对单帧红外热图像的处理，大幅降低了对特定缺陷形状特征的依赖。这使得方法能够以像素级精度，便捷且自动地检测和度量不同形状的复合材料缺陷，展现了其在检测技术上的创新和应用价值。

43、(4)本发明提出的复合材料缺陷自动化检测与度量方法，将多特征与时间相关性嵌入深度学习检测模型中，实现了对缺陷信息的多角度聚合，深入挖掘了缺陷的核心特征。这一独特方法显著提升了缺陷检测的泛化能力和量化精度，有效克服了传统方法在复杂环境下的局限性。