基于STFT频谱图与改进ShuffleNetv2的CFST结构不平衡脱空识别方法

本发明属于钢管混凝土结构脱空识别，具体涉及一种基于stft频谱图与改进shufflenet v2的cfst结构不平衡脱空识别方法。

背景技术：

1、众所周知，钢管混凝土(cfst)结构由于优异的结构性能，已被广泛应用于大跨度桥梁、高层建筑以及输电塔等重大结构的关键承重部位。cfst主要由核心混凝土和钢管组成，核心混凝土填充在钢管内部。当上述两种材料分别单独工作时，其自身局限性会被暴露。例如，混凝土抗拉强度不足，钢管容易发生局部屈曲。而当它们被有效组合为cfst结构时，人们发现，由于二者之间的协同作用，以上缺陷得到了有效地减缓或避免，组合后，结构的抗压强度、抗震性能和延展性得到显著提升。然而，由于温差效应、混凝土收缩等原因，混凝土和钢管之间经常出现间隙现象(称为脱空)，严重影响了二者之间的协同作用。众多研究表明，内部脱空严重危害cfst结构的承载力，并缩短其使用寿命。因此，迫切需要开展脱空的精准检测，为下一步cfst结构的可靠评估和有效维护奠定基础。

2、针对cfst结构的内部缺陷检测，主要分为有损检测法和无损检测法。有损检测法包括钻芯法和直接钻孔法，它们是呈现缺陷状况最直观最可靠的方式，但缺点也十分明显，如破坏结构整体性、耗时、费力等。无损检测法包括x射线法、红外热成像法、冲击回波法、超声波法、光纤传感器法以及压电智能传感器法。这些丰富的手段，为工程师们了解结构健康状况提供了多种途径，但它们也存在一定不足。x射线法，不仅设备昂贵，而且室外操作难度大、检测速度慢，导致该方法在室内和室外的研究都较少。红外热成像法，能够以图像的形式直观地呈现缺陷的区域边界，但其易受环境温度影响，不适用于室外高空环境。冲击回波法具有轻便和直观性好等优势，但其精度高度依赖于声波的速度，且易受被测结构形状变化的干扰。超声波法是钢管混凝土结构检测的重要手段，但其难以识别缺陷的类型，且信号接收易受换能器与结构耦合程度的影响。光纤传感器法和压电智能传感器法，是近年开发的智能传感器，但它们均需要预埋传感器，因此并不适用于已建成的cfst结构。

3、近年来，得益于传感技术、智能材料和计算机信息技术的高速发展，人工敲击法已逐渐发展成为利用人工智能的现代敲击检测法。与人工敲击法不同的是，现代敲击检测法，利用压电技术采集回弹力信号取代人手对冲击锤的感触，采用麦克风等语音设备采集声音信号取代人耳的听觉，通过人工智能技术进行病害识别取代人脑的经验判断。该技术摆脱了对检测人员的主观依懒性，智能化程度和检测精度显著提升，已在螺栓松动、木结构空腔、混凝土含水量和裂缝方向等领域取得了开发与应用。在cfst结构的脱空检测方面，chen等人提出了功率谱密度(psd)+svm的识别方法，通过开展两组具有不同脱空深度的cfst构件的敲击试验，验证了方法的有效性和准确性。在此基础上，他们还建立了另一种机器学习模型——决策树(dt)进行对比，结果表明，该方法在100次重复试验中的平均精度达到了96.33％。chen等人利用扩张卷积神经网络(cnn)、全局平均池化(gap)和类激活映射(cam)等技术构建新型网络模型，以小波时频图作为输入，对cfst脱空进行识别。他们发现，所提方法获得的精度要优于dt和朴素贝叶斯方法。然而，上述研究主要是基于数据平衡和单一条件下的脱空识别，在现场检测环境中，不同脱空程度的检测数据之间的平衡性是很难保证的，且不同cfst结构所承受的荷载也不尽相同。因此，开展数据不平衡和钢管约束条件变化下的cfst脱空识别研究，具有重要的理论价值和工程意义。

4、此外，智能检测算法需要能直接应用于检测设备，并在较短时间内对检测数据进行识别，才能突显其工程实用性。在计算机视觉领域，大型智能算法取得了较快的发展，例如alexnet、vggnet、googlenet及resnet等多种深度学习模型，为计算机视觉任务的完成做出了突出贡献。然而，上述深度学习网络不仅体积较大、结构复杂，而且计算成本高。很难直接应用于现场检测设备上，实现结构的快速检测。

技术实现思路

1、针对现有技术存在的问题，本发明提出了一种基于stft频谱图与改进shufflenetv2的cfst结构不平衡脱空识别方法，目的在于结合现代敲击检测法与轻量级卷积神经网络的优势，提供一种适用于cfst结构脱空检测的高效、小内存、高精度的新方法，以便在工程检测中应用。

2、为了实现上述目的，本发明的具体方案如下：

3、基于stft频谱图与改进shufflenet v2的cfst结构不平衡脱空识别方法，包括如下步骤：

4、s1，设计并制备带有不同深度和宽度脱空缺陷的钢管混凝土试件；

5、s2，采集不同加载工况下的钢管混凝土试件的敲击声音信号，并根据随机概率函数，结合组合移动、音量改变、倍速变换和拉伸四种增强技术对敲击声音信号进行增强；

6、s3，对步骤s2增强后的敲击声音信号进行短时傅里叶变换提取特征图谱，再利用特征图谱构建具有不同比例的不平衡数据集和具有不同加载工况的不平衡数据集；

7、s4，采用仿csp网络、迁移学习和eca注意力对shufflenet v2卷积神经网络进行改进，获得仿csp网络、迁移学习和eca注意力改进的shufflenet v2模型；再利用仿csp网络、迁移学习和eca注意力改进的shufflenet v2模型在步骤s4构建的数据集上分别进行模型训练、验证和测试。

8、进一步地，步骤s2中所述组合移动和音量改变增强技术在每次增强过程中均应用；所述倍速变换和拉伸增强技术通过python中的random()随机概率函数控制，在每次增强过程中，random()随机概率函数随机生成p，p为0至1的任意一个数字，当0.6＜p≤1时采用倍数变换增加技术，当0.3＜p≤0.6时采用拉伸增强技术，否则倍速变换和拉伸增强技术同时应用。

9、进一步地，所述对声音信号进行短时傅里叶变换提取特征图谱的方法，包括如下步骤：

10、s41，采用在时间上可滑移的长度固定的时间窗截取敲击声音信号；

11、s42，对所截取的部分敲击声音信号进行傅里叶变换，以得时间窗内的局部频谱；

12、s43，通过该时间窗对整个时间范围内的平移，得到整个时间段的一组局部频谱。

13、进一步地，步骤s42所述对所截取的部分敲击声音信号进行傅里叶变换后的函数如下：

14、

15、式(1)中，x(t)为敲击声音信号；ψ(t-τ)为窗函数，t∈(-∞,∞)；w为时域分析的频率；τ为时延；j为虚数单位，d为微分符号；t为时间。

16、进一步地，步骤s4中所述具有不同比例的不平衡数据集和具有不同加载工况的不平衡数据集均包括训练集数据、验证集数据和测试集数据，用于训练集数据和验证集数据之和的比例低于用于测试集数据的比例；

17、在具有不同加载工况的不平衡数据集中，用于训练集数据和验证集数据采用三种工况，用于测试集数据采用另外三种工况。

18、进一步地，用于训练集数据和验证集数据之和的比例40％、30％或20％。

19、进一步地，步骤s5所述获得仿csp网络、迁移学习和eca注意力改进的shufflenetv2模型的方法，包括如下步骤：

20、s51，搭建shufflenet v2主干网络，所述shufflenet v2主干网络包括输入层、卷积层一、最大池化层、阶段二层、阶段三层、阶段四层、卷积层二和全连接层；

21、s52，采用简化的仿csp网络取代步骤s51搭建的shufflenet v2主干网络中的局部网络，获得仿csp网络改进的shufflenet v2模型；所述简化的仿csp网络是采用普通模块取代cspnet从其输入层分割成的特征提取模块和跨阶段层次结构模块后获得的网络，取代后，简化的仿csp网络既具有原来cspnet的梯度信息，又降低了计算量，在计算成本和分类精度之间取得较好的折中效果。

22、s53，采用迁移学习的方法对仿csp网络改进的shufflenet v2模型进行预训练，以初始化模型的权重，得到仿csp网络和迁移学习改进的shufflenet v2模型；

23、s54，在仿csp网络和迁移学习改进的shufflenet v2模型中的阶段四层和卷积层二之间引入eca注意力，从而得到仿csp网络、迁移学习和eca注意力改进的shufflenet v2模型。加入eca注意力作用是增强模型对脱空缺陷特征图的聚焦能力，并抑制无用信息的干扰。

24、进一步地，步骤s53所述采用迁移学习的方法对仿csp改进的shufflenet v2模型进行预训练的步骤如下：在imagenet数据集上训练仿csp网络改进的shufflenet v2模型，然后下载模型文件的pytorch版本；采用预训练权重初始化仿csp网络改进的shufflenetv2模型权重，加载网络层参数时，忽略卷积层二和全连接层，而只加载输入层、卷积层一、最大池化层、阶段二层、阶段三层和阶段四层。

25、本发明的优点

26、本发明基于stft频谱图与改进shufflenet v2的cfst结构不平衡脱空识别方法，重点改善现场环境中数据分布不均匀和加载工况变化条件下的识别性能，同时提高模型处理效率并缩减结构体积，以便在现场小型移动设备中应用。采用stft技术有效地避免手动提取特征的过程，节约了识别的时间成本。仿csp网络采用多梯度组合策略，丰富梯度信息，同时对多余的计算模块进行简化，以减少运算量和空间占用，实现了计算成本和精度的良好折中。然后，迁移学习利用外部数据库对脱空缺陷体识别模型进行预训练，对脱空缺陷体识别模型权重进行初始化，提高脱空缺陷体识别模型的训练起点。此外，采用eca聚焦脱空缺陷体识别模型的关键特征，抑制无关特征的干扰，提高脱空缺陷体识别模型的识别精度和泛化能力。与原模型shufflenet v2相比，改进的模型procesing speed提高了48％，flops下降了47％，参数大小仅有0.77m。该cfst结构不平衡脱空识别方法是一种高效、轻量化且高精度的脱空识别模型。