基于激光超声的深度学习三维重建缺陷检测系统与方法

1.本发明涉及激光超声无损检测技术领域，尤其涉及一种基于激光超声的深度学习三维重建复材缺陷检测系统与方法。


背景技术：

2.随着航空制造产业的飞速发展，近年来航空航天飞行器中大量使用纤维增强复合材料，这被视为减轻飞机机体质量和降低直接运维成本的有效方法。碳纤维复合材料是碳化纤维和塑料的完美结合，与金属相比较有其独特的优势：坚固，很硬，尤其重量轻。飞机上应用碳纤维复合材料到可使其重量减少至多30%，这是其他技术手段很难以企及的。此外，该材料兼具纤维的柔曲性和可编织性，既可担任结构材料承载负荷，又可作为功能材料发挥作用，因此发展更大更轻的碳纤维复合材料叶片是一种趋势，研究更多的碳纤维复合材料叶片检测方法也很有意义。
3.激光超声检测技术是利用激光来激发和检测超声的无损检测技术，与传统的压电超声技术相比，激光超声检测技术具有非接触、宽带以及点发射接收等优点。因此在材料表征、缺陷检测、加工过程监测，以及复杂形貌的工件或高温、高压、腐蚀、辐射等特殊环境下设备的检测或监测中得以应用。
4.激光超声检测技术作为一门交叉学科技术，它很好的结合了超声学和激光技术学的优点，应用传统超声波的强穿透能力，又同时应用到了光学检测的非接触 性，通过激光激发和接收超声波实现对被检试样的无损检测。
5.相比于其他无损检测技术，激光超声检测技术具有成本低、易操作、精度高等优势，在未来无损探伤领域有很大的发展潜力。然而，现有的激光超声激发与检测方法一般采用labview进行编程与控制，虽然能够准确地得出检测结果，但编程方式不够灵活，无法使材料内部的检测结果直观显示，加大了分析内部缺陷的难度；而工业ct技术可以直观地看到材料内部的缺陷情况，但却受限于设备价格昂贵，无法检测大体积零件或厚度较厚的零件。
6.中国专利公开号为cn101435784b公开了一种涡轮叶片ct检测装置及其检测方法，通过x射线照射叶片，并调整叶片的倾斜角，实现对叶片各个方向的裂纹进行检测。这种检测方法采用的射线源价格昂贵，检测装置体积大无法做原位检测，且需要调整叶片角度以防止漏检垂直于射线的裂纹，使得成像速度较慢且检测效率较低。
7.中国专利公开号为cn111537444a公开了一种重复频率虚拟调控的激光超声无损检测方法及系统，其利用利用激光超声系统对被测结构进行扫描，获取低重复频率激励的导波波场数据；根据所述低重复频率激励的导波波场数据，重构虚拟重复频率激励的导波波场数据；根据所述虚拟重复频率激励的导波波场数据，计算不同重复频率激励的损伤图像；根据所述损伤图像确定检测效果最佳的激光激励的重复频率；根据所述检测效果最佳的激光激励的重复频率进行无损检测。这种检测方法虽然可以有较高的检测精度。


技术实现要素：

8.本发明的目的在于克服上述背景技术中的不足，实现材料内部缺陷的位置定位与三维重建，通过激光超声与深度学习相结合的方式对检测零件进行内部三维重建，直观地将材料表面和内部缺陷展示出来，用于解决工业检测中工业ct价格昂贵、无法检测大型零件或厚度较高的零件和激光超声检测编程不灵活的技术问题。
9.为实现上述目的，本发明首先提供了一套成本低性能强的基于激光超声的深度学习三维重建缺陷检测系统，该系统包括：xy二维运动平台、q开关nd：yag激光器、xz二维运动平台、vibroflex激光测振仪、二维偏转振镜、待测航空复合材料零件、工控机、显示器。
10.所述xy二维运动平台提供xy向的位移，所述q开关nd：yag激光器产生连续的激光脉冲， 所述xz二维运动平台提供xz向二维运动， 所述vibroflex激光测振仪检测零件振动，所述二维偏转振镜实现激光器的连续偏转扫描，所述工控机包括控制模块和信号处理模块。
11.优选地，工控机是整个系统控制和数据处理的核心，其软件包括上述控制模块与上述信号处理模块。其中上述控制模块包括通过串口与上述xy二维运动平台、q开关nd：yag激光器、xz二维运动平台、vibroflex激光测振仪和二维偏转振镜进行通信，实现整个激光扫描过程的连续高效进行，并且完成零件振动的数据采集；上述信号处理模块是对上述测振仪得到的图像进行信号处理，逐步实现信号波形绘制、零件扫描点厚度的测量、零件外形轮廓的绘制、零件扫描点缺陷深度的定位，零件扫描点内部图像的分层绘制，最终完成待测零件的三维重建工作。
12.其次，本发明实施例还提供了一种基于激光超声的深度学习三维重建缺陷检测方法，基于上述的基于激光超声的深度学习三维重建缺陷检测系统，包括以下步骤：s101：通过工控机完成硬件参数的初始化，包括脉冲激光器、二维振镜、激光测振仪和二维运动平台的参数初始化。设置激光器和二维振镜的扫描参数，并将搭载激光测振仪的二位运动平台位移参数与之相匹配。
13.s102：激光器发出连续脉冲激光，激光直射打到二维振镜上，通过二维振镜的同步扫描使激光连续偏转，完成当前位置在航空复合材料上的连续扫描，从而在待测复合材料的表面产生激光超声信号；s103：通过控制xz向二维运动平台使得激光测振仪与待测零件上的激光扫描点同步运动，始终保持垂直位置进行激光超声信号采集，从而得到连续的激光扫描信号，并将这些信号数据保存到工控机数据处理模块。
14.s104：将测振仪采集到的激光超声信号进行数据预处理，分析超声信号并得到时域与频域的波形图，从而根据脉冲时间间隔得到材料当前扫描点的厚度，从而可以得到材料该扫描位置的三维轮廓图。
15.s105：得到激光超声波形图后，将其导入创新性提出的landt神经网络进行训练学习，设置训练的初始参数学习率与batchsize，通过300轮次的训练之后，可以自动分析出待测零件表面与内部的缺陷，并通过位置和深度信息将其进行逐层三维重建，生成到上述步骤中的三维轮廓图中。
16.s106：xy二维运动平台移动到下一位置，重复上述步骤s102-s105，将每一个激光
扫描区域的零件都进行三维重建后，根据xy二维运动平台的位移对各扫描区域三维重建的零件进行图像拼接，从而得到最终的总体零件三维重建图。
17.s107：将总体的三维重建零件图输出到显示器上，从而完成零件表面和内部缺陷的自动化检测并可直观地观察出零件的缺陷位置和大小。
18.进一步地，在步骤s105中，本实施例中创新性地提出了landt神经网络，该网络基于生成对抗网络实现，其模型参数与数据集的获得通过以下步骤实现：步骤一：对尽可能多的包含已知缺陷的航空复合材料进行激光超声检测，将检测得到的时域与频域波形图进行手动标注，将缺陷位置示出并记录其图像位置，将标签信息生成landt神经网络所需要的txt文件。
19.步骤二：对于检测的零件进行手动的三维图像生成，并将缺陷位置进行标注，并将其与步骤一中的波形图与标签信息相对应，从而得到生成对抗网络landt的训练集。
20.步骤三：设置训练参数学习率，批尺寸以及训练轮次，并将上述两步骤生成的波形图、三维图像以及标签一起输入landt网络中进行训练，观察训练过程中的loss曲线，判断landt网络是否收敛，如果收敛，则停止训练；如果未收敛，则继续训练。优选地，学习率设置为0.01，批尺寸设置为16，训练轮次设置为300，得到训练结果模型。
21.步骤四：在实际检测中，将激光扫描后的测振仪数据进行预处理之后生成波形图导入步骤三的训练结果模型进行前向输入，便可得到最终的三维重建结果，完成零件缺陷的检测与可视化。从以上技术方案可以看出，本技术实施例具有以下优点：本技术提供的一种基于激光超声的深度学习三维重建缺陷检测系统及方法，创造性地将激光超声检测技术与工业ct技术的优点相结合，其通过对航空复合材料进行分区域激光超声扫描，通过二维运动平台控制激光始终跟随扫描点进行二维运动，并在对应的位置采集激光器激发的激光超声信号，而通过构建基于生成对抗网络的landt网络进行分区域的零件内部三维重建，并最终将各区域的三维重建图像拼接成完整的零件三维图像，该系统相比于其他工业ct系统和激光超声系统成本低，结构简单，软件功能强大且灵活，方便部署与应用，并且实现了完成大型零件和较厚零件的内部实时自动化检测和三维可视化的目标，提升了检测的精度与效果，使得检测人员可以在后续更为方便直观地进行产品的分析。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1示出了根据本发明的实施例的一种基于激光超声的深度学习三维重建缺陷检测装置安装位置示意图。
24.图2示出了一种基于激光超声的深度学习三维重建缺陷检测方法的整体流程示意图。
25.图3示出了一种基于激光超声的深度学习三维重建缺陷检测系统的工作原理示意图。
26.图4示出了一种典型的航空复合材料缺陷零件示意图。
27.图1中：101为xy二维运动平台，102为q开关nd：yag激光器，103为xz二维运动平台，104为vibroflex激光测振仪，105为二维偏转振镜，106为待测航空复合材料零件，107为工控机，108为显示器。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
29.为了便于理解，请参阅图1，本发明提供的一种基于激光超声的深度学习三维重建航空复合材料缺陷检测系统，所述系统包括xy二维运动平台101提供xy向的位移，q开关nd：yag激光器102产生连续的激光脉冲， xz二维运动平台103提供xz向二维运动， vibroflex激光测振仪104检测零件振动，二维偏转振镜105实现激光器的连续偏转扫描，待测航空复合材料零件106，工控机107包括控制模块和信号处理模块，显示器108。
30.需要说明的是，所述xy二维运动平台101和所述q开关nd：yag激光器102以及所述，由工控机108的运动软件控制，通过xy向的运动带动所述q开关nd：yag激光器102和所述二维偏转振镜105做x方向和y方向的位移，完成所述激光超声检测系统的激光扫描工作，使所述待测航空复合材料零件106产生振动以便进行缺陷检测；所述q开关nd：yag激光器102是整个检测系统的核心，激光器内部通过控制q开关控制激光脉冲的连续激发，产生连续激光脉冲；所述二维偏转振镜105对激光器产生的激光进行光束的连续偏转，所述q开关nd：yag激光器102发射的连续激光脉冲正对射到振镜105上，再经所述二维振镜105的连续偏转扫描和所述xy二维运动平台101实现激光扫描的自动化。
31.进一步地，所述vibroflex激光测振仪104完成所述待测航空复合材料零件106的振动数据采集，上述vibroflex激光测振仪104固定在所述xz二维运动平台103上，随着上述激光扫描的连续进行，由工控机完成总体的路径规划，根据上述步骤中激光器的扫描过程，工控机可实时追踪由二维振镜105偏转所得的激光扫描点的位置，所述的xz二维运动平台同样由工控机控制进行路径规划，103搭载上述vibroflex激光测振仪104进行xz方向的连续位移，使得上述vibroflex激光测振仪104的探头位置始终追随上述激光扫描点的位置，从而保持与零件106上的激光扫描点相垂直，从而能够更好地接收上述零件106的振动，以获得高的信号信噪比，使得后续零件的三维重建工作可以获得更高的精度。
32.进一步地，所述工控机107是整个系统控制和数据处理的核心，其软件包括上述控制模块与上述信号处理模块。其中上述控制模块包括通过串口与上述xy二维运动平台101、q开关nd：yag激光器102、xz二维运动平台103、vibroflex激光测振仪104和二维偏转振镜105进行通信，实现整个激光扫描过程的连续高效进行，并且完成零件振动的数据采集；上述信号处理模块通过对上述测振仪得到的图像进行信号处理，首先通过基于c++和python的来读取由上述激光器和测振仪采集到的信号数据，调用降噪函数进行降噪处理，通过时频域分析的算法对降噪之后信号数据实现信号时频域的二维波形图绘制，得到可视化的二
维图像；其次通过对测振仪信号的激光超声回波采集时间分析，逐步提升激光脉冲能量，由于激光超声波在零件中传输速度为固定值可实现对零件扫描点零件厚度的测量，将零件每一个点的零件厚度值与激光器扫描的路径结合起来，通过调用opencv库中的三维重建函数进而可以得到零件外形轮廓的三维绘制结果图；最后，通过将上述得到的激光超声波形图和自行绘制的缺陷三维样本图通过标签进行对应，并将其导入landt神经网络进行训练学习，得到最终的三维重建图像，landt神经网络的具体实现过程将在下文实施例中展示。相比现有的建模方式，可以准确实现缺陷深度的定位和扫描点内部图像的分层绘制，最终完成待测零件的三维重建工作。
33.需要说明的是，在本实施例中，为了实现对于航空复合材料的缺陷检测与自动化三维重建工作，通过上述控制模块控制激光器产生连续脉冲，而上述二维振镜与激光器脉冲同步进行偏转，从而使得激光器在当前位置对航空复合材料待测零件进行逐行的扫描，扫描路线请参阅图3所示。
34.进一步地，在激光器和二维振镜进行运动时，上述搭载激光测振仪104的xz二维运动平台105也需进行同步运动，从而保证激光测振仪104可以一直与激光扫描点相垂直，从而提取出信号信噪比最高的数据，其具体位置关系请参阅图1。在当前位置完成二维振镜的偏转使得激光器完成当前位置的扫描后，上述工控机107控制xy二维运动平台101运动到下一位置，从而对待测零件新的位置进行激光扫描与数据采集，重复上述步骤。
35.进一步地，对于信号处理模块，创新性地提出了landt网络，该网络基于生成对抗网络，可以在经过训练之后将波形图导入，获得零件的三维重建直观可视化图像。landt的主干网络是生成对抗网络，该网络的训练需要进行数据集的制作。本实施例通过测振仪测得的波形图、在波形图缺陷处手动标注的标签和手动构建的三维图作为网络的输入，并通过生成对抗网络进行训练，从而使得波形图作为网络的输入，将最终得到的三维重建图作为网络的输出。
36.进一步地，当零件较大时，激光器和二维振镜无法保证在初始位置就可完成零件全部位置的激光扫描，因此需将零件进行网格化划分，通过xy向二维平台的移动使得激光器和二维振镜完成整个零件的扫描。网格化划分的思路即为将大尺寸的零件分割成尺寸大小相同的小网格，从而在缺陷检测时对于每一个小网格进行分别的检测，最后将所有网格部分拼接起来就能实现大型零件的检测。
37.在进行数据处理三维重建时，也需对每个扫描部分进行分步重建，并最终将各组分三维图通过图像拼接的方式组成整体，从而得到整体零件的三维重建图。
38.为了方便理解，本实施例以5mm厚度的航空复合材料层压板试样检测为例，要求检测表面微结构和内部缺陷，并完成零件的三维重建使得缺陷可以直观地可视化。
39.首先，将如图4所示航空复合材料固定到检测台上。
40.然后，设置激光器和二维振镜的初始参数，确定好扫描的初始位置后，调节激光测振仪的初始位置和参数，从而使得激光扫描仪可以和激光扫描位置同步运动。完成参数设置后，激光器开始连续脉冲激励，二维振镜连续偏转，激光测振仪跟随二维运动平台进行位移运动，使得测振仪测得点始终垂直聚焦于激光扫描点，并采集得到超声信号。
41.最后将采集到的超声信号进行数据预处理之后，得到时域与频域的波形图，并将其导入landt网络中进行三维重建，最终得到可视化的零件内部三维重建图像。
42.以上为本技术实施例提供的一种航空复合材料的激光超声三维重建检测系统的一个实施例，以下为本技术实施例提供的一种航空复合材料的激光超声三维重建检测方法的实施例。
43.为了方便理解，请参阅图2，本实施例提供的一种航空复合材料的激光超声三维重建缺陷检测方法，最终得到零件内部缺陷的三维重建图像，使得观察者可以直接观察到材料内部的分层缺陷，基于上述实施例的基于激光超声的深度学习三维重建缺陷检测系统与方法，包括以下步骤：s101：通过工控机完成硬件参数的初始化，包括脉冲激光器、二维振镜、激光测振仪和二维运动平台的参数初始化。设置激光器和二维振镜的扫描参数，并将搭载激光测振仪的二位运动平台位移参数与之相匹配。
44.s102：激光器发出连续脉冲激光，激光直射打到二维振镜上，通过二维振镜的同步扫描使激光连续偏转，完成当前位置在航空复合材料上的连续扫描，从而在待测复合材料的表面产生激光超声信号；s103：通过控制xz向二维运动平台使得激光测振仪与待测零件上的激光扫描点同步运动，始终保持垂直位置进行激光超声信号采集，从而得到连续的激光扫描信号，并将这些信号数据保存到工控机数据处理模块。
45.s104：将测振仪采集到的激光超声信号进行数据预处理，分析超声信号并得到时域与频域的波形图，从而根据脉冲时间间隔得到材料当前扫描点的厚度，从而可以得到材料该扫描位置的三维轮廓图。
46.s105：得到激光超声波形图后，将其导入创新性提出的landt神经网络进行训练学习，该神经网络基于生成对抗网络，由生成器g和判别器d组成。其中生成器g由4个全卷积层组成，其作用是根据输入的数据集进行训练之后，通过机器生成模拟数据集的数据；而判别器由4个反向卷积层组成，作用是判断数据是训练数据集的真实数据还是生成器g生成的数据，目的是尽可能找出生成器造的“假数据”，当生成器g生成的数据不再能被判别器d所识别的时候，证明网络训练结束，可以输出想要的结果。在经过训练之后将波形图导入，获得零件的三维重建直观可视化图像。本实施例中，测振仪测得的波形图、在波形图缺陷处手动标注的标签和手动构建的三维图作为网络的输入，输入到landt中，通过生成对抗网络进行训练，由生成器g不断生成三维重建图，并由判别器d进行不断地判别训练，当生成器的真实判别率足够高时，便可停止训练，从而将最终得到的三维重建图作为网络的输出。设置训练的初始参数学习率与batchsize，通过300轮次的训练之后，可以自动分析出待测零件表面与内部的缺陷，并通过位置和深度信息将其进行逐层三维重建，生成到上述步骤中的三维轮廓图中。
47.s106：xy二维运动平台移动到下一位置，重复上述步骤s102-s105，将每一个激光扫描区域的零件都进行三维重建后，可分别得到每个扫描点位置的三维图像，使用开源图像处理库opencv中的图像拼接功能，根据xy二维运动平台的位移对各扫描区域三维重建的零件进行图像的拼接，从而得到最终的总体零件三维重建图。
48.s107：将总体的三维重建零件图输出到显示器上，从而完成零件表面和内部缺陷的自动化检测并可直观地观察出零件的缺陷位置和大小。
49.进一步地，在步骤s105中，本实施例中创新性地提出了landt神经网络，该网络基
于生成对抗网络实现，其模型参数与数据集的获得通过以下步骤实现：步骤一：对尽可能多的包含已知缺陷的航空复合材料进行激光超声检测，将检测得到的时域与频域波形图进行手动标注，将缺陷位置示出并记录其图像位置，将标签信息生成landt神经网络所需要的txt文件。
50.步骤二：对于检测的零件进行手动的三维图像生成，并将缺陷位置进行标注，并将其与步骤一中的波形图与标签信息相对应，从而得到生成对抗网络landt的训练集。
51.步骤三：设置训练参数学习率，批尺寸以及训练轮次，并将上述两步骤生成的波形图、三维图像以及标签一起输入landt网络中进行训练，观察训练过程中的loss曲线，判断landt网络是否收敛，如果收敛，则停止训练；如果未收敛，则继续训练。优选地，学习率设置为0.01，批尺寸设置为16，训练轮次设置为300，得到训练结果模型。
52.步骤四：在实际检测中，将激光扫描后的测振仪数据进行预处理之后生成波形图导入步骤三的训练结果模型进行前向输入，便可得到最终的三维重建结果，完成零件缺陷的检测与可视化。以上结合附图详细说明了本发明的技术方案，本专利提出了一种基于激光超声的深度学习三维重建缺陷检测系统及方法，实现了对产品的自动化检测并将零件内部缺陷三维可视化，更方便地观察分析零件内部的缺陷，相比于工业ct能够极大地降低成本，提升对较厚零件的检测效果，有效的提高检测的准确率同时能够很好的降低生产成本，提高产品质量。
53.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。