一种多模态融合的铺丝机复合材料表面缺陷检测系统

1.本发明涉及航空制造机器视觉检测领域，具体涉及一种多模态融合的铺丝机复合材料表面缺陷检测系统。


背景技术：

2.目前全球飞机制造仅有少数厂商可以批量化生产，而新一代的飞机材料将逐步采用复合材料替代传统材料，从目前的趋势看，飞机上大量采用复合材料是一种趋势，最近几年出现的新型飞机，普遍都采用了大面积的复合材料来制造，其目的就是为了减重，同时复合材料的可设计性好，复合材料的性能和构成方式，决定了它可以在制造过程中根据构件最终形态的需求来制造出复杂的三维曲线型面。
3.目前国外引进的复合材料铺丝机在自动铺放过程铺层表面质量及切口表面形貌质量方面的检测，仍然依靠人工目测，不仅检测效率低，而且检测误差大，严重影响了复材零部件的制造效率，因此急需借助机器视觉检测技术进行自动化智能检测。


技术实现要素：

4.本发明为解决飞机制造过程中复合材料铺丝机在自动铺放过程中铺层表面质量及切口表面形貌质量的自动化检测，提供了一种多模态融合的铺丝机复合材料表面缺陷检测系统，以实现复合材料铺丝机铺丝质量的自动化检测需求。
5.为实现上述目的，本发明采用以下技术方案：
6.一种多模态融合的铺丝机复合材料表面缺陷检测系统，包括多模态神经网络数据加载模块，多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块；
7.多模态神经网络数据加载模块用于将数据格式化为训练数据，输入到多模态神经网络算法训练模块中进行训练；训练数据包含两种类型：复合材料图像数据和复合材料点云数据；两种类型数据均包含20％的良好数据(正样本)和80％的缺陷数据(负样本)。
8.为优化上述技术方案，采取的具体措施还包括：
9.进一步地，构造训练数据集输入到多模态神经网络算法训练模块中进行训练：对训练数据提前进行标注，存为标注文件；图像数据框出复合材料缺陷的所在位置，点云数据标注出缺陷位置附近的点云；随后多模态神经网络加载模块将图像数据裁剪为相同的大小(112
×
112)，点云数据进行抽稀(约20000个点左右)，将同一复合材料对应的图像数据和点云数据打包成一组训练数据，多组数据为一批；将所有训练数据分批次输入到多模态神经网络算法训练模块中进行训练；用与构造训练数据集相同的方法构造测试数据集，其规模为训练数据集的20％。
10.进一步地，多模态神经网络算法训练模块采用多模态神经网络架构，网络架构输入为复合材料图像数据和复合材料点云数据两种模态，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及存在缺陷的类型。
11.进一步地，多模态神经网络架构主干部分包括编码器和解码器两个部分，编码器部分分为复合材料图像数据编码和复合材料图像数据编码。
12.进一步地，编码器利用神经网络将图像数据编码与点云数据编码编码成一个256维向量，解码器将该向量解码成n
×
m维矩阵，其中n表示输入材料点云数据，m表示缺陷种类数量，包含无缺陷类型。
13.进一步地，解码器包含三个sl模块，每个模块包含一个插值层和一个卷积层；
14.插值层将采样后的点进行上采样，将点云数量从n1上采样到n1‑1，n1和n1‑1分别为第l层即sa层的输入点云数量和输出点云数量；其中每个点的特征根据其在原始点云中周围k个邻近点按照如下公式的插值函数进行计算：
[0015][0016]
其中，x为待计算特征点，x
i
为其k个邻近点，f
i
为第i个邻近点的特征，d(x，x
i
)为x点到其邻近点之间的距离；
[0017]
三个sl模块逐步采样会原始输入数量的点云，特征维度依次降为128、64及m，m为缺陷种类数量，包含无缺陷类型。
[0018]
进一步地，多模态神经网络架构采用简化的resnet架构方式：
[0019]
首先将大小为112
×
112，通道数为3的彩色图像通过7
×
7大小的卷积层，映射成通道数为64的特征图，同时步长取为2；
[0020]
之后进行步长为2的最大池化；
[0021]
再利用3
×
3的卷积核将特征逐步映射成128维，256维通道的特征图；其中逐层映射时采用残差连接的结构，即卷积层进行卷积时，上一层的输出特征和本层的输出特征进行相加，作为下一层卷积层的输入特征；将最后一层具有256个通道的特征图进行均值池化，得到256维的特征编码。
[0022]
进一步地，多模态神经网络架构中，复合材料点云数据编码采用三层pointnet++中的sa模块：每层模块包含一个采样模块、一个聚类模块和一个微型pointnet层；采样模块对输入点云进行采样，得到若干采样点，聚类模块用于将每个采样点周围邻域内的点进行聚集，采样点及其邻域内的点作为一个超点，输入到微型pointnet层中提取特征，作为当前采样点的特征。
[0023]
进一步地，多模态神经网络算法训练模块用训练集进行多次训练，输入到网络中的数据均为未带标注的数据，在经过多模态神经网络算法训练模块计算之后，用预测的结果和提前标注好的标注信息进行损失对比计算，即计算损失函数；然后神经网络进行反向传播修正网络参数进行学习；
[0024]
训练时经过多次迭代直到损失函数收敛，输出网络最佳参数；损失函数采用预标注的点云和网络输出点云之间的交叉熵损失函数进行计算。
[0025]
进一步地，多模态神经网络缺陷检测模块在使用前需预先加载最佳参数设置，并实时输入复合材料图像数据和复合材料点云数据，网络输出带缺陷标注的点云进行可视化显示。
[0026]
进一步地，所述缺陷检测系统反馈模块根据网络输出带缺陷标注的点云，可以控制铺丝机的工作状态或者发出缺陷警报反馈给工作人员进行管控。
[0027]
本发明的有益效果是：本发明实施例公开了一种多模态融合的铺丝机复合材料表面缺陷检测系统，通过多模态神经网络架构训练学习铺丝机符合材料表面缺陷类型，融合点云数据和图像数据两种数据类型提高网络识别精度。本发明具有能够满足实际飞机复合材料生产精度的检测效率和检测精度，相对于传统的人工目测具有高效、可靠等优势，符合了新一代智能飞机制造技术的趋势。
附图说明
[0028]
图1为本发明实施例中多模态融合的铺丝机复合材料表面缺陷检测系统的示意图。
[0029]
图2为本发明实施例中多模态融合的铺丝机复合材料表面缺陷检测系统的多模态神经网络算法训练模块网络架构示意图。
具体实施方式
[0030]
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0032]
本实施例公开了一种基于多模态神经网络架构的铺丝机复合材料表面缺陷检测系统，以解决飞机制造过程中复合材料铺丝机在自动铺放过程中铺层表面质量及切口表面形貌质量的自动化检测问题。为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0033]
图1为本发明实施例一种多模态融合的铺丝机复合材料表面缺陷检测系统的流程示意图。本发明实施例包含：多模态神经网络数据加载模块、多模态神经网络算法训练模块、多模态神经网络缺陷检测模块和表面缺陷检测系统结果反馈模块。
[0034]
多模态神经网络数据加载模块将数据格式化为训练数据输入到多模态神经网络算法训练模块中进行训练。训练数据包含两种类型，复合材料图像数据和复合材料点云数据，分别通过高分辨率摄像机和线激光扫描仪获得；两种数据均包含约20％的良好数据(正样本)和80％的缺陷数据(负样本)。训练数据在输入到该模块前提前进行标注，图像数据需要框出复合材料缺陷的所在位置，点云数据需要标注出缺陷位置附近的点云。随后多模态神经网络加载模块将图像数据裁剪为相同的大小(112
×
112)，点云数据抽稀为约20000个点左右，将同一复合材料对应的图像数据和点云数据打包成一组数据，多组数据为一批，所有训练数据将分批次输入到多模态神经网络算法训练模块中进行训练。同时，该模块用同种方法构造测试数据集，其规模约为训练集的20％。
[0035]
图2为本发明实施例一种多模态融合的铺丝机复合材料表面缺陷检测系统的多模
态神经网络算法训练模块网络架构图。
[0036]
参照图2，多模态神经网络算法训练模块采用多模态神经网络架构。网络架构输入为复合材料图像数据和复合材料点云数据两种模态，网络输出为带分类缺陷标注的点云数据，其中每一个点都标注上其所在位置是否存在缺陷以及缺陷的类型。
[0037]
多模态神经网络架构主干部分分为编码器和解码器两个部分，编码器利用神经网络将两种特征编码成一个256维向量，解码器将该向量解码成n
×
m维矩阵，其中n表示输入材料点云规模，m表示缺陷种类数量(缺陷类型包含正常类型，即无缺陷的类型)，在本发明实施例中，n约为20000个点，m为6种不同的缺陷类型。
[0038]
参考图2，多模态神经网络架构编码器部分分为复合材料图像数据编码和复合材料点云数据编码。复合材料图像数据编码采用简化的resnet架构方式，可以参考图2网络结构上部分支：首先将大小为112
×
112，通道数为3的彩色图像通过7
×
7大小的卷积层，映射成通道数为64的特征图，同时步长取为2。之后进行步长为2的最大池化。再利用3
×
3的卷积核将特征逐步映射成128维，256维通道的特征图。其中逐层映射时采用残差连接的结构，即卷积层进行卷积时，上一层的输出特征和本层的输出特征进行相加，作为下一层卷积层的输入特征。将最后一层具有256个通道的特征图进行均值池化，得到256维的特征编码。
[0039]
复合材料点云数据编码采用三层pointnet++中的sa模块，可以参考图2网络结构下部分分支：每层模块包含一个采样模块、一个聚类模块和一个微型pointnet层。采样模块对输入点云进行采样，得到若干采样点，聚类模块用于将每个采样点周围邻域内的点进行聚集，采样点及其邻域内的点作为一个超点，输入到微型pointnet层中提取特征，作为该处采样点的特征。其中微型pointnet包含一个卷积层和一个池化层。复合材料点云数据经过三个sa模块后，点数量依次被采样成2048个点，1024个点，512个点，特征维度依次编码成64维，128维和256维。最后进行均值池化得到一个256维向量。将复合材料图像数据编码特征和复合材料点云数据编码特征进行逐位相加，得到最终编码层输出的特征编码。
[0040]
多模态神经网络解码层包含三个sl模块，每个模块包含一个插值层，和一个卷积层。插值层将采样后的点进行上采样，将点云数量从n1上采样到n
l
‑1(n1和n
l
‑1分别为第l即sa层的输入点云数量和输出点云数量)其中每个点的特征根据其在原始点云中周围3个邻近点按照如下公式的插值函数进行计算：
[0041][0042]
其中，x为待计算特征点，x
i
为其k个邻近点，f
i
为第i个邻近点的特征，d(x，x
i
)为x点到其邻近点之间的距离。三个sl模块逐步采样会原始输入数量的点云，特征维度依次降为128，64，和m，m为缺陷种类数量(含非缺陷类型)。
[0043]
多模态神经网络算法训练模块在训练时，修改网络训练参数配置，调整训练步长和速率，并用训练集进行多次迭代训练，输入到网络中的数据均为未带标注的数据，在经过多模态神经网络算法训练模块计算之后，用预测的结果和提前标注好的标注信息进行损失对比计算，即计算损失函数，然后神经网络进行反向传播修正网络参数进行学习。训练集数据分批次按照上述步骤输入到网络中进行训练(在本实施例中，一个批次为8组数据，一组数据由同一符合材料的图像数据和点云数据构成)，直到训练数据都经过网络并且按照前述方法计算损失调整参数，即为一次完整迭代过程。在本实施例中，上述迭代过程经过200
次，直到损失函数收敛为一个较低的值不再显著降低，此时输出网络最佳参数。其中损失函数采用预标注的真实点云和网络输出点云之间的交叉熵损失函数进行计算。
[0044]
训练后多模态神经网络缺陷检测模块以现场获取的铺丝机复合材料表面图像和点云数据作为输入，输出缺陷分析图像，标注出缺陷所在位置。最后，表面缺陷检测系统结果反馈模块在检测到产品缺陷后，系统传输结果至铺丝机，记录缺陷位置或控制铺丝机设备停机，由人员介入处理。
[0045]
结合图1，多模态神经网络缺陷检测模块在使用前需预先加载最佳参数设置，并实时输入复合材料图像数据和复合材料点云数据，网络输出带缺陷标注的点云进行可视化显示。
[0046]
结合图1，缺陷检测系统反馈模块根据网络输出带缺陷标注的点云，可以控制铺丝机的工作状态或者发出缺陷警报反馈给工作人员进行管控。
[0047]
本发明通过多模态神经网络架构训练学习铺丝机符合材料表面缺陷类型，融合点云数据和图像数据两种数据类型提高网络识别精度。本发明具有能够满足实际飞机复合材料生产精度的检测效率和检测精度，相对于传统的人工目测具有高效、可靠等优势，符合了新一代智能飞机制造技术的趋势。
[0048]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。