一种基于条件生成对抗网络的连接件剖面预测方法与流程

1.本发明涉及图像生成技术领域，特别涉及一种基于条件生成对抗网络的连接件剖面预测方法。


背景技术：

2.轻量化是汽车节能减排的重要途径之一，综合考虑成本、性能及轻量化效果，采用多材料混合车身设计将成为未来最为重要的车身轻量化手段。然而如何把这么多种的材料完美地连接在一起，是实现安全轻量化车身的关键所在。目前主流的轻量化连接工艺有铝合金点焊(rsw)，自冲铆接(spr)，无铆钉自冲铆接(clinching)，热熔自攻螺钉(fds)，结构胶(adhesive)等。汽车轻量化的结构连接要求高，对强度，刚度，耐久可靠性，耐腐蚀性，工艺性，经济性都有着严格的要求。所以，汽车轻量化连接工艺只有不断的创新，才能满足新时代的要求。
3.连接成型后产生的剖面图像是评估连接质量的重要资料，研发人员通常会采取测量关键的剖面几何参数来判断连接质量的好坏，进而建立连接工艺与连接质量之间的关系。此类方法，由于研发周期长、效率低、成本高，已经无法满足当前轻量化连接工艺发展的需要。因此，基于大数据的方法，如机器学习，由于计算成本低、开发周期短，加上强大的数据处理能力和较强的预测性能，逐渐成为研究轻量化连接工艺的新兴利器。目前主流的做法是针对剖面图像中每一个关键几何参数分别建立机器学习模型，进行实现从连接工艺预测连接质量的目的。
4.由于理化性质、机械结构等内在条件制约，连接件剖面几何参数并非相互独立，具备一定的相关性。然而目前主流的机器学习模型预测的结果相互独立，缺少相关性，且数值型数据无法直观的反应连接工艺的结果。


技术实现要素：

5.为解决背景技术中存在的问题，本发明的目的在于提供一种基于条件生成对抗网络的连接件剖面预测方法，能够在预测连接剖面图像几何参数时，保证各几何参数之间的相关性。
6.本发明所采用的技术方案如下：
7.一种基于条件生成对抗网络的连接件剖面预测方法，包括如下步骤：
8.步骤1：搭建条件生成对抗网络cgan；所述条件生成对抗网络是由生成网络g和判别网络d两部分组成，所述生成网络g是由两个结构相同的子网络g2和子网络g1组成，子网络g1和g2均是基于encode-decode思路设计的u型全卷积网络结构；
9.所述判别网络d是由多种尺度的判别网络构成的一种多尺度判别器，每种尺度的判别网络的网络结构相同；
10.步骤2：针对待预测的连接工艺，选取该连接工艺的连接参数作为条件生成对抗网络的控制条件y；
11.步骤3：制作待预测连接工艺的数据集，并划分训练集和测试集；
12.步骤4：对数据集中的图像进行图像增强；
13.步骤5：设置cgan网络训练参数；
14.步骤6：将训练集加入cgan网络进行训练；
15.步骤7：利用测试集对cgan网络进行测试，并根据训练结果进行cgan网络优化；
16.步骤8、利用步骤7中训练好的cgan网络对同类型的连接工艺进行预测。
17.进一步，所述连接工艺包括点焊、自冲铆接、无铆钉自冲铆接、热熔自攻螺钉或结构胶。
18.进一步，连接工艺的连接参数包括工艺参数和材料属性。
19.进一步，步骤3中制作数据集的方法如下：
20.1)若输入的控制条件y为数值型数据时，需将选取的工艺参数与对应参数下生成的剖面图像形成一一对应的数据集；
21.2)输入的控制条件y为图像时，需将选取的工艺参数映射到该图像中，形成输入图像，对应参数下生成的剖面图像作为输出图像，此输入图像与输出图像一一对应形成数据集。
22.进一步，判别网络d通过普通的全连接网络将输入映射成一个实数，即输入样本为真样本的概率；该判别网络d将输入映射成n*n的矩阵，矩阵中的每个值代表着不同区域为真样本的概率，然后对该矩阵求均值，作为该尺度判别器的输出。
23.进一步，所述多尺度判别器的具有三个尺度，分别是原图、原图的1/2下采样和原图的1/4下采样。
24.进一步，步骤4中进行图像增强的方法为：采用平移、翻转、旋转、加噪、模糊、锐化、裁剪、缩放中的一种或者多种组合方式来扩增数据集。
25.进一步，网络训练参数是指学习率、优化器、批次大小、激活函数、迭代次数中的一种或多种组合。
26.进一步，数据集划分是指：从数据集中随机挑选60％-90％的样本作为训练集，剩余的样本作为测试集。
27.本发明的有益效果：
28.本发明了一种基于条件生成对抗网络(cgan，conditional generative adversarial networks)的连接件剖面预测方法，在预测连接剖面图像几何参数时，保证各几何参数之间的相关性；能够有效解决传统机器学习模型存在的缺陷及不足，直接从连接工艺预测连接剖面图像的效果。
29.本发明将cgan应用到连接件剖面图像预测中。与传统的机器学习模型相比，本发明可直接预测剖面图像，信息更丰富，且最大限度的维持各预测值之间的相关性。因此将本发明应用于连接件剖面几何参数预测中可有效提高模型预测效果，为实现连接件剖面几何参数预测提供更为直观可靠的方法。
附图说明
30.图1为本发明预测方法的流程框图；
31.图2为cgan网络结构示意图；
32.图3是实施例中所使用的cgan网络结构图；
33.图4为实施例中根据连接参数制作的输入图像；
34.图5为实施例中与上述输入图像对应的输出图像(real)；
35.图6为实施例中cgan预测的生成图像(fake)。
具体实施方式
36.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
37.如图1、2本发明提出了一种基于条件生成对抗网络的连接件剖面预测方法，包括如下步骤：
38.步骤1、搭建条件生成对抗网络(cgan)；
39.本实施例中所搭建条件生成对抗网络(cgan)是由生成网络g和判别网络d两部分组成。
40.其中，生成网络g是由两个相同的子网络g2和子网络g1组成，子网络g1和g2均是基于encode-decode思路设计的u型全卷积网络结构。更具体地，子网络g1和子网络g2均由encode网络和decode网络组成；encode网络是由卷积和下采样组成的压缩路径，decode网络是由反卷积和上采样组成的扩张路径。结合附图3对生成网络g的具体网络结构进行说明：
41.子网络g1的输入为图像，首先通过g1的encode网络对输入图像进行特征提取和降维处理，进而得到特征图；g1的decode网络的输入由上一层(即g1的encode网络的最后一层)输出的上采样的特征和压缩路径部分的特征拼接而成。在本实施例中特征拼接是通过通道数的拼接来实现的，拼接后每张特征图的信息没变，但是特征图的数量变多。
42.网络g1和子网络g2之间的连接是：子网络g2中encode网络提取的特征图和子网络g1的输出层的前一层特征进行特征融合，融合后的信息送入g2的decode网络，通过反卷积进行上采样得到输出图像。
43.判别网络d是由多种尺度的判别网络构成的一种多尺度判别器。其中，每种尺度的判别网络的网络结构相同，且都是基于全卷积网络设计的。判别网络d通过普通的全连接网络将输入映射成一个实数(即输入样本为真样本的概率)，该判别网络d将输入映射成n*n的矩阵，矩阵中的每个值代表着不同区域为真样本的概率，然后对该矩阵求均值，作为该尺度判别器的输出。本实施例中使用三个尺度的判别器，判别的三个尺度为：原图，原图的1/2下采样，原图的1/4下采样。最后对三个尺度上的判别器输出结果取平均，作为最终判别器的输出结果。
44.步骤2、在本实施例中选取的连接工艺为自冲铆接(spr)。故将自冲铆接的连接参数作为控制条件，自冲铆接的连接参数包括：铆钉和板材的几何尺寸，铆钉和板材的属性等参数。具体地，铆钉几何尺寸包括铆钉长度、铆钉直径等；板材的几何尺寸是指板材的厚度；铆钉和板材的属性是指弹性模型、屈服强度、抗拉强度、泊松比、延伸率、硬度、成分信息等。
45.除了上述对自冲铆接进行预测外，本技术所设计的预测方法还可以对铝合金点焊(rsw)连接工艺进行预测；当预测对象是铝合金点焊连接工艺时，将点焊的连接参数作为控
制条件，点焊的连接参数包括电流、电压、时间等。
46.步骤3、制作待预测连接工艺的数据集，并划分出训练集和测试集。
47.针对待预测的连接工艺，收集上述步骤2中选取的连接参数下生成的剖面图像500张。本实施例中所提到的剖面图像是指仿真图像或者实验图像等。
48.数据集制作方法如下：将铆钉和板材的属性映射到图像rgb通道，铆钉和板材的几何尺寸按照相对尺寸换算成像素值，生成输入图像，具体如图3所示。输入图像的名称与上述步骤中的剖面仿真图像保持一致，形成一一对应的关系。数据集制作完成后，从中随机挑选90％作为训练集，10％作为测试集。
49.若待预测的连接工艺是铝合金点焊，制作该连接工艺的数据集则是获取该连接工艺连接参数，获得数值型数据；当该的输入的控制条件y为数值型数据时，需将选取的工艺参数与对应参数下生成的剖面图像形成一一对应的数据集。
50.同理，连接工艺还可以是无铆钉自冲铆接、热熔自攻螺钉或结构胶等。
51.步骤4、采用平移、翻转、旋转、加噪、模糊、锐化、裁剪、缩放等方式对上述数据集中的输入图像进行图像增强。
52.步骤5、设置cgan网络训练参数，优化器为adam，激活函数为relu及leaky relu的组合，epoch为400，batchsize为1等。
53.步骤6、将上述制作完成的训练集加入cgan网络进行训练，训练完成后得到生成网络g和判别网络d，其中。生成网络g是后续进行图像生成需要保留的，判别网络d则无需保留。
54.步骤7、将步骤3中的测试集输入步骤6中得到的生成网络g进行测试，具体过程如下：
55.结合图4、5、6，将测试集中的输入图像作为生成网络g的输入，生成网络g输出的结果为生成图像(fake)；根据测试结果(即生成图像(fake)与真实图像(real)的差异)来优化模型，提高模型的生成效果和预测精度。所述的模型优化是指调整步骤5中cgan网络训练参数。
56.通过图像相似度和几何参数两个方面来对比真实图像与生成图像的差异。所述的生成图像(fake)与真实图像(real)的差异即包括图像本身之间的差异，也包括图像中剖面几何参数之间的差异。通过计算两幅图像的直方图可得两幅图像的相似度为0.99，且两幅图像中每个几何参数误差均较小，详细数值见表1。
57.表1
58.几何参数参数解释真实图像(mm)生成图像(mm)hhhead height0.3390.337intinterlock value0.3390.310bltbottom layer thinning0.1880.188
59.注释：钉头高度hh为铆钉的顶端面与上层板端面的高度差；自锁量int为铆钉的腿部外边缘到被铆钉剪断的上层板的下边缘的水平距离；底切量blt为下层板最薄处法向厚度。
60.在本技术中，还可以采用余弦相似度、结构相似度、指纹信息等方法进行图像相似度计算。步骤8、利用步骤7中训练好的cgan网络对同类型的连接工艺进行预测。
61.以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。