学习模型的生成方法、图像处理方法、图像处理系统以及焊接系统与流程

1.实施方式涉及学习模型的生成方法、图像处理方法、图像处理系统以及焊接系统。


背景技术：

2.以往，使用完成学习的学习模型根据输入图像来推定特征的提取图像这一技术为人们所公知。
3.现有技术文献
4.专利文献1：日本特开2019-141902号公报


技术实现要素：

5.实施方式的目的在于提供一种具有较高的特征提取精度的学习模型的生成方法、图像处理方法、图像处理系统以及焊接系统。
6.实施方式的学习模型的生成方法具备如下工序：取得教师数据的工序，所述教师数据包括多个学习用的输入图像、和从所述多个学习用的输入图像中的一个提取了特征而得到的学习用的特征提取图像；以及使用所述教师数据使学习模型学习的工序，所述学习模型输出根据多个输入图像推定出的所述特征的提取图像。所述学习模型包括进行卷积的输入层。所述多个学习用的输入图像各自中的所述特征的位置相互不同。所述多个学习用的输入图像中的所述特征的位置的变化量小于所述输入层的滤波器的卷积核尺寸。
7.实施方式的图像处理方法具备如下工序：取得多个输入图像的工序；以及使用学习完毕模型，来输出根据所述多个输入图像推定出的特征的提取图像的工序，其中，所述学习完毕模型包括进行卷积的输入层，并且使用教师数据来完成学习，所述教师数据包括多个学习用的输入图像、和从所述多个学习用的输入图像中的一个提取了所述特征而得到的学习用的特征提取图像，所述多个学习用的输入图像各自中的所述特征的位置相互不同，所述多个学习用的输入图像中的所述特征的位置的变化量小于所述输入层的滤波器的卷积核尺寸。
8.实施方式的图像处理系统，具备图像处理部，所述图像处理部使用学习完毕模型，输出根据多个输入图像推定出的特征的提取图像，所述学习完毕模型包括进行卷积的输入层，并且使用教师数据来完成学习，所述教师数据包括多个学习用的输入图像、和从所述多个学习用的输入图像中的一个提取了所述特征而得到的学习用的特征提取图像，所述多个学习用的输入图像各自中的所述特征的位置相互不同，所述多个学习用的输入图像中的所述特征的位置的变化量小于所述输入层的滤波器的卷积核尺寸。
9.实施方式的焊接系统，具备：焊接部，对被焊接部件进行焊接；一个以上的拍摄装置，对所述被焊接部件的焊接部位进行拍摄；图像处理部，使用学习模型，输出根据所述拍摄装置拍摄的多个图像而推定出的焊接的特征的提取图像；以及控制部，基于所述图像处理部输出的特征提取图像，控制所述焊接部，所述学习完毕模型包括进行卷积的输入层，并
且使用教师数据来完成学习，所述教师数据包括多个学习用的输入图像、和从所述多个学习用的输入图像中的一个提取了所述特征而得到的学习用的特征提取图像，所述多个学习用的输入图像各自中的所述特征的位置相互不同，所述多个学习用的输入图像中的所述特征的位置的变化量小于所述输入层的滤波器的卷积核尺寸。
附图说明
10.图1是示出第一实施方式的焊接系统的图。
11.图2的(a)是示出焊接前的被焊接部件的俯视图，图2的(b)是示出焊接过程中的被焊接部件的俯视图。
12.图3是示出第一实施方式的焊接系统中的控制装置的硬件结构的框图。
13.图4是示出第一实施方式的学习模型的图。
14.图5是示出第一实施方式的学习模型的生成方法的流程图。
15.图6是示出第一实施方式的学习模型的学习中使用的数据的图。
16.图7是示出第一实施方式的学习模型的生成方法中的学习用的输入图像的前处理方法的图。
17.图8是示出第一实施方式的学习模型的生成器的图。
18.图9的(a)是示出第一实施方式的学习模型中的输入层的处理的图，图9的(b)是示出输入层中的卷积方法的图。
19.图10是示出在多个学习用的输入图像中熔池的轮廓的位置彼此不同的图。
20.图11的(a)是示出第一实施方式的学习模型中的第一中间层的处理的图，图11的(b)是示出第一实施方式的学习模型中的第二中间层的处理的图，图11的(c)是示出第一实施方式的学习模型中的第三中间层的处理的图。
21.图12的(a)是示出第一实施方式的学习模型中的第四中间层的处理的图，图12的(b)是示出第一实施方式的学习模型中的第五中间层的处理的图，图12的(c)是示出第一实施方式的学习模型中的第六中间层的处理的图。
22.图13是示出第一实施方式的学习模型中的输出层的处理的图。
23.图14是示出第一实施方式的学习模型所输出的特征提取图像的图。
24.图15是示出使用了第一实施方式的学习模型的焊接方法的流程图。
25.图16是示出第二实施方式的焊接系统的一部分的图。
26.图17是示出第三实施方式的焊接系统的一部分的图。
27.图18是示出第四实施方式的焊接系统的一部分的图。
具体实施方式
28.＜第一实施方式＞
29.首先，对第一实施方式进行说明。
30.图1是示出本实施方式的焊接系统的图。
31.图2的(a)是示出焊接前的被焊接部件的俯视图，图2的(b)是示出焊接过程中的被焊接部件的俯视图。
32.(焊接系统)
33.根据本实施方式的焊接系统10将两个以上的被焊接部件焊接而进行一体化。焊接系统10执行例如激光焊接或电弧焊接。在此，主要对焊接系统10如图2的(a)及图2的(b)所示那样执行两个被焊接部件21、22的激光焊接的例子进行说明。以下，也将两个被焊接部件21、22称为“第一被焊接部件21”及“第二被焊接部件22”。
34.第一被焊接部件21和第二被焊接部件22例如为板状的部件。第一被焊接部件21和第二被焊接部件22以相互对置的方式配置。下文中，将在第一被焊接部件21中与第二被焊接部件22对置的面称为“第一面21a”，将在第二被焊接部件22中与第一被焊接部件21对置的面称为“第二面22a”。
35.如图1所示，焊接系统10包括例如焊接部11、拍摄装置15、照明装置16和控制装置17。
36.在下文中，为了使说明更易懂，使用xyz正交坐标系。其中，将从第一被焊接部件21及第二被焊接部件22朝向焊头13的方向设为“z方向”。另外，将与z方向正交的方向，即从第一被焊接部件21朝向第二被焊接部件22的方向设为“y方向”。此外，将与z方向及y方向正交的方向，即焊头13的行进方向设为“x方向”。
37.焊接部11包括光源12、焊头13和臂14。焊头13连接于光源12，将光源12射出的激光l照射到第一被焊接部件21及第二被焊接部件22。臂14保持焊头13，使焊头13相对于第一被焊接部件21及第二被焊接部件22移动。臂14可以在例如x方向、y方向和z方向上移动焊头13。
38.拍摄装置15是包括例如ccd图像传感器或cmos图像传感器的照相机。拍摄装置15配置在第一被焊接部件21和第二被焊接部件22的上方。在本实施方式中，拍摄装置15在焊接过程中拍摄焊接部位的动态图像d。以下，也将动态图像d称为“控制用动态图像d”。
39.照明装置16照亮焊接部位，以通过拍摄装置15得到更鲜明的图像。即使不照亮焊接部位，如果能够得到可用于下述图像处理系统的图像处理的图像，那么也可以不设置照明装置16。
40.图3是示出根据本实施方式的焊接系统中的控制装置的硬件结构的框图。
41.在本实施方式中，控制装置17是包括gpu(graphics processing unit)17a、rom(read only memory)17b、ram(random access memory)17c、硬盘17d等的计算机。gpu17a、rom17b、ram17c和硬盘17d通过总线17e相互连接。但是，控制装置的结构不限于上述结构。例如，控制装置也可以不使用gpu而使用cpu等其他处理器。另外，控制装置也可以包含输入输出接口等其他结构。
42.在本实施方式中，如图1所示，控制装置17作为取得部171、图像处理部172、控制部173以及存储部174发挥功能。取得部171、图像处理部172和控制部173的功能例如由gpu17a实现。另外，存储部174的功能例如由rom17b、ram17c、硬盘17d等实现。
43.当焊接第一被焊接部件21和第二被焊接部件22时，控制部173控制焊接部11，一边从焊头13向第一被焊接部件21和第二被焊接部件22射出激光l，一边使焊头13在x方向上移动。另外，控制部173控制拍摄装置15以拍摄焊接过程中的焊接部位的动态图像d。
44.通过向第一被焊接部件21及第二被焊接部件22照射激光l，如图2的(b)所示，第一被焊接部件21的一部分及第二被焊接部件22的一部分熔融，产生熔池31。在焊头13的行进方向即x方向上，在熔池31的前方存在未熔融的第一面21a及第二面22a。此外，在熔池31内
的照射的激光l的能量密度高的区域中，有时熔融的金属蒸发而产生小孔(keyhole)32。并且，通过熔池31凝固，对第一被焊接部件21及第二被焊接部件22进行一体化。在第一被焊接部件21和第二被焊接部件22的接缝形成有焊缝33。因此，在构成动态图像d的各个图像中，包含：第一面21a、第二面22a、熔池31、小孔32以及焊缝33的任一个。
45.如图1所示，取得部171在焊接过程中以规定的时间间隔从构成动态图像d的图像中取得多个图像作为多个控制用的输入图像ia1、ia2、ia3。这里，对控制用的输入图像的张数为3张的例子进行说明，但控制用的输入图像的张数没有特别限定，只要是两张以上即可。例如，控制用的输入图像ia3是最新的图像，控制用的输入图像ia2是在控制用的输入图像ia3紧前的时刻拍摄的图像。控制用的输入图像ia1是在控制用的输入图像ia2紧前的时刻拍摄的图像。另外，控制用的输入图像ia2也可以不是在控制用的输入图像ia3紧前的时刻拍摄的图像，控制用的输入图像ia1也可以不是在控制用的输入图像ia2紧前的时刻拍摄的图像。
46.图像处理部172使用存储在存储部174中的完成学习的学习模型200，在焊接过程中以规定的时间间隔输出根据多个控制用的输入图像ia1、ia2和ia3推定出的特征提取图像ib。在下文中，特征提取图像ib也被称为“控制用的特征提取图像ib”。另外，完成学习的学习模型200也称为“学习完毕模型200”。
47.图像处理部172提取的特征是多个控制用的输入图像ia1、ia2和ia3中的特定区域的轮廓等。在此，将对图像处理部172提取多个特征的例子进行说明。但是，图像处理部提取的特征的数量只要是一个以上就没有特别限定。
48.图像处理部172从多个控制用的输入图像ia1、ia2和ia3中提取熔池31的轮廓作为线r1，提取小孔32的轮廓作为线r2，提取第一被焊接部件21的轮廓的一部分即第一面21a作为线r3，提取第二被焊接部件22的轮廓的一部分即第二面22a作为线r4。也就是说，控制用的特征提取图像ib是将熔池31的轮廓表示为线r1，将小孔32的轮廓表示为线r2，将第一面21a表示为线r3，将第二面22a表示为线r4的图像。但是，图像处理部提取的特征并不限于上述内容。例如，图像处理部也可以提取焊缝的轮廓作为特征。
49.控制部173使用控制用的特征提取图像ib以规定的时间间隔控制焊接部11。具体而言，控制部173根据控制用的特征提取图像ib，计算小孔32在y方向上的中心位置、和其前方的第一面21a与第二面22a的间隙在y方向上的中心位置之间的偏差，并控制臂14以消除偏差。另外，控制部173控制光源12的输出，使得控制用的特征提取图像ib中的熔池31的轮廓在y方向上的位置位于第一面21a和第二面22a的外侧，并且收敛于一定的范围内。由此，能够提高第一被焊接部件21和第二被焊接部件22的焊接的位置精度以及焊接的强度。
50.(学习模型)
51.接着，对焊接系统10所使用的学习完毕模型200进行说明。
52.图4是示出本实施方式的学习模型的图。
53.用于焊接系统10的学习模型200使用教师数据td完成学习。
54.教师数据td包括多个学习用的输入图像ic1、ic2和ic3、以及从多个学习用的输入图像ic1、ic2和ic3中的一个提取了特征而成的学习用的特征提取图像id2。学习模型200在一次学习中使用的学习用的输入图像ic1、ic2和ic3的张数与在一次图像处理中使用的控制用的输入图像ia1、ia2和ia3的张数相同，例如为3张。
55.多个学习用的输入图像ic1、ic2和ic3例如是构成拍摄了焊接部位而成的学习用动态图像的图像中的3张图像。学习用动态图像例如由拍摄装置15拍摄。例如，学习用的输入图像ic1是在学习用的输入图像ic2紧前的时刻拍摄的图像，学习用的输入图像ic3是在学习用的输入图像ic2紧后拍摄的图像。另外，学习用动态图像的拍摄装置和控制用动态图像d的拍摄装置也可以不同。
56.学习用的特征提取图像id2例如是从学习用的输入图像ic2中提取了特征而成的图像，由后述的生成装置40的使用者在学习模型200的学习前准备。具体而言，学习用的特征提取图像id2与控制用的特征提取图像ib一样，是将学习用的输入图像ic2中的熔池31的轮廓表示为线r5，将小孔32的轮廓表示为线r6，将第一面21a表示为线r7，将第二面22a表示为线r8的图像。学习用的特征提取图像id2例如通过由制作者用线描绘出在学习用的输入图像ic2中被认定为熔池31的轮廓、小孔32的轮廓、第一面21a以及第二面22a的部分，并提取描绘的线来制作。不过，学习用的特征提取图像的制作方法不限于上述方法。另外，学习用的特征提取图像例如也可以是从学习用的输入图像ic1或学习用的输入图像ic3中提取了特征而成的图像。
57.用于学习模型200的算法是根据图像来制作图像的算法，例如是pix2pix。
58.学习模型200具有生成器210和识别器220。生成器210输出根据多个学习用的输入图像ic1、ic2和ic3推定的特征的提取图像ie。当输入学习用的输入图像ic2和学习用的特征提取图像id2组成的对，以及学习用的输入图像ic2和生成器210生成的特征提取图像ie组成的对时，识别器220识别哪一对是教师数据td(即真)，哪一对不是教师数据td(即假)。继续生成器210的学习，使得识别器220将学习用的输入图像ic2和生成器210生成的特征提取图像ie组成的对识别为真。此外，继续识别器220的学习，使得学习用的输入图像ic2和学习用的特征提取图像id2组成的对可以被识别为真，并且学习用的输入图像ic2和生成器210生成的特征提取图像ie组成的对可以被识别为假。稍后将叙述由生成器210和识别器220进行的具体处理。
59.在本实施方式中，如图1所示，学习模型200由生成装置40生成。生成装置40是包含gpu或cpu等处理器、rom、ram、硬盘等的计算机。此外，控制装置17也可以生成学习模型。
60.(学习模型的生成方法)
61.接下来，将对学习模型200的生成方法进行说明。
62.图5是示出本实施方式的学习模型的生成方法的流程图。
63.学习模型200的生成方法具备：取得教师数据td的工序s11；对各学习用的输入图像ic1、ic2和ic3进行前处理的工序s12；以及让学习模型200进行学习的步骤s13。以下，将对各工序进行详细说明。
64.图6是示出本实施方式的学习模型的学习中使用的数据的图。
65.首先，生成装置40取得使用者预先准备的教师数据td(工序s11)。即，生成装置40取得多个学习用的输入图像ic1、ic2和ic3，以及从学习用的输入图像ic2中提取了特征而成的学习用的特征提取图像id2。
66.另外，在本实施方式中，生成装置40还取得从学习用的输入图像ic1中提取了特征而成的前处理用的特征提取图像id1、以及从学习用的输入图像ic3中提取了特征而成的前处理用的特征提取图像id3。前处理用的特征提取图像id1、id3与学习用的特征提取图像
id2同样，是提取熔池31的轮廓作为线r5；提取小孔32的轮廓作为线r6；提取第一面21a作为线r7；提取第二面22a作为线r8的图像，由使用者预先准备。前处理用的特征提取图像id1、id3与学习用的特征提取图像id2同样，通过制作者在学习用的输入图像ic1、ic3中用线描绘出认定为熔池31的轮廓、小孔32的轮廓、第一面21a以及第二面22a的部分，并提取描绘的线而制作。
67.图7是示出本实施方式的学习模型的生成方法中的学习用的输入图像的前处理方法的图。
68.接着，生成装置40对学习用的输入图像ic1、ic2和ic3进行前处理(工序s12)。
69.具体地，生成装置40使用前处理用的特征提取图像id1，制作将构成线r5、r6、r7、r8以及线r5、r6、r7、r8的周围的像素的值设为零，将除此以外的像素的值设为1的第一掩模m1。在下文中，图像也被视为矩阵，像素也被称为“要素”。另外，生成装置40在前处理用的特征提取图像id1中制作将构成线r5、r6、r7、r8以及线r5、r6、r7、r8的周围的要素的值设为1，将除此以外的要素的值设为0的第二掩模m2。另外，在图7中，为了使说明更易懂，将第一掩模m1及第二掩模m2中的值为零的要素用黑色表示，值为1的要素用白色表示。
70.接着，生成装置40将学习用的输入图像ic1的要素和第一掩模m1的要素彼此相乘。这里，“将要素彼此相乘”是指在学习用的输入图像ic1以及第一掩模m1等的两个矩阵中，对所有的要素进行将一方的矩阵中的第i行且第j列的要素与另一方的矩阵中的第i行且第j列的要素相乘的处理。由此，制作从学习用的输入图像ic1中将特征以及特征的周围除去了的图像m4。
71.另外，生成装置40通过将平滑滤波器、高斯滤波器、或中值滤波器等滤波器应用于学习用的输入图像ic1，来制作使学习用的输入图像ic1的整体模糊后的图像m3。“模糊”是指降低图像中的灰度的变化的处理。然后，生成装置40将整体模糊后的图像m3的要素和第二掩模m2的要素彼此相乘。由此，制作从整体模糊后的图像m3中取出了特征以及特征周围的区域的图像m5。
72.接着，生成装置40将学习用的输入图像ic1和第一掩模m1相乘后的图像m4的要素，与整体模糊后的图像m3和第二掩模m2相乘后的图像m5的要素彼此相加。这里，“将要素彼此相加”是指在两个矩阵中，对所有的要素进行将一个矩阵的第i行且第j列的要素与另一个矩阵的第i行且第j列的要素相加的处理。由此，制作前处理完毕图像im1。
73.通过进行以上的处理，能够取得使学习用的输入图像ic1的特征及其周围模糊，而不使其他区域模糊的前处理完毕图像im1。生成装置40也对学习用的输入图像ic2进行同样的处理，制作学习用的输入图像ic2的前处理完毕图像im2。另外，生成装置40也对学习用的输入图像ic3进行同样的处理，制作学习用的输入图像ic3的前处理完毕图像im3。
74.在工序s12中，模糊多个学习用的输入图像ic1、ic2和ic3的程度可以相同，也可以相互不同。模糊各学习用的输入图像ic1、ic2和ic3的程度，例如可以通过应用平滑滤波器，高斯滤波器，或中值滤波器等滤波器时的加权值来调整。在多个前处理完毕图像im1、im2、和im3中模糊的程度相互不同的情况下，继续学习模型200的学习，以使得能够在多个前处理完毕图像im1、im2、和im3之中的模糊的程度最大的前处理完毕图像中提取特征。
75.但是，也可以将使各学习用的输入图像的整体模糊后的图像作为前处理完毕图像，输入到后述的学习模型的输入层。另外，也可以将不进行前处理的学习用的输入图像输
入到输入层。
76.图8是示出根据本实施方式的学习模型的生成器的图。
77.接着，生成装置40使用多个前处理完毕图像im1、im2、和im3、以及学习用的特征提取图像id2来让学习模型200进行学习(工序s13)。
78.在本实施方式中，在生成器210中使用u-net。具体而言，在本实施方式中，生成器210包括输入层211、第一中间层212a、第二中间层212b、第三中间层212c、第四中间层213a、第五中间层213b、第六中间层213c以及输出层214。另外，在图8中，虽然示出了中间层212a、212b、212c、213a、213b以及213c的数量为6个的例子，但中间层的数量不限于此。
79.图9的(a)是示出本实施方式的学习模型中的输入层的处理的图。图9的(b)是示出输入层中的卷积方法的图。
80.下面，为了使说明易懂，在图像或滤波器等的矩阵中，将一行中的要素的排列方向称为“横向x”，将一列中的要素的排列方向称为“纵向y”。
81.多个前处理完毕图像im1、im2和im3作为一组数据被输入到输入层211。在输入层211中，对一组前处理完毕图像im1、im2和im3进行卷积。以下，将对在输入层211中通过b个滤波器f11、f12至f1b进行卷积，且各滤波器f11至f1b的卷积核尺寸为n1
×
n1的例子进行说明。
82.首先，生成装置40在前处理完毕图像im1中提取与滤波器f11相同尺寸的区域a1。接着，生成装置40计算将提取出的区域a1的第i行第j列的要素im1(i，j)和滤波器f11的第i行第j列的要素f1(i，j)相乘后的值r1(i，j)。生成装置40对区域a1内的所有要素im1(i，j)进行同样的处理。接着，生成装置40计算将针对区域a1计算出的所有的值r1(i，j)相加后的值c1(p，q)。
83.同样地，生成装置40在前处理完毕图像im2中提取与滤波器f11相同尺寸并且位于与区域a1相同位置的区域a2。接着，生成装置40计算将提取出的区域a2的第i行第j列的要素im2(i，j)和滤波器f11的第i行第j列的要素f1(i，j)相乘后的值r2(i，j)。生成装置40对区域a2内的所有要素im2(i，j)进行同样的处理。接着，生成装置40计算将针对区域a2计算出的所有的值r2(i，j)相加后的值c2(p，q)。
84.同样地，生成装置40在前处理完毕图像im3中提取与滤波器f11相同尺寸并且位于与区域a1相同位置的区域a3。接着，生成装置40计算将提取出的区域a3的第i行第j列的要素im3(i，j)和滤波器f11的第i行第j列的要素f1(i，j)相乘后的值r3(i，j)。生成装置40对区域a3内的所有要素im3(i，j)进行同样的处理。接着，生成装置40计算将针对区域a3计算出的所有的值r3(i，j)相加后的值c3(p，q)。
85.然后，生成装置40计算将计算出的值c1(p，q)，c2(p，q)，c3(p，q)相加后的值cs(p，q)。
86.然后，生成装置40使对各前处理完毕图像im1、im2和im3应用滤波器f11的区域a1、a2和a3在横向x上依次移位，同样地计算值cs(p，q)。使区域a1、a2和a3移位到各前处理完毕图像im1、im2和im3的最后一行后，返回到最初的行，并且使各区域a1、a2和a3沿纵向y移位，进行同样的处理。重复以上处理，直到各区域a1、a2和a3移位到属于各前处理完毕图像im1、im2和im3的最后一行和最后一列的要素上为止。
87.另外，在本实施方式中，在输入层211中，使各区域a1、a2和a3在横向x或纵向y各移
动1个要素。即，跨度(stride)为1。当各区域a1、a2和a3移位时，如果各区域a1、a2和a3从前处理完毕图像im1、im2和im3突出，则将各区域a1、a2和a3中突出部分的要素的值设置为零，即进行零填充。另外，也可以使各区域a1、a2和a3按每两个以上的要素进行移位。即，跨度可以是2以上。
88.通过上述内容，如图9的(a)所示，制作第p行且第q列的要素为值cs(p，q)的第一特征图p11。如上所述，在本实施方式中，区域a1、a2和a3在横向x和纵向y上各移动1个要素。因此，第一特征图p11的尺寸与各个前处理完毕图像im1、im2和im3的尺寸相同。
89.接着，对滤波器f12至f1b也进行与滤波器f11相同的处理。由此，制作多个第一特征图p12至p1b。这样，在输入层211中，可以将3张前处理完毕图像im1、im2和im3作为一组数据进行卷积。
90.图10是示出在多个学习用的输入图像中熔池的轮廓的位置彼此不同的图。
91.在图10中，用线r5a表示学习用的输入图像ic1的熔池31的轮廓的位置，用线r5b表示学习用的输入图像ic2的熔池31的轮廓的位置，用线r5c表示学习用的输入图像ic3的熔池31的轮廓的位置。
92.作为多个学习用的输入图像ic1、ic2和ic3，使用的是特征的位置相互不同，学习用的输入图像ic1、ic2和ic3的特征的位置的变化量δx、δy小于各滤波器f11至f1b的卷积核尺寸n1的图像。
93.例如，当激光l连续地照射在第一被焊接部件21及第二被焊接部件22的某一区域时，熔池31逐渐扩展。此时，在利用拍摄装置15拍摄焊接部位的动态图像的情况下，在构成动态图像的图像中，熔池31的轮廓的位置相互不同。
94.在本实施方式中，从构成动态图像的图像中，选定熔池31的轮廓的位置的横向x的最大变化量δx、以及熔池31的轮廓的位置的纵向y的最大变化量δy小于各滤波器f11至f1b的卷积核尺寸n1的图像的组合作为各学习用的输入图像ic1、ic2和ic3。为了能够进行这样的选定，以多个学习用的输入图像ic1、ic2和ic3的特征的位置的变化量δx、δy小于各滤波器f11至f1b的卷积核尺寸n1的方式，设定拍摄装置15进行拍摄的时间间隔，即帧速率。当帧速率已经确定时，也可以以使得多个学习用的输入图像ic1、ic2和ic3的特征的位置的变化量δx、δy比各滤波器f11至f1b的卷积核尺寸n1小的方式减小卷积核尺寸n1。另外，同样地，也可以增大视角。
95.对于作为其他特征的小孔32的轮廓以及第一面21a、第二面22a，也以满足同样要求的方式选定学习用的输入图像ic1、ic2和ic3。
96.通过像上所述那样对多个学习用的输入图像ic1、ic2和ic3进行选定，例如可以使得在一个学习用的输入图像ic1中在与滤波器f11相同尺寸的区域a1内包含有特征的情况下，在其他的学习用的输入图像ic2、ic3中在与滤波器f11相同尺寸的区域a2、a3也包含有特征的可能性变高。因此，学习模型200能够进行学习，以整合与多个学习用的输入图像ic1、ic2和ic3中的特征的位置的变化相关的信息，根据多个学习用的输入图像ic1、ic2和ic3推定特征的提取图像ie。由此，即使当在一张图像中难以提取特征的位置时，也可以根据多个图像的特征的位置的变化来高精度地捕捉并提取特征的位置。其结果，能够提高当向学习模型200输入多个控制用的输入图像ia1、ia2和ia3时的特征的提取精度。
97.另外，在本实施方式中，说明了多个学习用的输入图像ic1、ic2和ic3的特征的位
置为基于时间经过的位置的例子。即，在本实施方式中，变化量δx、δy因时间的经过而产生。但是，如后述的其他实施方式那样，变化量也可以不是因时间的经过而产生的。
98.图11的(a)是示出根据本实施方式的学习模型中的第一中间层的处理的图。图11的(b)是示出根据本实施方式的学习模型中的第二中间层的处理的图。图11的(c)是示出根据本实施方式的学习模型中的第三中间层的处理的图。
99.接着，如图11的(a)所示，将在输入层211中制作出的多个第一特征图p11至p1b输入到第一中间层212a。
100.在第一中间层212a中，多个第一特征图p12至p1b作为一组数据，由c个滤波器f21、f22至f2c进行卷积。另外，关于卷积的具体方法，除了在卷积的图像中使与各滤波器f21至f2c相同尺寸的区域按每两个以上的要素进行移位这一点之外，均与输入层211中的卷积的方法相同。因此，在此省略第一中间层212a中的卷积的详细说明。
101.在第一中间层212a中，通过用c个滤波器f21至f2c对多个第一特征图p12至p1b进行卷积，制作出多个第二特征图p21、p22至p2c。在本实施方式中，在各第一特征图p11至p1b中，使应用各滤波器f21至f2c的区域按每两个以上的要素进行移位。由此，多个第二特征图p21至p2c的尺寸会小于多个第一特征图p12至p1b的尺寸。
102.接着，如图11的(b)所示，在第二中间层212b中，多个第二特征图p21至p2c作为一组数据，由d个滤波器f31、f32至f3d进行卷积。由此，制作d个第三特征图p31、p32至p3d。在本实施方式中，在各第二特征图p21至p2c中，使应用各滤波器f31至f3d的区域按每两个以上的要素进行移位。由此，多个第三特征图p31至p3d的尺寸会小于多个第二特征图p21至p2c的尺寸。
103.接着，如图11的(c)所示，在第三中间层212c中，多个第三特征图p31至p3d作为一组数据，由e个滤波器f41、f42至f4e进行卷积。由此，制作e个第四特征图p41、p42至p4e。在本实施方式中，在各第三特征图p31至p3d中，使应用各滤波器f41至f4e的区域按每两个以上的要素进行移位。由此，多个第四特征图p41至p4e的尺寸会小于多个第三特征图p31至p3d的尺寸。
104.另外，在本实施方式中，多个学习用的输入图像ic1、ic2和ic3的特征的位置的变化量δx、δy小于第一中间层212a的各滤波器f21至f2c的卷积核尺寸n2、第二中间层212b的各滤波器f31至f3d的卷积核尺寸n3、以及第三中间层212c的各滤波器f41至f4e的卷积核尺寸n4。因此，易于将与多个第一特征图p11至p1b中包含的特征的位置变化相关的信息从第一中间层212a传播到第三中间层212c。
105.图12的(a)是示出本实施方式的学习模型中的第四中间层的处理的图。图12的(b)是示出本实施方式的学习模型中的第五中间层的处理的图。图12的(c)是示出本实施方式的学习模型中的第六中间层的处理的图。
106.接着，将第三中间层212c制作出的多个第四特征图p41至p4e输入到第四中间层213a。在第四中间层213a中，将多个第四特征图p41至p4e作为一组数据进行反卷积。这里“反卷积”是指，假设所输入的特征图是通过用某些滤波器对某一图进行卷积而生成的，在所输入的特征图上对相当于该滤波器的转置矩阵的滤波器进行卷积的处理。
107.具体而言，首先，制作将各第四特征图p41至p4e的横向x的尺寸和纵向y的尺寸放大后的第一放大图k11、k12至k1e。通过将值为零的要素添加到第四特征图p41至p4e来制作
放大图k11至k1e。接着，将多个第一放大图k11、k12和k13至k1e作为一组数据，对f个滤波器f51、f52至f5f进行卷积。由此，制作f个第五特征图p51、p52至p5f。这里，f个滤波器f51、f52至f5f相当于假设第四特征图p41至p4e是通过用某些滤波器对图进行卷积而创建的情况下的该滤波器的转置矩阵。由此，能够使输出的多个第五特征图p51至p5f的尺寸大于输入的多个第四特征图p41至p4e的尺寸。
108.接着，如图12的(b)所示，第四中间层213a制作的多个第五特征图p51至p5f和第二中间层212b制作的第三特征图p31至p3d被输入到第五中间层213b。在第五中间层213b中，将多个第五特征图p51至p5f和第三特征图p31至p3d作为一组数据进行卷积。
109.具体而言，在第五中间层213b中，制作将多个第五特征图p51至p5f的横向x的尺寸和纵向y的尺寸放大后的第二放大图k21至k2f、以及将多个第三特征图p31至p3d的横向x的尺寸和纵向y的尺寸放大后的第三放大图k31至k3d。接着，多个第二放大图k21至k2f和第三放大图k31至k3d作为一组数据，由g个滤波器f61、f62至f6g进行卷积。由此，可制作g个第六特征图p61、p62至p6g。输出的第六特征图p61至p6g的尺寸大于输入的第五特征图p51至p5f的尺寸。
110.接着，如图12的(c)所示，第五中间层213b制作的多个第六特征图p61至p6g和第一中间层212a制作的第二特征图p21至p2c被输入到第六中间层213c。在第六中间层213c中，将多个第六特征图p61至p6g和第二特征图p21至p2c作为一组数据进行卷积。
111.具体而言，在第六中间层213c中，制作将多个第六特征图p61至p6g的横向x的尺寸和纵向y的尺寸放大后的第四放大图k41至k4g、以及将多个第二特征图p21至p2c的横向x的尺寸和纵向y的尺寸放大后的第五放大图k51至k5c。接着，将多个第四放大图k41至k4g和第五放大图k51至k5c作为一组数据，通过h个滤波器f71、f72至f7h进行卷积。由此，制作h个第七特征图p71、p72至p7h。输出的多个第七特征图p71至p7h的尺寸大于输入的多个第六特征图p61至p6g的尺寸。
112.在本实施方式中，多个学习用的输入图像ic1、ic2和ic3的特征位置的变化量δx、δy小于第四中间层213a的各滤波器f51至f5f的卷积核尺寸n5、第五中间层213b的各滤波器f61至f6g的卷积核尺寸n6、以及第六中间层213c的各滤波器f71至f7h的卷积核尺寸n7。因此，易于将与多个第四特征图p41至p4e中包含的特征的位置变化相关的信息从第四中间层213a传播到第六中间层213c。
113.图13是表示根据本实施方式的学习模型中的输出层的处理的图。
114.接着，如图13所示，在输出层214中，多个第七特征图p71至p7h作为一组数据，由3个滤波器f81、f82和f83进行卷积。由此，制作3个第八特征图p81、p82和p83。
115.在本实施方式中，多个学习用的输入图像ic1、ic2和ic3的特征的位置的变化量比输出层214的滤波器f81至f83的卷积核尺寸n8小。因此，学习模型200能够以整合多个学习用的输入图像ic1、ic2和ic3中的特征的位置的变化、并根据多个学习用的输入图像ic1、ic2和ic3推定出特征的提取图像ie的方式，进行学习。
116.此外，在学习模型200中，例如，第一中间层212a的滤波器f21至f2c的数量c大于输入层211的滤波器f11至f1b的数量b。另外，第二中间层212b的滤波器f31至f3d的数量d大于第一中间层212a的滤波器f21至f2c的数量c。另外，第三中间层212c的滤波器f41至f4e的数量e大于第二中间层212b的滤波器f31至f3d的数量d。另外，第四中间层213a的滤波器f51至
f5f的数量f与第三中间层212c的滤波器f41至f4e的数量e相同。另外，第五中间层213b的滤波器f61至f6g的数量g与第二中间层212b的滤波器f31至f3d的数量d相同。另外，第六中间层213c的滤波器f71至f7h的数量h与第一中间层212a的滤波器f21至f2c的数量c相同。但是，b至h的大小关系不限于上述。
117.另外，在学习模型200中，例如，输入层211的卷积核尺寸n1与输出层214的卷积核尺寸n8相同。另外，例如，中间层212a、212b、212c、213a、213b和213c的卷积核尺寸n2至n7相同，且比输入层211的卷积核尺寸n1大。但是，卷积核尺寸n1至n8的大小关系不限于上述。
118.图14是示出本实施方式的学习模型的生成器所输出的特征提取图像的图。
119.在第八特征图p81中，提取被推定为熔池31轮廓的部分作为线r9。在第八特征图p82中，提取被推定为小孔32轮廓的部分作为线r10。在第八特征图p83中，提取被推定为第一面21a的部分作为线r11，并提取被推定为第二面22a的部分作为线r12。3个第八特征图p81、p82和p83的组合相当于根据多个学习用的输入图像ic1、ic2和ic3推定出的特征的提取图像ie。
120.接着，向识别器220输入学习用的输入图像ic2和学习用的特征提取图像id2组成的对、以及学习用的输入图像ic2和由生成器210输出的特征提取图像ie组成的对。然后，识别器220识别哪个对是真，哪个对是假。生成器210以使识别器220将学习用的输入图像ic2和由生成器210输出的特征提取图像ie组成的对识别为真的方式进行学习，并且生成器210确定进行卷积或反卷积时的滤波器的要素的值。此外，识别器220以将学习用的输入图像ic2和学习用的特征提取图像id2组成的对识别为真、并将学习用的输入图像ic2和由生成器210输出的特征提取图像ie组成的对识别为假的方式，进行学习。通过同时进行生成器210的学习和识别器220的学习，使得两者的学习进展。
121.(焊接方法)
122.接着，对使用了本实施方式的学习模型200的焊接方法进行说明。
123.图15是示出使用了本实施方式的学习模型的焊接方法的流程图。
124.在以下的说明中，焊接时，控制部173控制焊接部11，使激光l从焊头13射出的同时使焊头13沿x方向逐渐移动。另外，在焊接时，控制部173控制拍摄装置15，来拍摄焊接时的焊接部位的动态图像d。
125.在焊接已经开始的情况下，首先，取得部171取得构成拍摄装置15所拍摄的焊接部位的动态图像d的图像中的、最新的图像以及在其紧前的时刻所拍摄的2张图像，作为多个控制用的输入图像ia1、ia2和ia3(工序s21)。在本实施方式中，拍摄装置15的帧速率以及视角被设定为：多个控制用的输入图像ia1、ia2和ia3的特征的位置的变化量比输入层211的滤波器f11至f1b的卷积核尺寸n1小。
126.接着，图像处理部172使用存储在存储部174中的学习模型200，输出根据3个输入图像ia1、ia2和ia3推定出的特征的提取图像ib(工序s22)。
127.接着，控制部173根据图像处理部172输出的特征提取图像ib来控制焊接部11(工序s23)。具体而言，控制部173根据控制用的特征提取图像ib，计算小孔32在y方向上的中心位置与其前方的第一面21a和第二面22a的间隙在y方向上的中心位置之间的偏差，并控制臂14以消除偏差。另外，控制部173控制光源12的输出，使得控制用的特征提取图像ib中的熔池31的轮廓在y方向上的位置位于比第一面21a和第二面22a靠外侧，并且收敛于一定的
范围内。
128.接着，控制部173判断焊接是否完成(工序s24)。在判断为焊接完成的情况下(工序s24：是)，控制部173使激光的输出切断，完成焊接。在判断为焊接未完成的情况下(工序s24：否)，再次进行工序s21至s24的处理。
129.下面，对本实施方式的效果进行说明。
130.本实施方式的学习模型200的生成方法包括如下工序：取得教师数据td的工序，该教师数据td包括多个学习用的输入图像ic1、ic2和ic3和从多个学习用的输入图像ic1、ic2和ic3中的一个输入图中提取了特征而成的学习用的特征提取图像id2；以及使用教师数据td使学习模型200学习的工序，该学习模型200输出根据多个输入图像ic1、ic2和ic3推定出的特征的提取图像ib。学习模型200包括进行卷积的输入层211。多个学习用的输入图像ic1、ic2和ic3的每一个中的特征的位置相互不同。多个学习用的输入图像ic1、ic2和ic3中的特征的位置的变化量δx、δy小于输入层211的滤波器f11至f1b的卷积核尺寸n1。
131.在这样的学习模型200的生成方法中，能够以根据整合有多个学习用的输入图像ic1、ic2和ic3中的特征的位置的变化的信息、来从多个学习用的输入图像ic1、ic2和ic3中推定出特征的提取图像ie的方式，使学习模型200进行学习。因此，当输入多个输入图像ia1、ia2和ia3时，学习模型200可以高精度地提取特征。
132.此外，学习模型200包括进行卷积的输出层214。变化量δx、y小于输出层214的滤波器f81、f82和f83的卷积核尺寸n8。因此，能够以根据整合有多个学习用的输入图像ic1、ic2和ic3中的特征的位置的变化的信息、来从多个学习用的输入图像ic1、ic2和ic3中推定出特征的提取图像ie的方式，使学习模型200进行学习。因此，当输入多个输入图像ia1、ia2和ia3时，学习模型200可以高精度地提取特征。
133.此外，学习模型200包括进行卷积的中间层212a、212b和212c。变化量δx、δy比中间层212a、212b和212c的滤波器f21至f2c、f31至f3d、以及f41至f4e的卷积核尺寸n2、n3、n4小。因此，能够以根据整合有多个学习用的输入图像ic1、ic2和ic3中的特征的位置的变化的信息、来从多个学习用的输入图像ic1、ic2和ic3中推定出特征的提取图像ie的方式，使学习模型200进行学习。因此，当输入多个输入图像ia1、ia2和ia3时，学习模型200可以高精度地提取特征。
134.此外，学习模型200包括进行卷积的中间层213a、213b和213c。变化量δx、δy小于中间层213a、213b和213c的滤波器f51至f5f、f61至f6g、以及f7至f7h的卷积核尺寸n5、n6和n7。因此，能够以根据整合有多个学习用的输入图像ic1、ic2和ic3中的特征的位置的变化的信息、来从多个学习用的输入图像ic1、ic2和ic3推定出特征的提取图像ie的方式使学习模型200进行学习。因此，当输入多个输入图像ia1、ia2和ia3时，学习模型200可以高精度地提取特征。
135.另外，在学习模型中使用u-net。即，向第五中间层213b和第六中间层213c等的反卷积层输入第一中间层212a和第二中间层212b等所输出的特征图p21～2c和p31～3d。因此，当输入多个输入图像ia1、ia2和ia3时，学习模型200可以以高位置精度提取特征。
136.另外，本实施方式的学习模型200的生成方法在学习的工序前，还具备制作使多个学习用的输入图像ic1、ic2和ic3的特征模糊化的前处理完毕图像的工序。在学习的工序中，将前处理完毕图像im1、im2和im3输入到输入层211。因此，能够使学习模型200学习，以
使得即便在特征模糊的严格的条件下也能够提取特征。
137.此外，在制作前处理完毕图像的工序中，在多个学习用的输入图像ic1、ic2和ic3中的一个学习用的输入图像中模糊特征的程度，不同于在多个学习用的输入图像ic1、ic2和ic3中的其他的学习用的输入图像中模糊特征的程度。因此，使学习模型200进行学习，以便即使在模糊特征的程度不同的情况下也可以提取特征。
138.另外，多个学习用的输入图像ic1、ic2和ic3为，构成对相当于对象部位的焊接部位进行拍摄而得到的动态图像的图像。因此，能够容易地准备特征的位置相互不同的多个学习用的输入图像ic1、ic2和ic3。
139.另外，多个学习用的输入图像ic1、ic2和ic3中的一个学习用的输入图像是在其他学习用的输入图像的紧前或紧后的时刻拍摄的图像。因此，能够容易地准备特征的位置的变化量δx、δy比滤波器f11至f1b的卷积核尺寸n1小的多个学习用的输入图像ic1、ic2和ic3。
140.另外，多个学习用的输入图像ic1、ic2和ic3为焊接时拍摄焊接部位而得到的图像，特征为熔池31的轮廓的至少一部分、小孔32的轮廓的至少一部分、或者被焊接部件21、22的轮廓的至少一部分。因此，能够高精度地提取与焊接相关的特征。
141.另外，本实施方式所涉及的学习完毕模型200包括进行卷积的输入层211，并且使用教师数据td完成学习，该教师数据包括多个学习用的输入图像ic1、ic2和ic3和从多个学习用的输入图像ic1、ic2和ic3中的一个提取了特征而得到的学习用的特征提取图像id2。多个学习用的输入图像ic1、ic2和ic3的特征的位置相互不同，多个学习用的输入图像ic1、ic2和ic3中的特征的位置的变化量δx、δy小于输入层211的滤波器f11至f1b的卷积核尺寸n1。而且，学习完毕模型200使计算机输出从多个输入图像ia1，ia2和ia3推定出的特征的提取图像ib。因此，可以提供一种当输入多个输入图像ia1，ia2和ia3时能够以高精度提取特征的学习完毕模型200。
142.而且，本实施方式的图像处理方法包括以下工序：取得多个输入图像ia1，ia2和ia3的工序；以及使用学习完毕模型200，输出从多个输入图像ia1，ia2和ia3推定出的特征的提取图像ib的工序。因此，能够提供一种在输入了多个输入图像ia1、ia2和ia3的情况下能够高精度地提取特征的图像处理方法。
143.另外，由于多个输入图像ia1、ia2和ia3中的特征位置的变化量比输入层211的滤波器f11至f1b的卷积核尺寸n1小，因此，当输入多个输入图像ia1、ia2和ia3时能够高精度地提取特征。
144.而且，本实施方式中涉及的图像处理系统具备图像处理部172，该图像处理部172使用学习完毕模型200，输出从多个输入图像ia1、ia2和ia3推定出焊接的特征的提取图像ib。因此，能够提供一种当输入多个输入图像ia1、ia2和ia3时能够高精度地提取特征的图像处理系统。
145.另外，本实施方式中涉及的焊接系统10具备：焊接部11，焊接多个被焊接部件21、22；拍摄装置15，对多个被焊接部件21、22的焊接部位进行拍摄；图像处理部172，使用学习模型200，输出根据拍摄装置15拍摄的多个图像而推定的焊接的特征的提取图像ib；以及控制部173，基于图像处理部173输出的特征提取图像ib，控制焊接装置。由此，能够提供一种基于多个输入图像ia1、ia2和ia3制作特征提取图像ib且能够高精度地控制焊接作业的焊
接系统10。
146.＜第二实施方式＞
147.接着，对第二实施方式进行说明。
148.图16是示出本实施方式的焊接系统的一部分的图。
149.另外，在以下的说明中，原则上仅说明与第一实施方式的不同点。除了以下说明的事项以外，均与第一实施方式相同。
150.在第一实施方式中，说明了将构成拍摄装置15所拍摄的动态图像d的图像作为控制用的输入图像ia1、ia2和ia3以及学习用的输入图像ic1、ic2和ic3使用的例子。与此相对，在本实施方式中，焊接系统310具备能够取得波长、偏光或曝光时间不同的多个图像的拍摄装置315。在波长、偏光或曝光时间不同的多个图像中，有时特征的位置相互不同。而且，也可以将拍摄装置315所拍摄的波长、偏光或曝光时间不同的多个图像用作控制用的输入图像ia1、ia2和ia3及学习用的输入图像ic1、ic2和ic3。
151.在拍摄装置315中内置有能够使相互不同的波长的光透射的滤光器，拍摄装置315也可以取得与各滤光器对应的图像。在这种情况下，通过一个照明装置16可以发射波长互不相同的多个光，也可以发射包含波长互不相同的多个光在内的广域光，还可以设置多个照明装置16，由多个照明装置16来发射波长互不相同的光。另外，拍摄装置315中内置有能够透射偏光方向相互不同的光的偏振器，拍摄装置315也可以取得与各偏振器对应的图像。另外，拍摄装置315也可以取得无偏光图像和偏光图像。在这些情况下，可以通过一个照明装置16发射偏光方向相互不同的多个光，也可以设置多个照明装置16，由多个照明装置16发射偏光方向相互不同的光。另外，拍摄装置315中内置有能够取得曝光时间相互不同的图像的快门，拍摄装置315也可以取得与各曝光时间对应的图像。
152.在这种情况下，设定多个拍摄装置的波长或偏光，使得学习用的输入图像ic1、ic2和ic3的特征位置的变化量比输入层211的多个滤波器f11至f1b的卷积核尺寸n1小。
153.＜第三实施方式＞
154.接着，对第三实施方式进行说明。
155.图17是表示根据本实施方式的焊接系统的一部分的图。
156.在本实施方式中，焊接系统410具备多个拍摄装置415a、415b和415c，多个拍摄装置415a、415b和415c从相互不同的位置拍摄焊接部位。并且，也可以将多个拍摄装置415a、415b和415c所拍摄的图像用作控制用的输入图像ia1、ia2和ia3以及学习用的输入图像ic1、ic2和ic3。
157.在这种情况下，调整多个拍摄装置415a、415b和415c的位置，以使得学习用的输入图像ic1、ic2和ic3的特征的位置的变化量小于输入层211的多个滤波器f11至f1b的卷积核尺寸n1。
158.＜第四实施方式＞
159.接着，对第四实施方式进行说明。
160.图18是表示本实施方式的焊接系统的一部分的图。
161.在本实施方式中，焊接系统510具备多个拍摄装置515a、515b和515c，多个拍摄装置515a、515b和515c的拍摄角度相互不同。而且，也可以将多个拍摄装置515a、515b和515c所拍摄的图像用作控制用的输入图像ia1、ia2和ia3及学习用的输入图像ic1、ic2和ic3。
162.在这种情况下，调整多个拍摄装置515a、515b和515c的拍摄角度，以使得学习用的输入图像ic1、ic2和ic3的特征的位置的变化量小于输入层211的多个滤波器f11至f1b的卷积核尺寸n1。
163.如上所述，多个学习用的输入图像是拍摄焊接部位时的拍摄条件相互不同的图像。作为拍摄条件，没有特别限定，但如上所述，可以举出拍摄焊接部位时的时刻、光的偏光方向、拍摄位置、拍摄角度、光的波长以及曝光时间等。多个控制用的输入图像也同样是拍摄焊接部位时的拍摄条件相互不同的图像。另外，在上述实施方式中，虽然只对一个拍摄条件不同的方式进行了说明，但也可以是多个拍摄条件不同。
164.另外，在上述实施方式中，虽然只对拍摄装置拍摄焊接过程中的焊接部位的方式进行了说明，但也可以是拍摄焊接后的焊接部位。在拍摄了焊接后的焊接部位的情况下，图像处理系统例如可以提取焊缝等作为特征，并将图像处理系统输出的特征提取图像用于焊接的精度的判定等。
165.另外，在上述实施方式中，虽然只对通过焊接系统的控制装置来实现图像处理系统的方式进行了说明，但是，实现图像处理系统的装置并不限于上述。图像处理系统也可以通过附属于拍摄装置的边缘设备来实现。另外，图像处理系统也可以通过对上传到云端的图像进行处理的计算机来实现。另外，图像处理系统也可以通过多台计算机来实现。
166.此外，图像处理系统也可以适用于焊接系统以外的系统。
167.以上，对本发明的实施方式进行了说明，但这些实施方式是作为例子进行提示的，并不意图限定发明的范围。这些新的实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围及主旨中，并且包含在权利要求书所记载的发明及其等同的范围内。
168.附图标记说明
169.10、310、410、510：焊接系统
170.11：焊接部
171.12：光源
172.13：焊头
173.14：臂
174.15、315、415a、415b、415c、515a、515b、515c：拍摄装置
175.16：照明装置
176.17：控制装置
177.17b：rom
178.17c：ram
179.17d：硬盘
180.17e：总线
181.21、22：被焊接部件
182.21a：第一面
183.22a：第一面
184.31：熔池
185.32：小孔
186.33：焊缝
187.40：生成装置
188.171：取得部
189.172：图像处理部
190.173：控制部
191.174：存储部
192.200：学习模型
193.210：生成器
194.211：输入层
195.212a：第一中间层
196.212b：第二中间层
197.212c：第三中间层
198.213a：第四中间层
199.213b：第五中间层
200.213c：第六中间层
201.214：输出层
202.220：识别器
203.a1、a2和a3：区域
204.f11至f1b：滤波器
205.f21至f2c：滤波器
206.f31至f3d：滤波器
207.f41至f4e：滤波器
208.f51至f5f：滤波器
209.f61至f6g：滤波器
210.f71至f7h：滤波器
211.f81至f83：滤波器
212.ia1、ia2和ia3：多个控制用的输入图像
213.ib：控制用的特征提取图像
214.ic1、ic2、ic3：多个学习用的输入图像
215.id2：学习用的特征提取图像
216.id1，id3：前处理用的特征提取图像
217.ie：学习用的特征提取图像
218.im1至im3：前处理完毕图像
219.k11至k1e：第一放大图
220.k21至k2f：第二放大图
221.k31至k3d：第三放大图
222.k41至k4g：第四放大图
223.k51至k5c：第五放大图
224.l：激光
225.m1：第一掩模
226.m2：第二掩模
227.m3：整体模糊后的图像p11至p1b：第一特征图p21至p2c：第二特征图p31至p3d：第三特征图p41至p4e：第四特征图p51至p5e：第五特征图p61至p6g：第六特征图p71至p7h：第七特征图p81至p83：第八特征图r1，r2至r12，r5a，r5b，r5c：线td：教师数据
228.f1：要素
229.im1：要素
230.im2：要素
231.im3：要素
232.n1至n8：卷积核尺寸
233.x：横向
234.y：纵向
235.δx：变化量
236.δy：变化量