接合工序线监视系统的制作方法

本发明涉及接合工序线监视系统。

背景技术：

钎焊、焊接等接合作业在大型构造体或具有复杂形状的构件的制造中是重要工序之一。特别是，在接合部位作用有应力的构造体或作用有来自内压的应力的密闭容器中，由于接合完成状况与安全性有关，因此作业后设置有确认其品质的工序。通常以基于抽样的破坏检查、基于x射线像、超声波探伤的非破坏检查来检测接合缺陷并进行品质管理。另外，若检测到缺陷或未完成部则追加修复的工序，因此会产生工序延迟。

接合作业的可/不可的判断根据检测到的接合缺陷来推定。由于接合伴有金属流动，因此即使以相同的作业内容实施也极难达到相同的最终成果。因此会产生缺陷或未完成部。

近年来，开发了很多能够随时间经过详细拍摄伴有物质移动的现象的摄像头(或相机)、能够将各种现象数值数据化的传感器类。考虑以传感器类捕捉这样的接合状态，防止发生缺陷、未完成部位以进行品质管理。

专利文献1公开了计测接合部的温度变化并根据计测数据的特征量判定接合部适当或不适当以进行管理的锡焊接合部的品质管理方法及品质管理装置。

专利文献2中公开了利用视觉传感器进行温度计测并反馈给自动装置的加热机构的自动钎焊方法。

现有技术文献

专利文献

专利文献1：日本特开2015-155103号公报

专利文献2：日本特开平6-262345号公报

技术实现要素：

但是，专利文献1记载的锡焊接合部的品质管理方法存在由于温度变化和熔融金属材料(钎料、焊锡、焊接材料等)是否供给至接合部位不明从而制出未完成部的课题。

另外，专利文献2记载的自动钎焊方法存在在伴有人工作业的针对大型构造体、复杂形状的接合作业中无法自动化的课题。

本发明是鉴于上述情况提出的，其目的在于提供能够防止接合品质下降和作业延迟的接合工序线监视系统。

为了解决上述课题，本发明的接合工序线监视系统的特征在于，具备：接合现象数据获取单元，其获取接合对象构件的接合现象来作为现象数据；作业状态数据获取单元，其获取所述接合对象构件的接合作业状态来作为作业状态数据；评价数据计算单元，其对所获取的所述现象数据与所述作业状态数据进行时刻同步且与每个接合作业部位关联来计算评价数据；差异数据提取单元，其提取所述评价数据与预先设定的基准数据的差异来作为差异数据；以及提示单元，其基于所述差异数据提示所述接合对象构件的接合部的异常部位。

发明效果

根据本发明，提供能够防止接合品质下降和作业延迟的接合工序线监视系统。

附图说明

图1是示出本发明第1实施方式的接合工序线监视系统的使用方式的一例的图。

图2是示出上述第1实施方式的接合工序线监视系统的构成的框图。

图3是示出上述第1实施方式的接合工序线监视系统的使用了气焰钎焊的两个管部件(接合对象的部件)的接合的图。

图4是示出上述第1实施方式的接合工序线监视系统的利用高速摄像头拍摄正常品的情况下的管部件(接合对象的部件)的接合部的一例的图，(a)示出在充分进行了管部件加热之后将熔融金属材料施加于接合部的状态，(b)示出在管部件的接合部处熔融金属材料熔融且熔融了的熔融金属材料流动至间隙的状态，(c)示出作为最终成果而凝固在管部件的接合部的整个间隙中的熔融金属材料的形状，(d)示出(c)中以虚线包围部分的要部剖视图。

图5是示出上述第1实施方式的接合工序线监视系统的利用高速摄像头拍摄异常品的情况下的管部件(接合对象的部件)的接合部的一例的图，(a)示出在充分进行了管部件加热之后将熔融金属材料施加于接合部的状态，(b)示出注入熔融金属材料的部位与接合部不匹配的状态，(c)示出作为最终成果而凝固在管部件的接合部的间隙中的熔融金属材料的形状，(d)示出(c)中以虚线包围部分的要部剖视图。

图6是示出上述第1实施方式的接合工序线监视系统的利用热成像摄像头拍摄正常品的情况下的管部件(接合对象的部件)的接合部的一例的图，(a)示出以气体燃烧器等加热管部件的例子，(b)示出热成像摄像头以影像方式捕获管部件(接合对象的部件)的温度上升、温度分布的例子，(c)示出焊接后管部件的温度同时下降的例子。

图7是示出上述第1实施方式的接合工序线监视系统的利用热成像摄像头拍摄异常品的情况下的管部件(接合对象的部件)的接合部的一例的图，(a)示出以气体燃烧器等加热管部件的例子，(b)示出以影像方式捕获加热部位偏离的温度分布的例子，(c)示出熔融金属材料未充分进入接合部的例子。

图8是示出使用上述第1实施方式的接合工序线监视系统的距离传感器捕获到人的动作的一例的图，(a)示出人的骨架的推定例，(b)示出(a)的数值化例，(c)示出(b)的判定例。

图9是示出使用上述第1实施方式的接合工序线监视系统的距离传感器捕获到人的动作的与图8不同的另一例的图，(a)示出人的骨架的推定例，(b)示出(a)的数值化例，(c)示出(b)的判定例。

图10是示出使用上述第1实施方式的接合工序线监视系统的惯性传感器捕获到熟练接合作业者使用的气体燃烧器的动态的一例的图，(a)是示出熟练接合作业者使用的气体燃烧器2的动态的图，(b)示出使气体燃烧器的动态数据化的图。

图11是示出使用上述第1实施方式的接合工序线监视系统的惯性传感器捕获到与图10不同的非熟练接合作业者使用的气体燃烧器的动态的一例的图，图11的(a)是示出非熟练接合作业者使用的气体燃烧器的动态的图，图11的(b)是将该气体燃烧器的动态数据化的图。

图12是示出使用上述第1实施方式的接合工序线监视系统的三轴式惯性传感器的接合工具的前端位置的动态的数据的一例的图，(a)至(c)是示出熟练接合作业者使用的接合工具的前端位置的动态的图，(d)是将气体燃烧器的焊炬前端位置的动态数据化的图。

图13是示出使用上述第1实施方式的接合工序线监视系统的三轴式惯性传感器的与图12不同的接合工具的前端位置的动态的数据的一例的图，(a)至(c)是示出非熟练接合作业者使用的接合工具的前端位置的动态的图，(d)是将气体燃烧器的焊炬前端位置的动态数据化的图。

图14是示出收录上述第1实施方式的接合工序线监视系统的接合作业的成为基准的数据(基准数据)的基准数据收录处理的流程图。

图15是示出上述第1实施方式的接合工序线监视系统的提示接合对象构件的接合部的异常部位的异常部位提示处理的流程图。

图16是示出本发明第2实施方式的接合工序线监视系统的构成的框图。

图17是示出上述第2实施方式的接合工序线监视系统的接合现象数据评价部的流动部位提取部对流动部位的提取的一例的图，(a)示出在接合对象的管部件的接合部实施基于熔融金属材料的外加钎料钎焊以进行接合的例子，(b)至(g)示出(a)中虚线包围部分的要部放大图。

图18是示出上述第2实施方式的接合工序线监视系统的接合现象数据评价部的温度分布评价部的温度分布的一例的图，(a)示出两个管部件的温度均很低且加热不充分的温度分布，(b)示出一个管部件的温度高于另一管部件的温度且实施了适度加热的温度分布，(c)至(e)示出(b)中虚线包围部分的要部放大图。

图19是示出上述第2实施方式的接合工序线监视系统的作业状态数据评价部的作业步骤提取部的一例的图，(a)表示接合作业者的管部件(接合对象的部件)的作业部位，(b)示意性地示出(a)的接合部位(作业部位)，(c)表示接合作业者移动了的情况下的管部件(接合对象的部件)的作业部位，(d)示意性地示出(c)的接合部位，(e)表示接合作业者移动后的管部件(接合对象的部件)的接合部位的接合作业，(f)示意性地示出(e)的接合部位。

图20是示出上述第2实施方式的接合工序线监视系统的使用三轴式惯性传感器的接合工具的前端位置的动态的数据的一例的图，(a)与图19的(b)对应，(b)示出识别为接合作业者的身体不属于任何接合部位的情况，(c)与图19的(d)对应，(d)示出识别为接合作业者的身体不属于任何接合部位的情况，(e)与图19的(f)对应，(f)示出在识别为在图19的(f)所示的接合部位处于作业中的情况下的接合作业者使用的接合工具的前端位置的动态。

具体实施方式

以下参照附图详细说明实施本发明的方式(以下记为“实施方式”)。此外，在各图中，对共同的部分标注相同的附图标记并省略重复的说明。

(第1实施方式)

图1是示出本发明第1实施方式的接合工序线监视系统的使用方式的一例的图。本实施方式是应用于钎焊、焊接等接合工序的制造生产线监视系统的例子。

在本实施方式中以气焰钎焊为例进行说明，但并不限定于气焰钎焊。

如图1的(a)所示，在钎焊作业区域10中存在接合对象的部件1和保持接合工具的接合作业者x，该接合作业者x进行接合作业。例如，在进行气焰钎焊的情况下，接合工具是气体燃烧器2的焊炬(燃烧器火焰)2a。接合作业者a使用该气体燃烧器2对接合对象的部件1进行加热，实施基于熔融金属材料3的外加钎料钎焊(加热对象部件至熔点后加钎料进行钎焊)以进行接合。

此时，接合工序线监视系统100拍摄钎料的流动。拍摄例如能够使用能够收录动态图像的数码相机或高速摄像头4(接合现象数据获取单元)。另外，接合对象的部件1的温度由热成像摄像头5(接合现象数据获取单元)计测。接合对象的部件1的温度计测除了热成像摄像头5以外能够使用红外线摄像头、红外线传感器、热电偶。在温度计测使用热电偶的情况下，能够精确测量接合对象的部件1的温度。但在使用热电偶的情况下，设置部位受到限制。在本实施方式中使用对接合无影响的非接触式的热成像摄像头5。

还包括：距离传感器6(作业状态数据获取单元)，其在钎焊作业中测量到接合作业者x的钎料握持手为止的距离；以及惯性传感器7(作业状态数据获取单元)，其测量接合作业者x的焊枪握持手的动态，将距离传感器6及惯性传感器7的测量值数据化。距离传感器6捕获接合作业者x的身体部位，计测姿态、手的动态、身体的位置。另外，惯性传感器7设置于接合工具(焊炬2a等)，能够捕获接合工具的细微动态。

如图1的(a)所示，接合工序线监视系统100作为执行接合工序线监视程序的数据处理装置能够使用例如服务器20。

接合工序线监视系统100对高速摄像头4、热成像摄像头5、距离传感器6及惯性传感器7的各计测数据进行处理，并向接合作业者x报知异常、作业的状况。例如，如图1的(b)所示，在服务器20的显示部20a(提示单元)将与接合现象的基准数据(后述)的差异很大的部分显示为错误。另外，服务器20计算修补所需的时间，在显示部20a显示该可进行修补作业时间(在此为10：00秒)。此外，图1的(b)中的附图标记a、b见后述。

图2是示出上述第1实施方式的接合工序线监视系统的构成的框图。

如图2所示，接合工序线监视系统100包括数据获取单元110、数据评价单元120(评价数据计算单元)、差异数据提取单元130、异常部位判定单元140以及提示单元150。

接合工序线监视系统100在钎焊、焊接等接合工序的制造生产线中具有执行接合作业的钎焊作业区域10。

在钎焊作业区域10中配置接合对象的部件1、数据获取单元110(接合现象数据获取单元、作业状态数据获取单元)以及提示单元150。另外，接合作业者在接合对象的部件1附近进行作业。

<数据获取单元110>

数据获取单元110获取接合现象数据(后述)及作业状态数据(后述)。

数据获取单元110包括接合现象数据获取部111、作业状态数据获取部112以及时刻同步部113。

虽在图2中省略，但接合现象数据获取部111与对钎料的流动影像进行拍摄的高速摄像头4和获取接合对象的部件1的接合部的温度分布影像的热成像摄像头5连接。接合现象数据获取部111获取由高速摄像头4及热成像摄像头5拍摄的数据作为接合现象数据。接合现象数据是钎料的流动影像和接合部的温度分布影像。

虽在图2中省略，但作业状态数据获取部112与用于计测到钎料握持手等为止的距离的距离传感器6和设置于接合工具(气体燃烧器2)并对气体燃烧器2的焊炬2a前端位置的动态进行计测的惯性传感器7连接。作业状态数据获取部112获取由距离传感器6及惯性传感器7测量的数据作为接合作业(钎焊作业)的作业状态数据。

时刻同步部113进行使接合现象数据获取部111的接合现象数据与作业状态数据获取部112的作业状态数据的获取定时在时间上对应的时刻同步。由此，使钎焊作业(钎料的流动影像、接合部的温度分布影像)计测时刻的人手的动态及气体燃烧器2的焊炬2a的动态对应关联。

<数据评价单元120>

数据评价单元120对所获取的接合现象数据与作业状态数据进行时刻同步，且与每个接合作业部位相关联地来计算评价数据。

数据评价单元120包括接合现象数据评价部121、作业状态数据评价部122以及接合现象作业状态分析部123。

接合现象数据评价部121基于由接合现象数据获取部111获取的接合现象数据，评价接合对象构件的接合现象。接合现象数据评价部121在能够对接合对象构件的接合现象进行评价(作为有意义的接合现象数据而成为评价对象)的情况下，将接合现象评价结果向接合现象作业状态分析部123输出。

作业状态数据评价部122基于作业状态数据获取部112获取的作业状态数据评价接合对象构件的接合作业状态。在作业状态数据评价部122能够评价接合对象构件的接合作业状态(作为有意义的接合作业状态数据而成为评价对象)的情况下，将接合作业状态评价结果向接合现象作业状态分析部123输出。

接合现象作业状态分析部123使接合现象评价结果与接合作业状态评价结果时刻同步，且与每个接合作业部位相关联地对接合现象作业状态进行分析并计算评价数据。

<差异数据提取单元130>

差异数据提取单元130提取评价数据和预先收录的基准数据的差异数据。

差异数据提取单元130包括作业部位决定部131、数据范围提取部132、基准数据保存部133(基准数据保存单元)以及差异程度计算部134。

作业部位决定部131基于预先设定的作业步骤提取数据决定作业部位。

数据范围提取部132基于与所决定的作业部位关联的时刻，提取与评价数据对应的时刻的数据范围。

基准数据保存部133针对预先准备的成为基准的接合作业，预先收录由熟练接合作业者进行的理想的流程动作、成为基准的接合作业等作为基准数据。另外，基准数据保存部133保存在判定异常部位时的阈值。基准数据保存部133优选保存与作业者的熟练度对应的基准数据。

差异程度计算部134提取评价数据与预先收录在基准数据保存部133中的基准数据的差异。具体来说，差异程度计算部134在基准数据收录时针对预先准备的成为基准的接合作业取出与所决定的作业部位对应的时刻，生成与各作业部位建立了关联的基准数据。

另一方面，差异程度计算部134在异常部位提示时计算通过数据范围提取部132取出的数据与上述基准数据的差异程度，并作为差异数据向异常部位判定单元140输出。

<异常部位判定单元140>

异常部位判定单元140基于差异数据判定接合部的异常部位。具体来说，异常部位判定单元140基于针对由差异数据提取单元130获得的差异程度预先设定的阈值判定异常部位。异常部位判定单元140将与接合现象的基准数据的差异很大的部分判定为异常部位。异常部位判定单元140针对每个作业部位进行异常判定，判定各作业部位的异常部位。上述异常部位相当于接合部位的修正部位。

另外，异常部位判定单元140计算为了修补异常部位(接合部位的修正部位)而赋予的延缓时间即可进行修补作业时间(作业分配时间)。即，在接合工序线监视系统100中，在制造中，接合对象的部件1在生产线上移动。已知若向接合作业者指示上述可进行修补作业时间(作业分配时间)则接合作业者在该时间内进行修补即可。

<提示单元150>

提示单元150基于异常部位判定单元140的判定结果向接合作业者x提示(通知)异常部位。提示方法并无限定，但例如提示单元150在显示部150a(与图1的(b)的服务器20的显示部20a对应)将异常部位显示为错误(参照图1的(b)的附图标记a)。另外，提示单元150使用投光部150b(参照图2)，向实物的接合对象的部件1的异常部位投影激光等光，并利用投影的光向接合作业者x通知异常部位。由此，接合作业者x能够迅速掌握修补部位。

提示单元150基于异常部位判定单元140的判定结果提示(显示)用于修补异常部位的可进行修补作业时间(作业分配时间)(参照图1的(b)的附图标记b)。由此，接合作业者可知在显示(通知)的可进行修补作业时间内进行修补即可，因此能够按照该时间进行修补。反之还能够预期在可进行修补作业时间内修补未完成的情况。若预先在接合工序线监视系统100中登记接合作业者的熟练度的等级，则能够按熟练度的等级判定存在在作业可能时间内修补未完成的预期。在判定为在可进行修补作业时间内修补未完成的情况下，通过发出警报向其他作业者、管理者等通知修补未完成。能够避免进行大幅度超过可进行修补作业时间的修补作业而影响整个生产线的情况。其结果为能够调整工序规定时间，能够减小生产延迟。

此外，上述数据评价单元120、差异数据提取单元130及异常部位判定单元140例如由图1的(a)示出的pc20等通用或专用处理服务器构成。数据评价单元120、差异数据提取单元130及异常部位判定单元140通过由cpu(centralprocessingunit：中央处理器单元)在ram中展开并执行在该服务器的存储部(图示省略)中保存的程序来实现。另外，上述提示单元150是例如上述服务器等的显示部。

以下说明按照上述方式构成的接合工序线监视系统100的接合工序线监视方法。

图3是以使用气焰钎焊的两个管部件(接合对象的部件1)的接合为例进行说明的图。

如图3的(a)所示，使用气焰钎焊的接合对象的部件1是两个圆柱状的管部件1a和管部件1b。管部件1a和管部件1b为了能够采用套管组装而接合部的管内径不同。管部件1b的直径大于管部件1a，在管部件1b的上端形成有外缘部1b1。如图3的(a)的箭头所示，将管部件1a的底部插入管部件1b的外缘部1b1的内侧。

如图3的(b)所示，管部件1a的底部组合在管部件1b的上端的外缘部1b1。

如图3的(c)所示，使用气体燃烧器2的焊炬2a从斜上方对管部件1a与管部件1b接合的接合部进行加热。此时，气体燃烧器2均匀地加热管部件1a与管部件1b接合的接合部整体。因此，一边使气体燃烧器2的焊炬2a的方向在上下方向上逐渐移动一边围绕外周方向进行加热。

如图3的(d)所示，在接合对象的管部件1a和管部件1b被充分加热了的情况下，使用熔融金属材料3实施外加钎料钎焊。熔融金属材料3熔融，基于毛细管效应而进入管部件1a和管部件1b之间的间隙，管部件1a与管部件1b接合。此外，在像接合对象为压力容器等这样密闭性的确保很重要的情况下，该熔融金属材料是否填充整体与品质良否有关。

接下来参照图4～图13说明将接合作业数据化的数据获取单元110。

[高速摄像头拍摄例]

首先说明高速摄像头4(参照图1)的拍摄例。

<正常品>

图4是示出利用高速摄像头4拍摄正常品的情况下的管部件(接合对象的部件1)的接合部的一例的图。

在图4的(a)中，拍摄在充分进行了管部件1a和管部件1b的加热之后将熔融金属材料3施加于接合部抵的状态。

如图4的(b)所示，拍摄在管部件1a与管部件1b接合的接合部处熔融金属材料3熔融且熔融了的熔融金属材料3a流动至间隙的状态。

如图4的(c)所示，拍摄作为最终成果而在管部件1a与管部件1b接合的接合部的整个间隙中凝固的熔融金属材料3a的形状。

图4的(d)是图4的(c)中以虚线包围部分的要部剖视图。如图4的(d)所示，熔融金属材料3a充分填充接合部。这样的曲面形状被称为填角焊缝(fillet)，在接合部的接合线l整体(全周)获得该填角焊缝形状的熔融金属材料3a。

<异常品>

图5是示出利用高速摄像头4拍摄异常品的情况下的管部件(接合对象的部件1)的接合部的一例的图。

在图5的(a)中，拍摄在充分进行了管部件1a和管部件1b的加热之后将熔融金属材料3施加于接合部的状态。

如图5的(b)所示，注入熔融金属材料3的部位与接合部不匹配。因此拍摄到钎料(熔融金属材料3b)未进入管部件1a与管部件1b的间隙的状态。

如图5的(c)所示，拍摄作为最终成果而在管部件1a与管部件1b接合的接合部的间隙中凝固的熔融金属材料3b的形状。

图5的(d)是图5的(c)中以虚线包围部分的要部剖视图。如图5的(d)所示，由于熔融金属材料3b未充分进入接合部，因此无法在接合线整体(全周)获得填角焊缝形状。如图5的(d)所示，由于熔融金属材料3b不足，因此在管部件1a和管部件1b重叠的入口处形成凹陷的形状。

通过像这样利用高速摄像头4(参照图1)拍摄管部件(接合对象的部件1)的接合部，能够获得下述的计测数据。即，能够通过高速摄像头4(参照图1)的拍摄来拍摄熔融金属材料3与管部件(接合对象的部件1)接触的接触位置和钎料流动的位置，并将熔融金属材料3的填角焊缝形状的外观数据化。通过将钎料流动数据化，从而能够掌握与缺陷、未完成部相关的现象。

[热成像摄像头拍摄例]

接下来说明热成像摄像头5(参照图1)的拍摄例。

<正常品>

图6是示出利用热成像摄像头5拍摄正常品的情况下的管部件(接合对象的部件1)的接合部的一例的图。在图6中，利用图6的网格的疏密表示接合对象构件的温度。在温度很高的情况下使网格致密，温度越低则使网格越粗疏(以下采用相同的表示方法)。

在图6的(a)中，利用气体燃烧器2(图示省略)等对管部件1a和管部件1b进行加热。在充分进行了加热之后，将熔融金属材料3实施在接合部。热成像摄像头5以影像方式捕获管部件(接合对象的部件1)的温度上升、温度分布。

如图6的(b)所示，热成像摄像头5以影像方式捕获管部件(接合对象的部件1)的温度上升、温度分布。在图6的(b)的情况下，以影像方式捕获管部件1b的温度高于管部件1a的温度且管部件1b的外缘部1b1的全周被充分进行加热并对管部件1a也实施了适度加热的温度分布。

如图6的(c)所示，焊接后管部件1a和管部件1b的温度同时下降。以影像方式捕获钎焊有熔融金属材料3时的温度变化、温度分布。在图6的(c)的情况下，熔融金属材料3a充分填充接合部。

由于能够以影像方式捕获钎焊有熔融金属材料3时的温度变化、温度分布，因此能够收录钎料流动和温度的数据。

在此，为了利用熔融金属材料3充分填充接合部，创建管部件(接合对象的部件1)的温度低于构件自身的融点且高于熔融金属材料3的融点的条件，并且保持熔融金属材料3流入的时间。

<异常品>

图7是示出利用热成像摄像头5拍摄异常品的情况下的管部件(接合对象的部件1)的接合部的一例的图。

在图7的(a)中，利用气体燃烧器2(图示省略)等对管部件1a和管部件1b进行加热。在充分进行了加热之后，将熔融金属材料3施加在接合部。热成像摄像头5以影像方式捕获管部件(接合对象的部件1)的温度上升、温度分布。

如图7的(b)所示，以影像方式捕获加热部位偏离的温度分布。在图7的(b)的情况下，管部件1b的一部分未被充分加热、即形成温度很低的部分。若像这样形成温度很低的部分，则熔融金属材料3b难以流入温度很低的部分，因此钎料不会恰当地进入接合部。

如图7的(c)所示，熔融金属材料3b未充分进入接合部，因此无法在接合线整体(全周)获得填角焊缝形状。由于能够以影像方式捕获钎焊有熔融金属材料3时的温度变化、温度分布，因此能够收录钎料流动和温度的数据。

通过像这样利用热成像摄像头5(参照图1)拍摄管部件(接合对象的部件1)的接合部，能够获得下述的计测数据。即，使用热成像摄像头5能够将管部件(接合对象的部件1)与熔融金属材料3的温度、管部件(接合对象的部件1)的温度分布、温度的保持时间数据化。通过将针对钎料流动的温度数据化，从而能够掌握与缺陷、未完成部相关的现象。

[距离传感器计测例]

接下来说明距离传感器6(参照图1)的计测例。

<例1>

图8是示出使用距离传感器6捕获到人的动作的一例的图，图8的(a)示出人的骨架的推定例，图8的(b)示出(a)的数值化例，图8的(c)示出(b)的判定例。

使用距离传感器6(参照图1)测量人的手、脚、身体等距离并反映到影像中。基于所测量的距离数据识别手、脚、身体等，连接这些点以将动作数据化。

如图8的(a)所示，能够基于距离传感器6的数据推定人的骨架(参照阴影部)并数据化。各骨架能够以相对距离而数值化。

如图8的(b)所示，说明将右臂(1)与左臂(2)的相对距离数值化的例子。

图8的(c)是将图8的(b)所示的右臂(1)与左臂(2)的位置关于时间轴(横轴)曲线化的图。在图8的(c)的例子中，示出两臂朝向下方且右臂(1)低于右臂(1)基准值、左臂(2)低于左臂(2)基准值的状况持续到时刻t1的情况。

<例2>

图9是示出使用距离传感器6捕获到人的动作的与图8不同的另一例的图，图9的(a)示出人的骨架的推定例，图9的(b)示出(a)的数值化例，图9的(c)示出(b)的判定例。图9与图8的图示对应。

如图9的(a)所示，基于距离传感器6(参照图1)的数据推定人的骨架(参照阴影部)并数据化。在图9的(a)中，将左臂(2)上举。

图9的(b)是将右臂(1)与左臂(2)的相对距离数值化的例子。在某个时刻将左臂(2)上举。

图9的(c)是将图9的(b)所示的右臂(1)和左臂(2)的位置关于时间轴(横轴)曲线化的图。在图9的(c)的例子中，是使两臂朝向下方直到时刻t1并在时刻t1后将左臂(2)上举时的数据。右臂(1)保持为低于右臂(1)基准值。另一方面，关于左臂(2)，获取值高于左臂(2)基准值的推移。

通过像这样以距离传感器6(参照图1)拍摄人的手、脚、身体等距离，从而能够推定人的骨架信息并按时间序列将人的动作、位置数据化。由此能够将与接合对象的位置关系、作业步骤数值化来掌握。

[惯性传感器计测例]

接下来参照图10～图13说明惯性传感器7(参照图1)的计测例。

<熟练接合作业者>

图10是示出使用惯性传感器7捕获到熟练接合作业者使用的气体燃烧器2的动态的一例的图，图10的(a)是示出熟练接合作业者使用的气体燃烧器2的动态的图，图10的(b)是将该气体燃烧器2的动态数据化的图。

惯性传感器7(参照图1)安装于接合工具(在此为气体燃烧器2)。惯性传感器7能够使用陀螺仪传感器、地磁传感器、加速度传感器等。特别是，若使用三个方向具有灵敏度的三轴式加速度传感器，则能够捕获正交坐标系的x、y、z方向的动态。

如图10的(a)所示，熟练接合作业者为了将管部件(接合对象的部件1)的温度大范围保持均匀而使气体燃烧器2左右摆动，以使焊炬2a均匀射向管部件(接合对象的部件1)的接合部。

图10的(b)基于惯性传感器7的计测数据将气体燃烧器2左右摆动的状态数据化而示出。如图10的(b)所示，惯性传感器7的计测数据为，气体燃烧器2左右的动态的数值关于时间轴(横轴)以正弦波状推移。更详细来说，气体燃烧器2的左右的动态存在在作业开始时振幅和间隔(时间宽度)均很大且随着作业时间经过而振幅及间隔均减小并收敛于基准值附近的倾向。另外，左右振幅关于图10的(b)所示的基准值大致均匀。

<非熟练接合作业者>

图11是示出使用惯性传感器7捕获与图10不同的非熟练接合作业者使用的气体燃烧器2的动态的一例的图，图11的(a)是示出非熟练接合作业者使用的气体燃烧器2的动态的图，图11的(b)是将该气体燃烧器2的动态数据化得到的图。

在上述熟练接合作业者中，使气体燃烧器2左右摆动，大范围地均匀地保持管部件(接合对象的部件1)的温度分布。另外，在作业开始时使振幅及间隔(时间宽度)很大且随着作业时间经过使振幅及间隔减小。与此相对，如图11的(a)所示，非熟练作业者的气体燃烧器2的动态偏向左右中的一方(在此为左侧)。而且，左右摆动也很小且关于时间轴(横轴)不均匀。最后考虑右侧的加热不足而大幅度向右侧摆动。在图11的(b)中，示出惯性传感器7的计测数据关于时间轴偏向表示左侧的动态的数值且微小波动也很多的情况。

通过像这样利用惯性传感器7(参照图1)计测接合工具(气体燃烧器2)的动态，从而能够能够按时间序列将接合工具(气体燃烧器2)的动态数据化。由此能够掌握是否实施了与管部件(接合对象的部件1)对应的接合工具(气体燃烧器2)的处理。

<三轴式惯性传感器(熟练作业者)>

图12是示出使用了三轴式惯性传感器7的接合工具的前端位置(气体燃烧器2的焊炬2a前端位置)的动态的数据的一例的图，是图10中示出的熟练接合作业者的数据的例子。图12的(a)至(c)是示出熟练接合作业者使用的接合工具的前端位置(气体燃烧器2的焊炬2a前端位置)的动态的图，图12的(d)是将该气体燃烧器2的焊炬2a前端位置的动态数据化的图。图12的(b)、(f)的附图标记c表示气体燃烧器2的焊炬2a的向上方向。

前述图1的(b)所示的服务器20基于通过三轴式惯性传感器7计测的x、y、z的数据，假想在三维空间中再现上述焊炬2a前端位置的动态。另外，服务器20在显示画面20a(参照图1的(b))上将气体燃烧器2的焊炬2a前端位置的动态的轨迹与钎焊作业区域10(参照图1的(a))对应来显示。由此，能够对应于钎焊作业区域10分析气体燃烧器2的焊炬2a前端位置的动态的轨迹。

图12的(a)至(c)在三维空间中再现图10中示出的熟练接合作业者使气体燃烧器2的焊炬2a左右大幅度摆动的状态。如图12的(b)、(c)的虚线所示，以轨迹方式显示焊炬2a前端位置的历史信息。通过以轨迹方式显示气体燃烧器2的焊炬2a前端位置的历史信息，能够使熟练作业者以怎样的方式移动了焊炬2a变得可视化。

图12的(d)是采用横轴时间绘制气体燃烧器2的焊炬2a前端位置的x、y、z数据的推移的曲线图。如图12的(d)所示，作为三轴式惯性传感器7的计测数据，x数据的数值关于时间轴(横轴)以正弦波状均匀地推移。y、z数据的数值随着时间经过收敛于基准值。

<三轴式惯性传感器(非熟练作业者)>

图13是示出使用三轴式惯性传感器7的与图12不同的接合工具的前端位置(气体燃烧器2的焊炬2a前端位置)的动态的数据的一例的图，是图11中示出的非熟练作业者的数据的例子。图13的(a)至(c)是示出非熟练接合作业者使用的接合工具的前端位置(气体燃烧器2的焊炬2a前端位置)的动态的图，图13的(d)是将该气体燃烧器2的焊炬2a前端位置的动态数据化的图。

图13的(a)至(c)在三维空间中再现图11中示出的非熟练作业者使气体燃烧器2的焊炬2a偏向左侧摆动的状态。如图13的(b)、(c)的虚线所示，以轨迹方式显示气体燃烧器2的焊炬2a前端位置的历史信息。

图13的(d)是采用横轴时间绘制焊炬2a前端位置的x、y、z数据的推移的曲线图。如图13的(d)所示，示出三轴式惯性传感器7的计测数据关于时间轴(横轴)偏向表示左侧的动态的数值且微小波动也很多的情况。此外，y、z数据的数值随着时间经过收敛于基准值。

通过像这样使用三轴式惯性传感器7(参照图1)计测接合工具(气体燃烧器2的焊炬2a)的动态，从而能够按时间序列将接合工具(气体燃烧器2的焊炬2a)的动作数据化。由此能够掌握是否实施了与管部件(接合对象的部件1)的三维位置对应的接合工具(气体燃烧器2的焊炬2a)的处理。

以上参照图4～图13说明将接合作业数据化的数据获取单元110。

[基准数据的收录时]

图14是示出收录接合作业的成为基准的数据(基准数据)的基准数据收录处理的流程图。本流程通过例如构成上述数据评价单元120、差异数据提取单元130及异常部位判定单元140的服务器等的cpu来执行。

首先，在步骤s1中，在熟练接合作业者的接合作业中使用高速摄像头4(参照图1)对接合对象的部件的接合部进行拍摄。即，通过高速摄像头4拍摄接合部的钎料流动影像。

在步骤s2中，在熟练接合作业者的接合作业中使用热成像摄像头5(参照图1)获取接合对象的部件的接合部的温度分布影像。

在步骤s3中，数据获取单元110的作业状态数据获取部112使用距离传感器6(参照图1)计测到钎料握持手等的距离。

在步骤s4中，数据获取单元110的作业状态数据获取部112使用惯性传感器7(参照图1)对接合工具(气体燃烧器2的焊炬2a)前端位置的动态进行计测。

在步骤s5中，数据获取单元110的接合现象数据获取部111(参照图2)获取所拍摄的接合部拍摄影像(钎料的流动影像)及接合部的温度分布影像来作为钎焊现象数据(接合现象数据)。

在步骤s6中，数据获取单元110的作业状态数据获取部112(参照图2)获取距离传感器6及惯性传感器7测量的数据作为熟练接合作业者的接合作业中的接合作业(钎焊作业)的作业状态数据。

在步骤s7中，数据获取单元110的时刻同步部113(参照图2)进行使接合现象数据获取部111的接合现象数据与作业状态数据获取部112的作业状态数据的获取定时在时间上对应的时刻同步。由此，钎焊作业(钎料的流动影像、接合部的温度分布影像)计测时刻的人手的动态及气体燃烧器2的焊炬2a的动态对应关联。

在步骤s8中，数据评价单元120基于通过数据获取单元110获取的接合现象数据及作业状态数据评价接合现象及接合作业状态并分析接合现象作业。具体来说，数据评价单元120对所获取的接合现象数据与作业状态数据进行时刻同步并与各接合作业部位关联来计算评价数据。

在步骤s9中，差异数据提取单元130的数据范围提取部132(参照图2)基于与作业部位关联的时刻提取与评价数据对应的时刻的数据范围。

在步骤s10中，差异数据提取单元130的差异程度计算部134(参照图2)在所提取的各数据范围内，收录由熟练接合作业者进行的理想的流程动作、成为基准的接合动作等来作为基准数据。具体来说，差异程度计算部134在收录基准数据时关于预先准备的成为基准的接合作业针对所决定的作业部位取出对应的时刻，从而生成与每个作业部位建立了关联的基准数据。

通过执行上述流程，从而在差异数据提取单元130的基准数据保存部133(参照图1)中针对某个接合对象的部件的各作业部位蓄积由熟练接合作业者进行的理想流程动作、成为基准的接合作业等基准数据。

此外，该登录处理在后述异常部位提示处理之前预先执行，并作为基准数据保存在基准数据保存部133中。

另外，就各被焊接件而言，根据被焊接件的形状、种类、焊接机(抵抗焊接、激光焊接、摩擦搅拌焊接)、加工设备(冲压机)等的使用条件而蓄积了基准数据。

[异常部位提示处理]

图15是示出提示接合对象构件的接合部的异常部位的异常部位提示处理的流程图。

首先，在步骤s11中，在接合作业者的接合作业中使用高速摄像头4(参照图1)对接合对象的部件的接合部进行拍摄。即，通过高速摄像头4拍摄接合部的钎料流动影像。

在步骤s12中，在接合作业者的接合作业中使用热成像摄像头5(参照图1)获取接合对象的部件的接合部的温度分布影像。

在步骤s13中，数据获取单元110的作业状态数据获取部112使用距离传感器6(参照图1)计测到钎料握持手等为止的距离。

在步骤s14中，数据获取单元110的作业状态数据获取部112使用惯性传感器7(参照图1)对接合工具(气体燃烧器2的焊炬2a)前端位置的动态进行计测。

在步骤s15中，数据获取单元110的接合现象数据获取部111(参照图2)获取所拍摄的接合部拍摄影像(钎料的流动影像)及接合部的温度分布影像作为钎焊现象数据(接合现象数据)。

在步骤s16中，数据获取单元110的作业状态数据获取部112(参照图2)获取距离传感器6及惯性传感器7测量的数据作为接合作业者的接合作业中的接合作业(钎焊作业)的作业状态数据。

在步骤s17中，数据获取单元110的时刻同步部113(参照图2)进行使接合现象数据获取部111的接合现象数据与作业状态数据获取部112的作业状态数据的获取定时在时间上对应的时刻同步。由此，钎焊作业(钎料的流动影像、接合部的温度分布影像)计测时刻的人手的动态及气体燃烧器2的焊炬2a的动态建立对应。

在步骤s18中，数据评价单元120基于通过数据获取单元110获取的接合现象数据及作业状态数据评价接合现象及接合作业状态并对接合现象作业进行分析。具体来说，数据评价单元120对所获取的接合现象数据与作业状态数据进行时刻同步且与每个接合作业部位关联地计算评价数据。

在步骤s19中，差异数据提取单元130的数据范围提取部132(参照图2)基于与作业部位关联的时刻提取与评价数据对应的时刻的数据范围。

在步骤s20中，差异数据提取单元130的差异程度计算部134(参照图2)计算通过数据范围提取部132取出的数据与基准数据保存部133中收录的基准数据的差异程度，并作为差异数据向异常部位判定单元140输出。

在步骤s21中，异常部位判定单元140(参照图1)基于差异数据判定接合部的异常部位。具体来说，异常部位判定单元140针对由差异数据提取单元130获得的差异程度，基于预先设定的阈值，将接合现象的差异很大的部分判定为异常部位。

在步骤s22中，提示单元150(参照图2)基于判定结果向接合作业者提示异常部位和/或可进行修补作业时间。例如，提示单元150在显示部150a将异常部位显示为错误(参照图1的(b)的附图标记a)。另外，提示单元150在显示部150a显示可进行修补作业时间(作业分配时间)(参照图1的(b)的附图标记b)。此外，提示单元150使用投光部150b(参照图2)向实物的接合对象的部件1的异常部位投影激光等光，并通过投影的光向接合作业者通知异常部位。由此，接合作业者能够迅速掌握修补部位。

通过按照上述方式将接合现象的差异很大的部位即异常部位显示为错误(参照图1的(b)的附图标记a)，从而接合作业者能够迅速掌握修补部位。另外，通过提示可进行修补作业时间，能够预期能否在可进行修补作业时间内完成修补。在能够在可进行修补作业时间内完成修补的情况下，在当前工序中完成修补。另外，在无法在可进行修补作业时间内完成修补的情况下，例如在下一工序中完成修补。无论是哪种情况均提示作业分配时间，因此能够调整工序规定时间，能够减小生产延迟。

在此，优选根据作业者的熟练度改变修补的指示(例如可进行修补作业时间)。

如以上说明那样，本实施方式的接合工序线监视系统100(参照图2)包括：接合现象数据获取部111，其获取接合对象构件的接合现象作为现象数据；作业状态数据获取部112，其获取接合对象构件的接合作业状态作为作业状态数据；数据评价单元120，其对所获取的现象数据与作业状态数据进行时刻同步且与各接合作业部位关联来计算评价数据；差异数据提取单元130，其提取评价数据与预先设定的基准数据的差异作为差异数据；异常部位判定单元140，其将接合现象的差异很大的部分判定为异常部位；以及提示单元150，其基于差异数据提示接合对象构件的接合部的异常部位。另外，差异数据提取单元130针对预先准备的成为基准的接合作业保存与每个接合作业部位建立了关联的基准数据。

提示单元150如前所述基于判定结果向接合作业者错误显示异常部位(参照图1的(b)的附图标记a)。另外，提示单元150在显示部150a显示可进行修补作业时间(作业分配时间)(参照图1的(b)的附图标记b)。

在现有技术中，利用破坏检查、非破坏检查对于接合的结果进行调查，但检查工序和判断出缺陷、未完成部后的修复工序需要时间。另外，因反复加热、冷却而导致品质下降。

与此相对地，在本实施方式中，在接合作业中检测未完成部位并通知接合作业者，通过监视其作业，能够防止接合品质下降和作业延迟。

另外，通过在确定了异常部位后向接合作业者提示异常部位并计算其作业时间，能够实现高效的系统。即，能够基于由数据获取单元110获得的数据提示缺陷、不完全部的候补，即使是在配备有熟练度不高的作业者的接合工序线上也能够防止品质下降。

例如，提示单元150将接合现象的差异很大的部位即异常部位显示为错误(参照图1的(b)的附图标记a)，从而接合作业者能够迅速掌握修补部位。另外，能够通过提示可进行修补作业时间预期能否在可进行修补作业时间内完成修补。由于提示作业分配时间，因此能够调整工序规定时间、能够减小生产延迟。由此，能够迅速识别缺陷、未完成部并防止品质下降、作业延迟。

另外，提示单元150使用投光部150b(参照图2)向异常部位投影光并通过投影的光向接合作业者通知异常部位，从而接合作业者能够迅速掌握修补部位。

(第2实施方式)

图16是示出本发明第2实施方式的接合工序线监视系统的构成的框图。对与图2相同的构成部分标注同一附图标记并省略重复部位的说明。

如图16所示，接合工序线监视系统200包括数据获取单元110、数据评价单元220(评价数据计算单元)、接合现象作业状态分析部230以及差异数据提取部130。

<数据评价单元220>

数据评价单元220包括接合现象数据评价部221和作业状态数据评价部222。

接合现象数据评价部221包括动态图像数据时刻评价部2211、流动部位提取部2212以及温度分布评价部2213。

动态图像数据时刻评价部2211对高速摄像头4的动态图像数据与热成像摄像头5的动态图像数据建立时刻的对应关系。

流动部位提取部2212根据高速摄像头4的动态图像数据，基于接合部的动态图像数据，提取熔融金属材料的流动部位。

温度分布评价部2213基于热成像摄像头5的动态图像数据和流动部位提取部2212来评价接合部的温度分布。即，评价所获取的温度分布是否作为有意义的现象数据而成为评价对象。

作业状态数据评价部222包括趋势数据时刻评价部2221、作业步骤提取部2222以及接合工具动作提取部2223。

趋势数据时刻评价部2221将距离传感器6(参照图1)的计测数据的过渡特性即趋势数据与惯性传感器7(参照图1)的计测数据的过渡特性即趋势数据建立时刻的对应关系。

作业步骤提取部2222根据距离传感器6的趋势数据，生成提取了针对接合部的作业步骤的作业步骤提取数据。

接合工具动作提取部2223根据惯性传感器7的趋势数据，生成提取了接合工具的动作的接合工具动作提取数据。

在本实施方式中，在数据获取单元110的接合现象数据获取部111包括对接合部的变化的动态图像进行拍摄的高速摄像头4(参照图1)和对与上述动态图像对应的温度分布变化进行计测的热成像摄像头5(参照图1)的情况下，差异数据提取部130能够基于上述动态图像及其温度分布变化提取接合部的熔融金属材料的流动部位的差异数据。

<接合现象作业状态分析部230>

接合现象作业状态分析部230通过合成接合现象数据评价部221的接合现象的评价数据与作业状态数据评价部222的评价数据，从而能够进行按时间轴使现象与作业处理对应的分析。

按时间轴使之对应的分析包含接合工具(燃烧器)的位置、动作方向及动作速度与温度分布的对应关系。另外，作为除了按时间轴使之对应的分析以外的其他分析的对象为接合工具(燃烧器)的位置、动作方向及动作速度与钎料流动的状况的对应关系等。

接合现象作业状态分析部230包括接合现象数据作业状态对应数据生成部2231、接合条件存储部2232以及比较部2233。

接合现象数据作业状态对应数据生成部2231将接合现象数据评价部221的接合现象的评价数据与作业状态数据评价部222的评价数据合成，生成接合现象数据作业状态对应数据。

接合条件存储部2232存储与接合现象数据作业状态对应数据对应的基准的接合条件。

比较部2233将生成的接合现象数据作业状态对应数据与接合条件进行比较，并将对比结果向差异数据提取单元130输出。

以下说明按照上述方式构成的接合工序线监视系统200的接合工序线监视方法。

接合工序线监视系统200的基本动作与第1实施方式的接合工序线监视系统100相同。

数据评价单元220的动作存在特征。

图17及图18是说明数据评价单元220的接合现象数据评价部221的图。

图17是示出接合现象数据评价部221的流动部位提取部2212的流动部位的提取的一例的图。图17的(a)示出在接合对象的管部件1a与管部件1b接合的接合部实施基于熔融金属材料3的外加钎料钎焊以进行接合。图17的(b)至(g)是图17的(a)中虚线包围部分的要部放大图，针对通过高速摄像头4(参照图1)拍摄的各图像(帧)，示出提取钎料的流动轨迹的状态。

如图17的(b)至(g)所示，钎料流动在接合部的各图像中作为变化部分收录影像。在本例中，在图17的(b)所示的钎焊作业开始的计测时刻，熔融金属材料3未熔融。在图17的(c)所示的计测时刻，在接合部钎焊熔融了的熔融金属材料3a，在图17的(d)所示的计测时刻，熔融了的熔融金属材料3a在全周范围内钎焊在接合部。流动部位提取部2212预先获取与时间上至少在1帧以上之前的图像的差量并提取变化部分。

流动部位提取部2212通过上述变化部分的阈值检测、使用图案图像的图像识别确定位置。

图17的(e)与图17的(b)对应，图17的(f)与图17的(c)对应，图17的(g)与图17的(d)对应。图17的(e)至(g)的虚线包围的部分分别示出熔融金属材料3的前端。

如图17的(e)至(g)所示，流动部位提取部2212提取熔融金属材料3的变化部分，使钎料的流动轨迹数据化。另外，通过提取熔融金属材料3的前端，从而熔融金属材料3的前端能够学习作为接合开始点的位置的信息。通过获得熔融金属材料3的前端的接合开始点的位置信息，从而对于以下说明的评价熔融金属材料前端部的温度状况有效。此外，如图17的(d)、(e)所示，在接合部的接合线l整体(全周)获得填角焊缝形状的熔融金属材料3a。

图18是示出接合现象数据评价部221的温度分布评价部2213(参照图16)的温度分布的一例的图。图18的(a)示出管部件1b的温度和管部件1a的温度均很低且加热不充分的温度分布，图18的(b)示出管部件1b的温度高于管部件1a的温度且管部件1b的外缘部1b1的全周被充分加热并且对管部件1a也实施了适度加热的温度分布。图18的(c)至(e)是钎焊作业的各时间的图18的(b)的虚线包围部分的要部放大图。

如图18的(a)所示，温度分布评价部2213(参照图16)掌握构件整体的温度，并且对(b)熔融金属材料周边的温度变化进行评价(参照图18的(b))。此时，如图18的(c)所示，在流动部位提取部2212(参照图16)中，使用所提取的熔融金属材料前端周边的位置信息来评价温度是否是适当的条件。

像这样，在接合现象数据评价部221中，针对钎料流动生成对流动现象及温度条件进行分析的数据。

图19是示出作业状态数据评价部222的作业步骤提取部2222(参照图16)的一例的图。图19示出作业步骤提取部2222使用距离传感器6(参照图1)评价作业区域内的位置和姿态并将作业部位和其顺序数据化的状态。图19的(a)是表示接合作业者的管部件(接合对象的部件1)的作业部位a及b的接合作业的图，(b)是示意性地示出(a)的接合部位(作业部位)的图。另外，图19的(c)是表示接合作业者移动了的情况下的管部件(接合对象的部件1)的作业部位a及b的图，(d)是示意性示出(c)的接合部位的图。另外，图19的(e)是表示接合作业者的移动后的管部件(接合对象的部件1)的接合部位a或b的接合作业的图，(f)是示意性地示出(e)的接合部位的图。

在图19中，示出接合作业者针对接合对象的部件1在右手保持接合工具(气体燃烧器2)并在左手保持熔融金属材料3以实施外加钎料钎焊的状态。

在图19的(a)中，接合作业者的身体位于接近管部件(接合对象的部件1)的作业部位a的位置。按照上述方式，数据获取单元110的作业状态数据获取部112(参照图2)根据距离传感器6(参照图1)的骨架信息将接合作业者的身体的动态(姿态)数据化。数据评价单元220评价接合作业者的姿态为进行接合作业中。在此识别为当前在图19的(b)所示的接合部位a处进行作业中。

如图19的(c)所示，在接合作业者使作业部位a的钎焊作业结束并向作业部位b移动而使身体离开的情况下不评价为处于作业中，如图19的(d)所示，接合作业者的身体被识别为不属于任何接合部位。

如图19的(e)所示，在接合作业者的身体位于接近管部件(接合对象的部件1)的下一作业部位b的位置的情况下，作业状态数据获取部112根据距离传感器6(参照图1)的骨架信息将接合作业者的身体的动态(姿态)数据化。数据评价单元220评价接合作业者的姿态为接合作业中。在此识别为当前在图19的(f)所示的接合部位b处进行作业中。此时，作业部位的顺序根据接合部位a的作业时刻和接合部位b的作业时刻来整理，并作为接合部位的作业记录来进行管理。

图20是示出使用三轴式惯性传感器7的接合工具的前端位置(气体燃烧器2的焊炬2a前端位置)的动态的数据的一例的图，是图19中示出的接合作业者的数据的例子。图20的(b)、(f)的附图标记c表示气体燃烧器2的焊炬2a的向上方向。

图20的(a)与图19的(b)对应，图20的(b)示出在图19的(b)所示的作业部位a识别为作业中的情况。另外，图20的(e)与图19的(f)对应，图20的(f)是示出在图19的(f)所示的接合部位b识别为作业中的情况下的接合作业者使用的接合工具的前端位置(气体燃烧器2的焊炬2a前端位置)的动态的图。

另外，图20的(c)与图19的(d)对应，图20的(d)示出如图19的(d)所示识别为接合作业者的身体不属于任何接合部位的情况。另外，图20的(e)与图19的(f)对应，图20的(f)是示出在图19的(e)所示的接合部位b识别为作业中的情况下的接合作业者使用的接合工具的前端位置(气体燃烧器2的焊炬2a前端位置)的动态的图。

图16所示的作业步骤提取部2222能够针对评价为处于作业中的接合部位表示燃烧器(焊炬)的三维轨迹。由此，能够整理针对各接合部位的作业处理。

[应用例]

接合工序线监视系统100(200)还能够借助plc(programmablelogiccontroller：可编程逻辑控制装置)与制造执行系统(mes：manufacturingexecutionsystem)协作。制造执行系统(mes)按照生产计划控制经由各plc连接的部件加工工序、部件组装工序、本接合工序线监视系统100(200)、检查工序等生产系统整体。制造执行系统(mes)与工厂的子工序的信息协作来评价生产计划。通过将本接合工序线监视系统100(200)应用于接合作业工序，从而能够更准确且迅速掌握接合线的作业状况/缺陷信息。制造执行系统(mes)通过接受来自本接合工序线监视系统100(200)的信息提供，从而能够控制生产线的运行状况，能够将生产延迟、品质降低防于未然。另外，也可以对生产计划进行评价、修改。例如，根据接合线的作业状况/缺陷信息向后工序传递延迟、修复的信息并指示作业。特别是，在后工序的检查工序中指示检查的重点项目，检查人员能够高效地实施检查。另外，能够根据接合线的作业状况/缺陷信息提示设备维护指示、以及是否需要计划。此外，能够使用作业状况/缺陷信息评价作业者的熟练度的等级并作为数据蓄积，从而能够使用mes分配与生产计划、内容对应的作业者的配备。

本发明并不限定于上述各实施方式例，只要不脱离权利要求书记载的本发明要旨，也包含其他变形例、应用例。例如接合工序不限定于钎焊。

另外，例如可以将某实施方式例的构成的一部分置换为其他实施方式例的构成，另外，也可以针对某实施方式例的构成施加其他实施方式例的构成。另外，关于各实施方式例的构成的一部分，能够实施其他构成的追加、删除、置换。

另外，控制线、信息线示出认为是说明所需的部分，而产品上并非必须示出全部控制线、信息线。也可以认为实际上几乎全部构成相互连接。

附图标记说明

100、200接合工序线监视系统

1接合对象的部件

1a、1b管部件(接合对象的部件)

2气体燃烧器(接合工具)

2a焊炬(燃烧器火焰)、(接合工具)

4高速摄像头(接合现象数据获取单元)

5热成像摄像头(接合现象数据获取单元)

6距离传感器(作业状态数据获取单元)

7惯性传感器(作业状态数据获取单元)

20服务器

20a、150a显示部(提示单元)

100接合工序线监视系统

110数据获取单元

111接合现象数据获取部

112作业状态数据获取部

113时刻同步部

120、220数据评价单元(评价数据计算单元)

121接合现象数据评价部

122作业状态数据评价部

123接合现象作业状态分析部

130差异数据提取单元

131作业部位决定部

132数据范围提取部

133基准数据保存部(基准数据保存单元)

134差异程度计算部

140异常部位判定单元

150提示单元

150b投光部(提示单元)

221接合现象数据评价部

2211动态图像数据时刻评价部

2212流动部位提取部

2213温度分布评价部

222作业状态数据评价部

2221趋势数据时刻评价部

2222作业步骤提取部

2223接合工具动作提取部

230接合现象作业状态分析部

2231接合现象数据作业状态对应数据生成部

2232接合条件存储部

2233比较部。