基于影像数据分析的焊接评估方法、装置及存储介质与流程

本发明涉及焊接，特别是一种基于影像数据分析的焊接评估方法、装置及存储介质。

背景技术：

1、近年来，随着交通运输行业的发展，铁路运输需求日益加剧，铁路养护任务也变得愈发重要。对于钢轨出现的裂纹和缝隙，通常采用铝热焊接等技术来进行钢轨的维护与修复。钢轨铝热焊是用砂模贴覆于待焊钢轨处，形成待焊腔；预热待焊腔内的钢轨两接头；将铝热焊粉、氧化铁和其他一些合金添加物配按照一定比例制成的铝热焊剂置于待焊腔上部的坩埚内，点燃铝热焊剂，使氧化铁发生氧化还原反应生成铝热钢液，短时间内，高温铝热钢液熔化坩埚底部的自熔塞，浇注并填满待焊腔，铝热钢液作为填充金属，将轨道两端熔化并共同结晶，冷却凝固后形成焊接接头；拆去砂模，除瘤、打磨。在钢轨焊接过程中，通常需要按照规定进行操作，严格控制预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段等各个操作阶段的进行时间或者进行程度、操作点位等，以免造成焊接质量不良甚至设备损坏。为了确保焊接操作符合规定，通常需要对焊接过程的各个阶段分别进行评价。当前的评价方法是，由评价专家肉眼观测焊接过程，凭借经验及秒表测算各阶段的进行时间、反应程度等是否符合焊接标准。比如：预热阶段为在火焰喷出浇注孔后，评价专家需要立刻按下秒表开始预热计时，在火焰熄灭后立即结束计时，在预热过程中密切关注整个预热过程，特别是轨腰受热后颜色变化的过程，轨腰预热完成的温度大概为950～1000℃，其颜色为亮黄色；浇注阶段为铁水流出坩埚时开始计时，待无铁水流出时完成浇注计时。

2、此种由评价专家用肉眼对操作过程进行判断的方法，存在对评价专家的精神集中程度、反应速度、评价熟练程度等的要求较高，而且评价结果受到评价者个人主观因素的影响较大的问题，以及各个评价者的评价结果之间可能存在较大差异的问题。

3、基于此，发明一种，结合焊接现场视频对铝热焊操作流程中的对象进行实时目标跟踪检测，并记录反应时间和反应过程中存在的问题，系统根据算法大数据来进行辅助决策，辅助监管人员及时掌握现场施工情况，检验现场施工人员的操作是否合理，作业质量是否在国家标准范围内，最终提出改进方案并进行追责。

技术实现思路

1、本技术的目的在于提供一种基于影像数据分析的焊接评估方法、装置及存储介质，通过采集焊接现场的操作视频，依据视频中的关键信息切确定操作视频对应的操作阶段，再提取出确定的操作阶段内的评价信息，以供评价者根据评价信息对焊接操作过程进行评价，降低了评价过程中对评价者的精神集中程度、反应速度、评价熟练程度等的要求，提高评价结果的准确程度及可信度。

2、本技术提供了一种基于影像数据分析的焊接评估方法，所述方法包括以下步骤：

3、获取待评估焊接过程的视频；分析并提取出所述视频中的关键信息；根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段；确定所述操作阶段对应的评估信息。

4、进一步地，本发明提供的焊接评估方法还包括：

5、将所述操作阶段以及对应的评估信息进行存储和显示；

6、和/或，提取该所述操作阶段对应的预设关键信息评估标准；将所述操作阶段对应的评估信息与预设关键信息评估标准进行对比；根据对比结果确定所述待评估焊接过程的焊接质量。

7、进一步地，所述关键信息至少包括火焰以及封砂箱的位置和尺寸；所述分析并提取出所述视频中的关键信息，具体包括：从所述视频中提取评估图像；对提取的所述评估图像进行初步识别，并将初步识别结果标记于所述评估图像中；根据所述初步识别结果确定出所述评估图像中的感兴趣区域；对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记；对所述过程识别标记进行分析，识别出其中火焰以及封砂箱的位置和尺寸。

8、进一步地，所述根据所述初步识别结果确定出所述评估图像中的感兴趣区域，具体包括：提取所述初步识别结果中的封砂箱；以所述封砂箱的宽、高及所在的位置为基准确定所述感兴趣区域；所述感兴趣区域的左侧边界距离所述封砂箱的左侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为2.3～3.3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为0.5～1.5个封砂箱高度。

9、进一步地，所述对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记，具体包括：将完全处于所述感兴趣区域内的所述初步识别结果，标注为所述过程识别标记；并以所述感兴趣区域的边界框为边框，对一部分处于所述感兴趣区域以外的所述初步识别结果进行裁切，留存处于所述感兴趣区域内的所述初步识别结果区域，标注为所述过程识别标记。

10、进一步地，所述操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个；所述根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段，具体包括：依据预设的焊接顺序流程，以及所述视频中火焰、坩埚以及封砂箱的位置和尺寸，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个。

11、进一步地，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别预设有对应的基准参考帧数，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别设有与各阶段相对应的判断标签，以及与各阶段相对应的预设阶段标签阈值；依据预设的焊接顺序流程，以及所述视频中火焰、坩埚以及封砂箱的位置和尺寸，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个，具体包括：

12、从所述视频的图像中提取与待确定操作阶段对应的基准参考帧数的连续图像，作为判定图像；判断各所述判定图像中，与待确定操作阶段对应的判断标签的总数量是否符合对应的预设阶段标签阈值；当所述判定图像中所述判断标签的总数量处于与待确定操作阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至第一次达到各所述判断图像中所述判断标签的总数量大于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的开始时间；继续由前向后逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述判断标签的总数量小于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的结束时间；

13、或者，

14、当所述判定图像中所述判断标签的总数量处于与待确定操作阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至最后一次达到各所述判断图像中所述判断标签的总数量小于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的结束时间；继续由后向前逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述判断标签的总数量大于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的开始时间。

15、进一步地，在所述操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少两个的情况下；对于相邻两操作阶段，当前一操作阶段的结束时间晚于后一阶段的开始时间时，确定早于后一阶段的开始时间，且与前一操作阶段的开始时间最接近的一组所述判定图像对应的时间为前一操作的结束时间。

16、本技术的另一方面，还提供了一种基于影像数据分析的焊接评估装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述方法的步骤。

17、本技术的又一方面，还提供了一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如上任一项所述的方法。

18、1.本技术提供的基于影像数据分析的焊接评估方法、装置及计算机可读存储介质，采用获取待评估焊接过程的视频；分析并提取出所述视频中的关键信息；根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段；再确定所述操作阶段对应的评估信息的设计；通过采集焊接现场的操作视频固化留存焊接过程，为提取操作过程进行的时间、各操作阶段进行的程度等提供了计算依据；通过视频分析确定出视频中可以用于切分操作过程的关键信息，再依据所述关键信息确定视频对应的操作阶段，实现了自动切分焊接过程的操作阶段，降低了评价过程中对评价者的精神集中程度、反应速度、评价熟练程度等的需求；再自动提取出各个操作阶段的中包含的操作点位、操作进行时间等评估信息，供评价者将评估信息与评价标准进行对比，提高了评价结果的准确程度及可信度。

19、2.本技术提供的基于影像数据分析的焊接评估方法、装置及计算机可读存储介质，采取还包括将所述操作阶段以及对应的评估信息进行存储和显示；和/或，提取该所述操作阶段对应的预设关键信息评估标准；将所述操作阶段对应的评估信息与预设关键信息评估标准进行对比；根据对比结果确定所述待评估焊接过程的焊接质量的设计。将所述操作阶段以及对应的评估信息进行存储和显示可以供评价者随时查看，使评价者不必在焊接操作现场当场分析，增加了评价工作的灵活性和便捷性。将所述操作阶段对应的评估信息与预设关键信息评估标准进行对比，实现了自动评价待评估焊接过程。

20、3.本技术提供的基于影像数据分析的焊接评估方法、装置及计算机可读存储介质，采用所述关键信息至少包括火焰以及封砂箱的位置和尺寸；所述分析并提取出所述视频中的关键信息，具体包括：从所述视频中提取评估图像；对提取的所述评估图像进行初步识别，并将初步识别结果标记于所述评估图像中；根据所述初步识别结果确定出所述评估图像中的感兴趣区域；对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记；对所述过程识别标记进行分析，识别出其中火焰以及封砂箱的位置和尺寸的设计。对所述视频中的图像进行识别分析，确定焊接操作在图像中的范围，排除图像中非焊接区域对关键信息的影响，以及减小关键信息识别时需要处理的数据量，提高识别关键信息的速率和识别结果的有效性。

21、4.本技术提供的基于影像数据分析的焊接评估方法、装置及计算机可读存储介质，采用所述根据所述初步识别结果确定出所述评估图像中的感兴趣区域，具体包括：提取所述初步识别结果中的封砂箱；以所述封砂箱的宽、高及所在的位置为基准确定所述感兴趣区域；所述感兴趣区域的左侧边界距离所述封砂箱的左侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为2.3～3.3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为0.5～1.5个封砂箱高度的设计。根据各个操作阶段对应的图像中的变化区域，统一感兴趣区域的确定标准，提升该评估方法的标准程度。

22、5.本技术提供的基于影像数据分析的焊接评估方法、装置及计算机可读存储介质，采用所述对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记，具体包括：将完全处于所述感兴趣区域内的所述初步识别结果，标注为所述过程识别标记；并以所述感兴趣区域的边界框为边框，对一部分处于所述感兴趣区域以外的所述初步识别结果进行裁切，留存处于所述感兴趣区域内的所述初步识别结果区域，标注为所述过程识别标记的设计。用感兴趣区域过滤掉非因焊接操作引起的图像变化，确保提取的关键信息均是由焊接操作产生的，提高评价信息的可信度。

23、6.本技术提供的基于影像数据分析的焊接评估方法、装置及计算机可读存储介质，采用所述根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段，具体包括：依据预设的焊接顺序流程，以及所述视频中火焰、坩埚以及封砂箱的位置和尺寸，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个的设计。进行操作流程确定以及提取操作流程对应的评估信息时，可以只提取某一个操作阶段，也可以提取多个操作阶段，处理的视频可以是整个焊接过程也可以是焊接过程的一部分，提高了本评估方法的灵活性和实用性。

24、7.本技术提供的基于影像数据分析的焊接评估方法、装置及计算机可读存储介质，采用所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别预设有对应的基准参考帧数，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别设有与各阶段相对应的判断标签，以及与各阶段相对应的预设阶段标签阈值的设计；各个阶段对应的判断标签及预设阶段标签阈值不同，为实现有效切分操作阶段提供了合理依据。