一种关键部件的检测追踪方法以及装置与流程

本发明涉及焊接头操作质量检测技术领域，尤其涉及一种关键部件的检测追踪方法以及装置。

背景技术：

目前，我国有18个铁路局，共180多个铁路段，均已通过配备记录仪或摄像头进行焊接视频记录。所有焊头焊接记录会交到铁路段，希望通过查看视频发现焊接过程存在的问题，也有利于事故明确责任。焊接包含多个工艺，每个工艺有多个需要卡控的项位置。其中通过视觉的方法，主要是为了定位其中的预热起止时刻、反应起止时刻、镇静时刻、拆模时刻、推模时刻等关键时刻。

现有技术的不足，由于焊接量大，5万多个焊接头，每个组配置2个摄像摄像头，录制时间约40～50分钟，如果人工查看，将消耗大量人力和时间，但是视频量太大，太消耗时间和人力，效率过低，导致视频只有在焊头出问题的时候才查看视频。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的不足，提供一种关键部件的检测追踪方法以及装置。

本发明解决上述技术问题的技术方案如下：一种关键部件的检测追踪方法，其包括：

获取第一视频图像中的第一部件信息以及第二视频图像中的第二部件信息；

对所述第一部件信息以及所述第二部件信息进行比对，生成部件信息调整指令；

根据信息调整指令调整第一部件信息。

进一步地，所述对所述第一部件信息以及所述第二部件信息进行比对，生成部件信息调整指令的步骤，包括：

判断第二部件信息中是否有与第一部件信息类别相同的部件；

若否，则将第二部件信息中区别于第一部件信息的部件添加至第一部件信息中，并增加部件的累计分数和计数；

获取预设阈值；

根据预设阈值，去除第一部件信息中被第二部件信息匹配超过预设阈值的部件；

去除第一部件信息中部件的累计分数小于等于零的部件；

去除第一部件信息中不需要跟踪的部件。

进一步地，所述判断第二部件信息中是否有与第一部件信息类别相同的部件的步骤，包括：

若是，则判断第二部件信息与第一部件信息的交并比是否大于0.1，或判断第二部件信息与第一部件信息的相似度是否大于0.8；

若否，则滤除部件。

进一步地，所述判断第二部件信息与第一部件信息的交并比是否大于0.1，或判断第二部件信息与第一部件信息的相似度是否大于0.8的步骤，包括：

若是，则将第一部件信息中与第二部件信息对应的部件计数清零，并增加部件的累计分数；

对于第一部件信息中没有被第二部件信息匹配的部件，扣减部件的累计分数0.1。

进一步地，所述对于第一部件信息中没有被第二部件信息匹配的部件，扣减部件的累计分数的步骤之后，还包括：

获取预设阈值；

根据预设阈值，去除第一部件信息中被第二部件信息匹配超过预设阈值的部件；

去除第一部件信息中部件的累计分数小于等于零的部件；

去除第一部件信息中不需要跟踪的部件。

本发明的有益效果是：解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。重点在于提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位。通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。通过后处理的方式，对目标检测模型的输出结果进行修正，弥补模型缺点，对部件的误检和漏检针对焊接施工的实际场景进行针对性优化。对于操作中的火焰过大影响部件检测又可以召回部件，继续对该位置保持追踪和状态判断。对于误检，由于在缓存队列中只有个别帧出现，在视频中可以很快滤除；对于漏检，即真正的有效部件，即使中间出现遮挡或者光线差影响部件检测，也可以沿用旧的对应部件的检测结果，进而为进行后续的状态分类判断做好准备。即使火焰很大，坩埚盖完全被火焰淹没，但是可以沿用跟踪的坐标信息，实现部件的召回。

此外，本发明还提供了一种关键部件的检测追踪装置，其包括：

获取设备，用于获取第一视频图像中的第一部件信息以及第二视频图像中的第二部件信息；

处理设备，用于对所述第一部件信息以及所述第二部件信息进行比对，生成部件信息调整指令；

所述处理设备，还用于根据信息调整指令调整第一部件信息。

进一步地，所述处理设备，还用于判断第二部件信息中是否有与第一部件信息类别相同的部件；

若判断结果为否，则将第二部件信息中区别于第一部件信息的部件添加至第一部件信息中，并增加部件的累计分数和计数；

所述获取设备，还用于获取预设阈值；

所述处理设备，还用于根据预设阈值，去除第一部件信息中被第二部件信息匹配超过预设阈值的部件；

所述处理设备，还用于去除第一部件信息中部件的累计分数小于等于零的部件；

所述处理设备，还用于去除第一部件信息中不需要跟踪的部件。

进一步地，若判断结果为是，则判断第二部件信息与第一部件信息的交并比是否大于0.1，或判断第二部件信息与第一部件信息的相似度是否大于0.8；

若判断结果为否，则滤除部件。

进一步地，若判断结果为是，则将第一部件信息中与第二部件信息对应的部件计数清零，并增加部件的累计分数；

所述处理设备，还用于对于第一部件信息中没有被第二部件信息匹配的部件，扣减部件的累计分数0.1。

进一步地，所述获取设备，还用于获取预设阈值；

所述处理设备，还用于根据预设阈值，去除第一部件信息中被第二部件信息匹配超过预设阈值的部件；

所述处理设备，还用于去除第一部件信息中部件的累计分数小于等于零的部件；

所述处理设备，还用于去除第一部件信息中不需要跟踪的部件。

本发明的有益效果是：解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。重点在于提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位。通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。通过后处理的方式，对目标检测模型的输出结果进行修正，弥补模型缺点，对部件的误检和漏检针对焊接施工的实际场景进行针对性优化。对于操作中的火焰过大影响部件检测又可以召回部件，继续对该位置保持追踪和状态判断。对于误检，由于在缓存队列中只有个别帧出现，在视频中可以很快滤除；对于漏检，即真正的有效部件，即使中间出现遮挡或者光线差影响部件检测，也可以沿用旧的对应部件的检测结果，进而为进行后续的状态分类判断做好准备。即使火焰很大，坩埚盖完全被火焰淹没，但是可以沿用跟踪的坐标信息，实现部件的召回。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明实施例提供的关键部件的检测追踪方法的示意性流程图之一。

图2为本发明实施例提供的关键部件的检测追踪方法的示意性流程图之二。

图3为本发明实施例提供的关键部件的检测追踪装置的示意性结构框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1和图2所示，本发明实施例提供了一种关键部件的检测追踪方法，其包括：

s1、获取第一视频图像中的第一部件信息以及第二视频图像中的第二部件信息；

s2、对所述第一部件信息以及所述第二部件信息进行比对，生成部件信息调整指令；

s3、根据信息调整指令调整第一部件信息。

本发明属于计算机视觉的视频内容分析领域，但是目的不同，重点在于提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等。现有技术方案是工务段排专人人工查看录像，效率低成本高，准确性不可靠，且普遍有积压现象。本发明实施例通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。

标注数据集；选择深度学习目标检测算法(yolov4)并训练；检测目标的计数和追踪；工作区的划分和跟踪；基于帧内容的工作区状态判断；基于整个视频上下文的步骤节点判断；旨在通过后处理的方式，对目标检测模型的输出结果进行修正，弥补模型缺点，对部件的误检和漏检针对焊接施工的实际场景进行针对性优化。

具体为：初始化历史部件信息、计数、和累计分数(即第一视频图像中的第一部件信息)；视频抽帧、图像预处理(即第二视频图像中的第二部件信息以及第一视频图像中的第一部件信息)；yolov4(目标检测算法)模型推理；当前帧检测出的部件是否有类别相同部件，若是，则判断iou(intersectionoverunion，交并比)是否大于0.1或者相似度是否大于0.8；若是，则对应历史部件更新信息，计数清零，分数累加；历史部件中没有被匹配的对象，分数减0.1，历史部件去除累计匹配超过设定阈值的目标；历史部件去除分数小于等于0的部件；后续部件分类等操作；或在历史部件去除分数小于等于0的部件的步骤之后进行步骤：历史部件去除不需要跟踪的对象；返回视频抽帧步骤。其中，当前帧检测出的部件是否有类别相同部件的步骤包括：若否，则历史部件添加该部件；添加分数、计数；进入历史部件去除累计匹配超过设定阈值的目标的步骤。判断iou(intersectionoverunion，交并比)是否大于0.1或者相似度是否大于0.8的步骤之后，若否，则pass，直接滤除不考虑。

具体实施方式按照如下步骤依次进行：

标注训练集。使用目标检测标注工具，标注待检测目标在图片内的绝对坐标；

选择深度学习网络，选用目前工业落地上比较好用的yolov4，由于是开源算法，为现有技术，这里不进行赘述；

焊接场景的相机和工作区域角度相对变化不大。初始化历史检测部件信息、相应计数和累计分数三个变量；

视频每一帧的结果都与历史部件进行比对。判断历史检测部件变量中的目标，如果类别相同且iou>0.1，则为同一目标，根据进行合并。如果iou为0但是相似度>0.8,则为目标进行了位置移动，也进行合并。对于更新成功的部件，对应的计数置0。如果历史部件中的目标在当前帧没有可以匹配的部件，那么计数+1；

对缓存的历史检测部件滤除误检。误检通常在个别帧出现，为了滤除这种情形，如果历史部件的某个目标没有追踪成功，则累积分数-0.1，如果更新成功则加上最新目标的分数。这样对于个别误检可以滤除，而对于操作中的火焰过大影响部件检测又可以召回部件，继续对该位置保持追踪和状态判断；

历史检测部件变量中，计数超过阈值代表很长时间没有被更新则去除。

解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。希望用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；

希望通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等；

对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。

目标部件追踪结果：对于误检，由于在缓存队列中只有个别帧出现，在视频中可以很快滤除；对于漏检，即真正的有效部件，即使中间出现遮挡或者光线差影响部件检测，也可以沿用旧的对应部件的检测结果，进而为进行后续的状态分类判断做好准备；

即使火焰很大，坩埚盖完全被火焰淹没，但是可以沿用跟踪的坐标信息，实现部件的召回。

经过长期试验，部件追踪模块对误检和漏检有很好的适应性，是在实际场景长期总结问题得到的解决方法，是必不可少的模块。

本发明通过设计部件追踪同一目标的判断方法；分数累计制的模型误检滤除方法；使用追踪排除因光照等漏检的召回方法。实现自动对关键部件的检测追踪。便于进行基于图像处理与深度学习的焊接头操作质量评价。

如图1和图2所示，进一步地，所述对所述第一部件信息以及所述第二部件信息进行比对，生成部件信息调整指令的步骤，包括：

判断第二部件信息中是否有与第一部件信息类别相同的部件；

若否，则将第二部件信息中区别于第一部件信息的部件添加至第一部件信息中，并增加部件的累计分数和计数；

获取预设阈值；

根据预设阈值，去除第一部件信息中被第二部件信息匹配超过预设阈值的部件；

去除第一部件信息中部件的累计分数小于等于零的部件；

去除第一部件信息中不需要跟踪的部件。

进一步地，所述判断第二部件信息中是否有与第一部件信息类别相同的部件的步骤，包括：

若是，则判断第二部件信息与第一部件信息的交并比是否大于0.1，或判断第二部件信息与第一部件信息的相似度是否大于0.8；

若否，则滤除部件。

如图1和图2所示，进一步地，所述判断第二部件信息与第一部件信息的交并比是否大于0.1，或判断第二部件信息与第一部件信息的相似度是否大于0.8的步骤，包括：

若是，则将第一部件信息中与第二部件信息对应的部件计数清零，并增加部件的累计分数；

对于第一部件信息中没有被第二部件信息匹配的部件，扣减部件的累计分数0.1。

如图1和图2所示，进一步地，所述对于第一部件信息中没有被第二部件信息匹配的部件，扣减部件的累计分数的步骤之后，还包括：

获取预设阈值；

根据预设阈值，去除第一部件信息中被第二部件信息匹配超过预设阈值的部件；

去除第一部件信息中部件的累计分数小于等于零的部件；

去除第一部件信息中不需要跟踪的部件。

本发明的有益效果是：解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。重点在于提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位。通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。通过后处理的方式，对目标检测模型的输出结果进行修正，弥补模型缺点，对部件的误检和漏检针对焊接施工的实际场景进行针对性优化。对于操作中的火焰过大影响部件检测又可以召回部件，继续对该位置保持追踪和状态判断。对于误检，由于在缓存队列中只有个别帧出现，在视频中可以很快滤除；对于漏检，即真正的有效部件，即使中间出现遮挡或者光线差影响部件检测，也可以沿用旧的对应部件的检测结果，进而为进行后续的状态分类判断做好准备。即使火焰很大，坩埚盖完全被火焰淹没，但是可以沿用跟踪的坐标信息，实现部件的召回。

如图3所示，此外，本发明还提供了一种关键部件的检测追踪装置，其包括：

获取设备，用于获取第一视频图像中的第一部件信息以及第二视频图像中的第二部件信息；

处理设备，用于对所述第一部件信息以及所述第二部件信息进行比对，生成部件信息调整指令；

所述处理设备，还用于根据信息调整指令调整第一部件信息。

如图3所示，进一步地，所述处理设备，还用于判断第二部件信息中是否有与第一部件信息类别相同的部件；

若判断结果为否，则将第二部件信息中区别于第一部件信息的部件添加至第一部件信息中，并增加部件的累计分数和计数；

所述获取设备，还用于获取预设阈值；

所述处理设备，还用于根据预设阈值，去除第一部件信息中被第二部件信息匹配超过预设阈值的部件；

所述处理设备，还用于去除第一部件信息中部件的累计分数小于等于零的部件；

所述处理设备，还用于去除第一部件信息中不需要跟踪的部件。

进一步地，若判断结果为是，则判断第二部件信息与第一部件信息的交并比是否大于0.1，或判断第二部件信息与第一部件信息的相似度是否大于0.8；

若判断结果为否，则滤除部件。

进一步地，若判断结果为是，则将第一部件信息中与第二部件信息对应的部件计数清零，并增加部件的累计分数；

所述处理设备，还用于对于第一部件信息中没有被第二部件信息匹配的部件，扣减部件的累计分数0.1。

进一步地，所述获取设备，还用于获取预设阈值；

所述处理设备，还用于根据预设阈值，去除第一部件信息中被第二部件信息匹配超过预设阈值的部件；

所述处理设备，还用于去除第一部件信息中部件的累计分数小于等于零的部件；

所述处理设备，还用于去除第一部件信息中不需要跟踪的部件。

本发明的有益效果是：解决视频交付铁路局后人力审核效率低而且无法快速完成造成积压的问题。用较少人力和时间成本，及时发现问题，从而降低事故率，提升安全生产质量；通过查看视频发现焊接过程存在的问题，如是否有录像、有没有录好、预热时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位等；对轨道焊接的拍摄条件和拍摄规范标准化、体系化，形成行业标准。重点在于提取出工人操作步骤的起始结束时间点，从而获取预热时间、准备时间、反应时间、镇静时间、推瘤时间等技术指标有没有到位。通过计算机视觉方法，替代人工操作。减轻人力成本，提升效率，对所有的焊接头进行评分，对质量差的焊接头重点维护降低铁路的维护成本和降低事故率。通过后处理的方式，对目标检测模型的输出结果进行修正，弥补模型缺点，对部件的误检和漏检针对焊接施工的实际场景进行针对性优化。对于操作中的火焰过大影响部件检测又可以召回部件，继续对该位置保持追踪和状态判断。对于误检，由于在缓存队列中只有个别帧出现，在视频中可以很快滤除；对于漏检，即真正的有效部件，即使中间出现遮挡或者光线差影响部件检测，也可以沿用旧的对应部件的检测结果，进而为进行后续的状态分类判断做好准备。即使火焰很大，坩埚盖完全被火焰淹没，但是可以沿用跟踪的坐标信息，实现部件的召回。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。