工序步骤正确性自动化检测方法和系统与流程

本发明涉及人工智能技术领域，尤其是涉及一种工序步骤正确性自动化检测方法和系统。

背景技术：

在实际生产过程中工序步骤是否正确执行对于生产质量和生产安全有着决定性的影响，不正确的工序执行步骤不仅会对产品的质量产生影响，而且在很多情况下还会产生重大的安全事故，因此如何检查工人工序步骤的执行顺序是否正确一直是现在工厂管理的重点和痛点。目前主要的检查工序步骤正确性的方案主要还是通过人工抽查或工人自身经验排查来实现，这样存在以下技术问题：一方面成本相对比较高昂，另一方面很难做到全流程实时的检测，从而很难及时发现工序步骤中的错误。

技术实现要素：

有鉴于此，本发明的目的在于提供一种工序步骤正确性自动化检测方法和系统，以缓解了现有技术中存在的成本高昂、不能实时检测工序步骤的技术问题。

第一方面，本发明实施例提供了一种工序步骤正确性自动化检测方法，应用于服务器，包括：基于深度学习的方法对待检测图像进行语义分割操作，得到所述待检测图像中每个像素的目标类别；所述待检测图像为包含工序步骤执行过程的视频中的图像帧；基于所述目标类别确定所述待检测图像中的人体区域和工作区域；基于深度学习的方法对所述人体区域和所述工作区域进行识别，分别得到所述人体区域内的人体姿态信息和所述工作区域内的工作任务信息；基于所述人体姿态信息和所述工作任务信息，确定所述待检测图像中的工人所执行的工序步骤信息；基于深度学习的方法提取所述工序步骤信息的目标特征向量，并基于所述目标特征向量判断所述工序步骤是否被正确执行。

进一步地，基于深度学习的方法对所述人体区域和所述工作区域进行识别，分别得到所述人体区域内的人体姿态信息和所述工作区域内的工作任务信息，包括：提取所述人体区域的第一特征向量；基于深度学习的方法对所述第一特征向量进行识别，得到所述人体区域内的人体姿态信息；提取所述工作区域的第二特征向量；基于深度学习的方法对所述第二特征向量进行识别，得到所述工作区域内的工作任务信息。

进一步地，基于所述人体姿态信息和所述工作任务信息，确定所述待检测图像中的工人所执行的工序步骤信息，包括：基于所述工作任务信息确定各个工序步骤的执行时间；基于所述各个工序步骤的执行时间和所述人体姿态信息确定所述待检测图像中的工人所执行的工序步骤信息。

进一步地，基于所述目标特征向量判断所述工序步骤是否被正确执行，包括：将所述目标特征向量与预设特征向量库中的特征向量进行比对操作，得到比对结果；基于所述比对结果判断所述工序步骤是否被正确执行。

第二方面，本发明实施例还提供了一种工序步骤正确性自动化检测系统，应用于服务器，包括：语义分割模块，第一确定模块，识别模块，第二确定模块和判断模块，其中，所述语义分割模块，用于基于深度学习的方法对待检测图像进行语义分割操作，得到所述待检测图像中每个像素的目标类别；所述待检测图像为包含工序步骤执行过程的视频中的图像帧；所述第一确定模块，用于基于所述目标类别确定所述待检测图像中的人体区域和工作区域；所述识别模块，用于基于深度学习的方法对所述人体区域和所述工作区域进行识别，分别得到所述人体区域内的人体姿态信息和所述工作区域内的工作任务信息；所述第二确定模块，用于基于所述人体姿态信息和所述工作任务信息，确定所述待检测图像中的工人所执行的工序步骤信息；所述判断模块，用于基于深度学习的方法提取所述工序步骤信息的目标特征向量，并基于所述目标特征向量判断所述工序步骤是否被正确执行。

进一步地，所述识别模块包括：第一识别单元和第二识别单元，其中，所述第一识别单元，用于提取所述人体区域的第一特征向量；基于深度学习的方法对所述第一特征向量进行识别，得到所述人体区域内的人体姿态信息；所述第二识别单元，用于提取所述工作区域的第二特征向量；基于深度学习的方法对所述第二特征向量进行识别，得到所述工作区域内的工作任务信息。

进一步地，所述第二确定模块，还用于：基于所述工作任务信息确定各个工序步骤的执行时间；基于所述各个工序步骤的执行时间和所述人体姿态信息确定所述待检测图像中的工人所执行的工序步骤信息。

进一步地，所述判断模块，还用于：将所述目标特征向量与预设特征向量库中的特征向量进行比对操作，得到比对结果；基于所述比对结果判断所述工序步骤是否被正确执行。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

第四方面，本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。

本发明提供的一种工序步骤正确性自动化检测方法和系统，通过深度学习的方法将工序步骤中的人体姿态信息和工作任务信息进行了深度融合，然后根据人体姿态信息和工作任务信息确定工序步骤信息，基于深度学习的方法提取工序步骤信息的特征向量，最后基于特征向量判断工序步骤是否被正确执行。本发明可以通过通过实时获取到的包含工序步骤执行过程的视频，自动检测工序步骤的执行情况，不需要人工检测，降低了人力成本，进而缓解了现有技术中存在的成本高昂、不能实时检测工序步骤的技术问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种工序步骤正确性自动化检测方法的流程图；

图2为本发明实施例提供的一种工序步骤正确性自动化检测系统的示意图；

图3为本发明实施例提供的另一种工序步骤正确性自动化检测系统的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

图1是根据本发明实施例提供的一种工序步骤正确性自动化检测方法的流程图，该方法应用于服务器。如图1所示，该方法具体包括如下步骤：

步骤s102，基于深度学习的方法对待检测图像进行语义分割操作，得到待检测图像中每个像素的目标类别；待检测图像为包含工序步骤执行过程的视频中的图像帧。可选地，像素的目标类别包括以下任一项：人体、工作区域和背景。

可选地，通过动态影像记录设备获取工序步骤执行过程的视频。例如，可以通过监视器获取工厂中工人正在实行工序步骤的过程的视频信息。

可选地，本发明实施例中所用的深度学习的方法是针对目标检测和分割上的一些方法，例如，可以是yolo模型，makrcnn模型，fasterrcnn模型，ssd模型或者retinanet模型。

步骤s104，基于目标类别确定待检测图像中的人体区域和工作区域。

其中，人体区域和工作区域为外接矩形框。

步骤s106，基于深度学习的方法对人体区域和工作区域进行识别，分别得到人体区域内的人体姿态信息和工作区域内的工作任务信息。

步骤s108，基于人体姿态信息和工作任务信息，确定待检测图像中的工人所执行的工序步骤信息。

步骤s110，基于深度学习的方法提取工序步骤信息的目标特征向量，并基于目标特征向量判断工序步骤是否被正确执行。

本发明提供的一种工序步骤正确性自动化检测方法，通过深度学习的方法将工序步骤中的人体姿态信息和工作任务信息进行了深度融合，然后根据人体姿态信息和工作任务信息确定工序步骤信息，基于深度学习的方法提取工序步骤信息的特征向量，最后基于特征向量判断工序步骤是否被正确执行。本发明可以通过通过实时获取到的包含工序步骤执行过程的视频，自动检测工序步骤的执行情况，不需要人工检测，降低了人力成本，进而缓解了现有技术中存在的成本高昂、不能实时检测工序步骤的技术问题。

可选地，步骤s106包括如下步骤：

步骤s1061，提取人体区域的第一特征向量；

步骤s1062，基于深度学习的方法对第一特征向量进行识别，得到人体区域内的人体姿态信息；

步骤s1063，提取工作区域的第二特征向量；

步骤s1064，基于深度学习的方法对第二特征向量进行识别，得到工作区域内的工作任务信息。

可选地，步骤s108包括如下步骤：

步骤s1081，基于工作任务信息确定各个工序步骤的执行时间；

步骤s1082基于各个工序步骤的执行时间和人体姿态信息确定待检测图像中的工人所执行的工序步骤信息。

具体地，首先基于工作任务信息确定工序步骤的时间信息，其中，时间信息包括工序步骤的执行时间和时间长度。然后获取工序步骤在执行时间内的视频，并提取视频中的多个图像帧，利用人体跟踪的方法获取多个图像帧中的人体姿态信息，再根据多个图像帧的时序将人体姿态信息组合成工序步骤的时序视频信息，并将工序步骤的时序视频信息确定为工序步骤信息。

可选地，步骤s110包括如下步骤：

步骤s1101，将目标特征向量与预设特征向量库中的特征向量进行比对操作，得到比对结果；

步骤s1102，基于比对结果判断工序步骤是否被正确执行。

在本发明实施例中，预设特征向量库为包含多个特征向量的集合，例如，可以包括正确执行工序步骤时的特征向量，和在不同情况下的错误执行工序步骤时的特征向量。通过将目标特征向量分别于预设特征向量库中的多个特征向量进行比对，得到比对结果，并根据比对结果在预设特征向量库中查找与目标特征向量最为接近的特征向量，这样就可以根据查找到的特征向量确定目标特征向量所对应的工序步骤是否被正确执行。具体地，如果在比对结果中，确定与目标特征向量最接近的特征向量为正确执行工序步骤时的特征向量，则确定工序步骤被正确执行；如果在比对结果中，确定与目标特征向量最接近的特征向量为错误执行工序步骤时的特征向量，则确定工序步骤没有被正确执行，并且，还可以通过与目标特征向量相对应的错误执行工序步骤时的特征向量，识别出具体错误的步骤。

本发明实施例能够产生以下技术效果：

本发明将工序步骤中的人体姿态信息、工作区域以及工作任务信息等特征向量进行了深度融合，增强了特征向量的可区分性和鲁棒性，使得最终的工序步骤正确性的识别检测更为准确。

本发明通过人体跟踪方法结合工作任务的时间信息得到完整的工作任务中工序步骤的时序视频信息，通过完整时序信息的引入不仅可以判断出工序步骤是否执行正确，还能识别出具体错误的步骤。

实施例二：

图2是根据本发明实施例提供的一种工序步骤正确性自动化检测系统的示意图，该系统应用于服务器。如图2所示，该系统包括：语义分割模块10，第一确定模块20，识别模块30，第二确定模块40和判断模块50。

具体地，语义分割模块10，用于基于深度学习的方法对待检测图像进行语义分割操作，得到待检测图像中每个像素的目标类别；待检测图像为包含工序步骤执行过程的视频中的图像帧。

第一确定模块20，用于基于目标类别确定待检测图像中的人体区域和工作区域。

识别模块30，用于基于深度学习的方法对人体区域和工作区域进行识别，分别得到人体区域内的人体姿态信息和工作区域内的工作任务信息。

第二确定模块40，用于基于人体姿态信息和工作任务信息，确定待检测图像中的工人做执行的工序步骤信息。

判断模块50，用于基于深度学习的方法提取工序步骤信息的特征向量，并基于特征向量判断工序步骤是否被正确执行。

本发明提供的一种工序步骤正确性自动化检测系统，通过深度学习的方法将工序步骤中的人体姿态信息和工作任务信息进行了深度融合，然后根据人体姿态信息和工作任务信息确定工序步骤信息，基于深度学习的方法提取工序步骤信息的特征向量，最后基于特征向量判断工序步骤是否被正确执行。本发明可以通过通过实时获取到的包含工序步骤执行过程的视频，自动检测工序步骤的执行情况，不需要人工检测，降低了人力成本，进而缓解了现有技术中存在的成本高昂、不能实时检测工序步骤的技术问题。

可选地，图3是根据本发明实施例提供的另一种工序步骤正确性自动化检测系统的示意图，如图3所示，识别模块30包括：第一识别单元31和第二识别单元32。

具体地，第一识别单元31，用于提取人体区域的第一特征向量；基于深度学习的方法对第一特征向量进行识别，得到人体区域内的人体姿态信息。

第二识别单元32，用于提取工作区域的第二特征向量；基于深度学习的方法对第二特征向量进行识别，得到工作区域内的工作任务信息。

可选地，第二确定模块40，还用于：

基于工作任务信息确定各个工序步骤的执行时间；基于各个工序步骤的执行时间和人体姿态信息确定待检测图像中的工人所执行的工序步骤信息。

可选地，判断模块50，还用于：

将预设特征向量与预设特征向量库中的特征向量进行比对操作，得到比对结果；基于比对结果判断工序步骤是否被正确执行。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例一中的方法的步骤。

本发明实施例还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述实施例一中的方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。