重复动作识别方法、装置、介质及设备与流程

[0001]
本说明书涉及计算机视觉技术领域，尤其是涉及一种重复动作识别方法、装置、介质及设备。


背景技术：

[0002]
学校、企业、工厂等食堂就餐人数较多，食品安全涉及方方面面，不仅要保证食材来源可靠、加工过程的安全卫生，同时如果餐具清洗不干净，残留的食物残渣将产生有害物质、滋生有害病菌，会对学校、企业、工厂里的用餐员工的健康造成威胁，因此对餐具的消毒、清洁等工作更不可忽视。
[0003]
现有针对食堂的餐具清洗一般采用人工清洗方式，由于学校、企业、工厂等食堂人流量大，用餐时间集中，往往会在同一时间有很多人将用餐后的餐具送到餐盘回收处，餐盘堆积，给工作人员带来很大的回收清洗压力，一旦工作人员懈怠不负责任，极易出现安全问题，尽管在清洗间安装监控，但目前的视频监控回访通过抽检的方式，无法实现对工作人员在岗履职情况进行全面监管，存在极大的漏洞和安全隐患。


技术实现要素：

[0004]
本说明书实施例的目的在于提供一种重复动作识别方法、装置、介质及设备，可以实现对操作人员及其重复动作的准确识别，监督不规范的重复操作，提升食品安全的监管效率，降低人力和物力成本。
[0005]
为实现上述目的，第一方面，本说明书提供一种重复动作识别方法，所述方法包括：
[0006]
将待测视频进行分帧处理后的每帧图像分别输入预先训练的操作区域识别模型和操作人员识别模型，在每帧图像中获得操作区域检测框和操作人员检测框；
[0007]
对于每帧图像，根据所述操作区域检测框和所述操作人员检测框筛选位于操作区域内的操作人员；
[0008]
将位于所述操作区域内的操作人员的图像输入预先训练的肢体识别模型进行骨骼节点定位，获得每个操作区域内的操作人员的躯干信息和手臂信息；
[0009]
根据所述躯干信息和手臂信息对每帧图像中每个操作区域内的操作人员进行单一动作识别，获得单一动作得分；
[0010]
根据每帧图像中每个操作区域内的操作人员的单一动作得分，计算待测视频的不同帧图像中具有相同序号的操作区域内存在单一动作的时间，当该操作区域内存在单一动作的时间大于时间阈值时，判断该操作区域内的操作人员在待测时间段内执行了重复动作。
[0011]
可选的，所述对于每帧图像，根据所述操作区域检测框和操作人员检测框筛选位于操作区域内的操作人员包括：
[0012]
对于每帧图像，计算所述操作区域检测框的中心点坐标和所述操作人员检测框的
中心点坐标之间的欧氏距离；
[0013]
当所述欧氏距离小于第一距离阈值时，筛选出位于操作区域内的操作人员。
[0014]
可选的，所述躯干信息为操作人员脖子关节点与臀部关节点形成的三角形区域过脖子关节点的中线段，所述手臂信息为操作人员手肘关节点与肩膀关节点形成的手臂线段。
[0015]
可选的，所述根据所述躯干信息和手臂信息对每帧图像中每个操作区域内的操作人员进行单一动作识别，获得单一动作得分包括：
[0016]
对于每帧图像中每个操作区域内的操作人员，当所述躯干信息和所述操作区域检测框之间的位置关系满足第一预设条件，且所述手臂线段和所述操作区域检测框的中心的距离满足第二预设条件时，判断操作区域内的操作人员执行了单一动作，获得单一动作得分；其中，所述第一预设条件和所述第二预设条件分别为：
[0017]
将所述躯干信息靠近头部的端点坐标记为a(x1，y1)，远离头部的端点坐标记为b(x2，y2)，所述操作区域检测框坐标记为(x
m
,y
m
,w
m
,h
m
)，其中，(x
m
,y
m
)表示所述操作区域检测框左上角的坐标，(w
m
,h
m
)表示所述操作区域检测框的宽和高，则所述第一预设条件为：
[0018]
x
m
+w
m
+s1＞x1+σ＞x2或者x
m-s2＜x1-σ＜x2
[0019]
其中，s1，s2为边界常数，σ为偏移常数；
[0020]
所述第二预设条件为所述操作区域检测框的中心到所述手臂线段的距离l
a
位于第二距离阈值和第三距离阈值之间，其中，所述操作区域检测框的中心到所述手臂线段的距离l
a
的计算公式如下：
[0021][0022]
其中，(x3，y3)表示操作人员肩膀关节点的坐标，(x4，y4)表示操作人员手肘关节点的坐标。
[0023]
可选的，根据每帧图像中每个操作区域内的操作人员的单一动作得分，计算待测视频的不同帧图像中具有相同序号的操作区域内存在单一动作的时间，当该操作区域内存在单一动作的时间大于时间阈值时，判断该操作区域内的操作人员在待测时间段内执行了重复动作包括：
[0024]
对于待测视频的不同帧图像，采用时间窗，按照时间方向以预设步长滑动，删除每个时间窗内具有相同序号的操作区域内单一动作得分异常的图像；
[0025]
计算检测时间段中所有滑动窗口内保留的图像中操作区域内存在单一动作的时间，当该操作区域内存在单一动作的时间大于时间阈值时判断该操作区域内的操作人员在待测时间段内执行了重复动作。
[0026]
第二方面，本说明书实施例提供一种重复动作识别装置，所述装置包括：
[0027]
检测模块，用于将待测视频进行分帧处理后的每帧图像分别输入预先训练的操作区域识别模型和操作人员识别模型，在每帧图像中获得操作区域检测框和操作人员检测框；
[0028]
筛选模块，用于对于每帧图像，根据所述操作区域检测框和所述操作人员检测框筛选位于操作区域内的操作人员；
[0029]
肢体识别模块，用于将位于所述操作区域内的操作人员的图像输入预先训练的肢体识别模型进行骨骼节点定位，获得每个操作区域内的操作人员的躯干信息和手臂信息；
[0030]
单一动作识别模块，用于根据所述躯干信息和手臂信息对每帧图像中每个操作区域内的操作人员进行单一动作识别，获得单一动作得分；
[0031]
重复动作识别模块，用于根据每帧图像中每个操作区域内的操作人员的单一动作得分，计算待测视频的不同帧图像中具有相同序号的操作人员存在单一动作的时间，当该操作人员存在单一动作的时间大于时间阈值时，判断该操作人员在待测时间段内执行了重复动作。
[0032]
可选的，所述筛选模块包括距离计算单元和筛选单元，其中，
[0033]
所述距离计算单元，用于对于每帧图像，计算所述操作区域检测框的中心点坐标和所述操作人员检测框的中心点坐标之间的欧氏距离；
[0034]
所述筛选单元，用于当所述欧氏距离小于第一距离阈值时，筛选出位于操作区域内的操作人员。
[0035]
所述躯干信息为操作人员脖子关节点与臀部关节点形成的三角形区域过脖子关节点的中线段，所述手臂信息为操作人员手肘关节点与肩膀关节点形成的手臂线段。
[0036]
第三方面，本说明书实施例提供一种电子设备，包括：
[0037]
存储器，用于存储计算机程序；
[0038]
处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述第一方面任一项所述的重复动作识别方法。
[0039]
第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述第一方面任一项所述的重复动作识别方法。
[0040]
本说明书一个或多个实施例提供的重复动作识别方法、装置、介质及设备，可以基于预先训练好的操作区域识别模型和操作人员识别模型，在待测场景中识别出操作区域检测框和操作人员检测框，筛选出位于操作区域检测框内的操作人员，基于预先训练好的肢体识别模型获得操作人员的躯干信息和手臂信息，根据躯干信息和手臂信息判断操作人员是否存在单一动作，通过对待测视频的不同帧图像中具有相同序号的操作人员，计算其存在单一动作的时间，当待测时段内存在单一动作的时间大于阈值时判断其执行了重复动作。本说明书公开的重复动作识别方法，有助于提高重复动作识别的准确率，有效监督不规范的重复动作，克服现有技术依靠人工抽查视频监控不能全面监控操作人员履职情况的技术问题，进一步提高了食品安全监管效率，降低了企业的人力和物力成本。
附图说明
[0041]
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0042]
图1为本说明书提供的一种重复动作识别方法实施例的流程示意图；
[0043]
图2为本说明书提供的一些实施例中的进行操作区域识别的示意图；
[0044]
图3为本说明书提供的一些实施例中进行操作人员识别的示意图；
[0045]
图4为本说明书提供的一些实施例中进行肢体识别的示意图；
[0046]
图5为本说明书提供的一种重复动作识别的方法另一实施例的流程示意图；
[0047]
图6为本说明书提供的一些实施例中待测视频内操作区域m在每一帧的单一动作识别结果集合的示意图；
[0048]
图7为本说明书提供的一些实施例中对每个时间窗内单一动作识别结果的示意图；
[0049]
图8为本说明书提供的一些实施例中保留每个时间窗内存在单一动作的时间大于第一时间阈值的示意图；
[0050]
图9为本说明书提供的一种重复动作识别装置实施例的结构示意图。
具体实施方式
[0051]
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是说明书一部分实施例，而不是全部的实施例。基于说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例方案保护的范围。
[0052]
本说明书提供的实施例可以应用于终端设备、计算机系统及服务器等电子设备，其可与众多其他通用或者专用的计算机系统环境或者配置一起操作。适于与终端设备、计算机系统以及服务器等电子设备一起使用的众所周知的终端设备、计算机系统、环境和/或配置的例子，包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或者膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
[0053]
终端设备、计算机系统以及服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
[0054]
参见图1，图1是本说明书提供的一种重复动作识别方法实施例流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述方法或模块结构的在实际中的装置、服务器或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。具体的一个实施例如图1所示，本说明书提供的重复动作识别方法的一个实施例中，所述方法可以包括如下步骤：
[0055]
s200:将待测视频进行分帧处理后的每帧图像分别输入预先训练的操作区域识别模型和操作人员识别模型，在每帧图像中获得操作区域检测框和操作人员检测框。
[0056]
在一个可选示例中，本说明书中可以实时的将多帧具有时序关系的待测图像分别输入预先训练的操作区域识别模型中进行操作区域识别，所述多帧具有时序关系的待测图像可以为视频中的多个连续的视频帧，也可以为从视频中的多个连续的视频帧中切分出来的多个图像块。由于视频中的多个连续的视频帧具有时序关系，因此，通过对视频帧切分所获得的多个图像块也具有时序关系。本申请中的具有时序关系的待测场景图像的大小应满足操作区域识别模型对输入图像大小的预设要求，例如，待测场景图像的大小可以包括但不限于224
×
224。
[0057]
本说明书实施例中，首先需要训练操作区域识别模型，操作区域识别模型的拓扑结构可以为第一卷积神经网络，用于对待测图像中的操作区域进行检测，即第一卷积神经网络对输入的多个具有时序关系的待测图像进行识别处理，并在每一帧待测图像中输出识别结果，也即操作区域检测框，从而能够获得操作区域检测框的位置坐标。
[0058]
在一个可选示例中，所述第一卷积神经网络可以是具有深度学习能力的卷积神经网络，包括但不限于多个卷积层，该卷积神经网络还可以包括：池化层、全连接层以及用于执行分类操作的层等。第一卷积神经网络能够实现深度学习，与其他深度学习结构相比，深度卷积神经网络在图像识别方面展示出更加突出的性能。
[0059]
在对待测图像进行操作区域检测之前，可以通过预先使用包含丰富操作区域标注信息的数据集作为训练样本，对第一卷积神经网络的图像分类任务进行训练，获得具有操作区域分类作用的操作区域识别模型。
[0060]
利用该经过训练的操作区域识别模型对待测图像进行测试，可以获得该待测图像中各区域的操作区域置信度。其中，操作区域置信度为该区域的图像为操作区域的概率，将该操作区域置信度和预设的操作区域置信度阈值进行比较，可以将各区域图像进行分类，区分出操作区域和非操作区域，从而获得操作区域检测框及操作区域检测框的坐标信息。
[0061]
需要说明的是，所述操作区域例如是食堂或者餐厅的清洁池、也可以是车间流水线上的工位，所述操作人员可以是食堂或者餐厅的清洗工人，也可以是车间流水线上的操作工人，本发明对应用场景并不进行限制，只要操作人员在操作区域内连续重复某种动作即可。
[0062]
请参考图2，图2为本说明书提供的一些实施例中进行操作区域识别的示意图，图2的应用场景中，操作区域为食堂清洗池，操作人员为食堂清洗工人，将待测图像输入预先训练好的操作区域识别模型，在每一帧图像中获得操作区域检测框，也即图2中所示的清洗池区域。
[0063]
同理，本说明书实施例中，首先需要训练操作人员识别模型，操作人员识别模型的拓扑结构可以为第二卷积神经网络，包括但不限于多个卷积层，该卷积神经网络还可以包括：池化层、全连接层以及用于执行分类操作的层等。
[0064]
在对待测图像进行操作区域检测之前，可以通过预先使用包含丰富操作人员标注信息的数据集作为训练样本，对第二卷积神经网络的图像分类任务进行训练，获得具有操作人员分类作用的操作人员识别模型。
[0065]
利用该经过训练的操作人员识别模型对待测图像进行测试，可以获得该待测图像中各区域的操作人员置信度。其中，操作人员置信度为该区域的图像为操作人员的概率，将该操作人员置信度和预设的操作人员置信度阈值进行比较，可以将各区域图像进行分类，
区分出操作人员区域和非操作人员区域，从而获得操作人员检测框及操作人员检测框的坐标信息。
[0066]
请参见图3，图3为本说明书提供的一些实施例中进行操作人员识别的示意图，将待测图像输入预先训练好的操作人员识别模型，能够从待测图像中检测到操作人员的位置，获得操作人员检测框。
[0067]
s220.对于每帧图像，根据所述操作区域检测框和所述操作人员检测框筛选位于所述操作区域检测框内的操作人员的待测图像。
[0068]
本说明书实施例中，在获得操作区域检测框和操作人员检测框之后，可以根据操作区域检测框和操作人员检测框的坐标信息计算操作区域检测框的中心点和操作人员检测框的中心点之间的欧氏距离，如果二者之间的距离小于第一距离阈值，则认为操作区域检测框内有操作人员存在，从而筛选出位于操作区域检测框内的操作人员的待测图像。
[0069]
s240.将位于所述操作区域内的操作人员的图像输入预先训练的肢体识别模型进行骨骼节点定位，获得每个操作区域内的操作人员的躯干信息和手臂信息。
[0070]
本说明书实施例中，首先需要训练肢体识别模型，肢体识别模型的拓扑结构可以为第三卷积神经网络，包括但不限于多个卷积层，还可以包括池化层、全连接层以及用于执行分类操作的层等。
[0071]
在对操作区域检测框内含有操作人员的待测图像进行肢体识别之前，可以通过预先使用包含丰富肢体标注信息的数据集作为训练样本，对第三卷积神经网络的图像分类认为进行训练，获得具有肢体识别作用的肢体识别模型。
[0072]
利用该经过训练的肢体识别模型对操作区域检测框内含有操作人员的待测场景图像进行测试，可以定位出操作人员的眼睛、鼻子、脖子、肩膀、手臂、手腕、臀部、胯骨、膝盖和脚踝等关节点，将上述关节点按顺序连接组成操作人员的基本骨架，从而可以从中获得该图像中各操作人员的躯干信息和手臂信息。
[0073]
在一个可选示例中，所述躯干信息为操作人员脖子关节点与臀部关节点形成的三角形区域过脖子关节点的中线段，所述手臂信息为操作人员手肘关节点与肩膀关节点形成的手臂线段。
[0074]
请参见图4，图4为本说明书提供的一些实施例中进行肢体识别的示意图。将待测场景图像输入预先训练好的肢体识别模型，利用该经过训练的肢体识别模型对操作区域检测框内含有操作人员的待测场景图像进行测试，可以定位出操作人员的眼睛、鼻子、脖子、肩膀、手臂、手腕、臀部、胯骨、膝盖和脚踝等关节点，将上述关节点按顺序连接组成操作人员的基本骨架，从而可以从中获得该图像中各操作人员的躯干信息和手臂信息。
[0075]
s260.根据所述躯干信息和手臂信息对每帧图像中每个操作区域内的操作人员进行单一动作识别，获得单一动作得分。
[0076]
本说明书实施例中，可以对获取的躯干信息和手臂信息以及操作区域检测框的坐标信息进行分析，如果操作人员在操作区域工作时的单一动作标准，则操作人员的躯干和操作区域检测框之间的位置关系满足相应的条件，同时操作人员的手臂和操作区域检测框之间的位置关系也会满足相应的条件，如果同时满足两个条件，则认为操作区域检测框内的操作人员存在单一动作，在一些实施例中，可以将存在单一动作的操作区域的得分记为1，将不存在单一动作的操作区域的得分记为0。当检测到操作区域检测框内的操作人员存
在单一动作时，记录每帧图像中存在单一动作的操作人员及对应的时间，在每帧图像中形成单一动作集合，该集合中包含单一动作的操作人员信息及对应的时间。
[0077]
s280.根据每帧图像中每个操作区域内的操作人员的单一动作得分，计算待测视频的不同帧图像中具有相同序号的操作区域内的操作人员存在单一动作的时间，当该操作区域内的操作人员存在单一动作的时间大于时间阈值时，判断该操作区域内的操作人员在待测时间段内执行了重复动作。
[0078]
对于待测视频，通过分析不同帧图像中每个操作区域内的操作人员存在单一动作的时间是否大于时间阈值，如果是，则判断该操作区域内的操作人员在待测时间段内执行了重复动作，也即该操作人员在待测时间段内完成了履职。
[0079]
需要说明的是，本说明书实施例对上述各步骤的执行顺序不限于本说明书实施例或附图所示的执行顺序，在一些示例中，可以先执行步骤s200，即先将待测图像输入预先训练的操作区域识别模型进行操作区域识别，获得操作区域检测框，再执行步骤s220，即再将待测图像输入预先训练的操作人员识别模型进行操作人员识别，获得操作人员检测框。在另一些示例中，也可以先执行步骤s220，即先将待测图像输入预先训练的操作人员识别模型进行操作人员识别，获得操作人员检测框，再执行步骤s200，即再将待测图像输入预先训练的操作区域识别模型进行操作区域识别，获得操作区域检测框。
[0080]
本说明书实施例提供的重复动作识别方法，在待测场景中识别出操作区域检测框和操作人员检测框，筛选出位于操作区域检测框内的操作人员，基于预先训练好的肢体识别模型获得操作人员的躯干信息和手臂信息，根据躯干信息和手臂信息判断操作人员是否存在单一动作，通过对待测视频的不同帧图像中具有相同序号的操作人员，计算其存在单一动作的时间，当待测时段内存在单一动作的时间大于阈值时判断其执行了重复动作。本说明书公开的重复动作识别方法，有助于提高重复动作识别的准确率，有效监督不规范的重复动作，克服现有技术依靠人工抽查视频监控不能全面监控操作人员履职情况的技术问题，进一步提高了食品安全监管效率，降低了企业的人力和物力成本。
[0081]
参见图5，图5是本说明书提供的一种重复动作识别方法另一实施例流程示意图，所述方法可以包括如下步骤：
[0082]
s300.将待测视频进行分帧处理后的每帧图像分别输入预先训练的操作区域识别模型和操作人员识别模型，在每帧图像中获得操作区域检测框和操作人员检测框。
[0083]
在一个可选示例中，操作区域识别模型的拓扑结构可以为第一卷积神经网络，至少包括6个卷积层，第一卷积神经网络的激活函数，可以使用relu(英文：rectified linear units，中文：修正线性单元)激活函数，用于选取出各层中参与模型训练的神经元。所述第一卷积神经网络的损失函数可以为l1和l2范数损失函数。其中，l1范数损失函数，也被称为最小绝对值偏差(lad)，或者最小绝对值误差(lae)。是把实际值与经过操作区域识别模型输出的估计值的绝对差值的总和最小化。l2范数损失函数，也被称为最小平方误差(lse)，是把实际值和经给操作区域识别模型输出的估计值的差值的平方和最小化。具体如下：
[0084]
其中，第一卷积神经网络使用的relu激活函数公式如下：
[0085]
prelu(x)＝max(αx，x)
[0086]
其中，α表示经验常数。
[0087]
第一卷积神经网络的损失函数的计算公式如下：
[0088]
l＝l1+l2[0089]
其中，表示所述操作区域检测框的中心坐标误差，(x
m
，y
m
)表示所述第一卷积神经网络输出的所述操作区域检测框的中心坐标，m表示所述第一卷积神经网络输出的所述操作区域检测框的序号，表示所述操作区域检测框的真实的中心坐标，表示激活函数带来的分类误差，其中，p
m
表示所述第一卷积神经网络输出的所述操作区域检测框的分类结果，表示所述操作区域检测框的真实的分类结果。
[0090]
在一个可选示例中，操作人员识别模型的拓扑结构可以为第二卷积神经网络，至少包括4个卷积层，第二卷积神经网络的激活函数，可以使用gelu(英文：gaussian error linerar units，中文：高斯误差线性单位)激活函数，用于选取出各层中参与模型训练的神经元。所述第二卷积神经网络的损失函数可以为l1和l2范数损失函数。具体如下：
[0091]
其中，第二卷积神经网络使用的gelu激活函数公式如下：
[0092][0093]
所述第二卷积神经网络的损失函数的计算公式如下：
[0094]
l＝l1+l2[0095]
其中，表示所述操作人员检测框的中心坐标误差，(x
r
，y
r
)表示所述第二卷积神经网络输出的所述操作人员检测框的中心坐标，r表示所述第二卷积神经网络输出的所述操作人员检测框的序号，表示所述操作人员检测框的真实的中心坐标，(w
r
，h
r
)表示所述第二卷积神经网络输出的所述操作人员检测框的宽和高，表示所述操作人员检测框的真实的宽和高，表示激活函数带来的分类误差，其中，p
r
表示所述第二卷积神经网络输出的所述操作人员检测框的分类结果，表示所述操作人员检测框的真实的分类结果。
[0096]
s320.对于每帧图像，计算所述操作区域检测框的中心点坐标和所述操作人员检测框的中心点坐标之间的欧氏距离，当所述欧氏距离小于第一距离阈值时，筛选出位于操作区域内的操作人员。
[0097]
本说明书实施例中，将操作区域检测框的坐标记为(x
m
,y
m
,w
m
,h
m
)，其中，(x
m
,y
m
)表示操作区域检测框左上角的坐标，(w
m
,h
m
)表示操作区域检测框的宽和高，将操作人员检测框的坐标记为(x
r
,y
r
,w
r
,h
r
)，其中，(x
r
,y
r
,)表示操作人员检测框的左上角的坐标，(w
r
,h
r
)表示操作人员检测框的宽和高，则操作区域检测框的中心点坐标和操作人员检测框的中心点坐标之间的欧氏距离l的计算公式如下：
[0098][0099]
如果欧氏距离l小于预设的距离阈值l
人
，则判断操作区域检测框内存在操作人员，否则，如果欧氏距离l大于预设的距离阈值l
人
，则判断操作区域检测框内不存在操作人员，
其中，距离阈值l
人
为相同应用场景下的历史数据训练得到的经验常数。
[0100]
s340.将位于所述操作区域内的操作人员的图像输入预先训练的肢体识别模型进行骨骼节点定位，获得每个操作区域内的操作人员的躯干信息和手臂信息。
[0101]
在一个可选实例中，肢体识别模型的拓扑结构可以为第三卷积神经网络，至少包括8个卷积层，第三卷积神经网络的损失函数可以是l1范数损失函数，计算公式如下：
[0102][0103]
其中，(x
i
，y
i
)表示第三卷积神经网络输出的肢体骨骼节点的坐标，i表示第三卷积神经网络输出的肢体骨骼节点的序号，表示肢体骨骼节点的实际坐标，ω为常数。
[0104]
在一些示例中，所述躯干信息为操作人员脖子关节点与臀部关节点形成的三角形区域过脖子关节点的中线段，所述手臂信息为操作人员手肘关节点与肩膀关节点形成的手臂线段。
[0105]
对操作区域内的操作人员进行肢体识别，记录每一帧图像中的位于操作区域内的操作人员的躯干信息和手臂的信息，分别得到每帧图像中位于操作区域内的操作人员的躯干集合{(a
q
，b
q
)}和手臂坐标集合{(e
q
，f
q
)}。其中a
q
＝(x1
q
，y1
q
)表示序号为q的操作人员的躯干线段靠近头部的端点坐标，b
q
＝(x2
q
，y2
q
)表示序号为q的操作人员的躯干线段远离头部的端点坐标。e
q
＝(x3
q
，y33)表示序号为q的操作人员肩膀的坐标，f
q
＝(x4
q
，y4
q
)表示序号为q的操作人员手肘的坐标。
[0106]
s360.对于每帧图像中每个操作区域内的操作人员，当所述躯干信息和所述操作区域检测框之间的位置关系满足第一预设条件，且所述手臂线段和所述操作区域检测框的中心的距离满足第二预设条件时，判断操作区域内的操作人员进行了单一动作，获得单一动作得分。
[0107]
具体地，对单帧图像内检测到的操作区域内的操作工人的单一动作进行检测，分别计算躯干信息和操作区域检测框的位置关系，得到躯干的检测结果r1，以及计算手臂信息和操作区域检测框的位置关系，得到手臂的检测结果r2，若r1
×
r2＞0则存在单一动作，识别结果re＝1。反之re＝0。
[0108]
将所述躯干信息靠近头部的端点坐标记为a(x1，y1)，远离头部的端点坐标记为b(x2，y2)，所述操作区域检测框坐标记为(x
m
,y
m
,w
m
,h
m
)，其中，其中，(x
m
,y
m
)表示操作区域检测框左上角的坐标，(w
m
,h
m
)表示操作区域检测框的宽和高，则所述第一预设条件为：
[0109]
x
m
+w
m
+s1＞x1+σ＞x2或者x
m-s2＜x1-σ＜x2
[0110]
其中s1，s2为边界常数，σ为偏移常数，都是由历史数据训练得到的经验常数。
[0111]
第二预设条件为：
[0112][0113]
其中，l
a
为所述操作区域检测框的中心到所述手臂线段的距离l1l2为经验距离阈值。
[0114]
即所述第二预设条件为所述操作区域检测框的中心到所述手臂线段的距离l位于第二距离阈值和第三距离阈值之间，其中，所述操作区域检测框的中心到所述手臂线段的距离l
a
的计算公式如下：
[0115][0116]
其中，(x3，y3)表示操作人员肩膀关节点的坐标，(x4，y4)表示操作人员手肘关节点的坐标。
[0117]
在每一帧图像中，将每个操作区域的检测结果汇总，得到该帧的单一动作识别结果集合{re
q
}，其中，q表示操作人员的序号。
[0118]
s380.对于待测视频的不同帧图像，采用时间窗，按照时间方向以预设步长滑动，删除每个时间窗内具有相同序号的操作区域内单一动作得分异常的图像。
[0119]
在本说明书实施例中，对于待测视频的每一帧图像都执行上述s300-360的操作，也即在每一帧图像中都获得了单一动作识别结果集合{re
q
}，在待测视频内获得单一动作检测结果集合其中，q表示操作人员的序号，t1，
…
，tn表示待测图像对应的时间。
[0120]
以序号为m的操作区域为例，对该操作区域内的操作人员进行重复动作的分析如下：
[0121]
获取操作区域m在待测视频内每一帧的检测结果集合请参见图6，图6为待测视频内操作区域m在每一帧的单一动作识别结果集合的示意图，其中，横坐标表示待测视频对应的时间，单位为s/秒，纵坐标表示单一动作识别结果(对应图2的应用场景时为清洗动作识别结果)。
[0122]
从检测开始时间以步长s
t
(单位：s)移动长度为l
t
(单位：s)时间窗，计算移动每一步时集合内时间tj在时间窗范围内的存在单一动作的操作区域对应的得分之和rt
k
：(见附图6中阴影部分面积)
[0123][0124]
其中，k为移动的步数。
[0125]
对所有时间窗内获得的得分集合{rt
k
}(见附图7，图7为本说明书一些实施例中对每个时间窗内单一动作识别结果的示意图)进行逻辑分析，将异常周期(见附图2方框内分布)分布归零，得到过滤后的{rt
′
k
}(见附图8，图8为本说明书一些实施例中保留每个时间窗内存在单一动作的时间大于第一时间阈值的示意图)。也即对于序号为m的操作区域，删掉每个时间窗内单一动作得分与相邻帧图像中该操作区域i的单一动作得分跨度大于阈值的图像，或者删掉每个时间窗内单一动作得分与预设帧图像中单一动作得分出现多个周期中心的图像。
[0126]
s400.计算检测时间段中所有滑动窗口内保留的操作区域内存在单一动作的时间，当所有滑动窗口内该操作人员存在单一动作的时间大于第二时间阈值时判断该操作人员在待测时间段内执行了重复动作。
[0127]
在本步骤中，计算单一动作的待测视频内出现的时间长度，其中，n为视频的帧率。
[0128]
[0129]
最后计算序号为m的操作区域内的操作人员的重复动作执行结果rs
m
：
[0130][0131]
其中，t为时间阈值，为经验常数，结果rs
m
为1说明序号为m的操作区域内的操作人员执行了重复动作，也即该操作区域内的操作人员完成了履职。
[0132]
对每一帧图像中重复上述对序号m的操作区域内的操作人员进行重复动作分析的步骤，得到该帧图像内每个操作区域的操作人员的重复动作识别结果的集合{rs
m
}，m表示场景内操作区域的序号，由此实现待测视频中对每个操作区域的操作工人的履职评价。
[0133]
本说明书实施例提供的重复动作识别方法，有助于提高重复动作识别的准确率，有效监督不规范的重复动作，克服现有技术依靠人工抽查视频监控不能全面监控操作人员履职情况的技术问题，进一步提高了食品安全监管效率，降低了企业的人力和物力成本。
[0134]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述，在此不做一一赘述。
[0135]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0136]
基于上述实施例提供的方法，说明书一个或多个实施例还提供一种重复动作识别装置，请参见图9，图9是本说明书提供的一种重复动作识别装置实施例的结构示意图，所述装置可以包括检测模块500、筛选模块520、肢体识别模块540、单一动作识别模块560和重复动作识别模块580。其中，
[0137]
所述检测模块500，用于将待测视频进行分帧处理后的每帧图像分别输入预先训练的操作区域识别模型和操作人员识别模型，在每帧图像中获得操作区域检测框和操作人员检测框。
[0138]
所述筛选模块520，用于对于每帧图像，根据所述操作区域检测框和所述操作人员检测框筛选位于操作区域内的操作人员。
[0139]
所述肢体识别模块540，用于将位于所述操作区域内的操作人员的图像输入预先训练的肢体识别模型进行骨骼节点定位，获得每个操作区域内的操作人员的躯干信息和手臂信息。
[0140]
所述单一动作识别模块560，用于根据所述躯干信息和手臂信息对每帧图像中每个操作区域内的操作人员进行单一动作识别，获得单一动作得分；
[0141]
所述重复动作识别模块580，用于根据每帧图像中每个操作区域内的操作人员的单一动作得分，计算待测视频的不同帧图像中具有相同序号的操作人员存在单一动作的时间，当该操作人员存在单一动作的时间大于时间阈值时，判断该操作人员在待测时间段内执行了重复动作。
[0142]
在一个可选示例中，所述操作区域识别模型的拓扑结构为第一卷积神经网络，所述第一卷积神经网络包括六个卷积层，其激活函数为relu函数，其损失函数为l1和l2范数
损失函数。
[0143]
具体如下：
[0144]
其中，第一卷积神经网络使用的relu激活函数公式如下：
[0145]
prelu(x)＝max(αx，x)
[0146]
其中，α表示经验常数。
[0147]
第一卷积神经网络的损失函数的计算公式如下：
[0148]
l＝l1+l2[0149]
其中，表示所述操作区域检测框的中心坐标误差，(x
m
，y
m
)表示所述第一卷积神经网络输出的所述操作区域检测方框的中心坐标，m表示所述第一卷积神经网络输出的所述操作区域检测框的序号，表示所述操作区域检测框的真实的中心坐标，表示激活函数带来的分类误差，其中，p
m
表示所述第一卷积神经网络输出的所述操作区域检测框的分类结果，表示所述操作区域检测框的真实的分类结果。
[0150]
在一个可选示例中，所述操作人员识别模型的拓扑结构为第二卷积神经网络，所述第二卷积神经网络包括四个卷积层，其激活函数为gelu激活函数，其损失函数为l1和l2范数损失函数。
[0151]
其中，第二卷积神经网络使用的gelu激活函数公式如下：
[0152][0153]
所述第二卷积神经网络的损失函数的计算公式如下：
[0154]
l＝l1+l2[0155]
其中，表示所述操作人员检测框的中心坐标误差，(x
r
，y
r
)表示所述第二卷积神经网络输出的所述操作人员检测框的中心坐标，r表示所述第二卷积神经网络输出的所述操作人员检测框的序号，表示所述操作人员检测框的真实的中心坐标，(w
r
，h
r
)表示所述第二卷积神经网络输出的所述操作人员检测框的宽和高，表示所述操作人员检测框的真实的宽和高，表示激活函数带来的分类误差，其中，p
r
表示所述第二卷积神经网络输出的所述操作人员检测框的分类结果，表示所述操作人员检测框的真实的分类结果。
[0156]
在一个可选示例中，所述筛选模块可包括距离计算单元和筛选单元，其中，所述距离计算单元用于计算所述操作区域检测框的中心点坐标和所述操作人员检测框的中心点坐标之间的欧氏距离；所述筛选单元用于当所述欧氏距离小于第一距离阈值时，筛选出位于操作区域内的操作人员。
[0157]
本说明书实施例中，将操作区域检测框的坐标记为(x
m
,y
m
,w
m
,h
m
)，其中，(x
m
,y
m
)表示操作区域检测框左上角的坐标，(w
m
,h
m
)表示操作区域检测框的宽和高，将操作人员检测框的坐标记为(x
r
,y
r
,w
r
,h
r
)，其中，(x
r
,y
r
,)表示操作人员检测框的左上角的坐标，(w
r
,h
r
)表示操作人员检测框的宽和高，则操作区域检测框的中心点坐标和操作人员检测框的中心
点坐标之间的欧氏距离l的计算公式如下：
[0158][0159]
如果欧氏距离l小于预设的距离阈值l
人
，则判断操作区域检测框内存在操作人员，否则，如果欧氏距离l大于预设的距离阈值l
人
，则判断操作区域检测框内不存在操作人员。
[0160]
在一个可选示例中，所述肢体识别模型的拓扑结构为第三卷积神经网络，所述第三卷积神经网络包括八个卷积层，其损失函数为l1范数损失函数，计算公式如下：
[0161][0162]
其中，(x
i
，y
i
)表示第三卷积神经网络输出的肢体骨骼节点的坐标，i表示第三卷积神经网络输出的肢体骨骼节点的序号，表示肢体骨骼节点的实际坐标，ω为常数。
[0163]
在一个可选示例中，所述躯干信息为操作人员脖子关节点与臀部关节点形成的三角形区域过脖子关节点的中线段，所述手臂信息为操作人员手肘关节点与肩膀关节点形成的手臂线段。
[0164]
在一个可选示例中，所述单一动作识别模块用于对于每帧图像中每个操作区域内的操作人员，当所述躯干信息和所述操作区域检测框之间的位置关系满足第一预设条件，且所述手臂线段和所述操作区域检测框的中心的距离满足第二预设条件时，判断操作区域内的操作人员进行了单一动作；
[0165]
将所述躯干信息靠近头部的端点坐标记为a(x1，y1)，远离头部的端点坐标记为b(x2，y2)，所述操作区域检测框坐标记为(x
m
,y
m
,w
m
,h
m
)，其中，其中，(x
m
,y
m
)表示操作区域检测框左上角的坐标，(w
m
,h
m
)表示操作区域检测框的宽和高，则所述第一预设条件为：
[0166]
x
m
+w
m
+s1＞x1+σ＞x2或者x
m-s2＜x1-σ＜x2
[0167]
其中，s1，s2为边界常数，σ为偏移常数；
[0168]
所述第二预设条件为所述操作区域检测框的中心到所述手臂线段的距离l位于第二距离阈值和第三距离阈值之间，其中，所述操作区域检测框的中心到所述手臂线段的距离l
a
的计算公式如下：
[0169][0170]
其中，(x3，y3)表示操作人员肩膀关节点的坐标，(x4，y4)表示操作人员手肘关节点的坐标。
[0171]
即第二预设条件为：
[0172][0173]
其中，l
a
为所述操作区域检测框的中心到所述手臂线段的距离l1l2为经验距离阈值。
[0174]
在一个可选示例中，重复动作识别模块还用于对于待测视频的不同帧图像，对于待测视频的不同帧图像，采用时间窗，按照时间方向以预设步长滑动，删除每个时间窗内具有相同序号的操作区域内单一动作得分异常的图像；计算检测时间段中所有滑动窗口内保
留的图像中操作区域内存在单一动作的时间，当该操作区域内存在单一动作的时间大于时间阈值时判断该操作区域内的操作人员在待测时间段内执行了重复动作。
[0175]
在每一帧图像中，将每个操作区域的检测结果汇总，得到该帧的单一动作识别结果集合{re
q
}，其中，q表示操作人员的序号。
[0176]
在本说明书实施例中，在每一帧图像中都获得了单一动作识别结果集合{re
q
}，在待测视频内获得单一动作检测结果集合其中，q表示操作人员的序号，t1，
…
，tn表示待测图像对应的时间。
[0177]
以序号为m的操作区域为例，对该操作区域内的操作人员进行重复动作的分析如下：
[0178]
获取操作区域m在待测视频内每一帧的检测结果集合请参见图6，图6为待测视频内操作区域m在每一帧的检测结果集合的示意图，其中，横坐标表示待测视频对应的时间，单位为s/秒，纵坐标表示单一动作识别结果(对应图2的应用场景时为清洗动作识别结果)。
[0179]
从检测开始时间以步长s
t
(单位：s)移动长度为l
t
(单位：s)时间窗，计算移动每一步时集合内时间tj在时间窗范围内的存在单一动作的操作区域对应的时间之和rt
k
：(见附图6中阴影部分面积)
[0180][0181]
其中，k为移动的步数。
[0182]
对所有时间窗内获得的时间集合{rt
k
}(见附图7，图7为本说明书一些实施例中对每个时间窗内单一动作识别结果的示意图)进行逻辑分析，将异常周期(见附图2方框内分布)分布归零，得到过滤后的{rt
′
k
}(见附图8，图8为本说明书一些实施例中保留每个时间窗内存在单一动作的时间大于第一时间阈值的示意图)。也即对于序号为m的操作区域，删掉每个时间窗内单一动作得分与相邻帧图像中该操作区域i的单一动作得分跨度大于阈值的图像，或者删掉每个时间窗内单一动作得分与预设帧图像中单一动作得分出现多个周期中心的图像。
[0183]
计算单一动作的待测视频内出现的时间长度，其中，n为视频的帧率。
[0184][0185]
最后计算序号为m的操作区域内的操作人员的重复动作执行结果rs
m
：
[0186][0187]
其中，t为时间阈值，为经验常数，结果rs
m
为1说明序号为m的操作区域内的操作人员执行了重复动作，也即该操作区域内的操作人员完成了履职。
[0188]
对每一帧图像中重复上述对序号m的操作区域内的操作人员进行重复动作分析的操作，得到该帧图像内每个操作区域的操作人员的重复动作识别结果的集合{rs
m
}，m表示场景内操作区域的序号，由此实现待测视频中对每个操作区域的操作工人的履职评价。
[0189]
本说明书实施例提供的重复动作识别装置，有助于提高重复动作识别的准确率，
有效监督不规范的清洗动作，克服现有技术依靠人工抽查视频监控的方式监管操作人员是否在岗履职时不全面的技术问题，进一步提高了食品安全监管效率，降低了企业的人力和物力成本。
[0190]
需要说明的，上述所述的重复动作识别装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
[0191]
相应的，本说明书实施例还公开了一种电子设备，所述电子设备，包括存储器，处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所处处理器执行所述计算机程序时实现本说明书上述任一实施例中所述的重复动作识别方法的步骤。
[0192]
相应的，本说明书实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本说明书上述任一实施例中所述的重复动作识别方法的步骤。
[0193]
本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例，仍然可以属于本说明书的可选实施方案范围之内。
[0194]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0195]
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。