一种基于有限状态机的动作流程考核的智能识别测评方法

本发明涉及一种基于有限状态机的动作流程考核的智能识别测评方法，属于计算机。

背景技术：

1、随着人工智能技术的发展，基于深度学习的人体姿态识别作为计算机视觉领域的一个重要研究方向，其目标是通过计算机对人体的姿态和动作进行理解和识别。人体关键点检测的目标是检测图像中人体的关键点，从而确定人体的姿态信息。近年来，基于humanpose as compositional tokens(pct)的深度学习方法在人体姿态识别中获得了显著的进展，为基于动作流程的智能识别评测系统及装置创造了条件。

2、在现有工业场景中，许多动作的评测方式是通过人为去判断，每新增一个待测评人员，就需要对其各个科目的考核进行评测，这样的工作量是巨大的，以至于影响最后评测结果的准确性。其次是流程比对问题，目前动作流程测评的方式是通过人为匹配打分，工作量大且效率低下。

技术实现思路

1、为了克服现有研究的不足，本发明提供了一种基于有限状态机的动作流程考核的智能识别测评方法，能够对动作流程测评的背景下待测评人员的考试动作进行测评分析和记录。

2、一种基于有限状态机的动作流程考核的智能识别测评方法，包括以下步骤：

3、步骤一：收集视频和人体关键点数据bi。在考核过程中，使用边缘终端设备获取考生的视频vi＝{vd}，d＝1，2，3，...d，d为视频序号，d为视频总数，并通过人体关键点识别技术，保存包括人体关键点坐标数据bi的带有关键点的视频资料；

4、步骤二：humanpose as compositional tokens(pct)姿态识别模型对视频资料进行分析，根据信度阈值pset检测识别出不同姿态xi、每个姿态对应的信度值pi和帧数数据fpsi，并在原始视频中展示这些姿态置信度pi；

5、步骤三：构建每个动作的姿态序列的有限状态机fsm，姿态序列xi＝{xi(1)，...，xi(k)}包含若干个姿态的时序信息，xi(k)为第i个动作中第k个姿态，实际姿态序列输入有限状态机fsm，判定动作是否完成；

6、步骤四：采用局部的逻辑判别方法和全局的线性判别方法结合，将实际动作序列与标准动作流程比对，得到动作流程完成率，将错误动作对应的图片信息进行图形化保存，方便成绩追溯和错误纠正；

7、步骤五：制作出测评结果报告，提供动作流程完成率和错误动作流程的分析及其证据。

8、所述步骤一包括以下步骤：

9、步骤s11：检测视频内是否有人员出现；

10、步骤s12：开始检测，启动摄像头进行录制，并保存视频信息；

11、步骤s13：将视频逐帧分割，然后对每一帧图片中的人体关键点进行分析检测，并标注在图片上并保存本地。

12、所述人体关键点包含头部关键点khead、面部中心点关键点kface、左肩关键点kleftshoulder、左肘关键点kleftelbow、左手关键点klefthand、上身关键点kupperbody、左髋关键点klefthip、左膝关键点kleftknee、左脚关键点kleftfoot、右脚关键点krightfoot、右膝关键点krightknee、右髋关键点krighthip、腰部关键点kwaist、右手关键点krighthand、右肘关键点krightelbow、右肩关键点krightshoulder和颈部关键点kneck。

13、所述步骤二具体包括采集动作视频标准数据集，包括但不限于数据增强、数据筛选、视频帧标准化等；对其预处理后使用基于human pose as compositional tokens的深度学习姿态识别算法，识别单帧姿态xi。

14、所述步骤三具体包括：

15、步骤s31：将动作中的姿态序列构建有限状态机fsm，姿态序列xi中的姿态xi按时间顺序逐个输入上述网络，逐步激活网络中的起始姿态、过程姿态和最终姿态则判定为改动作完成，即获得识别完成状态f0，反之则为未识别完成状态f1；重复上述流程，完成对视频数据vi的动作识别，最后得到实际动作序列ai。

16、针对人体自然动作具有多样性和重复性特点，需要一种通用且高效的方法来识别动作。每个动作由对应的动作序列构成，通过姿态状态间的转移变化过程可以实现动作的判定。基于上述思想，提出姿态序列有限状态机fsm方法识别预定义的动作状态，一个动作是多个姿态在时间轴上描述的一组序列组成，姿态序列有限状态机fsm描述了每个动作的有限个状态以及各个状态之间的转移过程，定义姿态序列有限状态机fsm为五元组表，如下式所示：

17、λ＝(s,∑,δ,s0,f)

18、式中，s表示状态集{s0，s1，s2，s3，…，f0，f1}，表示动作中的姿态进行描述；∑表示输入的姿态集和限制参数{u，-l}，其中的-表示逻辑否定，变量l代表某个动作其姿态的错误路径，变量u代表某个动作类型对应的所有正确姿态集合，变量σ表示姿态序列有限状态机fsm从当前状态转换到后续状态；s0表示开始状态；f＝{f0，f1}为最终状态集合，分别表示判断动作完成状态和动作未完成状态。

19、构建每个动作的姿态关系有限状态机，用于评测动作完成情况，具体是通过姿态序列来判定动作是否完成。每个动作由几个典型的姿态构成，姿态由pct姿态识别模型识别得到，姿态状态转移必须满足路径限制l条件，从而识别动作类型。通过五元组可以描述姿态序列有限状态机fsm的各项属性特性以及每一步转移过程，姿态序列有限状态机fsm运行过程的状态图模型如图1所示。在初始状态s0下，按照预定义的动作达到第一个有效状态s1，如果下一个的姿态仍然在预定义的范围内，则达到后继有效状态，如果不在范围内则继续等待，以此类推直至达到完成状态f0，即识别动作完成。在任意有效状态下，如果行为超出有效路径限制范围，则直接标记该序列动作为无效状态，即识别动作未完成状态。在达到任意结束状态后，当前的姿态序列有限状态机fsm运行完毕，重新初始化进行下一组动作的识别。

20、所述步骤四具体包括：

21、步骤s41：将s31的动作序列ai与标准动作序列qi进行采用局部的逻辑比对。首先采用决策森林的方式罗列动作流程的所有可能，在每个动作设立激活点，然后将相关连续的动作进行逻辑关联设立为一层状态机，同一行为由多层动作，然后采用先逐层再逐步的方式激活，最后将激活的动作除以所有动作得到完成率。

22、步骤s42：将s31的动作序列ai与标准动作序列qi进行采用全局的线性判别比对，通过将双序列构造成为一个得分矩阵，凭借匹配加分和不匹配扣分的方式来及累计分数，依据矩阵中累计的得分，从得分矩阵的右下角最大值开始，沿着得分从高到低一直回溯到左上角0值的路径来获得最佳的比配路线。

23、全局的线性判别方法具体如下：设两条序列分别为s＝s1，s2，s3，s4…sn和序列t＝t1，t2…tm建立一个二维矩阵m，n，m分别代表各自的长度，si代表序列s的第i个字符，tj代表序列t的第j个字符(1<＝i<＝n，l<＝j<＝m)，mi，j代表两条序列对应位置比对的最佳得分。

24、两条序列比较先初始化得分矩阵，在进行初始化得分矩阵m时，需要设定奖罚规则，采用权值固定的奖罚规则，它的比对打分规则可定义为σ(si，tj)，具体规则如下：

25、

26、式中σ(si，tj)为得分矩阵第i行第j列的奖罚得分：k1是序列匹配时的得分，k2是错配时的得分，k3是插入空位的情况。同时，匹配得分值要大于错配得分值，错配得分值要大于空位罚分值。再计算并填充得分矩阵，计算得分矩阵的过程是一个递归计算m值的过程。计算m值，需要先计算mi-1，j-1的值、mi-1，j的值以及mi，j-1的值。下面是计算得分矩阵的公式：

27、

28、式中mi，j为得分矩阵的第i行第j列最大值得分：1)从mi-1，j-1所在的对角线方向获得，此时没有空位罚分，匹配得分是(si，tj)；2)从mi-1，j所在的行方向获得，空位罚分是σ(si，'-')；3)从mi，j-1所在的行方向获得，空位罚分是σ('-'，tj)；最优的全局线性比对结果可以通过从得分矩阵的右下角最大值开始，沿着得分从高到低一直回溯到左上角0值的路径来获得,最后将匹配成功的点数量除以标准序列的长度得到完成率。

29、步骤s43：取s41和s42两者中完成率较高者作为流程比对的结果，记录整套动作的比对结果，将动作对应图片信息进行图形化保存，方便成绩追溯和错误纠正。

30、所述步骤五具体包括：

31、一种基于有限状态机的动作流程考核的智能识别测评方法的测评装置，包括视频采集模块、人体关键点检测模块、动作检测模块、流程比对模块及其评测结果报告模块；

32、具体过程：先通过视频采集模块采集视频，输入人体关键点检测模块识别人体关键点，再将人体关键点数据输入动作检测模块，识别动作序列；接着将动作序列输入流程比对模块及其评测结果报告模块，可以得到比对后的完成率带有标准动作序列和实际流程的评测结果。

33、所述视频采集模块负责采集视频流数据；

34、所述人体关键点检测模块负责根据评测需求，获取评测动作视频的视频流信息，并使用人体关键点检测算法对视频进行检测，以识别出人体的关键点，保存这些关键点信息供后续模块分析识别姿态信息；

35、所述动作检测模块负责将上述人体关键点的信息使用pct姿态识别算法；将姿态序列输入预设置的姿态序列有限状态机fsm中，得到动作序列；

36、所述流程比对模块负责在云端进行动作序列比对，并将比对结果保存发送至评测报告模块；

37、所述评测结果报告模块负责在云端整合比对结果并对相关人员信息绑定，制作测评结果报告。

38、与现有技术相比，本发明的有益效果在于：

39、本发明包括获取动作视频，通过识别人体关键点构建姿态序列状态机，根据状态机判断动作是否完成、动作序列的完成情况的识别。通过对姿态序列构建有限状态机，可完成单个动作的识别。对动作序列构建有限状态机，可完成对动作流程的识别。对不同场景下的同一动作构建有限状态机，可完成对不同场景下的同一动作的识别。通过序列比对构建回溯矩阵方式，得到路径比对的最高分路径即为实际操作中的最佳得分路径，完成实际动作序列和标准动作流程的比对，得到流程的完成情况。对工业复杂场景下，人员实操动作流程考核具有重要意义，能够对动作流程测评的背景下待测评人员的考试动作进行测评分析和记录。