周期性运动测评方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种周期性运动测评方法、装置、电子设备及存储介质。


背景技术：

2.周期性运动，是指引体向上、仰卧起坐、俯卧撑等常见的体育运行项目。
3.当前周期性运动的测评主要依赖人工计数或周期性运动的自动化测评方法，其中，人工计数费时费力并且误差较大，不能精准检测出被测人员是否违规。而周期性运动的自动化测评方法多依赖各类传感器组成的测试仪，测试仪的配套设备较多，成本较高，安装复杂，移动不便。并且，现有技术中针对周期性运动的测评偏定制化，没有统一的测评方法。


技术实现要素：

4.本发明提供一种周期性运动测评方法、装置、电子设备及存储介质，用以解决现有技术中人工计数和周期性运动的自动化测评方法的缺陷。
5.本发明提供一种周期性运动测评方法，包括：
6.获取待测视频流；
7.基于所述待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；
8.基于所述待测视频流中各帧的运动位移，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧；
9.基于所述拐点帧，进行周期性运动计数。
10.根据本发明提供的一种周期性运动测评方法，所述基于所述待测视频流中各帧的运动位移，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧，包括：
11.基于所述待测视频流中各帧的运动位移，以及所述待测视频流中排列在各帧之前预设数量帧的运动位移，确定所述各帧的动作速度和动作加速度；
12.基于所述各帧的动作速度和动作加速度，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧。
13.根据本发明提供的一种周期性运动测评方法，所述基于所述各帧的动作速度和动作加速度，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧，包括：
14.基于所述各帧的动作速度和动作加速度，确定所述运动位移的候选极高值拐点和候选极低值拐点；
15.基于所述待测视频流中所处状态切换处的帧的运动位移，从所述候选极高值拐点和候选极低值拐点中确定出极高值拐点和极低值拐点，并确定所述极高值拐点和极低值拐点分别对应的拐点帧。
16.根据本发明提供的一种周期性运动测评方法，所述基于所述拐点帧，进行周期性运动计数，包括：
17.将合规动作检测结果为合规的拐点帧，确定为有效拐点帧；
18.基于所述有效拐点帧，进行周期性运动计数；
19.所述合规动作检测结果是由规则检测模型基于所述拐点帧进行检测得到的。
20.根据本发明提供的一种周期性运动测评方法，所述基于所述待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移，包括：
21.在所述当前帧所处状态为运动状态的情况下，基于所述当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；
22.所述当前帧所处状态基于如下步骤确定：
23.在所述待测视频流中上一帧所处的状态为准备状态的情况下，基于所述当前帧的人员骨骼点位置信息，进行准备动作合规检测，得到所述当前帧的合规动作检测结果；
24.在所述当前帧的合规动作检测结果为合规的情况下，或，所述待测视频流中上一帧所处的状态为运动状态的情况下，确定所述当前帧所处的状态为运动状态；
25.在所述当前帧的合规动作检测结果为不合规的情况下，确定所述当前帧所处的状态为准备状态。
26.根据本发明提供的一种周期性运动测评方法，所述基于所述待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移，包括：
27.基于所述周期性运动的运动类型，从所述当前帧中所述人员骨骼点位置信息中确定出运动标记点位置；
28.基于所述当前帧的参照物位置信息，以及所述运动标记点位置，确定所述当前帧的运动位移。
29.根据本发明提供的一种周期性运动测评方法，所述基于所述周期性运动的运动类型，从所述当前帧中所述人员骨骼点位置信息中确定出运动标记点位置，包括：
30.在所述运动类型为引体向上的情况下，基于所述当前帧中所述人员骨骼点位置信息的肩部骨骼点位置和下颌骨骼点位置，确定所述运动标记点位置；
31.在所述运动类型为俯卧撑的情况下，基于所述当前帧中所述人员骨骼点位置信息的肩部骨骼点位置，确定所述运动标记点位置。
32.本发明还提供一种周期性运动测评装置，包括：
33.获取单元，用于获取待测视频流；
34.确定运动位移单元，用于基于所述当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；
35.确定拐点帧单元，用于基于所述待测视频流中各帧的运动位移，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧；
36.计数单元，用于基于所述拐点帧，进行周期性运动计数。
37.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述周期性运动测评方法。
38.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述周期性运动测评方法。
39.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器
执行时实现如上述任一种所述周期性运动测评方法。
40.本发明提供的周期性运动测评方法、装置、电子设备及存储介质，基于待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，可以确定当前帧的运动位移，由于运动位移是相对于参照物位置信息和人员骨骼点位置信息而言的，因此针对运动位移的计算无需标定，简化了周期性运动测评的前期准备流程；基于待测视频流中各帧的运动位移，进行周期性运动测评，此过程不需要依赖各类传感器组成的测试仪，从而降低了周期性运动测评的成本，并且不需要额外安装很多配套设备，提高了周期性运动测评的便捷性；并且基于拐点帧，进行周期性运动计数，相较于人工计数和各类传感器组成的测试仪更加方便快捷，并且没有误差，进一步提高了周期性运动测评的准确性。
附图说明
41.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明提供的周期性运动测评方法的流程示意图之一；
43.图2是本发明提供的周期性运动测评方法的流程示意图之二；
44.图3是本发明提供的周期性运动测评中步骤131的流程示意图；
45.图4是本发明提供的周期性运动测评中步骤1312的流程示意图；
46.图5是本发明提供的拐点趋势图；
47.图6是本发明提供的周期性运动测评方法中步骤132的流程示意图；
48.图7是本发明提供的当前帧所处状态的确定步骤的流程示意图；
49.图8是本发明提供的周期性运动测评方法中步骤120的流程示意图；
50.图9是本发明提供的周期性运动测评方法中步骤810的流程示意图；
51.图10是本发明提供的周期性运动测评装置的结构示意图；
52.图11是本发明提供的电子设备的结构示意图。
具体实施方式
53.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.相关技术中，周期性运动的自动化测评方法多依赖各类传感器组成的测试仪，测试仪的配套设备较多，构造复杂，成本较高，安装复杂，移动不便。例如，进行周期性运动测评时，压力传感器需设置在被测人员的肘部内侧，较为不便。并且，大多数周期性运动的测评偏定制化，没有统一的测评方法，对此，本发明实施例对周期性运动的测评方法进行了改进。
55.本发明提供一种周期性运动测评方法，图1是本发明提供的周期性运动测评方法的流程示意图之一，如图1所示，该方法包括：
56.步骤110，获取待测视频流。
57.具体地，待测视频流即需要进行周期性运动测评的视频流，可以是实时录制得到的。此处的周期性运动可以是引体向上运动，也可以是俯卧撑运动，还可以是仰卧起坐运动。周期性运动测评可以是对被测人员的周期性运动的动作是否合规进行测评，也可以是对被测人员进行周期性运动计数，本发明实施例对此不作具体限定。
58.步骤120，基于所述待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移。
59.具体地，在获取到待测视频流之后，可以基于待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定当前帧的运动位移。此处的待测视频流中当前帧是指待测视频流中最新的一帧，此处的参照物位置信息是指周期性运动中所应用的参照物的位置信息。例如，当周期性运动为引体向上运动时，此处的参照物位置信息可以是单杠的位置信息；当周期性运动为俯卧撑运动时，此处的参照物位置信息可以是地面的位置信息，本发明实施例对此不作具体限定。
60.此处的人员骨骼点位置信息可以反映当前帧这一帧图像中包含的被测人员的人体姿态信息，人员骨骼点位置信息可以是基于骨骼点检测网络得到的。例如，当周期性运动为引体向上运动时，人员骨骼点位置信息可以包括被测人员的左肩骨骼点位置，也可以包括被测人员的右肩骨骼点位置，还可以包括被测人员的下颌骨骼点位置。例如，当周期性运动为俯卧撑运动时，人员骨骼点位置信息可以包括被测人员的肩部骨骼点位置，也可以包括被测人员的髋部骨骼点位置，还可以包括被测人员的脚腕骨骼点位置，本发明实施例对此不作具体限定。
61.当前帧所处的运动位移是指当前帧中的被测人员在周期性运动过程中所产生的位移。运动位移是指当前帧中的被测人员的运动标记点至参照物位置的垂直距离。
62.例如，当周期性运动为引体向上运动时，可以将被测人员下颌的骨骼点作为运动标记点，对当前帧的单杠的横杠的位置与人员下颌的骨骼点位置进行叉乘距离计算，从而得到当前帧的运动位移，也可以基于被测人员的左肩的骨骼点位置、右肩的骨骼点位置和下颌的骨骼点位置三个位置确定的骨骼点位置作为被测人员的运动标记点，对当前帧的单杠的横杠的位置与三个位置确定的骨骼点位置进行叉乘距离计算，从而得到当前帧的运动位移，本发明实施例对此不作具体限定。
63.例如，当周期性运动为俯卧撑运动时，可以将被测人员肩部的骨骼点作为运动标记点，对当前帧的地面的位置与人员肩部的骨骼点位置进行叉乘距离计算，从而得到当前帧的运动位移，也可以基于被测人员的肩部的骨骼点位置、髋部的骨骼点位置和脚腕的骨骼点位置三个位置确定的骨骼点位置作为被测人员的运动标记点，对当前帧的地面的位置与三个位置确定的骨骼点位置进行叉乘距离计算，从而得到当前帧的运动位移，本发明实施例对此不作具体限定。
64.步骤130，基于所述待测视频流中各帧的运动位移，进行周期性运动测评。
65.具体地，在确定当前帧的运动位移后，可以基于待测视频流中各帧的运动位移，进行周期性运动测评。此处的各帧的运动位移是指待测视频流中各帧的被测人员在周期性运动过程中产生的位移，例如，当周期性运动为引体向上运动时，运动标记点高于横杠时，运动位移为正，运动标记点低于横杠时，运动位移为负，本发明实施例对此不作具体限定。
66.例如，可以将待测视频流中各帧的运动位移与预设阈值进行比较，确定出运动位移中的极高值拐点和极低值拐点，从而进行周期性运动计数，还可以确定出极高值拐点和极低值拐点分别对应的待测视频流中的拐点帧，并将极高值拐点和极低值拐点分别对应的待测视频流中的拐点帧输入至规则检测模型中，进行在极高值、极低值处的周期性运动动作规范检测。
67.进一步地，图2是本发明提供的周期性运动测评方法的流程示意图之二，如图2所示，步骤130可以具体包括步骤131和步骤132：
68.步骤131，基于所述待测视频流中各帧的运动位移，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧；
69.步骤132，基于所述拐点帧，进行周期性运动计数。
70.具体地，可以基于待测视频流中各帧的运动位移，确定运动位移的极高值拐点和极低值拐点分别对应的拐点帧。此处的运动位移是指当前帧中的被测人员的运动标记点至参照物位置的垂直距离。此处的极高值拐点是指待测视频流中各帧的运动位移的极高值点，此处的极低值拐点是指待测视频流中各帧的运动位移的极低值点。
71.极高值拐点和极低值拐点的确定，可以通过相邻帧之间的运动位移计算各帧的动作速度和动作加速度，并根据各帧的动作速度和动作加速度进行判断，得到候选极高值拐点和候选极低值拐点，从候选极高值拐点和候选极低值拐点中确定出极高值拐点和极低值拐点。
72.此处的拐点帧是指运动位移的极高值拐点和极低值拐点分别对应的待测视频流中的帧，在得到拐点帧之后，就可以进行周期性运动计数。
73.本发明实施例提供的方法，基于待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，可以确定当前帧的运动位移，由于运动位移是相对于参照物位置信息和人员骨骼点位置信息而言的，因此针对运动位移的计算无需标定，简化了周期性运动测评的前期准备流程；基于待测视频流中各帧的运动位移，进行周期性运动测评，此过程不需要依赖各类传感器组成的测试仪，也不需要针对每个周期性运动定制个性化的测评方法，从而降低了周期性运动测评的成本，并且不需要额外安装很多配套设备，提高了周期性运动测评的便捷性；并且基于拐点帧，进行周期性运动计数，相较于人工计数和各类传感器组成的测试仪更加方便快捷，并且没有误差，进一步提高了周期性运动测评的准确性。
74.基于上述实施例，图3是本发明提供的周期性运动测评中步骤131的流程示意图，如图3所示，步骤131包括：
75.步骤1311，基于所述待测视频流中各帧的运动位移，以及所述待测视频流中排列在各帧之前预设数量帧的运动位移，确定所述各帧的动作速度和动作加速度；
76.步骤1312，基于所述各帧的动作速度和动作加速度，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧。
77.具体地，可以基于待测视频流中各帧的运动位移，以及待测视频流中排列在各帧之前预设数量帧的运动位移，确定各帧的动作速度和动作加速度。此处的预设数量帧可以是一个帧，也可以是2个帧，还可以是3个帧，本发明实施例对此不作具体限定。
78.此处的各帧的动作速度是指各帧中人员的周期性运动动作的速度，此处的各帧的动作加速度是指各帧中人员的周期性运动动作的加速度。其中，各帧的动作速度和各帧的
动作加速度可以是基于如下步骤确定的：
79.令当前帧的帧数为x
t
，根据二阶泰勒展开公式得到：
[0080][0081]
根据时间的单向性，令x0＝x
t
,x＝x
t-1
[0082][0083]
则各帧的动作加速度为：
[0084]
其中，
[0085]
则各帧的动作速度为：
[0086]
在得到各帧的动作速度和动作加速度之后，就可以基于各帧的动作速度和动作加速度，确定运动位移的极高值拐点和极低值拐点分别对应的拐点帧。
[0087]
可以理解的是，当一帧的动作加速度且一帧的动作速度时，此帧即运动位移的极高值拐点对应的拐点帧；当一帧的动作加速度且一帧的动作速度时，此帧即运动位移的极低值拐点对应的拐点帧。
[0088]
此外，还可以令x0＝x,x＝x
t-1
[0089]
则
[0090]
令x0＝x,x＝x
t-2
，
[0091]
则
[0092]
最后，
[0093]
其中x
t-1
≠x
t
且x
t-2
≠x
t
，各帧的动作加速度为各帧的动作速度为
[0094]
可以理解的是，当一帧的动作加速度且一帧的动作速度时，此帧即运动位移的极高值拐点对应的拐点帧；当一帧的动作加速度且一帧的动作速度时，此帧即运动位移的极低值拐点对应的拐点帧。
[0095]
基于上述实施例，图4是本发明提供的周期性运动测评中步骤1312的流程示意图，图5是本发明提供的拐点趋势图，如图4、图5所示，步骤1312包括：
[0096]
步骤1312-1，基于所述各帧的动作速度和动作加速度，确定所述运动位移的候选极高值拐点和候选极低值拐点；
[0097]
步骤1312-2，基于所述待测视频流中所处状态切换处的帧的运动位移，从所述候
选极高值拐点和候选极低值拐点中确定出极高值拐点和极低值拐点，并确定所述极高值拐点和极低值拐点分别对应的拐点帧。
[0098]
具体地，可以基于各帧的动作速度和动作加速度，确定运动位移的候选极高值拐点和候选极低值拐点，例如，可以基于各帧的动作速度和动作加速度，根据二阶泰勒展开公式确定运动位移的候选极高值拐点和候选极低值拐点，具体过程如上述步骤1312所示，这里不再赘述。
[0099]
由于人员做周期性运动过程中存在临时抖动，由此产生的待测视频流中各帧的运动位移的候选极高值拐点和候选极低值拐点存在虚景。
[0100]
此处的候选极高值拐点是指待测视频流中各虚景帧的运动位移的极高值点，此处的极低值拐点是指待测视频流中各虚景帧的运动位移的极低值点。例如，在图5中示出的拐点趋势图中，人员在周期性运动过程中存在临时抖动，由此产生的待测视频流中各帧的运动位移的候选极高值拐点和候选极低值拐点存在虚景。
[0101]
为了过滤虚景，可以基于待测视频流中所处状态切换处的帧的运动位移，从候选极高值拐点和候选极低值拐点中确定出极高值拐点和极低值拐点，并确定极高值拐点和极低值拐点分别对应的拐点帧。
[0102]
此处，为了过滤虚景，从候选极高值拐点和候选极低值拐点中确定出极高值拐点和极低值拐点的公式如下：
[0103][0104][0105]
其中，p_max为极高值拐点，p_min为极低值拐点，thr
ratio
和thr
scale
为预设的阈值，其中，|p_max-p_0|＞thr
scale
。当时，候选极高值拐点即为极高值拐点，当时，候选极低值拐点即为极低值拐点。
[0106]
本发明实施例提供的方法，针对人员做周期性运动过程中存在临时抖动的情况，从候选极高值拐点和候选极低值拐点中确定出极高值拐点和极低值拐点，从而保证了极高值拐点和极低值拐点的准确性，进一步保证了周期性运动测评的准确率。
[0107]
基于上述实施例，图6是本发明提供的周期性运动测评方法中步骤132的流程示意图，如图6所示，步骤132包括：
[0108]
步骤1321，将合规动作检测结果为合规的拐点帧，确定为有效拐点帧；所述合规动作检测结果是由规则检测模型基于所述拐点帧进行检测得到的。
[0109]
步骤1322，基于所述有效拐点帧，进行周期性运动计数。
[0110]
具体地，合规动作检测结果是由规则检测模型基于拐点帧进行检测得到的，此处的合规动作检测结果包括合规动作和不合规动作两种，当周期性运动为引体向上运动时，此处的合规动作包括高处下颌过杆、高处下颌不过杆、低处手臂垂悬和低处手臂未垂悬四种。此处的高处下颌过杠是指人员的运动位移大于极高值拐点到单杠的横杠的位移，此处
的高处下颌不过杆是指人员的运动位移小于极高值拐点到单杠的横杠的位移，此处的低处手臂垂悬是指在极低值拐点处，手臂完全伸直，身体垂悬静止，此处的低处手臂未垂悬是指在极低值拐点处，手臂未完全伸直，身体未垂悬静止。此处的不合规动作是指除合规动作之外的检测结果。
[0111]
可以将合规动作检测结果为合规的拐点帧，确定为有效拐点帧，此处的有效拐点帧是指合规动作检测结果为合规的拐点帧，用于后续进行周期性运动计数。
[0112]
最后，基于有效拐点帧，进行周期性运动计数，此处可以根据极高值有效拐点帧和极低值有效拐点帧的个数，进行周期性运动计数，例如，当周期性运动为引体向上运动时，可以当极高值拐点帧中人员下颌骨骼点位置过单杠中的横杆位置时，同时上一次极低值拐点帧中人员满足手臂角度垂悬(首次为准备动作达标)，且与上一次合规极高值拐点帧之间的时间(首次为准备动作达标时间)在10秒内，则周期性运动计数加一次。
[0113]
此外，除合规动作检测之外，还有其他违规项检测，例如，在当前帧所处的状态为准备状态时，被测人员双手未与肩同宽，即
[0114]
其他违规项检测结果为不合规；在当前帧所处的状态为准备状态时，被测人员背对摄像头，即左肩骨骼点x坐标小于或等于右肩骨骼点坐标，其他违规项检测结果为不合规；在当前帧所处的状态为准备状态时，被测人员身体未垂悬静止，即相邻两帧中归一化后的骨骼点相似度小于或等于0.99，其他违规项检测结果为不合规。
[0115]
本发明实施例提供的方法，基于有效拐点帧，进行周期性运动计数，相较于人工计数和各类传感器组成的测试仪更加方便快捷，并且没有误差，进一步提高了周期性运动测评的准确性。
[0116]
基于上述实施例，步骤120包括：
[0117]
在所述当前帧所处状态为运动状态的情况下，基于所述当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；
[0118]
具体地，可以在当前帧所处状态为运动状态的情况下，基于当前帧的参照物位置信息和人员骨骼点位置信息，确定当前帧的运动位移。此处当前帧所处状态是指当前帧中的人员所处的状态，可以包括准备状态和运动状态。此处的参照物位置信息是指周期性运动中所应用的参照物的位置信息。此处的人员骨骼点位置信息可以反映当前帧这一帧图像中包含的被测人员的人体姿态信息。人员骨骼点位置信息可以是基于骨骼点检测网络得到的。
[0119]
图7是本发明提供的当前帧所处状态的确定步骤的流程示意图，如图7所示，所述当前帧所处状态基于如下步骤确定：
[0120]
步骤710，在所述待测视频流中上一帧所处的状态为准备状态的情况下，基于所述当前帧的人员骨骼点位置信息，进行准备动作合规检测，得到所述当前帧的合规动作检测结果；
[0121]
步骤720，在所述当前帧的合规动作检测结果为合规的情况下，或，所述待测视频流中上一帧所处的状态为运动状态的情况下，确定所述当前帧所处的状态为运动状态；
[0122]
步骤730，在所述当前帧的合规动作检测结果为不合规的情况下，确定所述当前帧所处的状态为准备状态。
[0123]
具体地，由于在当前帧所处状态为运动状态的情况下，才可以确定当前帧的运动位移，因此，需要对当前帧所处状态进行确定。
[0124]
由于在待测视频流中上一帧所处的状态为准备状态，待测视频流中的当前帧所处的状态很可能还是处于准备状态，因此，可以在待测视频流中上一帧所处的状态为准备状态的情况下，基于当前帧的人员骨骼点位置信息，进行准备动作合规检测，得到当前帧的合规动作检测结果。当周期性运动为引体向上运动时，此处的准备状态可以是被测人员的双手正握横杠，双手与肩同宽，手臂完全伸直，身体垂悬静止和人体正对摄像头，准备状态可以理解为一个静态的状态。
[0125]
例如，可以在待测视频流中上一帧所处的状态为准备状态的情况下，基于骨骼点检测网络输出当前帧的人员骨骼点位置信息，再基于当前帧人员骨骼点位置信息进行准备动作合规检测，得到当前帧的合规动作检测结果。此处的合规动作检测结果包括合规动作和不合规动作两种。
[0126]
可以理解的是，当周期性运动为引体向上运动时，并且在待测视频流中上一帧所处的状态为准备状态的情况下，被测人员满足双手未正握横杠、双手未与肩同宽，手臂未完全伸直，身体未垂悬静止和人体未正对摄像头中的任一项，准备动作合规检测不合规。
[0127]
在当前帧的合规动作检测结果为合规的情况下，或，待测视频流中上一帧所处的状态为运动状态的情况下，可以确定当前帧所处的状态为运动状态。
[0128]
即，在当前帧的合规动作检测结果为合规的情况下，当前帧中的被测人员准备动作合规检测结果为合规，当前帧中的被测人员可以进入运动状态，可以确定当前帧所处的状态为运动状态。
[0129]
或者，待测视频流中上一帧所处的状态为运动状态的情况下，当前帧中的被测人员很有可能还处于运动状态，可以确定当前帧所处的状态为运动状态。
[0130]
可以理解的是，在当前帧的合规动作检测结果为不合规的情况下，当前帧中的被测人员很有可能还没准备好做周期性运动，可以确定当前帧所处的状态为准备状态。
[0131]
本发明实施例提供的方法，在当前帧所处状态为运动状态的情况下，基于当前帧的参照物位置信息和人员骨骼点位置信息，确定当前帧的运动位移，节约了大量的计算资源，降低了周期性运动的计算成本。
[0132]
基于上述实施例，图8是本发明提供的周期性运动测评方法中步骤120的流程示意图，如图8所示，步骤120包括：
[0133]
步骤810，基于所述周期性运动的运动类型，从所述当前帧中所述人员骨骼点位置信息中确定出运动标记点位置；
[0134]
步骤820，基于所述当前帧的参照物位置信息，以及所述运动标记点位置，确定所述当前帧的运动位移。
[0135]
具体地，可以基于周期性运动的运动类型，从当前帧中人员骨骼点位置信息中确定出运动标记点位置。此处的周期性运动的运动类型可以包括引体向上运动，也可以包括俯卧撑运动，还可以包括仰卧起坐运动，当前帧的人员骨骼点位置信息可以是基于当前帧进行骨骼点检测得到的，也可以是在对当前帧进行骨骼点检测的基础上，结合当前帧之前的一帧或者多帧的骨骼点检测所得的结果求平均得到的，本发明实施例对此不作具体限定。
[0136]
此处的运动标记点位置可以反映周期性运动中当前帧这一帧图像中包含的被测人员的标记人体姿态信息。例如，当周期性运动为引体向上运动时，可以基于被测人员的左肩的骨骼点位置、右肩的骨骼点位置和下颌的骨骼点位置三个位置确定的骨骼点位置作为运动标记点位置。在确定出运动标记点位置后，可以基于当前帧的参照物位置信息，以及运动标记点位置，确定当前帧的运动位移。例如，可以将当前帧的参照物位置信息与运动标记点位置进行叉乘距离计算，从而确定当前帧的运动位移。
[0137]
例如，当周期性运动为引体向上运动时，可以以当前帧的单杠的横杠位置作为参照物位置信息，将当前帧的单杠的横杠位置与运动标记点位置进行叉乘距离计算，从而确定当前帧的运动位移；当周期性运动为俯卧撑运动时，可以以当前帧的地面位置作为参照物位置信息，将当前帧的地面位置与运动标记点位置进行叉乘距离计算，从而确定当前帧的运动位移。
[0138]
本发明实施例提供的方法，基于周期性运动的运动类型，从当前帧中人员骨骼点位置信息中确定出运动标记点位置，再基于当前帧的参照物位置信息，以及运动标记点位置，确定当前帧的运动位移。由此确定的当前帧的运动位移，此过程不需要依赖各类传感器组成的测试仪，也不需要针对每个周期性运动定制个性化的测评方法，从而降低了周期性运动测评的成本，提高了周期性运动测评的便捷性。
[0139]
基于上述实施例，图9是本发明提供的周期性运动测评方法中步骤810的流程示意图，如图9所示，步骤810包括：
[0140]
步骤811，在所述运动类型为引体向上的情况下，基于所述当前帧中所述人员骨骼点位置信息的肩部骨骼点位置和下颌骨骼点位置，确定所述运动标记点位置；
[0141]
步骤812，在所述运动类型为俯卧撑的情况下，基于所述当前帧中所述人员骨骼点位置信息的肩部骨骼点位置，确定所述运动标记点位置。
[0142]
具体地，在周期性运动的运动类型为引体向上的情况下，可以基于当前帧中人员骨骼点位置信息的肩部骨骼点位置和下颌骨骼点位置，确定运动标记点位置。例如，在周期性运动的运动类型为引体向上的情况下，可以基于被测人员的左肩的骨骼点位置、右肩的骨骼点位置和下颌的骨骼点位置三个位置确定的骨骼点位置作为运动标记点位置，也可以将被测人员下颌的骨骼点位置作为运动标记点位置，本发明实施例对此不作具体限定。
[0143]
在周期性运动的运动类型为俯卧撑的情况下，可以基于当前帧中人员骨骼点位置信息的肩部骨骼点位置，确定运动标记点位置。例如，在周期性运动的运动类型为俯卧撑的情况下，可以以当前帧中人员的肩部骨骼点位置作为运动标记点位置，也可以以当前帧中人员的肩部骨骼点位置、髋部骨骼点位置和脚腕骨骼点位置三个位置确定的骨骼点位置作为运动标记点位置，本发明实施例对此不作具体限定。
[0144]
本发明实施例提供的方法，针对运动类型的不同，确定不同的运动标记点位置，从而有利于后续确定当前帧的运动位移，此过程不需要依赖各类传感器组成的测试仪，也不需要针对每个周期性运动定制个性化的测评方法，从而降低了周期性运动测评的成本，提高了周期性运动测评的便捷性。
[0145]
基于上述实施例，运动位移可以是基于如下步骤确定的：
[0146]
当周期性运动为引体向上运动时，可以基于骨骼点网络确定出当前帧、当前帧的上一帧以及当前帧的上上一帧对应的左肩骨骼点坐标left_shoulderi，右肩骨骼点坐标
right_shoulderi以及下颌骨骼点坐标chini，其中i为帧数。
[0147]
每一帧根据上述三个骨骼点坐标得到一个运动标记点坐标，公式如下：
[0148][0149]
其中，h
avg_i
是运动标记点坐标，left_shoulderi[0]是骨骼点网络输出的左肩骨骼点的x轴坐标，right_shoulderi[0]骨骼点网络输出的右肩骨骼点的x轴坐标，chini[0]是骨骼点网络输出的下颌骨骼点的x轴坐标，left_shoulderi[1]是骨骼点网络输出的左肩骨骼点的y轴坐标，right_shoulderi[1]是骨骼点网络输出的右肩骨骼点的y轴坐标，chini[1]是骨骼点网络输出的下颌骨骼点的y轴坐标。
[0150]
再基于单杠位置信息中的横杠的最左点坐标bar_p1以及横杠的最右点坐标bar_p2，再计算运动位移，运动位移的公式如下：
[0151][0152]
其中，h
avg_i
是运动标记点坐标，h(i)是运动位移，bar_p1是横杠的最左点坐标，bar_p2是横杠的最右点坐标，||bar_p
2-bar_p1||2是求bar_p1与bar_p2的第二范数。
[0153]
基于上述任一实施例，一种周期性运动测评方法，包括如下步骤：
[0154]
第一步，可以获取待测视频流。
[0155]
第二步，基于待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定当前帧的运动位移。
[0156]
第三步，可以基于待测视频流中各帧的运动位移，以及待测视频流中排列在各帧之前预设数量帧的运动位移，确定各帧的动作速度和动作加速度；然后，可以基于各帧的动作速度和动作加速度，确定运动位移的候选极高值拐点和候选极低值拐点；再基于待测视频流中所处状态切换处的帧的运动位移，从候选极高值拐点和候选极低值拐点中确定出极高值拐点和极低值拐点，并确定极高值拐点和极低值拐点分别对应的拐点帧。
[0157]
第四步，可以将合规动作检测结果为合规的拐点帧，确定为有效拐点帧；再基于有效拐点帧，进行周期性运动计数；此处的合规动作检测结果是由规则检测模型基于所述拐点帧进行检测得到的。
[0158]
下面对本发明提供的周期性运动测评装置进行描述，下文描述的周期性运动测评装置与上文描述的周期性运动测评方法可相互对应参照。
[0159]
基于上述任一实施例，图10是本发明提供的周期性运动测评装置的结构示意图，如图10所示，该装置包括：
[0160]
获取单元1010，用于获取待测视频流；
[0161]
确定运动位移单元1020，用于基于所述当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；
[0162]
确定拐点帧单元1030，用于基于所述待测视频流中各帧的运动位移，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧；
[0163]
计数单元1040，用于基于所述拐点帧，进行周期性运动计数。
[0164]
本发明实施例提供的装置，基于待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，可以确定当前帧的运动位移，由于运动位移是相对于参照物位置信息和人
员骨骼点位置信息而言的，因此针对运动位移的计算无需标定，简化了周期性运动测评的前期准备流程；基于待测视频流中各帧的运动位移，进行周期性运动测评，此过程不需要依赖各类传感器组成的测试仪，也不需要针对每个周期性运动定制个性化的测评方法，从而降低了周期性运动测评的成本，并且不需要额外安装很多配套设备，提高了周期性运动测评的便捷性；并且基于拐点帧，进行周期性运动计数，相较于人工计数和各类传感器组成的测试仪更加方便快捷，并且没有误差，进一步提高了周期性运动测评的准确性。
[0165]
基于上述任一实施例，确定拐点帧单元具体用于：
[0166]
速度和加速度确定子单元，用于基于所述待测视频流中各帧的运动位移，以及所述待测视频流中排列在各帧之前预设数量帧的运动位移，确定所述各帧的动作速度和动作加速度；
[0167]
拐点帧确定子单元，用于基于所述各帧的动作速度和动作加速度，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧。
[0168]
基于上述任一实施例，拐点帧确定子单元具体用于：
[0169]
基于所述各帧的动作速度和动作加速度，确定所述运动位移的候选极高值拐点和候选极低值拐点；
[0170]
基于所述待测视频流中所处状态切换处的帧的运动位移，从所述候选极高值拐点和候选极低值拐点中确定出极高值拐点和极低值拐点，并确定所述极高值拐点和极低值拐点分别对应的拐点帧。
[0171]
基于上述任一实施例，计数单元具体用于：
[0172]
将合规动作检测结果为合规的拐点帧，确定为有效拐点帧；
[0173]
基于所述有效拐点帧，进行周期性运动计数；
[0174]
所述合规动作检测结果是由规则检测模型基于所述拐点帧进行检测得到的。
[0175]
基于上述任一实施例，确定运动位移单元具体用于：
[0176]
在所述当前帧所处状态为运动状态的情况下，基于所述当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；
[0177]
所述当前帧所处状态基于如下步骤确定：
[0178]
在所述待测视频流中上一帧所处的状态为准备状态的情况下，基于所述当前帧的人员骨骼点位置信息，进行准备动作合规检测，得到所述当前帧的合规动作检测结果；
[0179]
在所述当前帧的合规动作检测结果为合规的情况下，或，所述待测视频流中上一帧所处的状态为运动状态的情况下，确定所述当前帧所处的状态为运动状态；
[0180]
在所述当前帧的合规动作检测结果为不合规的情况下，确定所述当前帧所处的状态为准备状态。
[0181]
基于上述任一实施例，确定运动位移单元具体用于：
[0182]
确定标记点位置单元，用于基于所述周期性运动的运动类型，从所述当前帧中所述人员骨骼点位置信息中确定出运动标记点位置；
[0183]
确定运动位移子单元，用于基于所述当前帧的参照物位置信息，以及所述运动标记点位置，确定所述当前帧的运动位移。
[0184]
基于上述任一实施例，确定标记点位置单元具体用于：
[0185]
在所述运动类型为引体向上的情况下，基于所述当前帧中所述人员骨骼点位置信
息的肩部骨骼点位置和下颌骨骼点位置，确定所述运动标记点位置；
[0186]
在所述运动类型为俯卧撑的情况下，基于所述当前帧中所述人员骨骼点位置信息的肩部骨骼点位置，确定所述运动标记点位置。
[0187]
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(communications interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行周期性运动测评方法，该方法包括：获取待测视频流；基于所述待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；基于所述待测视频流中各帧的运动位移，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧；基于所述拐点帧，进行周期性运动计数。
[0188]
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0189]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的周期性运动测评方法，该方法包括：获取待测视频流；基于所述待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；基于所述待测视频流中各帧的运动位移，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧；基于所述拐点帧，进行周期性运动计数。
[0190]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的周期性运动测评方法，该方法包括：获取待测视频流；基于所述待测视频流中当前帧的参照物位置信息和人员骨骼点位置信息，确定所述当前帧的运动位移；基于所述待测视频流中各帧的运动位移，确定所述运动位移的极高值拐点和极低值拐点分别对应的拐点帧；基于所述拐点帧，进行周期性运动计数。
[0191]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0192]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0193]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。