一种人体基本运动技能的标准判断方法及评分装置

本发明涉及人工智能，特别是涉及一种人体基本运动技能的标准判断方法及评分装置。

背景技术：

1、全面推进健康中国是一项优先发展的任务。学校体育、休闲体育、竞技体育、全民健身等都将扮演重要角色。标准、正确的体育动作能有效地提高身体素质，反之亦然。同时，专业人员主要通过肉眼观察、凭借经验对体育动作进行评测，并提供相应的建议。虽然，专业人员通过直接观察评测具有一定准确性，但带有较强的主观性。一方面人的自身观察存在各种观测缺陷，另外长时间的评测会产生疲劳效应，这些都严重影响动作过程完整记录和评测的准确。因此，研究一种能准确智能地评测体育动作规范性的技术具有重要的应用价值。

2、目前已存在的一些动作评估或分析技术，部分如下：

3、申请号为201710922613.4，名称为“一种基于视频的动作检测方法及装置”的专利文献，提供了一种基于全局及局部动作特征的评估模型。其中，全局动作评估模型用于检测视频中人体动作相对于标准动作的完成度，局部动作评估模型用于检测视频帧中人体关节动作相对于关节标准动作的完成度。

4、申请号为201910008331.2，名称为“一种动作评估方法、装置、移动终端和可读存储介质”的专利文献，提供了一种动作评估方法。其中，首先识别待检测体的各个关节，然后根据关节上所标记的不同的颜色确定旋转角度，从而确定动作关节图，最后与预存的标准动作关节图进行比对，判断动作是否标准。

5、申请号为202110104619.7，名称为“一种基于骨骼点深度图像的体育动作评估方法及系统”的专利文献，提供了一种基于人体骨骼点深度图像的体育动作评估方法。其中，获取基于深度图像的待评估体育动作对应的人体骨骼点的三维坐标，确定待评估体育动作的实际特征值(关键骨骼点实际距离和骨骼点间向量的实际角度)，然后与对应的标准特征值进行比较。

6、申请号为202110250096.7，名称为“一种基于关键帧偏好的时序动作评估方法”的专利文献，提供了一种基于关键帧偏好的动作评估方法。其中，采集标准动作和用户动作的骨骼时序数据；然后分别从标准动作序列和用户动作序列中提取关键帧区列表和非关键帧区列表；接着分别对用户动作序列和标准动作序列的关键帧区、非关键帧区进行动态时间规整；然后采用余弦相似度算法，分别计算关键帧区相似度和非关键帧区相似度；最后将关键帧区相似度和非关键帧区相似度加权，得到综合动作评分。

7、申请号为202110578414.2，名称为“基于时间一致性的个性化运动姿态估计与分析方法及系统”的专利文献，提供了一种基于时间一致性的个性化运动姿态估计与分析方法。其中，识别教学视频与学生自学视频中的动作，提取关键骨骼坐标；对齐教学视频与学生自学视频中的不同步动作，使视频中的动作速度一致；基于对齐教学视频与学生自学视频中每帧的关键骨骼坐标角度偏差比与关节距离对动作进行度量，计算动作差异度；根据动作差异度及运动金字塔模型，生成从局部动作到整体动作的多尺度得分。

8、综上所述，现有技术存在的问题是：

9、1)上述方法大多数是基于匹配的评估方法，即通过目标检测算法获取待评估目标的动作，然后与标准动作或模板比较获得动作得分。然而，这类方法对动作有严格的尺度要求。尺度公式表示如下：

10、

11、其中，σ表示尺度，s表示目标人物的大小(可为体积、面积、骨架大小等)，l表示与拍摄镜头的垂直距离，f(·)表示线性变换。

12、因此，这类方法需要动作在同一尺度前提下进行匹配评估。通常，l可控，但s却难以保持一致。例如：若标准动作由成人进行示范，测试对象为儿童时，其动作就难以进行匹配。尤其是度量标准中包含关节点距离等因素时，会导致评估准确率的下降，如：申请号为202110104619.7、202110578414.2等专利文献。

13、2)一个连续的动作具有时空维度的数据，即不同时刻动作是由身体不同部分组成的子动作组成(空间性)，而连续动作是由多个时刻的动作组成(时间性)。现有的方法大多关注动作的时间维度，如：申请号为202110250096.7的专利文献，基于关键帧偏好获取重要时刻的动作；申请号为202110578414.2的专利文献则通过对齐时间比较待评估动作与标准动作是否一致。这些方法忽略了运动频率的差异性，同样的动作，成人可能只需要三四秒完成，儿童可能则需要六七秒甚至更长的时间完成。因此，无论是关键帧偏好的选择和时间对齐都不能很好地解决这个难题。极少数的方法聚焦于动作的空间维度，如：申请号为201710922613.4的专利文献，提出将人体关节相对于人体的位置、人体关节的角度、人体的身体朝向、人体倾斜角度中的一种或几种作为行为特征。但是，其忽略了动作具有周期性，如：跑步、马步跑等。尤其本技术针对的基础运动技能，这类方法将不再适用。

14、3)在运动过程中，不可避免地会出现遮挡问题，如背景遮挡或自身遮挡等。背景遮挡可以设置干净的物理环境解决，自身遮挡通常以下技术进行解决：1、采用多目相机获取目标不同角度的图像或者视频；2、采用深度相机获取目前的深度信息从而构建三维坐标系，如：申请号为202110104619.7的专利文献所采用的rgb-d相机。但是，这些方法需要专门的设备进行数据采集(成本较高)，基于多目相机的数据采集技术还需要设计搭建方案，不利用推广应用。

15、4)日常动作种类繁多、千差万别，因此目前缺乏一套科学完整的评测人体基础运动技能的方案及相应的评估技术。

16、此外，对于姿态估计网络，随着层数的不断加深，尽管表征和建模能力更强，可以达得更优的性能，但同时网络的结构也会变得越来越复杂和冗余，会带来不容忽视的效率问题。近年来研究学者们提出的很多姿态估计方法倾向于使用大规模、深层的复杂网络结构，其中巨大的参数量和计算量使网络模型对硬件处理平台的计算能力及内存要求越来越高，难以部署在内存和计算资源有限的边缘端如嵌入式平台或者移动端设备中。即使部署在高集成高性能的云端通过网络传输数据，巨大的带宽占用也会极大地提高工业成本，而且还会因为传输延迟还不能进行实时反馈，这样就难以在实际生活中得到广泛应用。因此，如何设计一种快速、轻量化姿态估计网络，使其能够高效地运行在本地化、实时化但资源有限的边缘端中已经成为亟待解决的问题。

17、鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

技术实现思路

1、本发明要解决的技术问题是：

2、目前大多情况下都是通过人工对关键点提取装置提取得到的人体关键点信息与tgmd-3规定的动作标准进行逐项比较，在tgmd-3规定的动作标准的范围不够精细的情况下，评分的准确性不够，较难发现某些细节动作不达标；通过人工进行打分，降低了评分的客观性；评分耗费时间久，运动捕获的性价比较低。以及如何对openpose网络进行改进，以快速地获取人体关键信息。

3、本发明通过如下技术方案达到上述目的：

4、第一方面，本发明提供了一种人体基本运动技能的标准判断方法，包括：若在视频中识别到人体，则将每一帧对应生成一个json文件，所述json文件用于记录人体的关键点的相关信息；将在相邻两帧中人体指标特征变动最小的人判定为同一人，赋予相同的编号；若在视频中识别到与目标人体指定的运动技能对应的目标物体，则记录所述目标物体的位置信息；

5、通过对每一帧中目标人体的所述关键点的相关信息和所述目标物体的位置信息进行处理，得到动作细节信息；将tgmd-3规定的每项动作标准拆分为不同的细节要求；对比分析所述动作细节信息与对应的所述细节要求，将对应的所述细节要求的初步评估结果同步于动作的进行显示在每一帧图像上；完成对视频所有帧数的处理和分析后，得到所述目标人体的运动技能对应于每项所述细节要求的最终评估结果，所述动作标准的评估结果由对应的所述细节要求的最终评估结果通过与运算得出。

6、第二方面，本发明提供了一种人体基本运动技能的评分装置，使用第一方面所述的人体基本运动技能的标准判断方法，装置包括人体姿态预测单元、动作标准性判断单元和运动技能评分单元，其中：

7、所述人体姿态预测单元包括关键点提取单元和跟踪处理单元；所述关键点提取单元用于在视频中进行人体识别，将每一帧中识别到的人体的关键点的相关信息记录在对应的json文件中；所述跟踪处理单元用于按视频帧数顺序成对读取json文件，将在相邻两帧中人体指标特征变动最小的人判定为同一人，赋予相同的编号；

8、所述动作标准性判断单元包括目标物体识别单元、动作细节分析单元和过程同步单元；所述目标物体识别单元用于识别与目标人体指定的运动技能对应的目标物体，记录所述目标物体的位置信息；所述动作细节分析单元用于对每一帧中目标人体的所述关键点的相关信息和所述目标物体的位置信息进行处理，从而得到动作细节信息；所述过程同步单元用于将识别到的所述关键点按指定顺序以线段相连，在每一帧中同步显示目标人体的身体骨架、目标人体的手部骨架、目标人体的编号、目标人体的位置坐标、目标物体的名称和目标物体的位置坐标；

9、所述运动技能评分单元用于对比分析每一帧中所述动作细节信息与对应的所述细节要求，得到对应的所述细节要求的初步评估结果；完成对视频所有帧数的处理和分析后，得到所述目标人体的运动技能对应于每项所述细节要求的最终评估结果；通过对所述细节要求的最终评估结果进行与运算得出所述动作标准的评估结果。

10、第二方面，本发明提供了一种人体基本运动技能的评分装置，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成第一方面所述的人体基本运动技能的标准判断方法。

11、与现有技术相比，本发明的有益效果是：

12、本发明通过将每项动作标准拆分为不同的细节要求，对原有的动作标准进行了细化，提高了评分的准确性；本发明中所述动作细节信息包括目标人体的所述关键点的相关信息和所述目标物体的位置信息，所述目标物体的位置信息用于辅助盘算人体动作的标准性，进一步提高了评分的准确性；本发明中各项细节要求的完成程度均同步于动作的进行显示在每一帧图像上，实时对人体的动作是否标准进行判断，有利于发现往常不易发现的不达标的细节动作，使运动训练更加具有针对性和科学性。

13、进一步地，利用剪枝技术将姿态估计网络中的冗余结构去除是一种有效的轻量化方法，一方面，一般适当层数和参数量的网络就可以在实际应用中满足准确率要求；另一方面，深度神经网络往往存在过参数化的问题，网络的规模往往远超出任务需求，有相当大的一部分参数在网络模型中并没有起到作用。使用本发明设计的方法剪枝openpose网络可以在几乎不损失精度的前提下提高检测速度及降低参数量、计算量，并能够部署于嵌入式系统或手机设备中应用于实际生活，实现快速、轻量化的姿态估计。