一种运动分析方法、装置、设备和存储介质与流程

本发明涉及信息采集分析技术领域，尤其涉及一种运动方法、装置、设备和存储介质。

背景技术：

基于视觉信息对人体运动进行分析是计算机视觉技术在体育领域中的重要应用之一，涉及到计算机视觉、模式识别和智能体育等多个领域的理论和技术。目前由于通过对大样本数据集进行模型训练，完成健身动作的分析，造成了需要依赖大规模的计算资源，同时通过对多种动作设置对应的评价规则得到动作评分，导致无法准确评价个性化或定制化健身动作。

技术实现要素：

本发明所要解决的技术问题是针对现有技术的不足，提供一种运动分析方法、装置、设备和存储介质。

本发明解决上述技术问题的技术方案如下：

一种运动分析方法，包括；

根据人体姿态估计算法openpose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；

根据所述第一动作集合序列，得到所述动作视频的一维动作特征向量和二维动作特征点集；

根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；

根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。

本发明的有益效果是：提供一种运动分析方法，通过人体姿态估计算法和训练人员的动作视频，得到动作视频的一维动作特征向量和二维动作特征点集，根据一维动作特征向量和多类分类器，得到动作视频的动作分类，根据动作分类对应的标准二维动作特征点集和二维动作特征点集，得到训练人员的动作得分，实现了无需大规模的计算资源，提高对健身动作识别与评估的准确度。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述根据人体姿态估计算法openpose和训练人员的动作视频，得到所述训练人员的第一动作集合序列，具体包括：

利用openpose对所述动作视频的每帧图像进行骨架识别，得到所述训练人员的动作骨架序列，所述动作骨架序列包括各关节点位置信息及对应的置信度；

从所述动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取所述动作骨架序列中的关节点位置信息，得到所述第一动作集合序列。

采用上述进一步方案的有益效果是：利用openpose对动作视频的每帧图像进行骨架识别，得到训练人员的动作骨架序列，并从动作骨架序列中剔除低于预设阈值的置信度对应的关节点的位置信息，提取所述动作骨架序列中的关节点位置信息，得到第一动作集合序列，降低了无效信息的干扰，提高了计算效率。

进一步地，所述根据所述第一动作集合序列，得到所述动作视频的一维动作特征向量和二维动作特征点集，具体包括：

建立人体坐标系，所述人体坐标系的中心点是人体的左右髋节点连线的中点；

将所述第一动作集合序列中的关节点位置信息转换为对应所述人体坐标系的坐标信息，得到第二动作集合序列；

基于所述第二动作集合序列，确定投影区域，其中，所述投影区域覆盖所述第二动作集合序列中的关节点的所有坐标信息；

从所述投影区域中选取预设区域，得到特征区域，并根据所述特征区域所覆盖的所有关节点的坐标信息；

将所述特征区域所覆盖的所有关节点的坐标信息进行齐次坐标系下的变换，得到所述二维动作特征点集；

根据所述二维动作特征点集中的动作特征点在所述特征区域中的分布进行编码，得到所述一维动作特征向量。

采用上述进一步方案的有益效果是：将第一动作集合序列中的关节点位置信息转换为对应人体坐标系的坐标信息后确定特征区域，并根据特征区域所覆盖的所有关节点的坐标信息，得到一维动作特征向量和二维动作特征点集，消除了人体运动过程中整体位移对于动作识别的影响，提升了动作识别的准确度。

进一步地，所述根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类，具体包括：

将所述特征区域中的所述一维动作特征向量的位置分布信息进行线性编码，得到动作特征编码集；

根据所述动作特征编码集确定对应的特征向量，并将所述特征向量输入所述多类分类器，得到所述动作视频的动作分类。

采用上述进一步方案的有益效果是：将特征区域中的一维动作特征向量的位置分布信息进行线性编码，得到的动作特征编码集确定对应的特征向量，并将特征向量输入多类分类器，得到动作视频的动作分类，提升了健身动作的识别准确度。

进一步地，所述根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分，具体包括：

将所述标准二维动作特征点集pc和所述训练人员的二维动作特征点集ps做几何变化，构建距离均方差函数评价所述训练人员的动作匹配度；

设计如下的打分函数：

其中r是所述标准二维动作特征点集和所述二维动作特征点集间的旋转矩阵，t是所述标准二维动作特征点集和所述二维动作特征点集间的平移向量，l'×l'是所述二维动作特征点集的动作特征点的数量，i是所述二维动作特征点集中动作特征点的序号，取值范围是1至l′×l′；

通过最小化公式的距离误差得到所述训练人员的动作得分，fscore采用levenberg-marquardt(lm)算法迭代求解得到。

采用上述进一步方案的有益效果是：将标准二维动作特征点集pc和训练人员的二维动作特征点集ps做几何变化，构建距离均方差函数评价训练人员的动作匹配度，得到训练人员的动作得分，提升了评估健身动作中动作得分的精准度。

进一步地，所述多类分类器通过以下方法进行训练：

获取批量历史动作视频，并将所述批量历史动作视频进行处理，得到特征向量训练集和特征向量测试集；

基于支持向量机算法设计了所述多类动作分类器对所述特征向量训练集进行训练，并对所述特征向量测试集进行测试，得到所述多类分类器；

所述多类分类器的目标函数是：

其中，是第r个中心为cr方差为的径向基函数，r是径向基函数的个数，ωr是权重因子，b为偏差项。

本发明解决上述技术问题的另一种技术方案如下：一种运动分析装置，包括；

分解模块，用于根据人体姿态估计算法openpose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；

分析模块，用于根据所述第一动作集合序列，得到所述动作视频的动作特征向量；

动作识别模块，用于根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；

评估模块，用于根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述分解模块，用于利用openpose对所述动作视频的每帧图像进行骨架识别，得到所述训练人员的动作骨架序列，所述动作骨架序列包括各关节点位置信息及对应的置信度；

从所述动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取所述动作骨架序列中的关节点位置信息，得到所述第一动作集合序列。

本申请还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行上述技术方案中任一项所述的运动分析方法的步骤。

此外，本申请还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述技术方案中任一项所述的运动分析方法的步骤。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种运动分析装置的流程示意图；

图2为本发明另一实施例提供的一种运动分析装置的结构示意图；

图3为本发明另一实施例提供的人体坐标系的转换过程示意图；

图4为本发明另一实施例提供的动作识别效果示意图；

图5为本发明另一实施例提供的动作评估效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1本发明实施例提供的一种运动分析装置的流程示意图所示，运动分析方法包括以下步骤：

110、根据人体姿态估计算法openpose和训练人员的动作视频，得到训练人员的第一动作集合序列。

120、根据第一动作集合序列，得到动作视频的一维动作特征向量和二维动作特征点集。

130、根据一维动作特征向量和多类分类器，得到动作视频的动作分类。

140、根据动作分类对应的标准二维动作特征点集和二维动作特征点集，得到训练人员的动作得分。

基于上述实施例提供的一种运动分析方法，通过人体姿态估计算法和训练人员的动作视频，得到动作视频的一维动作特征向量和二维动作特征点集，根据一维动作特征向量和多类分类器，得到动作视频的动作分类，根据动作分类对应的标准二维动作特征点集和二维动作特征点集，得到训练人员的动作得分，实现了无需大规模的计算资源，提高对健身动作识别与评估的准确度。

基于上述实施例，进一步地，步骤110中具体包括：

111、利用openpose对动作视频的每帧图像进行骨架识别，得到训练人员的动作骨架序列，动作骨架序列包括关节点位置信息及对应的置信度。

112、从动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取动作骨架序列中的关节点位置信息，得到第一动作集合序列。

进一步地，步骤120中具体包括：

121、建立人体坐标系，人体坐标系的中心点是人体的左右髋节点连线的中点。

122、将第一动作集合序列中的关节点位置信息转换为对应人体坐标系的坐标信息，得到第二动作集合序列。

123、基于第二动作集合序列，确定投影区域，其中，投影区域覆盖第二动作集合序列中的关节点的所有坐标信息。

124、将特征区域所覆盖的所有关节点的坐标信息进行齐次坐标系下的变换，得到二维动作特征点集。

125、根据二维动作特征点集中的动作特征点在特征区域中的分布进行编码，得到一维动作特征向量。

进一步地，步骤130中具体包括：

131、将特征区域中的一维动作特征向量的位置分布信息进行线性编码，得到动作特征编码集。

132、根据动作特征编码集确定对应的特征向量，并将特征向量输入多类分类器，得到动作视频的动作分类。

进一步地，步骤140中具体包括：

将标准二维动作特征点集pc和训练人员的二维动作特征点集ps做几何变化，构建距离均方差函数评价训练人员的动作匹配度。

设计如下的打分函数：

其中r是标准二维动作特征点集和二维动作特征点集间的旋转矩阵，t是标准二维动作特征点集和二维动作特征点集间的平移向量，l'×l'是二维动作特征点集的动作特征点的数量，i是二维动作特征点集中动作特征点的序号，取值范围是1至l′×l′。

通过最小化公式的距离误差得到训练人员的动作得分，fscore采用levenberg-marquardt(lm)算法迭代求解得到。进一步地，多类分类器通过以下方法进行训练：

获取批量历史动作视频，并将所述批量历史动作视频进行处理，得到特征向量训练集和特征向量测试集；

基于支持向量机算法设计了多类动作分类器对特征向量训练集进行训练，并对特征向量测试集进行测试，得到多类分类器；

多类分类器的目标函数是：

其中，是第r个中心为cr方差为的径向基函数，r是径向基函数的个数，ωr是权重因子，b为偏差项。

应理解，使用人体姿态估计算法openpose提取训练人员的动作视频中的动作骨架序列，例如对包含25个关节点的动作集合序列进行精简，删除置信度低即对动作识别贡献很小的双目、双耳、足趾及足跟等关节点，建立包含15个关节点的动作集合序列，对于包含n帧图像的动作集合序列在图像坐标系统中第i帧图像中第j个关节点的坐标表示为(xi,j,yi,j)，其中1<i<n,1<j<15。

由于有些健身动作的复杂动态会在图像坐标系中人体整体位移，在对动作集合序列投影时，无关位移过大会降低有效动作特征的识别度，从而对识别结果造成影响。为消除人体整体位移对动作识别的影响，建立人体坐标系。动作集合序列从图像坐标系o-xy变换到人体坐标系b-uv的变换公式其中，(ui,j,vi,j)为第i帧第j个关节点在人体坐标系b-uv中的坐标，(xi,j,yi,j)为第i帧第j个关节点在图像坐标系o-xy中的坐标,(xi,hip,yi,hip)为动作集合序列中第i帧的髋关节中点hip的坐标。通过将动作集合序列转换至人体坐标系b-uv，使得动作轨迹围绕人体髋关节中点分布，降低了人体整体位移对动作识别的影响。

为了提取人体关节点所在的图像区域，在人体坐标系中选取一个最小投影区域使其能包含全部动作轨迹信息，在人体坐标系b-uv中，假设存在以原点b为对角线交点的正方形区域q，该区域包含所有关节点而且任意关节点(ui,j,vi,j)满足如下关系：其中，l×l为该投影区域的尺寸。l的取值为max(u_range,v_range)，u_range和v_range分别为动作集合序列中横纵坐标跨度的最大值，可以通过下式得到在投影区域q中选取一个尺寸为l'×l'的特征区域q′，通过下式得到其中，pk＝(uk,vk)表示特征区域q′中第k个动作特征点。特征区域q^′内所有动作特征点构成二维动作特征点集，表示为k为特征区域中所包含动作特征点数量。

对特征区域q′中的动作特征向量进行编码，令为一含有k个动作特征点的一维编码集合，sk为特征区域中第k个动作特征点的一维动作特征向量，取值sk＝l′×vk+uk,1≤k≤k，k取值是大于1的正整数。经过以上步骤，可以提取出尺寸较小的特征区域表示人体动作，实现特征区域增强。降低了人体体型差异对动作识别影响，同时将人体动作特征从时间-空间维度变换到了二维，并实现了一维编码。

从健身动作视频到一维动作编码后，集合s中包含特征区域中动作特征点的位置分布信息，基于该信息设计多类分类器实现动作识别。首先，对特征区域q′进行线性编码提取特征向量，构造一个长度为l'×l'的特征向量其中，zm表示特征向量z中第m个值，zm取值是0或1，代表动作特征点在特征区域中的位置分布，0表示背景区域，1表示关节点轨迹所在区域。基于支持向量机算法设计了一个多类动作分类器对健身动作进行分类识别。该分类器的目标函数是第r个中心为cr方差为的径向基函数，r是径向基函数的个数，ωr是权重因子，b为偏差项。

为了评估训练人员的动作的标准度，基于向量的几何配准思想进行教练员和训练人员的动作匹配。通过将标准二维动作特征点集pc和训练人员的二维动作特征点集ps做几何变化，构建距离均方差函数来评价训练人员的动作匹配度。

设计如下的打分函数：

r和t分别是标准动作特征向量和训练人员的动作特征向量间的旋转矩阵和平移向量。通过最小化公式的距离误差得到训练人员的运动表现，fscore采用levenberg-marquardt(lm)算法迭代求解得到，数值越小说明动作误差越小，训练人员的动作越标准。

如图2本发明另一实施例提供的一种运动分析装置的结构示意图所示,运动分析装置包括：

分解模块根据人体姿态估计算法openpose和训练人员的动作视频，得到所述训练人员的第一动作集合序列；

分析模块根据所述第一动作集合序列，得到所述动作视频的动作特征向量；

动作识别模块根据所述一维动作特征向量和多类分类器，得到所述动作视频的动作分类；

评估模块根据所述动作分类对应的标准二维动作特征点集和所述二维动作特征点集，得到所述训练人员的动作得分。

进一步地，分解模块，用于利用openpose对所述动作视频的每帧图像进行骨架识别，得到所述训练人员的动作骨架序列，所述动作骨架序列包括各关节点位置信息及对应的置信度；

从所述动作骨架序列中剔除低于预设阈值的置信度对应的关节点位置信息后，提取所述动作骨架序列中的关节点位置信息，得到所述第一动作集合序列。

进一步地，分析模块，用于建立人体坐标系，所述人体坐标系的中心点是人体的左右髋节点连线的中点；

将所述第一动作集合序列中的关节点位置信息转换为对应所述人体坐标系的坐标信息，得到第二动作集合序列；

基于所述第二动作集合序列，确定投影区域，其中，所述投影区域覆盖所述第二动作集合序列中的关节点的所有坐标信息；

从所述投影区域中选取预设区域，得到特征区域，并根据所述特征区域所覆盖的所有关节点的坐标信息；

将所述特征区域所覆盖的所有关节点的坐标信息进行齐次坐标系下的变换，得到所述二维动作特征点集；

根据所述二维动作特征点集中的动作特征点在所述特征区域中的分布进行编码，得到所述一维动作特征向量。

进一步地，动作识别模块，用于将所述特征区域中的所述一维动作特征向量的位置分布信息进行线性编码，得到动作特征编码集；

根据所述动作特征编码集确定对应的特征向量，并将所述特征向量输入所述多类分类器，得到所述动作视频的动作分类。

进一步地，评估模块，用于将所述标准二维动作特征点集pc和所述训练人员的二维动作特征点集ps做几何变化，构建距离均方差函数评价所述训练人员的动作匹配度；

设计如下的打分函数：

其中r是所述标准二维动作特征点集和所述二维动作特征点集间的旋转矩阵，t是所述标准二维动作特征点集和所述二维动作特征点集间的平移向量，l'×l'是二维动作特征点集的动作特征点的数量，i是二维动作特征点集中动作特征点的序号，取值范围是1至l′×l′；

通过最小化公式的距离误差得到所述训练人员的动作得分，fscore采用levenberg-marquardt(lm)算法迭代求解得到。

此外，本申请还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使所述计算机执行根据上述技术方案中任一项所述的业务组件复用方法的步骤。

本申请还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上的并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述技术方案中任一项所述的业务组件复用方法的步骤。

下面结合实例，对本发明的技术效果做进一步说明：

使用两台主光轴互相垂直的goprohero7black相机拍摄健身动作视频并提取人体运动骨架信息。两台相机分为主机位和副机位，分别拍摄运动者的正面和侧面。主机位相机用于拍摄健身动作主要特征的投影平面，在执行不同的动作时，根据动作特点选择主机位拍摄运动者的矢状面或冠状面。设计了28种健身动作，动作分类如表1所示，主要包含力量练习，拉伸练习和综合练习，进一步可细化分为器械和徒手练习，静态和动态练习。有24位运动者参与拍摄，每位运动者执行全套动作记作1人次视频数据，共整理了5850段视频作为视频数据集。

表1

如图3所示人体坐标系的投影过程，将动作集合序列中的关节点坐标信息连续投影到垂直于人体主光轴的平面上，在投影的过程中将关节点坐标从图像坐标系变换到人体坐标系上。如图4是健身动作数据集上的动作识别效果图，共展示了36个健身动作测试样本的特征区域及其识别结果。图5动作评估效果图，共展示了6名受试者与教练的动作匹配误差，分数越低说明动作越标准，说明了本申请可以对健身动作进行分类识别并对动作的执行质量进行准确评价。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。