一种人体动作评价方法、评价装置及评价系统与流程

本申请属于人体动作分析技术领域，具体涉及一种人体动作评价方法、评价装置及评价系统。

背景技术：

随着深度学习技术和高性能技术的进步，实时人体姿态评估和行为理解成为当前计算机视觉领域的研究热点。计算机视觉领域的一些研究成果已经成功应用到了很多领域中，例如，通过视频检测老人摔倒。另外，在体育视频分析、体育教学等任务中，人体动作评估与相似度评价也有着广泛的应用前景。人体行为是由一组时序动作构成的，有效地判断标准动作(教练动作)与输入动作(学生动作)的差距，是衡量标准动作与输入动作之间相似程度的重要任务。

目前，人体动作相似度评估主要采用以下两种方法：

(1)采用rgb相机或rgb-d相机提取人体骨骼数据，根据一些动作要领设计一些简单的特征指标，利用特征指标对人体的动作进行评价。例如，在乒乓球击球动作中，不允许进行反肘动作，采用该方法计算肘关节与手腕关节的坐标，如果该坐标大于预设的阈值，则判定为人为反肘。

这种方法将复杂的人体行为动作简要概括为几个瞬间的状态，从而进行差异性量化，得出动作的相似度，其忽略了人体动作是一个连续的过程，几个瞬间状态的采样远远不能概括为一个连续的人体动作行为。同时，当错误动作不在设定的概括动作要领中时，系统会无法分辨。

(2)采用rgb相机或rgb-d相机提取人体骨骼数据，提取一些能够反映人体动作姿态的特征指标，然后使用纯数学的描述方式—度量学习来评价特征指标的差异性。例如，设计关节平面特征，然后采用dtw方法或欧式距离相似度方法比较标准动作与输入动作，得出差异性。

这种方法提取了每一瞬间的一些动作特点并将该动作特点量化为特征，然后采用度量学习的方法比较每一瞬间的特征，得出动作的相似度。动作是一个t时刻会影响t+1时刻的变化模式，使用单纯的度量学习比较并不能很好的发现这种影响模式。同时，在量化特征的过程中，很可能存在设计的一些特征无法反应一些特殊动作的情况，当遇到特征无法分辨的动作时，系统无法分辨，会产生很大的评价误差。

以上两种方法都是期望寻找到能够对复杂的人体动作行为进行精确概括的特征度量，然后采用纯数学方法(也就是度量方法)对比这些特征度量，进而给出结果。然而，一些体育动作不仅仅是动作一些瞬间的行为产生的，而是一段时间动作组合的结果，人为设计的动作特征度量很难完全概括所有的人体动作行为。另外，采用这些方法，一旦出现无法识别的情况，就无法自动改正识别，需要人工分析未识别动作的特征度量，然后将该特征度量添加到系统后，系统才能识别这种动作。

技术实现要素：

为至少在一定程度上克服相关技术中存在的问题，本申请提供了一种人体动作评价方法、评价装置及评价系统。

根据本申请实施例的第一方面，本申请提供了一种人体动作评价方法，其包括以下步骤：

训练并部署人体动作评价模型；

利用人体动作评价模型对用户的人体动作进行评价，得到特征评分；

利用情感分析模型对用户查看人体动作评价模型输出的特征评分时的情感进行分析，并根据分析结果构建错误匹配库；

利用错误匹配库对人体动作评价模型进行更新；

利用更新后的人体动作评价模型对人体动作进行评价。

上述人体动作评价方法中，所述训练并部署人体动作评价模型的具体过程为：

根据人体骨骼数据生成动作评价数据集，其过程为：

利用rgb-d相机获取人体二维视频流和深度图像流；

根据人体二维视频流和深度图像流生成3d人体骨骼数据；

根据3d人体骨骼数据得到输入动作序列；

对输入动作序列和标准动作序列进行特征量化和度量比较，得到特征评分；

根据标准动作序列和输入动作序列以及标准动作序列和输入动作序列对应的特征评分得到人体动作评价样本；

对各人体动作评价样本进行筛选，得到动作评价数据集；

利用动作评价数据集中的人体动作评价样本对深度学习模型进行训练，得到人体动作评价模型并部署。

上述人体动作评价方法中所述利用人体动作评价模型对用户的人体动作进行评价，得到特征评分的具体过程为：

获取用户的实时输入动作序列和用户选择要学习的标准动作序列；

将获取的实时输入动作序列和标准动作序列输入人体动作评价模型中；

人体动作评价模型对输入动作序列与标准动作序列的相似度进行评价，并输出特征评分。

上述人体动作评价方法中，所述利用情感分析模型对用户查看人体动作评价模型输出的特征评分时的情感进行分析，并根据分析结果构建错误匹配库的过程为：

利用rgb-d相机实时采集用户看到人体动作评价模型输出的特征评分时的表情视频流，并将采集到的视频流发送给情感分析模型；

情感分析模型对用户看到人体动作评价模型输出的特征评分时的情感进行分析，得到用户看到特征评分时情绪的概率；所述情绪包括开心、疑惑和挫败；

当疑惑在三种情绪中的概率最大时，情感分析模型将得到的疑惑概率与预设的疑惑概率阈值进行比较，并根据二者的差值与调整基数计算得到调整后的评分；

将用户看到特征评分时情绪为疑惑时对应的输入动作序列和标准动作序列以及调整后的评分作为错误样本，利用错误样本构建错误匹配库。

进一步地，所述利用错误匹配库对人体动作评价模型进行更新的具体过程为：

将错误匹配库中的样本输入人体动作评价模型；

通过反向传播算法更新人体动作评价模型的权重，使得人体动作评价模型的损失函数减小，直到人体动作评价模型的损失函数收敛时，停止更新，并将得到的人体动作评价模型作为更新后的人体动作评价模型。

根据本申请实施例的第二方面，本申请提供了一种人体动作评价装置，其包括人体动作评价模型、情感分析模型和错误匹配库；

所述人体动作评价模型用于对获取的用户的实时输入动作序列和用户选择要学习的标准动作序列的相似度进行评价，并输出特征评分；

所述情感分析模型用于对用户查看人体动作评价模型输出的特征评分时的情感进行分析，并根据分析结果构建错误匹配库；

所述错误匹配库用于对人体动作评价模型进行更新。

进一步地，所述人体动作评价模型通过事先训练和部署获得；获得人体动作评价模型的具体过程为：

根据人体骨骼数据生成动作评价数据集，其包括以下步骤：

利用rgb-d相机获取人体二维视频流和深度图像流；

根据人体二维视频流和深度图像流生成3d人体骨骼数据；

根据3d人体骨骼数据得到输入动作序列；

从标准动作数据库中获取标准动作序列；

对输入动作序列和标准动作序列进行特征量化和度量比较，得到特征评分；

根据标准动作序列和输入动作序列以及标准动作序列和输入动作序列对应的特征评分得到人体动作评价样本；

对各人体动作评价样本进行筛选，得到动作评价数据集；

利用动作评价数据集中的人体动作评价样本对深度学习模型进行训练，得到人体动作评价模型。

进一步地，所述情感分析模型对用户查看人体动作评价模型输出的特征评分时的情感进行分析，并根据分析结果构建错误匹配库的具体过程为：

利用rgb-d相机实时采集用户看到人体动作评价模型对应用户实时输入动作序列输出的特征评分时的表情视频流，并将采集到的视频流发送给情感分析模型；

情感分析模型对用户看到人体动作评价模型输出的特征评分时的情感进行分析，得到用户看到特征评分时情绪的概率，所述情绪包括开心、疑惑和挫败；

当疑惑在三种情绪中的概率最大时，情感分析模型将得到的疑惑概率与预设的疑惑概率阈值进行比较，并根据二者的差值与调整基数计算得到调整后的评分；

将用户看到特征评分时情绪为疑惑时对应的输入动作序列和标准动作序列以及调整后的评分作为错误样本，利用错误样本构建错误匹配库。

更进一步地，所述错误匹配库对人体动作评价模型进行更新的具体过程为：

将错误匹配库中的样本输入人体动作评价模型；

通过反向传播算法更新人体动作评价模型的权重，使得人体动作评价模型的损失函数减小，直到人体动作评价模型的损失函数收敛时，停止更新，并将得到的人体动作评价模型作为更新后的人体动作评价模型。

根据本申请实施例的第三方面，本申请提供了一种人体动作评价系统，其包括rgb-d相机、人机交互界面和人体动作评价装置；

所述rgb-d相机用于采集人体二维视频流和深度图像流，还用于采集用户看到人体动作评价装置中人体动作评价模型输出的特征评分时的表情视频流；

用户通过所述人机交互界面选择要学习的标准动作序列，所述人机交互界面将人体动作评价模型输出的特征评分呈现给用户；

所述人体动作评价装置用于根据情感分析模型的分析结果构建错误匹配库，并利用错误匹配库对人体动作评价模型进行更新，利用更新后的人体动作评价模型对用户的实时输入动作进行评价。

根据本申请的上述具体实施方式可知，至少具有以下有益效果：

传统人体动作标注通常采用人看动作，然后人给出评分的方式，这种方式过于主观化，丧失了动作相似性中的物理客观性。相对于传统的数据标注方式，在本申请中，采用客观知识体系评价与人工筛选相结合的方式，得到动作评价数据集。

传统的人体动作评价方法采用人体动作特征量化和度量比较两个独立的步骤进行，而且这两个步骤都需要人类专家进行设计，设计出来的方法也不能满足全部的动作，总是有较大一部分动作无法很好地识别。相对于这种传统的人体动作评价方法，本申请中基于深度学习模型的人体动作评价模型将特征量化与度量比较很好的耦合起来，而且识别准确率更高。

传统的人体动作评价方法是一种开环的评价方式，无法监管模型给出的评分是否合适。相对于这种传统的评价方式，本申请通过添加情感分析模型使得人体动作评价成为闭环的评价方式，从而使评分既满足物理客观性质，又符合人类感官的能力。

传统的人体动作评价方法在部署到设备之后，评价模型是一种固化的模型，无法自我修复错误，只能当人工发送指令升级模型时，才会人工升级模型。相对于这种传统的人体动作评价方法，本申请通过增设人体动作评价模型的全寿命学习更新流程，能够让人体动作评价模型每次犯错后自动改正，保证下次遇到相同的错误不再产生相同的错误评价，让设备在整个使用寿命的周期内保持不断自我学习和模型自动优化的能力。

应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。

附图说明

下面的所附附图是本申请的说明书的一部分，其示出了本申请的实施例，所附附图与说明书的描述一起用来说明本申请的原理。

图1为本申请实施例提供的一种人体动作评价方法的主流程图。

图2为本申请实施例提供的一种人体动作评价方法的详细流程图

图3为本申请实施例提供的一种人体动作评价方法中得到动作评价数据集的过程示意图。

图4为本申请实施例提供的一种人体动作评价方法中训练人体动作评价模型的过程示意图。

图5为本申请实施例提供的一种人体动作评价方法中构建错误匹配库的过程示意图。

图6为本申请实施例提供的一种人体动作评价方法中利用错误匹配库对人体动作评价模型进行更新的过程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述清楚说明本申请所揭示内容的精神，任何所属技术领域技术人员在了解本申请内容的实施例后，当可由本申请内容所教示的技术，加以改变及修饰，其并不脱离本申请内容的精神与范围。

本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。

关于本文中所使用的“第一”、“第二”、…等，并非特别指称次序或顺位的意思，也非用以限定本申请，其仅为了区别以相同技术用语描述的元件或操作。

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。

关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。

某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。

图1为本申请实施例提供的一种人体动作评价方法的主流程图。图2为本申请实施例提供的一种人体动作评价方法的详细流程图。

如图1和图2所示，本申请提供的人体动作评价方法包括以下步骤：

s1、训练并部署人体动作评价模型，其具体过程为：

s11、根据人体骨骼数据生成动作评价数据集，如图3所示，其具体过程为：

s111、利用rgb-d相机获取人体二维视频流和深度图像流。

具体地，rgb-d相机包括图像采集传感器和对应的深度采集器，利用图像采集传感器采集得到人体二维视频流；利用深度采集器采集得到深度图像流。

s112、根据人体二维视频流和深度图像流生成3d人体骨骼数据。

具体地，首先，根据人体二维视频流中的rgb图像得到图像中的像素坐标；然后，根据点云映射关系和深度图像流中的深度信息生成3d人体骨骼数据。

s113、根据3d人体骨骼数据得到输入动作序列。

具体地，输入动作序列可以表现为输入的学员的骨骼点坐标。

从标准动作数据库中获取标准动作序列。具体地，标准动作序列可以表现为预存的教练的骨骼点坐标。

s114、对输入动作序列和标准动作序列进行特征量化和度量比较，得到特征评分，其具体过程为：

采用传统的动作特征量化方法将人体动作量化为关节向量、关节平面、关节速度、关节角度和关节相对位置等特征。需要说明的是，此处的人体动作包括输入动作和标准动作。

采用度量方法对输入动作和标准动作对应的特征进行度量比较，得到特征评分。需要说明的是，度量方法可以采用dtw距离、欧式距离、余弦距离、马式距离或曼哈顿距离计算输入动作量化后的特征与标准动作量化后的对应的特征之间的差距。

s115、采用上述步骤s114的方法对大量人体动作进行评价，得到大量人体动作评价样本，各人体动作评价样本的形式为[标准动作序列，输入动作序列，特征评分]。

s116、对各人体动作评价样本进行筛选，得到动作评价数据集。

需要说明的是，对每个人体动作评价样本进行人工筛选时，预设有误差阈值，由专业动作评分教练根据动作相似度指导标准对输入动作和标准动作的相似度进行评价，给出人工评分；并将人工评分与特征评分进行比较，如果二者的误差大于预设的误差阈值，则舍弃该特征评分对应的人体动作评价样本，最终得到符合上述判断规则的人体动作评价样本，所有符合上述判断规则的人体动作评价样本构成动作评价数据集。

根据人体骨骼数据生成动作评价数据集的过程中，采用传统人体动作特征量化和度量比较作为物理客观知识体系，然后利用人工筛选添加人类感官知识，通过物理客观评价和人工筛选感官评价能够构建高质量的动作评价数据集，该动作评价数据集同时兼顾了客观评价与人类感官舒适度。

s12、利用动作评价数据集中的人体动作评价样本对深度学习模型进行训练，得到人体动作评价模型，如图4所示，其具体过程为：

采用基于卷积神经网络与时序神经网络的深度学习模型学习动作评价数据集中的人体动作评价样本，深度学习模型的输入为标准动作序列、输入动作序列和特征评分。

使用深度学习模型可以学习传统的人体动作评价的优点和不足，同时能够完成输入动作序列到输出特征评分的端对端结构，不再需要专门设计特征量化与度量比较模型。

s2、利用人体动作评价模型对用户的人体动作进行评价，得到特征评分，其具体过程为：

s21、获取用户的实时输入动作序列和用户选择要学习的标准动作序列；

具体地，可以通过rgb-d相机实时获取用户的人体二维视频流和深度图像流；根据人体二维视频流和深度图像流生成3d人体骨骼数据；根据3d人体骨骼数据得到用户的实时输入动作序列。

用户选择的要学习的标准动作序列可以直接从预设的标准动作数据库中获取。

s22、将获取的实时输入动作序列和标准动作序列输入人体动作评价模型中；

s23、人体动作评价模型对输入动作序列与标准动作序列的相似度进行评价，并输出特征评分。

传统的人体动作评价方法采用人体动作特征量化和度量比较两个独立的步骤对人体动作进行评价，而且这两个步骤都需要人类专家进行设计，设计出来的方法也不能满足全部动作的需要，总是有较大一部分动作无法很好地识别。相对于这种传统的人体动作评价方法，本申请中基于深度学习模型的人体动作评价模型能够将特征量化与度量比较很好的耦合起来，而且识别准确率更高。

s3、利用情感分析模型对用户查看人体动作评价模型输出的特征评分时的情感进行分析，并根据分析结果构建错误匹配库，如图5所示，其具体过程为：

s31、利用rgb-d相机实时采集用户看到人体动作评价模型输出的特征评分时的表情视频流，并将采集到的视频流发送给情感分析模型。

需要说明的是，情感分析模型可以采用现有技术中的thin：throwableinformationnetworks模型、deepfea模型或emotionnet模型。

s32、情感分析模型对用户看到人体动作评价模型输出的特征评分时的情感进行分析，得到用户看到特征评分时情绪的概率，其中，该情绪包括开心、疑惑和挫败。

s33、当疑惑在三种情绪中的概率最大时，情感分析模型将得到的疑惑概率与预设的疑惑概率阈值进行比较，并根据二者的差值与调整基数计算得到调整后的评分。

为便于更清楚的理解如何计算得到调整后的评分，下面采用一具体的实例进行说明。

情感分析模型得到的用户看到特征评分时情绪的概率总和为100％，假设得到的开心的概率为10％，气馁的概率为20％，疑惑的概率为70％，疑惑时的概率阈值为50％，调整基数为10分，则需要调整的分数为：(70％-50％)*10＝2，则当前次调整后的评分为：上一次调整后的评分+2。

s34、将用户看到特征评分时情绪为疑惑时对应的输入动作序列和标准动作序列以及调整后的评分作为错误样本，利用错误样本构建错误匹配库。

为便于说明，将用户看到特征评分时情绪为疑惑时对应的输入动作序列和标准动作序列分别称为错误的输入动作序列和错误的标准动作序列。具体地，错误样本的形式为[错误的标准动作序列，错误的输入动作序列，调整后的评分]。

通过人体动作评价模型能够得到偏物理客观的特征评分，而用户对于动作有自己的感性认识，根据情感分析模型的输出结果调整人体动作评价模型输出的特征评分，使得调整后的特征评分同时兼顾了客观评价和感官评价，降低传统方法无法识别或识别有偏差的概率，使得最终得到的特征评分更具有客观性。

s4、利用错误匹配库对人体动作评价模型进行更新，如图6所示，其具体过程为：

将错误匹配库中的样本输入人体动作评价模型。

通过反向传播算法更新人体动作评价模型的权重，使得人体动作评价模型的损失函数减小，直到人体动作评价模型的损失函数收敛时，停止更新，此时得到的人体动作评价模型即为更新后的人体动作评价模型。

利用错误匹配库对人体动作评价模型进行更新，使得更新后的人体动作评价模型具备错误数据的识别能力，当再次遇到这种错误数据时，能够识别到符合用户心理预期同时兼顾客观动作要领评价的评价结果。

每次评价完成后，人体动作评价模型都会在不借助外部人员操作的情况下利用错误匹配库中的错误样本自动更新优化模型，使得人体动作评价模型下一次的评价结果更加合理、准确。

s5、利用更新后的人体动作评价模型对人体动作进行评价。

传统的人体动作评价方法是一种开环的评价方式，无法监管模型给出的评分是否合适。相对于这种传统的评价方式，本申请通过添加情感分析模型能够让人体动作评价模型的评价成为一种闭环的评价，从而使得人体动作评价模型输出的特征评分既能够满足物理客观性质，又符合人类感官的能力。

传统的人体动作评价方法在部署到设备之后，是一种固化的模型，无法自我修复错误，只有当人工发送指令升级模型时，才会人工升级模型。相对于这种传统的人体动作评价方法，本申请通过增设全寿命学习调节流程，能够让模型每次犯错后自动改正，保证下次遇到相同的错误不再产生相同的错误评价，让设备在整个使用寿命的周期内保持不断自我学习和模型自动优化的能力。

基于本申请提供的人体动作评价方法，本申请还提供了一种人体动作评价装置，其包括人体动作评价模型、情感分析模型和错误匹配库。

其中，人体动作评价模型用于对获取的用户的实时输入动作序列和用户选择要学习的标准动作序列的相似度进行评价，并输出特征评分。

情感分析模型用于对用户查看人体动作评价模型输出的特征评分时的情感进行分析，并根据分析结果构建错误匹配库。

错误匹配库用于对人体动作评价模型进行更新。

在一个具体的实施例中，人体动作评价模型通过事先训练和部署获得。其中，获得人体动作评价模型的具体过程为：

首先，根据人体骨骼数据生成动作评价数据集，其包括以下步骤：

利用rgb-d相机获取人体二维视频流和深度图像流。

根据人体二维视频流和深度图像流生成3d人体骨骼数据。

根据3d人体骨骼数据得到输入动作序列。

从标准动作数据库中获取标准动作序列。

对输入动作序列和标准动作序列进行特征量化和度量比较，得到特征评分。

根据大量的标准动作序列和输入动作序列以及标准动作序列和输入动作序列对应的特征评分得到大量的人体动作评价样本。

对每个人体动作评价样本进行人工筛选，舍弃不符合预设规则的评价样本，根据保留的符合预设规则的评价样本得到动作评价数据集。

其次，利用动作评价数据集中的人体动作评价样本对深度学习模型进行训练，得到人体动作评价模型。

在一个具体的实施例中，情感分析模型对用户查看人体动作评价模型输出的特征评分时的情感进行分析，并根据分析结果构建错误匹配库的具体过程为：

利用rgb-d相机实时采集用户看到人体动作评价模型对应用户实时输入动作序列输出的特征评分时的表情视频流，并将采集到的视频流发送给情感分析模型。

情感分析模型对用户看到人体动作评价模型输出的特征评分时的情感进行分析，得到用户看到特征评分时情绪的概率，其中，该情绪包括开心、疑惑和挫败；三种情绪的概率总和为1。

当疑惑在三种情绪中的概率最大时，情感分析模型将得到的疑惑概率与预设的疑惑概率阈值进行比较，并根据二者的差值与调整基数计算得到调整后的评分。

将用户看到特征评分时情绪为疑惑时对应的输入动作序列和标准动作序列以及调整后的评分作为错误样本，利用错误样本构建错误匹配库。

在一个具体的实施例中，错误匹配库对人体动作评价模型进行更新的具体过程为：

将错误匹配库中的错误样本输入人体动作评价模型。

通过反向传播算法更新人体动作评价模型的权重，使得人体动作评价模型的损失函数减小，直到人体动作评价模型的损失函数收敛时，停止更新，此时得到的人体动作评价模型即为更新后的人体动作评价模型。

在上述各实施例中，本申请人体动作评价装置还包括标准动作数据库，标准动作数据库中存储有标准动作序列，其响应用户输入的标准动作选择指令，输出标准动作序列。

在另一个实施例中，本申请还提供了一种人体动作评价系统，其包括rgb-d相机、人机交互界面和人体动作评价装置。

其中，rgb-d相机用于采集人体二维视频流和深度图像流，还用于采集用户看到人体动作评价装置中人体动作评价模型输出的特征评分时的表情视频流。

用户通过人机交互界面可以选择要学习的标准动作序列，人机交互界面也可以将人体动作评价模型输出的特征评分呈现给用户。

人体动作评价装置用于根据情感分析模型的分析结果构建错误匹配库，并利用错误匹配库对人体动作评价模型进行更新，利用更新后的人体动作评价模型对用户的实时输入动作进行评价。

本申请通过串联数据标注得到动作评价数据集的流程、人体动作评价模型构建流程、情感分析模型流程和人体动作评价模型的全寿命学习更新流程，构建了一种能够从人类情绪中不断自我学习、保持模型优化和自更新的人体动作评价方法和评价系统。

上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本申请的实施例也可表示在数据信号处理器中执行上述方法的程序代码。本申请也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的多种功能。可根据本申请配置上述处理器执行特定任务，其通过执行定义了本申请揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展表示不同的程序语言与不同的格式或形式。也可表示不同的目标平台编译软件代码。然而，根据本申请执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本申请的精神与范围。

以上所述仅为本申请示意性的具体实施方式，在不脱离本申请的构思和原则的前提下，任何本领域的技术人员所做出的等同变化与修改，均应属于本申请保护的范围。