一种动作评估方法、装置、移动终端和可读存储介质与流程

本发明涉及图像识别领域，具体涉及一种动作判别方法、装置、移动终端和可读存储介质。

背景技术：

在现实中，无论是人类还是机器，动作的评估普遍依靠相关人员的肉眼和经验判断。由于评估不能满足精确、规范、完美的严格要求，动作的发挥水平也往往不如人意。此外，动作的评估依赖于人力的现场监管，无法实现智能自动化，难以在社会上普及。

随着计算机技术的不断发展，基于上述问题，市面涌现了一系列动作评估产品。但现有技术中的动作评估方法，对动作的评估是基于整体而言，无法评估具体某一个实施部位，由于所属骨骼关节不同摆放，其实施动作与标准动作存在的差异，例如，以往的动作评估能识别，手是“握拳”动作，还是“手掌张开”，但不能根据手腕关节的旋转角度，识别手的掌心的朝向，如“手掌张开”时，手掌的掌心朝上还是朝下，从而导致动作评估不够精确。

技术实现要素：

本发明实施例提供一种动作评估方法、装置、终端设备及存储介质，能够为对待检测体的局部动作进行评估，提升动作评估的准确度。

本发明第一实施例提供一种动作评估方法，包括获取待检测体的动作图像；其中，所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域，且每一所述区域用不同的颜色进行标识；

将所述动作图像传输至预设的关节识别模型，识别出所述动作图像中待检测体的各个关节；

识别所述动作图像中待检测体的每一部位的颜色，确定所述待检测体的每一部位所对应的关节的旋转角度；

根据所述动作图像中待检测体的各个关节，及每一关节的旋转角度，获得所述待检测体的动作关节图；

将所述动作关节图与预存的标准动作关节图进行比对，并根据比对结果评估所述待检测体的动作是否标准。

进一步的，所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域，且每一所述区域用不同的颜色进行标识，具体为：

将所述待检测体的每一部位按360°平均分成4个区域，则所述4个区域所对应的关节的旋转角度分别为：0°-90°、90°-180°、180°-270°和270°-360°。

用特定颜色的套装对每一部位的4个区域，用不同的颜色进行标识。

进一步的，所述预设的关节识别模型通过以下方式建立：

获取若干关节的静态图像，并进行灰度处理，获得若干灰度处理图像；

将所有灰度处理图像分为训练图像集和测试图像集，其中，所述训练图像集包括若干训练图像，所述测试图像集包括若干测试图像；

将每一所述训练图像的关节作矩形框标记，获得每一所述训练图像中关节的标记框参数；其中，所述关节标记框参数包括标记框的坐标、宽度和高度；

将每一所述训练图像、每一所述训练图像的关节标记框框参数及对应的关节名称，传输至训练模型中，反复训练，直至反复训练次数达到第一预设阈值时，停止训练，获得待测试训练模型；

将所述测试图像传输至所述待测试训练模型中，进行运行测试，获得损失函数；

根据所述损失函数，获得所述待测试训练模型的准确率；

若所述准确率达到第二预设阈值，则将所述待测试训练模型作为所述数据提取模型。

进一步的，所述关节包括颅骨、颈椎、胸椎、腰椎、左肩、右肩、左肘、右肘、左腕、右腕、左指骨、右指骨、左髋、右髋、左膝、右膝、左踝、右踝、左趾骨、右趾骨。

进一步的，所述根据所述动作图像中待检测体的各个关节，及每一关节的旋转角度，获得所述待检测体的动作关节图，具体为：

将所述动作图像中待检测体，相邻的关节两两连接，并对每一所述关节的旋转角度进行标识，获得所述待检测体的动作关节图。

进一步的，所述将所述动作关节图与预存的标准动作关节图进行比对，并根据比对结果评估所述待检测体的动作是否标准，具体为：

将所述动作关节图中各关节的旋转角度，与所述标准动作关节图中的对应的关节的旋转角度进行比对；

将所述动作关节图中相邻的两条关节连接线形成的夹角，作为待比对夹角；继而将每一所述待比对夹角与所述标准动作关节图中对应的夹角进行比对；其中，所述关节连接线为所述动作关节图中，相邻两个关节之间的连线；

若，所述动作关节图中，存在旋转角度与所述标准动作关节图不一致的关节，或存在夹角度数超过预设标准区间的待比对夹角，则评判所述待检测体的动作不标准。

进一步的，所述待检测体包括真实的人或机器人。

在本发明第一实施例的基础上，提供了第二实施例；

本发明第二实施例提供了一种动作评估装置，包括图像获取模块、关节识别模块、关节旋转角度识别模块、动作关节图生成模块和动作评估模块；

其中，所述图像获取模块用于，获取待检测体的动作图像；其中，所述待检测体的每一部位按所对应的关节的旋转角度分为若干区域，且每一所述区域用不同的颜色进行标识；

所述关节识别模块用于，将所述动作图像传输至预设的关节识别模型，识别出所述动作图像中待检测体的各个关节；

所述关节旋转角度识别模块用于，识别所述动作图像中待检测体的每一部位的颜色，确定所述待检测体的每一部位所对应的关节的旋转角度；

所述动作关节图生成模块用于，根据所述动作图像中待检测体的各个关节，及每一关节的旋转角度，获得所述待检测体的动作关节图；

所述动作评估模块用于，将所述动作关节图与预存的标准动作关节图进行比对，并根据比对结果评估所述待检测体的动作是否标准。

在本发明第一实施例的基础上，还提供了第三实施例

本发明第三实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序是实现本发明第一实施例所述的动作评估方法。

在本发明第一实施例的基础上，还提供了第四实施例

本发明第四实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行本发明第一实施例所述的动作评估方法。

通过实施本发明的实施例，有如下有益效果：

本发明实施例提供了一种动作评估方法、装置、移动终端和可读存储介质，首先获取待检测体的动作图像，在通过设置好的关节识别模型，识别出动作图像中，待检测体的各个关节，由于待检测体的每一个部位，事先按该部位所属的关节的旋转角度，被分为了几个区域并且每个区域用了不同颜色进行标识，因此在识别出待检测体的每个部位的颜色，就能知道图像中待检测做动作时的所拍摄到的部位的区域，从而确定该部位对应关节的旋转角度，紧接着根据各个关节，及关节对应的旋转角度获得待检测体的动作关节图，最后将动作关节图与标准的关节图进行比对，从而判断出待检测体当前做出的动作是否标准，与现有技术相比，本发明实施例提供的一种动作评估方法，不仅评估动作的整体是否正确，更考虑到了局部动作的准确性，通过关节的旋转角度进行评估，提升了动作评估的准确性。

附图说明

图1是本发明第一实施例提供的一种动作评估方法的流程示意图；

图2是本发明第二实施例提供的一种动作评估装置的结构示意图；

附图标记说明：图像获取模块210、关节识别模块220、关节旋转角度识别模块230、动作关节图生成模块240和动作评估模块250。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明第一实施例提供的一种动作评估方法包括步骤：

s101、获取待检测体的动作图像；其中，待检测体的每一部位按所对应的关节的旋转角度分为若干区域，且每一区域用不同的颜色进行标识。

s102、将动作图像传输至预设的关节识别模型，识别出动作图像中待检测体的各个关节。

s103、识别动作图像中待检测体的每一部位的颜色，确定待检测体的每一部位所对应的关节的旋转角度。

s104、根据动作图像中待检测体的各个关节，及每一关节的旋转角度，获得待检测体的动作关节图。

s105、将动作关节图与预存的标准动作关节图进行比对，并根据比对结果评估待检测体的动作是否标准。

对于步骤s101、优选的，让用户穿上特定运动套装并根据终端已录制的教程进行训练。通过摄像头大量抓拍用户各训练动作视频，系统提取视频并以抽帧形式提取多张静态图像，获得用户的动作图像。优选的，所终端可以是用户日常普遍使用的手机、电脑、触控屏、液晶显示屏等硬件设备，。

需要说明的是，特定的套装是根据实际情况自行定义的，包括帽子、手套、上衣、裤子、鞋套；如：用户的动作如果是打高尔夫球只需帽子、手套和上衣便可，练瑜伽则需帽子、手套、上衣、裤子、鞋套。其中，没有颜色代表骨骼关节，带有颜色则代表人体部位，相邻人体部位颜色不同，非相邻人体部位颜色可相同，例如：人体部位左前臂所属区域颜色是[红色，绿色，蓝色，黄色]，那么：其相邻人体部位左手或者左上臂所属区域颜色不能是[红色，绿色，蓝色，黄色]，其非相邻人体部位右手所属区域颜色则可以是[红色，绿色，蓝色，黄色]。部位，是以两个相邻骨骼关节分别为起点和终点的组成部分，如：骨骼关节左肘和左腕，两者形成的部位是左前臂。

此外，除了用特定的套装对待检测体进行标识，还可以通过其他方式对用户的部位的不同区域进行标识，如直接上色等，只是实现用不同的颜色进行标识即可。

对于步骤s102、优选的，预设的关节识别模型通过以下方式建立：

获取若干关节的静态图像，并进行灰度处理，获得若干灰度处理图像；

将所有灰度处理图像分为训练图像集和测试图像集，其中，训练图像集包括若干训练图像，测试图像集包括若干测试图像；

将每一训练图像的关节作矩形框标记，获得每一训练图像中关节的标记框参数；其中，关节标记框参数包括标记框的坐标、宽度和高度；

将每一训练图像、每一训练图像的关节标记框框参数及对应的关节名称，传输至训练模型中，反复训练，直至反复训练次数达到第一预设阈值时，停止训练，获得待测试训练模型；

将测试图像传输至待测试训练模型中，进行运行测试，获得损失函数；

根据损失函数，获得待测试训练模型的准确率；

若准确率达到第二预设阈值，则将待测试训练模型作为数据提取模型。

优选的，关节包括颅骨、颈椎、胸椎、腰椎、左肩、右肩、左肘、右肘、左腕、右腕、左指骨、右指骨、左髋、右髋、左膝、右膝、左踝、右踝、左趾骨、右趾骨。

在实际应用中，关节识别模型的建立如下：先把人体定义由20个骨骼关节组成，分别是：颅骨(头部)、颈椎(颈部)、胸椎(胸部)、腰椎(腰部)、左肩、右肩、左肘、右肘、左腕、右腕、左指骨(左手)、右指骨(右手)、左髋、右髋、左膝、右膝、左踝、右踝、左趾骨(左脚)、右趾骨(右脚)。

通过摄像头从不同角度大量抓拍上述骨骼关节的静态图像。系统提取图像并对其进行灰度处理；其中，灰度处理，不但提高图像处理效率，而且不会影响图像纹理特征。

上述骨骼关节图像经过灰度处理，变成灰度图。基于灰度图总数量，系统把图像分成训练图像和测试图像这两类；其中，前者用于模型训练，后者用于模型测试。灰度图均存储在本地服务器上，骨骼关节样本数据库建立完毕。

基于骨骼关节样本数据库，得到了大量人体骨骼关节图像。由于骨骼关节是连同与其相邻的人体部位，难以实现针对性抓拍，如：拍摄左腕时，也会把左前臂和左手的一部分一同拍摄。为了确保模型训练样本的质量，系统通过标记程序，对所有样本图像的骨骼关节作矩形框标记，一张样本图像对应一个骨骼关节，得出各样本所属骨骼关节的标记框坐标、宽度以及高度参数。

建立模型，基于机器学习方法，系统把骨骼关节样本数据库训练图像作为模型训练的输入图像。系统把上述输入图像、图像骨骼关节标记框参数以及图像骨骼关节名称传输给模型反复训练，得出目标预测框参数(即：坐标、宽度以及高度)，实现基于物体坐标、类别检测识别骨骼关节的效果。

当模型与骨骼关节样本数据库训练图像反复训练的次数达到系统设定阀值，如：20万次，模型训练停止。系统把模型与骨骼关节样本数据库测试图像进行试运行测试，根据损失函数得出模型识别准确率。若准确率达到某一阀值，如：80％，则把模型应用于现场识别。以下是损失函数公式：

其中，x是相匹配的jaccard系数，c是置信度，l是预测框，g是标记框，n是预测框数量，conf是置信损失，loc是定位损失，α是权重项，默认设置为1。

对于步骤s103、优选的，具体为：将待检测体的每一部位按360°平均分成4个区域，则4个区域所对应的关节的旋转角度分别为：0°-90°、90°-180°、180°-270°和270°-360°。

用特定颜色的套装对每一部位的4个区域，用不同的颜色进行标识。

例如，在特定的运动套装中，每个人体部位均按360°平均分成4个区域，每个区域90°，且区域之间颜色不同。例如：人体部位左前臂所属区域颜色以及角度划分是[红色0°-90°，绿色90°-180°，蓝色180°-270°，黄色270°-360°]，当摄像头抓拍人体动作图像中，左前臂所属区域颜色是绿色，则可得知所属骨骼关节的摆放角度即旋转角度对应90°-180°。

对于步骤s104、优选的，具体为：将动作图像中待检测体，相邻的关节两两连接，并对每一关节的旋转角度进行标识，获得待检测体的动作关节图。

通过关节识别模型，识别用户各训练动作图像的骨骼关节；通过运动套装区域颜色判断，得出各图像骨骼关节所属摆放角度，即旋转角度。结合旋转角度，把图像已识别的相邻骨骼关节两两连接，形成用户骨骼关节图，并且对记录每一关节的旋转角度。

对于步骤s105、优选的，具体为：将动作关节图中各关节的旋转角度，与标准动作关节图中的对应的关节的旋转角度进行比对；

将动作关节图中相邻的两条关节连接线形成的夹角，作为待比对夹角；继而将每一待比对夹角与标准动作关节图中对应的夹角进行比对；其中，关节连接线为动作关节图中，相邻两个关节之间的连线；

若，动作关节图中，存在旋转角度与标准动作关节图不一致的关节，或存在夹角度数超过预设标准区间的待比对夹角，则评判待检测体的动作不标准。

由于2个骨骼关节连接可形成一条线段，两条线段连接可形成一个夹角。根据从上到下、从左到右的顺序把用户骨骼关节图与标准动作数据库对应的标准动作关节图进行比对。对于骨骼关节相同的连接线，基于一条线段重合，判断与其连接的另一条线段所形成的夹角是否超出标准区间；以及每一关节的旋转角度是否一致，若夹角是否超出标准区间，或关节色旋转角度不一致，则判断动作不标准，提示错误，用户动作实线显示，标准动作虚线显示，便于用户区别；否则，视为标准动作，不作提示。对于错误动作，用户修正动作，摄像头实时获取，终端实时更新比对结果。

优选的，标准动作图可以通过摄像头大量抓拍已穿特定运动套装教练的各训练动作视频，提取视频并以抽帧形式提取多张静态图像。将图像输入到已经训练好的关节识别模型中，识别出每张图像的关节，并进行连线，得到各个标准的动作关节图。

由于教练每个训练动作都会重复n次，系统基于相同骨骼关节，以其连接线所形成的夹角来分析每次重复动作，得出各标准动作对应的区间。

需要说明的是，待检测体可以为人体或机器人，当待检测体为机器人时，将上述教练替换为做标准动作的机器人，即可得到针对于机器人的标准动作关节图，同样预设的关节识别模型的建立，也只需将对象改为机器人，其余步骤保持不变，建立针对于机器人的关节识别模型。

在本发明第一实施例的基础上，对应提供了第二实施例

如图2所示，本发明第二实施例提供了一种动作评估装置，包括图像获取模块210、关节识别模块220、关节旋转角度识别模块230、动作关节图生成模块240和动作评估模块250；

其中，图像获取模块210用于，获取待检测体的动作图像；其中，待检测体的每一部位按所对应的关节的旋转角度分为若干区域，且每一区域用不同的颜色进行标识；

关节识别模块220用于，将动作图像传输至预设的关节识别模型，识别出动作图像中待检测体的各个关节；

关节旋转角度识别模块230用于，识别动作图像中待检测体的每一部位的颜色，确定待检测体的每一部位所对应的关节的旋转角度；

动作关节图生成模块240用于，根据动作图像中待检测体的各个关节，及每一关节的旋转角度，获得待检测体的动作关节图；

动作评估模块250用于，将动作关节图与预存的标准动作关节图进行比对，并根据比对结果评估待检测体的动作是否标准。

优选的、图像获取模块210用于，将待检测体的每一部位按所对应的关节的旋转角度分为若干区域，且每一区域用不同的颜色进行标识，具体为：

将待检测体的每一部位按360°平均分成4个区域，则4个区域所对应的关节的旋转角度分别为：0°-90°、90°-180°、180°-270°和270°-360°。

用特定颜色的套装对每一部位的4个区域，用不同的颜色进行标识。

优选的、关节识别模块220中还包括，关节识别模型建立模块，关节识别模型用于，获取若干关节的静态图像，并进行灰度处理，获得若干灰度处理图像；

将所有灰度处理图像分为训练图像集和测试图像集，其中，训练图像集包括若干训练图像，测试图像集包括若干测试图像；

将每一训练图像的关节作矩形框标记，获得每一训练图像中关节的标记框参数；其中，关节标记框参数包括标记框的坐标、宽度和高度；

将每一训练图像、每一训练图像的关节标记框框参数及对应的关节名称，传输至训练模型中，反复训练，直至反复训练次数达到第一预设阈值时，停止训练，获得待测试训练模型；

将测试图像传输至待测试训练模型中，进行运行测试，获得损失函数；

根据损失函数，获得待测试训练模型的准确率；

若准确率达到第二预设阈值，则将待测试训练模型作为数据提取模型。

优选的，动作关节图生成模块，根据动作图像中待检测体的各个关节，及每一关节的旋转角度，获得待检测体的动作关节图，具体为：

将动作图像中待检测体，相邻的关节两两连接，并对每一关节的旋转角度进行标识，获得待检测体的动作关节图。

优选的，动作评估模块将动作关节图与预存的标准动作关节图进行比对，并根据比对结果评估待检测体的动作是否标准，具体为：

将动作关节图中各关节的旋转角度，与标准动作关节图中的对应的关节的旋转角度进行比对；

将动作关节图中相邻的两条关节连接线形成的夹角，作为待比对夹角；继而将每一待比对夹角与标准动作关节图中对应的夹角进行比对；其中，关节连接线为动作关节图中，相邻两个关节之间的连线；

若，动作关节图中，存在旋转角度与标准动作关节图不一致的关节，或存在夹角度数超过预设标准区间的待比对夹角，则评判待检测体的动作不标准。

在本发明第一实施例的基础上，提供了第三实施例；

本发明第三实施例提供了一种终端设备，包括处理器、存储器以及存储在存储器中且被配置为由处理器执行的计算机程序，处理器执行计算机程序是实现本发明第一实施例提供的动作评估方法。

在本发明第一实施例基础上，提供了第四实施例；

本发明第四实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在的设备执行本发明第一实施例提供的动作评估方法。

通过实施本发明的实施例具有如下有益效果：

本发明实施例提供了一种动作评估方法、装置、移动终端和可读存储介质，首先获取待检测体的动作图像，在通过设置好的关节识别模型，识别出动作图像中，待检测体的各个关节，由于待检测体的每一个部位，事先按该部位所属的关节的旋转角度，被分为了几个区域并且每个区域用了不同颜色进行标识，因此在识别出待检测体的每个部位的颜色，就能知道图像中待检测做动作时的所拍摄到的部位的区域，从而确定该部位对应关节的旋转角度，紧接着根据各个关节，及关节对应的旋转角度获得待检测体的动作关节图，最后将动作关节图与标准的关节图进行比对，从而判断出待检测体当前做出的动作是否标准，与现有技术相比，本发明实施例提供的一种动作评估方法，不仅评估动作的整体是否正确，更考虑到了局部动作的准确性，通过关节的旋转角度进行评估，提升了动作评估的准确性，此外本发明基于关节识别模型以及特定运动套装区域颜色，得到抓拍图像的识别骨骼关节及其所属摆放角度，形成各动作对应的人体骨骼关节图。动作判断细致到各骨骼关节，避免实施动作部位容易识别错误的情况发生，使动作判断更实用有效。结合运动套装区域颜色的辅助判断，面对各骨骼关节的任何摆放，也能准确获取当前实施动作及其骨骼关节之间所形成的夹角，使动作判断更简单准确。动作监管过程只需一个摄像头便可，无需安装一系列的摄像组件多方位抓拍，投入、维护成本低。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。