一种基于关节连接线的动作判断方法及系统与流程

本发明涉及图象识别处理技术领域，特别是涉及一种基于关节连接线的动作判断方法及系统。

背景技术：

动作，是具有一定动机和目的并指向一定客体的运动系统，与社会各方面息息相关，如：人类各项运动、机器各种运作等。

在现实中，无论是人类还是机器，动作的评估普遍依靠相关人员的肉眼和经验判断。由于评估不能满足精确、规范、完美的严格要求，动作的发挥水平也往往不如人意。此外，由于动作的评估依赖于人力的现场监管，无法实现智能自动化，难以在社会上普及。

随着计算机技术的不断发展，基于上述问题，市面涌现了一系列动作评估产品。根据调查研究，目前的动作评估产品动作判断的核心主要是找出实施动作与标准动作的差异，而其动作比对普遍都是基于整体而言，如：人体左上肢，往往忽略局部，如左腕的判断，这样容易造成实施动作部位识别错误的情况发生，此外，同一个实施部位，系统获取的实施动作往往也会受到该部位组成骨骼关节的不同摆放影响，原因是各骨骼关节不同摆放，其所属中心点也不同；而目前的产品普遍没有考虑这方面的不足，导致实施动作与标准动作的差异不准确。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于关节连接线的动作判断方法及系统，以使动作的判断更准确有效。

为达上述目的，本发明提出一种基于关节连接线的动作判断方法，包括如下步骤：

步骤s1，建立骨骼关节识别模型，并通过训练图像进行反复训练，以使所述骨骼关节识别模型能实现图像骨骼关节自动识别；

步骤s2，通过获取教练各训练动作图像，基于所述骨骼关节识别模型建立标准动作数据库和各动作对应的标准区间；

步骤s3，获取用户各训练动作的多张静态图像，基于所述骨骼关节识别模型以及标准动作数据库和各动作对应的标准区间对用户的动作进行判断。

优选地，步骤s1进一步包括：

步骤s100，通过获取各人体骨骼关节点的不同角度的静态图像建立骨骼关节样本数据库；

步骤s101，建立骨骼关节识别模型，通过对骨骼关节样本数据库的样本图像的骨骼关节进行矩形框标记，得到各图像的各骨骼关节标记框的各参数，并利用骨骼关节样本数据库的训练图像对所建立的骨骼关节识别模型进行反复训练，使其可实现骨骼关节的自动识别。

优选地，步骤s100进一步包括：

步骤s100a，基于人体骨骼关节的分布，获取各人体骨骼关节点的不同角度的静态图像，并对其进行灰度处理；

步骤s100b，基于灰度图像的总数量，把图像分成训练图像和测试图像两类进行存储，以建立所述骨骼关节样本数据库。

优选地，步骤s101进一步包括：

步骤s101a，对骨骼关节样本数据库的所有样本图像的骨骼关节作矩形框标记，得到各骨骼关节标记框坐标、宽度以及高度参数；

步骤s101b，建立骨骼关节识别模型，将所述骨骼关节样本数据库训练图像作为模型训练的输入图像，进行反复训练，得出目标预测框参数，实现骨骼关节的自动识别。

优选地，于步骤s101b后，还包括：

于模型训练停止后，将模型与骨骼关节样本数据库测试图像进行试运行测试，根据损失函数得出模型识别准确率，根据模型识别准确率确定最终的骨骼关节识别模型。

优选地，若所述模型识别准确率达到预设阀值，则确定当前骨骼关节识别模型为最终的模型，并把所述骨骼关节识别模型应用于现场识别；否则，重新调整模型网络结构，并继续利用骨骼关节样本数据库训练图像反复训练，或于骨骼关节样本数据库增加训练图像继续反复训练，直至模型识别准确率达到预设阈值。

优选地，步骤s2进一步包括：

步骤s200，通过图像采集装置获取教练各训练动作的多张静态图像；

步骤s201，基于所述骨骼关节识别模型识别教练各训练动作图像的骨骼关节，输出目标预测框参数；

步骤s202，对所述对上述模型输出的目标预测框参数进行转换，得出各图像骨骼关节所属中心点坐标，基于上述中心点，把各图像相邻的骨骼关节两两连接，形成大量人体骨骼关节图，建立标准动作数据库；

步骤s203，对教练的每个训练动作，基于相同骨骼关节，以其连接线所形成的夹角来分析每次重复动作，得出各动作对应的标准区间。

优选地，步骤s3进一步包括：

步骤s300，通过图像采集装置获取用户各训练动作的多张静态图像；

步骤s301，基于所述骨骼关节识别模型识别用户各训练动作图像的骨骼关节，输出目标预测框参数，并对所述对上述模型输出的目标预测框参数进行转换，得出各图像骨骼关节所属中心点坐标，基于上述中心点，把各图像相邻的骨骼关节两两连接，形成用户骨骼关节图；

步骤s302，将用户骨骼关节图与标准动作数据库对应的骨骼关节图进行比对，输出比对结果。

优选地，于步骤s302中，根据从上到下、从左到右的顺序把用户骨骼关节图与标准动作数据库对应的骨骼关节图进行比对，对于骨骼关节相同的连接线，基于一条线段重合，则判断与其连接的另一条线段所形成的夹角是否超出标准区间；若是，则提示错误，并将用户动作与标准动作区别显示；否则，则视为标准动作，不作提示。

为达到上述目的，本发明还提供一种基于关节连接线的动作判断系统，包括：

骨骼关节识别模型建立及训练单元，用于建立骨骼关节识别模型，并通过训练图像进行反复训练，以使所述骨骼关节识别模型能实现图像骨骼关节自动识别；

标准动作数据库及各动作标准区间建立单元，用于通过获取教练各训练动作图像，基于所述骨骼关节识别模型建立标准动作数据库和各动作对应的标准区间；

动作判断单元，用于获取用户各训练动作的多张静态图像，基于所述骨骼关节识别模型以及标准动作数据库和各动作对应的标准区间对用户的动作进行判断。

与现有技术相比，本发明一种基于关节连接线的动作判断方法及系统基于人体骨骼关节的分布，建立骨骼关节识别模型反复训练各骨骼关节多角度的特征信息，实现了图像骨骼关节自动识别，使得动作判断细致到各骨骼关节，避免实施动作部位容易识别错误的情况发生，使动作判断更准确、全面，同时，本发明基于各骨骼关节所属中心点，把相邻骨骼关节两两连接，形成人体骨骼关节图，因而以中心点为连接点，无论人体各骨骼关节如何摆放，也能准确获取当前实施动作及其骨骼关节之间所形成的夹角，足以应对人体任何动作的获取，把实施动作简化成骨骼关节图，便于实施动作与标准动作比对，提高计算机图像处理效率且节省存储空间。

附图说明

图1为本发明一种基于关节连接线的动作判断方法的步骤流程图；

图2为本发明具体实施例中步骤s1的细部流程图；

图3为本发明具体实施例中步骤s101的细部流程图；

图4为本发明具体实施例中步骤s2的细部流程图；

图5为本发明具体实施例中步骤s3的细部流程图；

图6为本发明一种基于关节连接线的动作判断系统的系统架构图；

图7为本发明具体实施例中骨骼关节识别模型的建立及训练、测试流程示意图；

图8为本发明具体实施例中之基于骨骼关节识别模型的基于关节连接线的动作判断过程示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于关节连接线的动作判断方法的步骤流程图。如图1所示，本发明一种基于关节连接线的动作判断方法，包括如下步骤：

步骤s1，建立骨骼关节识别模型，并通过训练图像进行反复训练，以使所述骨骼关节识别模型能实现图像骨骼关节自动识别。

具体地，如图2所示，步骤s1进一步包括：

步骤s100，建立骨骼关节样本数据库。

具体地，步骤s100进一步包括：

步骤s100a，基于人体骨骼关节的分布，获取各人体骨骼关节点(如：头部、左腕、右踝等)的不同角度的静态图像，并对其进行灰度处理。具体地，可利用摄像头从不同角度大量抓拍上述骨骼关节点的静态图像，并对其进行灰度处理，将骨骼关节图像经过灰度处理后变成灰度图像。本发明通过对图像先进行灰度处理再进行后续处理，不但提高图像处理效率，而且不会影响图像纹理特征。

步骤s100b，基于灰度图像的总数量，把图像分成训练图像和测试图像两类进行存储，以建立所述骨骼关节样本数据库；其中，前者用于模型训练，后者用于模型测试，至此，骨骼关节样本数据库建立完毕。在本发明具体实施例中，灰度图像均存储在本地服务器上。

步骤s101，建立骨骼关节识别模型，通过对骨骼关节样本数据库的样本图像的骨骼关节进行矩形框标记，得到各图像的各骨骼关节标记框的各参数，并利用骨骼关节样本数据库的训练图像对所建立的骨骼关节识别模型进行反复训练，使其可实现骨骼关节的自动识别。

具体地，如图3所示，步骤s101进一步包括：

步骤s101a，对骨骼关节样本数据库的所有样本图像的骨骼关节作矩形框标记，得到各骨骼关节标记框坐标、宽度以及高度参数。

基于步骤s100建立的骨骼关节样本数据库，得到了大量人体骨骼关节图像。由于骨骼关节是连同与其相邻的人体部位，难以实现针对性抓拍，如：拍摄左腕时，也会把左小臂和左手的一部分一同拍摄。为了确保模型训练样本的质量，首先通过标记程序，对所有样本图像的骨骼关节进行矩形框标记，一张样本图像对应一个骨骼关节，得出各样本所属骨骼关节的标记框坐标、宽度以及高度参数。

步骤s101b，建立骨骼关节识别模型，将所述骨骼关节样本数据库训练图像作为模型训练的输入图像，进行反复训练，得出目标预测框参数，实现骨骼关节的自动识别。

在本发明具体实施例中，骨骼关节识别模型采用ssd(singleshotmultiboxdetector，单次目标检测器)算法实现。该算法直接预测边界框坐标和类别对象检测，没有生成proposal过程，模型结构更简单，检测速度更快。针对不同大小的物体检测，传统做法一般是将图像转换成不同大小，然后分别处理，最后将结果综合起来；而ssd算法利用不同卷积层的featuremap进行综合也能达到同样效果，确保物体检测准确性。

具体地，于步骤s101b中，建立骨骼关节识别模型，基于ssd算法，把骨骼关节样本数据库的训练图像作为模型训练的输入图像，把上述输入图像、图像骨骼关节标记框参数以及图像骨骼关节名称传输给模型反复训练，得出目标预测框参数(即：坐标、宽度以及高度)，实现基于物体坐标、类别检测识别骨骼关节的效果。一般地，于步骤s101b中，当模型与骨骼关节样本数据库训练图像反复训练的次数达到预设阀值时，如20万次，模型训练停止。

优选地，于步骤s101b后，还包括如下步骤：

步骤s101c，于模型训练停止后，将模型与骨骼关节样本数据库测试图像进行试运行测试，根据损失函数得出模型识别准确率，根据模型识别准确率确定最终的骨骼关节识别模型。

具体地，根据步骤s101b模型训练停止后，把模型与骨骼关节样本数据库测试图像进行试运行测试，根据损失函数得出模型识别准确率。若准确率达到预设阀值，如：80％，则确定当前骨骼关节识别模型为最终的模型，并把模型应用于现场识别；否则，重新调整模型网络结构且继续利用骨骼关节样本数据库训练图像反复训练，或者于骨骼关节样本数据库增加训练图像继续反复训练直至模型识别准确率达到预设阈值。在本发明具体实施例中，对于模型网络结构的调整，可以通过调整网络结构的层数来提高模型训练的模型识别准确率，例如：原来的网络结构是16层，由于识别准确率测试低于某阀值，则需要对当前网络结构的隐藏层进行扩展，即使网络结构的层数变成大于16，但本发明不以此为限。

在本发明具体实施例中，损失函数采用如下公式：

其中，x是相匹配的jaccard系数，c为置信度，l为预测框，g为标记框，n为预测框数量，conf为置信损失，loc为定位损失，α是权重项，默认设置为1。

步骤s2，通过获取教练各训练动作图像，基于所述骨骼关节识别模型建立标准动作数据库和各动作对应的标准区间。

具体地，如图4所示，步骤s2进一步包括：

步骤s200，通过图像采集装置获取教练各训练动作的多张静态图像，在本发明具体实施例中，图像采集装置采用摄像组件，也就是说，在现场中，通过摄像组件大量抓拍教练各训练动作视频，提取视频并以抽帧形式提取多张静态图像。所述摄像组件是由5个摄像头组成，分别布置在人体的正上方、正前方、正后方、正左方以及正右方，实现动作细节多角度抓拍。

步骤s201，基于所述骨骼关节识别模型识别教练各训练动作图像的骨骼关节，输出目标预测框参数。

步骤s202，对所述对上述模型输出的目标预测框参数进行转换，得出各图像骨骼关节所属中心点坐标，基于上述中心点，把各图像相邻的骨骼关节两两连接，形成大量人体骨骼关节图，建立标准动作数据库。

由于一个骨骼关节不同摆放，如：侧面、正面，该骨骼关节所属中心点也不同。因此，为了使获取的实施动作更准确，于步骤s202中，可通过现有工具，例如photoshop，对上述模型输出的目标预测框参数进行转换，得出各识别图像骨骼关节所属中心点坐标，然后基于上述中心点，把各图像相邻的骨骼关节两两连接，形成大量人体骨骼关节图，标准动作数据库建立完毕。

步骤s203，对教练的每个训练动作，基于相同骨骼关节，以其连接线所形成的夹角来分析每次重复动作，得出各动作对应的标准区间。

由于教练每个训练动作都会重复n次，因此，于步骤s203中，基于相同骨骼关节，以其连接线所形成的夹角来分析每次重复动作，得出各动作对应的标准区间。

步骤s3，获取用户各训练动作的多张静态图像，基于所述骨骼关节识别模型以及标准动作数据库和各动作对应的标准区间对用户的动作进行判断。

具体地，如图5所示，步骤s3进一步包括：

步骤s300，通过图像采集装置获取用户各训练动作的多张静态图像，在本发明具体实施例中，图像采集装置采用摄像组件，也就是说，在现场中，用户根据终端已录制的教程进行训练，通过摄像组件大量抓拍用户各训练动作视频，提取视频并以抽帧形式提取多张静态图像，所述摄像组件是由5个摄像头组成，分别布置在人体的正上方、正前方、正后方、正左方以及正右方。

步骤s301，基于所述骨骼关节识别模型识别用户各训练动作图像的骨骼关节，输出目标预测框参数，并对所述对上述模型输出的目标预测框参数进行转换，得出各图像骨骼关节所属中心点坐标，基于上述中心点，把各图像相邻的骨骼关节两两连接，形成用户骨骼关节图。也就是说，通过骨骼关节识别模型，识别用户各训练动作图像的骨骼关节；通过现有的工具，例如photoshop转换，得出各图像骨骼关节所属中心点坐标，并基于上述中心点，把图像已识别的相邻骨骼关节两两连接，形成用户骨骼关节图。

步骤s302，将用户骨骼关节图与标准动作数据库对应的骨骼关节图进行比对，输出比对结果。

由于2个骨骼关节连接可形成一条线段，两条线段连接可形成一个夹角，因此于步骤s302中，根据从上到下、从左到右的顺序把用户骨骼关节图与标准动作数据库对应的骨骼关节图进行比对，对于骨骼关节相同的连接线，基于一条线段重合，则判断与其连接的另一条线段所形成的夹角是否超出标准区间；若是，则提示错误，将用户动作实线显示，标准动作虚线显示，以便于用户区别；否则，则视为标准动作，不作提示。对于错误动作，用户修正动作，摄像组件实时获取，终端实时更新比对结果。

图6为本发明一种基于关节连接线的动作判断系统的系统架构图。如图6所示，本发明一种基于关节连接线的动作判断系统，包括：

骨骼关节识别模型建立及训练单元601，用于建立骨骼关节识别模型，并通过训练图像进行反复训练，以使所述骨骼关节识别模型能实现图像骨骼关节自动识别。

具体地，骨骼关节识别模型建立及训练单元601进一步包括：

骨骼关节样本数据库建立单元，用于建立骨骼关节样本数据库。

具体地，骨骼关节样本数据库建立单元首先基于人体骨骼关节的分布获取人体骨骼关节点(如：头部、左腕、右踝等)的不同角度的静态图像，并对其进行灰度处理，然后基于灰度图像的总数量，把图像分成训练图像和测试图像两类进行存储，以建立所述骨骼关节样本数据库；其中，前者用于模型训练，后者用于模型测试。具体地，可利用摄像头从不同角度大量抓拍上述骨骼关节的静态图像，并对其进行灰度处理，骨骼关节样本数据库建立单元将骨骼关节图像经过灰度处理后变成灰度图像。本发明通过对图像先进行灰度处理再进行后续处理，不但提高图像处理效率，而且不会影响图像纹理特征。在本发明具体实施例中，灰度图像均存储在本地服务器上

模型建立训练单元，用于建立骨骼关节识别模型，通过对骨骼关节样本数据库的样本图像的骨骼关节进行矩形框标记，得到各图像的各骨骼关节标记框的各参数，并利用骨骼关节样本数据库的训练图像对所建立的骨骼关节识别模型进行反复训练，使其可实现骨骼关节的自动识别。

在本发明具体实施例中，模型建立训练单元具体用于：

对骨骼关节样本数据库的所有样本图像的骨骼关节作矩形框标记，得到各骨骼关节标记框坐标、宽度以及高度参数。

建立骨骼关节识别模型，将所述骨骼关节样本数据库训练图像作为模型训练的输入图像，进行反复训练，得出目标预测框参数，以实现骨骼关节的自动识别。在本发明具体实施例中，骨骼关节识别模型采用ssd(singleshotmultiboxdetector，单次目标检测器)算法实现。该算法直接预测边界框坐标和类别对象检测，没有生成proposal过程，模型结构更简单，检测速度更快。也就是说，建立骨骼关节识别模型，然后基于ssd算法，把骨骼关节样本数据库的训练图像作为模型训练的输入图像，把上述输入图像、图像骨骼关节标记框参数以及图像骨骼关节名称传输给模型反复训练，得出目标预测框参数(即：坐标、宽度以及高度)，实现基于物体坐标、类别检测识别骨骼关节的效果。一般地，当模型与骨骼关节样本数据库训练图像反复训练的次数达到预设阀值时，如20万次，模型训练停止。

于模型训练停止后，将模型与骨骼关节样本数据库测试图像进行试运行测试，根据损失函数得出模型识别准确率，根据模型识别准确率确定最终的骨骼关节识别模型。也就是说，当模型训练停止后，把模型与骨骼关节样本数据库测试图像进行试运行测试，根据损失函数得出模型识别准确率。若准确率达到预设阀值，如：80％，则确定当前骨骼关节识别模型为最终的模型，并把模型应用于现场识别；否则，重新调整模型网络结构，且继续利用骨骼关节样本数据库训练图像反复训练，或者于骨骼关节样本数据库增加训练图像继续反复训练直至模型识别准确率达到预设阈值。

标准动作数据库及各动作标准区间建立单元602，用于通过获取教练各训练动作图像，基于所述骨骼关节识别模型建立标准动作数据库和各动作对应的标准区间。

具体地，标准动作数据库及各动作标准区间建立单元602进一步包括：

图像采集单元，用于通过图像采集装置获取教练各训练动作的多张静态图像，在本发明具体实施例中，图像采集装置采用摄像组件，也就是说，在现场中，图像采集单元通过摄像组件大量抓拍教练各训练动作视频，提取视频并以抽帧形式提取多张静态图像。所述摄像组件是由5个摄像头组成，分别布置在人体的正上方、正前方、正后方、正左方以及正右方，实现动作细节多角度抓拍。

骨骼关节识别单元，用于基于所述骨骼关节识别模型识别教练各训练动作图像的骨骼关节，输出目标预测框参数。

标准动作数据库建立单元，用于对所述对上述模型输出的目标预测框参数进行转换，得出各图像骨骼关节所属中心点坐标，基于上述中心点，把各图像相邻的骨骼关节两两连接，形成大量人体骨骼关节图，建立标准动作数据库。

由于一个骨骼关节不同摆放，如：侧面、正面，该骨骼关节所属中心点也不同。因此，为了使获取的实施动作更准确，标准动作数据库建立单元可通过现有工具，例如photoshop，对上述模型输出的目标预测框参数进行转换，得出各识别图像骨骼关节所属中心点坐标，然后基于上述中心点，把各图像相邻的骨骼关节两两连接，形成大量人体骨骼关节图，以建立标准动作数据库。

各动作标准区间确定单元，用于对教练的每个训练动作，基于相同骨骼关节，以其连接线所形成的夹角来分析每次重复动作，得出各动作对应的标准区间。

由于教练每个训练动作都会重复n次，因此，于步骤s203中，基于相同骨骼关节，以其连接线所形成的夹角来分析每次重复动作，得出各动作对应的标准区间。

动作判断单元603，用于获取用户各训练动作的多张静态图像，基于所述骨骼关节识别模型以及标准动作数据库和各动作对应的标准区间对用户的动作进行判断。

具体地，动作判断单元603进一步包括：

图像采集单元，通过图像采集装置获取用户各训练动作的多张静态图像，在本发明具体实施例中，图像采集装置采用摄像组件，也就是说，在现场中，用户根据终端已录制的教程进行训练，通过摄像组件大量抓拍用户各训练动作视频，提取视频并以抽帧形式提取多张静态图像，所述摄像组件是由5个摄像头组成，分别布置在人体的正上方、正前方、正后方、正左方以及正右方。

用户骨骼关节图获取单元，用于基于所述骨骼关节识别模型识别用户各训练动作图像的骨骼关节，输出目标预测框参数，并对所述对上述模型输出的目标预测框参数进行转换，得出各图像骨骼关节所属中心点坐标，基于上述中心点，把各图像相邻的骨骼关节两两连接，形成用户骨骼关节图。

比对单元，用于将用户骨骼关节图与标准动作数据库对应的骨骼关节图进行比对，输出比对结果。

由于2个骨骼关节连接可形成一条线段，两条线段连接可形成一个夹角，因此比对单元根据从上到下、从左到右的顺序把用户骨骼关节图与标准动作数据库对应的骨骼关节图进行比对，对于骨骼关节相同的连接线，基于一条线段重合，则判断与其连接的另一条线段所形成的夹角是否超出标准区间；若是，则提示错误，将用户动作实线显示，标准动作虚线显示，以便于用户区别；否则，则视为标准动作，不作提示。对于错误动作，用户修正动作，摄像组件实时获取，终端实时更新比对结果。

图7为本发明具体实施例中骨骼关节识别模型的建立及训练、测试流程示意图，图8为本发明具体实施例中之基于骨骼关节识别模型的基于关节连接线的动作判断过程示意图。以下将配合图7及图8说明本发明的流程：

s1，建立骨骼关节样本数据库。

在本发明具体实施例中，基于人体骨骼关节的分布，把人体定义由20个骨骼关节组成，分别是：颅骨(头部)、颈椎(颈部)、胸椎(胸部)、腰椎(腰部)、左肩、右肩、左肘、右肘、左腕、右腕、左指骨(左手)、右指骨(右手)、左髋、右髋、左膝、右膝、左踝、右踝、左趾骨(左脚)、右趾骨(右脚)。

基于人体骨骼关节的分布，通过摄像头从不同角度大量抓拍上述骨骼关节的静态图像，提取图像并对其进行灰度处理；其中，灰度处理，不但提高图像处理效率，而且不会影响图像纹理特征。

上述骨骼关节图像经过灰度处理，变成灰度图。基于灰度图总数量，系统把图像分成训练图像和测试图像这两类；其中，前者用于模型训练，后者用于模型测试，灰度图均存储在本地服务器上，骨骼关节样本数据库建立完毕。

s2：建立模型，实现骨骼关节识别。

s2.1，通过标记程序得出各样本图像骨骼关节的标记框坐标、宽度以及高度参数。

基于骨骼关节样本数据库，得到了大量人体骨骼关节图像。由于骨骼关节是连同与其相邻的人体部位，难以实现针对性抓拍，如：拍摄左腕时，也会把左小臂和左手的一部分一同拍摄。为了确保模型训练样本的质量，系统通过标记程序，对所有样本图像的骨骼关节作矩形框标记，一张样本图像对应一个骨骼关节，得出各样本所属骨骼关节的标记框坐标、宽度以及高度参数。

s2.2，建立模型，与训练图像反复训练，实现图像骨骼关节自动识别。

在本发明具体实施例中，骨骼关节识别模型采用ssd算法。该算法直接预测边界框坐标和类别对象检测，没有生成proposal过程，模型结构更简单，检测速度更快。于步骤s2.2中，建立模型，基于ssd算法，把骨骼关节样本数据库训练图像作为模型训练的输入图像，把上述输入图像、图像骨骼关节标记框参数以及图像骨骼关节名称传输给模型反复训练，得出目标预测框参数(即：坐标、宽度以及高度)，实现基于物体坐标、类别检测识别骨骼关节的效果。以下是目标预测框相关参数的计算公式：

以下是本发明具体实施例中目标预测框相关参数的计算公式：

1、预测框大小的计算公式：

其中，smin是0.2，表示最底层大小是0.2；smax是0.9，表示最高层大小是0.9；m代表特征图(featuremap)个数。

2、以下数据是基于预测框大小得出的纵横比，这里一共有5种纵横比。

3、预测框宽度计算公式：

4、计算预测框高度计算公式：

s2.3，判断训练是否达到系统设置阈值，若没有，则返回步骤s2.2继续训练，否则进入步骤s2.4。也就是说

当模型与骨骼关节样本数据库训练图像反复训练的次数达到系统设定阀值，如：20万次，模型训练停止。

步骤s2.4，将模型与骨骼关节样本数据库测试图像进行试运行测试，根据损失函数得出模型识别准确率。

步骤s2.5，判断模型识别准确率是否达到系统设置阈值，若模型识别准确率达到某一阀值，如：80％，则把模型应用于现场识别；否则，重新调整模型网络结构，且继续与骨骼关节样本数据库训练图像反复训练，或者于骨骼关节样本数据库增加训练图像继续反复训练直至模型识别准确率达到预设阈值。损失函数采用如下公式：

其中，x是相匹配的jaccard系数，c为置信度，l为预测框，g为标记框，n为预测框数量，conf为置信损失，loc为定位损失，α是权重项，默认设置为1。

s3，通过摄像组件大量抓拍教练各训练动作视频，基于模型和现成工具，得到图像识别的骨骼关节及其所属中心点。也就是说，在现场中，首先通过摄像组件大量抓拍教练各训练动作视频，系统提取视频并以抽帧形式提取多张静态图像。所述摄像组件是由5个摄像头组成，分别布置在人体的正上方、正前方、正后方、正左方以及正右方，实现动作细节多角度抓拍；然后基于模型，识别教练各训练动作图像的骨骼关节；由于一个骨骼关节不同摆放，如：侧面、正面，该骨骼关节所属中心点也不同，为了使获取的实施动作更准确，通过现成工具，如：photoshop，对上述模型输出的目标预测框参数进行转换，得出各识别图像骨骼关节所属中心点坐标；

步骤s4，基于上述中心点，把各图像相邻的骨骼关节两两连接，得到大量标准动作骨骼关节图，建立标准动作数据库及各动作标准区间。

在本发明具体实施例中，对于头部转向判断，根据同一水平位置的眼睛大小比例定义转动方向以及角度，如：头部转向左边，左眼比右眼小，根据当前两眼的大小比例得出转动角度。

由于教练每个训练动作都会重复n次，系统基于相同骨骼关节，以其连接线所形成的夹角来分析每次重复动作，得出各动作对应的标准区间。

s5，通过摄像组件大量抓拍、模型识别、现成工具转换以及相邻骨骼关节连接，得到用户骨骼关节图。也就是说，在现场中，用户根据终端已录制的教程进行训练。通过摄像组件大量抓拍用户各训练动作视频，系统提取视频并以抽帧形式提取多张静态图像。所述摄像组件是由5个摄像头组成，分别布置在人体的正上方、正前方、正后方、正左方以及正右方；通过模型，识别用户各训练动作图像的骨骼关节；通过现成工具转换，得出各图像骨骼关节所属中心点坐标。基于上述中心点，把图像已识别的相邻骨骼关节两两连接，形成用户骨骼关节图。

s6，将用户骨骼关节图与对应的标准动作骨骼关节图进行比对。由于2个骨骼关节连接可形成一条线段，两条线段连接可形成一个夹角，因此，可根据从上到下、从左到右的顺序把用户骨骼关节图与标准动作数据库对应的骨骼关节图进行比对，对于骨骼关节相同的连接线，基于一条线段重合，判断与其连接的另一条线段所形成的夹角是否超出标准区间；若是，终端提示错误，用户动作实线显示，标准动作虚线显示，便于用户区别；否则，视为标准动作，不作提示，对于错误动作，用户修正动作，摄像组件实时获取，终端实时更新比对结果。

综上所述，本发明一种基于关节连接线的动作判断方法及系统基于人体骨骼关节的分布，建立骨骼关节识别模型反复训练各骨骼关节多角度的特征信息，实现了图像骨骼关节自动识别，使得动作判断细致到各骨骼关节，避免实施动作部位容易识别错误的情况发生，使动作判断更准确、全面，同时，本发明基于各骨骼关节所属中心点，把相邻骨骼关节两两连接，形成人体骨骼关节图，因而以中心点为连接点，无论人体各骨骼关节如何摆放，也能准确获取当前实施动作及其骨骼关节之间所形成的夹角，足以应对人体任何动作的获取，把实施动作简化成骨骼关节图，便于实施动作与标准动作比对，提高计算机图像处理效率且节省存储空间。

发明不限于人类各项运动的动作判断，也可应用于机器各种运作当中，从而达到判断机器是否正常运作的效果。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。