一种无障碍跳绳的识别方法与流程

本发明涉及跳绳识别，更具体地，涉及一种无障碍跳绳的识别方法。

背景技术：

1、跳绳作为是一种比较受欢迎的消遣方式，同时在减肥和运动锻炼的这些人中也广受欢迎。跳绳所消耗的千卡路里以及其他出色的健康益处，使这项活动成为很多人减肥锻炼身体的一项选择。

2、现有的跳绳方式都以购买实体跳绳工具为主，这对跳绳的空间有一定要求，跳绳的过程中，绳索在进行误操作时会造成使用者或旁边人员的身体损伤，具有风险性；还有一种跳绳方式，使用者通过将带有摄像头的设备(比如智能手机)对准其环境通使用跳绳杆进行跳绳，通过对图像视频的提取特征，进行实时统计跳绳数，使用者即可进行模拟跳绳，这就要求提取特征的相机放在准确位置，确保图像里人体姿态和手势能正确捕捉，如果出现运动模糊、虚焦、遮挡等情况，容易降低时空一致性。因此，这种虚拟跳绳的方式，需要较为严格的拍摄角度，需依赖网络，高延迟，使用者在跳绳时，就不能有人出现在摄像头前，如果跳绳的速度过快也会影响准确度。

技术实现思路

1、本发明的目的在于提供一种无障碍跳绳的识别方法，该方法利用lstm+crf进行动作一致性检测，并对全部动作特征序列化统计，从而获得跳绳一圈的完整数据，不需要严格的拍摄角度，不需依赖网络，缩小延迟，遮挡的情况下也可使用，准确度高。

2、为达到上述目的，提供了一种无障碍跳绳的识别方法，包括以下步骤：

3、步骤s1.制作动作数据集；所述动作数据集包括若干个以空间直角坐标系轴的坐标顺序组成的动作；所述坐标经过数据处理；

4、步骤s2.为动作定义实体标签；所述实体标签包括下方向标签b、左方向标签l、上方向标签t、右方向标签r；

5、步骤s3.将动作数据集按一定比例划分成训练集、测试集，并对动作数据集进行数据清洗；

6、步骤s4.在动作的前后额外添加开始标签s和结束标签e；

7、步骤s5.建立模型，采用pytorch深度学习架构搭配lstm网络，设置lstm网络的层数包括隐藏层和线性层，所述动作序列为若干个动作的序列；并按句长为180的长度，输入一个动作序列x＝(x1，x2，x3，...，xn)，其中x表示n个动作的数组；经过embedding后输入到lstm网络中，经过隐藏层作用后得到每个实体标签的分数；创建crf层，所述crf层用于增加实体标签的约束；

8、步骤s6.将步骤s5的分数作为发射矩阵传入crf层；

9、步骤s7.计算crf层的标签转移得分；包括以下子步骤：

10、步骤s71.假设crf层里的上一个时刻的实体标签为yi，下一个时刻的实体标签为yi+1，序列x有m个可能的实体标签时，会有mn个实体标签，即y＝(y1，y2，y3，...，yn)，假设每个标签得分为score(y)，通过softmax归一化求出某个标签结果的概率全部路径对应分数的指数和为z＝∑yescore(y)，选择概率最大的动作序列作为标签结果，从而得出若干个实体序列：所述实体序列为实体标签序列；

11、步骤s72.计算出lstm网络里每个动作xi对应的标签得分分布为ei，将发射矩阵的各个维度标签向量的得分加起来得到节点分数ei[yi]，对于crf层来说，假设存在一个转移矩阵t，则t[i，j]代表标签i转移到标签j的转移概率，当计算yi1到yi+1的转移概率，最后把所有分数相加可得x对应的标签序列y的分数，即：

12、

13、步骤s8.训练模型；使用损失函数进行训练；

14、步骤s9.验证模型；将测试集的动作数据集输入到步骤s8训练好的模型进行识别，然后根据分数得出的方向序列是否符合约束来判断是否完成跳绳一圈。

15、特别的，所述步骤s1中，经过数据处理的坐标的具体方法为：保留坐标的3位整数和1位小数，不全则补零。

16、特别的，所述实体标签还包括其他标签0。

17、特别的，所述所述步骤s3中的数据清洗的具体方法为将动作数据集中坐标偏差小于1的数据进行清洗。

18、特别的，所述动作数据集按训练集、测试集的比例按8：2的比例划分。

19、特别的，所述隐藏层的维度为512，能够将海量动作序列编码成420维的向量。

20、特别的，所述步骤s8中，损失函数为负对数似然函数，即loss＝-logp(y|x)；y为x对应的真实标签数据；而对数形式如下：

21、logp(y|x)＝s(x，y)-log(∑y‘∈yxscore(x，y))。

22、特别的，所述步骤s9中，所述约束具体为：若动作序列里包含一个顺序为下方向标签b、左方向标签l、上方向标签t、右方向标签r的动作或动作序列里包含一个顺序为下方向标签b、、右方向标签r、上方向标签t、左方向标签l则判断为跳绳一圈，否则判断为当前跳绳一圈未完成。

23、本发明的技术原理和有益效果如下所示：

24、跳绳是单一方向(正向或反向)的连续动作的特性，其具有的序列特征，本发明采用lstm进行序列标注，然后再利用标签转移矩阵对标签移动关系进行建模，最后根据得出方向序列是否符合约束，从而识别出跳绳一圈的完整性。

25、使用本发明不需要购买实体跳绳工具，导出训练过模型后可通过智能手机加载识别，满足更多场合，避免真实绳索在误操作时造成身体损伤。

26、本发明与视频图像采样的方法相比，不需要严格的拍摄角度，本地根据旋转角度学习和识别，无需依赖网络，低延迟。

技术特征：

1.一种无障碍跳绳的识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种无障碍跳绳的识别方法，其特征在于，所述步骤s1中，经过数据处理的坐标的具体方法为：保留坐标的3位整数和1位小数，不全则补零。

3.根据权利要求1所述的一种无障碍跳绳的识别方法，其特征在于，所述实体标签还包括其他标签0。

4.根据权利要求1所述的一种无障碍跳绳的识别方法，其特征在于，所述所述步骤s3中的数据清洗的具体方法为将动作数据集中坐标偏差小于1的数据进行清洗。

5.根据权利要求1所述的一种无障碍跳绳的识别方法，其特征在于，所述动作数据集按训练集、测试集的比例按8：2的比例划分。

6.根据权利要求1所述的一种无障碍跳绳的识别方法，其特征在于，所述隐藏层的维度为512，能够将海量动作序列编码成420维的向量。

7.根据权利要求1所述的一种无障碍跳绳的识别方法，其特征在于，所述步骤s8中，损失函数为负对数似然函数，即loss＝-logp(y|x)；y为x对应的真实标签数据；而对数形式如下：

8.根据权利要求1所述的一种无障碍跳绳的识别方法，其特征在于，所述步骤s9中，所述约束具体为：若动作序列里包含一个顺序为下方向标签b、左方向标签l、上方向标签t、右方向标签r的动作或动作序列里包含一个顺序为下方向标签b、、右方向标签r、上方向标签t、左方向标签l则判断为跳绳一圈，否则判断为当前跳绳一圈未完成。

技术总结
本发明公开一种无障碍跳绳的识别方法，包括以下步骤：制作动作数据集；为动作定义实体标签；将动作数据集按一定比例划分成训练集、测试集，并对动作数据集进行数据清洗；在动作的前后额外添加开始标签S和结束标签E；建立模型，得到每个实体标签的分数；创建CRF层，所述CRF层用于增加实体标签的约束；将分数作为发射矩阵传入CRF层；计算CRF层的标签转移得分；训练模型；验证模型。本发明利用LSTM+CRF进行动作一致性检测，并对全部动作特征序列化统计，从而获得跳绳一圈的完整数据，不需要严格的拍摄角度，不需依赖网络，缩小延迟，遮挡的情况下也可使用，准确度高。

技术研发人员：黄彬,韦光亮,蒙超毅,顾小宁,滕毅有
受保护的技术使用者：广西慧云信息技术有限公司
技术研发日：
技术公布日：2024/1/12