一种用户跑步姿态分析方法、装置、跑步机及存储介质与流程

文档序号:31793436发布日期:2022-10-14 16:35阅读:来源:国知局

技术特征:
1.一种用户跑步姿态分析方法,其特征在于,包括:从摄像头捕获的用户跑步视频中提取设定帧数的人体下半身图像;根据从各所述人体下半身图像中确定的骨骼关键点,构建关键点坐标矩阵;根据所述关键点坐标矩阵,确定人体下半身中各骨骼关键点对应的语义特征信息;通过对各所述语义特征信息的分析,确定用户跑步时所关联身体部位的跑步姿态。2.根据权利要求1所述的方法,其特征在于,所述根据从各所述人体下半身图像中确定的骨骼关键点,构建关键点坐标矩阵,包括:针对各所述人体下半身图像,将所述人体下半身图像作为输入数据,输入骨骼点提取网络模型,获得输出的骨骼关键点热力图;对所述骨骼关键点热力图通过峰值计算方法进行解码处理,获得所述人体下半身图像所对应设定个数的骨骼关键点坐标;汇总各所述人体下半身图像的骨骼关键点坐标,形成以骨骼关键点坐标为元素,以所述设定帧数为行数、所述设定个数为列数的关键点坐标矩阵。3.根据权利要求1所述的方法,其特征在于,所述根据所述关键点坐标矩阵,确定人体下半身中各骨骼关键点对应的语义特征信息,包括:对所述关键点坐标矩阵按照确定的关键点关联关系进行空间划分,获得所确定矩阵个数的关键点坐标子矩阵;针对每个关键点坐标子矩阵,将所述关键点坐标子矩阵作为输入数据,输入至相应的神经网络模型,获得所述关键点坐标子矩阵所包括各关联骨骼点对应的语义特征向量,并记为语义特征信息。4.根据权利要求3所述的方法,其特征在于,所述对所述关键点坐标矩阵按照确定的关键点关联关系进行空间划分,获得所确定矩阵个数的关键点坐标子矩阵,包括:确定用户跑步时人体下半身关联的关联身体部位,将确定出的关联身体部位的个数确定为所述矩阵个数;确定构成各所述关联身体部位的关联骨骼点集,其中,所述关联骨骼点集中包含相对所述关联身体部位具备关键点关联关系的所有关联骨骼点;针对每个关联骨骼点集,从所述关键点坐标矩阵中提取所述关联骨骼点集内各关联骨骼点对应的列信息,并基于各所述列信息形成相应的关键点坐标子矩阵;获得所述矩阵个数的关键点坐标子矩阵。5.根据权利要求3所述的方法,其特征在于,所述矩阵个数的取值为4;所述矩阵个数的关键点坐标子矩阵分别为:表征左膝盖的第一关键点坐标子矩阵、表征右膝盖的第二关键点坐标子矩阵、表征左脚踝的第三关键点坐标子矩阵以及表征右脚踝的第四关键点坐标子矩阵。6.根据权利要求5所述的方法,其特征在于,各所述关键点坐标子矩阵对应的神经网络模型为自适应图卷积网络模型;所述自适应图卷积网络模型的运算中采用邻接矩阵来表征各个关联骨骼点之间的关系,并通过对各邻接矩阵中元素值的确定,来确定各关联骨骼点的语义特征向量;所述邻接矩阵中的元素值至少通过下述三种方式表征并确定:基于人体骨骼的物理连接来表征元素值;
基于训练集中样本数据进行训练和学习后确定的节点关联强度来表征元素值;基于输入数据且不依赖于训练集数据的关键点特征来表征元素值。7.根据权利要求5所述的方法,其特征在于,与所述第一关键点坐标子矩阵对应的第一自适应图卷积网络模型,以及与所述第二关键点坐标子矩阵对应的第二自适应图卷积网络模型,运算中所采用邻接矩阵的行列大小均设定为3*3;与所述第三关键点坐标子矩阵对应的第三自适应图卷积网络模型,以及与所述第四关键点坐标子矩阵对应的第四自适应图卷积网络模型,运算中所采用邻接矩阵的行列大小均设定为5*5。8.根据权利要求3-7任一项所述的方法,其特征在于,所述通过对各所述语义特征信息的分析,确定用户跑步时所关联身体部位的跑步姿态,包括:针对每个关键点坐标子矩阵,将相应的语义特征信息输入至预先训练的姿态分类器,获得所述关键点坐标子矩阵所关联身体部位相对各跑步姿态的匹配得分值;将最高匹配得分值对应的跑步姿态确定为相应身体部位的当前跑步姿态;其中,所述跑步姿态包括正常跑步、外翻跑步以及内扣跑步。9.根据权利要求8所述的方法,其特征在于,所述姿态分类器中至少包括:级联全连接层、激活层、批量归一化层以及逻辑回归层。10.一种用户跑步姿态分析装置,其特征在于,包括:图像提取模块,用于从摄像头捕获的用户跑步视频中提取设定帧数的人体下半身图像;矩阵确定模块,用于根据从各所述人体下半身图像中确定的骨骼关键点,构建关键点坐标矩阵;特征确定模块,用于根据所述关键点坐标矩阵,确定人体下半身中各骨骼关键点对应的语义特征信息;姿态确定模块,用于通过对各所述语义特征信息的分析,确定用户跑步时所关联身体部位的跑步姿态。11.一种跑步机,包括:底座、立柱、设置于立柱顶端的智能交互装置,其特征在于,还包括:存储器、一个或多个控制器,以及设置于所述立柱指定位置的摄像机;所述摄像机,用于捕获用户跑步时的视频流;所述存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个控制执行,使得所述一个或多个控制器实现如权利要求1-9任一所述的方法。12.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机控制器执行时用于执行如权利要求1-9所述的方法。

技术总结
本申请公开了一种用户跑步姿态分析方法、装置、跑步机及存储介质,该方法包括从摄像头捕获的用户跑步视频中提取设定帧数的人体下半身图像;根据从各所述人体下半身图像中确定的骨骼关键点,构建关键点坐标矩阵;根据所述关键点坐标矩阵,确定人体下半身中各骨骼关键点对应的语义特征信息;通过对各所述语义特征信息的分析,确定用户跑步时所关联身体部位的跑步姿态。利用该方法,采用了视频流中的多帧人体下半身图像作为姿态分析的输入,由此保证了相对用户动态跑步过程中更为鲁棒的姿态分析结果,同时,姿态分析实现中对多帧人体下半身图像进行的骨骼关键点检测,也有效降低了关键点预测错误的概率,提高了姿态分析结果的准确率和有效性。确率和有效性。确率和有效性。


技术研发人员:贾玮
受保护的技术使用者:广州源动智慧体育科技有限公司
技术研发日:2021.04.06
技术公布日:2022/10/13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1