一种基于Kinect的健身指导训练系统及方法与流程

本发明涉及运动健身设备技术领域，尤其涉及一种基于虚拟场景的交互式健身系统及方法。

背景技术

随着社会不断地发展和进步，人们的生活水平逐步提高，步入运动健身行列的人群也越来越多，各类健身产品及健身房也逐渐遍及城市的各个角落，如：踏步机、哑铃、健腹轮、拉力绳等都是常见的室内健身器材。据调查发现，这些健身器材虽能在一定程度上满足人们的健身需求，但在用户体验上不可避免会出现枯燥乏味、难以坚持等问题。同时，普通用户在没有健身教练的专业指导下难以规范化使用这些健身器材，难以根据自身训练情况与目标制定针对性的健身计划，进而无法保证训练的安全性与有效性。此外，专业健身教练短缺且费用相对昂贵。

为解决聘请健身教练费用昂贵等问题，部分用户采取下载视频教程来进行训练指导，但这种视频指导方式仅为单向的动作示范指导，用户无法(或不易)获得自身动作规范程度信息反馈，造成用户不能及时矫正自身动作姿势的情况。

如今，kinect设备作为一款较为成熟的虚拟交互设备，可精确跟踪获取用户20个关节点信息，为用户提供视、听觉等方面的反馈，被广泛的应用到运动、康复、教育等各个领域。近年来，国内外学者关于kinect与健身训练结合方面也开展了研究并取得了众多成果，但目前已有的方案中尚存在部分缺陷，如公开号cn107115675a一种基于kinect的体育健身游戏系统及实现方法，通过设置游戏场景来提高用户的健身积极性与沉浸感，却无法对用户健身姿势进行评估指导，进而难以促进用户快速养成正确、规范的健身动作。又如，公开号为cn205379594a一种虚拟场景健身系统，提出将虚拟场景与健身器械结合训练方式以激发运动乐趣，但存在训练难度、训练量不能根据用户个体差异进行自适应调整等缺陷。如何合理的将虚拟技术与现有的健身器械结合，组建一套具有专业健身指导、姿态纠正、训练强度自适应调整功能的人机交互训练系统是目前健身市场急需的一套产品。

技术实现要素：

为解决上述技术问题，本发明提供一种将多种健身器械与kinect传感器进行有机结合，同时具有健身姿势评估指导，训练难度自适应调整、虚拟场景交互功能的健身指导训练系统及方法。

本发明的目的是通过以下技术方案实现的：

一种基于kinect的健身指导训练系统，包括

健身器材，可为用户提供一定大小的运动阻力以达到增强肌肉力量的目的，同时提供触觉方面的反馈；

kinect传感器，用于采集用户的20个肢体关节点位置信息，并通过usb串口将捕获的人体彩色视频流、深度流、音频流等信息传输到计算机主机；

大屏显示器，用于为用户提供健身训练过程中的视、听觉方面的反馈，方便用户及时纠正、规范自身的健身姿势；

计算机主机，用于接收kinect传感器的姿态信息和用于传输数据信息和音频信息；

音响，用于播放音频信息；

健身管理系统，用于对数据进行分析处理、评估用户与虚拟健身教练间的交互情况后由大屏显示器、音响设备等外设输出。

作为本发明的进一步方案：所述健身管理系统包括

数据管理模块，用于记录健身用户的基本信息和用户训练数据，通过数据深入挖掘分析，为用户推荐具有个性化、科学性的健身方案；

健身指导模块，设有虚拟健身教练分别从视频、语音、文字三方面对用户训练动作进行解析和示范指导，同时针对用户不规范及错误动作进纠正提示；

训练控制模块，可实现用户虚拟人物控制、训练难度自适应调整，健身训练节奏快慢控制；

训练评估模块，包含一种基于关节坐标点三维信息的动作姿态规范度评估方式。

作为本发明的进一步方案：所述健身管理系统还包括健身数据云端管理模块，利用tcp/ip协议将记录在数据管理模块中的用户数据实时同步到云端服务器中，用户可通过手机app申请访问云服务器中存储的个人健身数据报表和健身方案。

一种基于kinect的健身指导训练方法，包括以下步骤：

步骤1，用户注册账号，填写基本信息，并登陆健身管理系统；

步骤2，用户做出启动姿势，直到kinect传感器跟踪到目标用户，进行菜单选择，设置训练关节部位、强度等级、背景音乐等；

步骤3，用户选择(或制定)本次健身训练计划；

步骤4，用户选择相应的健身辅助器械，进入训练环节；

步骤5，虚拟健身教练开始指导，用户通过场景中的虚拟人物动作和教练的语音提示来修正自身动作，直到动作规范达标，训练动作次数便会增加一次；

步骤6，用户达到当前项目的目标次数后，进入下一训练项，直到所有训练完成，系统输出本次训练相关数据并以报表和曲线形式展示给用户；

步骤7，训练统计数据上传到健身云端服务器，用户可利用手机app实时下载健身数据信息，及时了解自身健身情况。

本发明的有益效果在于：

s1：健身用户可选择不同器械与虚拟场景相结合，通过引入动作评估纠正和视、听、触觉多方面反馈来及时修正、规范健身动作，达到快速养成规范健身效果。

s2：训练难度系数系统自适应调整。实时评估用户健身动作，根据其完成效果自适应改变动作触发阈值或项目种类以调整训练难度系数，同时还可通过不同健身器械(如不同重量的哑铃)、训练次数、训练时间来调整训练难度。

s3：健身训练节奏快慢实现用户主动控制。在系统检测到用户完全正确完成某一健身动作时，训练次数便自动增加一次，直到用户完成本项训练设定的目标次数后方可进入下个一训练项目。

附图说明

图1为本发明的系统总体组成示意图；

图2为本发明主要模块的结构框图；

图3为本发明人体关节骨骼点分布图；

图4为本发明健身管理系统训练界面实施例示意图；

图5为本发明的健身训练过程的实现方法流程图；

图中：1、返回上一级，2、上一次训练项目，3、当前训练项目的目标训练次数与已完成动作次数，4、虚拟健身教练动作示范指导，5、当前训练项目名称，6、音频提示开关，7、用户虚拟交互模型，8、训练动作关键点提示内容，9、训练时间记录，10、下一训练项目，11、暂停当前训练。

具体实施方式

为了更充分的解释本发明的实施，以下提供本发明的实施实例，这些实例仅仅是对本发明的阐述，不限制本发明的范围。

实施例如下：

参照图1，本实施例公开了一种基于kinect的健身指导训练系统及方法的结构框图，包括健身硬件与内置系统软件两大部分，

本实施例中的健身硬件设备主要包括健身器械、kinect传感器、计算机主机、音响设备、大屏显示器及必要的健身场所、供电设备等组成。

所述健身器械包括(但不限于)哑铃、弹力绳、健腹轮、瑜伽垫、单杠等常见易获取且对用户身体遮挡范围小的健身器械。一方面，为用户在训练过程中提供一定大小的运动阻力以达到增强肌肉力量的锻炼目的；另一方面，这些器械可为用户在虚拟环境训练中提供触觉方面的反馈，增加与健身器械间的交互性、提高用户的体验度。

所述kinect传感器为微软推出的基于体感交互的人机交互设备，用于采集用户的20个肢体关节信息。其内部包括红外摄像头、彩色摄像头、麦克风阵列、usb串口传输模块等，所述红外摄像头通过红外线对用户的远近距离进行采集，经过内部cpu计算得到用户和场景的深度数据；所述usb串口传输模块，将捕获的彩色视频流、深度流、音频流等数据信息传输到计算机主机中。

所述计算机主机为日常生活所使用的电脑，安装有健身管理系统软件，同时与kinect传感器、大屏显示器、音响等外部设备相连，其功能主要包括对传感器获取的数据进行处理、分析与虚拟训练场景渲染等功能。所述大屏显示器、音响设备分别将虚拟交互场景中的视频与音频信息进行实时输出，为用户健身训练提供视、听觉方面的反馈。显示器尺寸尽量偏大可以为用户提供更好沉浸效果，提高用户的体验度。

参照图2，本实施例中健身管理系统部分主要由数据管理模块、健身指导模块、训练控制模块、训练评估模块四大模块及扩展健身数据云端管理模块组成，可实现用户肢体关节信息采集与姿态动作评估、虚拟健身动作指导与错误健身姿势纠正、健身训练节奏主动控制与难度自适应调整、用户健身数据管理与科学健身训练规划四个方面的功能。

下面结合图2所示的四大模块如何完成上述四大功能进行详细叙述：

一、用户肢体关节信息采集与姿态动作评估

用户肢体关节信息采集通过微软kinect体感设备完成，其硬件组成主要包括彩色摄像头、红外线投影机和深度(红外)摄像头和四个线性麦克风阵列，在无遮挡情况下kinect可以获取其可视范围内的深度、彩色和骨骼数据、声音信息。kinect传感器通过串口每秒可向电脑主机传输30帧左右的骨骼数据，每一帧包含20个关节坐标点(参见图3)的三维信息(x，y，z)，并构成一副人体骨骼架构，三维坐标信息记录着人体各个关节在骨骼坐标系中的位置。所述骨骼坐标系：kinect所在位置为坐标原点，x轴与kinect平行，y轴向上垂直于kinect，z轴与kinect的朝向一致，向左为正半轴，整个坐标系符合右手螺旋法则。

用户姿态动作评估主要利用kinect传感器输出的20个人体关节骨骼点坐标之间的变化，结合运动特征分析得出基于骨骼信息的抬腿、双手侧平举、跳跃、下蹲等各种动作的识别算法。进一步可简述为：如果用户关节相对于kinect产生移动，相应的关节坐标信息便会发生变化，通过计算各关节点坐标的变化、关节连线间的角度变化情况即可判断出当前用户所完成的健身动作。

以用户双手侧平举健身动作举例示范：选取左腕(xwl，ywl，zwl)、右腕(xwr，ywr，zwr)、左肘(xel，yel，zel)、右肘(xer，yer，zer)、左肩(xsl，ysl，zsl)右肩(xsr，ysr，zsr)、肩膀中心(xsc，ysc，zsc)、脊柱(xsp，ysp，zsp)八个关节点坐标作为双手侧平举评估坐标点；左肘关节与左腕关节形成的向量右肘关节与右腕关节形成向量左肩关节与左肘关节形成向量右肩关节与右肘关节形成向量肩膀中心与脊柱形成的向量五个主要关节点连成的向量；左肘关节角度(左肩-左肘-左腕)右肘关节角度(右肩-右肘-右腕)左肩关节角度(脊柱中心-左肩-左肘)右肩角度(脊柱中心-右肩-右肘关节)四个关节角度。

当用户关节角度同时满足160°≤θer≤180°、160°≤θel≤180°、80°≤θsr≤100°、80°≤θsl≤100°四个条件的时候即可认为用户侧平举健身动作达到标准情况，此处80°、100°、160°、180°为设定的评估阈值，可以通过改变角度阈值的大小来评估当前用户动作的标准程度。

本实施例中还包含(但不限于)训练过程消耗热量估算、训练强度评估等部分。所述训练消耗热量估算，通过获取用户训练项目类型、每项项目训练的组次数、训练的累计时间长短、难度系数值等因素结合单位时间参考动作消耗的热量值估算用户训练消耗的卡路里值。

二、虚拟健身动作指导与错误健身姿势纠正

为解决普通用户在没有健身教练的专业指导下难以规范化完成健身动作问题，本发明引入虚拟技术为用户构建一位具有健身专业知识虚拟健身教练。所述健身教练可以为用户提供如图2健身指导模块所示的健身动作视频示范、健身动作文字介绍、健身方案推荐、语音互动交流功能。进一步，所述的健身动作文字介绍为对某一健身动作关键点与该动作主要锻炼肌肉部位进行简要介绍；所述的健身方案推荐，系统分析用户之前训练数据与健身目标后为用户智能推荐的个性化、科学健身方案；所述语音互动，虚拟健身教练在用户规范完成某一动作过程中或者训练完成时刻与用户进行一些语音和动作方面互动，诸如“继续加油、做得非常好”方面语音提示，以激发用户训练的积极性，增强人机交互效果。

为实现用户快速养成规范健身姿势，本发明所述虚拟健身教练设有错误动作纠正提醒，通过语音播放实时提醒用户健身过程中的不规范动作或错误动作，同时指出相应错误关节部位以方便用户及时修正自身的动作姿势。进一步地，

错误动作提醒通过计算完成目标动作用户实际的关节间角度、关节点坐标与完成目标动作预先设定的关节点坐标、关节间角度之间的差异大小是否超出设定阈值来评估用户动作的规范程度及错误动作判断。

三、健身训练节奏主动控制与难度自适应调整

为进一步增强健身用户训练过程中的主动性、训练体验感，本发明引入图2所示的训练控制模块，包含(但不限于)训练动作组次数控制、用户虚拟人物控制、训练动作项目切换、背景音乐控制、难度自适应调整部分功能。进一步，所述的用户虚拟人物控制，为计算机提取的用户各个关节点坐标信息后映射到虚拟场景中的人物模型关节点相应坐标，以同步生成用户的肢体动作，方便用户及时获得自身动作姿势方面的反馈。

健身训练节奏主动控制可描述为：在用户完全规范完成当前训练动作后，相应的动作次数增加一次，直至用户完成该动作设定的目标次数后方可进入下一环节训练，其训练节奏快慢完全由健身用户当前动作完成速度快慢控制。

系统通过评估用户近几次训练完成情况(包括用时长短、训练达标率、动作评分)自适应调整下一次训练项目的难度。若用户每次动作完成均标准规范，训练项目呈难度递增方向自动调整；若某一动作用户多次尝试均不能规范完成，训练难度便会自动调整到之前的难度。进一步地，所述难度主要体现在训练项目种类、训练次数、辅助健身器械(重量、阻力)、训练动作达到规范姿势触发阈值等方面。训练难度系数自适应调整充分提高了用户健身训练效果及持久坚持训练的热情。

四、用户健身数据管理与科学健身训练规划

参照图2所示的数据管理模块以记录健身用户的基本信息与健身训练过程产生的训练数据。进一步，所述的用户基本信息包括(但不限于)用户姓名、性别、身高、体重、预计训练周期、擅长运动类型、健身锻炼目标；所述的健身训练数据包括(但不限于)用户在每次进行健身训练过程中的训练项目名称与时间、单项动作组数、训练评估得分、消耗的卡路里值、训练难度级别、累计训练时长等信息。系统在准确记录用户的相关信息后，通过对用户数据深入挖掘分析为用户提供更具个性化、针对性、科学性的健身计划。

进一步地：

参照图4所示为健身管理系统训练界面实施例示意图，以下示范性简要叙述训练管理系统中训练界面内容。所述训练界面包含(但不限于)1-返回上一级，2-上一次训练项目，3-当前训练项目的目标训练次数与已完成动作次数，4-虚拟健身教练动作示范指导，5-当前训练项目名称，6-音频提示开关，7-用户虚拟交互模型，8-训练动作关键点提示内容，9-训练时间记录，10-下一训练项目，11-暂停当前训练。

进一步地：

图5示出一种基于kinect的健身指导训练系统及方法实现步骤：

步骤1，打开健身管理软件系统，若为新用户第一次登陆，需要注册属于自己的健身账户，同时填写用户个人基本信息，包括姓名、性别、体重、健身部位、健身目标等，并登陆健身管理系统。

步骤2，用户站到kinect传感器前方2米左右的位置，用户做出kinect识别姿势，直到kinect识别并跟踪到用户并确认为目标人物后，用户便可以通过移动手掌来控制操作界面进行相应菜单选择，同时语音系统播放菜单选项。接着进行本次需要锻炼的主要关节部位(胸部、手臂、肩部、背部、腰部、腹部、腿部)、训练强度等级(1-5级)、背景音乐(轻音乐、慢摇、流行、自定义)参数设置。

步骤3，制定训练计划，用户可以选择系统推荐训练计划、已存默认训练计划、自定义训练计划3种模式中的一种。自定义训练计划模式，用户可自由规划训练项目种类、训练次数等；系统推荐训练计划是系统根据用户的基本信息与历史训练数据经过相关程度分析，匹配出与用户健身目标最合理的训练项目，然后推荐一套具有个体适应性的训练计划方案；已存默认训练计划是在系统存储的默认训练计划方案，个性化相对较低，用户亦可在此基础上增加、删除部分内容以制定出适合自己的训练方案。

步骤4，进入健身训练环节，根据当前的训练项选择合适的健身器械辅助进行锻炼。本实施例以哑铃侧平举训练项目进行示范说明，用户根据自己的实际情况选择合适重量的哑铃，准备开始正式的训练。

步骤5，虚拟健身教练开始指导训练。虚拟教练首先会通过语音和文字形式介绍此项运动的动作关键点、锻炼肌肉部位、注意事项，接着以动作视频指导健身用户进行训练。此时用户便可双手各拿哑铃一个，缓慢侧平举，保持2-3秒，缓慢放下，重复此过程。

步骤6，用户训练同时kinect设备实时捕获用户肢体关节活动点三维坐标信息，并通过串口上传到计算机主机，控制虚拟人物做出与用户同步动作。用户通过观察场景中的虚拟人物动作即可知道自身动作规范情况，同时通过动作评估模块在用户动作出现错误的时候，健身教练会进行语音提示用户以进行修正，直到动作完全规范正确后，训练动作次数便会增加一次。

步骤7，用户达到当前训练项目的目标次数要求后，系统自动进行训练难度调整继续进行锻炼。直到本次所有训练计划完成后，系统根据当前用户的训练情况统计锻炼时间、每项动作得分、消耗热量值、历史累计训练时长等信息以报表或者曲线形式展示给用户。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。