基于人脸识别及动作捕捉的康复锻炼方法和系统与流程

本发明属于康复锻炼领域，尤其涉及一种基于人脸识别及动作捕捉的康复锻炼方法和系统。

背景技术：

研究表明，运动锻炼不仅对身体形态和机能有很大作用，对人的心智发展的作用也是不可估量的。然而由于现代人快节奏的生活，以及受运动场所和环境的限制，甚至本身就对运动锻炼兴趣缺乏等种种因素导致现代人严重缺乏运动锻炼，从而引发各种疾病，以及患有疾病以后康复锻炼的方式或装置不够完善，使患者得不到很好的治疗。

为解决上述技术问题，人们进行了长期的探索，例如中国专利公开了一种多模态融合手功能康复训练与智能评估系统[申请号：cn105963926a]，包括康复训练机构、传感器数据采集装置、康复评估系统以及情景互动游戏系统，康复训练机构用于对手指和手腕进行康复训练，传感器数据采集装置用于实时采集表面肌电信号、力信号以及姿态信号中的一种或多种信号，康复评估系统根据传感器数据采集装置采集的多模态信号对患者的康复训练情况进行量化评估，情景互动游戏系统用于为患者提供游戏康复训练、效果评估和视觉等信息反馈。本方案针对脑卒中患者康复训练，可以对康复训练过程进行实时反馈调控、量化评估和游戏反馈，有效调动其训练积极性，增强康复训练效果。

上述技术方案虽然在一定程度上提高脑卒患者的手功能康复训练效果，但是其仍然存在不足，例如功能过少，且无法适用于健康人的运动锻炼等。

技术实现要素：

本发明的目的是针对上述问题，提供一种能够有针对性地对用户进行引导锻炼的基于人脸识别及动作捕捉的康复锻炼方法；

本发明的另一目的是针对上述问题，提供一种基于基于人脸识别及动作捕捉的康复锻炼方法的基于人脸识别及动作捕捉的康复锻炼系统；

为达到上述目的，本发明采用了下列技术方案：

一种基于人脸识别及动作捕捉的康复锻炼方法，包括如下步骤：

s1：接收用户选择和/或输入的引导要求，并根据该引导要求提供用于引导用户做相应肢体动作的虚拟场景；

s2：获取通过体感互动设备捕捉到的用户肢体动作，同时控制虚拟场景根据用户的肢体动作做出相应的反馈；

s3：在控制虚拟场景根据用户的肢体动作做出相应的反馈后，重复步骤s2。

在上述的基于人脸识别及动作捕捉的康复锻炼方法中，在步骤s1中，根据用户的引导要求，提供包括针对疾病康复的引导、针对肢体锻炼的引导以及针对锻炼目的的引导中的任意一种或多种组合的虚拟场景。

通过上述技术方案，根据用户需求提供虚拟场景以引导用户完成相应动作达到锻炼目的，具有操作方便，且针对性以及功能性强等优势。

在上述的基于人脸识别及动作捕捉的康复锻炼方法中，所述的针对疾病康复的引导包括颈椎疾病康复引导、偏瘫疾病康复引导、风湿疾病康复引导和中风病人康复引导中的任意一种或多种的组合。

在上述的基于人脸识别及动作捕捉的康复锻炼方法中，所述的针对肢体锻炼的引导包括腿部锻炼引导、腹部锻炼引导、颈椎锻炼引导、大腿锻炼引导、小腿锻炼引导、关节锻炼引导和全身锻炼引导中的任意一种或多种的组合。

在上述的基于人脸识别及动作捕捉的康复锻炼方法中，所述的颈椎锻炼引导包括以下步骤：

a、控制器针对颈椎锻炼构建一个需要扭动脖子的虚拟场景；

b、控制器接收通过摄像头记录用户根据场景需要扭动脖子的图像，并将图像信息上传至控制器；

c、控制器根据人脸识别算法识别人脸位置，并根据计算结果控制虚拟场景做出相应的反馈；

d、在控制器控制虚拟场景做出相应的反馈后，重复步骤b和步骤c。

在上述的基于人脸识别及动作捕捉的康复锻炼方法中，在步骤s2中，所述的虚拟场景为具有供用户选择的闯关模式和训练模式的游戏场景，且在一轮游戏结束后对当前用户表现做出评分，并在接收到用户的分享请求后将评分结果分享到第三方平台中。

一种基于所述的基于人脸识别及动作捕捉的康复锻炼方法的基于人脸识别及动作捕捉的康复锻炼系统，所述的系统包括分别与控制器相连接的虚拟现实设备和体感互动设备，所述的控制器包括用于构建针对相应引导要求以引导用户做相应动作的虚拟场景的引导模块，所述的虚拟现实设备包括用于显示虚拟场景的显示模块。

在上述的基于人脸识别及动作捕捉的康复锻炼系统中，所述的系统还包括通过无线模块连接于控制器的客户端模块，且所述的客户端模块包括分享模块和评分模块。

在上述的基于人脸识别及动作捕捉的康复锻炼系统中，所述的体感互动设备包括用于记录用户头部动作的摄像头模块，所述的控制器连接有用于分析脸部位置的人脸识别模块。

在上述的基于人脸识别及动作捕捉的康复锻炼系统中，所述的系统还包括连接于控制器用于供用户长距离移动的万向跑步机，所述的体感互动设备包括用于捕捉用户肢体动作的kinect体感互动设备。

本发明基于人脸识别及动作捕捉的康复锻炼方法和系统相较于现有技术具有以下优点：1、利用虚拟现实设备等，让用户沉浸在虚拟世界中，让用户在虚拟世界中体验的同时不知不觉达到相应部位的锻炼目的；2、结合万向跑步机使用户可以自由移动；3、更具有针对性，提供针对不同目的、疾病以及部位的引导功能，满足不同用户的需要，具有实用性更强，适用性更广等优点。

附图说明

图1是本发明实施例一的系统结构框图；

图2是本发明实施例二的系统结构框图；

图3是本发明实施例三的系统结构框图。

附图标记：控制器1；引导模块11；人脸识别模块12；虚拟现实设备2；显示模块21；体感互动设备3；摄像头模块31；客户端模块4；分享模块41；评分模块42；万向跑步机5。

具体实施方式

以下是本发明的优选实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

如图1所示，本实施例的基于人脸识别及动作捕捉的康复锻炼系统包括分别与控制器1相连接的虚拟现实设备2和体感互动设备3，其中虚拟现实设备用于显示虚拟场景，体感互动设备用于捕捉用户肢体动作，控制器1包括用于构建针对相应引导要求，以引导用户做相应动作的虚拟场景的引导模块11，虚拟现实设备2包括用于显示虚拟场景的显示模块21。

本实施例中的虚拟现实设备2可以为dk2，cv1，htcvive等具有头部动作捕捉功能的虚拟显示设备对用户的头部动作进行进一步捕捉,本实施例中的体感互动设备3采用用于捕捉用户肢体动作的kinectv2体感互动设备。

通过上述的康复锻炼系统进行康复锻炼方法，包括如下步骤：

s1：通过控制器1接收用户选择和/或输入的引导要求，并根据该引导要求控制虚拟现实设备2提供用于引导用户做有益于相应疾病、或达到相应锻炼目的肢体动作的虚拟场景；

提供虚拟场景的方法具体包括：根据用户的引导要求，提供包括针对疾病康复的引导、针对肢体锻炼的引导以及针对锻炼目的的引导中的任意一种或多种组合的虚拟场景。

其中，针对疾病康复的引导包括颈椎疾病康复引导、偏瘫疾病康复引导、风湿疾病康复引导和中风病人康复引导中的任意一种或多种的组合；

同样地，针对肢体锻炼的引导包括腿部锻炼引导、腹部锻炼引导、颈椎锻炼引导、大腿锻炼引导、小腿锻炼引导、关节锻炼引导和全身锻炼引导中的任意一种或多种的组合；

同样地，针对锻炼目的的引导包括腹部瘦身目的引导、臀部瘦身目的引导、大腿瘦身目的引导、全身平衡锻炼目的引导等。

s2：控制器1获取通过体感互动设备3捕捉用户肢体动作，同时控制虚拟场景根据用户的肢体动作做出相应的反馈，控制虚拟场景根据用户的肢体动作做出相应的反馈具体指：当体感互动设备3感应到用户跟随引导完成一个动作后，控制器1便控制虚拟场景进入下一个引导动作同时告知用户在上一个动作中的完成情况以及在下一个动作中需要注意的地方等反馈信息。

进一步地，在控制虚拟场景根据用户的肢体动作做出相应的反馈后，重复步骤s2，以使用户持续不断地与场景不停地互动。

本实施例基于虚拟现实技术构建虚拟场景引导用户进行肢体活动，利用动作捕捉技术捕捉用户肢体动作来与虚拟场景交互，以达到普通锻炼和康复锻炼的目的。

实施例二

如图2所示，本实施例与实施例一类似，不同之处在于，本实施例的系统还包括通过无线模块连接于控制器1的客户端模块4，且客户端模块4包括分享模块41和评分模块42。本实施例的控制器1和客户端模块4均内嵌于手机等终端，通过手机等终端完成动作引导，此时，虚拟现实设备2可以为头戴式手机用vr以与手机内的控制器1进行连接，或者，虚拟现实设备2通过终端的显示屏显示虚拟场景，本系统的体感互动设备3可以为终端本身具有的摄像头模块，进一步地，体感互动设备3包括用于记录用户头部动作的摄像头模块31。

优选地，为了更好地识别人脸部位置，控制器1连接有用于分析脸部位置的人脸识别模块12。

本实施例的康复锻炼系统的虚拟场景为具有供用户选择的闯关模式和训练模式的游戏场景，且在一轮游戏结束后通过评分模块对当前用户表现做出评分，并在接收到用户的分享请求后通过分享模块将评分结果分享到第三方平台中。

例如，本实施例的系统可用于颈椎锻炼引导，其具体包括以下步骤：

a、用户通过客户端模块输入相关的引导要求等参数，通过客户端模块将引导要求等参数发送给控制模块，控制器1针对颈椎锻炼控制虚拟现实设备2构建一个需要扭动脖子的虚拟场景，即在终端屏幕上显示需要扭动脖子的游戏场景，例如用户通过晃动头部去控制游戏场景中的小狗的头部去吃掉落下来的食物，并且躲避掉落的盘子以达到活动用户脖子的目的；

b、开始游戏后，控制器1接收通过摄像头记录用户根据场景需要扭动脖子的图像，并将图像信息上传至控制器1；

c、控制器1根据人脸识别算法识别人脸位置，并根据计算结果控制虚拟场景做出相应的反馈；

进一步地，在控制器1控制虚拟场景做出相应的反馈后，重复步骤b和步骤c，以使用户与系统持续进行互动。

游戏结束后，系统根据用户表现进行评分，用户可以将评分分享到社交软件中，例如微信朋友圈、微博等。

除此之外，用户的评分被记录在系统的服务器内，客户端模块中还可以包括排行榜，用户通过选择排行榜进入排行榜界面，客户端模块展示分数前十名的用户的数据，以及当前用户的历史最佳分数和排名等，

本实施例将康复锻炼系统可通过手机等终端实现功能，具有普及面广，成本低等优点。

实施例三

如图3所示，本实施例与实施例一或实施例二类似，不同之处在于，本实施例的系统还包括有连接于控制器1用于供用户长距离移动的万向跑步机5。

用户的锻炼动作在万向跑步机5上进行，万向跑步机5将用户在真实世界中的行走、跑步等动作，变成虚拟空间里的相应运动。

本实施例通过结合万向跑步机5使用户可进行各种运动，适用范围更加广泛。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了控制器1；引导模块11；人脸识别模块12；虚拟现实设备2；显示模块21；体感互动设备3；摄像头模块31；客户端模块4；分享模块41；评分模块42；万向跑步机5等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。