基于视频运动捕捉的多模态脑卒中上肢康复训练系统的制作方法

本发明涉及一种康复系统，尤其是一种基于视频运动捕捉的多模态脑卒中上肢康复训练系统，属于疾病护理、康复领域。

背景技术：

脑卒中(stroke)又称中风、脑血管意外，世界卫生组织对其定义为“一种源于血管的急性神经性障碍，其症状和体征与脑受损部位相一致”，即在脑血管病人中，因各种诱发因素引起脑内动脉狭窄，闭塞或破裂，而造成急性脑血液循环障碍，临床上表现为一过性或永久性脑功能障碍的症状和体征，主要包括脑出血，脑梗死，蛛网膜下腔出血等。据估计，我国脑卒中发病率高达150万/年，其中75％的脑卒中患者遗留有功能障碍，绝大部分为以偏瘫为代表的运动功能障碍。这些功能障碍一方面给患者本身带来身体痛苦和生活不便，另一方面也加剧了医疗费用快速增长这一现状，有统计显示国家每年为脑卒中患者花费的医疗费用支出约在100亿元以上。

相比于下肢，上肢的运动功能障碍更难恢复，大多数脑卒中患者上肢功能的恢复是由近端到远端，由粗大到精细，由简单到复杂进行的。脑卒中后偏瘫上肢功能的康复一直是临床上比较棘手的问题之一。85％的脑卒中患者在发病的开始就有上肢功能障碍，约30％—36％的脑卒中患者在发病6个月后仍遗留上肢功能障碍。研究表明，除手术和药物治疗外，科学的康复训练对脑卒中偏瘫患者的肢体功能康复起着重要作用。

传统的上肢康复训练是治疗师运用各种训练手法及器械用具辅助患者进行训练，对受损大脑皮质的重建以及外部肢体和大脑之间的功能控制连接修复相对有限，这使得患者虽然进行了较长的康复治疗但效果却不够理想，而且整个康复过程单调枯燥，患者容易对训练失去兴趣和信心，鉴于治疗师经验不同导致即使完全相同的康复训练过程在具体执行是也会存在人为差异，无法保证康复训练的绝对一致性，不仅会导致训练效率低，更导致训练的信效度低，由训练结果反映出的康复进程评估这一价值大大折损。

技术实现要素：

本发明的目的是为了解决上述现有技术的缺陷，提供一种基于视频运动捕捉的多模态脑卒中上肢康复训练系统，该系统基于被试者运动想象，提供了一种有效地重建运动想象与肢体运动之间的通路的手段，同时在康复训练中，根据被试的运动想象脑电特征给予对应肢体的功能性电刺激，从而有效的帮助患者建立运动想象和外部肢体之间的联系，结合已有的上肢康复训练设备a2，集成运动跟踪设备kinect以实现患者在上肢康复训练过程中的运动捕捉，有利于脑卒中患者康复训练状况的实时监测，成为脑卒中患者康复训练中一种非常有前途的新运动功能康复训练方式，提高看康复训练的有效性。

本发明的目的可以通过采取如下技术方案达到：

基于视频运动捕捉的多模态脑卒中上肢康复训练系统，包括脑电信号采集装置、功能性电刺激装置、上肢康复训练设备以及运动跟踪设备；所述脑电信号采集装置和功能性电刺激装置分别通过蓝牙与终端连接，所述运动跟踪设备通过usb接口与终端连接，其中：

所述脑电信号采集装置，用于采集被试的脑电信号，并将脑电信号发送到终端；

所述功能性电刺激装置，用于接收终端被试的想象运动脑电信息并根据不同脑电信号的识别分类结果即特征指令输出不同的刺激类型、刺激频率及刺激时间；

上述刺激部位为被试的手和前臂；

所述运动跟踪设备，用以实现被试在上肢康复训练过程中的运动捕捉，并将人体运动信息发送到终端；

所述终端，用于人体脑电信号、人体运动信息的处理、分析、识别、传输以及存储，从而识别出完成被试的康复训练现状分析和评估；

优选的，所述脑电信号采集装置包括脑电帽、电极、mini-usb接口、采集前端、mcu、电池、蓝牙；

所述脑电帽采用国际导联16导的eeg脑电记录系统，前额标注为电极地，耳后为参考电极；

所述电极通过mini-usb接口与采集前端相连，采集前端与mcu相连，mcu与蓝牙相连，蓝牙通过无线传输与终端相连；

所述电池为采集前端、mcu和蓝牙供电。

所述采集前端采用ads1298芯片，用于对采集脑电信号进行配置、控制、处理和通信；

所述mcu采用cortexm4单片机，用于对采集前端传输的脑电信号进行接收、处理、存储和通信；

所述蓝牙采用cc2560器件，用于接收mcu传出的脑电信号并将信号发送到终端；

所述电池采用集成锂电池的bq24078线性充电器，通过usb端口或交流适配器为采集前端、mcu和蓝牙供电。

优选的，所述终端对接收到的脑电信号进行如下处理：

1)采用带通滤波器对采集到的脑电信号进行滤波处理，利用阈值小波变换法去除眼电信号和肌电信号的干扰；

2)利用小波熵算法对信号进行非线性动力学变换，从脑电信号所包含的能量信息角度度量信号的复杂性，当大脑处于清醒的想象运动状态时，脑电信号活跃，复杂度高，其对应的小波熵值较大，可以很好的度量大脑的运动想象情况；

3)采用非线性模型-人工神经网络对处理后的脑电信号参数值进行分类识别和模式输出，bp神经网络模型的搭建，主要考虑网络模型中神经元的个数、神经元的特征、神经元相互之间的连接方式拓扑结构以及网络的学习规则等，以小波熵特征值为输入神经元，运动想象深度为输出对脑电信号进行模式分类，然后将数据进行可视化并输出。

优选的，在所述功能性电刺激装置所述功能性电刺激装置包括蓝牙、微控制器，按键，显示屏，波形发生电路，充电电路和6通道电极片；

所述蓝牙和微控制器相连，微控制器和按键、显示器、波形发生电路依次相连，波形发生电路和电极片相连；

所述充电电路为蓝牙、微控制器，显示屏，波形发生电路供电。

所述6通道电极片置于被试的前臂和手；

优选的，在所述功能性电刺激装置中，所述蓝牙采用cc2560器件，用于接收终端分析处理的运动想象脑电信号特征可视化后的数据，并将该特征传送到微控制器；

优选的，所述微控制器采用stc单片机，用于接收蓝牙传回的脑电信号特征，并根据该特征控制功能性电刺激的输出；

优选的，所述显示屏采用lcd液晶显示屏，用于显示康复训练中功能性电刺激的刺激类型、频率和幅值；

优选的，所述按键用于控制康复训练中功能性电刺激的刺激类型、频率和刺激时间；

优选的，所述波形发生电路包括连续脉冲波、断续脉冲波、锯齿波和正弦波；

优选的，所述频率可调包括低频电和中频电两个档位；

优选的，所述上肢康复训练设备采用上肢智能反馈训练设备a2，用于结合功能性电刺激装置对被试进行上肢康复训练；

优选的，所述运动跟踪设备采用微软的包括红外探测器、深度摄像头、彩色摄像头三个感应器的kinect跟踪设备，基于无标记点的视频跟踪技术进行捕捉被试在上肢康复训练过程中的运动情况，并将人体运动信息通过usb接口发送到终端；

优选的，上述深度摄像头跟踪技术采用配合式的用户鉴别方法，在开始采集被跟踪用户(即脑卒中患者)的运动数据之前，要求被试作出相应的动作来配合系统给予其一个身份标识。具体的处理过程为：

1)初始化：完成设备上下文对象的初始化，接着创建一个用户产品节点，这个节点用于对场景进行分析并且当有用户进入场景时自动对其开启跟踪；

2)跟踪循环：当完成系统的初始化之后，系统就自动进入跟踪循环，也就是一个循环。在这个循环中，程序一直在监测场景中的变化；

3)训练者身份鉴别：当训练处于被跟踪的状态下的时候，连续挥手秒，系统发现被跟踪的用户中有做出这种行为的时候，利用kincet的光编码(lightcoding)的技术就将其认定为训练者。发现训练者后，对他的特征进行提取，可以提取的比较明显的特征为骨架信息，同时为了提高系统运行效率，可以停止系统对其他用户的跟踪；

优选的，所述终端对接收到的人体运动信息进行骨骼跟踪算法处理：

1)摄像头kincet从图像采集器到场景中各点的距离即深度作为像素值的图像，深度图像经过坐标转换被计算为点云数据；

2)对深度点云数据流进行去噪处理，对于根节点的位置，可以使用当前帧的位置和上一帧的根节点的位置进行比较，计算它们差值的大小，判断根节点位置没有发生变化。对于关节点旋转量上的噪声处理，先将旋转量转换为旋转角和旋转轴的表现形式，然后计算与上一帧差值的大小，并将所有关节点的差值大小累加，判断其和是否小于另一个阈值从而去除噪点信息；

3)使用点云数据构建多边形网格，正确地重建出数据点集所表示的曲线和曲面，建网后的模型更加贴近真实被试和场景的表面。创建深度图像并使其可视化，提取边界信息、遍历每个深度图像点，通过寻找在近邻区域有深度变化的位置进行边缘检测，获取的具有稳定性、区别性的关键点集、对兴趣值进行平滑滤波，进行无最大值压缩找到的最终关键点，从中提取出人体关节点的数据，从而能够实时跟踪、捕捉和反馈康复过程中肢体的康复运动情况。

优选的，所述终端为上肢康复训练设备中的计算机。

本发明相对于现有技术具有如下的有益效果：

1、本发明的脑卒中上肢康复训练系统，通过终端可以接收脑卒中患者的脑电信号和康复训练中的人体运动信息；通过终端的智能分析可以完成被试的康复想象运动情况，而终端将脑电信号的运动想象可视化的数据结果通过无线通信传输到功能性电刺激装置中，避免了现有技术单一治疗脑卒中患者肢体运动的情况，有效地重建运动想象与肢体运动之间的通路，提高了康复治疗的有效性。

2、本发明的脑卒中上肢康复训练系统，功能性电刺激装置通过接收脑电信号中的人体运动信息特征提取和分类，设置相关参数和指令特征，结合上肢智能反馈训练设备a2进行康复训练，通过预先设定的刺激程序来刺激神经或者肌肉，使肌肉紧张或松弛，实现瘫痪肌肉的某种运动，从而达到改善或者恢复被刺激肌肉或肌群的功能的目的，极大地促进脑卒中患者的整个康复进程。

3、本发明的脑卒中上肢康复训练系统无线通信传输采用cc2560蓝牙，支持zigbee(ieee802.15.4)和wpan(ieee802.15.5)等传输标准，所述协议有单独的m0内核处理蓝牙底层协议栈，m3内核则处理应用和蓝牙上层协议，运行速度更快，功耗更低，同时支持的bluetoothsmart、zigbee和wpan协议，可以避免在近距离相遇时，由于蓝牙发射器的数量而造成数据无法大量缓冲以致丢包的现象，增加了场景中多个蓝牙使用时数据的安全传输。

4、本发明的脑卒中上肢康复训练系统，不仅可以实现实时监护脑卒中患者上肢康复训练的状况，更可以把患者在进行上肢康复训练过程中的训练结果、关节点数据等信息通过移动互联网上传至数据库中存储，可完成脑卒中上肢康复训练系统的社区应用，持续跟踪患者的上肢康复情况并将结果通过移动互联网传回到医院康复中心，实现院外脑卒中患者的社区康复管理。

附图说明

图1为本发明的上肢康复训练系统的总体结构图。

图2为本发明的脑电信号采集装置结构图。

图3为本发明的功能性电刺激装置结构图。

图4为本发明的功能性电刺激装置中刺激时电极片的一种安放位置图。

图5为本发明的功能性电刺激装置中lcd液晶显示部分的电路连接图。

图6为本发明的功能性电刺激装置中按键功能的单片机端口配置图。

图7为本发明的功能性电刺激装置中按键功能的控制流程图。

图8为本发明的功能性电刺激装置中充电电路图。

具体实施方式

实施例1：

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例的上肢康复训练系统应用于医院康复中心或某个社区中，包括脑电信号采集装置、功能性电刺激装置、上肢康复训练设备以及运动跟踪设备，所述脑电信号采集装置和功能性电刺激装置分别通过蓝牙与终端连接，所述运动跟踪设备通过usb接口与终端连接，其中：

脑卒中患者的想象运动信息利用脑电信号采集装置进行实时获取，所述脑电信号采集装置如图2所示，包括脑电帽、电极、mini-usb接口、采集前端、mcu、电池、蓝牙；脑电帽采用国际导联16导的eeg脑电记录系统，前额标注为电极地，耳后为参考电极；电极通过mini-usb接口与采集前端相连，采集前端与mcu相连，mcu与蓝牙相连，蓝牙通过无线传输与终端相连。

所述脑电信号采集装置中，所述采集前端采用ti(texasinstruments，德州仪器)公司的ads1298芯片，用于对采集到的脑电信号进行放大、滤波和ad转换。

所述mcu采用cortexm4单片机，用于对采集前端传输的脑电信号进行接收、处理、存储和通信。

所述脑电信号采集装置中，所述蓝牙采用cc2560器件，用于接收mcu传出的脑电信号并将信号发送到终端；其中的cc2560协议，有单独的m0内核处理蓝牙底层协议栈，m3内核则处理应用和蓝牙上层协议，同时支持bluetoothsmart、zigbee和wpan协议，运行速度更快，功耗更低。

所述脑电信号采集装置中，所述充电电池集成锂电池的bq24078线性充电器，具有适用于空间受限型便携式应用的系统电源路径管理功能，通过usb端口或交流适配器为采集前端、mcu和蓝牙供电，且在输入电压范围内具有输入电压保护功能，因此该充电器支持非稳压适配器。

所述终端对接收到的脑电信号进行如下处理：

1)采用带通滤波器对采集到的脑电信号进行滤波处理，利用阈值小波变换法去除眼电信号和肌电信号的干扰；

2)利用小波熵算法对信号进行非线性动力学变换，从脑电信号所包含的能量信息角度度量信号的复杂性，当大脑处于清醒的想象运动状态时，脑电信号活跃，复杂度高，其对应的小波熵值较大，可以很好的度量大脑的运动想象情况；

3)采用非线性模型-人工神经网络对处理后的脑电信号参数值进行分类识别和模式输出，bp神经网络模型的搭建，主要考虑网络模型中神经元的个数、神经元的特征、神经元相互之间的连接方式拓扑结构以及网络的学习规则等，以小波熵特征值为输入神经元，运动想象深度为输出对脑电信号进行模式分类，然后将数据进行可视化并输出。

所述功能性电刺激装置如图3所示，包括蓝牙、微控制器，按键，显示屏，波形发生电路，充电电路和6通道电极片；所述蓝牙和微控制器相连，微控制器和按键、显示器、波形发生电路依次相连，波形发生电路和电极片相连。各个电路模块集成，由导线和电极片连接被试的手臂和手指，其中一种电极片的安放位置如图4所示，系统工作时，电刺激由集成电路产生，经由导线和电极片传输到被试的手臂和手指上。

所述功能性电刺激装置中，所述蓝牙采用cc2560器件用于接收终端分析处理的运动想象脑电信号特征可视化后的数据，并将该特征传送到微控制器。

所述功能性电刺激装置中，所述显示屏采用lcd液晶显示屏，用于显示康复训练中功能性电刺激的刺激类型、频率和幅值，显示屏的连接电路如图5所示，i/o口与液晶屏采用并行连接的方式，作为输入端与液晶屏连接时，i/o口是低电平，整个显示部分处于高阻抗状态，无法进行数据的传送，所以外接电阻时即可将电位拉高，为整个传送系统提供电流源，利用单片机的p2.0、p2.1和p2.2三个端口来进行读写及使能操作。

所述功能性电刺激装置中，所述波形发生电路包括连续脉冲波、断续脉冲波、锯齿波和正弦波。

所述功能性电刺激装置中，所述频率可调包括低频电和中频电两个档位，按键与单片机的端口配置如图6所示，按键控制过程如图7所示，利用单片机的中断系统通过按键来产生中断，暂停整个系统的工作状态后改变时钟系统的初值与计数值即可改变波形的频率，而时间调节模块只需对单片机的定时系统进行时间增量或减量即可。

所述功能性电刺激装置中，所述充电电路如图8所示，本电路所需电压为5v，通过变压器进行降压，经过一个桥式整流电路，将降低后的市电交流电压进行整流，接着采用电解电容和二极管并联的方式进行滤波，也就是在电容两端的电压升高时对电容进行充电，在其两端的电压变低时电容再对外放电，让电压降低时的坡度变得平缓，从而起到滤波的作用，最后通过78l05集成稳压器将输出电压稳定在5v左右。

所述上肢康复训练设备采用上肢智能反馈训练设备a2，用于结合功能性电刺激装置对被试进行上肢康复训练。在功能性电刺激装置接收终端分析处理的运动想象脑电信号特征可视化的数据后，根据该特征控制功能性电刺激的输出，在人体受到电刺激之后结合上肢智能反馈训练设备a2进行康复训练，从而达到辅助上肢康复训练的效果。

所述运动跟踪设备采用微软的kinect跟踪设备，基于无标记点的视频跟踪技术进行捕捉被试在上肢康复训练过程中的运动情况，并将人体运动信息通过usb接口发送到终端。

所述跟踪技术采用配合式的用户鉴别方法，在开始采集被跟踪用户(即脑卒中患者)的运动数据之前，要求被试作出相应的动作来配合系统给予其一个身份标识。具体的处理过程为：

1)初始化：完成设备上下文对象的初始化，接着创建一个用户产品节点，这个节点用于对场景进行分析并且当有用户进入场景时自动对其开启跟踪；

2)跟踪循环：当完成系统的初始化之后，系统就自动进入跟踪循环，也就是一个循环。在这个循环中，程序一直在监测场景中的变化；

3)训练者身份鉴别：当训练处于被跟踪的状态下的时候，连续挥手秒，系统发现被跟踪的用户中有做出这种行为的时候，利用kincet的光编码(lightcoding)的技术就将其认定为训练者。发现训练者后，对他的特征进行提取，可以提取的比较明显的特征为骨架信息，同时为了提高系统运行效率，可以停止系统对其他用户的跟踪；

所述终端对接收到的人体运动信息进行骨骼跟踪算法处理：

1)摄像头kincet从图像采集器到场景中各点的距离即深度作为像素值的图像，深度图像经过坐标转换被计算为点云数据；

2)对深度点云数据流进行去噪处理，对于根节点的位置，可以使用当前帧的位置和上一帧的根节点的位置进行比较，计算它们差值的大小，判断根节点位置没有发生变化。对于关节点旋转量上的噪声处理，先将旋转量转换为旋转角和旋转轴的表现形式，然后计算与上一帧差值的大小，并将所有关节点的差值大小累加，判断其和是否小于另一个阈值从而去除噪点信息；

3)使用点云数据构建多边形网格，正确地重建出数据点集所表示的曲线和曲面，建网后的模型更加贴近真实被试和场景的表面。创建深度图像并使其可视化，提取边界信息、遍历每个深度图像点，通过寻找在近邻区域有深度变化的位置进行边缘检测，获取的具有稳定性、区别性的关键点集、对兴趣值进行平滑滤波，进行无最大值压缩找到的最终关键点，从中提取出人体关节点的数据，从而能够实时跟踪、捕捉和反馈康复过程中肢体的康复运动情况。

另外，上述实施例中的终端是上肢康复训练设备中的计算机。

实施例二

本实施例公开了一种基于视频运动捕捉的多模态脑卒中上肢康复训练系统的工作方法，包括：

步骤一、用脑电信号采集装置，采集被试的脑电信号，并将脑电信号发送到终端；

所述运动跟踪设备，用以实现被试在上肢康复训练过程中的运动捕捉，并将人体运动信息发送到终端；

所述终端，用于人体脑电信号、人体运动信息的处理、分析、识别、传输以及存储，从而识别出完成被试的康复训练现状分析和评估；

步骤二、利用终端对接收到的脑电信号进行分析处理，并将被试的运动想象脑电信号特征数据进行可视化；

步骤三、功能性电刺激装置用于接收上述终端可视化的数据，并根据不同脑电信号的识别分类结果即特征指令输出不同的刺激类型、刺激频率及刺激时间；

步骤四、上述刺激部位为被试的手和前臂；

步骤五、上述功能性电刺激装置结合上肢智能反馈训练设备a2，用于对被试进行上肢康复训练。在功能性电刺激装置接收终端分析处理的运动想象脑电信号特征可视化的数据后，根据该特征控制功能性电刺激的输出，在人体受到电刺激之后结合上肢智能反馈训练设备a2进行康复训练，从而达到辅助上肢康复训练的效果；

步骤六、采用微软的kinect运动跟踪设备，进行捕捉被试在上肢康复训练过程中的运动情况，并将人体运动信息通过usb接口发送到终端；

步骤七、上述终端对接收到的人体运动信息进行骨骼跟踪算法处理，从而能够实时跟踪、捕捉和反馈康复过程中肢体的康复运动情况；

步骤八、患者在进行上肢康复训练过程中的训练结果、关节点数据等信息通过移动互联网上传至数据库中存储，可完成脑卒中上肢康复训练系统的社区应用，持续跟踪患者的上肢康复情况并将结果通过移动互联网传回到医院康复中心，实现院外脑卒中患者的社区康复管理。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。