一种基于机器视觉手势识别的手部康复训练手套系统

本发明属于上肢外骨骼康复机器人，涉及一种基于机器视觉手势识别的手部康复训练手套系统。

背景技术：

1、脑卒中是一种由脑血管疾病引起的常见疾病，由脑卒中引起的手功能障碍患者逐渐增多，手功能是主导患者生活质量的重要因素，完整的手功能可以帮助患者完成各类复杂的生活需求和日常工作，也可以作为情感表达的工具。另外手部创伤或疾病在恢复过程中往往需要借助外力来帮助其适度运动，来达到快速、完全恢复的目的。

2、专利cn115671678a公开了一种康复训练手套，包括手套本体，所述手套本体为硬质塑料材质，手套本体包括手掌部和连接在手掌部上的四个手指部；手指部包括依次转动连接的近节部、中节部和远节部；所述手掌部包括对应手掌手背的手背板和对应手掌手心的手心部，手背板和手心部一体成型设置，手背板呈板状，手心部呈弧形；所述近节部和中节部结构类似，其均为管状，其中开设有共手指穿过的通孔。该发明的硬质的手套起到类似石膏来板的作用，主体本身对指骨就有保护作用，该康复训练手套结构简单、成本低廉，患者本人单手即可进行把握训练。但是该技术方案使用刚性元件制作而成，利用刚性连接杆的结构帮助患者手部进行伸展和弯曲动作，带动患者的手指，按照预设的轨迹运行，而刚性结构往往会有穿戴不方便、旋转中心难以与手部完好对齐、控制系统复杂、病人难以自适应调节等问题。

3、专利cn215229882u公开了一种康复训练手套，包括手套本体、线索支撑模块和控制线；手套本体包括内层布套和外层皮套，内层布套设置在外层皮套的内侧；线索支撑模块包括关节支撑块和指帽支撑块，关节支撑块设置在内层布套的外表面上对应手指的部位，指帽支撑块设置在内层布套的外表面上对应手指末端的部位；关节支撑块上设置有穿线孔，穿线孔沿手套本体的手指的长度方向延伸；在手套本体的同一根手指的掌心一侧和/或手背一侧，控制线从手指根部向手指末端延伸并穿过穿线孔后固定在指帽支撑块上。该手套控制比较麻烦，病人不能够根据自己需求调节手部运动，同时医生远程辅助康复训练也是难以实现的。

技术实现思路

1、为解决现有技术中存在的问题，本发明提供一种基于机器视觉手势识别的手部康复训练手套系统；

2、为达到上述目的，本发明采用的方案如下：

3、一种基于机器视觉手势识别的手部康复训练手套系统，包括柔性手套和控制系统；

4、柔性手套包括手套主体以及复合在其外表面和内表面的隔热层，手套主体的正面固定有柔性驱动纱线，手套主体的背面固定有弹力纱；

5、柔性驱动纱线为碳纳米管/pdms复合纱线、碳纳米管/石蜡复合纱线、记忆合金丝、镀银尼龙/pdms复合纱线、镀银聚酰亚胺/pdms复合纱线或液晶复合导电纤维，这些纱线都是电驱动纱线，且具有柔性好的特点；

6、控制系统包括机器视觉手势识别系统和电压控制系统，机器视觉手势识别系统用于识别手部姿势，并将识别的手部姿势转换为脉冲信号后输入至电压控制系统中，电压控制系统接收图像识别系统发出的脉冲信号并发出对应的电压；

7、每根柔性驱动纱线两端分别连接一根导线，所有导线相互独立彼此绝缘，所有连接在柔性驱动纱线两端的导线汇集于导线集束片中，经过导线集束片汇成一个电缆，电缆与电压控制系统相连；导线集束片固定在手套主体背面。

8、柔性驱动器与传统的刚性驱动器相比，柔性驱动器具有可以实现更好的柔性控制，重量轻，可靠性高，安全性高等优点，能为柔性机械系统提供强劲、低噪和高自由度的驱动力，同时可结合柔性电子技术分布实现驱动传感一体化，具备更优的共融机器人特性。将柔性纤维驱动器应用到康复训练手套中，便于病人穿戴康复训练手套，而且能够根据病人需求自适应调节手部运动，也能实现医生远程辅助训练。柔性驱动纱线由于自身的非线性驱动特征，难以精确的控制，本发明将柔性驱动纱线应用于手套系统中，通过设定不同的驱动电压达到控制柔性驱动纱线的收缩力和伸缩长度，进而准确控制手套的收缩长度。

9、柔性驱动纱线在电激励下会发生收缩，去除电压，柔性驱动纱线恢复初始状态比较慢，本发明用弹性纱来增强断电后柔性驱动纱线的恢复力，能够使手套在去除电压后较快恢复伸直状态。

10、本发明中使用的是电热驱动纱线，为防止电热驱动纱线产生的热量灼伤手套佩戴者，本发明设置隔热层以达到保护作用。

11、作为优选的技术方案：

12、如上所述的一种基于机器视觉手势识别的手部康复训练手套系统，手套主体由棉纱、涤纶纱、尼龙纱或者棉与化纤混纺纱线编织而成。

13、如上所述的一种基于机器视觉手势识别的手部康复训练手套系统，隔热层的材质为芳纶、酚醛纤维、皮革或隔热橡胶。

14、如上所述的一种基于机器视觉手势识别的手部康复训练手套系统，柔性驱动纱线固定在手套主体正面的手指部位和手掌部位，且固定方式为胶点固定或铆钉固定；用于手指第一关节弯曲设置的柔性驱动纱线固定点是在手套顶端和手套第二关节处，用于手指第二关节弯曲设置的柔性驱动纱线固定点是在手套第一关节处和手套第三关节处，用于手掌弯曲设置的柔性驱动纱线固定点是在手指根部与手掌掌心位置。

15、如上所述的一种基于机器视觉手势识别的手部康复训练手套系统，弹力纱为二烯类弹性纤维(橡胶丝)、聚氨酯纤维(氨纶)、聚醚酯弹性纤维或聚烯烃弹性纤维(dow xla纤维)，这些弹力纱均具有较好的回弹性。

16、如上所述的一种基于机器视觉手势识别的手部康复训练手套系统，弹力纱通过胶点固定或铆钉固定的方式固定在手套主体的背面；

17、或者，手套主体上套有由弹力纱织成的弹力手套，利用弹力手套帮助手指和手掌弯曲恢复，再在弹力手套的正面和背面复合隔热层。

18、如上所述的一种基于机器视觉手势识别的手部康复训练手套系统，机器视觉手势识别系统包括摄像头、树莓派微型电脑(包含显示器)和手势识别算法，手势识别算法存储在树莓派微型电脑中，摄像头与树莓派微型电脑之间通过线缆连接；

19、电压控制系统包括电源和dc-dc电压调节器，电源和dc-dc电压调节器通过导线连接，dc-dc电压调节器与树莓派微型电脑之间通过线缆连接。

20、如上所述的一种基于机器视觉手势识别的手部康复训练手套系统，电压控制系统集成于树莓派微型电脑中。

21、用python语言开发手势识别算法，使用已有的开源库(如mediapipe和opencv-python)，但是它只能完成手势识别，返回手指关节点的坐标，本发明在它识别的基础上，根据关节点坐标来将手势进行编号，然后将编号与电压控制系统对应起来，完成对手套的控制。

22、python语言编译运行。

23、算法描述：利用已有开源代码，能够输出手部21个关节点坐标。具体为导入mediapipe，cv2模块，使用这两个模块，加上一些语句可以完成：打开摄像头，获取照片，处理图片，输出手21个关节点坐标值。

24、将获取的手部相邻关节点的坐标，两两求出向量，比较手指向量与手指向量之间的夹角，手指向量与手掌向量之间的夹角，根据夹角范围，来确定手势。例如手指向量夹角与手掌向量夹角大于65°，则判断出此时的手部姿势为握紧状态，给出一个编码为0。编码0会让树莓派对应针脚发出脉冲信号给电源，电源接收信号并给手套施加电压，手套中的柔性驱动纱线收到电激励产生收缩形变，带动手套弯曲。当摄像头捕捉到其他手势，相应的控制电压会施加到手套上，手套跟随摄像头中手势的变化而变化。

25、有益效果

26、本发明的一种基于机器视觉手势识别的手部康复训练手套系统，能为患者的手指提供伸展和弯曲动作，并且能够根据患者的手指灵活度情况自定义伸展和弯曲力度，同时对于单只手不灵活的病人，另外一只手可以自由控制不灵活手的手指运动，达到自主控制的目的，另外，本发明的柔性手套可以供远程传输手势来实现医生远程康复训练指导，为病人减少前往医院次数提供便利，也节约了医生与病人宝贵时间。