具有定位导航与多模态人机交互功能的智能轮椅及控制方法

1.本发明属于智能控制领域，尤其涉及一种具有定位导航与多模态人机交互方面的智能轮椅及控制方法。


背景技术：

2.根据权威统计，近年来全球老年人口和残疾人口数量占比不断上升，行动障碍者越来越成为社会的一大群体，行动障碍会对人造成严重的生理负担和心理负担，提高老年人和残疾人生活行动的便捷性，已经成为必须解决的社会问题，传统的手动轮椅需要依靠自己或他人力量手动驱动轮椅，极大的消耗了体力，不适合体力弱以及残障人士使用，随后发明了电动轮椅，这种轮椅一般由车体、驱动电机、操作杆、电机驱动器、蓄电池组成，使用者可以通过摇杆控制轮椅前进及转向，但长时间使用会造成驾驶疲劳，并且速度过快存在安全隐患，另外对一部分自理能力较差的人，电动轮椅也满足不了日常出行需求。因此需要开发一种操作更加方便、使用更加安全的新型智能轮椅，以满足这部分人的需要，并为更多人提供一种更加优越的代步工具。


技术实现要素：

3.针对上述问题，本发明的目的在于提供一种具有自主导航与多模态人机交互功能的智能轮椅及控制方法，用户在障碍物或者人多的环境下可以使用轮椅自主导航功能到达目标点，在人少的地方可以切换为使用面部、手势、语音功能驱动轮椅前进，增加了用户的参与感和驾驶体验乐趣。
4.为了实现上述目的，本发明采用以下技术方案：
5.具有自主导航与多模态人机交互功能的智能轮椅，包括：
6.轮椅本体和设在其上的控制系统，所述控制系统包括：处理器工控机和与其分别连接的指令输入单元、激光雷达自主导航模块、单片机，以及与单片机连接的运动感知模块和电机驱动单元；
7.所述指令输入单元，包括语音控制模块、键盘和手柄控制模块、视觉识别模块，用于识别用户输入的语音指令、键盘和手柄指令、动作指令并输出给处理器工控机；
8.所述激光雷达自主导航模块，用于扫描周围环境生成地图发送给处理器工控机；
9.所述运动感知模块，用于实时检测轮椅运动数据并通过单片机发送给处理器工控机；
10.所述处理器工控机，1)根据轮椅运动数据，结合地图定位轮椅在地图上的位置；2)结合地图和轮椅当前位置规划路径、输出速度指令给单片机；3)根据指令输入单元的用户指令输出实际轮椅驱动指令；
11.所述单片机，用于根据处理器工控机输出的速度指令进一步分解成电机驱动指令；
12.所述电机驱动单元，包括电机驱动器、驱动电机，电机驱动器接收单片机的电机驱
动指令控制驱动电机转动，从而带动轮椅车轮旋转，实现自主导航。
13.所述语音控制模块为麦克风，用于采集轮椅用户的语音指令；所述视觉识别模块为深度相机，用于采集轮椅用户的手势和面部表情。
14.所述处理器工控机，2)结合地图和轮椅当前位置规划路径、输出速度指令给单片机，是通过如下各单元实现的：
15.a.改进的全局路径规划器，在传统的rrt*规划器进行如下改进：
16.修剪rrt*规划器的冗余的路径节点；
17.通过启发式约束采样方法和人工势场中引力场方法减少路径搜索时间；通过约束路径的转弯曲率，使其生成的路径更加符合轮椅行走；
18.通过三次b样条曲线使生成后的路径变成一条光滑路径；
19.b.局部路径规划器，用于对生成的光滑路径，采用mpc模型预测局部规划器生成相应的速度控制指令并发送给底层单片机从而驱动智能轮椅。
20.所述处理器工控机，3)根据指令输入单元的用户指令输出实际轮椅驱动指令，是通过如下各单元实现的：
21.a.在处理器工控机中设置手势指令识别单元：
22.a1.预定义手势关键点凸包，通过深度相机对手部信息收集，基于mediapipe框架预测出手部的骨架，定义手部关键点；
23.a2.根据手部关节关键点，识别“握拳”和“不等数量和位置的竖指组合”，定义各个手势指令动作与实际轮椅驱动指令，对轮椅实时进行控制；
24.a3.根据深度相机实时采集的手势指令动作，比对指令库识别对应实际轮椅驱动指令；
25.b.在处理器工控机中设置面部表情指令识别单元：
26.b1.预定义面部关键点凸包，通过深度相机对面部信息收集，基于mediapipe框架实现对面部478个关键点检测；
27.b2.根据五官的关键点，识别“眼睛”和“嘴巴”张开闭合动作以及表情动作的组合，定义各个表情动作与实际轮椅驱动指令的映射，对轮椅实时进行控制；
28.其中，实际轮椅驱动指令包括：前进、后退、左转、右转、停止。
29.所述运动感知模块包括编码器和imu，用于实时检测编码器角度和偏航角数据，通过单片机发送给处理器工控机。
30.所述轮椅本体为轮椅车架、座椅、靠背、前后转轮构成的轮椅。
31.所述深度相机通过在轮椅车体扶手安装鹅颈支架固定，深度相机视角朝向轮椅用户身体上部和面部；所述麦克风安装在轮椅靠背头枕部；键盘和手柄安装在轮椅车体扶手；编码器安装在驱动单机上；imu传感器安装在座位底部；激光传感器安装在轮椅靠背头枕部，高于轮椅用户头部。
32.具有自主导航与多模态人机交互功能的智能轮椅控制方法，包括自动导航步骤和多模态人机交互步骤；
33.自动导航步骤，根据轮椅实时运动数据，结合地图定位轮椅在地图上的位置；再结合地图和轮椅当前位置规划路径、输出速度指令给单片机；
34.多模态人机交互步骤，通过深度相机实时采集面部信息、手势信息，检测到面部关
键点和手势关键点，并对面部、手势姿态识别分别对应实际轮椅驱动指令，实现对轮椅的控制。
35.所述自动导航包括以下步骤：
36.(11)构建轮椅坐标系模型，测量各传感器包括激光雷达、imu以及驱动轮到车体驱动中心的三维坐标及欧拉角关系；
37.(12)激光雷达传感器感知周围环境信息，对获取的环境信息构建二维栅格地图；
38.(13)加载栅格地图，将imu测量的偏航角数据和编码器测量的车轮轮速数据通过扩展卡尔曼滤波融合，通过融合后的数据作为轮椅的运动反馈与激光雷达的数据作为轮椅的环境观测，最终实现轮椅在环境地图中的全局定位；
39.(14)在全局环境地图中实现轮椅的全局定位后，利用改进的全局规划器在全局静态地图上生成轮椅当前位置到目标点的全局路径，局部规划器在局部动态地图上生成连续平滑的速度控制指令，发送给底层单片机；
40.(15)底层单片机将接收到的速度指令分解发送给两个前轮驱动电机，并通过pwm控制方式调节电机速度、pid控制实现速度闭环控制。
41.所述多模态人机交互包括以下步骤；
42.面部表情指令识别：
43.(21)深度相机进行面部信息采集，获取478个面部关键点；
44.(22)对面部区域进行眨眼、张嘴检测，通过计算关键点坐标，对面部姿态进行识别，制定相应实际轮椅驱动指令实现对轮椅的控制。
45.手部指令识别：
46.(31)深度相机实时进行手势信息采集，获取21个手部关键点；；
47.(32)选择使用手部关键点构成一个凸包，通过计算手部关键点在凸包外的数量识别不同的手势，分别对不同的手势制定实际轮椅驱动指令，从而驱动轮椅。
48.本发明的优点与有益效果是：
49.1.本发明是一种性能优越、功能齐全的代步工具，具有自主导航、避障、以及多模态驱动控制轮椅等功能，与传统的轮椅相比较，此智能轮椅可以有效降低用户的疲劳感，提高轮椅驾驶的安全性、平稳性；
50.2.本发明设计合理，采用深度相机、激光雷达、麦克风等人机交互设备可以使用户很直观的了解此智能轮椅的工作状态；
51.3.本发明可以根据轮椅行驶的环境和用户习惯实时选择此智能轮椅其中一种功能方式，满足更多残障人士的需求，扩大应用范围。
52.4.本发明采用多传感器数据融合技术来提高轮椅的定位，有效了提高轮椅在环境中的定位精度，当用户长时间使用时，通过自主导航功能设置的目标点与实际轮椅到达的目标点相差不大。
附图说明
53.图1为本发明实施的系统结构图；
54.图2为智能轮椅部分结构图以及深度相机、激光雷达、imu、编码器、显示器(内置声卡麦克风)等安装位置示意图；
55.图3为智能轮椅后视图以及电机驱动器、上位机处理器(工控机)、底层控制器(单片机)安装位置示意图；
56.图4为选取关键点(0,1,2,3,6,10,14,19,18,17,10)构造凸包的识别手掌范围内的21个立体节点坐标图；
57.图5为人脸网格和定义人脸特征的关键点示意图；
58.图6为眼部关键点示意图；
具体实施方式
59.为了更清晰地阐述本发明的技术内容，下面结合附图以及具体实施来详细说明本发明，其中具体实施以及说明仅用来解释本发明，并不能作为对本发明的限制。
60.一种具有定位导航与多模态人机交互功能的智能轮椅，首先通过运动感知模块获取轮椅的运动模型，激光雷达传感器获取轮椅的观测模型，从而实现轮椅在环境中的自定位，同时加载环境地图，最后通过路径规划器实现轮椅自主导航功能；并同时具备面部、手势、语音、键盘、手柄控制智能轮椅。所述智能轮椅通过下述步骤实现定位导航功能与多模态人机交互功能：
61.定位导航部分：
62.(1)构建轮椅坐标系模型，测量各传感器包括激光雷达、imu以及驱动轮到车体驱动中心的三维坐标及欧拉角关系；
63.(2)激光雷达传感器感知周围环境信息，对获取的环境信息构建二维栅格地图；
64.(3)加载栅格地图，将imu测量的偏航角数据和编码器测量的车轮速度数据通过扩展卡尔曼滤波融合，通过融合后的数据作为轮椅的运动模型与激光雷达的数据作为轮椅的观测模型，实现对轮椅自定位；
65.(4)在全局环境地图中实现轮椅的全局定位后，全局规划器在全局静态地图上生成轮椅当前位置到目标点的全局路径，局部规划器在局部动态地图上生成连续平滑的速度控制指令，发送给底层控制器；
66.(5)底层控制器将接受到的速度指令分解发送给两个前轮驱动电机，其中pwm通过改变占空比调节电机速度，pid控制实现速度闭环控制。
67.多模态人机交互控制部分：
68.(1)面部控制：在轮椅车体扶手安装了鹅颈支架，其特征在于固定深度相机，深度相机用于采集用户的面部表情，首先通过mediapipe算法实现对面部的478个关键点的检测，然后用关键点串联成一个特征区域的形状，并根据返回的面部关键点坐标x，y用公式计算做判断，最终制定相应的控制命令。
69.(2)手势控制：通过预测手部骨架，形成手部关键点的凸包，通过检测关键点在凸包内外来进行手势识别，最终指定相应的控制命令。
70.(3)语音控制：在轮椅头部位置安装了麦克风传感器，其特征在于采集用户的声音，识别翻译转化成对应文字控制指令，从而驱动轮椅前进；
71.如图1所示，一种具有定位导航与多模态人机交互功能的智能轮椅系统结构图，包括激光雷达自主导航、语音控制、面部控制、手势控制、键盘手柄控制、运动感知等模块，智能轮椅首先通过底层控制器单片机接受编码器、imu融合后里程计数据作为轮椅的运动模
型(计算轮椅里程计信息)，激光雷达作为轮椅的观测模型(感知周围环境信息)，最终完成轮椅在环境中的自身定位，随后通过改进后的rrt*全局规划器规划出一条可行且安全的路径，并结合mpc模型预测局部规划器在局部动态地图上生成连续平滑的速度控制指令，发送给底层控制器；底层控制器将接受到的速度指令分解发送给两个前轮驱动电机从而实现智能轮椅自主导航功能，并且用户可以随时在导航的过程中通过语音、手势、面部控制功能介入控制轮椅停下。
72.图2为智能轮椅侧面结构图，智能轮椅拥有以基本的电动轮椅为主体以及安装在主体上的附属结构，其中包括激光雷达传感器101、深度相机102、显示器(内置麦克风扬声器)103、摇杆104、imu惯导传感器105、前驱动轮106、编码器107、蓄电池108、后万向轮109。如图所示，深度相机安装在屏幕的正上方距离用户约40cm左右处，确保较好地采集面部表情和手势动作，并且屏幕内置麦克风传感器，用于采集用户的声音并进行离线和在线翻译。激光雷达安装在轮椅头枕上方用以感知周围环境信息，完成自身定位及地图构建并用于自主导航。imu安装在轮椅座椅正前方与编码器数据融合用于计算轮椅里程计。
73.图3为智能轮椅后视图，如图所示，电机驱动器110安装在靠背上用于驱动电机，同理研华工控机处理器111也安装在靠背上，其中自主导航功能、多模态人机交互功能、底层传输的车轮速度信息都在其处理器上接受运行，底层控制器112，用以控制智能轮椅其中包括pwm车轮速度控制以及pid闭环控制。
74.图4为手势控制中的预定义的关键点凸包，通过使用深度相机对手部关键点追踪，基于mediapipe框架预测出手部的骨架，从而定义手部关键点，手部关键点由(0、1、2、3、6、10、14、17、18、19)构成一个凸包，通过检测凸包外部的关键点(4、8、12、16、20)来判别相应的手势控制。
75.表1为手部控制预定义的控制命令
[0076][0077][0078]
图5为面部特征点结构图，面部控制同样基于mediapipe框架实现对面部478个关键点检测，基于端到端的神经网络架构的用于前向推测人脸3d网格表示的模型，对面部区域眨眼和张嘴等表情特征检测，根据返回的面部关键点坐标，用如下公式计算其距离从而做出判断(根据距离变化判断眨眼和张嘴)，然后制定相应的控制命令，最终实现眨眼和张嘴的检测实现对轮椅的实时控制。
[0079][0080]
如图6所示单眼对应关键点示意图；p1表示关键点33，p2表示关键点160，p3表示关键点158，p4表示关键点133，p5表示关键点153，p6表示关键点144，通过计算出ear的值判断是否眨眼，同理判断张嘴，当眨眼或张嘴时，ear值会发生变化，当计算出ear值大于或者小
于设定的值分别判断是否眨眼或者张嘴。
[0081]
表2为面部控制预定义的控制命令
[0082]
控制命令面部表情前进嘴巴张一次左转闭一下左眼右转闭一下右眼停止闭一下双眼后退闭一下左眼，张一下嘴巴
[0083]
语音控制通过在线和离线语音包识别用户的声音，定义5种翻译文字用于控制轮椅，其中包括前进、左转、后退、右转、停。
[0084]
并且本发明还具体的描述了智能轮椅定位后如何进行自主导航的控制方法，具体的步骤如下：
[0085]
步骤1：在上位机ros操作系统中载入改进后的全局路径规划器rrt*，但为了得到一条安全可行的路径，并且满足智能轮椅运动的连续性和平滑性，对传统的rrt*规划器进行了改进，改进如下：
[0086]
s1修剪rrt规划器的冗余的路径节点，从而节省计算机的算力；
[0087]
s2通过启发式约束采样方法和人工势场中引力场方法减少路径搜索时间；
[0088]
s3通过约束路径的转弯曲率，使其生成的路径更加符合轮椅行走；
[0089]
s4通过三次b样条曲线使原始的路径变成一条光滑的路径，更加符合智能轮椅的运动方式。
[0090]
步骤2：生成一条可行的路径后，采用mpc模型预测局部规划器生成相应的控制指令并发送给底层控制器从而驱动智能轮椅，改进后的自主导航方法更加安全可靠。
[0091]
以上所述仅为本发明的实施方式，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进、扩展等，均包含在本发明的保护范围内。