基于脑电信号和SLAM控制的智能脑控轮椅系统

基于脑电信号和slam控制的智能脑控轮椅系统
技术领域
1.本发明涉及一种基于脑电信号和slam控制的智能脑控轮椅系统。


背景技术：

2.由于目前市场上的手推轮椅以及正在研发的智能轮椅均不能满足四肢残障人士、渐冻症以及偏瘫病患在日常生活中独立行动和外出。在轮椅控制中加入脑机接口技术，是脑科学与移动脑控轮椅机器人学的一次完美结合。通过对两大前沿技术的优势互补，促进智能轮椅的实现，为行动不便者提供方便，同时拓展了相关技术的应用领域脑控轮椅直接依靠脑电信号控制，无需外部设备干预。基于脑电信号控制的自动驾驶自动轮椅的研究重点就是脑机接口技术以及自动驾驶技术。传统的设备控制方式在脑机接口技术发展的过程中得到了革新，通过脑电控制轮椅变成可能；而轮椅能够进行自主导航、自主避障等自动驾驶的应用，则需通过定位导航技术实现，这也是增强脑控轮椅安全性的重要手段。综上所述，脑控轮椅与自动驾驶相关技术的融合研究具有重大的社会现实意义。将用户的脑信号转换成控制信号传达给轮椅，实现用户可以自由出行，增强用户的自信和幸福感。
3.因此，研究开发一种基于脑电信号实现智能控制，视觉slam实现自主导航的智能轮椅系统具有广阔市场。


技术实现要素：

4.为了解决上述问题，本发明提供一种可以帮助老年人和下肢残疾人群解决其移动行走，通过脑机接口接受使用者大脑发出的前进后退等命令，并通过视觉slam实现进一步的路径规划与自动驾驶的基于脑电信号和slam控制的智能脑控轮椅系统。
5.一种基于脑电信号和slam控制的智能脑控轮椅系统，它包括脑电信号处理模块、脑电信号采集模块、神经网络模块、电源模块、蓝牙传输模块和导航模块，所述脑电信号采集模块利用openbci开源脑电设备获取使用者实时脑电信号，通过应用程序和软件在pc端绘制脑电波图像并显示；
6.脑电信号处理模块通过openbci获取到的脑电信号进行特征提取，数据分析等操作。通过巴特沃斯带通滤波器对各通道信号进行降噪过滤，获取对应频率范围下的α波(8-13hz)，β波(14-30hz)，θ波(4-7hz)，δ波(1-4hz)传入神经网络进行训练和预测；
7.神经网络模块通过eegnet神经网络对传入的ssvep脑电信号进行训练得到分类模型，对之后传入的实时脑电信号进行更好的预测，转换化控制信号；
8.蓝牙传输模块采用无线蓝牙方式发送控制指令到轮椅端，实现人体脑电波对轮椅的控制；
9.导航模块对已经获得的脑电信号指令，通过双目摄像头获取周边环境信息，使用视觉slam技术处理环境信息进行建模，生成并创建周边环境地图，并通过生成的地图和目标地点进行路径规划；通过激光雷达传感器等多种传感器进行障碍物检测，将障碍物信息结合视觉slam更新地图信息，更改前进路径，完成自主避障。
10.进一步的，导航模块中对图像特征提取采用orb特征检测算子，完成图像特征检测。
11.进一步的，当地图点的三维位置可用，用orb特征进行描述，在当前图像帧中定位成功，通过图像帧的运动模型平均值来估计当前kinect的位姿，然后重映射地图点估计其在当前帧上的图像，用orb特征描述的地图点与在预测点附近范围检测到了特征进行匹配，图像上最小汉明距离的特征点被选为匹配点，然后利用非线性优化最小化重投影误差来计算获得相机位姿，优化之后，匹配点根据合适的阈值被分为内点和外点，当跟踪失败时，将当前图像帧转换成图像词袋，检索图像数据库，为全局重定位查找关键帧，然后计算orb特征和每个关键帧的地图云点的对应关系，最后对每个关键帧执行随机一致性检验迭代计算，用pnp算法估计kinect位姿，获得kinect的位姿，从而确定定位。
12.进一步的，导航模块中特征匹配分为以下四个步骤：
13.提取检测子：寻找出两张图片中最容易识别出的像素点，即颜色对比比较鲜明的像素点，比如纹理丰富的物体角点和边缘点等；
14.提取描述子：针对检测出的角点，用数学中常用的特征描述方法对其进行描述，例如直方图描述法等；
15.匹配：根据第二步提取岀的描述子来判断待匹配图像和模板图像中角点的对应关系；
16.消除噪声：消除错误匹配的角点信息，保留正确的匹配点；
17.根据提取的特征点得到关键位置，将关键点的位置进行计算得到描述子，最后将描述子进行匹配。
18.本发明的有益效果：
19.本发明使用该系统可以帮助老年人和下肢残疾人群解决其移动行走，通过脑机接口接受使用者大脑发出的前进后退等命令，并通过视觉slam实现进一步的路径规划与自动驾驶。在很大程度上为该人群树立了生活自信心和幸福指数，提高了他们自主生活的能力，也在一定程度上为家属和医护人员提供了便利，故该项目研究具有重要的社会效益。
20.本发明提出了一个通过自动驾驶技术辅助脑控轮椅驾驶的新理念，在原有的脑控轮椅基础上，加入自动驾驶技术辅助进行驾驶。由单纯脑电接口进行控制的轮椅通常会使驾驶人员保持高度集中状态，长时间驾驶就容易造成驾驶人员疲劳等状态。加入自动驾驶技术辅助之后，轮椅在行驶过程中会进行自动避障等操作，大大减少了操作难度，极大提高了脑控轮椅使用中的安全性。
附图说明
21.图1为本发明基于脑电信号控制的自主导航智能轮椅系统总体流程图；
22.图2为本发明系统框架图；
23.图3为本发明脑控轮椅系统流程图；
24.图4为本发明脑机接口工作流程图；
具体实施方式
25.下面结合附图1-4对本发明做详细介绍：
26.本发明基于脑电信号和slam控制的智能脑控轮椅系统包括脑电信号处理模块、脑电信号采集模块、神经网络模块、电源模块、蓝牙传输模块和导航模块，所述脑电信号采集模块利用openbci开源脑电设备获取使用者实时脑电信号，通过应用程序和软件在pc端绘制脑电波图像并显示，具体的实施方案，下文详细描述。
27.脑电信号处理模块，本功能分为脑电信号采集模块，脑电信号处理模块，eegnet神经网络的搭建模块，轮椅控制模块，电源模块。
28.信号处理模块，首先用户佩戴openbci设备采集脑电信号，对所采集的脑电信号进行预处理，使用陷波滤波器去50hz工频噪声,去除基线漂移，带通滤波器过滤，将处理过后的信号进行堆叠，将二维时域信号，转化为三维时域-频域信号，使用eegnet神经网络对信号进行分类和训练。
29.轮椅控制模块，下位机(轮椅)与上位机(pc)之间通过无线蓝牙连接建立通信连接，通过串口读取上位机的控制指令，根据控制命令，控制轮椅动作。
30.用户通过观察不同频率闪烁的上下左右停的图片信号刺激，与刺激频率或谐波频率相一致的神经网络就会产生谐振，产生ssvep信号，再将原始的脑信号进行工频降噪，去除基线漂移，采用eegnet神经网络对处理后的ssvep信号进行分类，本发明将采用无线蓝牙方式传输控制指令到轮椅端。下位机(轮椅)与上位机(pc)之间通过蓝牙连接建立通信连接，并通过串口读取上位机的控制指令，启动后轮椅向前行进，并且实时监测串口信号，根据控制命令，控制轮椅动作。
31.脑电信号采集
32.脑电信号按照常用的频率分类可分为4种基本的周期波。通过脑电信号采集记录到的四种基本周期波分别为a波、β波、δ波和θ波。根据enst和femando对脑电信号的频率分类方法，脑电信号的四种基本周期波可以分a波(8～14hz)、β波(14～30hz)、δ波(0.5～4hz)、θ波(4～8hz)这四个频率段。
33.脑电信号采集利用openbci开源脑电设备获取使用者实时脑电信号，该设备属于非侵入式脑机接口，不会对脑部进行伤害，通过应用程序和软件在pc端绘制脑电波图像并显示。整套openbci包括一个兼容arduino的开源开发板，一套感知头部信号的电极传感器，还有一个开源数据可视化解析软件。清晰的在脑电波解析图中看到大脑活跃情况，每个电极都对应相应的曲线，在刻意思考某些事情或做出某个动作时都能看到脑电图相应的变化，同时也就能判断是哪个电极对应的大脑区域信号比较活跃。
34.脑电信号处理
35.通过openbci获取到的脑电信号进行特征提取，数据分析等操作。通过巴特沃斯带通滤波器对各通道信号进行降噪过滤，获取对应频率范围下的α波(8-13hz)，β波(14-30hz)，θ波(4-7hz)，δ波(1-4hz)传入神经网络进行训练和预测。
36.openbci gui是openbci的强大软件工具，用于可视化，记录和流化来自openbci板的数据。数据可以实时显示，回放，以.txt格式保存到计算机，以及实时流式传输到第三方软件。
37.联网小部件允许将数据流传输到其他应用程序。继续滚动以获取四种数据类型的解释：串行，udp，osc和lsl。
38.lsl(lab streaming layer)是用于同步流数据以进行实时分析或记录的系统。
lsl是将openbci流发送到可以记录或处理数据的应用程序(例如python)的一种好方法。
39.脑电信号的预处理：脑电信号其幅值比较小，一般用μv进行表示，常混有各种伪迹和噪声。脑电信号的噪声有神经元和非神经元噪声。神经元噪声一般来是由肌电造成的非神经元则是电磁干扰等造成的，所以在信号处理前要进行预处理。
40.本发明使用陷波滤波器去工频噪声，在使用设备对脑电信号进行采集时，会产生一定的工频干扰。主要表现为信号测量时出现的正弦波或其他信号与正弦波的叠加。频率一般为50hz或60hz，根据不同国家或地区交流电工频频率而定。
41.先对信号进行低通滤波，然后用原信号减去得到的趋势信号，即为去趋势后的信号。基线漂移是指信号基线随着时间的增加会向单一方向偏移，而造成误差。使用零相位低通滤波法去除基线漂移噪声，先进行低通滤波。先对信号进行低通滤波，然后用原信号减去得到的趋势信号，即为去趋势后的信号。
42.通过巴特沃斯带通滤波器对各通道信号进行降噪过滤，获取四种基本脑电波，即对应频率范围下的α波(8-13hz)，β波(14-30hz)，θ波(4-7hz)，δ波(1-4hz)。每一种脑电波都有其相对应的不同的大脑意识状态。也可以说在不同意识状态下需要不同的脑电波分工合作才能最好地完成大脑的工作。
43.四种脑波信号进行堆叠，将二维时域信号，转化为三位时域-频域信号。
44.诱发电位是当大脑受到脉冲电流、闪光或者变化的图像、连续的声音刺激时产生的神经动作电位或突触后电位。这种脑电位有一定的潜伏期，潜伏期的长短和刺激部位、记录部位的距离、神经冲动的传导速度等相关。本发明让用户通过看页面不同频率闪烁的前、后、左、右、停五个图形刺激源，当对用户施加一个恒定频率的外界视觉刺激时，与刺激频率或谐波频率相一致的神经网络就会产生谐振，导致大脑的电位活动在刺激频率或谐波频率处出现明显变化，由此产生了ssvep信号。
45.神经网络搭建
46.本发明使用eegnet神经网络，eegnet由一个普通卷积conv和一个depthwise conv以及一个separable conv组成，其中，separable convolution由一个depthwise convlution和一个pointwise convlution组成。eegnet,这是一种用于基于eeg的bci的紧凑型卷积神经网络，使用深度和可分离卷积来构建特定于eeg的模型，该模型封装了脑机接口中常见的eeg特征提取概念，是专门为一般的脑电图识别任务而设计的通用且紧凑的卷积神经网络。
47.通过eegnet神经网络对传入的ssvep脑电信号进行训练得到分类模型，对之后传入的实时脑电信号进行更好的预测，转换化控制信号，从而实现对轮椅的控制。eegnet是一种紧凑的卷积神经网络模型，它具有好的抗噪能力，只需较少的参数，就能得到很好的训练结果。相比其他算法有着更好的鲁棒性，泛化能力。
48.电源模块
49.本发明中，专用的电源模块，供脑电信号采集处理单元、控制器件单元、无线收发等功能模块使用。电源模块的设计不仅要考虑输入电压、输出电压和电流，还要考虑系统的总功耗、电源实现的效率、电源部分对负载变化的瞬态响应能力、关键元器件允许的电源纹波以及散热问题等等。
50.蓝牙传输
51.采用数据无线传输不需要物理介质，在设计用于某些特定环境下的检测系统时不用考虑传输导线问题，而且，采用数字信号编码传输，具有一定的干扰能力。本发明采用无线蓝牙段进行近距离的无线通信，开放性较好，可用资源比较丰富。
52.脑控轮椅的自主导航模块
53.图像的采集
54.本发明采用kinect1.0作为外部传感器，搭建环境感知系统。基于kinect获取的观测信息，完成智能轮椅位置估计与地图构建。kinect是一个多传感器融合系统，由微软公司于2010年正式发布。主要元件为三个功能不同的摄像头。中间的镜头是rgb彩色摄像头，可以获取彩色图像。左右两侧镜头分别为红外线发射器与红外线摄像头。二者根据功能结合，组成3d结构光深度感应器，用于采集深度信息。
55.本发明采用kinect1.0作为外部传感器，其技术规格如下表所示：
56.kinect1.0相关技术参数
[0057][0058][0059]
在深度图像获取方面，kinect1.0采用了与传统的结构光技术不同的光编码(light-coding)技术。它通过红外发射器向空间中投射光线。光线经过衍射光栅后，被分解成为多束光线，在空间中形成了一个散斑图案。这些散斑具有高度的随机性，通过散斑即完成了对三维空间的“光编码”。激光散斑任意的分布在测量空间中，其图案形状由于距离大小的影响而互不相同。因此通过红外接收器接收从物体表面反射回的散斑，将其与标定的参照散斑图案进行对比求解运算，即可获得对应点的深度距离，从而形成深度图像。
[0060]
图像的预处理
[0061]
图像矫正，图像校正需要完成两个工作，一是进行相机畸变校正，二是将图像投影到标准位置，即使得图像的两摄像机的主点连线平行像素坐标的行线。畸变的产生原因和种类较多，但其中一项最为主要的畸变为径向畸变。上述摄像机理论都是建立在小孔成像模型上，而实际的复杂光学系统却并不完全符合这一模型。在图像边缘，光线的弯曲程度相
对图像中心会增火。径向畸变包括桶形畸变和枕形畸变两种，通过图像校正变成最右边的正常图像。
[0062]
特征点的提取和分配
[0063]
特征提取，目前主流的视觉slam采用的是基于特征点的方法，必须要对图像进行特征点检测与提取。为了验证sift、surf与orb特征提取算法实际效果，本发明基于opencv开源视觉库，对图片进行特征检测仿真试验。试验图片来自于nyu depth数据集。
[0064]
在视觉slam中，特征点数目越多，表示从图像获取的信息越丰富。在后续的匹配环节中，能够建立对应关系的也更多。但是，运算所需要的时间也越长，不利于slam的实时应用。根据试验数据可知，orb特征检测算子在满足特征数量的前提下，消耗时间远小于其他两种算法，大大提高了视觉slam的计算效率与实时性。本发明采用orb特征检测算子，完成图像特征检测，为后续步骤打下了坚实的基础。
[0065]
通过kinect获得视频帧，并用光流法来定位其位置。光流法是利用图像序列中像素在时间域上的变化，求解出空间运动物体在观察成像平面上的像素运动的瞬时速度u＝(u，v)，从而计算出相邻帧之间物体的运动信息，估计上一帧跟当前帧之间存在的对应关系。假设像素的光流运动微小和亮度恒定，可以得到i(x，y，t)＝i(x+dx，y+dy，t+dt)，由一阶泰勒展开得：
[0066][0067]
既i
x
dx+iydy+iidt＝0，并令u＝dx/dt，y＝dy/dt，那么则有
[0068][0069]
对于n个像素点的光流
[0070][0071]
将上式记为a
·
u＝b，那么
[0072]
u＝argmin||a
·
u-b||
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.4)
[0073]
当地图点的三维位置可用，用orb特征进行描述。在当前图像帧中定位成功，通过图像帧的运动模型平均值来估计当前kinect的位姿，然后重映射地图点估计其在当前帧上的图像。用orb特征描述的地图点与在预测点附近范围检测到了特征进行匹配，图像上最小汉明距离的特征点被选为匹配点。然后利用非线性优化最小化重投影误差来计算获得相机位姿。优化之后，匹配点根据合适的阈值被分为内点和外点。当跟踪失败时，将当前图像帧转换成图像词袋，检索图像数据库，为全局重定位查找关键帧。然后计算orb特征和每个关键帧的地图云点的对应关系，最后对每个关键帧执行随机一致性检验(random sample and consensus，ransac)迭代计算，用pnp(perspective-n-point)算法估计kinect位姿。获得kinect的位姿，从而确定定位。
[0074]
在通过特征提取算法获取图像特征点以及对应描述子后，需要通过匹配来寻找两幅图像中相同的特征，建立两幅图像的对应关系。
[0075]
特征匹配
[0076]
本发明选择根据图片的特征点来进行匹配。特征点匹配主要分为以下四个步骤：
[0077]
提取检测子：寻找出两张图片中最容易识别出的像素点，即颜色对比比较鲜明的像素点，比如纹理丰富的物体角点和边缘点等。
[0078]
提取描述子：针对检测出的角点，用数学中常用的特征描述方法对其进行描述，例如直方图描述法等。
[0079]
匹配：根据第二步提取岀的描述子来判断待匹配图像和模板图像中角点的对应关系。
[0080]
消除噪声：消除错误匹配的角点信息，保留正确的匹配点。
[0081]
根据提取的特征点得到关键位置，将关键点的位置进行计算得到描述子。最后将描述子进行匹配。
[0082]
位姿计算
[0083]
首先根据相机模型，将像素坐标到归一化图像坐标进行转变，然后进行l2归一化处理，之后根据3d坐标求出ab,ac,bc的值。最后求得了a，b，c的坐标就可以通过世界坐标系到当前相机坐标的变换求解相机位姿。
[0084]
后端非线性优化
[0085]
通过视觉获取最优的3d模型和相机参数，特征点通过相机模型投影到相机平面上最终聚集到光心的过程。一般将环境地图点与轮椅位姿点都作为优化变量，增加了节点和约束边的数量，准确度较高，但极大地增加了求解方程规模，优化效率低。
[0086]
因此本发明优化变量仅采用位姿节点，将位姿节点和位姿节点构成的边作为约束，以此来获得最优估计。
[0087]
首先用x来表示轮椅的位姿，其位姿包括轮椅的位置和姿态两部分。对于第i帧和第j帧图像对应的轮椅位姿为xi和xj，它们之间存在变换位姿表示为t
ij
，即第j帧相对于第i帧的相对位姿，可表示为其中r为旋转矩阵，t为平移矩阵。则相邻帧之间的位姿关系可表示为：
[0088]
xj＝xit
ij
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.5)
[0089]
而根据第i帧和第j帧图像间的运动估计得到的位姿变换矩阵t
′
ij
，通过图像得到的观测值和估计值存在着观测误差：
[0090]eij
(xi,xj)＝t
ij-t
′
ij
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.6)
[0091]
所有的位姿节点和位姿与位姿之间的边构成了图优化模型，在满足误差范围的情况下调整轮椅的位姿来满足这些位姿边构成的关联约束，其本质为一个最小二乘问题。其中优化变量为各位姿节点，位姿边构成了位姿观测约束，为优化位姿节点提供约束条件。该最小二乘问题目的是使得所有位姿边误差和最小的情况下，估计的位姿构成的轨迹更接近真实值。所有边的集合为ε，则误差目标函数为：
[0092]
[0093]
其中ω
ij
为协方差的逆矩阵即位姿边的信息矩阵，∑
ij
为运动估计的协方差。信息矩阵表示了位姿边约束力的大小。由于图优化中每条边都代表一个测量值即变换矩阵t，所以图优化里每一条边的信息矩阵就是测量协方差矩阵的逆，如果协方差越小，则说明对应节点之间的运动估计误差越小，可信度越高，约束边信息矩阵权重越大，也就是该位姿边对节点的约束作用越大。由此，这里将机器人的位姿x定义为位姿节点，节点包含的数据有节点的序号及其位姿，帧间位姿约束t定义为位姿边，边包含的数据有连接边的两个位姿节点序号，位姿节点之间的位姿变换以及表示边的信息矩阵。
[0094]
根据该最小二乘的目的，当前目标是需要寻找下降矢量vx，使得f(x+vx)达到最小。为求解vx，需求解线性最小二乘问题：
[0095][0096]
首先对该观测误差函数进行一阶泰勒展开，其中j为f(x)关于x的导数(雅克比矩阵)：
[0097]
f(x+vx)≈f(x)+jvx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.9)
[0098]
得到：
[0099][0100]
求解的变量为vx，所以定义上式方程各项系数分别为求解的变量为vx，所以定义上式方程各项系数分别为可以写成：
[0101]
f(x+vx)＝c
ij
+2b
ij
vx+vx
thij
vx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.11)
[0102]
根据极值求解步骤，将目标函数对vx求导，求解得到：
[0103]
hvx
*
＝-b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.12)
[0104]
该增量方程也称为正规方程，此时h为整个图优化的信息矩阵，其不同于边的信息矩阵ω
ij
。系统最终位姿x的解是在初始值上叠加增量vx直到找到位姿最优解，可以表示为：
[0105]
x
*
＝x0+vx
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.13)
[0106]
h矩阵具有稀疏特性，这才使得该方法能够在实时场景中应用。而h矩阵的稀疏特性是由雅克比矩阵j引起的。图优化中每条位姿边之间的约束只约束连接的两个位姿节点，其误差项只描述连接的两个节点之间的观测误差，对其余变量求导都为零。所以单边误差项对应的雅克比矩阵为如下形式：
[0107]
[0108]
其中，令a
ij
为xi和xj间误差项对位姿xi的偏导，b
ij
为xi和xj间误差项对位姿xj的偏导。
[0109]
可得：
[0110][0111][0112][0113]
由上式可知，对于所有的位姿，根据其雅克比矩阵和海森矩阵找到最优的位姿，就能得到系统的b＝∑
ijbij
，h＝∑
ijhij
，由此得到增量从vx
*
。位姿变量会沿着vx
*
的方向下降直到得到最优解。
[0114]
回环检测
[0115]
本发明slam系统采用基于图像特征匹配的回环检测方法。该方法在初始阶段有着较好的效果。随着机器人的不断运动，读入的图片越来越多，对于每一帧，需要匹配的图像数目也越来越大，回环检测消耗的时间逐渐增加。为提高系统的实时性，本发明基于内点数与运动大小，采用近距离回环与随机回环结合的匹配策略。对于最新读入的一帧图像inew，若满足关键帧条件，则将其定义为关键帧。将关键帧集合定义为f。将inew与f中末尾m个关键帧进行匹配，进行近距离回环检测。将inew与f中随机抽取n个关键帧进行匹配，进行随机回环检测。若满足回环条件，则在优化图中添加与对应关键帧的约束。
[0116]
构建地图
[0117]
从轮椅在运动过程中相邻图像帧中提出了空间域上的关键帧提取方法来筛选合适的图像帧，用子地图法进一步减少构建地图的时间。根据kinect成像原理，融合彩色图和深度图像计算获得三维点云。
[0118]
从二维色彩图像和深度图像计算三维点云公式如下：
[0119][0120]
其中f
x
,fy,c
x
,cy为相机内参，(u,v)为图像坐标，(x,y,z)为图像坐标系坐标，d深度相机测得像素点的距离，单位毫米(mm)，s为实际距离和测得距离d的比例系数，这里取1000。从相机坐标系点云到全局坐标系点云的变换公式如下：
[0121]
[0122]
其中为第i个关键帧的位姿，为在第i个关键帧坐标系上的点云，x
w,j
是变换后获得在全局坐标系上的点云。
[0123]
为了避免三维点云的冗余，造成不必要的计算量，采用基于空间域上的方法来提取关键帧，将相机在相邻帧运动了一定大小时才把该帧视为关键帧，并把它的点云叠加到现有的地图中去。其计算公式如下：
[0124]
min_norm≤||vt||+min(2π-||r||,||r||)≤max_norm
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2.20)
[0125]
其中vt为相机在相邻帧之间的位移矢量，r为相机在相邻帧之间的旋转角度，用它们的范数和来描述相机运动大小。min_norm为相机的最小运动，即当相机在相邻帧运动大于min_norm时则把该帧提取为关键帧，max_norm为相机的最大运动，即当其运动大于max_norm时，可认为是相机位姿估计错误，剔除该帧。根据实验经验，min_norm和max_norm分别取值为0.4、5。
[0126]
在大范围环境中建立三维稠密地图时，整个地图会相当大，占用大量的计算机内存，从而降低了系统的整体速度。所以本发明采用了子地图法，将整个大地图分成多个包含一定关键帧的子地图。当地图规模达到了一定的程度即一定关键帧数量时，将该子地图从计算内存中释放出来，保存到计算机硬盘中。待系统将要关闭，则将多个子地图整合为完整的地图。
[0127]
通过轮椅搭配的双目摄像头拍摄图片后，使用视觉slam旋转矩阵变换的方法将拍摄图片中的像素坐标转换为真实世界坐标，以此将照片信息转换为构建3d点云地图。利用深度摄像头kinect作为传感器设备来构建三维稠密地图。
[0128]
本发明组针对四肢残障人士、渐冻症、中风偏瘫等生活不能自理的老弱病残人士开发了基于脑电信号控制和视觉slam的自主导航智能轮椅。具有如下特点：
[0129]
基于深度学习的主动型脑电控制轮椅智能轮椅，开发了基于eeg信号识别的智能轮椅系统。通过基于深度学习神经网络和openbci核心的依据脑电图(eeg)和肌电图(emg)信号处理建模，获取感官(如脑部、肌肉)活动产生的电信号，采用脑电信号特征提取检测，根据使用者脑电信号的改变理解使用者对轮椅的控制意图，将其转换成控制信号。采用无线蓝牙方式发送控制指令到轮椅端，实现人体脑电波对轮椅的控制。解决了残障人士四肢功能不灵活，行动严重受限的活动及出行问题，帮助其在日常生活中独立行动和外出，重塑生活信心，减轻家属的陪护压力。通过深度学习让轮椅在陌生的环境中对场景物体的识别，形成语义。从而使轮椅具有室内场景的理解功能，当轮椅行走的过程中能够通过室内物体来推断当前场景。基于视觉slam的进行室内的地图重构，实现轮椅进行自主路径规划及自主运行，拓展残疾人士的自理能力。