基于脑控的残疾人生活辅助装置及其控制方法与流程

本发明属于智能控制技术领域，具体涉及一种基于脑控的残疾人生活辅助装置及其控制方法。

背景技术：

康复辅助机器人近年来已经成为独立的机器人大类，包括穿戴式外骨骼、智能假肢、智能轮椅等。其中，穿戴式外骨骼机器人可穿戴与患者身上，对人体运动能力有一定的补偿，但存在体积大，重量大，佩戴不舒服缺陷，具有代表性的是blleex助力型外骨骼机器人。智能假肢主要是通过安装假肢完成丧失的功能，但大都是基于残余肢体肌电信号进行控制。如德国reiter研制的假手，德国ottobock公司和viennatone合作研发的肌电假肢系统。这就要求使用者肌肉功能良好。而老年人一般肌肉功能下降，因此不适合老年人使用。智能轮椅目前已有大量研究，但其自由度少，功能有限如匹兹堡大学cooper等人制作的手动激活助力轮椅、日本keigoshiral等人开发的glimmer全方位轮椅。将轮椅和机械臂结合起来使用可增加其通用性。

现有轮椅机械臂大致分为以下两种，一种需要人对外部设备进行手动操作，不适用于完全不能行动的残疾人。如荷兰exactdynamics公司生产的轮椅机械臂系统iram，但是这一系统的机械臂控制方式为16键的软键盘配合一个2d操作杆，用户需要切换各关节的控制来实现机械臂的运动；加拿大kinova公司发布的产品jaco控制方式以操作杆操作为主。另一种则是由机器去料理人的生活，鲜有人机交互，不能照顾到使用者的感受，如定时电动轮椅机械臂。由于脑控系统有很好的自动化程度以及人机交互性，故近年来脑控系统成为研究热点。但是，传统的脑控系统需采集脑电信控制外部设备，由于脑电信号在实际运动过程中会随时间发生变化，与此同时，目前我们对大脑进行运动控制的原理尚未完全破解，以及感觉反馈通路的缺失，单靠大脑一个控制器是远远不够的。

技术实现要素：

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种结构简单、设计新颖合理、实现方便、有效提高了控制精度、将为残疾人的生活提供极大便利、实用性强、使用效果好、便于推广使用基于脑控的残疾人生活辅助装置。

为解决上述技术问题，本发明采用的技术方案是：一种基于脑控的残疾人生活辅助装置，包括电动轮椅和固定于电动轮椅右前方的类人机械臂，所述电动轮椅的座位底部安装有微型计算机，所述电动轮椅的顶部安装有高度可调的滑杆，所述滑杆上安装有脑电信号采集装置和摄像头，所述脑电信号采集装置的输出端和摄像头的输出端均与微型计算机的输入端连接，所述电动轮椅上设置有电动轮椅控制器、用于对电动轮椅的位置进行实时检测的电动轮椅位置传感器和用于驱动电动轮椅电机的轮椅电机驱动模块，所述类人机械臂上设置有类人机械臂控制器、用于对类人机械臂的位置进行实时检测的类人机械臂位置传感器和用于驱动类人机械臂电机的机械臂电机驱动模块，所述电动轮椅位置传感器与电动轮椅控制器的输入端连接，所述轮椅电机驱动模块与电动轮椅控制器的输出端连接，所述类人机械臂位置传感器与类人机械臂控制器的输入端连接，所述机械臂电机驱动模块与类人机械臂控制器的输出端连接，所述电动轮椅控制器和类人机械臂控制器均与微型计算机相接，所述微型计算机上还接有用于拾取人的声音信号的麦克风，所述麦克风安装在类人机械臂上，所述微型计算机上还接有用于拾取人的声音信号的麦克风和用于产生电刺激信号作用于残疾人头部的脑电仿生电刺激仪，所述麦克风安装在类人机械臂上。

上述的一种基于脑控的残疾人生活辅助装置，所述类人机械臂为六自由度类人机械臂。

上述的一种基于脑控的残疾人生活辅助装置，所述电动轮椅控制器和类人机械臂控制器均为单片机。

本发明还公开了一种通过采用解码器模块、声音信号处理模块、目标信息提取模块、专家系统模型、基于能量最小原则的路径规划模块和基于无模型控制的脑控辅助控制模块，能够实现轮椅和类人机械臂的自主控制，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作的基于脑控的残疾人生活辅助装置的控制方法，该方法包括以下步骤：

步骤一、残疾人坐在电动轮椅上，调节好滑杆的高度，使脑电信号采集装置处于残疾人头部正上方；

步骤二、当残疾人想要执行生活所需动作时，脑电信号采集装置采集残疾人的脑电信号并对脑电信号进行放大、滤波和a/d转换处理后输出给微型计算机；同时，残疾人对着麦克风说出想要执行的生活所需动作，所述麦克风将其拾取到的残疾人的声音信号传输给微型计算机；摄像头采集电动轮椅前方的环境图像并将采集到的环境图像传输给微型计算机；

步骤三、所述微型计算机调用脑电信号解码器模块将脑电信号解码为对电动轮椅的运动控制指令和对类人机械臂的运动控制指令，并将对电动轮椅的运动控制指令传输给电动轮椅控制器，将对类人机械臂的运动控制指令传输给类人机械臂控制器，电动轮椅控制器根据对电动轮椅的运动控制指令控制轮椅电机驱动模块驱动电动轮椅动作，使电动轮椅向其目标位置处移动；

电动轮椅向其目标位置处移动过程中，电动轮椅位置传感器对电动轮椅的位置进行实时检测并将检测到的电动轮椅位置信号输出给电动轮椅控制器，电动轮椅控制器再传输给微型计算机，同时，残疾人能够看到电动轮椅与目标位置之间的距离变化，带来脑电信号的改变，脑电信号采集装置持续采集脑电信号，微型计算机持续根据脑电信号采集装置输出的信号对电动轮椅进行控制，实现对电动轮椅的闭环控制；

当电动轮椅位置传感器检测到电动轮椅到达目标位置处时，电动轮椅控制器将电动轮椅到达目标位置处的信号传输给微型计算机，微型计算机再将对类人机械臂的运动控制指令传输给类人机械臂控制器，类人机械臂控制器根据对类人机械臂的运动控制指令控制机械臂电机驱动模块驱动类人机械臂动作；同时，所述微型计算机调用声音信号处理模块对麦克风输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作；所述微型计算机调用目标信息提取模块对此时摄像头采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；然后，所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；

步骤四、所述微型计算机将目标信息的中心坐标输入预先训练好的专家系统模型中，得到类人机械臂各自由度电机的目标角度；类人机械臂位置传感器对类人机械臂的位置进行实时检测并将检测到的类人机械臂各自由度电机的位置信号输出给类人机械臂控制器，类人机械臂控制器再传输给微型计算机，微型计算机调用路径规划模块对检测到的类人机械臂各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂的运动轨迹；

步骤五、所述微型计算机调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂的运动轨迹与类人机械臂位置传感器检测到的类人机械臂各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率，并输出给脑电仿生电刺激仪，通过脑电仿生电刺激仪产生电刺激信号作用于残疾人头部，实现对脑电信号的反馈调节，实现辅助大脑进行类人机械臂控制的效果。

上述的方法，步骤三中所述微型计算机调用脑电信号解码器模块将脑电信号解码为对电动轮椅的运动控制指令和对类人机械臂的运动控制指令时，是将脑电信号输入预先训练好的解码器模型中，得出对电动轮椅的运动控制指令和对类人机械臂的运动控制指令；其中，所述解码器模型的训练过程为：

步骤a1、数据生成：邀请x个志愿者做残疾人想要执行的生活所需动作，采集他们的多组脑电信号、右腿位置信号和右臂位置信号，并将采集到的多组信号分为训练集和测试集输入微型计算机中；其中，x的取值为大于100的正整数；

步骤a2、解码器训练：所述微型计算机通过维纳滤波原理建立右腿位置信号和右臂位置信号与脑电信号之间的关系，将第k个时刻右腿各关节位置和右臂各关节位置矩阵p(k)与脑电信号矩阵z(k)之间的数学关系模型表示为：

p(k)＝w^tz(k)(f1)

其中，z(k)＝[z1(k),z1(k-1),…,z1(k-l+1),z2(k),z2(k-1),…,z2(k-l+1),…,zn(k-l+1)]，zi(k-j)为在第k-j个时刻第i个大脑皮层采样点的脑电信号采样数据，i的取值为1～n的正整数，n为脑电信号采集装置的脑电信号采集通路数，j为延时时刻且取值为0～l-1，l的取值为6～15的正整数；w为权重矩阵且w的更新公式为：

其中，w(k+1)为第k+1个时刻的权重矩阵，w(k)为第k个时刻的权重矩阵，β为正常数，δ为0～2的常数，e(k)为第k个时刻通过解码器求出的右腿位置信号和右臂位置信号与训练集中的右腿位置信号和右臂位置信号与之间的误差；所述微型计算机通过训练得到权重矩阵w的最终适应值；

步骤a3、所述微型计算机将测试集输入步骤a2中训练得到的解码器中，当测试结果满足精度需求时，停止训练，得到训练好的解码器；当测试结果不满足精度需求时，重复步骤a1和步骤a2，增大训练集再次执行步骤a1至a3进行训练。

上述的方法，步骤三中所述微型计算机调用声音信号处理模块对麦克风输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作的具体过程为：

步骤d1、所述微型计算机调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤d2、所述微型计算机将语谱图输入预先构建的tensorflow深度学习语义识别网络中，得到语义识别的结果，多种语义分别对应残疾人需要执行的多种生活所需动作；

所述tensorflow深度学习语义识别网络的构建方法为：

步骤d201、人对着麦克风说话时，所述麦克风将其拾取到的人的声音信号传输给微型计算机；所述微型计算机采集声音信号；

步骤d202、所述微型计算机调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤d203、重复执行步骤d201和步骤d202，直至所述微型计算机存储了残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图；

步骤d204、所述微型计算机构建一个卷积网络核的层数为五层、输入层节点为256×256个像素的语谱图、输出层节点数与残疾人需要执行的生活所需动作类别数相等的tensorflow深度学习网络，并将其存储的残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图作为训练样本，对tensorflow深度学习网络进行训练，得到tensorflow深度学习语义识别网络；所述tensorflow深度学习语义识别网络五层卷积网络核的大小从一层到第五层分别为3x3,2x2,3x3,2x2,2x2；所述tensorflow深度学习语义识别网络的输出为分别对应于残疾人需要执行的多种生活所需动作的多种语义。

上述的方法，步骤三中所述微型计算机调用目标信息提取模块对此时摄像头采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息的具体过程为：

步骤e1、所述微型计算机调用二次线性插值图像处理模块对环境图像进行平滑处理；

步骤e2、所述微型计算机将经过步骤e1平滑处理后的环境图像输入预先训练好的faster-rcnn网络模型中，得到faster-rcnn网络模型的输出，faster-rcnn网络模型的输出中提取出了环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；

其中，预先训练faster-rcnn网络模型的具体过程为：

步骤e201、构建rpn卷积神经网络和fast-rcnn卷积神经网络，所述rpn卷积神经网络由八个卷积层和一个softmax层构成，所述fast-rcnn卷积神经网络由五个卷积层、一个roipooling层、四个全连接层和一个softmax层构成；

步骤e202、对rpn卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤e203、将多个类别的目标图像分别作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的rpn卷积神经网络中输入训练样本图像的基准框来训练rpn，使用反向传播bp算法，调整rpn卷积神经网络参数，使损失函数值最小；多个类别的目标图像分别与残疾人需要执行的多种生活所需动作对应的多个目标信息相对应；

步骤e204、在训练样本图像上运用训练好的rpn卷积神经网络模型，得到训练样本集的多个类别的目标的粗选框；

步骤e205、对fast-rcnn卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤e206、输入训练样本图像和步骤e204中获得的训练样本集的多个类别的目标的粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的fast-rcnn卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练fast-rcnn，使用反向传播bp算法，调整rpn卷积神经网络参数，使损失函数值最小，得到训练好的fast-rcnn卷积神经网络；

步骤e207、重新训练rpn卷积神经网络，将rpn卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤e206的fast-rcnn卷积神经网络模型，训练得到新的rpn卷积神经网络模型；

步骤e208、在训练样本图像上运用新训练好的rpn卷积神经网络模型，重新得到训练样本集的多个类别的目标的粗选框；

步骤e209、重新训练fast-rcnn卷积神经网络，将fast-rcnn卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤e208中的rpn卷积神经网络模型，使用训练样本集和步骤e208中的训练样本集的多个类别的目标的粗选框标注，重新训练得到新的fast-rcnn卷积神经网络模型。

上述的方法，步骤三中所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标的具体过程为：

步骤f1、所述微型计算机从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息；

步骤f2、所述微型计算机调用边界提取模块对步骤f1中得到的目标进行边界提取，提取得到目标边界；

步骤f3、所述微型计算机对提取出的目标边界像素坐标进行椭圆拟合，并对目标边界像素坐标的椭圆拟合结果进行错误剔除，得到目标边界椭圆的中心坐标、长半轴长度、短半轴长度和长半轴方向；

步骤f4、所述微型计算机采用重心法确定出目标的中心坐标。

上述的方法，步骤四中所述专家系统模型的训练过程为：选取一名或多名志愿者执行生活所需动作，记录各个采样时间点右手臂与类人机械臂中各电机位置对应的各关节角度，建立专家系统模型并存储在微型计算机中；

步骤四中所述微型计算机调用路径规划模块对检测到的类人机械臂各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂的运动轨迹时，采用能量最小原则设计，将类人机械臂中与人的右手臂各关节对应的各电机能量消耗最小的运动轨迹确定为各电机的运动轨迹，其中，对单个电机的路径进行规划的具体过程为：

步骤b1、假设电机需要从角度θ0运动到角度θ1,运动过程中花费的时间为t；

步骤b2、将电机的总能耗w表示为：

其中，wp为电机的输出功率且θ(t)为电机的角度，t为时间，τ为电机输出转矩；wf为电机发热能耗且i为电机的有效电流且k为转矩常数,r为电机的等效电阻；

步骤b3、在时间段[0，t]内，定义采样时间间隔为δt且δt为能整除t的正整数，建立路径规划的优化问题为：

其中，δt＝tm+1-tm，m为采样次数且m的取值为正整数；当tm＝0时，存在约束：

当tm+1＝t时，存在约束：

在每个采样周期内利用路径规划的优化问题计算电机运动的角加速度得到电机的运动轨迹。

上述的方法，步骤五中所述微型计算机调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂的运动轨迹与类人机械臂位置传感器检测到的类人机械臂各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率的具体过程为：

步骤c1、选取控制输入准则函数为：

jp(k)＝[o^*(k+1)-o(k+1)]²+λ[f(k)-f(k-1)]²(f6)

其中，o^*(k+1)为所述微型计算机调用路径规划模块规划的类人机械臂的运动轨迹中k+1时刻类人机械臂的期望位置，λ为权重系数，o(k+1)为根据k时刻类人机械臂位置传感器检测到的类人机械臂的真实位置o(k)计算得到的k+1时刻类人机械臂的真实位置，所述o(k+1)的计算公式为：

其中，为k时刻被控系统的伪偏导数，是一个时变的参数；δf(k)为f(k)的增量且δf(k)＝f(k)-f(k-1)，f(k)为k时刻被控系统的输入,即k时刻计算得到的双相波电流频率；f(k-1)为k-1时刻被控系统的输入,即k-1时刻计算得到的双相波电流频率；

步骤c2、将公式(f7)代入公式(f6)中,对f(k)求导,并令jp(k)对f(k)的导数为0,得到：

其中，ρk为的常数项参数；

步骤c3、采用相似方法求出的估计值计算公式为：

其中，为的准则函数，μ为伪偏导数的变化量的常数项参数，为k-1时刻被控系统的伪偏导数，为的估计值，ηk为δi(k-1)的常数项参数，δf(k-1)为f(k-1)的增量且δf(k-1)＝f(k-1)-f(k-2)，f(k-2)为k-2时刻被控系统的输入,即k-2时刻计算得到的双相波电流频率；δo(k)为o(k)的增量且δo(k)＝o(k)-o(k-1)；

步骤c4、将的估计值作为的取值代入公式(f8),得到双相波电流频率f(k)。

本发明与现有技术相比具有以下优点：

1、本发明基于脑控的残疾人生活辅助装置的结构简单，设计新颖合理，实现方便。

2、本发明的基于脑控的残疾人生活辅助装置，在传统脑控系统中加入了微型计算机，辅助大脑进行控制，通过麦克风和摄像头，实现了语音输入和图像采集的融合，能够有效识别残疾人想要执行的生活所需动作，识别出目标并控制电动轮椅和机械臂到达目标。

3、本发明的基于脑控的残疾人生活辅助装置的控制方法，通过采用解码器模块、声音信号处理模块、目标信息提取模块、专家系统模型、基于能量最小原则的路径规划模块和基于无模型控制的脑控辅助控制模块，能够实现轮椅和类人机械臂的自主控制，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作。

4、本发明的基于脑控的残疾人生活辅助装置的控制方法，采用无模型控制设计脑控辅助控制模块，它不依赖于被控制系统的模型,只依赖被控系统的输入输出数据，能够避免对复杂大脑模型的分析，简化了控制过程的同时，还能够达到很好的控制效果。

5、本发明通过电动轮椅和机械臂组合构成残疾人生活辅助装置，能够部分或全部实现老年人、残疾人已丧失的操作能力，从而改善老龄人和肢体残疾人的移动能力和生活质量，本发明的推广使用，将为残疾人的生活提供极大便利，能够有效减轻照顾残疾人的负担，本发明的实用性强，使用效果好，便于推广使用。

综上所述，本发明的设计新颖合理，实现方便，控制精度高，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作，将为残疾人的生活提供极大便利，实用性强，使用效果好，便于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明基于脑控的残疾人生活辅助装置的结构示意图。

图2为本发明微型计算机与其他各单元的连接关系示意图。

图3为本发明基于脑控的残疾人生活辅助装置的控制方法的方法原理框图。

附图标记说明:

1—电动轮椅；1-1—轮椅电机驱动模块；

1-2—电动轮椅位置传感器；1-3—电动轮椅控制器；

2—类人机械臂；2-1—机械臂电机驱动模块；

2-2—类人机械臂位置传感器；2-3—类人机械臂控制器；

3—微型计算机；4—滑杆；

5—脑电信号采集装置；6—摄像头；

7—脑电仿生电刺激仪；8—麦克风。

具体实施方式

如图1和图2所示，本发明的基于脑控的残疾人生活辅助装置，包括电动轮椅1和固定于电动轮椅1右前方的类人机械臂2，所述电动轮椅1的座位底部安装有微型计算机3，所述电动轮椅1的顶部安装有高度可调的滑杆4，所述滑杆4上安装有脑电信号采集装置5和摄像头6，所述脑电信号采集装置5的输出端和摄像头6的输出端均与微型计算机3的输入端连接，所述电动轮椅1上设置有电动轮椅控制器1-3、用于对电动轮椅1的位置进行实时检测的电动轮椅位置传感器1-2和用于驱动电动轮椅电机的轮椅电机驱动模块1-1，所述类人机械臂2上设置有类人机械臂控制器2-3、用于对类人机械臂2的位置进行实时检测的类人机械臂位置传感器2-2和用于驱动类人机械臂电机的机械臂电机驱动模块2-1，所述电动轮椅位置传感器1-2与电动轮椅控制器1-3的输入端连接，所述轮椅电机驱动模块1-1与电动轮椅控制器1-3的输出端连接，所述类人机械臂位置传感器2-2与类人机械臂控制器2-3的输入端连接，所述机械臂电机驱动模块2-1与类人机械臂控制器2-3的输出端连接，所述电动轮椅控制器1-3和类人机械臂控制器2-3均与微型计算机3相接，所述微型计算机3上还接有用于拾取人的声音信号的麦克风8和用于产生电刺激信号作用于残疾人头部的脑电仿生电刺激仪7，所述麦克风8安装在类人机械臂2上。

本实施例中，所述类人机械臂2为六自由度类人机械臂。

本实施例中，所述电动轮椅控制器1-3和类人机械臂控制器2-3均为单片机。

具体实施时，所述电动轮椅1包括前轮电机和后轮电机，所述轮椅电机驱动模块1-1用于驱动电动轮椅1的前轮电机和后轮电机；所述电动轮椅位置传感器1-2采用编码器，用于采集电动轮椅1的前轮电机和后轮电机的位置，从而获知电动轮椅1的位置；所述类人机械臂2包括第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机，所述机械臂电机驱动模块2-1用于驱动类人机械臂2的第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机；所述类人机械臂位置传感器2-2采用编码器，用于采集类人机械臂2的第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机的位置，从而获知类人机械臂2的位置。

如图3所示，本发明的基于脑控的残疾人生活辅助装置的控制方法，包括以下步骤：

步骤一、残疾人坐在电动轮椅1上，调节好滑杆4的高度，使脑电信号采集装置5处于残疾人头部正上方；

步骤二、当残疾人想要执行生活所需动作(例如取水喝)时，脑电信号采集装置5采集残疾人的脑电信号并对脑电信号进行放大、滤波和a/d转换处理后输出给微型计算机3；同时，残疾人对着麦克风8说出想要执行的生活所需动作，所述麦克风8将其拾取到的残疾人的声音信号传输给微型计算机3；摄像头6采集电动轮椅1前方的环境图像并将采集到的环境图像传输给微型计算机3；

步骤三、所述微型计算机3调用脑电信号解码器模块将脑电信号解码为对电动轮椅1的运动控制指令和对类人机械臂2的运动控制指令，并将对电动轮椅1的运动控制指令传输给电动轮椅控制器1-3，将对类人机械臂2的运动控制指令传输给类人机械臂控制器2-3，电动轮椅控制器1-3根据对电动轮椅1的运动控制指令控制轮椅电机驱动模块1-1驱动电动轮椅1动作，使电动轮椅1向其目标位置处移动；

电动轮椅1向其目标位置处移动过程中，电动轮椅位置传感器1-2对电动轮椅1的位置进行实时检测并将检测到的电动轮椅位置信号输出给电动轮椅控制器1-3，电动轮椅控制器1-3再传输给微型计算机3，同时，残疾人能够看到电动轮椅1与目标位置之间的距离变化，带来脑电信号的改变，脑电信号采集装置5持续采集脑电信号，微型计算机3持续根据脑电信号采集装置5输出的信号对电动轮椅1进行控制，实现对电动轮椅1的闭环控制；

当电动轮椅位置传感器1-2检测到电动轮椅1到达目标位置处时，电动轮椅控制器1-3将电动轮椅1到达目标位置处的信号传输给微型计算机3，微型计算机3再将对类人机械臂2的运动控制指令传输给类人机械臂控制器2-3，类人机械臂控制器2-3根据对类人机械臂的运动控制指令控制机械臂电机驱动模块2-1驱动类人机械臂2动作；同时，所述微型计算机3调用声音信号处理模块对麦克风8输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作；所述微型计算机3调用目标信息提取模块对此时摄像头6采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；然后，所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标；

本实施例中，步骤三中所述微型计算机3调用脑电信号解码器模块将脑电信号解码为对电动轮椅1的运动控制指令和对类人机械臂2的运动控制指令时，是将脑电信号输入预先训练好的解码器模型中，得出对电动轮椅1的运动控制指令和对类人机械臂2的运动控制指令；其中，所述解码器模型的训练过程为：

步骤a1、数据生成：邀请x个志愿者做残疾人想要执行的生活所需动作(例如取水喝)，采集他们的多组脑电信号、右腿位置信号和右臂位置信号，并将采集到的多组信号分为训练集和测试集输入微型计算机3中；其中，x的取值为大于100的正整数；

步骤a2、解码器训练：所述微型计算机3通过维纳滤波原理建立右腿位置信号和右臂位置信号与脑电信号之间的关系，将第k个时刻右腿各关节位置和右臂各关节位置矩阵p(k)与脑电信号矩阵z(k)之间的数学关系模型表示为：

p(k)＝w^tz(k)(f1)

其中，z(k)＝[z1(k),z1(k-1),…,z1(k-l+1),z2(k),z2(k-1),…,z2(k-l+1),…,zn(k-l+1)]，zi(k-j)为在第k-j个时刻第i个大脑皮层采样点的脑电信号采样数据，i的取值为1～n的正整数，n为脑电信号采集装置5的脑电信号采集通路数，j为延时时刻且取值为0～l-1，l的取值为6～15的正整数；w为权重矩阵且w的更新公式为：

其中，w(k+1)为第k+1个时刻的权重矩阵，w(k)为第k个时刻的权重矩阵，β为正常数，δ为0～2的常数，e(k)为第k个时刻通过解码器求出的右腿位置信号和右臂位置信号与训练集中的右腿位置信号和右臂位置信号与之间的误差；所述微型计算机3通过训练得到权重矩阵w的最终适应值；

步骤a3、所述微型计算机3将测试集输入步骤a2中训练得到的解码器中，当测试结果满足精度需求时，停止训练，得到训练好的解码器；当测试结果不满足精度需求时，重复步骤a1和步骤a2，增大训练集再次执行步骤a1至a3进行训练。

具体实施时，l的取值为10。右腿位置信号与轮椅1中前轮电机和后轮电机的位置相对应，右臂位置信号与类人机械臂2中第一自由度电机、第二自由度电机、第三自由度电机、第四自由度电机、第五自由度电机和第六自由度电机的位置相对应，矩阵p(k)为8×1的矩阵，w为(l×n)×8的矩阵，z(k)为(l×n)×1的矩阵。

具体实施时，所述β的取值为0.01。

本实施例中，步骤三中所述微型计算机3调用声音信号处理模块对麦克风8输出的声音信号进行处理，得到残疾人说出的想要执行的生活所需动作的具体过程为：

步骤d1、所述微型计算机3调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤d2、所述微型计算机3将语谱图输入预先构建的tensorflow深度学习语义识别网络中，得到语义识别的结果，多种语义分别对应残疾人需要执行的多种生活所需动作；

所述tensorflow深度学习语义识别网络的构建方法为：

步骤d201、人对着麦克风8说话时，所述麦克风8将其拾取到的人的声音信号传输给微型计算机3；所述微型计算机3采集声音信号；

步骤d202、所述微型计算机3调用语谱图绘制模块，将接收到的声音信号绘制为语谱图；

步骤d203、重复执行步骤d201和步骤d202，直至所述微型计算机3存储了残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图；

步骤d204、所述微型计算机3构建一个卷积网络核的层数为五层、输入层节点为256×256个像素的语谱图、输出层节点数与残疾人需要执行的生活所需动作类别数相等的tensorflow深度学习网络，并将其存储的残疾人需要执行的多种生活所需动作多种语义各500组时长为2s的声音信号的语谱图作为训练样本，对tensorflow深度学习网络进行训练，得到tensorflow深度学习语义识别网络；所述tensorflow深度学习语义识别网络五层卷积网络核的大小从一层到第五层分别为3x3,2x2,3x3,2x2,2x2；所述tensorflow深度学习语义识别网络的输出为分别对应于残疾人需要执行的多种生活所需动作的多种语义。

具体实施时，所述残疾人需要执行的多种生活所需动作包括“取杯子”、“开门”、“关门”、“开电视机”和“关电视机”，多种语义包括“取杯子”、“开门”、“关门”、“开电视机”和“关电视机”。

具体实施时，所述微型计算机3是在matlab软件中，运用spectrogram函数,将其接收到的声音信号绘制为语谱图的。

本实施例中，步骤三中所述微型计算机3调用目标信息提取模块对此时摄像头6采集到的环境图像进行处理，提取得到环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息的具体过程为：

步骤e1、所述微型计算机3调用二次线性插值图像处理模块对环境图像进行平滑处理；

步骤e2、所述微型计算机3将经过步骤e1平滑处理后的环境图像输入预先训练好的faster-rcnn网络模型中，得到faster-rcnn网络模型的输出，faster-rcnn网络模型的输出中提取出了环境图像中的与残疾人需要执行的多种生活所需动作对应的多个目标信息；

其中，预先训练faster-rcnn网络模型的具体过程为：

步骤e201、构建rpn卷积神经网络和fast-rcnn卷积神经网络，所述rpn卷积神经网络由八个卷积层和一个softmax层构成，所述fast-rcnn卷积神经网络由五个卷积层、一个roipooling层、四个全连接层和一个softmax层构成；

步骤e202、对rpn卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤e203、将多个类别的目标图像分别作为输入的训练样本图像，对输入的训练样本图像赋予多个尺度和多个比例的基准框，通过向初始化后的rpn卷积神经网络中输入训练样本图像的基准框来训练rpn，使用反向传播bp算法，调整rpn卷积神经网络参数，使损失函数值最小；多个类别的目标图像分别与残疾人需要执行的多种生活所需动作对应的多个目标信息相对应；

具体实施时，所述残疾人需要执行的多种生活所需动作包括“取杯子”、“开门”、“关门”、“开电视机”和“关电视机”，与残疾人需要执行的多种生活所需动作对应的多个目标信息包括“取杯子”、“开门”、“关门”、“开电视机”和“关电视机”，多个类别的目标图像即为杯子图像、门图像、电视机图像；

步骤e204、在训练样本图像上运用训练好的rpn卷积神经网络模型，得到训练样本集的多个类别的目标的粗选框；

步骤e205、对fast-rcnn卷积神经网络进行初始化，用不同的小随机数初始化网络中待训练参数；

步骤e206、输入训练样本图像和步骤e204中获得的训练样本集的多个类别的目标的粗选框，对输入的训练样本图像每一点都赋予多个尺度和多个比例的基准框，通过向初始化后的fast-rcnn卷积神经网络中输入训练样本图像的基准框，并结合样本集的标注和标签来训练fast-rcnn，使用反向传播bp算法，调整rpn卷积神经网络参数，使损失函数值最小，得到训练好的fast-rcnn卷积神经网络；

步骤e207、重新训练rpn卷积神经网络，将rpn卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤e206的fast-rcnn卷积神经网络模型，训练得到新的rpn卷积神经网络模型；

步骤e208、在训练样本图像上运用新训练好的rpn卷积神经网络模型，重新得到训练样本集的多个类别的目标的粗选框；

步骤e209、重新训练fast-rcnn卷积神经网络，将fast-rcnn卷积神经网络的前五层卷积层学习率设为0，参数finetune来自步骤e208中的rpn卷积神经网络模型，使用训练样本集和步骤e208中的训练样本集的多个类别的目标的粗选框标注，重新训练得到新的fast-rcnn卷积神经网络模型。

本实施例中，步骤三中所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息，调用目标中心坐标确定模块确定出该目标信息的中心坐标的具体过程为：

步骤f1、所述微型计算机3从环境图像中的多个目标信息中找出与残疾人说出的想要执行的生活所需动作所对应的目标信息；

步骤f2、所述微型计算机3调用边界提取模块对步骤f1中得到的目标进行边界提取，提取得到目标边界；

步骤f3、所述微型计算机3对提取出的目标边界像素坐标进行椭圆拟合，并对目标边界像素坐标的椭圆拟合结果进行错误剔除，得到目标边界椭圆的中心坐标、长半轴长度、短半轴长度和长半轴方向；

具体实施时，所述微型计算机3对提取出的目标边界像素坐标进行椭圆拟合采用了最小二乘法；所述微型计算机3对目标边界像素坐标的椭圆拟合结果进行错误剔除的具体方法为：以拟合得到的目标边界椭圆的长半轴长度为观测值，采用粗差探测法对目标边界像素坐标的椭圆拟合结果进行错误剔除。

步骤f4、所述微型计算机3采用重心法确定出目标的中心坐标。

步骤四、所述微型计算机3将目标信息的中心坐标输入预先训练好的专家系统模型中，得到类人机械臂2各自由度电机的目标角度；类人机械臂位置传感器2-2对类人机械臂2的位置进行实时检测并将检测到的类人机械臂2各自由度电机的位置信号输出给类人机械臂控制器2-3，类人机械臂控制器2-3再传输给微型计算机3，微型计算机3调用路径规划模块对检测到的类人机械臂2各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂2的运动轨迹；

本实施例中，步骤四中所述专家系统模型的训练过程为：选取一名或多名志愿者执行生活所需动作(例如取水喝)，记录各个采样时间点右手臂与类人机械臂中各电机位置对应的各关节角度，建立专家系统模型并存储在微型计算机3中；

步骤四中所述微型计算机3调用路径规划模块对检测到的类人机械臂2各自由度电机的位置信号与各自由度电机的目标角度进行处理，得到类人机械臂2的运动轨迹时，采用能量最小原则设计，将类人机械臂2中与人的右手臂各关节对应的各电机能量消耗最小的运动轨迹确定为各电机的运动轨迹，其中，对单个电机的路径进行规划的具体过程为：

步骤b1、假设电机需要从角度θ0运动到角度θ1,运动过程中花费的时间为t；

步骤b2、将电机的总能耗w表示为：

其中，wp为电机的输出功率且θ(t)为电机的角度，t为时间，τ为电机输出转矩；wf为电机发热能耗且i为电机的有效电流且k为转矩常数,r为电机的等效电阻；

步骤b3、在时间段[0，t]内，定义采样时间间隔为δt且δt为能整除t的正整数，建立路径规划的优化问题为：

其中，δt＝tm+1-tm，m为采样次数且m的取值为正整数；当tm＝0时，存在约束：

当tm+1＝t时，存在约束：

在每个采样周期内利用路径规划的优化问题计算电机运动的角加速度得到电机的运动轨迹。

步骤五、所述微型计算机3调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂2的运动轨迹与类人机械臂位置传感器2-2检测到的类人机械臂2各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率，并输出给脑电仿生电刺激仪7，通过脑电仿生电刺激仪7产生电刺激信号作用于残疾人头部，实现对脑电信号的反馈调节，实现辅助大脑进行类人机械臂2控制的效果。

本实施例中，步骤五中所述微型计算机3调用脑控辅助控制模块对其调用路径规划模块规划的类人机械臂2的运动轨迹与类人机械臂位置传感器2-2检测到的类人机械臂2各自由度电机的位置信号，采用无模型控制原理进行处理，计算得到双相波电流频率的具体过程为：

步骤c1、选取控制输入准则函数为：

jp(k)＝[o^*(k+1)-o(k+1)]²+λ[f(k)-f(k-1)]²(f6)

其中，o^*(k+1)为所述微型计算机3调用路径规划模块规划的类人机械臂2的运动轨迹中k+1时刻类人机械臂2的期望位置，λ为权重系数，o(k+1)为根据k时刻类人机械臂位置传感器2-2检测到的类人机械臂2的真实位置o(k)计算得到的k+1时刻类人机械臂2的真实位置，所述o(k+1)的计算公式为：

其中，为k时刻被控系统的伪偏导数，是一个时变的参数；δf(k)为f(k)的增量且δf(k)＝f(k)-f(k-1)，f(k)为k时刻被控系统的输入,即k时刻计算得到的双相波电流频率；f(k-1)为k-1时刻被控系统的输入,即k-1时刻计算得到的双相波电流频率；

步骤c2、将公式(f7)代入公式(f6)中,对f(k)求导,并令jp(k)对f(k)的导数为0,得到：

其中，ρk为的常数项参数；

步骤c3、采用相似方法求出的估计值计算公式为：

其中，为的准则函数，μ为伪偏导数的变化量的常数项参数，为k-1时刻被控系统的伪偏导数，为的估计值，ηk为δi(k-1)的常数项参数，δf(k-1)为f(k-1)的增量且δf(k-1)＝f(k-1)-f(k-2)，f(k-2)为k-2时刻被控系统的输入,即k-2时刻计算得到的双相波电流频率；δo(k)为o(k)的增量且δo(k)＝o(k)-o(k-1)；

步骤c4、将的估计值作为的取值代入公式(f8),得到双相波电流频率f(k)。

具体实施时，所述λ的取值为2，所述ρk的取值为0.6，所述ηk的取值为0.6，所述μ的取值为2。

具体实施时，提前设置好脑电仿生电刺激仪7输出的电刺激波形为双相矩形波,电流幅值为70μa,脉冲宽度为100μs。

无模型控制是一种数据驱动的控制方式,它不依赖于被控制系统的模型,只依赖被控系统的输入输出数据；采用无模型控制设计脑控辅助控制模块，用于实现基于脑控的残疾人生活辅助装置及其控制方法，能够避免对复杂大脑模型的分析。本发明的准则函数中引入了惩罚项λ[i(k)-i(k-1)]，用于限制输入的变化；公式(f8)中参数ρk的引入能够加强公式(f8)的通用性，公式(f8)中参数λ的引入能够避免出现分母为0的现象；公式(f10)中参数ηk的引入能够加强公式(f10)的通用性，公式(f10)中参数μ的引入能够避免出现分母为0的现象。

综上所述，本发明的基于脑控的残疾人生活辅助装置，在传统脑控系统中加入了微型计算机，辅助大脑进行控制，通过麦克风和摄像头，实现了语音输入和图像采集的融合，能够有效识别残疾人想要执行的生活所需动作，识别出目标并控制电动轮椅和机械臂到达目标，完成残疾人想要执行的生活所需动作；本发明的基于脑控的残疾人生活辅助装置的控制方法，通过采用解码器模块、声音信号处理模块、目标信息提取模块、专家系统模型、基于能量最小原则的路径规划模块和基于无模型控制的脑控辅助控制模块，能够实现轮椅和类人机械臂的自主控制，使电动轮椅和类人机械臂能够自动协助残疾人执行生活所需动作。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。