专利名称：仿人形义肢的脑电-语音控制系统及工作方法
技术领域：
本发明涉及仿生机器人的控制技术领域，尤其是一种仿人形多自由度义肢(上 肢)的控制系统及控制方法。
背景技术：
目前，仿人形义肢(上肢)在市场上已有产品出售，纵观这些国内外产品，对用于 “肩离断”肢体残疾人的义肢来说，多数只是起到弥补肢体残缺的装饰作用，没有肢体动作 的功能。虽然现在有很少的可操控的少自由度义肢，但是对它们的控制大都是通过人体某 部位的肌电信号进行控制。在采用肌电控制义肢的场合，往往不可避免地要采用串行作业 控制方式，即一个关节动过以后，另外一个关节才能动作。这样的控制方式完全不符合人 们正常的操作习惯，这样控制的自由度数量越多，串行作业花费的时间越冗长，控制困难也 越大。串行作业方法对多自由度义肢的控制显得力不从心，最终被佩戴试用者所摈弃，无推 广应用价值。目前尚没有用脑电-语音混合控制方式、借助机器人控制的原理来进行仿人形义 肢(上肢)控制方法的先例。
发明内容
本发明的目的是克服仿人形义肢(上肢)用肌电信号控制的不足，发明一种仿人 形义肢脑电_语音控制系统及工作方法。一、一种仿人形义肢脑电-语音控制系统，它由脑电信号采集与识别装置、语音信 号采集与识别装置、随机目标实时定位装置和控制装置四部分组成；所述的脑电信号采集与识别装置由脑电信号采集部分和脑电信号处理部分组成； 该装置由多个传感器探头构成的电极帽、放大滤波电路、模数转换电路、存储单元、通信接 口、信息分析模块等组成。电极帽佩戴在使用者头部，采集大脑皮层脑电信号，信息分析模 块接受通信接口传来的脑电信号经过分析与处理，输出义肢系统执行不同任务的脑电操作 指令；所述的语音信号采集与识别装置由拾音器、滤波放大电路、模数转换电路、存储单 元、通信接口、信息分析模块及单片机等组成。用于采集、处理人的语音信号，输出义肢系统 执行不同任务的语音操作指令；所述的随机目标实时定位装置由安装在佩戴者头部和义肢上的两个三维姿态传 感器、激光测距传感器和规划机组成。在规划机中包含目标定位计算程序模块、义肢关节空 间参数求解程序模块和一个轨迹规划程序模块，用于对佩戴者头部的空间姿态相对于义肢 基础姿态的变化情况进行检测，对随机目标进行距离检测，给控制装置指定目标位置，求解 义肢关节空间参数并提供义肢空间路径规划信息。所述的控制装置由MCU系统单元、数据存储单元、控制信号放大输出驱动单元和 关节反馈信号采集单元构成，用于采集按键信号、脑电信号、语音信号，并根据不同的控制指令模式，确定是否与随机目标实时定位装置进行通讯，实现相应的控制任务。二、上述仿人形义肢脑电-语音控制系统的工作方法是第一、脑电信号的采集与处理脑电信号的采集与处理工作主要由脑电信号采集与识别装置来实现。脑电信号采集时，电极帽上的多个传感器探头分别从大脑的不同区域获得大脑皮 层的脑电信号，经过放大滤波处理后输入到单片机的模数转换口，经过模数转换后存储到 存储单元中，并通过通信接口发送到脑电信号处理部分；脑电信号的参考电位可选择头顶、耳垂或额头等处的信号，同时，为了消除眨眼动 作造成的眼部周围肌电信号的影响，使用双极导联法采集水平眼电与垂直眼电信号。脑电信号处理时，采集脑电信号的单片机基于计算机的软件平台，通过对脑电信 号采集装置发送过来的数据采用滑动窗口技术对每次任务划分为多段进行分析，对窗口内 数据首先进行拉普拉斯滤波和8-30HZ带通滤波，再利用小波分解和共同空间模式相结合 的时空特征提取方法和径向基神经网络分别进行模式识别，得到各中间分类结果，将各中 间分类结果进行加权平均，得到佩戴者所发出指令的最终识别模式，对仿人形义肢执行不 同任务的控制模式编号，和脑电信号指令的输出。第二、语音信号的采集与处理对语音信号的采集与处理工作主要由语音信号采集与识别装置来实现。采集分两个阶段，在训练阶段，拾音器采集人的语音信号并传送到语音处理芯片， 语音信号经反混叠滤波和预加重处理及AD转换后送到MPU，MPU将语音信号加窗分帧后通 过双门限端点检测方法计算出语音信号的端点，并从端点处开始通过提取梅尔倒谱系数， 从而获得其特征参数矢量并保存为样本模板；按照此方法，对一条指令进行多次训练，获得 一个样本集合；通过对多自由度义肢(上肢)的多条不同语音指令信号的特征参数矢量进 行提取构成一个样本模板库；在工作阶段，同样通过上述语音指令信号特征提取方法计算 得到待识别语音的特征参数矢量；在处理阶段，MPU处理器将语音采集部分计算得到的待识别语音的特征参数矢量， 通过动态时间规整的模式匹配方法将其与模板库中各语音指令的特征参数矢量进行比较， 并计算出待识别语音特征参数矢量与模板库中各特征参数矢量之间的欧式距离，其中欧式 距离较小者即为识别出的指令模式，对仿人形义肢执行不同任务的控制模式编号，输出该 指令模式。第三、随机目标的实时定位对随机目标的实时定位功能主要由随机目标实时定位装置来实现。安装在佩戴者头部和义肢上的两个三维姿态传感器，对佩戴者头部的空间姿态相 对于义肢基础姿态的变化情况进行检测，并利用激光测距传感器对随机目标进行距离检 测，再通过该装置的目标定位计算程序模块实现不同坐标系中连续坐标变换推演，并计算 出随机操作目标相对于多自由度义肢(上肢)操作空间的三维定位值；多自由度义肢关节空间参数求解模型，利用人工神经网络对不完整信息独特的参 数映射能力、快速并行信息处理能力和多输入多输出的非线性特性，经过“有监督训练法” 训练而得到的一种人工神经网络模型；每当获得随机工作目标在操作空间的三维定位值 时，将三维定位值和某种欠定义的代偿姿态描述作为该人工神经网络模型的输入，得到网络输出的各关节的求解值；轨迹规划模块，根据任务的不同，对不同的“示敎再现”任务或“随机目标”操作任 务进行轨迹规划，并将完成的轨迹规划信息通过通讯接口发送给控制装置，在控制装置的 输出控制作用下，义肢手部按所规划好的空间路径与时间，达到指定的目标位置。第四、对义肢动作的控制控制装置负责接收到脑电信号采集与识别装置、语音信号采集与识别装置或手动 按键的任务指令并执行之。这些任务包括工停止运动、对义肢进行单关节控制、示教再现控 制以及对随机目标操作控制等。其中在单关节控制模式下，“控制装置”可以根据“语音命令”或手动按键方式来实现对 义肢相应关节的单独控制；在示教再现控制模式下，“控制装置”可以根据“脑电命令”、“语音命令”或手动按 键方式控制义肢以要求的速度与姿态到达指定的各目标点，在这个过程中，控制装置根据 已经保存的目标点信息，通过与“随机目标实时定位装置”通讯，采用轨迹规划算法获得示 教轨迹的路径规划信息，控制各关节实现合成运动，在设计的时间内稳定可靠地移动义肢， 再现示教结果；在对随机目标操作控制模式下，控制装置根据脑电命令、语音命令或手动按键方 式来实现对义肢的操作控制，首先通过随机目标实时定位装置获得随机目标相对义肢基础 坐标系的三维空间位置，求解义肢关节空间参数，并对其作出轨迹规划；控制装置接收到来 自随机目标实时定位装置的控制信息来执行输出控制，同时将实时采集到的各关节位置、 速度等反馈信号发送给随机目标实时定位装置，以达到随时检测并控制义肢手部运动位置 与速度的目的。本发明的积极效果是，在多自由度义肢(上肢)控制上引入了机器人控制的原理， 通过脑电信号、语音信号或手动按键多种方式来控制多自由度仿人形义肢(上肢)。这样， 佩戴者就可以通过脑电、语言或按键方式发出任务指令，方便地使义肢执行不同的工作任务。
图1为本发明的一种整体结构工作原理图；图2为“脑电信号采集与识别装置”的工作流程图；图3为“语音信号采集与识别装置”的工作流程图；图4为“随机目标实时定位装置”的工作流程图。
具体实施例方式一种仿人形义肢脑电_语音控制系统，如图1中虚线框中的框图所示。它由脑电 信号采集与识别装置、语音信号采集与识别装置、随机目标实时定位装置、控制装置四部分 组成。本控制系统的工作有以下内容(1)控制系统可任意选择采用脑电、语音或按键工作模式实现对义肢发出“指令”。(2)对义肢的任务指令划分四类，第一类是停止运动指令，第二类为目标位置确定的示教再现动作指令，第三类为单关节动作指令，第四类为对随机目标的操作指令。(3)对四类各种指令，我们可分别以不同的“控制模式编号”与之对应。一种情况可如表1所示表1:指令与编号
权利要求
一种仿人形义肢脑电 语音控制系统，其特征在于，它由脑电信号采集与识别装置、语音信号采集与识别装置、随机目标实时定位装置和控制装置四部分组成；其中所述的脑电信号采集与识别装置由脑电信号采集部分和脑电信号处理部分组成；该装置由多个传感器探头构成的电极帽、放大滤波电路、模数转换电路、存储单元、通信接口和信息分析模块组成；电极帽佩戴在使用者头部，采集大脑皮层脑电信号，信息分析模块接受通信接口传来的脑电信号经过分析与处理，输出义肢系统执行不同任务的脑电操作指令；所述的语音信号采集与识别装置由拾音器、滤波放大电路、模数转换电路、存储单元、通信接口、信息分析模块及单片机组成，用于采集、处理人的语音信号，输出义肢系统执行不同任务的语音操作指令；所述的随机目标实时定位装置由安装在佩戴者头部和义肢上的两个三维姿态传感器、激光测距传感器和规划机组成；在规划机中包含目标定位计算程序模块、义肢关节空间参数求解程序模块和一个轨迹规划程序模块，用于对佩戴者头部的空间姿态相对于义肢基础姿态的变化情况进行检测，对随机目标进行距离检测，给控制装置指定目标位置，求解义肢关节空间参数并提供义肢空间路径规划信息；所述的控制装置由MCU系统单元、数据存储单元、控制信号放大输出驱动单元和关节反馈信号采集单元构成，用于采集按键信号、脑电信号、语音信号，并根据不同的控制指令模式，确定是否与随机目标实时定位装置进行通讯，实现相应的控制任务。
2.如权利要求1所述的仿人形义肢脑电-语音控制系统的工作方法，其特征在于，它包 括以下工作步骤第一、脑电信号的采集与处理脑电信号的采集与处理工作主要由脑电信号采集与识别装置来实现； 脑电信号采集时，电极帽上的多个传感器探头分别从大脑的不同区域获得大脑皮层的 脑电信号，经过放大滤波处理后输入到单片机的模数转换口，经过模数转换后存储到存储 单元中，并通过通信接口发送到脑电信号处理部分；脑电信号的参考电位可选择头顶、耳垂或额头处的信号，同时，为了消除眨眼动作造成 的眼部周围肌电信号的影响，使用双极导联法采集水平眼电与垂直眼电信号；脑电信号处理时，采集脑电信号的单片机基于计算机的软件平台，通过对脑电信号采 集装置发送过来的数据采用滑动窗口技术对每次任务划分为多段进行分析，对窗口内数据 首先进行拉普拉斯滤波和8-30HZ带通滤波，再利用小波分解和共同空间模式相结合的时 空特征提取方法和径向基神经网络分别进行模式识别，得到各中间分类结果，将各中间分 类结果进行加权平均，得到佩戴者所发出指令的最终识别模式，对仿人形义肢执行不同任 务的控制模式编号，和脑电信号指令的输出； 第二、语音信号的采集与处理对语音信号的采集与处理工作主要由语音信号采集与识别装置来实现； 采集分两个阶段，在训练阶段，拾音器采集人的语音信号并传送到语音处理芯片，语音 信号经反混叠滤波和预加重处理及AD转换后送到MPU，MPU将语音信号加窗分帧后通过双 门限端点检测方法计算出语音信号的端点，并从端点处开始通过提取梅尔倒谱系数，从而 获得其特征参数矢量并保存为样本模板；按照此方法，对一条指令进行多次训练，获得一个 样本集合；通过对多自由度义肢上肢的多条不同语音指令信号的特征参数矢量进行提取构成一个样本模板库；在工作阶段，同样通过上述语音指令信号特征提取方法计算得到待识 别语音的特征参数矢量；在处理阶段，MPU处理器将语音采集部分计算得到的待识别语音的特征参数矢量，通过 动态时间规整的模式匹配方法将其与模板库中各语音指令的特征参数矢量进行比较，并计 算出待识别语音特征参数矢量与模板库中各特征参数矢量之间的欧式距离，其中欧式距离 较小者即为识别出的指令模式，对仿人形义肢执行不同任务的控制模式编号，输出该指令 模式；第三、随机目标的实时定位对随机目标的实时定位功能主要由随机目标实时定位装置来实现； 安装在佩戴者头部和义肢上的两个三维姿态传感器，对佩戴者头部的空间姿态相对于 义肢基础姿态的变化情况进行检测，并利用激光测距传感器对随机目标进行距离检测，再 通过该装置的目标定位计算程序模块实现不同坐标系中连续坐标变换推演，并计算出随机 操作目标相对于多自由度义肢上肢操作空间的三维定位值；多自由度义肢关节空间参数求解模型，利用人工神经网络对不完整信息独特的参数映 射能力、快速并行信息处理能力和多输入多输出的非线性特性，经过有监督训练法训练而 得到的一种人工神经网络模型；每当获得随机工作目标在操作空间的三维定位值时，将三 维定位值和某种欠定义的代偿姿态描述作为该人工神经网络模型的输入，得到网络输出的 各关节的求解值；轨迹规划模块，根据任务的不同，对不同的示教再现任务或随机目标操作任务进行轨 迹规划，并将完成的轨迹规划信息通过通讯接口发送给控制装置，在控制装置的输出控制 作用下，义肢手部按所规划好的空间路径与时间，达到指定的目标位置； 第四、对义肢动作的控制控制装置负责接收到脑电信号采集与识别装置、语音信号采集与识别装置或手动按键 的任务指令并执行之。这些任务包括工停止运动、对义肢进行单关节控制、示教再现控制以 及对随机目标操作控制等；其中在单关节控制模式下，控制装置根据语音命令或手动按键方式来实现对义肢相应关节 的单独控制；在示教再现控制模式下，控制装置根据脑电命令、语音命令或手动按键方式控制义肢 以要求的速度与姿态到达指定的各目标点，在这个过程中，控制装置根据已经保存的目标 点信息，通过与随机目标实时定位装置通讯，采用轨迹规划算法获得示教轨迹的路径规划 信息，控制各关节实现合成运动，在设计的时间内稳定可靠地移动义肢，再现示教结果；在对随机目标操作控制模式下，控制装置根据脑电命令、语音命令或手动按键方式来 实现对义肢的操作控制，首先通过随机目标实时定位装置获得随机目标相对义肢基础坐标 系的三维空间位置，求解义肢关节空间参数，并对其作出轨迹规划；控制装置接收到来自随 机目标实时定位装置的控制信息来执行输出控制，同时将实时采集到的各关节位置、速度 等反馈信号发送给随机目标实时定位装置，以达到随时检测并控制义肢手部运动位置与速 度的目的。
全文摘要
本发明公开了一种仿人形义肢的脑电-语音控制系统及工作方法，它由脑电信号采集与识别装置、语音信号采集与识别装置、随机目标实时定位装置和控制装置四部分组成。由脑电信号采集与识别装置来实现脑电信号的采集与处理；由语音信号采集与识别装置来实现对语音信号的采集与处理；由随机目标实时定位装置来实现对随机目标的实时定位；由控制装置负责接收到脑电信号采集与识别装置、语音信号采集与识别装置或手动按键的任务指令并执行之。本发明在仿人形义肢上引入了机器人控制原理，通过脑电信号、语音信号或手动按键多种方式来控制多自由度仿人形义肢。这样，佩戴者就可通过脑电、语言或按键方式发出任务指令，方便地使义肢执行不同的工作任务。
文档编号A61F2/72GK101947152SQ201010280510
公开日2011年1月19日 申请日期2010年9月11日 优先权日2010年9月11日
发明者孙爱芹, 张志献, 徐文尚, 李可永, 杨婷, 樊炳辉, 江浩, 王传江, 贾朝川 申请人:山东科技大学