基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法
【专利摘要】本发明公开了一种基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法，其特征在于，采用场景稳态视觉诱发单元刺激受试者大脑诱发产生操作意图，采用便携化脑电采集单元、肌电采集单元和无线蓝牙技术，分别将操作者的脑电、肌电信号拾取，并传输到微处理器上，通过脑、肌电号相结合的方法进行目标动作识别，并以识别结果编码来驱动智能假肢完成相应的动作。其中的关键是将某个动作分解为若干个不同场景；每一个场景经过灰度处理后，分别得到两张黑白分明的反转色图片；通过不同频率的脉宽调制，形成每个场景的两张反转色图片不断切换闪烁，以刺激受试者大脑诱发产生操作意图。
【专利说明】基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法
【技术领域】
[0001] 本发明涉及生物医学及先进制造技术，具体涉及一种人体假肢的脑-肌电智能控 制装置及方法。
【背景技术】
[0002] 随着生物机电一体化技术的发展，越来越多的生物电控制方法被应用于智能假 肢，根据控制源的不同，可分为肌电控制假肢与脑电控制假肢。肌电信号控制源处理方法简 单，信噪比较高，但被测肌肉容易产生疲劳；而脑电信号不依赖于外界环境条件，但其具有 分辨率低，随机性强，信噪比低的不足。近年来，国内外学者均对脑电信号作为外部机电设 备的驱动控制源产生了浓厚的兴趣。2011年，匹兹堡大学成功实现了通过提取痛疾病人的 运动想象信号，实现了痛疾病人的简单进食。2012年，浙江大学通过提取猴子脑内的信息， 实现了对机械手的控制。
[0003] 由于传统的视觉诱发范式多采用棋盘格或条栅的翻转刺激模式，容易产生疲劳刺 激，甚至诱发癒痛。为此，越来越多研究学者开展了对不同范式脑机接口的研究，其中对稳 态视觉诱发范式的研究，作为新兴的研究方向和研究热点得到了极大的关注和推进。
[0004] 针对残疾假肢的脑电驱动控制，目前国内学者还停留在用运动想象过程或运动识 别过程产生的脑电信号作为智能假肢的控制源，并未对基于智能假肢的稳态视觉诱发脑机 接口范式进行深入的研究。
【发明内容】
[0005] 本发明在传统稳态视觉诱发产生机理的基础上，为了提高系统目标任务的识别 率，提出了一种基于场景稳态视觉诱发的智能假肢脑-肌电精密控制方法及装置。其中，基 于场景稳态视觉诱发的实验范式，可解决传统视觉诱发过程中易产生视觉疲劳与易诱发癒 痛的缺点；同时，引入的脑、肌电相结合的精密控制方法，还可弥补脑电信号分辨率低的缺 憾。
[0006] 为达到W上目的，本发明是采取如下技术方案予W实现的：
[0007] -种基于场景稳态视觉诱发的脑-肌电控制假肢的装置，包括佩戴于受试者残疾 肢体上智能假肢本体、置于受试者腰部的信号处理单元，其特征在于，还包括置于受试者脑 部枕叶区上的脑电采集单元、置于受试者残疾肢体特定肌群表面的肌电采集单元、置于受 试者眼睛可视范围内的场景稳态视觉诱发单元，该场景稳态视觉诱发单元对受试者播放经 分解及处理后的不同动作场景的闪烁图像，W诱发受试者产生脑电信号及肌电信号，所述 脑电采集单元、肌电采集单元与信号处理单元蓝牙无线连接，所述信号处理单元与智能假 肢本体内的电机控制单元通过串行通信连接，该电机控制单元发出电机控制命令通过智能 假肢本体内的关节电机及机械传动单元对假肢本体实现H自由度驱动。
[0008] 上述方案中，所述的场景稳态视觉诱发单元为计算机显示器、电视屏幕、手机或平 板电脑之一。所述信号处理单元采用便携化的微处理器BenQS6。所述脑电采集单元采用自 带放大滤波的专用便携化脑电帽EMOTIV，并选取国际标准10/20下的01，02通道信号，所 述肌电采集单元采用KMS无线表面肌电器件，采集特定肌群表面肌电信号，并通过自带软 件进行放大滤波。所述智能假肢本体中设有力传感器和触滑觉传感器。
[0009] -种基于场景稳态视觉诱发的脑-肌电控制假肢的方法，采用前述装置实现，其特 征在于，包括下述步骤：
[0010] (1)为受试者佩戴脑电采集单元与肌电采集单元，脑电采集单元拾取受试者脑部 枕叶区脑电信号，肌电采集单元拾取受试者残疾肢体特定肌群表面上的肌电信号；
[0011] (2)事先在场景稳态视觉诱发单元中植入一日常简易操作至少四个分解的动作场 景图像，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替 变化呈现在受试者面前进行视觉诱发；其中，不同动作场景中的反转色图片采用不同频率 的脉宽调制，所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与该组图片 的脉宽调制频率相同；
[0012] (3)受试者注视场景稳态视觉诱发单元顺序发出的多个动作场景的闪烁图像，诱 发受试者大脑产生操作意图，脑电采集单元与肌电采集单元同步采集脑电、肌电信号，经预 处理后，送入信号处理单元，信号处理单元对脑电信号采用小波包与公共模式相结合的算 法对a、目频带进行重构，提取脑电信号的特征量，采取模糊神经网络算法对脑电特征向 量进行模式识别，识别结果包含相应动作场景图像的多个模式；采取时域分析法对肌电信 号进行特征提取，采取LDA算法对肌电信号的特征量进行模式识别，划分肌力大小等级，进 行精密判断，判断结果通过串口通信协议将识别结果传送到H自由度的智能假肢电机控制 单元；
[0013] (4)智能假肢电机控制单元收到识别结果信号后，通过关节电机及机械传动单元 驱动智能假肢本体完成相应的目标动作。
[0014] 上述方法中，所述的智能假肢本体完成目标动作后，通过力、触滑觉传感器W及视 觉信息，对信号处理单元进行反馈，实现智能假肢的精密自适应控制。
[0015] 本发明针对传统稳态视觉诱发易疲劳、易诱发癒痛等缺点，其优越性在于：
[0016] 1、针对传统的稳态视觉诱发方式，提出了基于场景稳态视觉诱发的智能假肢 脑-肌电精密控制方法，采用了变频脉宽调制诱发方法，保证用户操作不易疲劳。
[0017] 2、通过脑电、肌电信号相结合的精密控制算法，能够短时、高精度的实现假肢动作 的控制过程。
[0018] 3、采取便携化脑电、肌电信号采集设备与可穿戴微处理器，最大化的提高了受试 者的灵活使用能力。
【专利附图】
【附图说明】
[0019] 图1为实现本发明方法的系统结构示意图。图中；1、场景稳态视觉诱发单元；2、智 能假肢本体；3、脑电采集单元；4、肌电采集单元；5、信号处理单元。
[0020] 图2为图1中信号采集单元的布置示意图。其中；(a)图为肌电采集单元布置示 意，根据解剖学知识W及正常人运动过程中上臂肌肉电信号强度，可将其布置于上臂化二 头肌及化H头肌6上。化）图为脑电采集单元布置示意，7为脑部枕叶区，根据稳态视觉诱发 机理，可采集受试者头部视觉枕叶区01，02通道脑电信号，在单侧耳垂位置放置参考电极， 电极测得的脑电信号，经放大、滤波后传给信号处理单元。
[0021] 图3为基于图1系统的本发明方法流程框图。
[002引图4为本发明基于稳态视觉诱发单元情景刺激的场景示意图。其中，（a)?（d)为 四种不同场景的示意照片。每种场景中，左侧为动作场景；中间和右侧分别为经过灰度处理 后的两张黑白分明反转色图片。
【具体实施方式】
[0023] 参考图1、图2,本发明涉及的系统包括置于受试者枕叶区7上脑电采集单元3、置 于受试者上臂化二头肌及化H头肌6上的肌电采集单元4、置于受试者眼睛可视范围内的 场景稳态视觉诱发单元1，场景稳态视觉诱发单元可W是计算机显示器、电视屏幕、手机或 平板电脑等显示器件。由于脑、肌电信号均属于微弱信号，脑电采集单元3优先采用专用便 携化脑电帽EM0TIV来采集枕叶区脑电信号，选取国际标准10/20标准下的01，02通道信 号。并在EM0TIV自带软件上进行放大滤波。肌电采集单元采用KMS无线表面肌电器件，采 集化二头肌及化H头肌表面肌电信号，并通过自带软件进行放大滤波；最后通过蓝牙传输 技术，将预处理后的脑电信号、肌电信号传送给置于受试者腰部的信号处理单元5。信号处 理单元可采用便携化的微处理器BenQS6,其对预处理后的信号进行特征提取和模式识别， 并将识别结果传输给智能假肢本体2内的电机控制单元，发出电机控制命令通过关节电机 及机械传动单元驱动假肢本体完成相应的取杯及喝水动作。
[0024] 参考图3,当场景稳态视觉诱发单元开始工作后，脑、肌电采集单元分别采集受试 者的脑电、肌电信号，通过无线蓝牙技术传递给信号处理单元，信号处理单元负责将脑电、 肌电信号进行特征提取和模式识别并将最终结果传送给智能假肢电机控制单元，智能假肢 电机控制单元在收到信号处理单元传送的信息后，通过关节电机及机械传递单元驱动假肢 实现相应动作。
[00巧]参考图4,通过将正常人喝水过程分解为手部张开、抓取杯子、空间移动和喝水完 成四个不同目标动作场景；
[0026] 场景一（a)，人手初始状态，诱发智能假肢完成手部张开的初始状态。
[0027] 场景二化），人手抓取杯子，诱发智能假肢完成抓取杯子的动作过程。
[0028] 场景H (C)，人手空间移动，诱发智能假肢完成空间移动过程；
[0029] 场景四（d)，人手喝水完成，诱发智能假肢辅助受试者完成喝水过程。
[0030] 当稳态视觉诱发单元开始闪烁不同场景的图像时，受试者自身诱发产生不同频率 的脑电信号，经脑电、肌电采集单元拾取所需信号，通过无线蓝牙技术传给信号处理单元进 行信号处理最终驱动智能假肢工作，实现相应目标动作。
[0031] 本发明基于场景稳态视觉诱发的假肢脑-肌电控制方法具体包括下述步骤：
[0032] (1)为受试者佩戴脑电采集单元与肌电采集单元，脑电采集单元拾取枕叶区01， 02通道脑电信号，肌电采集单元拾取上臂化二头肌及化H头肌的肌电信号；
[0033] (2)参考图4,事先在场景稳态视觉诱发单元中植入取杯喝水的四个分解动作的 场景图像（左侧那一张），呈现在受试者面前进行视觉诱发，每一个动作场景图像，经过灰 度处理后，分别得到两张黑白分明的反转色图片（中间及右侧），每一个动作的场景图像均 由不同频率的脉宽调制，其形成的两张黑白分明的反转色图片不断交替变化（闪烁频率同 脉宽调制频率），形成动态图像，用w对受试者视觉的刺激，诱发受试者的操作意图，进行智 能假肢动作的判断。本实施例中，四个不同动作的场景图像分别为手部张开、抓取杯子、空 间移动、喝水过程，其脉宽调制频率分别为細Z、10化、12Hz、15化。
[0034] (3)受试者注视场景稳态视觉诱发单元顺序发出的手部张开、抓取杯子、空间移 动、喝水过程的动态图像，脑电采集单元与肌电采集单元同步采集脑电、肌电信号，经过滤 波处理后，送入信号处理单元，信号处理单元对脑电信号采用小波包与公共模式相结合的 算法对a、目频带进行重构，提取脑电信号的特征量，采取模糊神经网络算法对脑电特征 向量进行模式识别，识别结果包含4种模式；采取时域分析法对肌电信号进行特征提取，采 取LDA(线性分类）算法对肌电信号的特征量进行模式识别，划分肌力大小等级，进行精密 判断，最终结果列于表1，判断结果通过串口通信协议将识别结果传送到H自由度的智能假 肢电机控制单元。
[0035] 表1脑肌电识别结果
[0036]
【权利要求】
1. 一种基于场景稳态视觉诱发的脑-肌电控制假肢的装置，包括佩戴于受试者残疾肢 体上智能假肢本体、置于受试者腰部的信号处理单元，其特征在于，还包括置于受试者脑部 枕叶区上的脑电采集单元、置于受试者残疾肢体特定肌群表面的肌电采集单元、置于受试 者眼睛可视范围内的场景稳态视觉诱发单元，该场景稳态视觉诱发单元对受试者播放经分 解及处理后的不同动作场景的闪烁图像，以诱发受试者产生脑电信号及肌电信号，所述脑 电采集单元、肌电采集单元与信号处理单元蓝牙无线连接，所述信号处理单元与智能假肢 本体内的电机控制单元通过串行通信连接，该电机控制单元发出电机控制命令通过智能假 肢本体内的关节电机及机械传动单元对假肢本体实现三自由度驱动。
2. 如权利要求1所述的基于场景稳态视觉诱发的脑-肌电控制假肢的装置，其特征在 于，所述的场景稳态视觉诱发单元为计算机显示器、电视屏幕、手机或平板电脑之一。
3. 如权利要求1所述的基于场景稳态视觉诱发的脑_肌电控制假肢的装置，其特征在 于，所述信号处理单元采用便携化的微处理器BenQS6 ;所述脑电采集单元采用自带放大滤 波的专用便携化脑电帽EMOTIV，并选取国际标准10/20下的01，02通道信号。
4. 如权利要求1所述的基于场景稳态视觉诱发的脑_肌电控制假肢的装置，其特征在 于，所述智能假肢本体中设有力传感器和触滑觉传感器。
5. -种基于场景稳态视觉诱发的脑-肌电控制假肢的方法，采用权利要求1所述的基 于场景稳态视觉诱发的脑-肌电控制假肢的装置实现，其特征在于，包括下述步骤： (1) 为受试者佩戴脑电采集单元与肌电采集单元，脑电采集单元拾取受试者脑部枕叶 区脑电信号，肌电采集单元拾取受试者残疾肢体特定肌群表面上的肌电信号； (2) 事先在场景稳态视觉诱发单元中植入一日常简易操作至少四个分解的动作场景图 像，每一个动作场景图像经过灰度处理后，分别得到两张黑白分明的反转色图片，交替变化 呈现在受试者面前进行视觉诱发；其中，不同动作场景中的反转色图片采用不同频率的脉 宽调制，所述两张黑白分明的反转色图片交替变化的频率，也即闪烁频率与该组图片的脉 宽调制频率相同； (3) 受试者注视场景稳态视觉诱发单元顺序发出的多个动作场景的闪烁图像，诱发受 试者大脑产生操作意图，脑电采集单元与肌电采集单元同步采集脑电、肌电信号，经预处理 后，送入信号处理单元，信号处理单元对脑电信号采用小波包与公共模式相结合的算法对 a频带进行重构，提取脑电信号的特征量，采取模糊神经网络算法对脑电特征向量进行 模式识别，识别结果包含相应动作动作场景图像的多个模式；采取时域分析法对肌电信号 进行特征提取，采取LDA算法对肌电信号的特征量进行模式识别，划分肌力大小等级，进行 精密判断，判断结果通过串口通信协议将识别结果传送到三自由度的智能假肢电机控制单 元； (4) 智能假肢电机控制单元收到识别结果信号后，通过关节电机及机械传动单元驱动 智能假肢本体完成相应的目标动作。
6. 如权利要求5所述的基于场景稳态视觉诱发的脑-肌电控制假肢的方法，其特征在 于，所述的智能假肢本体完成目标动作后，通过力、触滑觉传感器以及视觉信息，对信号处 理单元进行反馈，实现智能假肢的精密自适应控制。
【文档编号】A61F2/72GK104398325SQ201410617265
【公开日】2015年3月11日 申请日期:2014年11月5日 优先权日:2014年11月5日
【发明者】张小栋, 李睿, 田艳举, 陈江城, 郭晋, 刘畅, 王贺, 石强勇 申请人:西安交通大学