专利名称：一种基于脑电信号及运动信号对目标控制的方法及装置的制作方法
技术领域：
本发明涉及生物医学、人机交互及电子技术领域，尤其涉及一种通过综合采集人体脑电信号、眼电信号及肢体运动信号来控制目标进行复杂运动的方法，以及一种实现上述功能的便携式多信号采集处理装置。
背景技术：
现有技术中存在一些通过检测脑电波信号并使用这些脑电信号作为控制信号对目标进行控制的可用方法。但主要存在以下问题其一，由于脑电信号极其微弱，具有不宜测量、易受干扰等特点，因此大部分脑电采集装置需要在具有良好环境的实验室中工作，且需要对头部进行特殊处理，通常情况下需要佩戴特制的电极帽，需要在电极上涂抹导电胶， 因而具有操作复杂、便携性差等问题，不适合在普通的日常环境中使用。其二，目前存在的可在日常环境中使用的便携式脑电设备，如专利200780052261. 6中提出的方法和设备可以在日常环境中通过简单方法采集脑电信号，但该方法和设备仅可以分析出基础的反映精神状态的信号，如注意力集中程度，放松程度信号，此类脑电信号虽可用于控制目标，但其控制参数数量少，且此类情绪参数具有信号波动较大，实时性差的特点，不适合做实时动作控制、精确动作控制和复杂动作控制。如不能精确控制目标的多方向转向及运动、射击等动作触发控制等。其三，目前存在通过采集肢体运动信息作为控制信号的设备，如任天堂的Wii，此类设备和方法通过采集肢体运动的加速度、角速度信息，使得可以对目标进行方向和速度的控制。如专利200810128346. 4中提到的游戏控制器，即通过加速度传感器测量游戏控制器的运动，进而作为控制信号。但目前此类设备仅限于对人体肢体运动(如手臂挥动)的探测作为控制信号。由于目前还不存在此类能够在日常环境下通过便携式设备综合采集脑电信息、眼电信息及肢体运动信息从而实现对目标进行远程复杂控制的设备和方法。因而需要提供一种既能采集脑电及眼电信息，又能采集肢体运动的信息，从而实现对目标的控制的方法以及实现此方法的设备。
发明内容
本发明的目的在于克服现有脑电控制设备的缺陷，使使用者仅需要佩戴便携式设备(如发带、头盔或帽子等)即可同时探测脑电信号、眼电信号及肢体的运动信号，并可通过此类信号实现对受控目标的复杂控制，从而实现一种无需手动干预的远程目标复杂控制方法。本发明为了解决上述技术问题，公开了一种基于脑电信号、眼电信号和肢体运动信号对目标进行控制的方法，所述方法如图1所示，该方法分为信号采集处理端和目标控制端两个部分。信号采集处理端通过便携式多信号采集处理装置实现对脑电、眼电、肢体运动信号的综合采集、并将数据通过无线通讯方式发送。目标控制端则负责接收所有的数据并将这些数据转换为对目标的控制信号，具体步骤如下a)获取脑电、眼电信号以及肢体运动信号，将此信号打包，并通过无线方式发送；
b)目标控制端接收所发送的数据，并将此数据转换为对受控目标的控制信号。所述的信号采集处理端(如图1所示)通过传感器获取脑电、眼电信号以及肢体运动信号，传输给嵌入式微处理器，经打包后传输给无线数据发送模块。所述的传感器包括干电极传感器、姿态传感器、角速度传感器和加速度传感器； 其中干电极传感器获取操作者的脑电及眼电信号，姿态传感器、角速度传感器和加速度传感器获取操作者的肢体运动信号。所述的姿态传感器是一种能感受物体姿态变化并转换成可用输出信号的传感器。 通过数字三轴磁力感应器(如Freescale MAG3110)和数字三轴加速度传感器(如Freescale MMA8452)可以获取物体的三轴姿态数据。在图3所示坐标系中，X、Y轴所在平面为水平面， Y轴指向地磁正北方，三轴姿态定义如下
Α.方位角绕Z轴转动的角度，0度=正北，90度=正东，180度=正南，270度=正西
B.俯仰角绕X轴转动的角度
C.滚转角绕Y轴转动的角度
所述的角速度传感器是一种能将感受到的角速度转换成可用输出信号的传感器。角速度传感器可以获取绕X、Y、Z三轴转动的角速度，可以用数字三轴角速度传感器(如 CMR3000)获取三轴角速度数据。所述的加速度传感器是一种能感受物体运动的加速度并转换成可用输出信号的传感器。通过数字三轴加速度传感器(如LSM330DLC)可以获取三轴方向的角加速度和线性加速度的数据。所述的干电极传感器通过与操作者前额皮肤接触，获取其脑电及眼电生物信号， 通过脑电及眼电信号采集处理单元实现对此类生物信号的放大、滤波处理，将此类生物信号转换成数字信号，传输给嵌入式微处理器，经打包后传输给无线发送模块。而所述姿态传感器、角速度传感器、加速度传感器获取操作者的肢体运动信号，传输给嵌入式微处理器， 经打包后传输给无线数据发送模块。目标控制端(如图1所示)通过无线数据模块接收信号采集处理端发送的所有数据，将此数据传输给控制端嵌入式微处理器，通过控制端嵌入式微处理器对数字信号进行解包，提取出需要对受控目标进行控制的脑电、眼电、肢体运动数据，传输给I/O控制接口， 产生对应的I/O控制信号。所述的目标控制端通过I/O控制接口实现对受控目标的控制。所述的受控目标包括玩具，如飞机、汽车、坦克等；轮椅或假肢；电子游戏；鼠标；机器人，如机器人运动控制、动作控制和表情控制等其它可以遥控的装置(电视、灯、电
动窗帘)等。本发明另一目的是提供一种便携式多信号采集处理装置。实现本发明功能的便携式多信号采集处理装置，此装置可以是一个佩戴在头部的发带、帽子、头戴耳机或者头盔，能让使用者很方便的将该采集装置佩戴在头部。便携式多信号采集处理装置主要包括干电极传感器、脑电及眼电信号采集处理模块、运动信号采集处理、无线发送模块以及发带或头盔；其中该装置中包括至少一个无线发送模块。所述的脑电及眼电信号采集处理模块、运动信号采集处理模块分别与无线发送模块相连，脑电信号处理模块均固定于发带或头盔上，无线发送模块固定于发带或头盔或肢体运动部位，运动信号采集处理模块固定于操作者肢体运动部位，如操作者预通过头部运动实现对受控目标的远程控制，则需要将运动信号采集处理模块固定于发带或头盔上；如操作者预通过手部或其它肢体部位的运动实现对受控目标的远程控制，则需要将运动信号采集处理模块固定于手部或相应肢体部位即可。进一步，便携式多信号采集处理装置还包括至少一个嵌入式微处理器，其中脑电及眼电信号采集处理模块、运动信号采集处理模块与同一嵌入式微处理器相连，或者分别与各自的嵌入式微处理器相连，将各自的信号传输给同一无线发送模块或者不同的无线发送模块。所述的干电极传感器至少采用两个，用于采集前额部位的脑电及眼电信号。其中至少有一个干电极传感器位于前额位置，其它的可位于前额或耳垂位置。如图2所示，便携式多信号采集处理装置将脑电及眼电信号采集处理模块、运动信号采集处理模块和无线发送模块均固定于发带上，通过脑电信号、眼电信号和头部姿态变化及运动信号来控制远程目标的运动；其中脑电及眼电信号采集处理模块、运动信号采集处理模块将信号发送至同一个嵌入式微处理器，经打包后再传输给同一个无线数据发送模块。本发明技术方案的有益效果首先，本发明采用嵌入了多种传感器的便携式设备实现对远程目标的控制，该设备可以是一个发带、头盔、头戴耳机或帽子形态，采用干电极传感器进行脑电信号探测，不需要在电极上涂抹导电胶，因而具有佩戴简单、操作简单、便于携带等优点，可以在普通的日常环境中使用。其次，本发明不仅可以测量脑电信号和眼电信号，还可以测量肢体运动信号，克服了现有脑电控制技术中存在的控制参数数量少、实时性差的缺点。因此，本发明提供了一种既可以实现通过脑电进行控制的功能，还可以结合其它运动控制参数进行更多的实时动作控制、精确动作控制和复杂动作控制。本发明可以用于对目标进行控制的参数包括以下类型
1)脑电参数包括反映精神状态的专注度、放松度、紧张度、疲劳度等参数
2)眼电参数包括眨眼强度、眨眼频度、眼球运动等参数
3)肢体姿态参数肢体运动部位在X、Y、Z三轴坐标系中包括方位角、俯仰角、滚转角在内的姿态参数
4)肢体运动角速度和加速度参数肢体运动部位绕Χ、Υ、Ζ三轴方向运动的角速度及角加速度参数；肢体运动部位沿X、Y、Z三轴方向运动的线性加速度参数。
图1为本发明方法基于脑电信号、眼电信号、肢体运动信号对目标进行复杂控制的流程图2为便携式多信号采集处理装置的示意图3为一坐标系，以此坐标系为基础，测量三轴方向姿态角、角速度、角加速度及三轴方向线性加速度。
具体实施例方式以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。本方法采用便携式装置采集包括脑电、眼电、肢体运动在内的多种信号。该装置在形态上可以是一个发带、帽子、头戴耳机或者是头盔，使用者可以很方便将该装置佩戴在头部。作为一个示例，可以采用图2所示的发带形态的装置。该装置主要包括干电极传感器、 脑电及眼电信号采集处理模块、运动信号采集处理模块、无线发送模块、柔性材料的发带以及电池；其中，采用三个干电极传感器采集脑电及眼电信号，两个位于前额位置，另外一个位于耳垂位置。姿态传感器、角速度传感器、加速度传感器和脑电及眼电信号采集处理单元将获取的肢体运动信号、脑电信号、眼电信号通过I2Canter — htegrated Circuit)接口或者 SPI (Serial Peripheral Interface)接口或者UART (Universal Asynchronous Receiver/ Transmitter)接口传输给嵌入式微处理器。嵌入式微处理器通过UART (Universal Asynchronous Receiver/Transmitter)接口将所有数据传送到无线数据发送模块。无线数据发送模块接收到嵌入式微处理器传送的数据后通过无线链路发送这些数据。无线通讯方式可以采用蓝牙通讯协议、Zigbee通讯协议、无线局域网协议(802. lla/b/g/n)、无线射频通讯和其它无线通讯协议。采用数字三轴磁力传感器(如Freescale MAG3110)和数字三轴加速度传感器(如 Freescale MMA8452)获取头部的三轴姿态数据。采用数字三轴角速度传感器(如CMR3000) 获取头部绕三轴运动的角速度数据。采用数字三轴加速度传感器(如LSM330DLC)获取头部三轴方向的加速度数据。下述实施例为操作者佩戴如图2所示的装置通过脑电及眼电信号、头部轻微运动信号实现对远程目标的控制。若将运动信号采集处理模块固定于身体其他部位，如手部、腿部等同样可以实现对远程目标的控制。其中此时，脑电及眼电信号采集处理模块和运动信号采集处理模块可以与同一个嵌入式微处理器相连或者分别与单独的嵌入式微处理器，将信号传输给同一个无线发送模块，或者将信号传输给单独的无线发送模块。实施例1:以使用者控制玩具直升飞机为例，在玩具直升飞机的遥控器中集成无线数据接收模块，飞机遥控器将接收的脑电、眼电及头部运动信号转化为对玩具飞机的控制信号，控制方式可以采用但不限于以下策略
专注度脑电参数控制飞机飞行高度，如专注越高飞机飞得越高
放松度脑电参数控制飞机稳定度，如越放松，飞机稳定性越好
单次眨眼控制飞机武器开火
头左转控制飞机向左转弯
头右转控制飞机向右转弯
头向左侧倾斜控制飞机向左侧侧飞
头向右侧倾斜控制飞机向右侧侧飞
向上抬头飞机前进
向下低头飞机后退。
该方法的受控目标可以是坦克、汽车、轮船等遥控玩具。实施例2:以使用者控制计算机游戏中角色的为例。计算机通过无线方式(如蓝牙通讯)接收脑电、眼电及头部运动信号，将这些信号用于控制游戏中的角色游戏，控制方式可以采用但不限于以下策略
紧张度脑电参数控制角色行进速度，如紧张度越高走得越慢专注度、放松度、疲劳度脑电参数控制角色的技能，如专注度或放松度达到一定程度可以施展某种技能，疲劳度高则限制技能的施展单次眨眼控制武器开火二次连续眨眼控制角色切换武器
头左转控制角色向左转弯，其中头部转动的速度控制角色转弯的速度，头部转动的位置控制角色转弯的目标位置
头右转控制角色向右转弯，头部转动的速度控制角色转弯的速度，头部转动的位置控制角色转弯的目标位置
头向左侧倾斜控制角色向前进头向右侧倾斜控制角色后退
向上抬头控制角色跳跃，其中头部抬头的加速度控制角色跳跃的力量，即头抬得越快 (加速度越大)跳得越高。向下低头控制角色下蹲。该方法的受控目标还可以是包括计算机游戏、手机游戏、平板电脑游戏、电子游艺机游戏等各类电子游戏中的角色和场景。
实施例3:以使用者控制计算机鼠标为例，计算机通过无线方式(如蓝牙通讯)接收脑电、眼电及头部运动信号，将这些信号用于控制鼠标的操作，控制方式可以采用但不限于以下策略
专注度脑电参数控制鼠标移动精度，如专注度越高精度越高单次眨眼鼠标左键单击二次连续眨眼鼠标左键双击三次连续眨眼鼠标右键单击
头左转控制鼠标横向向左移动，头部转动的速度控制鼠标移动的速度头右转控制鼠标横向向右移动，头部转动的速度控制鼠标移动的速度向上抬头鼠标纵向向上移动，头部转动的速度控制鼠标移动的速度向下低头鼠标纵向向下移动，头部转动的速度控制鼠标移动的速度实施例4:以使用者控制灯光为例，灯光控制器中集成具有无线数据接收功能的控制器，控制器将接收的脑电、眼电及头部运动信号转化为对灯的控制信号，控制方式可以采用但不限于以下策略
脑电参数控制灯光的颜色变化，如放松度越高灯光色彩越趋向于蓝色，放松度越低灯光色彩越趋向于紫色。二次连续眨眼打开灯的电源开关三次连续眨眼关闭灯的电源开关头左转增加灯光的亮度头右转减小灯光的亮度
该方法的受控目标还可以是智能家居，如对家用电器(电视)、电动窗帘的控制。实施例5:以使用者控制轮椅为例，轮椅中集成具有无线数据接收功能的控制器， 控制器将接收的脑电、眼电及头部运动信号转化为对轮椅的控制信号，控制方式可以采用但不限于以下策略
专注度脑电参数控制轮椅行进速度
头左转控制轮椅向左转弯
头右转控制轮椅向右转弯
头向左侧倾斜控制轮椅前进
头向右侧倾斜控制轮椅后退
单次眨眼轮椅正常刹车
三次连续眨眼轮椅紧急刹车
该方法的受控目标还可以是假肢或电话拨号器。实施例6:以使用者控制机器人为例，机器人集成具有无线数据接收功能的控制器，控制器将接收的脑电、眼电及头部运动信号转化为对机器人的控制信号，控制方式可以采用但不限于以下策略
专注度、放松度、紧张度、疲劳度等脑电参数机器人各种表情控制
单次眨眼机器人前进
二次连续眨眼机器人后退
三次连续眨眼机器人停止
头左转控制机器人向左转弯
头右转控制机器人向右转弯
头向左侧倾斜控制机器人抬左手
头向右侧倾斜控制机器人抬右手
眼球向左移动控制机器人抬左腿
眼球向右移动控制机器人抬右腿
向上抬头控制机器人跳跃
向下低头控制机器人下蹲。实施例7:本方法提到的信号采集装置集成在飞行员的头盔中，机载控制器通过无线方式接收脑电、眼电及头部运动信号并实现对飞机的控制，控制方式可以采用但不限于以下策略
脑电参数检测飞行员意识状态，在飞行员失去意识状态下执行特定动作，如切换到自动驾驶。连续五次眨眼启动脑控驾驶
头部轻微转动可分别控制飞机的航向、滚转角和俯仰角连续两次眨眼减小油门连续三次眨眼加大油门
该方法的受控目标还可以用于在特殊场合(身体在被束缚状态下，或所处空间狭小，身体无法运动)或紧急状况下(如失去行动能力的情况下)对目标的控制。 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和
原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种基于脑电信号和肢体运动信号对目标的控制方法，其步骤为步骤一获取脑电、眼电信号以及肢体运动信号，将所述信号转换为数字信号，并打包后通过无线方式发送；步骤二 接收所述无线方式发送的数字信号，并将所述数字信号转换为对受控目标的控制信号。
2.根据权利要求1所述的方法，其特征在于，所述步骤一通过姿态传感器、角速度传感器和加速度传感器获取操作者的肢体运动信号，传输给嵌入式微处理器，经打包后传输给无线数据发送模块。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤一是通过干电极传感器获取操作者的脑电及眼电信号，经脑电及眼电信号采集处理单元，将生物信号转换成数字信号， 传输给嵌入式微处理器，经打包后传输给无线发送模块。
4.根据权利要求1或2所述的方法，其特征在于，所述步骤二具体包括通过控制端嵌入式微处理器对所接收无线方式发送的数字信号进行解包，提取出可用于对目标进行控制的脑电、眼电、姿态和运动数据，并转换成相应的I/O控制信号。
5.根据权利要求1或2所述的方法，其特征在于，所述的目标控制端通过I/O控制接口实现对受控目标的控制。
6.一种便携式多信号采集处理装置，包括脑电及眼电信号采集处理模块、运动信号采集处理模块、发带或头盔以及无线发送模块；其中，脑电及眼电信号采集处理模块、运动信号采集处理模块分别与无线发送模块相连，脑电信号处理模块固定于发带或头盔上，运动信号采集处理模块固定于操作者肢体运动部位，无线发送模块固定于发带或头盔或肢体运动部位。
7.根据权利要求6所述的装置，其特征在于，便携式多信号采集处理装置还包括第一嵌入式微处理器，所述脑电及眼电信号采集处理模块主要包括干电极传感器、脑电及眼电信号采集处理器；其中干电极传感器获取脑电、眼电生物信号，经过脑电及眼电信号采集处理器，将生物信号转换成数字信号，传输给第一嵌入式微处理器，经打包后传输给无线发送模块。
8.根据权利要求7所述的装置，其特征在于，所述的运动信号采集处理模块包括姿态传感器、角速度传感器、加速度传感器；其中通过姿态传感器、角速度传感器、加速度传感器获取肢体运动信号，传输给第一嵌入式微处理器，经打包后再传输给无线数据发送模块；或者便携式多信号采集处理装置还包括第二嵌入式微处理器，通过姿态传感器、角速度传感器、加速度传感器获取肢体运动信号，传输给第二嵌入式微处理器，经打包后再传输给无线数据发送模块。
9.根据权利要求7所述的装置，其特征在于，所述的干电极传感器至少有两个，其中一个位于前额部位，其余位于前额或耳垂位置。
10.根据权利要求6所述的装置，其特征在于，便携式多信号采集处理装置还包括第一嵌入式微处理器，所述运动信号采集处理模块包括姿态传感器、角速度传感器、加速度传感器；其中通过姿态传感器、角速度传感器、加速度传感器获取肢体运动信号，传输给第一嵌入式微处理器，经打包后再传输给无线数据发送模块。
全文摘要
本发明涉及一种基于脑电信号和肢体运动信号对目标进行控制的方法，该方法分为信号采集处理端和目标控制端两个部分。其中，信号采集处理端通过便携式多信号采集处理装置对操作者的脑电信号、眼电信号、肢体运动信号进行采集和处理，然后将所有数据打包并通过无线方式发送；而目标控制端接收信号采集处理端发送的数据并将这些数据转换为对受控目标的控制信号，从而可以通过多种控制参数对受控目标进行实时动作控制、精确动作控制以及复杂动作控制。以及一种便携式多信号采集处理装置，该装置综合采集操作者的脑电信号、眼电信号以及肢体运动信号，并将这些数据打包后通过无线方式发送。
文档编号G05B19/418GK102419588SQ20111044535
公开日2012年4月18日 申请日期2011年12月28日 优先权日2011年12月28日
发明者许冰 申请人:许冰