基于脑机接口的自适应家居环境控制装置及其控制方法
【专利摘要】本发明公开了一种基于脑机接口的自适应家居环境控制装置及其控制方法，包括视觉刺激屏、脑电采集单元、计算机、主控制器以及从控制器。本发明包括脑控家电和脑控轮椅两部分，患有严重瘫痪的病人(如脊髓小脑共济失调、肌萎缩侧索硬化等)可以通过使用本发明装置中的轮椅来实现在室内移动，同时又可以坐在轮椅上实现对家电设备(电视、空调、以及电灯)的控制。本发明装置性能稳定，能够有效地提高重症瘫痪病人的自理能力和生活质量。
【专利说明】
基于脑机接口的自适应家居环境控制装置及其控制方法
技术领域
[0001]本发明涉及脑机接口应用研究领域，尤其是指一种基于脑机接口的自适应家居环境控制装置及其控制方法。
【背景技术】
[0002]世界上有许多严重瘫痪的病人，他们只能通过他人的帮助来实现身体位置的移动和家电设备的控制。随着人工智能领域的不断发展，越来越多的研究成果被应用于辅助此类人群，以便改善他们的生活质量。其中，脑机接口(brain-computer interface，BCI)领域作为神经工程领域的一个分支，其发展迅速，前景广泛，激起了人们对脑机接口领域研究热潮。
[0003]脑机接口(Brain Computer Interface，BCI)是一种全新的人-机交互系统，它能够不通过常规大脑输出通路(外周神经和肌肉组织)而直接实现人脑与计算机之间的通信，为瘫痪病人提供了一种与外界进行信息交流和控制的新途径。BCI系统可分为侵入式和非侵入式，侵入式系统将会把电极植入到脑壳内，非侵入式系统则只采集头皮脑电信号。由于非侵入式脑机接口无需做手术，相比于侵入式更加安全简单，因此其研究较为普遍。本发明所采用的是非侵入式脑机接口技术。
[0004]目前，还没有脑控轮椅与脑控家电的结合系统，例如中国专利(基于多模态脑机接口的智能轮椅，公开号:CN102309380A)。该发明通过事件相电位P300和运动想象实现轮椅的控制。中国专利(一种基于脑机接口与自动驾驶技术的智能轮椅控制方法，公开号:CN104083258A)。该发明通过脑机接口与自动驾驶相结合控制轮椅。中国专利(一种基于视觉诱发脑-机接口的智能家电控制装置，公开号:CN204480175U)，通过视觉诱发电位实现家电的控制。以上所述发明，都只能控制轮椅或者家电中的一类，而没有将脑控轮椅和脑控家电相结合。将脑控轮椅与脑控家电相结合的基于脑机接口的自适应家居环境控制装置及方法，能够综合脑控轮椅与脑控家电两者的优势，更好的利用脑机接口改善瘫痪病人的生活质量。
【发明内容】
[0005]本发明的目的在于克服现有技术的不足与缺点，提出一种基于脑机接口的自适应家居环境控制装置及其控制方法，患有严重瘫痪的病人(如脊髓小脑共济失调、肌萎缩侧索硬化等)可以通过使用本装置中的轮椅来实现在室内移动，同时又可以坐在轮椅上实现对家电设备(电视、空调、以及电灯)的控制。
[0006]为实现上述目的，本发明所提供的技术方案，如下:
[0007]—种基于脑机接口的自适应家居环境控制装置，包括:
[0008]视觉刺激屏，为计算机屏幕;该计算机屏幕被安放于用户注视的位置，用户通过注视视觉刺激屏中闪烁的功能键来引诱P300信号；
[0009]脑电采集单元，包括脑电采集仪和用于采集脑电的电极帽，其中使用电极帽中的“FZ”、“FCz”、“Cz”、“CPz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“01”、“0z”、“02” 十二个通道，这些通道均被注入导电胶，确保头皮与电极良好的导通，且放置的位置遵循国际标准10-20系统；
[0010]计算机，用来实现P300信号检测、轮椅自动驾驶算法、视觉刺激屏中功能键的闪烁控制、以及控制命令发送；
[0011]主控制器，以STC89C52为主控芯片，主要包括的电路模块有:以FT232芯片组成的USB转UART的串口通信模块电路，用于与计算机进行串口通信；以dacl02s085芯片组成的轮椅控制电路，用于实现轮椅自动驾驶；以NRF24L01无线芯片组成的家电控制电路，用于与从控制器通信实现家电的控制；
[0012]从控制器，包括电视控制器、空调控制器、电灯控制器，从控制器通过无线通信电路接收主控制器的控制命令，并对该命令进行解析进而控制相应家电。
[0013]所述视觉刺激屏中的功能键按行列形式规则分布于刺激屏中，并以200ms的时间间隔进行黑、绿两种颜色变化闪烁。
[0014]所述轮椅自动驾驶的实现，是由主控制器、电动轮椅、网络摄像头、激光雷达共同组合实现的。
[0015]—种上述基于脑机接口的自适应家居环境控制装置的控制方法，包括以下步骤:
[0016]S1:用户坐上轮椅，并调整好视觉刺激屏位置，以确保有良好的视觉刺激；
[0017]S2:启动整个系统，视觉刺激屏进入第一个刺激界面即功能选择界面，该界面中的功能键包括“开关”、“确定”、“轮椅”、“电灯”、“电视”、“空调”、以及6个“伪键”，通过“开关”键与“确定”键的顺序选定来实现控制系统的打开与关闭；
[0018]S3:用户先后注视“开关”键和“确定”键，一旦这两个键均被正确地选定，控制系统将被开启；功能键的选定是通过以下过程实现的:用户注视视觉刺激屏中闪烁的功能键，脑电信号通过脑电采集单元进行放大、滤波、模数转换处理后，再将数据传输给计算机进行P300信号检测，然后实现某个功能键的选定；
[0019]S4:用户先后注视相应的功能键和“确定”键，一旦这两个键均被正确地选定，系统的控制界面便切换成控制该设备的界面，进入步骤S5;如果用户在设定时间内未进入设备控制界面，将回到步骤S2，当然，用户能够通过顺序选择“开关”键+“确定”来主动关闭控制系统，然后回到步骤S2;
[0020]S5:进入设备控制界面后，用户通过注视视觉刺激屏的功能键来实现该设备的功能，不同设备控制界面控制过程如下:
[0021 ] S5.1:进入轮椅控制界面，用户通过注视视觉刺激屏中的功能键来进行位置选择；当用户顺序选定了某个坐标键+“确定”键后，轮椅自动驾驶到该选定的位置，然后刺激界面自动返回到功能选择界面，回到步骤S4;
[0022]S5.2:进入相应家电控制界面，用户通过注视视觉刺激屏中的功能键来进行该家电功能的选择；当用户顺序选定了某个功能键+“确定”键后，主控制器发出相应指令实现对该家电相应功能的控制;之后用户能够继续选择该家电的某个功能键+“确定”键，进行该家电的相应功能控制，也能够选择“返回” + “确定”键，返回到功能选择界面，回到步骤S4。
[0023 ] 步骤S3、S4、S5中的P300信号检测，具体通过以下步骤实现:
[0024]al.将EEG信号经过0.1?20Hz的带通滤波去噪处理；
[0025]a2.以EEG信号幅值作为特征，截取P300功能键闪烁后的10ms?600ms时间窗的数据，并采用支持向量机模型进行状态分类，从而实现P300信号检测。
[0026]在步骤S5中，轮椅的自动驾驶，具体通过以下步骤实现:
[0027]bl.通过网络摄像头获取当前房间的环境信息，用激光雷达采集距离点信息，用最小二乘拟合算法计算该信息，提取出直线，再结合激光雷达扫描的方向将直线转换成带有方向信息的向量，最后将向量与环境地图进行匹配，实现对轮椅的定位；
[0028]b2.用户通过脑机接口选择目的地后，结合轮椅、目的地、障碍物的位置，进行路径规划，通过A-s tar算法产生一条最优路径；
[0029]b3.计算机通过将轮椅的位置与最优路径的位置差作为PID路径跟踪算法的反馈，计算出参考的角速度和线速度，再与轮椅实际的角速度和线速度进行比较，得出十六进制控制指令，再将指令通过USB接口传输给主控制器；
[°03°] b4.主控制器接收到计算机传来的控制指令后进行解析，再驱动dacl02s085芯片产生两路模拟电压信号传输给电动轮椅，从而实现轮椅的控制。
[0031 ]在步骤S5中，家电的控制，具体通过以下步骤实现:
[0032]Cl.用户通过P300信号的检测选择所要控制的家电及其功能后，计算机将其转化成十六进制指令通过USB 口传输给主控制器；
[0033]c2.主控制器接收到计算机的指令后对其进行解析，然后通过NRF24L01无线芯片将控制指令传送给从控制器；
[0034]c3.从控制器通过无线接收到主控制器的指令后对其进行解析，如果是控制电灯指令，则电灯控制器相应1 口发送0/1指令到ULN2003达林顿管芯片，进而控制继电器动作；如果是控制电视或者空调的指令，则电视控制器或者空调控制器相应1 口控制三极管的导通/关闭来实现红外发射管红外编码信号的发射。
[0035]本发明与现有技术相比，具有如下优点与有益效果:
[0036]1、目前，还没有脑控轮椅与脑控家电的结合系统，脑机接口相关的诸多应用都只能控制轮椅或者家电中的一类，而没有将脑控轮椅和脑控家电相结合成一个系统。
[0037]2、脑控轮椅与脑控家电相铺相成；用户可以通过使用本发明装置中的轮椅来实现在室内移动，从而更方便的使用家电，比如看电视。脑控家电又让脑控轮椅的功能具有更多的实用价值。将脑控轮椅与脑控家电相结合的基于脑机接口的自适应家居环境控制装置及方法，能让用户根据自己的控制意图来控制轮椅和家电，填补了目前市场上的空缺，更好的利用脑机接口改善瘫痪病人的生活质量。
【附图说明】
[0038]图1为本发明的自适应家居环境控制装置的结构示意图。
[0039]图2为本发明的自适应家居环境控制方法的控制流程图。
[0040]图3为本发明的功能选择界面。
[0041 ]图4为本发明的电视控制界面。
[0042]图5为本发明的空调控制界面。
【具体实施方式】
[0043]下面结合具体实施例对本发明作进一步说明。
[0044]如图1所述，本实施例所述的自适应家居环境控制装置，包括视觉刺激屏、脑电采集单元、计算机、主控制器和从控制器。
[0045]所述的视觉刺激屏为计算机屏幕。计算机屏幕被安放于适合用户注视的位置，用户通过注视刺激屏中闪烁的功能键来引诱P300信号。功能键按行列形式规则分布于刺激屏中，并以200ms的时间间隔进行黑、绿两种颜色变化闪烁。如图3所示，功能选择界面中的功能键包括:“开关”、“确定”、“轮椅”、“电灯”、“电视”、“空调”、以及6个“伪键”。如图4所示，电视控制界面中的功能键包括:“开关”、“确定”、“返回”、“I台”、“2台”、“3台”、“4台”、“5台”、“6台”、“7台”、“加音”、“减音”、“加台”、“减台”。如图5所示，空调控制界面中的功能键包括:“开关”、“确定”、“返回”、“温度+”、“温度、“模式I”、“模式2”、“模式3”、“左右扫风”、“上下扫风”。
[0046]所述的脑电采集单元，包括脑电采集仪和用于采集脑电的电极帽。本发明使用了电极帽中的 “FZ”、“FCz”、“Cz”、“CPz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“01”、“0z”、“02” 十二个通道，这些通道均被注入导电胶，确保头皮与电极良好的导通，并放置的位置遵循国际标准10-20系统。
[0047]所述的计算机，用来实现P300信号检测、轮椅自动驾驶算法、视觉刺激屏中功能键的闪烁控制、以及控制命令发送。P300信号检测流程为:将EEG信号经过0.1?20Hz的带通滤波去噪处理，再以EEG信号幅值作为特征，截取P300闪烁键闪烁后的10ms?600ms时间窗的数据，并采用支持向量机模型进行状态分类，从而实现P300信号的检测。轮椅自动驾驶算法包括:(I)最小二乘拟合算法，通过网络摄像头获取当前房间的环境信息，用激光雷达采集距离点信息，用最小二乘拟合算法计算该信息，提取出直线，再结合激光雷达扫描的方向将直线转换成带有方向信息的向量，最后将向量与环境地图进行匹配，实现对轮椅的定位；
(2)A-star算法，用户通过脑机接口选择目的地后，结合轮椅、目的地、障碍物的位置，进行路径规划，通过A-star算法产生一条最优路径；(3)PID路径跟踪算法，用计算机通过将轮椅的位置与最优路径的位置差作为PID路径跟踪算法的反馈，计算出参考的角速度和线速度，再与轮椅实际的角速度和线速度进行比较，得出十六进制控制指令。例如:0x17c为前进指令，0x2c8为后退指令，0x569为右转指令，0x696为左转指令。
[0048]所述的主控制器，以STC89C52为主控芯片，主要包括的电路模块有:以FT232芯片组成的USB转UART的串口通信模块电路，用于与计算机进行串口通信；以dacl02s085芯片组成的轮椅控制电路，用于实现轮椅自动驾驶；以NRF24L01无线芯片组成的家电控制电路，用于与从控制器通信实现家电(电视、空调、电灯)的控制。其中，所述轮椅自动驾驶的实现，是由主控制器、电动轮椅、网络摄像头、激光雷达共同组合实现的。
[0049]所述的从控制器，包括电视控制器、空调控制器、电灯控制器。从控制器通过无线通信电路接收主控制器的控制命令，并对该命令进行解析进而控制相应家电。
[0050]如图2所示，本实施例上述自适应家居环境控制装置的控制方法，包含以下顺序的步骤:
[0051]S1:用户坐上轮椅，并调整好视觉刺激屏位置，以确保有较好的视觉刺激；
[0052]S2:启动整个系统，刺激屏进入第一个刺激界面(功能选择界面)，用户可以通过“开关”键与“确定”键的顺序选定来实现控制系统的开启与关闭。只有控制系统被开启了，用户才能通过选定某个功能键+“确定”键来实现其他的操作，否则即使用户选定了某个功能键，也不会产生相应的控制指令。
[0053]S3:用户先后注视“开关”键和“确定”键，一旦这两个键均被正确地选定，控制系统将被开启。功能键的选定是通过以下过程实现的:户注视屏幕中闪烁的功能键，脑电信号通过脑电采集单元进行放大、滤波、模数转换等处理，然后再将数据传输给计算机进行P300信号检测，然后实现某个功能键的选定。
[0054]S4:用户先后注视相应的功能键和“确定”键，一旦这两个键均被正确地选定，系统的控制界面便切换成控制该设备的界面，进入步骤S5。比如用户顺序选定“空调” + “确定”键后，刺激界面将进入空调控制界面，并启动该界面所有功能键闪烁。如果用户在5分钟内未进入设备控制界面，将回到步骤S2，用户也可以顺序选择“开关”键+“确定”来主动关闭控制系统，然后回到步骤S2。
[0055]S5:进入设备控制界面后，用户通过注视屏幕的闪烁键来实现该设备的功能。不同设备控制界面控制过程如下:
[0056]S5.1:进入轮椅控制界面，用户通过注视刺激屏中的闪烁键来进行位置选择。当用户选定了某个坐标键+“确定”键后，轮椅自动驾驶到该选定的位置，然后刺激界面自动返回到功能选择界面，回到步骤S4。
[0057]S5.2:进入家电(比如电视)控制界面，用户通过注视刺激屏中的功能键来进行电视功能的选择。电视的功能键包括音量加、音量减、当用户选定了某个功能键+“确定”键后，控制器发出相应指令实现对电视该功能的控制。例如，用户想控制电视音量减，则用户注视电视控制界面的“音量减”键+“确定”键，计算机通过P300电位检测出来用户想要实现的功能后，通过USB把相应指令传输给控制器实现相应控制。之后用户可以继续选择电视的某个功能键+“确定”键，进行电视控制，也可以选择“返回” + “确定”键，返回到功能选择界面，回到步骤S4。
[0058]空调的控制过程与电视类似。不同的设备控制没有固定的先后顺序和次数，用户可以自由选择某个设备的控制。
[0059 ]步骤S5中，轮椅的自动驾驶，具体通过以下步骤实现:
[0060]bl.通过网络摄像头获取当前房间的环境信息，用激光雷达采集距离点信息，用最小二乘拟合算法计算该信息，提取出直线，再结合激光雷达扫描的方向将直线转换成带有方向信息的向量，最后将向量与环境地图进行匹配，实现对轮椅的定位；
[0061]b2.用户通过脑机接口选择目的地后，结合轮椅、目的地、障碍物的位置，进行路径规划，通过A-s tar算法产生一条最优路径；
[0062]b3.计算机通过将轮椅的位置与最优路径的位置差作为PID路径跟踪算法的反馈，计算出参考的角速度和线速度，再与轮椅实际的角速度和线速度进行比较，得出十六进制控制指令。例如:0x17c为前进指令，0x2c8为后退指令，0x569为右转指令，0x696为左转指令。再将指令通过USB接口传输给主控制器；
[0063]b4.主控制器接收到计算机传来的控制指令后进行解析，再驱动dacl02s085芯片产生两路模拟电压信号传输给电动轮椅，从而实现轮椅的控制。
[0064]步骤S5中，家电的控制，具体通过以下步骤实现:
[0065]Cl.用户通过300信号的检测选择所要控制的家电及其功能后，计算机将其转化成十六进制指令通过USB 口传输给主控制器；
[0066]c2.主控制器接收到计算机的指令后对其进行解析，然后通过NRF24L01无线芯片将控制指令传送给从控制器；
[0067]C3.从控制器通过无线接收到主控制器的指令后对其进行解析，如果是控制电灯指令，则电灯控制器相应1 口发送0/1指令至ljULN2003达林顿管芯片，进而控制继电器动作(O为继电器闭合，I为继电器断开)。如果是控制电视或者空调的指令，则电视控制器或者空调控制器相应1 口控制三极管的导通/关闭来实现红外发射管红外编码信号的发射。
[0068]以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。
【主权项】
1.一种基于脑机接口的自适应家居环境控制装置，其特征在于，包括: 视觉刺激屏，为计算机屏幕;该计算机屏幕被安放于用户注视的位置，用户通过注视视觉刺激屏中闪烁的功能键来引诱P300信号； 脑电采集单元，包括脑电采集仪和用于采集脑电的电极帽，其中使用电极帽中的“FZ”、“FCz”、“Cz”、“CPz”、“P7”、“P3”、“Pz”、“P4”、“P8”、“01”、“0z”、“02” 十二个通道，这些通道均被注入导电胶，确保头皮与电极良好的导通，且放置的位置遵循国际标准10-20系统； 计算机，用来实现P300信号检测、轮椅自动驾驶算法、视觉刺激屏中功能键的闪烁控制、以及控制命令发送； 主控制器，以STC89C52为主控芯片，主要包括的电路模块有:以FT232芯片组成的USB转UART的串口通信模块电路，用于与计算机进行串口通信；以dacl02s085芯片组成的轮椅控制电路，用于实现轮椅自动驾驶；以NRF24L01无线芯片组成的家电控制电路，用于与从控制器通信实现家电的控制； 从控制器，包括电视控制器、空调控制器、电灯控制器，从控制器通过无线通信电路接收主控制器的控制命令，并对该命令进行解析进而控制相应家电。2.根据权利要求1所述的一种基于脑机接口的自适应家居环境控制装置，其特征在于:所述视觉刺激屏中的功能键按行列形式规则分布于刺激屏中，并以200ms的时间间隔进行黑、绿两种颜色变化闪烁。3.根据权利要求1所述的一种基于脑机接口的自适应家居环境控制装置，其特征在于:所述轮椅自动驾驶的实现，是由主控制器、电动轮椅、网络摄像头、激光雷达共同组合实现的。4.一种权利要求1或2或3所述基于脑机接口的自适应家居环境控制装置的控制方法，其特征在于，包括以下步骤: S1:用户坐上轮椅，并调整好视觉刺激屏位置，以确保有良好的视觉刺激； S2:启动整个系统，视觉刺激屏进入第一个刺激界面即功能选择界面，该界面中的功能键包括“开关”、“确定”、“轮椅”、“电灯”、“电视”、“空调”、以及6个“伪键”，通过“开关”键与“确定”键的顺序选定来实现控制系统的打开与关闭； S3:用户先后注视“开关”键和“确定”键，一旦这两个键均被正确地选定，控制系统将被开启；功能键的选定是通过以下过程实现的:用户注视视觉刺激屏中闪烁的功能键，脑电信号通过脑电采集单元进行放大、滤波、模数转换处理后，再将数据传输给计算机进行P300信号检测，然后实现某个功能键的选定； S4:用户先后注视相应的功能键和“确定”键，一旦这两个键均被正确地选定，系统的控制界面便切换成控制该设备的界面，进入步骤S5;如果用户在设定时间内未进入设备控制界面，将回到步骤S2，当然，用户能够通过顺序选择“开关”键+“确定”来主动关闭控制系统，然后回到步骤S2; S5:进入设备控制界面后，用户通过注视视觉刺激屏的功能键来实现该设备的功能，不同设备控制界面控制过程如下: S5.1:进入轮椅控制界面，用户通过注视视觉刺激屏中的功能键来进行位置选择；当用户顺序选定了某个坐标键+ “确定”键后，轮椅自动驾驶到该选定的位置，然后刺激界面自动返回到功能选择界面，回到步骤S4; S5.2:进入相应家电控制界面，用户通过注视视觉刺激屏中的功能键来进行该家电功能的选择；当用户顺序选定了某个功能键+“确定”键后，主控制器发出相应指令实现对该家电相应功能的控制;之后用户能够继续选择该家电的某个功能键+“确定”键，进行该家电的相应功能控制，也能够选择“返回” + “确定”键，返回到功能选择界面，回到步骤S4。5.根据权利要求4所述的一种基于脑机接口的自适应家居环境控制装置的控制方法，其特征在于:步骤S3、S4、S5中的P300信号检测，具体通过以下步骤实现: al.将EEG信号经过0.1?20Hz的带通滤波去噪处理； a2.以EEG信号幅值作为特征，截取P300功能键闪烁后的10ms?600ms时间窗的数据，并采用支持向量机模型进行状态分类，从而实现P300信号检测。6.根据权利要求4所述的一种基于脑机接口的自适应家居环境控制方法，其特征在于:在步骤S5中，轮椅的自动驾驶，具体通过以下步骤实现: bl.通过网络摄像头获取当前房间的环境信息，用激光雷达采集距离点信息，用最小二乘拟合算法计算该信息，提取出直线，再结合激光雷达扫描的方向将直线转换成带有方向信息的向量，最后将向量与环境地图进行匹配，实现对轮椅的定位； b2.用户通过脑机接口选择目的地后，结合轮椅、目的地、障碍物的位置，进行路径规划，通过A-s tar算法产生一条最优路径； b3.计算机通过将轮椅的位置与最优路径的位置差作为PID路径跟踪算法的反馈，计算出参考的角速度和线速度，再与轮椅实际的角速度和线速度进行比较，得出十六进制控制指令，再将指令通过USB接口传输给主控制器； b4.主控制器接收到计算机传来的控制指令后进行解析，再驱动dacl02s085芯片产生两路模拟电压信号传输给电动轮椅，从而实现轮椅的控制。7.根据权利要求4所述的一种基于脑机接口的自适应家居环境控制装置的控制方法，其特征在于:在步骤S5中，家电的控制，具体通过以下步骤实现: Cl.用户通过P300信号的检测选择所要控制的家电及其功能后，计算机将其转化成十六进制指令通过USB 口传输给主控制器； c2.主控制器接收到计算机的指令后对其进行解析，然后通过NRF24L01无线芯片将控制指令传送给从控制器； c3.从控制器通过无线接收到主控制器的指令后对其进行解析，如果是控制电灯指令，则电灯控制器相应1口发送0/1指令到ULN2003达林顿管芯片，进而控制继电器动作；如果是控制电视或者空调的指令，则电视控制器或者空调控制器相应1 口控制三极管的导通/关闭来实现红外发射管红外编码信号的发射。
【文档编号】A61G5/10GK106020470SQ201610328963
【公开日】2016年10月12日
【申请日】2016年5月18日
【发明人】李远清, 李凯, 彭能能, 张瑞, 刘君
【申请人】华南理工大学