基于认知与情绪状态多模态感知的脑机接口系统的制作方法
【专利摘要】本发明公开一种基于认知与情绪状态多模态感知的脑机接口系统，包括便携式生理信号采集与分析系统、基于视频分析的行为识别系统、无线网关和数据融合与反馈计算机系统；本发明能够解决认知/情绪等脑高级功能的解析与反馈问题，并突破传统认知和情绪分离的脑特异性理论的局限，构建基于情绪-认知整合框架下的认知与情绪感知与计算的多模态脑机接口系统，揭示认知/情绪层次脑机融合的计算规律，实现脑与机器之间的高效匹配。
【专利说明】基于认知与情绪状态多模态感知的脑机接口系统
【技术领域】
[0001]本发明涉及脑机接口领域，具体涉及一种用于认知/情绪层次的脑与信息系统交互的基于认知与情绪状态多模态感知的脑机接口系统。
【背景技术】
[0002]人脑是世界上最复杂的、威力最强大的系统，在人脑与机器之间建立脑机接口(01-8111-180111116811)，即建立直接的信息通道和全新的交互方式，将涉及众多领域创新的前沿，对科技、经济、军事，甚至社会的发展影响巨大。
[0003]而脑机接口技术因其涉及众多领域创新的前沿，对科技、经济、军事，甚至社会的发展影响巨大，但截至目前，国内外脑机接口领域主要关注的是运动/感觉层次脑机接口领域的研究，只涉及到对脑低层次功能的解析和反馈。国内外脑机接口领域主要关注的是运动/感觉层次脑机接口研究，也取得了一些大的进展。现在不仅发展了一些由肌电、脑电、视觉、语音控制的信息系统，以修复一些动作功能(如行走、取物)、以及修复一些感知功能(如耳蜗、视力恢复)；还为脑或脊髓损伤、中风、脑瘫等因素导致的外周神经或肌肉运动功能受损人群开发了机能增强技术和设备。
[0004]现有技术中，有大量专利公开了运动/感觉层次脑机接口系统的构建方法，例如:《基于多模态脑机接口的智能轮椅》(⑶201110268891.5)、《针对下肢的层级式功能性电刺激康复系统》(⑶200910310630.8)、《一种基于运动想象与？300脑电电位的功能键选择方法》(⑶201010509550.8)等。虽然运动/感觉层次脑机接口取得了长足进展，但运动/感觉层次脑机接口研究只涉及到对脑低层次功能的解析和反馈。近15年来，在认知神经科学、神经生化、心理生理计算、信息技术等相关学科的推动下，使得涉及认知和情绪等脑高级智能的脑机接口的研究变得可能。认知/情绪层面脑机接口涉及到对人认知、情感和决策行为的感知、解读、识别和反馈控制，直接涉及更广阔的国家战略需求。
[0005]此外，目前国内外认知与情绪状态分析与识别研究主要还是集中在对6种基本情感(高兴、悲伤、愤怒、恐惧、惊奇、厌恶)的识别及少量认知状态的识别，而采用的方法主要是单模态分析。目前已经发展的单模态认知与情绪评测方法存在一些局限，多模态信息感知与融合方法已经成为国际学术界公认的方案。但众多指标之间的关联关系、各模态之间的关联关系、各个模态对辨识目标的贡献率等多模态分析的关键问题没有得到很好的解决。
【发明内容】
[0006]发明目的:本发明的目的在于突破传统单模态脑功能感知方法存在的局限，从生理-行为多模态信息融合视角下实现对认知与情绪状态的实时感知与识别，最终提供一种基于认知与情绪状态多I吴态感知的脑机接口系统。
[0007]技术方案:本发明的一种基于认知与情绪状态多模态感知的脑机接口系统，包括便携式生理信号采集与分析系统、基于视频分析的行为识别系统、无线网关和数据融合与反馈计算机系统；所述便携式生理信号采集与分析系统以及基于视频分析的行为识别系统均通过无线网关分别与数据融合与反馈计算机系统实现双向通讯连接；所述数据融合与反馈计算机系统通过无线网关向便携式生理信号采集与分析系统以及基于视频分析的行为识别系统同步发送数据采集指令，然后二者分别进行数据生理信号和行为数据的同步采集与实时分析，所述数据融合与反馈计算机系统收到所述分析结果后，对所获得的生理数据和行为数据进行融合计算并得到认知与情绪状态的估计结果，所述估计结果将进一步反馈给执行机构从而实现脑与机器的双向交互接口。
[0008]进一步的，所述便携式生理信号采集与分析系统包括微处理器、用于采集原始脑电信号的双导脑电采集模块、用于采集与心率同步的脉冲信号的耳夹式红外心率采集模块、无线收发模块、SD卡读写模块、电源调节与管理模块、锂电池和USB充电模块，所述微处理器对存储于SD卡读写模块中的原始脑电信号和脉冲信号数据进行分析处理，并通过无线收发模块将分析处理结果实时发送至数据融合与反馈计算机系统；所述USB充电模块对锂电池充电。
[0009]进一步的，所述原始脑电信号中可提取出反映大脑活动节律的脑电波功率谱，所述脑电波功率谱包括δ波、Θ波、α波、β波和Υ波；所述脉冲信号中可获得产生心率变异性时域和频率指标。
[0010]进一步的，所述双导脑电采集模块由干电池供电，在采集脑电信号时，头皮位置的作用电极放置于双侧前额叶，参考电极和地电极分别放置于左右耳垂处。
[0011]进一步的，所述基于视频分析的行为识别系统包括嵌入式平台、摄像机、无线收发模块和SD卡读写模块，所述嵌入式平台通过摄像机实时记录和分析用户的行为和面部表情并存储于SD卡读写模块，同时通过无线收发模块实时将行为和面部表情的数据发送至数据融合与反馈计算机系统。
[0012]进一步的，所述数据融合与反馈计算机系统包括计算机和执行机构，所述计算机通过无线网关将采样指令同步发送给便携式生理信号采集与分析系统和基于视频分析的行为识别系统，实现生理信号和行为信号同步采集，并同时通过无线网关接受便携式生理信号采集与分析系统以及基于视频分析的行为识别系统的计算结果，该计算结果经过数据融合算法生成控制信号来驱动执行机构实现脑与机器的双向交互接口。
[0013]进一步的，所述数据融合算法通过分析多模态指标与识别目标之间的关联关系获得认知与情绪状态识别的关键生理及行为指标。
[0014]进一步的，所述执行机构为机械机构(例如假肢和康复机械等)和虚拟3D场景中的任意一种。
[0015]有益效果:与现有技术相比，本发明具有以下优点:
[0016](I)国内外脑机接口技术目前主要聚焦于对脑低层次功能的解析和反馈；本发明从情绪-认知整合视角对认知与情绪状态进行多模态信息感知，建立认知与情绪评测的关键生理及行为指标，实现对认知、情感和决策行为的感知、解读与识别，在此基础上构建认知/情绪层次脑机接口系统。
[0017](2)本发明突破传统认知和情绪分离的脑特异性理论的局限，提出基于情绪-认知整合框架下的认知与情绪感知与计算新方法，探索认知/情绪层次脑机融合的感知与认知的计算规律，实现脑与机器之间的高效匹配。
[0018](3)本发明建立我国特定人群的核心认知与情绪表征集，并建立多模态指标和认知与情绪评测目标之间的关联关系，在此基础上建立认知与情绪评测的关键指标，并据此通过机器学习的方法建立认知与情绪状态估计模型。
[0019](4)本发明提出了一种新的多元数据分析方法，分析获得多模态指标与识别目标之间的关联关系，在此基础上建立认知与情绪评测的关键生理及行为指标。
[0020](5)目前国内外认知与情绪状态分析与识别研究主要集中在对6种基本情感(高兴、悲伤、愤怒、恐惧、惊奇、厌恶)的识别及少量认知状态的识别，本发明实现了对复杂认知与情绪状态的感知与识别。
[0021](6)本发明突破传统单模态认知与情绪状态感知技术存在的局限，采用生理-行为多模态感知与融合技术，实现对认知与情绪状态的实时感知与估计。
【专利附图】
【附图说明】
[0022]图1为本发明的整体组成框图；
[0023]图2为本发明中的便携式生理信号采集与分析系统的组成框图；
[0024]图3为本发明中的基于视频分析的行为识别系统的组成框图；
[0025]图4为本发明中的无线网关的组成框图；
[0026]图5为本发明中的数据融合与反馈计算机系统的组成框图。
【具体实施方式】
[0027]下面对本发明技术方案结合附图进行详细说明。
[0028]如图1所示，本发明的一种基于认知与情绪状态多模态感知的脑机接口系统，包括便携式生理信号采集与分析系统10、基于视频分析的行为识别系统20、无线网关30和数据融合与反馈计算机系统40 ；所述便携式生理信号采集与分析系统10以及基于视频分析的行为识别系统20均通过无线网关30分别与数据融合与反馈计算机系统40实现双向通讯连接；所述数据融合与反馈计算机系统40通过无线网关30向便携式生理信号采集与分析系统10以及基于视频分析的行为识别系统20同步发送数据采集指令，然后二者分别进行数据生理信号和行为数据的同步采集与实时分析，所述数据融合与反馈计算机系统40收到所述分析结果后，对所获得的生理数据和行为数据进行融合计算并得到认知与情绪状态的估计结果，所述估计结果将进一步反馈给执行机构从而实现脑与机器的双向交互接0。
[0029]如图2所示，本实施例中的便携式生理信号采集与分析系统10的整体封装于可头戴的外壳中，具体包括微处理器、无线收发模块、30卡读写模块、耳夹式红外心率采集模块、双导脑电采集模块、电源调节与管理模块、锂电池』38充电模块等模块，所述微处理器对存储于30卡读写模块中的原始脑电信号和脉冲信号数据进行分析处理，并通过无线收发模块将分析处理结果实时发送至数据融合与反馈计算机系统40 ；通过与计算机的…8接口或者与带旧8接口的八00(:器件相连，旧8充电模块能够实现对锂电池的充电功能；由于锂电池输出电压范围为3.7-4.2^,电源调节与管理模块可以对本系统所有模块单元提供稳定可靠的3.和讯电源；双导脑电采集模块包括干电极、三级放大电路、带通滤波器和入/0转换器等单元组成，两个干电极布置在双侧前额叶，而参考电极和地电极分别位布置在双耳耳垂；由干电极获得的脑电信号经过三级放大电路放大后再经过带通滤波器获得信噪比较高的信号，该信号再经过高精度八/0转换器处理后获得稳定的原始脑电信号；耳夹式红外心率采集模块由耳夹式红外传感器、放大电路、比较器、滤波器等单元组成，由耳夹式红外传感器获得的信号经过放大电路放大后再经过比较器和滤波器处理后获得与心率同步的脉冲信号，该脉冲信号直接与微处理器的1/0 口相连，微处理器将通过现有公知技术计算产生心率变异性时域和频率指标；大脑活动节律的8波、0波、0波、波、^波功率谱、以及心率变异性时域和频率指标，将通过无线收发模块实时发送给无线网关30。
[0030]从上述原始脑电信号中可提取出反映大脑活动节律的脑电波功率谱，其中脑电波功率谱包括 8 波(1-3?)、0 波(4-7?)、0 波(8-13?)、波(14-25?)和、波(25?以上)；且从脉冲信号中可获得产生心率变异性时域和频率指标。
[0031]如图3所示，在本实施例中，基于视频分析的行为识别系统20包括嵌入式平台、摄像机、无线收发模块、80卡读写模块、液晶显示模块、电源调节与管理模块、锂电池、^88充电模块等模块单元；所述嵌入式平台通过摄像机实时记录和分析用户的行为和面部表情并存储于30卡读写模块，同时通过无线收发模块实时将行为和面部表情的数据发送至数据融合与反馈计算机系统40。
[0032]其中，通过与计算机…8接口或者与带…8接口的…-0(:器件相连，…8充电模块实现对锂电池的充电功能；由于锂电池输出电压范围为3.7-4.2、，电源调节与管理模块可以对本系统所有功能单元提供稳定可靠的3.和讯电源。
[0033]如图4所示，在本实施例中，无线网关30由微处理器、无线收发模块、串口转…8接口模块、电源调节与管理模块等组成；电源调节与管理模块获得稳定的3.旧电源供无线网关30系统使用；微处理器通过串口转口38接口模块与数据融合与反馈计算机系统40的…8接口相连，并采用无线组网技术与便携式生理信号采集与分析系统10以及基于视频分析的行为识别系统20实现双向无线通讯。
[0034]如图5所示，在本实施例中，数据融合与反馈计算机系统40包括计算机、第一口38接口、第二旧8接口、执行机构和电源调节与管理模块，所述计算机通过第一旧8接口与无线网关30相连，然后通过无线网关30将采样指令同步发送给便携式生理信号采集与分析系统10和基于视频分析的行为识别系统20，实现生理信号和行为信号同步采集，并同时通过无线网关30接受便携式生理信号采集与分析系统10以及基于视频分析的行为识别系统20的计算结果，该计算结果经过数据融合算法通过第二旧8接口生成执行机构的控制信号来驱动执行机构实现脑与机器的双向交互接口 ；其中电源调节与管理模块将为计算机以及执行机构提供所需稳定电源。
[0035]上述的所述数据融合算法通过分析多模态指标与识别目标之间的关联关系获得认知与情绪状态识别的关键生理及行为指标。
[0036]综上所述，本发明能够实时获取对象的生理-行为多模态数据，借助多元数据分析方法分析获得多I旲态指标与识别目标之间的关联关系，在此基础上建立认知与情绪评测的关键生理及行为指标；且本发明将获取的认知与情绪状态的实时感知与识别结果进行实时反馈控制，在脑与机器之间建立直接双向信息通道和认知/情绪层次交互接口。
【权利要求】
1.一种基于认知与情绪状态多模态感知的脑机接口系统，其特征在于:包括便携式生理信号采集与分析系统、基于视频分析的行为识别系统、无线网关和数据融合与反馈计算机系统； 所述便携式生理信号采集与分析系统以及基于视频分析的行为识别系统均通过无线网关分别与数据融合与反馈计算机系统实现双向通讯连接； 所述数据融合与反馈计算机系统通过无线网关向便携式生理信号采集与分析系统以及基于视频分析的行为识别系统同步发送数据采集指令，然后二者分别进行数据生理信号和行为数据的同步采集与实时分析； 所述数据融合与反馈计算机系统收到所述分析结果后，对所获得的生理数据和行为数据进行融合计算并得到认知与情绪状态的估计结果，所述估计结果将进一步反馈给执行机构从而实现脑与机器的双向交互接口。
2.根据权利要求1所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于:所述便携式生理信号采集与分析系统包括微处理器、用于采集原始脑电信号的双导脑电采集模块、用于采集与心率同步的脉冲信号的耳夹式红外心率采集模块、无线收发模块、SD卡读写模块、电源调节与管理模块、锂电池和USB充电模块，所述微处理器对存储于SD卡读写模块中的原始脑电信号和脉冲信号数据进行分析处理，并通过无线收发模块将分析处理结果实时发送至数据融合与反馈计算机系统；所述USB充电模块对锂电池充电。
3.根据权利要求2所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于:所述原始脑电信号中可提取出反映大脑活动节律的脑电波功率谱，所述脑电波功率谱包括δ波、Θ波、α波、β波和Υ波；所述脉冲信号中可获得产生心率变异性时域和频率指标。
4.根据权利要求2所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于:所述双导脑电采集模块由干电池供电，在采集脑电信号时，头皮位置的作用电极放置于双侧前额叶，参考电极和地电极分别放置于左右耳垂处。
5.根据权利要求1所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于:所述基于视频分析的行为识别系统包括嵌入式平台、摄像机、无线收发模块和SD卡读写模块，所述嵌入式平台通过摄像机实时记录和分析用户的行为和面部表情并存储于SD卡读写模块，同时通过无线收发模块实时将行为和面部表情的数据发送至数据融合与反馈计算机系统。
6.根据权利要求1所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于:所述数据融合与反馈计算机系统包括计算机和执行机构，所述计算机通过无线网关将采样指令同步发送给便携式生理信号采集与分析系统和基于视频分析的行为识别系统，实现生理信号和行为信号同步采集，并同时通过无线网关接受便携式生理信号采集与分析系统以及基于视频分析的行为识别系统的计算结果，该计算结果经过数据融合算法生成控制信号来驱动执行机构实现脑与机器的双向交互接口。
7.根据权利要求6所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于:所述数据融合算法通过分析多模态指标与识别目标之间的关联关系获得认知与情绪状态识别的关键生理及行为指标。
8.根据权利要求6所述的基于认知与情绪状态多模态感知的脑机接口系统，其特征在于:所述执行机构为机械机构和虚拟3D场景中的任意一种。
【文档编号】A61B5/16GK104391569SQ201410547000
【公开日】2015年3月4日 申请日期:2014年10月15日 优先权日:2014年10月15日
【发明者】禹东川 申请人:东南大学