一种基于多生理信号融合的精神状态检测系统及方法
【专利摘要】本发明提出一种基于多生理信号融合的精神状态检测系统及方法，属于数字信号处理及可穿戴智能设备领域，系统包括脑电采集单元、生理信号采集单元，处理器单元和提示警告单元，本发明融合多种生理信号，利用各自的特征对人不同的状态进行判别分析，并借助分类器模型达到预期的分类识别效果；相对来说，弥补了单一生理信号特征检测的不足；以脑电、皮温、心率、脉搏等生理信号为基础的检测方法是一种隐式人机交换，在不干涉人的正常生活的情况下，实现对人体自然状态下的精神状态的长期检测。
【专利说明】
-种基于多生理信号融合的精神状态检测系统及方法
技术领域
[0001] 本发明属于数字信号处理及可穿戴智能设备领域，具体设及一种基于多生理信号 融合的精神状态检测系统及方法。
【背景技术】
[0002] 随着人机交互技术和可穿戴设备技术的发展，生理信号被广泛地应用于交互的设 计和评价，研究表明已经可W利用人的生理信号来判别精神状态和精神压力，并且在许多 领域基于运种生理信号的检测方法逐渐得到研究人员的重视，运些领域主要包括人机交 互、情感计算、自适应技术等。
[0003] 目前，对人的精神状态的检测主要包括主观检测和客观检测。主观检测主要是通 过主观评价表来进行评定的，运种方法比较简单，但是主要依靠人的主观判断，差异性大， 可靠性较低，一般不能作为评价状态的标准尺度。客观检测主要是基于生理特征和基于机 器视觉的面部特征的检测，其中，基于生理信号的检测的优点在于，记录的生理信号具有非 常高的时间分辨率，很难受到人的主观意愿的影响，从而能够客观地反应出人的状态;而利 用视频采集人的面部特征的判别方法容易受光照条件的影响，并对视频检测技术的要求非 常高，测量的可靠性技术需要取得突破。
【发明内容】
[0004] 针对现有技术的不足，本发明提出一种基于多生理信号融合的精神状态检测系统 及方法，W达到弥补单一生理信号特征检测不足的目的。
[0005] -种基于多生理信号融合的精神状态检测系统，该系统包括脑电采集单元、生理 信号采集单元，处理器单元和提示警告单元，其中，
[0006] 脑电采集单元:用于采集用户头部的脑电信号，并发送至处理器单元中；
[0007] 生理信号采集单元：用于采集用户手腕处的脉搏信号、胸口处的屯、电信号和蔽下 的皮溫信号，并将信号发送至处理器单元中；
[000引处理器单元：
[0009] 当构建模板时：用于对所采集的脑电信号、脉搏信号、屯、电信号和皮溫信号进行特 征参数提取，获得用户在不同状态下所采集信号两两之间的相关性，并根据相关系数进行 等级划分;采用D-S方法对信号进行特征融合，将融合后的不同状态下各信号的特征值作为 模糊神经网络的输入，将对应的用户状态作为模糊神经网络的输出，对模糊神经网络进行 训练;结合用户PVT测试的结果，获得所构建的神经网络的识别准确率，若识别准确率到达 设定阔值，则完成该用户模板的构建；
[0010] 当用于实时检测时：用于对所采集的信号进行特征参数提取并进行融合，将融合 后的结果输入至训练好的模糊神经网络中，获得被测用户当前的状态，并将检测结果发送 至提示警告单元中；
[0011] 提示警告单元:根据检测的疲劳结果对用户进行提示。
[0012] 采用基于多生理信号融合的精神状态检测系统进行的检测方法，包括W下步骤：
[0013] 步骤1、采用脑电采集单元和生理信号采集单元采集用户在不同状态下的不同生 理信号，包括头部的脑电信号、手腕处的脉搏信号、胸口处的屯、电信号和蔽下的皮溫信号， 并将信号发送至处理器单元中；
[0014] 步骤2、处理器单元根据接收的用户在不同状态下的不同生理信号，构建该用户的 模板，具体步骤如下：
[0015] 步骤2-1、对各信号进行特征参数提取；
[0016] 对脑电信号进行小波分解，并提取脑电功率谱的比值作为脑电信号的特征参数；
[0017] 提取屯、电信号的屯、率作为屯、电信号的特征参数；
[0018] 提取脉搏信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准 差、频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为脉搏信号的 特征参数；
[0019] 提取皮溫信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准 差、频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为皮溫信号的 特征参数；
[0020] 步骤2-2、获得用户在不同状态下脑电信号、脉搏信号、屯、电信号和皮溫信号两两 之间的相关性，并对不同信号之间的相关系数进行等级划分；
[0021] 步骤2-3、根据不同信号之间的相关系数，采用D-S方法对信号进行特征融合；
[0022] 步骤2-4、将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对 应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练；
[0023] 步骤2-5、结合用户PVT测试的结果，获得所构建的神经网络的识别准确率；
[0024] 步骤2-6、判断识别准确率是否到达设定阔值，若是，则完成该用户模板的构建;否 则返回执行步骤2-1;
[0025] 步骤3、实时采用被测用户的脑电信号、脉搏信号、屯、电信号和皮溫信号，采用处理 器单元对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模 糊神经网络中，获得被测用户当前的状态.
[0026] 步骤4、提示警告单元根据检测的疲劳结果对用户进行提示。
[0027] 步骤1所述的不同状态，包括重度疲劳、中度疲劳、轻度疲劳、兴奋、平静和不确定6 中状态，具体判断标准如下：
[002引
ο
[0029] 步骤4所述的提示警告单元根据检测的疲劳结果对用户进行提示，具体为：当被测 用户处于疲劳状态时进行提示。
[0030] 本发明优点：
[0031] 本发明提出一种基于多生理信号融合的精神状态检测系统及方法，融合多种生理 信号，利用各自的特征对人不同的状态进行判别分析，并借助分类器模型达到预期的分类 识别效果;相对来说，弥补了单一生理信号特征检测的不足；W脑电、皮溫、屯、率、脉搏等生 理信号为基础的检测方法是一种隐式人机交换，在不干设人的正常生活的情况下，实现对 人体自然状态下的精神状态的长期检测，而且脑电和屯、率信号是能够直接准确反映出人体 生理状态的"金标准"，其对于精神健康状态的检测远胜于传统的基于十二经穴的生物电流 的检测方法;此外，本发明中提及的处理器单元它带有化herCAT总线，又称工业W太网，具 有极强的数据处理与存储能力，从长远看，若通过其将采集到用户数据连入云端，进行一个 大数据的整流与存储，即可建成一个基于生理信号的健康数据库，运在"大数据"时代也是 极为可观的。
【附图说明】
[0032] 图1为本发明一种实施方式的基于多生理信号融合的精神状态检测系统结构框 图；
[0033] 图2为本发明一种实施方式的基于多生理信号融合的精神状态检测流程图；
[0034] 图3为本发明一种实施方式的各种不同的生理信号示意图，其中，图（a)为屯、电信 号、脉搏信号、皮溫信号示意图；图(b)为脑电生理信号示意图；
[0035] 图4为本发明一种实施方式的构建该用户的模板方法流程图；
[0036] 图5为本发明一种实施方式的提取的特征分布图；
[0037] 图6为本发明一种实施方式的模糊神经网络示意图；
[0038] 图7为本发明一种实施方式的疲劳识别准确率示意图。
【具体实施方式】
[0039] 下面结合附图对本发明一种实施例做进一步说明。
[0040] 本发明实施例中，如图1所示，基于多生理信号融合的精神状态检测系统，该系统 包括脑电采集单元、生理信号采集单元，处理器单元和提示警告单元；
[0041] 本发明实施例中，脑电信号采集单元采用美国EM0TIV系统公司开发的便携式脑电 感知系统Emotiv Epoc，该装置利用一部能够测量脑电活动的、类似于脑电图的装置，来实 时探测和处理脑电波W及面部肌肉信号。该设备通过非侵入方式采集脑电信号，可W测量 人体多种思想、情感信号;此外，Emotiv化0C头盎还整合了一个巧螺仪，可W通过思维活动 来控制窗口图像或鼠标指针。
[0042] 本发明实施例中，生理信号信号采集单元采用津发科技有限公司定做的生理信号 获取平台；肌电采集端子通过贴附于受试者皮肤表面的电极片获取电位变化，经过内部放 大电路放大，W无线传输方式实时发送给接收端，该系统可W同时采集16路sEMG等生理信 号，每一导采样频率可W达到4096化，sEMG量程为正负1500UV，共模抑制比达到110DB，干扰 噪声最大小于1.7UV，每个接收端充满电后可W连续使用4~6小时，接收端与采集端最远距 离可达500m，具有极强的跟踪范围，并且采集使用方便快捷。
[0043] 本发明实施例中，处理器采用采用英伟达公司生产的NVIDIA Jetson TK1开发主 板，Jetson接口包含192个CUDA核屯、的NVIDIAKeplerGPU，NVIDIA四核ARMCorteχ- A15CPU，RS232串行端口，2GB运行内存，16GB eMMC存储空间，1 个USB 2.0端口、Micro AB Jetson接口，1个带Mic In和Line Out的ALC5639Realtek音频编解码器，1个RTL8111GS Realtek千兆位W太网局域网，SPI 4兆字节引导闪存，1个SATA数据端口，1个完整尺寸SD/ MMC连接器，1个完整尺寸HDMI端口。脑电采集单元采集脑部的14个不同位置的脑电信号，生 理信号采单元的输出端和脑电采集单元的输出端通过蓝牙连接处理器单元的输入端，处理 器的输出端连接预警提示系统的输入端;DSP处理器RS232串口连接提示警告单元，提示警 告单元由一个发声装置组成，将DSP输出的数字信号转化为声音信号。
[0044] 本发明实施例中，脑电采集单元用于采集用户头部的脑电信号，并发送至处理器 单元中；
[0045] 本发明实施例中，生理信号采集单元用于采集用户手腕处的脉搏信号、胸口处的 屯、电信号和蔽下的皮溫信号，并将信号发送至处理器单元中；
[0046] 本发明实施例中，处理器单元，当构建模板时：用于对所采集的脑电信号、脉搏信 号、屯、电信号和皮溫信号进行特征参数提取，获得用户在不同状态下所采集信号两两之间 的相关性，并根据相关系数进行等级划分;采用D-S方法对信号进行特征融合，将融合后的 不同状态下各信号的特征值作为模糊神经网络的输入，将对应的用户状态作为模糊神经网 络的输出，对模糊神经网络进行训练;结合用户PVT测试的结果，获得所构建的神经网络的 识别准确率，若识别准确率到达设定阔值，则完成该用户模板的构建；当用于实时检测时： 用于对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模糊 神经网络中，获得被测用户当前的状态，并将检测结果发送至提示警告单元中.
[0047] 本发明实施例中，提示警告单元根据检测的疲劳结果对用户进行提示。
[0048] 采用基于多生理信号融合的精神状态检测系统进行的检测方法，方法流程图如图 2所示，包括W下步骤：
[0049] 步骤1、采用脑电采集单元和生理信号采集单元采集用户在不同状态下的不同生 理信号，包括头部的脑电信号、手腕处的脉搏信号、胸口处的屯、电信号和蔽下的皮溫信号， 并将信号发送至处理器单元中；
[0050] 本发明实施例中，所采集的给类信号如图3所示；
[0051] 所述的不同状态，包括重度疲劳、中度疲劳、轻度疲劳、兴奋、平静和不确定6中状 态，具体判断标准如表1:
[0化2] 表1
[0化3]
[0054] 步骤2、处理器单元根据接收的用户在不同状态下的不同生理信号，构建该用户的 模板，具体方法流程图如图4所示，具体步骤如下：
[0055] 步骤2-1、对各信号进行特征参数提取；
[0056] 本发明实施例中，特征分布如图5所示，对脑电信号进行小波分解，并提取脑电功 率谱的比值Κ=(α+θ)/β(α波段、Θ波段、β波段，脑电波根据频率的不同分为不同的波段，并 Κα、θ、β···.等命名）作为脑电信号的特征参数;提取屯、电信号的屯、率化R)作为屯、电信号的 特征参数;提取脉搏信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标 准差、快速傅里叶变换后，频域信号最大值、频域信号最小值、频域信号均值和频域信号标 准差，作为脉搏信号的特征参数;提取皮溫信号的时域信号最大值、时域信号最小值、时域 信号均值、时域信号标准差、快速傅里叶变换后频域信号最大值、频域信号最小值、频域信 号均值和频域信号标准差，作为皮溫信号的特征参数；
[0057] 步骤2-2、获得用户在不同状态下脑电信号、脉搏信号、屯、电信号和皮溫信号两两 之间的相关性，并对不同信号之间的相关系数进行等级划分；
[0化引具体公式如下：
[0059]
(U)
[0060] 其中，m为一种信号，η为另一种信号；
[0061] 本发明实施例中，得到用户不同状态下时域和频域中各生理信号之间的相关性结 果，如表2所示;相关系数表示两个相关量之间的密切程度，相关系数越小，表明两个相关量 之间的关系越弱;相关系数越大表明两个相关量之间的相关性关系越强；
[0062] 表2各生理信号的相关性分析
[0063]
[0065] 本发明实施例中，相关系数的划分如表3所示：
[0066] 表3相关系数的划分
[0067]
[0068] 步骤2-3、根据不同信号之间的相关系数，采用D-S方法对信号进行特征融合；
[0069] 本发明实施例中，将各传感器采集的信号作为证据，每个传感器提供一组命题，建 立一个相应的信度函数，运样多传感器信息融合实质上就成为在同一识别框架下，将不同 的证据体合并成一个新的证据体的过程；
[0070] 多传感器信息融合的一般过程是：
[0071] (1)分别计算各传感器的基本可信数、信度函数和似真度函数；
[0072] (2)用Dempster合并规则求得所有传感器联合作用下的基本可信数、信度函数和 似真度函数；
[0073] (3)选择具有最大支持度的目标。
[0074] 先由η个传感器分别给出m个决策目标集的信度，经Dempster合并规则合成一致的 对m个决策目标集的信度.最后，对各可能决策利用某一决策规则，得到结果。
[0075] 本发明实施例中，将不同的生理状态分为清醒、疲劳和不确定Ξ种大的状态，并在 Ξ大类状态的基础上细分为6种细化状态;结合D-S证据论证对相互交叉的各个特征向量进 行整合，得到最终的融合结果输入到疲劳识别模型中；
[0076] 在融合阶段，根据相关性系数，把相关性大的信号分为一类，比如频域下的脑电信 号和脉搏信号相关性系数为0.8361，相关等级为极度相关，说明两种信号的频域特性十分 相同，那么在频域特征值融合的时候，脑电信号和脉搏信号就可W作为一种信号去计算权 值，然后二者再均分权值。
[0077] 步骤2-4、将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对 应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练；
[0078] 本发明实施例中，模糊推理模型的设计主要包括:隶属度函数的选取和模糊规则 的建立，并且很大程度上需要借助W往的先验知识;疲劳识别的关键在于构建疲劳参数与 疲劳状态间的模糊映射关系；
[0079] (1)模糊神经网络的设计
[0080] 如图6所示，本发明实施例构建的神经网络共分为5层，分别为输入层、模糊化层、 规则层、归一化层、输出层，有4个输入节点xr-X4分别表示脉搏、脑电、屯、电和皮溫的采集信 号提取的特征向量输入，6个输出节点yr，T6分别表示对应不同生理状态的输出；
[0081] (2)隶属度函数的选取
[0082] 本发明实施例中，选用高斯函数作为隶属度函数构建模糊神经网络模型。
[0083] (3)模糊规则的确立
[0084] 本发明实施例中，采用T-S模糊系统的模糊规则，经分析建立4输入，6输出的T-S模 型神经网络系统.
[0085] (4)模糊神经网络的训练
[0086] 神经网络需要训练的参数有:每个输入分量的分割数、每个模糊分割相对于模糊 函数的宽度与中屯、、最终输出层的输出权重;并采用随机捜索，即BP算法测量误差，随机给 定参数的初值的方法，训练上述3个参数。
[0087] 步骤2-5、结合用户PVT测试的结果，获得所构建的神经网络的识别准确率；
[0088] 本发明实施例中，结合PVT测试疲劳程度量化标准，将疲劳程度细化为6个等级，即 疲倦(轻度疲倦，中度疲倦，重度疲倦），清醒(兴奋、平静)和不确定6种状态;按照模糊神经 网络的分类原则，每个等级均被视为单一的类别，并与其它类别分开，通过模糊神经网络训 练优化和精神状态推理系统中的隶属度函数与模糊规则，同时将提取的疲劳参数值输入到 已训练好的推理系统中，W提升精神状态的检测效果；
[0089] 本发明实施例中，经过神经网络训练和模糊判定，得出关于6类关于生理状态的识 别准确率如图6所示；
[0090] 步骤2-6、判断识别准确率是否到达85%，若是，则完成该用户模板的构建;否则返 回执行步骤2-1;
[0091] 本发明实施例中，如图7所示，重度疲劳、平静和不确定状态达到了设定85%;
[0092] 步骤3、实时采用被测用户的脑电信号、脉搏信号、屯、电信号和皮溫信号，采用处理 器单元对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模 糊神经网络中，获得被测用户当前的状态.
[0093] 步骤4、提示警告单元根据检测的疲劳结果对用户进行提示;具体为：当被测用户 处于疲劳状态时，启动提示报警系统，提醒受试进行适当的休息和进行运动。
【主权项】
1. 一种基于多生理信号融合的精神状态检测系统，其特征在于，该系统包括脑电采集 单元、生理信号采集单元，处理器单元和提示警告单元，其中， 脑电采集单元:用于采集用户头部的脑电信号，并发送至处理器单元中； 生理信号采集单元：用于采集用户手腕处的脉搏信号、胸口处的心电信号和腋下的皮 温信号，并将信号发送至处理器单元中； 处理器单元： 当构建模板时：用于对所采集的脑电信号、脉搏信号、心电信号和皮温信号进行特征参 数提取，获得用户在不同状态下所采集信号两两之间的相关性，并根据相关系数进行等级 划分;采用D-S方法对信号进行特征融合，将融合后的不同状态下各信号的特征值作为模糊 神经网络的输入，将对应的用户状态作为模糊神经网络的输出，对模糊神经网络进行训练； 结合用户PVT测试的结果，获得所构建的神经网络的识别准确率，若识别准确率到达设定阈 值，则完成该用户模板的构建； 当用于实时检测时：用于对所采集的信号进行特征参数提取并进行融合，将融合后的 结果输入至训练好的模糊神经网络中，获得被测用户当前的状态，并将检测结果发送至提 示警告单元中； 提示警告单元:根据检测的疲劳结果对用户进行提示。2. 采用权利要求1所述的基于多生理信号融合的精神状态检测系统进行的检测方法， 其特征在于，包括以下步骤： 步骤1、采用脑电采集单元和生理信号采集单元采集用户在不同状态下的不同生理信 号，包括头部的脑电信号、手腕处的脉搏信号、胸口处的心电信号和腋下的皮温信号，并将 信号发送至处理器单元中； 步骤2、处理器单元根据接收的用户在不同状态下的不同生理信号，构建该用户的模 板，具体步骤如下： 步骤2-1、对各信号进行特征参数提取； 对脑电信号进行小波分解，并提取脑电功率谱的比值作为脑电信号的特征参数； 提取心电信号的心率作为心电信号的特征参数； 提取脉搏信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准差、 频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为脉搏信号的特征 参数； 提取皮温信号的时域信号最大值、时域信号最小值、时域信号均值、时域信号标准差、 频域信号最大值、频域信号最小值、频域信号均值和频域信号标准差，作为皮温信号的特征 参数； 步骤2-2、获得用户在不同状态下脑电信号、脉搏信号、心电信号和皮温信号两两之间 的相关性，并对不同信号之间的相关系数进行等级划分； 步骤2-3、根据不同信号之间的相关系数，采用D-S方法对信号进行特征融合； 步骤2-4、将融合后的不同状态下各信号的特征值作为模糊神经网络的输入，将对应的 用户状态作为模糊神经网络的输出，对模糊神经网络进行训练； 步骤2-5、结合用户PVT测试的结果，获得所构建的神经网络的识别准确率； 步骤2-6、判断识别准确率是否到达设定阈值，若是，则完成该用户模板的构建;否则返 回执行步骤2-1; 步骤3、实时采用被测用户的脑电信号、脉搏信号、心电信号和皮温信号，采用处理器单 元对所采集的信号进行特征参数提取并进行融合，将融合后的结果输入至训练好的模糊神 经网络中，获得被测用户当前的状态； 步骤4、提示警告单元根据检测的疲劳结果对用户进行提示。3. 根据权利要求2所述的检测方法，其特征在于，步骤1所述的不同状态，包括重度疲 劳、中度疲劳、轻度疲劳、兴奋、平静和不确定6中状态，具体判断标准如下：4. 根据权利要求2所述的检测方法，其特征在于，步骤4所述的提示警告单元根据检测 的疲劳结果对用户进行提示，具体为:当被测用户处于疲劳状态时进行提示。
【文档编号】A61B5/02GK105877766SQ201610452456
【公开日】2016年8月24日
【申请日】2016年6月21日
【发明人】王斐, 林季, 周杰, 王海鸣, 王文哲, 杨俊 , 叶小凤, 范瑜恺
【申请人】东北大学