基于多模态生理数据的心理压力智能采集测试分析系统的制作方法

本发明属于医疗健康领域，具体涉及到一种基于多模态生理数据的心理压力智能采集测试分析系统。

背景技术：

生理信号监护系统可以全面、准确的检测出受测者的各项生理信号。临床上通常使用生理信号监护仪来对患者的身体状况进行评估。然而普通的生理信号监护仪体积庞大，接线冗杂、操作繁琐。完全不能随身携带，极大程度得影响了受监护者的生活质量。增加了用户的抵触情绪。不利于医疗器械的普及。

另外，大多数医疗监护仪面向医院，需要专业的医学知识和复杂的操作技巧，一些医疗监护仪的数据只能通过医院中心的监护机房主机查看。个人用户无法通过简单的设备将自身的生理信号进行导出。种种迹象表明，医疗监护仪虽然历史悠久，技术成熟，但并不能胜任居家和日常工作过程中的监护任务。

技术实现要素：

针对能够实时监测受测者的生理信号数据，本发明提供基于多模态生理数据的心理压力智能采集测试分析系统，可以实现心电、心率、血氧饱和度、体温、脉搏、三轴加速度的生理数据和物理数据的同步采集；采用支持向量机和决策树等机器学习算法对数据进行分类和回归；采用深度神经网络对生理数据进行预测；采用可视化技术对数据进行可视化处理，实现受测者的健康生理数据的实时采集、分析处理、以及可视化。

本发明的技术方案如下：

本发明的优点是：

1、将心电、血氧、心率、脉搏、体温等多模态生理数据进行集成采集，用户易携带，易使用。

2、采用state-of-the-art神经网络模型对数据进行特征提取，代替传统手工提取特征。

3、采用稳定有效的分类器对数据进行分类，对用户生理数据进行诊断。对生理数据进行可视化处理，便于户监测生理数据。采用轻量化的网络模型,优化了卷积神经网络,系统前向推理时更迅速。

附图说明

图1为系统的组织架构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下示意性实施方式及其说明用于解释本发明，但不用来限制本发明的范围。术语“包括、包含、具有”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或多个其他特征、要素、步骤或组件的存在和附加。同时，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

本发明提供一种可穿戴的人体多生理信号采集、数据分析与处理、数据可视化系统。

信号采集其中包括：

心率和血氧采集模块，包括发光管、光电接收管和光电数据处理单元，其将通过血管的光信号转化为电信号并进行进一步的处理以得到心率和血氧数据；血氧监测通常为无创的、利用光电的动态光谱检测方法。而利用光电检测血氧的技术又可分为两大分支：投射式与反射式。本发明采用反射式血氧检测方法，其原理来自朗伯-比尔定律。即当某种单一波长的光照射某种透光介质时，可穿过介质的光的比例只与介质的厚度与浓度相关，而与照射光的强度无关。

i为入射光强度，i0为穿过介质后的光强。当入射光的波长为λ时，由朗伯-比尔(lambert-beer)定律可得：

其中，a^λ为吸光度，ε^λ为介质吸光系数，d为透光介质的厚度，c为透光介质的浓度。依照动脉搏动的周期变化对反射光的影响，即可求出血液中氧饱和的血红蛋白(hb)占总血红蛋白(hbo2)的比例。计算血氧饱和度公式如下：

反射式血氧饱和度检测方法无需在受测部位的两测设置发光管和接收光电管。而是利用光的反射，将发射管与接收管置于同一侧。因此不但反射式血氧饱和度检测方法可以兼容所有透射法的组织区域。一些组织密度大、不透光、但动脉血管分布密集的区域也可以被检测。光子在人体组织中传播时，部分光会因为散射偏离入射角度，达到人体组织内部的动脉血管，探测皮下血管中透光介质的浓度变化。再经过散射后射出皮肤，被光电探测器捕捉。

心电采集模块，采用典型的单导联有线式心电监测，包括导联线、医用电极和放大器滤波器等后续数据处理电路。在一次完整的心跳过程中，心肌细胞去极化的时候会在皮肤表面形成微弱的电学改变，当电学改变被心电图记录装置捕获放大并加以记录后，就得到了熟悉的心电图形状。在正常的心动周期中，窦房结细胞优先产生去极化波，并依次扩散至心房和心室。勘探这种规律的电位变化是测量和诊断异常心脏节律的最好方法。本发明采用三片ag/agcl一次性电极进行心电采集，将采集到的心电信号通过模数转换得到心电数据，数据传输类型为串口传输。可以在静止时准确的采集心电信号。

脉搏波采集模块，包括发光管、光电接收器和光电数据处理单元。类似于血氧检测模块，脉搏波采集模块同样使用反射式反应血流的周期性变化。其选用波长为515nm的绿光，降低制造成本的同时也避免环境光和环境温度的变化对脉搏信号造成信号漂移。可以更好的反应皮肤浅层的微动脉信息，较好的凸显脉搏波的变化程度。此外，脉搏波的频带一般在0.05～200hz间，信号幅度一般为毫伏级水平。在光电接收器后使用了低通滤波器和由mcp6001构成的放大器，将信号放大了330倍，使单片机可以清晰的采集脉搏波数据。

体温和湿度采集模块，通过获取体表温度信号进而得到体温数据。

三轴加速度、角速度和磁场采集模块，通过陀螺仪获取三轴角速度、加速度和磁场的对应信号，配合动态卡尔曼滤波算法，能够在动态环境下准确输出模块的当前姿态。并通过模数转换后得到加速度、角速度和磁场数据。

单片机，分别于上述六种传感器相连接，负责接收各生理信号的数据并进行后处理。最后将各生理数据按顺序输出至便携式显示终端与蓝牙模块。

便携式显示终端，包括触摸屏和单独的mcu，可通过编写ui文件、植入数字和图表控件等操作实现生理数据的可视化和一定程度的人机交互。便携式显示终端可以在脱离上位机的情况下实现心率、血氧、体温的数值显示和心电、脉搏、加速度、角速度的波形显示。

蓝牙传输模块，采用蓝牙4.2协议标准，工作频段为2.4ghz，通过串口将生理数据发送至上位机。

上述的可穿戴的人体多生理信号采集系统，其中，还包括：

gps定位和气压模块，本发明采用minigps模块，内置gps与北斗双模卫星定位，与气压模块检测的海拔高度相结合，即可定位至确定坐标点。

上述的可穿戴的人体多生理信号采集系统，其中，还包括：

可穿戴规划设计，基于芯片检测特点和人性化的穿着体验。整体系统依附于一件长袖夹克衫内部。其中心率和血氧检测模块与脉搏检测模块安置于左袖口靠体内一侧，模块缝制于一条黑色的魔术贴上。体温传感器缝制在左手腕内靠体内一侧。便携式可视终端置于左手腕靠体外一侧。系统主体安放在塑料壳体内，置于夹克衫的内兜中。壳体内包含单片机、心电采集模块、加速度角速度采集模块和minigps模块。壳体正面标有箭头，当手持壳体，正面向上、面朝箭头方向时，可根据便携式显示终端的示数变化指引南北极方向。

上述的可穿戴的人体多生理信号采集系统，其中，还包括：

电源，本发明可采用多种供电模式。为方便随身穿戴的特性，可采用充电宝或电池盒供电。电池选用可充电的18650锂电池。

本发明除了对多生理参数进行同步采集外，另可针对可能出现的导联脱落或芯片接触异常情况进行反馈和报警：当系统无法检测到心电和血氧实数时，会输出“-99”或“--”进行预警。在多生理信号同步采集时可以保证数据的有效性。

数据处理与分析其中包括：

数据处理与分析模块结合了传统的机器学习算法和卷积神经网络的方法构建了卷积神经网络和支持向量机的混合模型，特征提取器我们使用了mobilenetv3和残差网络的思想，分类器使用的支持向量机算法,我们称之为mobile-resnet-svmmodel(模型架构见附图)，该模型能够对多模态数据进行处理，首先使用卷积神经网络对ecg等数据进行特征提取，提取出的特征送入支持向量机等分类器中，再对采集到的健康生理数据进行分类。卷积神经网络能够更好的自动提取特征,而支持向量机分类效果稳定，在数据集上不易产生过拟合，两者构建的混合模型在生理数据集上能够达到鲁棒性。

本专利的算法创新之处,我们使用深度可分离卷积神经网络代替传统的卷积神经网络进行自动提取特征,采用的轻量化的卷积模型能够加速算法的收敛速度,和最终算法落地的可行性。传统的cnn采用的是卷积操作、批归一化处理、池化操作、使用优化器进行快速反向传播、最后接全连接层进行特征向量的分类，而我们的工作是cnn的础上提出全新的特征提取器,构建一个轻量化的网络模型,加快数据的前向推理时间,方便算法落地部署。首先特征提取部分,传统的卷积操作本质是大量的权重向量进行乘积累加操作,产生大量的冗余运算，并且随着网络层数增强,浅层的特征会逐渐减少,因为在前向推理过程中耗费大量的运算资源以及需要大量的训练样本，为此本专利使用的改进的cnn模型采用了轻量化的卷积模块，将传统的卷积操作替换成深度可分离卷积,其运算参数数量、运算成本较低。同时,在传统的卷积神经网络模型中往往加入relu激活函数加速模型收敛,而我们采用了h-swish激活函数,并且使用dropblock代替dropout防止模型过拟合。

深度可分离卷积包含pointwise和pointwise两个过程,depthwise分组卷积是指将输入信号分成若干组,每组做3x3的卷积操作,其作用相当于收集了每个channel的空间特征,即depthwise特征。pointwise逐点卷积是指对输入信号做若干个普通的1x1卷积操作,这样相当于收集了每个点的特征。

h-swish激活函数,这种非线性在保持精度的情况下带了了很多优势，首先在众多软硬件框架中都可以实现，其次量化时避免了数值精度的损失，运行快。这一非线性改变将模型的延时增加了15％。但它带来的网络效应对于精度和延时具有正向促进，剩下的开销可以通过融合非线性与先前层来消除。

svm支持向量机算法，被认为机器学习中近十年来最成功,表现最好的算法,svm是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器，包括核技巧,这使得它成为本质上的非线性分类器,支持向量机的学习策略是间隔最大化，形式上转化为一个求解凸二次规划的问题。

算法：

给定数据集t＝{(x1,y1),(x2,y2),...(xn,yn)},xi∈x∈rⁿ,i＝1,2,...n,其中

线性可分支持向量机

输入：线性可分训练数据集t＝{(x1,y1),(x2,y2),...(xn,yn)}

输出：最大几何间隔的分离超平面和分类决策函数

算法步骤如下：

构造并且求解约束最优化问题：

αi≥0,i＝1,2,...,n,αi为拉格朗日乘子向量，xi为第i个特征向量，xj为第j个特征向量，yi为第i个特征向量的类标签,yj第j个特征向量的类标签；

求解最优解

计算

同时选择a^*的一个正的分量aj^*＞0，计算其中b为分离超平面的截距向量；

由此得到最大几何分割分离超平面：以及分类决策函数其中b^*为分离超平面的截距向量；

(1)线性支持向量机；

输入：线性可分训练数据集t＝{(x1,y1),(x2,y2),...(xn,yn)}和惩罚参数c>0

输出：软间隔的分离超平面和分类决策函数；

算法步骤如下：

构造并且求解约束最优化问题；

c≥αi≥0,i＝1,2,...,n

求解最优解

计算

同时选择a^*的一个正的分量aj^*＞0，计算

由此得到最大几何分割分离超平面：以及分类决策函数

非线性支持向量机；

输入：线性可分训练数据集t＝{(x1,y1),(x2,y2),...,(xn,yn)}和惩罚参数c>0。

输出：分类决策函数；

算法步骤如下：

选择适当的核函数k(x,z)并且求解约束最优化问题：

c≥αi≥0,i＝1,2,...,n

计算

同时选择a^*的一个正的分量aj^*＞0，计算

构造分类决策函数

可视化技术我们采用了pyechats,对心电、脑电、体温、脉搏信号进行可视化处理和展示。

pyecharts是百度开源的数据可视化，凭借着良好的交互性,精巧的图表设计，得到众多开发者的认可，其api简洁，支持链式调用，囊括了30+种常见图表，支持主流notebook环境，jupyternotebook和jupyterlab，可以轻松集成flask，django等主流web，高度灵活的配置项，可轻松搭配出精美的图案，为数据可视化提供强有力的支持。本专利采用pyecharts对心电、脑电、体温、脉搏信息进行可视化。

使用本发明的穿戴式人体多生理信号采集系统：使用者接好电源之后，各个生理信号检测模块会自动开始进行工作。将各自采集到的生理信号传输至单片机内，经过单片机处理后同步输出至便携式可视终端和蓝牙传输模块。将电脑蓝牙与系统配对并打开对应的上位机程序，即可通过便携式可视终端和上位机界面查看目前的生理信号数值和波形。

人机交互界面分为主界面、各生理信号监测界面和人性化的多功能界面。主界面包含心率、血氧实数，和跳转到其他监测生理信号界面及辅助功能界面的图标。监测生理信号界面共有四类：心电检测界面、脉搏波监测界面、心率和血氧检测界面与速度，加速度检测界面。心率和血氧均以示数进行输出，因此被放置在主界面。当芯片无法正常检测到心率和血氧时，指定区域会显示-99而非由单片机计算得出的生理信号。

心电监测界面与脉搏波监测界面类似，为折线图显示，当心电与脉搏波芯片正常工作时，心电数据和脉搏波数据经单片机处理和计算后会通过串口传输至显示终端特定的折线图。折线图将根据数字信号绘制对应的波动图像，当心电芯片无法接受正常生理信号时，(如导联发生脱落)心电监测界面会将折线图输出为一条直线进行预警。

类似的，角速度与加速度界面在人机交互界面通常不需要极高的显示精度，角速度与加速度的波形可以显示出xyz三轴的变化趋势。同时，精确的角速度与加速度数据将被同步更新。以供有更高需求的用户查看。

上位机界面接收来自串口的数据，自动捕获特定的字符串后，将特定字符串后的数字提取、绘制成折线图。目前上位机界面可以显示血氧、心率、心电和脉搏波四种曲线图。

本发明有四大功能：多生理信号同步采集；辅助功能设计；生理数据蓝牙无线传输；生理信号可视化，直观展示部分生理数据的波形图；并可针对采集到的生理数据进行后续的机器学习算法处理，生产评估报告。

实施例一：

本发明在测量心率和血氧饱和度时，需要在穿戴好本系统后，连接电源，将左手食指和中指指腹放置于采集模块的光电管表面，同时将黑色魔术贴贴在手指上，防止环境光对测量结果的影响。将上位机与系统进行蓝牙配对，打开便携式可视终端的主界面或上位机界面，即可看到心率和血氧饱和度的示数。

实施例二：

本发明在测量心电时，与实施例一类似的，在穿戴好本系统后，将三个导联线连接一次性电极贴，贴至美国标准三导联位置，将上位机与系统进行蓝牙配对，打开便携式可视终端的心电波形界面或上位机界面，即可看到心电的波形示数。

实施例三：

本发明在测量角速度或加速度时，在穿戴好本系统后，将壳体标准地放置在夹克内兜中，打开便携式可视终端的角速度或加速度波形界面，即可看到受测者的角速度及加速度波形示数。

本发明的优势在于：本套系统可以脱离在上位机的情况下进行实时的生理信号检测，通过便携式可视终端，可以查看受测者的生理信号示数和波形。将系统融入可穿戴的夹克衫中，实现了便携式与长时间离线检测功能。最大程度的满足了受监护人的活动自由、提高了生活质量。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。