一种基于联合神经网络的心电信号检测装置及分析方法与流程

本发明属于心电信号异常检测领域，尤其涉及一种基于联合神经网络算法的心电信号可穿戴式装置及异常检测分析方法。
背景技术：
：心电信号是由心脏活动产生的电流传至体表绘制而成，能够确切反映心脏的活动状态，是医生诊断心脏病的重要手段之一。心电信号是一种微弱的生理信号具有较小电压值和时间间隔，因此借助计算机提取心电信号特征并辅助检测能够提高医生诊断效率。近年来随着人工智能算法的不断发展改进，常用于心电信号检测分类的算法主要分为传统的机器学习方法和深度学习方法。基于传统机器学习识别心电信号的方法通常需要数据预处理、分析特征、提取特征、构建分类器等几个过程。文献[1]提出了一种mees方法来检测并定位心电信号中心肌梗塞疾病特征，基于这些特征用支持向量机作为分类器对特征进行分类；文献[2]使用dwt对数据进行去噪，并通过将20阶多项式函数与心电信号拟合提出一种新的心电信号特征，最后使用决策树实现对心电信号的分类；文献[3]使用dwt去噪后，提取47个心肌梗塞特征，最后将这些特征输入到knn算法作为最终分类器。在使用传统机器学习方法的过程中，每个步骤都需要人工分析并进行调控干预，但是由于心电信号特征的复杂性和多变性，手动提取信号特征较为困难，并且分类器效果受之前每一个过程的影响，分类效果不稳定，过程复杂。相对传统的机器学习方法，深度学习方法整个过程都是自动的，不需要人工提取特征。基于深度学习检测异常心电信号常用的算法主要有以卷积神经网络为基础构建的模型和以循环神经网络为基础构建的模型，它们分别能够提取心电信号的空间特征和时序特征。文献[4,5]分别构建11层的cnn架构和34层的残差网络架构实现对心肌梗塞的检测和心律不齐的分类；文献[6]使用lstm架构提取心电信号的时序特征实现对心律不齐的分类；文献[7,8]使用叠加的cnn和lstm模型，先用cnn架构提取数据空间特征，在此基础上用lstm提取时序特征，根据lstm的输出实现对心电信号的分类。许多研究构建模型时仅使用一种类型神经网络，导致无法充分利用心电的特征。而且尽管部分研究者同时使用了cnn和lstm模型，但是叠加的结构会导致神经网络算法在反向传播更新参数时，误差大部分分配给了离分类层较近的lstm网络，导致浅层提取空间的cnn网络无法得到最大程度更新。此外，许多研究者在训练并测试算法时没有考虑患者特异性这个问题，即他们使用的训练集和测试集数据可能来自于同一个病人，这会导致最终的模型的泛化能力较差，对新患者的心电数据无法实现精确检测。参考文献：[1]l.sharma,r.tripathy,s.dandapat,multiscaleenergyandeigenspaceapproachtodetectionandlocalizationofmyocardialinfarction,ieeetrans.biomed.eng.62(2015)1827–1837.[2]b.liu,j.liu,g.wang,k.huang,f.li,y.zheng,y.luo,f.zhou,anovelelectrocardiogramparameterizationalgorithmanditsapplicationinmyocardialinfarctiondetection,comput.biol.med.61(2015)178–184.[3]u.r.acharya,h.fujita,v.k.sudarshan,s.l.oh,m.adam,j.e.koh,j.h.tan,d.n.ghista,r.j.martis,c.k.chua,others,automateddetectionandlocalizationofmyocardialinfarctionusingelectrocardiogram:acomparativestudyofdifferentleads,knowl.-basedsyst.99(2016)146–156.[4]u.r.acharya,h.fujita,s.l.oh,y.hagiwara,j.h.tan,m.adam,applicationofdeepconvolutionalneuralnetworkforautomateddetectionofmyocardialinfarctionusingecgsignals,inf.sci.415(2017)190–198.[5]a.y.hannun,p.rajpurkar,m.haghpanahi,g.h.tison,c.bourn,m.p.turakhia,a.y.ng,cardiologist-levelarrhythmiadetectionandclassificationinambulatoryelectrocardiogramsusingadeepneuralnetwork,nat.med.25(2019)65.[6]s.saadatnejad,m.oveisi,m.hashemi,lstm-basedecgclassificationforcontinuousmonitoringonpersonalwearabledevices,ieeej.biomed.healthinform.(2019).[7]q.yao,r.wang,x.fan,j.liu,y.li,multi-classarrhythmiadetectionfrom12-leadvaried-lengthecgusingattention-basedtime-incrementalconvolutionalneuralnetwork,inf.fusion.53(2020)174–182.[8]j.h.tan,y.hagiwara,w.pang,i.lim,s.l.oh,m.adam,r.santan,m.chen,u.r.acharya,applicationofstackedconvolutionalandlongshort-termmemorynetworkforaccurateidentificationofcadecgsignals,comput.biol.med.94(2018)19–26.技术实现要素：本发明针对以上问题，设计了一种高效地底层信号可穿戴式采集装置，实时获取单导连心电信号，并通过无线蓝牙与移动智能设备，实现实时精准心电信号异常检测；同时使用并行结构引入多种类型神经网络算法，克服这些缺点，构建能够自动提取心电数字信号空间特征和时序特征的联合神经网络模型，并且模型用于训练和测试的数据集来自不同病人，并使用装置采集的新数据对模型fine-tuning完成最终训练，提升模型的检测能力。本发明的装置所采用的技术方案是：一种基于联合神经网络的心电信号检测装置，其特征在于：包括电极、心电信号采集单元、信号处理与传输单元、智能移动设备；所述电极设置在人体胸腔表面；所述心电信号采集单元通过导线与所述电极连接，用于提取心电信号的单导联原始信号，经过滤波、放大、a/d转换处理操作后转换为心电数字信号并传输给所述信号处理与传输单元；所述信号处理与传输单元，首先将心电数字信号进行去噪、重采样、分割和归一化处理，并通过蓝牙与智能移动设备实现无线通信；所述智能移动设备，用于实现心电数据的实时异常检测，遇到异常数据实时报警，并将此数据发送医院做进一步判断。本发明的方法所采用的技术方案是：一种基于联合神经网络的心电信号分析方法，其特征在于，包括以下步骤：步骤1：从包含多个不同病人的心电数据库中提取大量带标签的单导联心电数字信号并进行预处理；步骤2：将处理后的心电数据分为训练集，验证集和测试集，三种数据集的数据分别来自不同病人；步骤3：在机器学习服务器上构建联合神经网络；步骤4：先用训练集、验证集、测试集在机器学习服务器上完成对联合神经网络的初步训练和测试；步骤5：利用基于联合神经网络的心电信号检测装置采集数据并处理，人工标记后输入机器学习服务器对联合神经网络进行fine-tuning，将联合神经网络优化后部署到智能移动设备；步骤6：利用基于联合神经网络的心电信号检测装置实时采集人体心电信号，并利用智能移动设备对心电数字信号进行分析反馈。所述电极包括设置在人体左、右锁骨下方的ra、la两电极与设置在右腹部作为参考电极的rl电极，这些电极构成差分回路；所述电极连接到ads1298采集心电信号，作为优选，所述心电信号采集单元为ads1298芯片。作为优选，所述信号处理与传输单元包括mcu芯片和ble芯片。作为优选，所述包括电极、心电信号采集单元、信号处理与传输单元、智能移动设备组成可穿戴设备。作为优选，步骤1的具体实现包括以下子步骤：步骤1.1：使用小波变换对心电数据库中心电数字信号去噪；步骤1.2：对信号进行重采样；步骤1.3：将信号切割为相同长度的样本；步骤1.4：对每个样本进行归一化处理。作为优选，步骤3的具体实现包括以下子步骤：步骤3.1：设置一个普通的卷积层粗提取特征；步骤3.2：设置使用残差模块提取空间特征，然后使用全局均值池化整合特征图，最后输入全连接层和softmax输出空间特征分类概率；步骤3.3：在空间特征基础上，使用双向长短期记忆网络提取数据时序特征，然后使用注意力机制加强对局部时间特征的提取并对时序特征整合，最后输入全连接层和softmax输出时序特征分类概率；步骤3.4：分别为步骤3.2和步骤3.3的分类概率添加不同的权重并相加输出最终检测结果，按照以下公式：yo＝α*f1+(1-α)*f2，α∈[0，1]其中yo表示算法最终分类输出概率，f1和f2分别表示基于时序和空间特征输出的softmax分类概率，α和(1-α)表示为它们分配的权重，且α的值在0到1之间。作为优选，步骤4中，根据验证集的准确率找到最佳的超参数α的值。作为优选，步骤5中，所述人工标记后输入机器学习服务器对联合神经网络进行fine-tuning。本发明相对现有技术具有突出的实质性特点和显著的进步，具体如下：1.本发明将残差神经网络和双向长短期记忆神经网络(bilstm)进行联合，分别提取心电数字信号的空间特征和时序特征，同时在双向长短期记忆网络中引入注意力机制，为提取的时序特征不同时间点添加不同权重，加强对局部时序特征的提取；然后基于两种特征的分类概率，分别为其分配合适的的权重，最后融合两种概率得到最终检测结果。整个特征提取过程是自动的，不需要任何波形检测和手动分析特征过程，同时此分支架构能够保证神经网络在反向传播时误差能够并行分配到各分支以充分更新参数。2.本发明在训练和测试模型时，训练数据和测试数据来自不同的患者，确保训练测试出的模型对新的患者数据也能实现精准检测，具有更强的泛化能力。3.本发明提出的算法能够在单导联心电数据实现精准检测，有效地减少了模型大小和计算复杂度，使其能在fpga、智能手环和智能手机等各种智能设备部署运行，同时单导联数据缓解了智能移动设备和可穿戴式装置之间传输的延迟问题。4.本发明用带标签心电数据库中的心电数据，在机器学习服务器上进行对模型初步训练和测试，同时将少量采集装置的数据人工标记后输入到机器学习服务器对模型fine-tuning，让模型适应新数据特点，进一步有效地提高模型检测准确率，同时这样的训练方式只需要人工标注少量的采集数据，大大减少了人工标注的成本。5.本发明利用ads1298采集心电信号，利用mcu实时高性能计算的特点，对采集的心电数字信号进行边缘计算的优化处理，同时结合无线ble5.1，实时将数据传输到智能移动设备上进行检测，并具备精准的声响定位功能，提高实用性。附图说明图1是本发明实施例的方法整体流程图；图2是本发明实施例中处理后的心电数据样本图；图3是本发明实施例中两种残差模块结构图；图4是本发明实施例中bilstm工作原理图；图5是本发明实施例中注意力机制原理图；图6是本发明实施例中不同超参数下验证集的准确率；图7是本发明实施例中提取的空间特征和时序特征图；图8是本发明实施例中心电数据实时采集到检测过程图。具体实施方式为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。如图1所示，本发明提供的一种基于联合神经网络的心电信号异常检测方法及可穿戴式装置，包括如下步骤：步骤1：将ptb心电数据库中单导联的心电信号进行预处理，具体过程如下：步骤1.1：使用小波变换对心电数据库中心电数字信号去噪；步骤1.2：将数据库据中带标签的心电信号分为正异常两类；步骤1.3：将信号采样为480hz的数据点；步骤1.4：将心电单导连数字信号切分为5秒一个样本，保证数据带有充足的特征；步骤1.5：用z-score方法对每个样本进行归一化。本实施例中，初步训练和测试时使用的是心电数据库中已采集好的数据(为医院或网上开源的心电数据库，这些数据已经经过“滤波、放大、a/d转换”的处理操作)处理后的正异常样本如图2所示。将心电数据分为训练集，验证集和测试集，它们的数据样本分别来自不同患者，并且使用如下公式在在步骤1的信号处理基础上生成更多的训练集样本并保持正常和异常两种类别样本数量相对平衡；其中，n和n分别代表样本生成目标数量和原始样本数量，l代表每个样本长度，round表示四舍五入，s表示重迭样本点数。在机器学习服务器使用tensorflow为框架搭建联合神经网络算法，该算法主要包括以下结构：首先设置一个普通的卷积层进行粗提取特征，粗体提取特征，卷积核的大小为1x15，卷积核个数设置为8；使用8个残差模块提取数据的空间特征，两种类型残差模块交替连接，每个残差模块包含两个卷积层、两个batchnormalization(bn)层、两个relu层和一个dropout层，如图3所示。bn层和relu可以防止梯度爆炸或消失，并加快模型训练速度。dropout可有效防止网络过拟合。为了降维，第偶数个残差模块添加maxpooling层，卷积步长设置为2。每经过两个残差模块后卷积核大小和个数都随着特征图大小和网络的深度进行变化，大小变化为1x15、1x9、1x5、1x3,卷积核个数变化为8、16、32、64。然后然后使用全局均值池化代替传统的全连接层整合空间特征图，有效地减少了参数。最后使用全连接层和softmax层得到空间特征分类概率；在空间特征基础上，先使用bilstm继续提取数据时序特征，其原理如图4所示。与传统的循环神经网络相比，bilstm可结合时序数据过去和将来的信息对当前时间步进行预测。图4上半部分为bilstm总体工作原理图，下半部分为t时刻内部状态更新过程。在正向传递信息时时间步t下的计算步骤如下公式：xt表示t时间步的输入数据，表示上个时间步的输出，和分别表示内部各个部分状态的更新，它们决定了在此时刻下之前和现在哪些信息的删除、添加、更新此时状态以及输出到下个时刻。每个部分的权重与偏置，tanh和σ表示激活函数。然后使用注意力机制为每个时间步的输出分配权重，使局部重要时间点的特征更加突出。如图5所示。每个时间步的输出向量通过一个可学习函数后，输出同维度权值，与每个时间步的输出对应相乘，将加权后的时序向量中每个时间步值相加进行整合，使用全连接层和softmax层得到时序特征分类概率；最后分别为空间特征概率和时序特征概率添加不同的权重来调整分类结果评分，并将分类结果相加，得到最终分类结果概率。如下公式所示；yo＝α*f1+(1-α)*f2，α∈[0，1]其中yo表示算法最终分类输出概率，f1和f2分别表示基于时序和空间特征输出的softmax分类概率，α和(1-α)表示为它们分配的权重，且α的值在0到1之间。在机器学习服务器下，用训练集和验证集，使用随机梯度下降算法作为优化器，动量设置为0.9，epoch设置为20，初始学习率设置为0.1，每5次epoch乘以0.1。此过程执行十次，将融合超参数分别等于数组[0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]中的值，根据验证集结果找出十组数据中效果最好的值，并将此模型作为最优模型。不同下模型验证集准确率如图6所示，当为0.6时，模型效果最好。在机器学习服务器下，使用测试集对训练过的模型进行测试。图7为联合神经网络模型测试中提取正异常样本的空间特征与时序特征，时序特征图中的阴影为注意力权重分布。并通过消融实验对模型不同模块进行测试，测试结果如下表1所示。表1pre.(％)rec.(％)f1.(％)acc.(％)基于空间特征87.7187.9487.8293.11基于时序特征(不含注意力)92.3191.9291.3295.44基于时序特征(含注意力)91.5594.4992.9395.86特征分类概率融合92.6794.3293.4796.24实验结果表明，每个模块在检测过程中都发挥了单独作用，效果逐步提升，并且完整模型最终实现了96.24％的检测准确率。从可穿戴式装置中选取少量部分数据，使用小波变换去噪、切割为5秒长的样本、使用z-score方式进行归一化处理，并人工标注后输入到机器学习服务器，对完成初步测试的模型进行fine-tuning，使模型适应患者的心电数据特性。最终模型的参数为10万，计算复杂度为0.09gflops，使用tensorflowliteconverter将模型转换为tensorflowlite文件格式的程序，并对模型大小和速度进行优化，将最终模型部署到智能移动设备。如图8所示，本发明所提供的一种基于联合神经网络的心电信号检测装置，包括电极、心电信号采集单元、信号处理与传输单元、智能移动设备；电极、心电信号采集单元、信号处理与传输单元、智能移动设备组成可穿戴设备。电极设置在人体胸腔表面；心电信号采集单元通过导线与电极连接，用于提取心电信号的单导联原始信号，经过滤波、放大、a/d转换处理操作后将原始信号转化为数字信号并传输给信号处理与传输单元；信号处理与传输单元，首先将得到的心电数字信号进行去噪、重采样、分割和归一化处理，并通过网络与智能移动设备实现无线通信；智能移动设备，用于实现心电数据的实时异常检测，遇到异常数据实时报警，并将此数据发送医院做进一步判断。与设计的联合神经网络算法一致，本实施例以双极单导联的方式获取差分心电信号，其中包括人体左、右锁骨下方的ra、la两电极与置于右腹部作为参考电极的rl电极，这些电极构成差分回路；电极连接到ads1298采集心电原始信号并转为心电数字信号，方案模拟电源和数字电源独立供电，模拟地和数字地通过0r电阻隔离，可以大大减少心电信号前端采集的干扰；设计mcu+ble5.1一体化芯片，为了与联合神经网络算法的输入对接，mcu首先将心电数字信号进行去噪、重采样、分割和归一化处理的预处理操作，然后可穿戴式装置通过ble5.1与智能移动设备实现无线传输，最后在智能移动设备端实现心电数据的实时异常检测功能，检测到异常数据实时报警，并将此数据发送医院做进一步判断疾病原因。应当理解的是，本说明书未详细阐述的部分均属于现有技术。最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。当前第1页12