一种基于云-设备端协同的ECG分析系统及方法

一种基于云-设备端协同的ecg分析系统及方法
技术领域
1.本发明属于ecg信号采集、传输、预处理、自动分类全流程一体化技术领域，尤其涉及一种基于云-设备端协同的ecg分析系统及方法。


背景技术：

2.传统的基于心电图分析的诊治技术基本上依赖于人力，即专家靠自己的力量积累多年的经验和知识，然后通过用肉眼观察分析心电图波形获得准确的诊断结果。但是现如今每天都有大量的心电图产生，并需要进行诊断分析。与此同时，经验丰富的医生的资源严重缺乏。这些问题无疑使原本紧张的医疗资源负荷更加沉重。利用便携式ecg信号采集装置可便于患者在家中自行采集ecg信号，极大地方便了身处医疗资源匮乏的偏远农村的群众。除此之外，利用无线网络将采集到的ecg信号传输至云服务器利用计算机辅助进行ecg信号的分类能在很大程度上提高医生的诊断效率，节省大量人力物力财力，并能及时发现患者病情信息，在提高心脏病患者治愈率方面具有重要意义。但是，在现有的技术中仍存在一些亟待解决的问题。
3.在ecg信号在采集的过程当中，由于存在工频、肌电、基线漂移等噪声干扰因素，ecg信号通常会受到一定程度的破坏[文献1]。与噪声干扰相比，ecg信号非常微弱。由于存在这些噪声，导致无法轻易地从原始信号中提取有价值的信息，现有便携式ecg信号采集装置由于计算能力有限，很难很好地去除ecg信号所夹杂的噪声[文献2]。s.sivanathan等人[文献3]提出了一种采用蓝牙通信的ecg信号采集装置，需要下载特定的手机端app进行短距离的信号传输，受制于蓝牙传输速率的影响，往往只能传输单导联ecg信号。因此本发明使用袁志勇等人[文献4]提出的一种基于wi-fi传输的便携式ecg信号采集装置作为采集硬件，设计了一种基于云-设备端协同的ecg分析系统，用户在互联网环境下可通过多种设备在浏览器中打开部署在云服务器上的ecg分析系统网站实时接收采集装置传输的12导联ecg信号，解决了只能通过绑定手机app接收ecg信号的问题，且在5g网络环境下可以低延时准确实时获取12导联ecg信号，比起单导联ecg信号，12导联ecg信号更能准确判断用户的ecg信号类型。且ecg分析系统网站中导入了ecg信号去噪和分拍算法软件包，能够利用云服务器的强大算力结合不同程序语言的强大性能很好地去除装置所采集的ecg信号噪声，且能精准识别qrs波执行分拍操作。现有的如walinjkar a等人[文献5]提出的一种ecg信号远程分类算法往往依托于单个部署了深度学习算法的远程服务器，当用户使用数量达到一定规模后，服务器很难承受高并发访问的负载，且现有算法往往只考虑ecg信号的波形特征而忽略了同样具有重要价值的时间特征[文献6]，如d.li等人[文献7]提出的一维卷积神经网络对于ecg信号的分类算法只运用了ecg信号的波形特征。为了解决这一问题，本发明提出了一种基于云-设备端协同的ecg分析方法，在ecg分析系统网页前端引入tensorflow.js库调用融合rr间期的1d-cnn二分类模型利用设备端浏览器算力对单导联ecg信号每个心拍依次进行二分类以初步判断ecg信号正常与否，这样既节省了用户利用云服务进行ecg分析的时间，又缓解了部署了ai模型的人工智能云平台的压力，而且rr间期特征的引入使得时间
特征与形态信号相结合，能够提升对于诸如室性早搏之类的心率异常分类的性能。对于设备端分类为异常的单导联心拍从云服务器数据库中取对应12导联心拍并在ecg分析系统网站后端编写函数调用人工智能云平台中训练好的一种基于se-res-gru的12导联ecg信号多分类方法的在线服务restful api接口实现对异常心拍的进一步分类，这种基于云-设备端协同的ecg分析系统及方法在节省用户分析时间、缓解服务器访问压力的同时更加精准地分析了ecg信号异常的类型，为心脏疾病远程诊疗提供了一种有效的技术手段。
[0004]
参考文献：
[0005]
[文献1]mir h y,singh o.ecg denoising and feature extraction techniques
–
a review[文献j].journal of medical engineering&technology,2021:1-13.
[0006]
[文献2]r.huamani r.,j.r.talavera,e.a.s.mendoza,n.m.d
á
vila and e.supo,"implementation of a real-time 60hz interference cancellation algorithm for ecg signals based on arm cortex m4 and ads1298,"2017ieee xxiv international conference on electronics,electrical engineering and computing(intercon),2017,pp.1-4,doi:10.1109/intercon.2017.8079725.
[0007]
[文献3]s.sivanathan and a.oleon,"real-time bluetooth low energy(ble)electrocardiogram monitoring device,"2021ieee international instrumentation and measurement technology conference(i2mtc),2021,pp.1-5,doi:10.1109/i2mtc50364.2021.9459902.
[0008]
[文献4]袁志勇，袁帅英，杜博，赵俭辉，何紫阳.一种心电信号采集装置及质量等级评估和qrs波检测方法.国家发明专利申请号：202110184620.5
[0009]
[文献5]walinjkar a,woods j.ecg classification and prognostic approach towards personalized healthcare[文献c]//2017international conference on social media,wearable and web analytics(social media).ieee,2017.
[0010]
[文献6]yan g,liang s,zhang y,et al.fusing transformer model with temporal features for ecg heartbeat classification[文献c].2019ieee international conference on bioinformatics and biomedicine(bibm).ieee,2019.
[0011]
[文献7]d.li,j.zhang,q.zhang and x.wei,"classification of ecg signals based on 1d convolution neural network,"2017ieee 19th international conference on e-health networking，applications and services(healthcom),2017，pp.1-6，doi:10.1109/healthcom.2017.8210784.


技术实现要素：

[0012]
为了解决上述现有的技术中仍存在一些亟待解决的问题，本发明提供了一种基于云-设备端协同的ecg分析系统及方法。
[0013]
本发明的系统所采用的技术方案是：一种基于云-设备端协同的ecg分析系统，包括：云服务器、人工智能云平台、ecg信号采集装置和设备端；
[0014]
所述云服务器，用于ecg采集数据预处理和ecg采集数据分析，并利用数据库存储用户信息；
[0015]
所述人工智能云平台，用于执行基于深度学习的ecg信号多分类人工智能算法进行信号分类，提供restful api接口供云服务器调用web service服务；
[0016]
所述ecg信号采集装置，包括一次性心电电极、ecg信号采集模块、ecg信号无线传输模块，其中ecg信号采集模块用于采集频率为预设值的12导联ecg信号，ecg信号无线传输模块用于通过wi-fi与云服务器进行通信并传输ecg信号；
[0017]
所述设备端，用于显示云服务器上ecg实时采集的信号、预处理保存、设备端分析和云端分析。
[0018]
本发明的方法所采用的技术方案是：一种基于云-设备端协同的ecg分析方法，包括以下步骤：
[0019]
步骤1：获取一段预设长度的采样频率为预设值的12导联ecg信号；
[0020]
步骤2：对一整段ecg信号进行去噪处理，识别r峰并分割为心拍，保存去噪后的ecg信号、心拍信号和各心拍信号对应前后rr间期；
[0021]
所述心拍信号，为识别到r峰之后以r峰位基准点向前取100个点并且向后取139个点，包括r峰在内总共240个点所得到的心拍；每个心拍与前后心拍的rr间期为识别到的r峰与前后r峰之间间隔的采样点数；
[0022]
步骤3：取选定的某条已保存ecg信号第二导联各心拍并依次利用设备端，融合rr间期的1d-cnn二分类模型分析心拍异常与否；
[0023]
所述融合rr间期的1d-cnn二分类模型，包括三个一维卷积层、三个一维池化层、flatten层和softmax分类器，其中，卷积层和池化层交叉设置，对一维心拍进行卷积池化操作后经过flatten层得到一维特征数组，在特征数组末端融合该心拍对应的前后rr间期这两个特征值得到融合rr间期特征的特征数组，再将融合rr间期特征的特征数组输入softmax分类器得到心拍是否为正常或者是异常的分类结果；
[0024]
步骤4：对于设备端分类为异常的心拍，取出对应12导联ecg信号心拍利用人工智能云平台上部署的基于se-res-gru的12导联ecg信号多分类模型获取ecg具体异常类别；
[0025]
所述基于se-res-gru的12导联ecg信号多分类模型，由12个并行的独立分支和一个全连接层组成，每个分支包含3个串联的se-res模块以及1个并联的gru模块和gap模块，其中se-res模块主要由resnet和senet组成且每个se-res模块前有一个卷积层进行特征映射使得残差单元能够和se-res模块输出维度一致。
[0026]
作为优选，步骤3的具体实现包括以下子步骤：
[0027]
步骤3.1：利用公开数据集训练融合rr间期的1d-cnn二分类模型；
[0028]
步骤3.2：设备端调用训练好的融合rr间期的1d-cnn模型；
[0029]
步骤3.3：取选定的某条已保存ecg信号第二导联各心拍依次输入训练好的融合rr间期的1d-cnn模型，若每个心拍分析结果均正常则设备端浏览器中显示正常，若存在心拍输出结果异常则设备端浏览器中显示异常。
[0030]
作为优选，步骤4的具体实现包括以下子步骤：
[0031]
步骤4.1：在人工智能云平台上中训练基于se-res-gru的12导联ecg信号多分类模型；
[0032]
首先将12导联心拍信号各个导联依次输入基于se-res-gru的12导联ecg信号多分类模型中的各个对应分支，进入分支后首先将利用包含两个卷积核的卷积层进行特征提
取，提取到的特征图将输入3个串联的se-res模块从而提取单个心拍的形态特征，在提取到形态特征后将使用gru模块提取心拍内的时序特征同时使用gap模块获取形态特征图各通道特征并将提取到的这两个特征进行拼接得到各分支最后提取到的特征，最后将12个并行分支提取到的特征进行融合通过全连接层中的softmax分类器得到ecg的精准分类结果；
[0033]
步骤4.2：对于步骤3中设备端分类为异常的心拍，ecg分析系统调用restful api接口实现对异常心拍的进一步分类，将分类结果在设备端浏览器中显示。
[0034]
与现有技术相比，本发明所具有的创新及优势如下：
[0035]
1.本发明提出了一种基于云-设备端协同的ecg分析方法结合便携式ecg信号采集装置可以采集ecg数据并将其传输至云服务器，通过边缘设备可以实时访问并查看云服务器反馈的ecg采集波形。此外，本发明在设备端html页面中部署了轻量级的、单导联的融合rr间期的1d-cnn二分类模型。边缘设备的算力能够得到充分利用，极大减轻了云端服务器的压力。本发明在另一人工智能云平台部署了基于se-res-gru的12导联ecg信号多分类模型，可对设备端预测异常的ecg信号进行进一步的分析并将结果反馈给设备端。本发明提出的基于云-设备端协同的ecg分析方法能够满足用户对ecg信号的不同分析需求，且能够极大地提高服务器高并发环境下的负载能力。
[0036]
2.本发明提出了一种跨编程语言、跨集成开发环境的联动方案，在ecg信号预处理部分通过调用软件包的形式实现了信号预处理编程语言和网站后端编程语言的完美衔接，并在人工智能云平台将基于se-res-gru的12导联ecg信号多分类模型部署为在线服务，并且在ecg分析系统网站后端编写函数通过http协议调用restful api接口实现了跨平台联动，充分结合了不同编程语言与不同集成开发环境的优势。
[0037]
3.本发明提出的一种基于云-设备端协同的ecg分析方法中云端使用的算法为基于se-res-gru的12导联ecg信号多分类算法，该算法结合了卷积神经网络和循环神经网络的优点，算法中的12个并行分支既能提取到12导联ecg信号的波形特征又能提取波形中各信号点的时序特征，在提取特征之后嵌入senet模块使得重要特征得以保留，能够实现12导联ecg信号的高精度分类。方法中设备端使用的算法为基于tensorflow.js的融合rr间期的一维卷积神经网络单导联ecg信号二分类方法，该方法在提取ecg信号波形特征的同时融入了心拍同前后心拍之间rr间期这一特征，进一步提升了分类精度。
附图说明
[0038]
图1为本发明实施例的方法流程示意图；
[0039]
图2为本发明实施例中融合rr间期的1d-cnn二分类模型网络结构示意图；
[0040]
图3为本发明实施例中基于se-res-gru的12导联ecg信号多分类模型网络结构示意图；
[0041]
图4为本发明实施例的系统中各模块协同交互示意图。
具体实施方式
[0042]
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
[0043]
本发明提供了一种基于云-设备端协同的ecg分析方法，本发明实施例的整体流程图如图1所示，本实施例中ecg信号采集装置中的信号采集模块使用ads1298芯片、信号无线传输模块使用esp32 mcu。首先启动ecg信号采集装置采集12导联ecg信号并通过wi-fi将其传输至云服务器，通过设定12导联ecg信号采集频率为360hz并配置wi-fi传输地址为部署ecg分析系统网站的云服务器ip地址可以使得本实施例中ecg信号采集装置在接入无线网络后将采集到的12导联ecg信号传输至指定云服务器。
[0044]
本发明实施例在云服务器上部署基于spring boot的ecg分析系统网站。用户首先需要利用设备端浏览器打开ecg分析系统网站，并在网站上注册保存个人详细信息。在启动ecg信号采集装置并配置好信号要传输的云服务器ip地址后便可利用mqtt协议在服务器上部署的ecg分析系统网站中接收采集装置所传输的ecg信号。本实施例中ecg分析系统网站前端利用highcharts和echarts等javascript组件实时显示接收到的12导联ecg信号波形，用户选择保存网站前端显示的某段ecg信号时在网站后端调用基于matlab编写的基于8层的小波分解方法和qrs波识别方法的可执行jar包将接收到的一长段ecg信号进行去噪及分拍预处理并将去噪后的一整段ecg信号和对应的截取到的各条心拍及各心拍前后rr间期连同信号采集者唯一用户名、采集时间等信息依次存入云服务器上的mysql数据库。本实施例的基于8层的小波分解方法的原理是将一维的ecg信号进行8层的小波分解从而得到对应的高频细节系数和低频近似系数。由于ecg信号中1,2层的高频细节系数包含了大部分例如工频干扰等高频噪声，而第8层的低频近似系数则包含了基线漂移噪声。基于此，本发明将1,2层的高频系数置0，第8层的低频系数置0。本实施例基于qrs波识别方法采用的是pan-tompkins算法，该算法首先采用五点微分函数对qrs复合波的斜率进行处理，其次通过非线性平方函数对所有采样点进行平方处理，进一步放大斜率，然后通过移动窗口积分的方式获得ecg波形的斜率等特征信息，最后再通过自适应阈值的方法确定qrs复合波的位置。本实施例中基于8层的小波分解方法和pan-tompkins算法的实现均基于matlab平台，在matlab平台中实现好两种算法后利用“deploytool”命令将编写好的预处理算法.m文件导出为网站后端可调用执行的jar包，将该jar包连同matlab自带javabuilder.jar包添加到spring boot项目的library路径即可实现在ecg分析系统网站中调用基于matlab的预处理算法对ecg信号进行去噪、分拍预处理。
[0045]
本实施例在ecg分析系统网站前端html界面中引入基于tensorflow.js的javascript库并部署预先训练好的融合rr间期特征的基于tensorflow的1d-cnn模型。当用户在手机浏览器或电脑浏览器等边缘设备打开ecg分析系统网站并选择好已上传的某条ecg信号并点击初步预测功能后，ecg分析系统网站后端在云服务器的mysql数据库中选取对应已进行去噪和分拍预处理的ecg信号，由于单导联ecg信号分类常用第2导联ecg信号，因此将用上传的对应ecg信号第2导联的各条心拍及其前后rr间期信息依次输入前端javascript函数，若每个心拍输出结果均正常平台前端显示正常，若存在心拍输出结果异常则平台前端显示异常。本实施例中利用边缘设备的算力运行1d-cnn模型对用户的ecg数据产生一个初步的分类预测结果，边缘计算功能的加入能够充分利用边缘设备的算力以减轻中心服务器的负载。本实施例融合rr间期特征的基于tensorflow的1d-cnn二分类模型，由于本实施例中预处理算法获得的心拍包含240个采样点，因此输入1d-cnn模型的数据为长度为240的一维数组，在该算法中，设计对应的第一个一维卷积层的卷积核个数为4，大小
为36，步长取1，激活函数为relu，且采取边缘填充的方式。第一个一维池化层的滤波器大小为4，步长取4。设计对应的第二个一维卷积层的卷积核个数为6，大小为9，步长取1，激活函数为relu，且采取边缘填充的方式。第二个一维池化层的滤波器大小为3，步长取3。设计对应的第三个一维卷积层的卷积核个数为8，大小为6，步长取1，激活函数为relu，且采取边缘填充的方式。第三个一维池化层的滤波器大小为2，步长取2。经过上述卷积池化操作后经过flatten层得到长度为80的一维特征数组，在数组末端融合该心拍对应的前后rr间期这两个特征值得到长为82的特征数组，再经过softmax分类器得出心拍是否为正常或者是异常的分类结果，融合rr间期的1d-cnn二分类模型的结构如图2所示。
[0046]
本发明实施例在华为modelarts人工智能平台训练并部署基于se-res-gru的12导联ecg信号多分类模型并部署为在线服务，在ecg分析系统网站后端通过http协议调用在线服务restful api接口实现设备端分类异常ecg的进一步精准分类。对于本实施例中设备端分类为异常的心拍信号，ecg分析系统网站后端将在mysql数据库中取出对应的12导联心拍信号并利用接口调用函数将该12导联ecg信号传输至华为modelarts人工智能平台，如图3所示，该平台上部署的基于se-res-gru的12导联ecg信号多分类模型由12个并行的独立分支组成，每个分支包含3个串联的se-res模块以及1个并联的gru模块和gap模块，其中se-res模块主要由resnet和senet组成且每个se-res模块前有一个卷积层进行特征映射使得残差单元能够和se-res模块输出维度一致。本实施例首先将12导联心拍信号各个导联依次输入基于se-res-gru的12导联ecg信号多分类模型的各个对应分支，进入分支后首先将利用包含两个卷积核的卷积层进行特征提取，提取到的特征图将输入3个串联的se-res模块从而提取单个心拍的形态特征，在提取到形态特征后将使用gru模块提取心拍内的时序特征同时使用gap模块获取形态特征图各通道特征并将提取到的这两个特征进行拼接得到各分支最后提取到的特征，最后将12个并行分支提取到的特征进行融合通过全连接层中的softmax分类器得到ecg的精准分类结果。
[0047]
本实施例基于se-res-gru的12导联ecg信号多分类模型各层的详细参数如表1所示。由于本实施例中预处理算法获得的心拍包含240个采样点，因此输入基于se-res-gru的12导联ecg信号多分类模型中单个分支的数据为长度为240
×
1的一维数组，每个分支中的心拍信号首先通过2个大小为30
×
1，步长为1的卷积核进行卷积操作后输出2个大小为240
×
1的特征图。分支中每个se-res模块依次由3个bn层、3个relu激活函数和2个卷积层组成，由于进入该模块前算法通过卷积操作提取到了2个大小为240
×
1的特征图，将这两个特征图作为se-res模块的输入，经过2个大小为18
×
1，步长为2的卷积核卷积后输出2个大小为120
×
1的特征图，再经过4个大小为6
×
1，步长为1的卷积核进行卷积操作后输出4个大小为120
×
1的特征图。为了防止过拟合，提高神经网络的性能，se-res模块中还采用了概率为0.3的droupout层，se-res模块在droupout层后采用senet层对残差模块输出的每个特征进行加权融合的操作，从而使算法关注具有重要价值的形态特征，弱化不重要的特征。每个se-res模块最后和利用大小为1
×
1，步长为2的卷积层对最开始输入se-res模块中的特征图进行池化操作后输出与之前senet层输出通道个数相同的(以第一个se-res模块输出为例为4个通道)大小为120
×
1的残差模块特征图相加得到该se-res模块的输出并将其作为下一se-res模块的输入。3个串联se-res模块最终输出16个大小为30
×
1的特征图，经过bn层和relu激活函数处理后分别输入gru模块和gap。其中gru模块从输入的特征图中提取时
序特征后输出16个大小为1
×
1的特征图，同时gap模块对se-res模块输出的空间特征进行正则化的操作后输出16个大小为1
×
1的特征图。将gru模块和gap模块输出进行拼接得到32个1
×
1的特征图。最后利用特征融合层对12个并行分支输出的特征进行拼接得到384个大小为1
×
1的特征图，通过全连接层和softmax分类器得到最终的分类结果。
[0048]
表1
[0049]
[0050][0051]
如图4所示，本发明实施例实现了便携式ecg信号采集装置、云服务器端、用户设备端以及华为modelarts人工智能云平台的协同联动。
[0052]
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。