一种混合深度学习和低差异度森林的心音诊断系统

文档序号:26729792发布日期:2021-09-22 21:34阅读:388来源:国知局
一种混合深度学习和低差异度森林的心音诊断系统

1.本发明属于智能诊断技术领域,具体涉及一种混合深度学习和低差异度森林的心音诊断系统。


背景技术:

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
3.心脏病是影响人类健康的重要疾病之一,对于冠心病患者以及其他心脏病患者来说,早诊断、早治疗能够有效避免病情恶化,降低死亡率。
4.目前,医院主流的诊断方式即通过心电图或心音对病人的心脏进行初步诊断。然而,这两种诊断方式都存在着一些问题。前者虽然数据精准易于判断,但却需要相关的专业器材;后者虽然成本较低,但是对于医生的经验水平要求较高,很多区域并不能及时配置专业器材或是经验丰富的医生,对于心脏病的正确诊断有较大影响。
5.部分研发人员开始利用深度学习模型进行辅助诊断,但现有模型部分存在算法本身非常复杂,网络结构庞大,部署于移动端非常困难,还有一部分存在需要基于心电图或心震图,或需要人工辅助进行判断的问题。


技术实现要素:

6.本发明为了解决上述问题,提出一种混合深度学习和低差异度森林的心音诊断系统,本发明利用医疗常用设备(如听诊器)的音频信号通过预处理、特征提取和分类,能够精确得到诊断结果,整个过程简单易操作,对于专业器材、人员专业性上要求较低,具有便携性和普适性。
7.根据一些实施例,本发明采用如下技术方案:一种混合深度学习和低差异度森林的心音诊断系统,包括:预处理模块,被配置为对获取的心音信号进行预处理,对心音信号依次进行归一化、滤波和下采样处理;数据转换模块,被配置为对下采样后的数据提取音频特征,生成二阶谱数据;深度学习模块,被配置为利用训练后的深度学习模型对二阶谱数据进行特征提取;特征分类模块,被配置为对提取的特征利用训练后的低差异度森林分类器进行分类,得到分类后的诊断结果。
8.作为可选择的实施方式,还包括采集设备,用于采集并保存心音信号。
9.作为进一步的限定,所述采集设备为具有录音模块的电子听诊器,或,听诊器和拾音器。
10.作为可选择的实施方式,所述深度学习模型为轻量化aoct(automatedoptical coherence tomography,全自动相关断层扫描可视化技术)卷积神经网络,包括依次连接的
四个以卷积层、bn(batch normalization 批量归一化)层、激活函数为整体的卷积块,以及一全连接层。
11.作为可选择的实施方式,所述深度学习模型的训练过程包括获取训练数据集,对每个样本依次进行归一化、滤波和下采样,对下采样后的音频数据提取音频特征,将所有样本的二阶谱数据输入所述深度学习模型,保存训练数据集分类标签,形成存储文件,将所有特征列降维到一列,并将其存储至存储文件的最后一列,根据t列值的大小,对存储文件中的所有样本按序重新排列,将重新排列且删除t列的数据,输入至低差异度森林分类器。
12.作为可选择的实施方式,所述深度学习模型和所述低差异度森林分类器级联,所述低差异度森林分类器作为所述深度学习模型的最后一层。
13.作为可选择的实施方式,所述低差异度森林分类器以k个决策树为基本分类器,进行集成学习后得到的一个组合分类器,当给定一个待分类样本,低差异度森林分类器输出的分类结果由每个决策树的分类结果简单投票决定。
14.作为可选择的实施方式,所述低差异度森林分类器的训练过程包括:(a)基于训练数据集的样本数,基于低差异度数列抽样方法生成低差异度数列;(b)按升序或降序的原则,获取低差异度数列所有元素的序号,生成一个序号数列;(c)将训练数据集的设定大小的样本作为相应决策树的训练集;(d)设置低差异度森林的决策树数量;(e)在样本数范围内的随机整数作为一个决策树的初始样本索引;(f)从所述随机整数开始,在序号数列连续取设定大小个连续的元素;(g)根据取出的元素作为样本序号,从输入的重新排列且删除t列的数据中取出相应数量样本,形成一个决策树的训练样本;(h)构建一决策树,利用上述训练样本训练该决策树;(i)重复步骤(e)

(h),构建并训练符合决策树数量的决策树。
15.作为可选择的实施方式,所述滤波处理时,采用巴特沃斯带通滤波进行过滤。
16.作为可选择的实施方式,所述下采样处理时,利用二阶谱分析法进行下采样。
17.与现有技术相比,本发明的有益效果为:本发明使用心音作为诊断依据,并使用轻量级,高准确率的可部署模型,便于携带,实时诊断性,可以让患者足不出户,即可享受精准的医疗服务,且操作过程简单,无需特别专业的知识,给患者带来了极大的便利。
18.本发明在特征处理上时采用高阶谱分析法,提取到的特征明显优于短时傅里叶变换、小波变换等低阶特征提取方法的结果,并且可以很好地抑制信号中的相位关系,检测与量化非高斯信号的相位耦合,常被用于非平稳的医学信号。
19.本发明使用融合低差异度数列森林的深度学习方法,对计算资源要求很低的同时具有非常高的准确率,可以在嵌入式设备部署,为患者的健康保驾护航。
20.为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
21.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
22.图1(a)为本实施例的系统模型训练过程流程图;图1(b)为本实施例的系统模型部署过程流程图;图2为混合深度神经网络和低差异度森林的模型原理图;图3(a)、图3(b)分别为本实施例的模型训练和测试流程图;图4为本实施例的一个音频文件波形示意图;图5为本实施例对一个音频进行滤波处理后的波形示意图;图6为本实施例对一个音频进行下采样处理后的波形示意图;图7为本实施例的低差异度森林原理图;图8为本实施例的系统部署示意图。
具体实施方式
23.下面结合附图与实施例对本发明作进一步说明。
24.应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
25.需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
26.本实施例主要利用一种用aoct卷积神经网络提取特征,在最后一层用低差异度森林(best discrepancy sequence forest,简称为bdsforest,)作为最终分类器的混合模型来实现心音信号的诊断。
27.具体方案包括:一种混合深度学习和低差异度森林的心音诊断系统,包括:预处理模块,被配置为对获取的心音信号进行预处理,对心音信号依次进行归一化、滤波和下采样处理;数据转换模块,被配置为对下采样后的数据提取音频特征,生成二阶谱数据;深度学习模块,被配置为利用训练后的深度学习模型对二阶谱数据进行特征提取;特征分类模块,被配置为对提取的特征利用训练后的低差异度森林分类器进行分类,得到分类后的诊断结果。
28.其中深度学习模块和特征分类模块即形成混合模型。
29.系统的实现,如图1(a)、和图1(b)所示,主要包括模型训练和模型部署两部分。在本实施例中,系统可以署于树莓派卡片电脑,制成便携式心脏疾病诊断设备。但在其他实施例中,系统也可以部署于其他终端设备上,并不仅限于上述例举设备。
30.在本实施例中,训练部分包括使用一个公开数据集,使用五折交叉验证的方式进
行模型的训练,并在训练后,可以用三个额外的数据集进行验证,最终得到最优的模型结构和系数。
31.具体的,在训练模型部分,本实施例使用韩国yaseen gui

young son, and soonil kwon收集的一份公开的心音数据集,其样本统计信息见表1。
32.表1 使用的心音数据集采用五折交叉验证的方法训练。即把原数据集的样本随机打乱,然后均匀分成五份。每次选取其中1份(200个样本)作为测试集,剩余4份(共800个样本)作为训练数据集供神经网络学习和低差异度森林其特征,待训练完成后将测试集送入其中,得到其准确率。一共循环五次。最后取平均准确率为该模型的预测准确率。
33.模型训练的流程如图3(a)所示:训练步骤:步骤(1):读入训练数据集d,计算该数据集的样本数目为n(即800)。
34.步骤(2):对第一个样本(即一个心音音频文件)进行归一化,使得每一个音频数据点处于区间[

1,1]内(见图4)。
[0035]
步骤(3):对该样本归一化后的音频进行滤波。这是因为听诊器采集的音频信号中,含有噪声,会对模型最终的输出结果造成干扰。为此,需要滤得音频文件中的心音部分,滤除噪声部分。本实施例根据查阅到的人体心音信号频率,对采集到的音频数据采用巴特沃斯带通滤波,充分滤除直流信号与高频噪声的干扰,保留心音部分(见图5)。滤波器系数如表2所示。
[0036]
表2 巴特沃斯带通滤波器系数步骤(4):对滤波后的音频数据做下采样。这是因为模型需要满足实时计算得到诊断结果的要求,因此需要降低算法复杂度。本实施例使用奈奎斯特采样方法,对滤波后的心音数据进行下采样(如图6所示)。
[0037]
步骤(5):对下采样后的音频数据提取音频特征。本实施例采用了现代数字信号处
理领域中的高阶谱分析法,对下采样后的音频数据提取音频特征。高阶谱分析方法提取出的特征明显优于短时傅里叶变换、小波变换等低阶特征提取方法的结果。本实施例采用的是一种广泛使用的高阶频谱分析方法,即二阶谱分析法。它可以很好地抑制信号中的相位关系,检测与量化非高斯信号的相位耦合,常被用于非平稳的医学信号,如eeg、ecg、emg。换言之,实验证明该分析法适用于心音信号,并且在特征提取的过程中,尽可能多得保留信号中的有用特征,降低噪声。
[0038]
二阶谱分析法可用如下公示表示:(为二阶傅里叶变换,为三阶累积量)。
[0039]
由公式不难看出,生成的二阶谱是一个二维矩阵,作为下面神经网络的输入。
[0040]
步骤(6):重复上述步骤(2)

(5),完成对训练数据集的所有样本的二阶谱转换,存入一个临时文件d1中。
[0041]
步骤(7):读入d1,用aoct卷积神经网络提取特征,其结构如图2所示。本实施例改进了原有的aoct卷积神经网络,即共使用了4个以卷积层、bn层、激活函数为整体的卷积块(参数见表3)。最后,将特征结果传入全连接层(即一维16384个神经元)。
[0042]
表3 aoct卷积神经网络的参数
步骤(8):将上一步骤的n*16384个神经元数据,以及原始训练集数据的分类标签存入临时文件d2中。
[0043]
步骤(9):利用一种降维技术(比如pca、fa、kpca和tsvd等),将所有16384特征列降维到一列t。将t附在d2的最后一列。
[0044]
步骤(10):根据t列值的大小,对d2的所有样本按升序或降序重新排列。
[0045]
步骤(11):删掉t列,存为新的临时文件d3。
[0046]
步骤(12):在最后一层用低差异度森林(bds forest)作为最终分类器的混合模型。其结构如图2所示。本实施例改进了原有的aoct卷积神经网络,即共使用了4个以卷积层、bn层、激活函数为整体的卷积块(参数见表2)。然后,再将结果传入全连接层(即一维
16384个神经元),并结合“低差异度森林”算法中得到最终结果。
[0047]
本实施例中使用一个低差异度森林模型作为最终的分类器。低差异度森林(best discrepancy sequence forest)是以k个决策树为基本分类器,进行集成学习后得到的一个组合分类器。当给定一个待分类样本,低差异度森林输出的分类结果由每个决策树的分类结果简单投票决定。这里的是一个随机变量序列。其原理如图7 所示。
[0048]
低差异度森林算法流程如下:步骤(a):根据训练数据集d的样本数n,用以下的公式产生一个低差异度数列bds,内有n个元素:即每一个低差异度数列中的元素等于一个自然数与圆周率(即3.14159 2653589793238462)的积的小数部分,保留小数点后21位。n为从1开始的连续自然数,一直取值到训练数据集d的样本数n。比如,bds={0.142,0.283,0.425,
…ꢀ
}(注明:为了举例方便,这里只保留小数点后3位)。
[0049]
步骤(b):按升序或降序的原则,获取上述bds数列所有元素的序号,生成一个序号数列r。比如,低差异度数列中的第一个数0.142,在n(即800)个元素中按升序排在114位,第二个数0.283,排在228位,第三个数0.425排在341位。因此,生成的低差异度数序号数列r为[114,228,341,

]。
[0050]
步骤(c):按照通常集成方法的惯例,每一棵决策树使用数据集的65%样本作为该树的训练集。在本实施例训练数据集中,d=65%*n的样本数为520个。
[0051]
步骤(d):设置低差异度森林中包括决策树的棵数k,本实施例中k=30,即使用30棵决策树组成一个低差异度森林。
[0052]
步骤(e):在1到n之间产生一个随机整数x,作为一个决策树的初始样本索引。
[0053]
步骤(f):自x开始,在步骤(b)产生的r中,取d个连续的元素(即共取520个)。
[0054]
步骤(g):根据上述取出的元素作为样本序号,从步骤(11)产生的d3数据集中取出d个样本,组成一个临时数据集,作为一个决策树的训练样本。
[0055]
步骤(h):构建一个决策树(可以使用id3、 cart、c4.5等)。在对决策树每个节点进行分裂时,从全部特征中等概率随机抽取一个特征列子集,通常取个特征,其中m为特征总数(即16384),再从这个子集中选择一个最优属性来分裂节点。使用步骤(g)的临时数据集进行训练,把该决策树训练后的参数存入临时容器p中。
[0056]
步骤(i):循环执行步骤(e)

步骤(h),共构建并训练k棵决策树,并把p以及步骤(7)的aoct卷积神经网络的参数一并存入一个onnx预训练模型文件中。
[0057]
至此,一轮训练结束,使用预留的一份测试数据集进行分类测试,然后按照五折交叉验证的方式进行余下四轮的训练和测试。实验结果表明本实施例构建的模型中心音疾病的准确分类率约97%。
[0058]
为了进一步确定上述模型的预测能力,本实施例使用physionet

cinc 2016 challenge数据集(665个心音正常样本,2575个心音异常样本)、kaggle kinguistics 2016数据集( 231个心音正常样本,100个心音异常样本)以及peterj bentley数据集( 351个心
音正常样本,129个心音异常样本)进行测试。测试过程如图3(b)所示。每个样本的音频数据都经过归一化音频信号、滤波、下采样后转化为二阶谱数据,进入预先训练好的混合模型,使用进行特征预测心脏异常的准确率都在96%以上。
[0059]
接下来进行系统部署。利用一个电子听诊器(可以使用市场上通用的3.5mm耳机孔电子听诊器;或在普通听诊器头部加入拾音器),采集人体心音信号,将其转化为电信号;电子听诊器接入树莓派4b卡片电脑,通过算法对该信号进行数字滤波,滤除信号中的噪声并保留心音部分,再对去噪后的音频信号下采样,降低模型的计算量并提高诊断速度。
[0060]
使用高阶谱方法对预处理过后的音频信号提取特征,将特征图送入一个结合“低差异度森林”和深度学习技术、已经训练好的模型中,计算得到最终的识别结果,完成初步的自我诊断。
[0061]
具体的,在一个树莓派4b卡片电脑加上外壳,作为便携式心音听诊设备。外壳上有2个按钮(分别为录音按钮,检测按钮)以及1个led显示屏,可以显示录下的音频波形以及诊断结果(即正常、尖瓣脱垂、主动脉瓣狭窄、二尖瓣狭窄、二尖瓣返流)。
[0062]
把预先训练好的模型文件onnx导入该树莓派4b卡片电脑中,并把一个3.5mm接头的电子听诊器接入树莓派4b卡片电脑中(也可以使用自制的听诊器头加电子拾音器)。在安静的环境下,用户把电子听诊器放置在胸前,按下录音按钮,系统会自动录音一段时间(在本实施例中为15秒),然后自动或人工停止录音,存为一个临时wav文件。如果用户觉得这个录音有效,可以按下检测按钮。系统自动对临时wav文件进行归一化音频信号、滤波、下采样后,转化为二阶谱数据,然后加载预先训练好的onnx模型,用aoct卷积神经网络提取特征,在最后一层用低差异度森林(bds forest)作出最终分类结果,并显示在led屏幕上。该部署流程如图8所示。经过实际测试,模型诊断结果与专业医生的诊断结果完全一致,准确率达到了100%。
[0063]
当然,上述实施例中的各个参数均可以根据具体情况进行替换或修改,这些均为本领域技术人员容易想到的,理应属于本发明的保护范围。
[0064]
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd

rom、光学存储器等)上实施的计算机程序产品的形式。
[0065]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0066]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0067]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0068]
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1