一种先天性心脏病智能筛查机器人的制作方法

:
1.本实用新型涉及医学人工智能机器人技术领域，具体涉及一种搭载有先天性心脏病智能筛查系统的的机器人。


背景技术：
:
2.先天性心脏病(简称先心病)是指在胚胎发育时期，由于心脏及大血管的发育障碍而引起的解剖结构异常，是目前最常见的出生缺陷；在我国出生缺陷疾病谱中，先心病的患儿由过去的20万递增到30余万，呈逐年上升趋势，并成为2005年后的中国出生缺陷榜首疾病，也是我国城市0
‑
5岁婴幼儿的第一致死原因，严重影响出生人口的质量和总体健康水平，成为影响全民健康素质的重大公共卫生问题；因此全面开展对先心病的诊治和筛查工作尤为重要。
3.2013年复旦大学儿科医院的黄国英教授实施例组在上海地区使用超声心动图对新生儿进行筛查，发现上海地区新生儿先心病发病率大约26.6
‰
，超声检查对重症先心病敏感度达93.06％、特异度达97.98％，但依靠超声心动图进行先心病的筛查很难在全国各地推行，尤其在欠发达地区，一方面因为机器价格昂贵，另一缺乏专业的儿童心脏彩超医生，并不是一种十分经济高效的方法；最常见的四种先天性心脏病为室间隔缺损，房间隔缺损，动脉导管未闭和法洛四联症，约占先天性心脏病的80％以上，而这四类先心病都有特征性的心脏杂音(心音信号是由于血流使心脏瓣膜打开或关闭时振动产生的声音信号，是人体重要的生物血流信号；心脏杂音是指心音与额外心音之外，在心脏收缩或舒张时血液在心脏或血管内产生湍流导致的心室壁、瓣膜或血管振动所产生的异常声音)；同时血氧饱和度是反映人体血液的含氧浓度，是氧合血红蛋白与血红蛋白比重系数，是衡量血液输送氧气的能力的一项指标，一般情况下正常人的血氧饱和度应不低于94％，大多数先心病都伴有不同程度的动、静脉血的混流或缺氧而导致血氧饱和度异常，多个研究证实利用血氧饱和度筛查可显著提高先天性心脏病的检查率，这也是先心病通过心脏杂音及血氧饱和度能实现早期识别的重要理论基础。
4.通过心脏杂音及血氧饱和度实现先天性心脏病早期识别的方法虽然简单、省时、准确度较高，但过度依赖医生的主观经验，特别在相对贫困地区，基本上要实现每个孩子接受一次正规的心脏疾病的筛查，难度巨大，而且不具备完备的诊疗体系，包括成熟的心脏彩超技术，通常仅仅借助于医生的人工听诊，每一位参加听诊筛查的医生平均每天的听诊量巨大，多次重复的听诊动作，往往导致外耳道的损伤及感染，苦不堪言，且筛查速度过于缓慢，特别是对于经验尚浅的医生而言，仍存在较高的误诊率，往往延误疾病的正确诊治；因此如何利用有效的科技手段来解决基于社区、农村及校园人群的先心病筛查显得至关重要。


技术实现要素：
:
5.本实用新型的目的是解决上述提到的问题，提供一种通过人工智能深度学习有效
提取心音信号特征并开发出心音识别装置，联合血氧饱和度检测的先天性心脏病自动识别系统，并将先天性心脏病自动识别系统搭载于ai机器人上的适合于学校和社区应用场景的先天性心脏病智能筛查机器人。
6.本实用新型采用如下技术方案实现其发明目的：一种先天性心脏病智能筛查机器人，其特征在于：包括底座、机器人主体、机器人头部、人机交互模块、心音拾音模块、嵌入式主板与电源管理模块；心音拾音模块内置有拾音电路和放大电路，放大电路将拾音电路接收到的微弱心音信号清晰放大；嵌入式主板包括a/d转换模块、信号比对模块与数据存储模块，数据存储模块内存储有先天性心脏病心音样本库，放大后的心音信号经a/d转换模块转换为计算机可识别的数字信号并经信号比对模块用于将获取的目标用户的心音信号通过与心音样本库进行比对；所述人机交互模块获取目标用户的交互记录，并与目标用户的心音信号及比对结果存储于数据存储模块内。
7.优选的，所述嵌入式主板内还集成有神经网络处理器。
8.进一步的，所述嵌入式主板还包括信号预处理模块，用于将心音信号经过小波去噪、滑窗分割、人工特征提取、深度特征提取后进行xgboost组合分类。
9.进一步的，该先天性心脏病智能筛查机器人还包括血氧饱和度监测模块，血氧饱和度监测模块设于机器人主体上，所述血氧饱和度监测模块为指夹式血氧饱和度监测仪和/或捆绑式血氧饱和度监测仪，通过数据线或蓝牙与嵌入式主板通讯连接。
10.优选的，所述指夹式血氧饱和度监测仪和/或捆绑式血氧饱和度监测仪总共设有两个。
11.进一步的，所述心音拾音模块设于机器人主体上，包括拾音听头与导音管，导音管一端连接在拾音听头上，另一端连接在a/d转换模块上；所述的拾音听头采用锌合金镀镍听头；拾音电路和放大电路内置于所述拾音听头内。
12.进一步的，所述嵌入式主板内置于机器人主体或机器人头部内，包括将存储于数据存储模块内的心音数据导入与导出的usb接口，所述usb接口安装于机器人主体或机器人头部壳体上。
13.进一步的，所述机器人采用12v锂电池供电，电源管理模块设于机器人主体或底座上，用于完成充放电及系统功耗控制。
14.进一步的，所述人机交互模块设于机器人主体或机器人头部上，包括高清电容触摸屏、摄像头、语音系统；高清电容触摸屏用于显示目标用户信息、指令输入、引导正确的心音数据采集及展示心音信号波形的细节；摄像头用于获取目标用户面部图像及通过面部图像进行身份识别；语音系统用于语音指引及语音播报。
15.进一步的，该先天性心脏病智能筛查机器人还包括体重测量模块、身高测量模块、体温测量模块；体重测量模块用于测量目标用户体重并存储于数据存储模块内；身高测量模块用于测量目标用户身高并存储于数据存储模块内；体温测量模块用于测量目标用户体温并存储于数据存储模块内。
16.由于采用了以上技术方案，本实用新型较好的实现了其发明目的，本先天性心脏病智能筛查机器人利用现有的机器人技术，通过人工智能深度学习方法有效提取心音信号特征，收集先心病心音数据，建立心音样本库，通过降维去噪，数据分割，人工特征提取，深度特征提取，心音分类步骤实现对心音样本库的人工智能识别，并联合血氧饱和度检测完
善先天性心脏病自动识别系统，并将先天性心脏病自动识别系统与机器人搭载建立适应于校园及社区场景的先心病智能检测系统，实现人脸识别、人机交互于一体的高度智能化筛查体系，能够实现从科研设计
→
软、硬件设计
→
场景运用
→
科学验证
→
全面推广的闭环式研究。
附图说明：
17.附图1是本实用新型所述机器人正面的整体结构示意图。
18.附图2是本实用新型所述机器人背面的整体结构示意图。
19.附图3是本实用新型中标记心音拾音模块5的结构示意图。
20.附图4是本实用新型中先天性心脏病筛查原理流程图。
21.附图5是本实用新型中心音信号降维去噪前后对比图。
22.附图6是本实用新型中通过人工特征提取将音频信号转化成语谱图的转换示意图。
23.附图7是本实用新型中用于深度特征提取的resnet网络表。
24.附图8是本实用新型中cbam推断注意力图。
25.附图9是本实用新型中xgboost分类器学习框架示意图。
26.附图标记说明见如下表格。
27.标记名称标记数字标记名称标记数字1底座151拾音听头512机器人主体252导音管523机器人头部36血氧饱和度监测模块64人机交互模块47电源管理模块75心音拾音模块5
ꢀꢀ
具体实施方式：
28.为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，下面结合附图对发明内容作进一步说明：
29.实施例1：
30.参照附图1、2，一种先天性心脏病智能筛查机器人，包括底座1、机器人主体2、机器人头部3、人机交互模块4、心音拾音模块5、嵌入式主板与电源管理模块7；心音拾音模块5内置有拾音电路和放大电路，放大电路将拾音电路接收到的微弱心音信号清晰放大，放大电路利用三极管或运算放大器设计信号调理电路，包括信号放大器、滤波器以及电压跟随器等；原始心音数据保存为wav格式，采样频率为5000hz；嵌入式主板包括a/d转换模块、信号比对模块、信号预处理模块与数据存储模块，信号比对模块、信号预处理模块拟采用瑞芯微公司rk3399pro，rk3399pro为高性能ai处理芯片，采用了arm双核cortex
‑
a72+四核cortex
‑
a53的大小核处理器架构，主频高达1.8ghz，并集成神经网络处理器npu，算力高达3.0tops；数据存储模块内存储有先天性心脏病心音样本库，心音样本库存储有已确诊先天性心脏病
患者的心音信号，放大后的心音信号经a/d转换模块转换为计算机可识别的数字信号并经信号预处理模块将心音信号经过小波去噪、滑窗分割、人工特征提取、深度特征提取后进行xgboost组合分类后经信号比对模块用于将获取的目标用户的心音信号通过与心音样本库进行比对，所述人机交互模块4获取目标用户的交互记录，并与目标用户的心音信号及比对结果存储于数据存储模块内；先天性心脏病筛查依据：通过采集的目标用户的心音信号经过嵌入式主板处理后与存储于数据存储模块内的先天性心脏病心音样本库进行比对，一旦匹配成功就表明目标用户可能患有室间隔缺损，房间隔缺损，动脉导管未闭和法洛四联症这四种先天性心脏病的可能性，并通过心脏彩超进行验证。
31.在一种具体实施方式中，所述心音样本库建立的具体方法为：所有临床试验均遵照《赫尔辛基宣言》实施，经医学伦理委员会批准，患者签署书面知情同意书，入选标准：经三甲儿童专科医院就诊的1天
‑
17岁的儿童，先经心脏彩超明确有无心脏畸形，小于4岁者合作度欠佳者，于行心脏彩超检查镇静状态下立即于安静环境下按照心尖区
‑
肺动脉瓣区
‑
主动脉瓣区
‑
主动脉瓣第二听诊区
‑
三尖瓣区完成心音收集，大于4岁合作度好者，于安静状态下按照上述五个听诊区完成心音收集，收集后的心音资料经过嵌入式主板处理，并由心血管内科医生和心血管外科医生一起完成心音资料与心脏彩超诊断的匹配建立心音样本库。
32.心音信号的小波去噪、滑窗分割、人工特征提取、深度特征提取后进行xgboost组合分类均是采用现有方法进行的，具体方法如下：
33.在一种具体实施方式中，上述降维去噪的具体方法为：正常心音信号的频率在5～600hz范围内，心音信号中的某些病理性杂音频率可以到1500hz，通常认为2000hz以上基本不含有效信息；根据奈奎斯特采样定理，对信号采样时只要满足采样频率大于信号中最高频率两倍的条件，采样后的离散数字信号即可不失真地保留原始信号的目标信息。心音信号在采集过程中不可避免地存在一些噪声干扰，例如皮肤与传感器的摩擦音、采集环境的背景噪声、患者的呼吸扰动音等噪声干扰，故需对心音信号进行去噪处理，得到噪声较少的心音信号；心音信号是一种随机非平稳信号，而小波变换是一种在非平稳信号去噪处理过程中应用广泛且效果显著的方法，因此本实施例拟选择小波变换对心音数据进行去噪处理；小波去噪的基本思想是根据信号频率按层分解，每层分解是从原始信号的起始频率到信号的二分之一频率；由于原始心音数据采样频率为5000hz，因此四层小波已能够将大部分心音信号的噪声信息滤除，且去噪后的心音信号在外观形态上同原始心音信号基本相似，即最大程度地保留了有效心音信息(参照附图5所示)，同时又完成了降低采样频率的降维操作，可有效减小输入数据规模。
34.在一种具体实施方式中，上述滑窗分割的具体方法为：便于特征提取，心音识别的传统方法是先将心音信号进行周期性分割，然后通过提取每个周期信号的特征以及对数据进行统计性分析，完成对心音信号的分类，要确保所使用的分割方法有效，需要大量已被标记了心音周期位置或各组成部分位置的数据集，用于衡量分割方法的准确性。而标记操作非常耗费人力资源的，尤其是当使用机器学习模型来进行分割时，带有标记的训练样本太少，可能导致训练出来的模型效果不理想，不正确的分割，会导致识别效果很差，而一般的分割方法都属于自动分割，分割结果并不能保证完全正确，并且对于未知的新测试样本的分割结果是没有位置标签来衡量分割的准确性，一旦分割错误，会使得提取的特征出现误差，从而影响后续的分类过程；事实上，在截取心音片段时，并没有要求一定要从某个基础
心音所在的位置开始，并且对心音是否需要进行周期性分割，并没有明确说法，从己发表的文献来看，周期性分割与不分割心音都可以实现对心音信号的分类，本实施例不对心音信号进行周期分割，只进行简单的滑窗分割操作，按照固定长度和步长将输入数据分割为固定长度的心音片段序列，以避免由于周期性分割不准确干扰后续的特征提取和分类过程。
35.在一种具体实施方式中，上述人工特征提取的具体方法为：音频信号波形数据通常不宜直接用于深度特征提取，原因在于波形数据中很多位置没有波形信息，容易导致输入数据过于稀疏，不利于网络训练，为了便于将音频数据用于深度特征提取，需完成从音频信号到有效向量数据的转换，最为常用的转换方式是将音频信号转为语谱图(参照附图6所示)，语谱图是一种三维频谱图像，它是表示语音频谱随时间变化的图形，其纵轴为频率，横轴为时间，给定频率成分在给定时刻的强弱用相应点的灰度或色调的浓淡来表示，语谱图显示了大量与音频特性相关的信息，综合了频谱图和时域波形的特点，明显地显示出语音频谱随时间的变化情况，或者说是一种动态频谱，此外为验证不同人工特征的心音分类效果，本实施例还拟采用在语音识别领域应用广泛的梅尔频率倒谱系数(mfcc)来提取心音信号的特征参数，梅尔频率是根据人耳听觉特性所提出来的，它反映了人耳听觉与声音频率成非线性对应关系，对于不同频率的信号，它响应的灵敏度是不同的。通过对人耳的研究可以发现如果两个音调的频率差值小于某个带宽时，人耳会区分不了，这被称为屏蔽效应，此时的带宽被称为临界带宽，梅尔标度能够表示临界带宽，mfcc就是在梅尔标度频率域提取出来的倒谱参数，表示为一个一维向量。
36.在一种具体实施方式中，上述深度特征提取的具体方法为：为提取心音信号的深度特征，通过比较多种深度卷积神经网络结构，综合考虑分类效果与推断速度，本实施例拟选择resnet网络(参照附图7)用于深度特征提取，resnet结构图中一共给出了5种深度的resnet结构，分别是18、34、50、101和152，首先都通过一个7x7的卷积层，接着是一个最大池化，之后就是堆叠残差块，其中50、101、152层的残差网络使用的残差块是瓶颈结构，各网络中残差块的个数从左到右依次是8、16、16、33、50，最后在网络的结尾通常连接一个全局平均池化，好处是没有参数需要最优化，可有效防止过拟合，对输入输出的空间变换更具鲁棒性，加强了特征映射与类别的一致性；由于心音信号包含有时序信息，为验证能否增强心音特征的提取效果，本实施例后期考虑在resnet网络基础上增加卷积块注意力模块(cbam)，它是一种用于前馈卷积神经网络的简单有效的注意力模块，给定一个中间特征图，cbam会沿着两个独立的维度(通道和空间，参照附图8所示)依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化，由于cbam是轻量级的通用模块，因此可以忽略该模块的开销而将其无缝集成到任何cnn架构中，并且可以与基础cnn一起进行端到端训练，实验表明，使用该模块在各种模型上，并在分类和检测性能方面的持续改进，证明了cbam的广泛适用性。这种方式不需要修改resnet的网络结构，方便添加和验证；本实施例拟仅使用resnet网络的特征提取功能，将每个语谱图转换为一个2048维特征向量，用做分类器的输入。
37.在一种具体实施方式中，上述xgboost组合分类的具体方法为：xgboost分类器，它是一种简单而高效的集成学习框架(参照附图9)，是一系列分类回归树的组合，优势在于不容易过拟合、训练速度快和可解释性强，xgboost每一步都训练一个弱分类器模型，最终通过加权得到新的强分类器，最后用这个强分类器对特征进行分类，是目前普通机器学习中
性能最强同时也是最复杂的算法，xgboost通过采用加法模型以及不断减少训练过程中样本预测值与真实值的差距的方法来达到提升整体模型性能的目的，其基分类器采用分类与回归树，对于分类任务来说，xgboost通过生成一系列cart树，每棵树都是根据训练数据在前一棵树上的梯度值生成，在训练过程中根据样本的预测值和目标值之间的差距不断调整新生成的树结构，最终通过最后一棵树进行结果输出，获取多个深度特征之后，xgboost分类器由每个特征都可以计算出一个分类结果，然后将这一组结果组合成一个新的特征向量，并再次使用xgboost分类器进行计算，从而得出最终的心音分类结果，为对比考察深度特征的分类效果，本实施例还将直接使用前面提取的mfcc特征向量，采用xgboost分类器以同样方式开展心音分类计算，最后进行分类结果的对比分析。
38.参照附图2，该先天性心脏病智能筛查机器人还包括血氧饱和度监测模块6，血氧饱和度监测模块6设于机器人主体2上，所述血氧饱和度监测模块6为指夹式血氧饱和度监测仪和/或捆绑式血氧饱和度监测仪，通过数据线或蓝牙与嵌入式主板通讯连接；具体的，所述指夹式血氧饱和度监测仪和/或捆绑式血氧饱和度监测仪总共设有两个；经皮血氧饱和度异常判断依据：
①
右手和任一足经皮血氧饱和度低于90％者；
②
右手或任一足经皮血氧饱和度为90
‑
94％，或右手与任一足经皮血氧饱和度差异＞3％者；有异常者2
‑
4小时后重复测量一次，明确阳性者进行心脏彩超确诊，通过上、下肢血氧饱和度筛查可筛查出伴有低氧血症的先心病、主动脉缩窄、主动脉弓中断、或者晚期的动脉导管及室间隔缺损和法洛四联症。
39.参照附图1、2、3，所述心音拾音模块5设于机器人主体2上，包括拾音听头51与导音管52，导音管52一端连接在拾音听头51上，另一端连接在a/d转换模块上；所述的拾音听头51采用锌合金镀镍听头；拾音电路和放大电路内置于所述拾音听头51内。
40.在一种优选实施方式中，所述嵌入式主板内置于机器人主体2或机器人头部3内，包括将存储于数据存储模块内的心音数据导入与导出的usb接口，所述usb接口安装于机器人主体2或机器人头部3壳体上。
41.在一种优选实施方式中，所述机器人采用12v锂电池供电，电源管理模块7设于机器人主体2或底座1上，用于完成充放电及系统功耗控制，充分保障系统运行的可靠性，并提高仪器的续航能力。
42.在一种实施方式中，所述人机交互模块4设于机器人主体2或机器人头部3上，包括高清电容触摸屏、摄像头、语音系统；高清电容触摸屏用于显示目标用户信息、指令输入、引导正确的心音数据采集及展示心音信号波形的细节，高清电容触摸屏一方面具有较高显示分辨率与色彩饱和度，能够良好展示信号波形的细节，另一方面可代替物理按钮，使得仪器设计更为简洁美观；摄像头用于获取目标用户面部图像及通过面部图像进行身份识别；语音系统用于语音指引及语音播报。
43.在一种实施方式中，该先天性心脏病智能筛查机器人还包括体重测量模块、身高测量模块、体温测量模块；体重测量模块用于测量目标用户体重并存储于数据存储模块内；身高测量模块用于测量目标用户身高并存储于数据存储模块内；体温测量模块用于测量目标用户体温并存储于数据存储模块内。
44.本先天性心脏病智能筛查机器人的使用方法为：先通过usb接口将心音样本库导入到数据存储模块内，目标用户面向于机器人站立，摄像头通过面部图像进行身份识别，身
份识别成功后进入先天性心脏病智能筛查模式，高清电容触摸屏播放视频引导目标用户分别将心音拾音模块5与血氧饱和度监测模块6使用医用消毒湿巾消毒后置于身体合适位置进行心音采集及血氧饱和度监测，语音系统播报相关情况，心音采集及血氧饱和度监测结束后引导目标用户将心音拾音模块5与血氧饱和度监测模块6放回原处，机器人通过获取目标用户的心音信号通过嵌入式主板处理后与心音样本库进行比对，并通过语音系统播报比对结果，通过高清电容触摸屏显示比对结果及血氧饱和度的相关情况，无异常时提示操作完成，有异常时提示稍后重试或者建议就医验证。
45.很显然，能够对上述的先天性心脏病智能筛查机器人以及相应的方法进行部件的修改和/或增加，而不脱离本实用新型的领域和范围。
46.同样清楚的是，虽然本实用新型已对该先天性心脏病智能筛查机器人进行详细描述，本领域的技术人员必定能够获得许多先天性心脏病智能筛查机器人的其它等效形式的先天性心脏病智能筛查机器人和相应的方法，该先天性心脏病智能筛查机器人和相应的方法具有如权利要求所述的特征，因此都位于由此限定的保护领域范围内。