基于超声心动图的儿童先天性心脏病智能诊断系统

1.本发明属于医学图像智能处理技术领域，具体涉及一种儿童先天性心脏病智能诊断系统，


背景技术：

2.先天性心脏病(congenital heart disease，chd)简称先心病，是指在胚胎发育时期由于心脏及大血管的形成障碍或发育异常而引起的心脏解剖结构异常，或出生后应自动关闭的通道未能闭合(在胎儿期属正常)所产生的疾病。chd居我国出生缺陷首位，是新生儿和儿童死亡主要原因，在活产新生儿中的发病率约9
‰
。在chd的所有亚型中，室间隔缺损(ventricular septal defect，vsd)、房间隔缺损(atrial septal defect,asd)和动脉导管未闭(patent ductus arteriosus,pda)是三种最常见的类型。
3.asd是指胚胎时期房间隔的发育出现异常，致左右心房之间的间隔出现缺损。asd是最常见的先心病之一，占所有chd的25％。因缺损位置不同可分为继发孔型asd、原发孔型asd、静脉窦型asd和冠状静脉窦型asd，其中继发孔型asd是最常见的类型。vsd是左、右心室之间的异常交通，是最常见的先天性心脏畸形，占所有chd的50％。根据解剖部位不同，vsd可进一步分为膜周型、嵴下型、嵴内型、干下型及肌部缺损。其中膜周型vsd最常见，约占全部vsd的60％。动脉导管是在主动脉弓降部与肺动脉之间相连的管道，在胎儿时期，胎儿循环系统依赖其存在，但在出生后应自然闭合，如未能闭合，则存留一个主动脉与肺动脉之间的通道，称pda。足月儿中孤立性pda的发病率约为活产婴儿的1/2000，占所有先心病的5％至10％。
4.少数症状较轻的先心病，可以在小儿生长发育过程中自然愈合。而严重先心病则可导致患儿在婴儿期因缺氧、反复肺炎或心力衰竭等并发症死亡。由于缺乏有效的chd预防方法，chd的早期识别和诊断具有重要意义，这不仅是及时有效治疗先心病的重要保证，也是降低该病自然死亡率的关键。经胸超声心动图被认为是检测和诊断先心病的首选方法，也是制定手术或介入治疗方案和评估疗效的主要依据。复杂先心病多表现为明显的超声心动图异常，易被基层医院的医生识别，及时转到上级儿童医院治疗。然而，由于缺乏经验丰富的超声心动图医师，仍有许多先心病被延误诊断，尤其是一些简单先心病的亚型，如asd、vsd和pda。误诊或漏诊往往导致患儿反复下呼吸道感染，或进展为埃森曼格综合征，错过最佳手术时机，并严重影响患儿的预后和未来生活。
5.近年来，人工智能被广泛应用于计算机辅助诊断。目前，cnn已被应用于超声心动图诊断的多个方面，包括心超切面识别
[1-2]
、心腔描绘
[2-3]
、心脏结构参数和心功能指标的测量
[2,4]
等。madani等人利用267位受试者的超声心动图训练cnn模型辨别不同的心动图切面，结果该模型可自动识别15种心超标准视图，总体准确率达到91.7％，为实现全自动的计算机辅助超声心动图诊断打下了基础
[1]
。zhang等所构建的13层cnn模型，能够在5个常规超声切面下描绘各心腔并自动输出心腔的长度、面积、体积等估计值，其输出值的内部一致性优于手动测量
[2]
。
[0006]
在基于超声心动图影像的心脏疾病诊断方面，cnn的应用仍处于起步阶段，已初步表现出良好性能，具有极大的临床转化潜力。如利用胸骨旁左室长轴切面和心尖四腔切面超声心动图影像训练cnn模型检测肥厚型心肌病和心脏淀粉样变，roc曲线下面积分别达到了0.93和0.87
[2]
。然而，目前尚未见研究报道基于超声心动图的先心病智能诊断模型。在我国，超声心动图检查已在各地得到了推广和普及，建立基于超声心动图的先心病智能诊断系统，将有助于优质医疗资源下沉基层，使各地区、各级医院的病人都能享受到基于大数据的专家级别、甚至高于专家级别的诊断决策。此外，在常规诊疗工作中已积累了数量庞大的临床数据和各类医疗影像资料，若能对现有资源进行充分开发利用，将对促进病人健康和医疗事业发展具有重大意义。


技术实现要素：

[0007]
为了克服现有技术的不足，本发明的目的在于提供一种基于超声心动图的常见儿童先天性心脏病智能诊断系统，排除人为因素影响，实现多种常见儿童先天性心脏病的智能诊断。
[0008]
本发明构建了首个大型儿童超声心动图记录的数据集，关键视图由经验丰富的医生标记。
[0009]
本发明提供的基于超声心动图的常见儿童先天性心脏病智能诊断系统，可以诊断三种常见的先天性心脏病。具体来讲，本发明构建了一个超声心动图视频中关键帧选取和基于关键帧的先天性心脏缺陷定位的两阶段模型，并且以超声心动图的两种模态—灰色和彩色超声图同时作为输入，同时提高模型鲁棒性和精度。具体包括：超声心动视频关键帧选取模块，先天性心脏缺陷定位检测模块；其中：
[0010]
(1)超声心动图视频关键帧选取模块，可以大幅减少后续定位模型的计算量。
[0011]
为了帮助医生诊断心脏缺损，本发明设计了一个用于从超声心动图视频中选取关键帧的模块，可以自动预测患者是否有心脏缺损，并给出相应的置信值。具体地，该选取模块使用resnet的一个修改版本作为分类网络模型；该分类网络模型有34层，由三个部分组成：
[0012]
第一部分是输入头，由7*7卷积层、bn层、relu层和池化层组成；经过输入头之后，将六个通道的输入数据转换为64个通道的特征图；
[0013]
第二部分由四个结构相似的残差块组成；所述残差块内部是一系列卷积、bn、relu级联，在两个卷积层之间添加有一个跳跃链接，这使得在训练期间更容易将梯度传递回早期层，并加速了模型的收敛；
[0014]
第三部分是分类头，由全局平均池化、全连接层和softmax功能组成；其中：
[0015]
全局平均池化是计算特征图每个通道内所有像素的平均值，由以下等式给出：
[0016][0017]
其中，w和h是特征图的宽度和高度，f(x，y)表示特征图上(x，y)处的值；
[0018]
全连接层将特征图的通道数转换为分类的类别数；
[0019]
softmax函数用以下等式映射到[0,1]之间的神经元输出：
[0020][0021]
其中，xi表示全连接层中的第i个神经元的输出值，si表示softmax函数之后xi的映射值，这可以看作模型认为患者属于第i类的概率值。
[0022]
(2)先天性心脏缺陷定位模块
[0023]
为了进一步帮助医生进行诊断并提供更多信息，本发明开发了用于先天性心脏缺陷定位的模块，可以提供患者心脏缺损的准确位置，该先天性心脏缺陷定位模块是基于faster-rcnn
[5]
设计的检测网络模型。对于心脏超声图像，检测模型将输出几个检测框，每个检测框代表一个有缺陷区域，检测框的对角线长度代表缺陷的长度。这种直观的辅助结果可以大大提高医生的诊断效率。检测模型由三部分组成：特征提取网络、候选框生成网络和输出头部分；其中：
[0024]
所述特征提取网络，采用预先训练好的vgg或resnet模型，其主要功能是生成高级特征；这里，所谓高级特征是指能反应图像语义、理解上下文关系的特征；
[0025]
所述候选框生成网络，用于生成一系列矩形候选框，每个候选框都有一个置信度分数，表示框中存在心脏缺损的概率。检测模型为每个输入图像生成大约2000个候选框。这些候选框通过非最大值抑制(nms)算法
[6]
进一步筛选。最后，剩下的候选框和特征提取网络生成的高级特征将被发送到输出头进行最终输出。候选框生成网络和特征提取网络共享参数。
[0026]
所述输出头，其中有两个平行的分支；第一个分支使用全连接层和softmax函数来预测候选框中的缺陷类型，另一个分支输出检测框的位置。
[0027]
为了防止过于复杂的模型导致过拟合，本发明进行了五次交叉验证实验，就是对模型选择不同的训练集和测试集，进行多次训练，最后得到优化模型。具体步骤如下：
[0028]
首先，将患者图像与正常对照图像均匀混合；然后，将所有图像分为五部分，每次选择四部分作为训练集，剩余部分作为测试集，重复五次，每次选择不同的测试集；最后，将五个结果的平均值作为模型的最终评价指标。分类模型和检测模型都可以端到端地进行训练。
[0029]
在分类模型中，使用交叉熵作为模型的损失函数，公式如下：
[0030][0031]
其中，yi表示第i张图像的真实类别，pi是模型预测第i张图像为患者的概率值，n是图像数量。
[0032]
在检测模型中，对于第一个分支，使用交叉熵作为分类损失函数；对于第二个分支，使用第一范式的平滑版本作为回归损失函数，公式如下：
[0033][0034]
其中，x是预测值与真实值的差。检测模型的总损失函数是分类损失函数和回归损失函数的加权和。
[0035]
测试时，首先将房间隔图像输入到分类网路模型中，分类网络模型对患者是否存
在房间隔缺损进行诊断，如果患者被诊断为房间隔缺损，则将图像输入到检测网络模型中，为患者提供房间隔缺损的确切位置；
[0036]
本发明还提供首个用于本发明系统进行训练和测试的大型儿童超声心动图记录的数据集，关键视图由经验丰富的医生标记。儿童超声心动图包括两种模态—灰色和彩色超声图；数据集的构建具体包括：
[0037]
(1)数据收集
[0038]
从复旦大学附属儿科医院总共收集了5,025名儿童，包括2,161名健康对照者、1,039名asd、965名vsd和860名pda。每个成员都有超声心动图视频和静止图像，足以进行诊断。使用philips ie 33作为仪器，传感器的频率范围为3-8mhz或1-5mhz。二维成像结合彩色多普勒血流图可以显示缺损的位置、大小和血流方向。根据这三种先心病的解剖学特点，观察房间隔、室间隔和左肺动脉处是否有缺损。收集两个标准二维视图和彩色多普勒血流图，其中胸骨旁大动脉短轴视图(pssax)用于诊断vsd和pda，两个心房的剑突下长轴视图(sxlax)用于诊断asd。所有患者的诊断结果均由至少两名高级超声医生或术中最终诊断证实。
[0039]
(2)数据集标注和质控
[0040]
每个超声心动图由患者同时采集的视频和静止图像组成。本发明下载了所有dicom格式的超声心动图，关键帧由经验丰富的医生手动选择。数据标注的过程如下：每一次超声心动图均通过三级评估系统进行评估。一级评估由具有一定的质控基础的医学生进行。第二级评估由两名超声心动图专家执行，第三级评估由两名具有10年以上临床经验的超声心动图专家执行。这种三级评估系统可以确保每个超声心动图都有正确的诊断标签和病变位置。在完成训练集数据收集后，随机选择100名参与者，并由第三位具有20多年临床经验的超声心动图专家进行检查，以尽量减少计算建模过程中的人为错误。最后随机选择1,039例asd、965例vsd和860例pda患者进行模型训练。相应的正常对照组分别为629、805和727。
[0041]
为了评估本发明，首先从训练集中随机选择100名受试者，并在内部验证初始检测网络模型的诊断性能。其次，使用独立于训练集的验证数据集进行外部验证。外部验证使用超声心动图图像作为前瞻性数据，从2020年7月1日至2020年11月30日，在复旦大学附属儿科医院接受先天性心脏病治疗的患者和接受超声心动图检查的儿童。包含和排除图像的标准与训练数据集的标准相同。外部验证数据集中包括两个心房的剑突下断面和每个受试者胸骨旁大动脉短轴切面，包括约110名受试者的asd、vsd和pda。根据资深超声医生的结果或术中最终诊断标准分析模型的roc曲线，可以评价模型的敏感性、特异性和准确性。
[0042]
实验结果表明，当输入单个超声心动图的标准切面时，本发明在外部独立验证集上对三种常见先心病的诊断可达到100％的敏感性和特异性。
[0043]
本发明的有益效果在于：根据本发明收集的大规模二维标准视图或彩色多普勒血流图像数据集，提出利用cnn技术建立常见先心病的智能诊断模型，可以诊断选定的二维标准视图或彩色多普勒血流图像。该模型对asd、vsd和pda具有较高的诊断准确率，在未来尤其是在基层医院具有广泛的临床影响。例如，医生可以选择二维标准视图或彩色多普勒血流成像，并使用人工智能模型对患者进行初步诊断。然后，阳性病例可以转移到专科医院进行进一步诊断和治疗。随着人工智能和深度学习技术的发展，深度学习方法可以帮助医生
诊断先心病，这不仅可以减少人工疲劳诊断造成的诊断错误，而且可以改善偏远地区医生的辅助诊断和教育培训水平。
附图说明
[0044]
图1为本发明的网络框架图。
[0045]
图2为asd、vsd、pda的胸骨旁大动脉短轴切面和剑下两房心切面展示。
[0046]
图3为利用本发明系统对vsd、asd、pda先心病检测结果的可视化示例。红框是医生的注释，绿框是chd网络模型的预测结果。
具体实施方式
[0047]
下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0048]
采用图1中的网络结构，使用geforce rtx 2080ti gpu来训练分类模型和检测模型，使用pytorch框架来构建本发明的模型。对于分类模型，通过最小化预测类别和真实类别之间的交叉熵损失来训练分类模型。在优化过程中，使用了adam优化器和学习率衰减策略。对于检测模型，通过最小化预测类别和真实类别之间的交叉熵损失来训练其分类分支，通过最小化真实边界框和预测边界框之间的差异来训练其回归分支。与分类模型类似，还使用了adam优化器，初始学习率为0.0001。超参数包括置信值、批次大小和nms阈值分别设置为0.1、6和0.1。该模型经过300次迭代后可以收敛。
[0049]
分类网络模型使用resnet的一个修改版本，有34层，由三个部分组成：
[0050]
第一部分是输入头，其主要目的是提取图像的低级语义信息，例如纹理、形状、颜色等。该部分由7*7卷积层、bn层、relu层和池化层组成；经过输入头之后，输入头将六个通道的输入数据转换为64个通道的特征图，从而在高维空间提取图像特征表示；
[0051]
第二部分是残差块组，主要目的是增加图像感受野，提取更加高级的语义信息。残差块组由四个结构相似的残差块组成，残差块内部是一系列卷积、bn、relu级联。两个卷积层之间有一个跳跃链接，将残差块的初始输入和网络预测的残差相加从而保留更多图像原始信息。同时这种设计也使得训练期间的梯度能更容易传递回早期层，并加速了模型的收敛；
[0052]
第三部分是分类头，它利用上述部分获得的图像特征对图像进行分类。分类头由全局平均池化、全连接层和softmax功能组成。根据提取的图像特征，分类头预测该图像在每种类别上的概率，并将概率值最大的类别作为该图像的最终分类结果。
[0053]
测试时，首先将房间隔图像输入到分类模型中，分类模型将对患者是否存在房间隔缺损进行诊断，如果患者被诊断为房间隔缺损，则将图像输入到检测模型中，这将为患者提供房间隔缺损的确切位置。
[0054]
分类模型基于5倍交叉验证的asd,vsd和pda的分类效果见表1。
[0055]
检测模型对asd、vsd和pda病例异常区域的检测效果见表2。
[0056]
表1
[0057]
类型敏感性特异性aucasd100％
±
0.0％100％
±
0.0％1.0
±
0.0
vsd100％
±
0.0％100％
±
0.0％1.0
±
0.0pda100％
±
0.0％100％
±
0.0％1.0
±
0.0
[0058]
表2
[0059]
类型精度召回率f1-scoreasd0.9550.9070.930vsd0.9830.8510.912pda0.9220.9220.922
[0060]
图2为asd、vsd、pda的胸骨旁大动脉短轴切面和剑下两房心切面展示。
[0061]
图3为利用本发明系统对vsd、asd、pda先心病检测结果的可视化示例。红框是医生的注释，绿框是chd网络模型的预测结果。
[0062]
参考文献
[0063]
[1]madani a,arnaout r,mofrad m,et al.fast and accurate view classification of echocardiograms using deep learning[j].npj digit med,2018,1:6.
[0064]
[2]zhang j,gajjala s,agrawal p,et al.fully automated echocardiogram interpretation in clinical practice[j].circulation,2018,138(16):1623-1635.
[0065]
[3]li y,yi g,wang y,et al.segmentation of fetal left ventricle in echocardiographic sequences based on dynamic convolutional neural networks[j].ieee transactions on biomedical engineering,2017,pp(8):1-1.
[0066]
[4]a,smistad e,aase sa,haugen bo,lovstakken l.real-time standard view classification in transthoracic echocardiography using convolutional neural networks[j].ultrasound med biol.2019,45(2):374-384.
[0067]
[5]ren,s.,he,k.,girshick,r.&sun,j.faster r-cnn:towards real-time object detection with region proposal networks.ieee trans.pattern anal.mach.intell.39,1137
–
1149(2017).
[0068]
[6]hosang,j.,benenson,r.&schiele,b.learning non-maximum suppression.in proceedings-30th ieee conference on computer vision and pattern recognition,cvpr 2017(2017)。