一种图像异常检测方法及存储介质

本发明涉医学影像处理领域，特别涉及一种图像异常检测方法及存储介质。

背景技术：

先天性心脏病(congenitalheartdisease,chd，以下简称先心病)是最常见的先天性出生缺陷，其中室间隔缺损(ventricularseptaldefect,vsd)、房间隔缺损(atrialseptaldefect,asd)是最常见的非紫绀型先心病，其发病率约占先心病的25％～35％。目前临床上常用的先心病影像诊断方法包括胸片、超声心动图(echocardiography,echo)、计算机断层(computedtomography,ct)、磁共振(magneticresonanceimaging,mri)及心导管造影(angiocardiography,cag)。echo是目前临床最常用的先心病筛查方法。心脏磁共振(cardiovascularmagneticresonance,cmr)检查时间长，镇静要求高，空间分辨率略低以及检查费用相对高，目前在亚洲地区先心病术前诊断中应用较少。随着ct快速发展，低辐射、高空间和时间分辨率、低镇静要求(甚至可以非镇静状态下扫描)，在儿童先心病诊断中逐渐应用广泛。由于echo对于心外结构的显示不如心脏ct(cardiacct,cct)和cmr。目前临床术前诊断先心病往往echo结合cct，两者互为补充，提供更为有效、全面的先心病诊断信息。

cct完成扫描后需要专科影像医师进行后处理，人工分割并重建图像，最后根据重建的图像进行诊断，每个病例的后处理时间普通胸部ct增强要长，诊断效率较低；另外目前高端ct仪器较为普遍，二级医院都拥有64层以上的螺旋ct或双源ct，但是先心病诊断专业性强，非专科医院影像医师的误诊和漏诊率较高。目前人工智能尤其是深度学习技术结合影像数据，被越来越多地应用到病灶分割、疾病检测、辅助诊断等各种医疗影像分析任务中。是否可以应用人工智能方法进行心脏疾病自动识别，是本文的研究目的所在。

技术实现要素：

本研究提出一种基于深度学习的心脏影像的分类方法，旨在实现非专科医院的影像医师对心脏疾病的快速准确诊断，以初步达到人工智能辅助诊断简单先心病的目的。

为达到上述目的，本发明提供一种心脏影像的分类方法，包括如下步骤：获取步骤，获取多个患者心脏影像以及正常心脏影像的数据化样本，每一数据化样本包括一心脏影像被数据化处理后获得的一组影像数据；样本标签步骤，将所述心脏影像标注标签，所述标签为所述心脏影像的疾病类别；样本分类步骤，将所述数据化样本分成训练样本及测试样本两类；数据模型构建步骤，利用所述训练样本的影像数据及组别标签构建并训练初级数据模型；验证步骤，根据至少一测试样本的影像数据对所述初级数据模型进行交叉验证处理；数据模型优化步骤，根据交叉验证的结果构建优化数据模型；被检测样本采集步骤，采集一被检测样本，其为一被检测人的心脏图像的数据化样本，包括该被检测人的心脏图像被数据化处理后获得的一组影像数据；以及疾病判断步骤，将所述待检测样本录入至所述优化数据模型，所述优化数据模型获取所述待检测样本的组别标签，判断所述被检测人的心脏状态。

进一步地，所述获取步骤，包括如下步骤：影像获取步骤，采用ct机拍摄患者的心脏；样本预处理步骤，对所述影像图进行深度学习的数据化处理，获取两组以上影像数据，每一组影像数据包括至少一特征数据；数据化样本生成步骤，生成两个以上数据化样本，每一数据化样本包括一该患者心脏图像数据化处理后获得的一组影像数据。

进一步地，所述样本预处理步骤，包括如下步骤：分区步骤，将每一心脏图像分成两个以上特征区域；以及特征提取步骤，对每一特征区域进行卷积池化处理，提取每一特征区域的特征数据；所有特征区域的特征数据的集合即为所述影像数据。

进一步的，所述初级数据模型包括rpn网络与fastr-cnn网络，所述rpn网络与fastr-cnn网络共享底层卷积层，底层卷积层包括五层卷积层，底层卷积层后包括第六卷积层，第六卷积层连接两个卷积分支，通过两个卷积分支分别输出初始区域分类得分与边界框，构成rpn网络，通过rpn网络提取目标骨骼的初始兴趣区域；所述底层卷积层通过roi池化层连接第一全连接层和第二全连接层，所述第一全连接层和第二全连接层根据所述初始兴趣区域分别输出分类得分与边界框位置坐标。

进一步的，所述验证步骤，包括如下步骤：测试样本的组别标签预估步骤，将一测试样本的一组影像数据与所述初级数据模型相乘，对其乘积进行四舍五入处理，获取该测试样本的组别标签预估值；或者，将一测试样本的两组以上质谱数据与所述数据模型相乘，将其乘积按照数值大小排成数列，对其中位值进行四舍五入处理，获取该测试样本的组别标签预估值；测试样本的组别标签对比步骤，将该测试样本的组别标签预估值与其组别标签对比，判断所述初级数据模型的准确率。

进一步地，在所述数据模型优化步骤中，当所述初级数据模型的准确率小于一预设阈值时，返回所述样本分组步骤，重新选择训练样本。

进一步地，所述被检测样本采集步骤，包括如下步骤：被检测影像获取步骤，采用ct机拍摄一被检测人的心脏影像图；被检测样本预处理步骤，对所述心脏影像图进行数据化处理，获取一组被检测影像数据，包括至少一被检测特征数据；被检测数据化样本生成步骤，生成一被检测数据化样本，包括所述被检测影像数据。

进一步地，所述被检测样本预处理步骤，包括如下步骤：被检测样本分区步骤，将所述被检测人的心脏影像图分成两个以上特征区域；以及被检测样本特征提取步骤，对每一特征区域进行卷积池化处理，提取每一特征区域的特征数据；所有特征区域的特征数据的集合即为所述被检测影像数据。

进一步地，所述验证步骤中，所述交叉验证为十字交叉验证。

本发明还提供一种存储介质，该介质上存储有计算机程序，在处理器执行所述计算机程序时可实现权利要求任一项所述的方法。

本发明的有益效果是：本发明提出心脏影像的分类方法及存储介质，本发明通过采用的深度学习算法，通过对心脏疾病图片进行数据采集，接着进行特征提取，并通过海量的图片数据进行模型的训练，最后搭建好数据模型。本发明还可以通过对测试的图片影像进行对搭建好的数据模型进行验证，并可以通过自反馈对数据模型进行不断的优化，将医学影像的预测率提高。本发明最后可以集成到医院系统中，可以进行同步批量处理，为医院工作人员提供帮助，可以提高工作效率。

附图说明

下面结合附图和实施例对本发明作进一步的描述。

图1为本发明提供的心脏影像的分类方法的流程图；

图2为本发明所述获取步骤的流程图；

图3为本发明样本预处理步骤的流程图；

图4为本发明验证步骤的流程图；

图5为本发明被检测样本采集步骤的流程图。

具体实施方式

以下是各实施例的说明是参考附加的图式，用以例示本发明可以用湿湿的特定实施例。本发明所提到的方向用语，例如上、下、前、后、左、右、内、外、侧等，仅是参考附图式的方向。本发明提到的元件名称，例如第一、第二等，仅是区分不同的元部件，可以更好的表达。在图中，结构相似的单元以相同标号表示。

本文将参照附图来详细描述本发明的实施例。本发明可以表现为许多不同形式，本发明不应仅被解释为本文阐述的具体实施例。本发明提供这些实施例是为了解释本发明的实际应用，从而使本领域其他技术人员能够理解本发明的各种实施例和适合于特定预期应用的各种修改方案。

如图1所示，本发明提供一种心脏影像的分类方法，包括如下步骤s1～s8：

s1、获取步骤，所述获取步骤目的主要是将两个以上同性别青少年手骨影像的数据化样本，每一数据化样本包括一青少年的年龄及该青少年的手骨影像被数据化处理后获得的一组影像数据；

如图2所示，所述获取步骤包括如下步骤s11～s13：

s11、影像获取步骤，采用ct机拍摄患者的心脏。

s12、样本预处理步骤，对两个以上所述心脏影像图进行数据化处理，获取两组以上影像数据，每一组影像数据包括至少一特征数据。

所述样本预处理步骤，如图3所示，具体的包括如下步骤s121～s122。

s121、分区步骤，将每一心脏影像图分成两个以上特征区域。

s122、特征提取步骤，对每一特征区域进行卷积池化处理，提取每一特征区域的特征数据；所有特征区域的特征数据的集合即为所述影像数据。

s13、数据化样本生成步骤，生成两个以上数据化样本，每一数据化样本包括多个患者心脏影像以及正常心脏影像被数据化处理后获得的一组影像数据。

s2、样本标签步骤，将所述心脏影像标注标签，所述标签为所述心脏影像的疾病类别。

有vsd和asd缺损的标注均由1名低年资医师初步标注，再由1名先心病影像诊断经验丰富的高年资影像医师审核确认后完成图像标注。所有病例均根据心导管造影和手术结果为参考标准，通过观察ct图像上有无房、室间隔异常分流，对训练集和测试集数据进行缺损标注，采用itk-snap3.8.0在cct断层图像上相应位置进行室间隔缺损和房间隔缺损的标注，并记录影像医师对每例缺损的判别及标注时间。

s3、样本分类步骤，将所述数据化样本分成训练样本及测试样本两类。所述训练样本用以训练并搭建本发明的数据模型，所述测试样本主要用于对所述数据模型进行优化。

s4、样本分组步骤，将所述训练样本被分成两个以上组别，同一组别的训练样本标识有相同的组别标签，所述组别标签代表疾病中种类。

s5、数据模型构建步骤，利用两个以上训练样本的影像数据及组别标签构建并训练初级数据模型；所述初级数据模型包括rpn网络与fastr-cnn网络，所述rpn网络与fastr-cnn网络共享底层卷积层，底层卷积层包括五层卷积层，底层卷积层后包括第六卷积层，第六卷积层连接两个卷积分支，通过两个卷积分支分别输出初始区域分类得分与边界框，构成rpn网络，通过rpn网络提取目标骨骼的初始兴趣区域；所述底层卷积层通过roi池化层连接第一全连接层和第二全连接层，所述第一全连接层和第二全连接层根据所述初始兴趣区域分别输出分类得分与边界框位置坐标。

s6、验证步骤，主要目的是根据至少一测试样本的影像数据对所述初级数据模型进行交叉验证处理，核实本方法提出的数据处理模型；

如图4所示，所述验证步骤包括如下步骤s61～s62。

s61、测试样本的组别标签预估步骤，将一测试样本的一组影像数据与所述初级数据模型相乘，对其乘积进行四舍五入处理，获取该测试样本的组别标签预估值；或者，将一测试样本的两组以上质谱数据与所述数据模型相乘，将其乘积按照数值大小排成数列，对其中位值进行四舍五入处理，获取该测试样本的组别标签预估值。

s62、测试样本的组别标签对比步骤，将该测试样本的组别标签预估值与其组别标签对比，判断所述初级数据模型的准确率。

s7、数据模型优化步骤，根据交叉验证的结果构建优化数据模型；在所述数据模型优化步骤中，当所述初级数据模型的准确率小于一预设阈值时，返回所述样本分组步骤，重新选择训练样本。并对所述样本分组中的所剩样本作为测试样本，不断重复的进行所述数据模型的优化；所述交叉验证为十字交叉验证。

s8、被检测样本采集步骤，所述被检测样本采集步骤主要目的是采集一被检测样本，其为一被检测人的手骨影像的数据化样本，包括该被检测人的手骨影像被数据化处理后获得的一组影像数据；

如图5所示，所述被检测样本采集步骤，包括如下步骤s81～s83：

s81、被检测影像获取步骤，采用ct机拍摄一被检测人的心脏影像图，该被检测人的性别与所述青少年的性别相同；

s82、被检测样本预处理步骤，对所述检测的心脏影像图进行数据化处理，获取一组被检测影像数据，包括至少一被检测特征数据。所述被检测样本预处理步骤，包括如下步骤：被检测样本分区步骤，将所述被检测人的心脏影像图分成两个以上特征区域；以及被检测样本特征提取步骤，对每一特征区域进行卷积池化处理，提取每一特征区域的特征数据；所有特征区域的特征数据的集合即为所述被检测影像数据

s83、被检测数据化样本生成步骤，生成一被检测数据化样本，包括所述被检测影像数据。

s9、判断步骤，将所述待检测样本录入至所述优化数据模型，所述优化数据模型获取所述待检测样本的组别标签，输出所述被检测人的标签类别。

本发明也可以集成到医院系统中，可以进行同步批量处理，只需要批量地在计算机系统中输入待测试的医学影像图片，即可以输出每一病人相对应的骨龄。本发明可以为医院工作人员提供帮助，可以提高工作效率。

本发明提出一种图像异常检测方法，本发明通过采用现有非常火热的深度学习算法，通过对骨龄图片进行数据采集，接着进行特征提取，并通过海量的图片数据进行模型的训练，最后搭建好数据模型。本发明还可以通过对测试的图片影像进行对搭建好的数据模型进行验证，并可以通过自反馈对数据模型进行不断的优化，将医学影像的预测率提高。

本发明采用十折交叉验证法来评估fasterrcnn模型的分类性能。根据每次训练的模型对测试集数据进行测试，如图1所示，对于检测到缺损的ct图像层面，深度学习模型输出预测的缺损位置及其对应的概率score。按照预测阈值0.7，挑选出输出概率score大于0.7的位置并按照降序排列挑选最大概率所对应的位置输出预测结果，同时生成与医师标注的金标准计算所得的重合度dice系数，对于未检测到缺损的ct层面图像将不生成绿框，其dice系数为0。根据临床上ct诊断缺损的标准，即通过观察室间隔、房间隔的连续性是否有中断来判断有无室间隔或者房间隔缺损，如果某一病例多个cct层面中，有一层或一层以上层面模型自动生成出缺损绿框且dice系数大于阈值，则将该病例认为模型预测阳性，反之则认为模型预测阴性。计算每一次测试的准确性、敏感性、特异性、auc及误检率，并最终通过对比这十次分类结果的平均值，来评估fasterrcnn对vsd及asd的检测效果。

本发明还提供一数据实施例，数据集由165例，中位年龄9.00(5.00，14.75)个月，男性92例，女性73例，其中包括vsd病例84例，asd病例66例，正常15例。每次分别从vsd、asd数据集中各随机选取90％的病例(135例)作为训练集，10％的病例(15例)作为测试集，15例正常cct也作为测试集，共进行10次。训练集及测试集数据间相互独立，数据集在任何一组患者之间没有重叠。训练集用于生成vsd/asd深度学习模型，模型性能评价基于测试集结果得到。

fasterr-cnn深度学习模型经过十折交叉验证后的平均测试结果见表2。fasterr-cnn深度学习模型对总测试病例、vsd病例及asd病例的检测准确性分别为84.93％、86.84％及92.58％。深度学习总测试集模型、vsd模型及asd模型的auc值分别为0.85、0.81和0.89。在十次测试中，深度学习模型平均每次误检测4.5例，vsd相对于asd更容易被误诊，平均每次测试中平均有2例正常被误检为缺损病例。深度学习模型对总测试病例、vsd病例及asd病例的平均误检率为15.07％、13.16％及7.42％。对本研究中，深度学习模型对测试集病例进行测试，平均每张图像0.15秒，平均每例测试时间约为30秒，而影像医师对测试病例的平均每例缺损判别时间约为10分钟。十次测试的mcnemar检验p均大于0.05，且平均kappa值为0.70(p<0.05)。具体实验结果如下表格：

表1病例基本信息及数据构成

表2十折交叉验证平均结果

深度学习利用多层神经网络从大量数据中进行学习，目前深度学习在医学影像领域有着广泛的应用，如图像识别及分类、图像分割、图像配准、疾病辅助诊断等。本文通过fasterr-cnn模型输入原始的cct图像，输出室间隔缺损或房间隔缺损的所在的位置。fasterr-cnn是一种用于目标检测的深度学习技术，其最大的特点是在fastr-cnn的基础上加上rpn，rpn是一种可以进行端到端训练的全卷积网络(fullconvolutionalnetwork,fcn)，可以生成高质量的候选区域，然后送入fastr-cnn进行检测。为了更加客观地评价fasterr-cnn模型检测室间隔缺损或房间隔缺损的性能，本文使用十折交叉验证方法，将缺损数据集随机分成10份，

使用其中9份缺损数据进行训练而将另外1份用作测试，并且每次补充1份正常cct数据进行测试。该过程重复十次，每次使用的测试数据不同，可以避免vsd和asd病例数据不平衡导致的结果差异及过拟合，经过十次测试的平均结果用来评价fasterr-cnn深度学习模型。

本研究结果显示fasterr-cnn深度学习模型在十次不同的测试数据集中实现室间隔缺损和房间隔缺损的平均检测准确性、敏感性、特异性等均较高(>80％)，平均auc值大于0.85，同时深度学习模型对每例缺损的平均检出时间也远远小于影像医师的判读时间，深度学习模型较影像医师的判读时间提高了20倍。该深度学习模型能够将vsd或asd这两种不同位置的缺损检测出来，vsd病例及asd病例的平均检测准确性、敏感性、特异性均较高(>75％)，平均auc值均大于0.80，并且asd的检测准确性和敏感性较vsd高，深度学习模型对asd的检出能力尤为显著。本研究通过10次测试的mcnemar检验和kappa检验，表明fasterr-cnn深度学习模型与影像医师每次对vsd和asd的检测均没有差异(p>0.05)，并且具有较高的一致性(平均kappa值为0.70，p<0.05)，可以作为一种辅助影像医师进行vsd和asd检测的方法。fasterr-cnn深度学习模型对asd病例的敏感性更高，其对vsd病例的误检率大于asd。室间隔缺损更容易误检的原因可能是心底部靠近主动脉窦位置的室间隔组织较薄，不同于肌部及心尖部较厚的室间隔组织，加上ct扫描时左右心室造影剂浓度的不均匀性，可能在主动脉窦部被误认为存在较薄的室间隔组织影像，或受到ct扫描层厚的影响，可能检测不到分流部位，从而造成深度学习模型对室间隔缺损的检测发生遗漏。跟影像医师相比，深度学习模型存在一定的假阳性率，在相对正常的cct测试中，平均有两例正常cct被误检测为室间隔或房间隔缺损阳性，观察假阳性病例后发现，在ct断层图像上的基底层面主动脉瓣窦位置存在相对较薄的室间隔或房间隔组织，容易被误认为是室间隔或房间隔组织中断的小缺损。因此，在接下来的研究中需要增加多种缺损类型的训练数据，不断地迭代更新模型，以提高模型对缺损尤其是室间隔缺损检测的敏感度和准确性。

本研究将深度学习fasterr-cnn方法用于室间隔缺损和房间隔缺损的检测，研究具有更佳的检出效果，其对于总测试病例的平均准确性和平均敏感性均达到85％及以上，平均每个病例的检测时间在30秒左右，大大缩短了影像医师对每个病例的诊断时间，提高了诊断效率，并且利用十折交叉验证表明该模型对不同的vsd或asd都有良好的检出能力，具有很好的鲁棒性。

应当指出，对于经充分说明的本发明来说，还可具有多种变换及改型的实施方案，并不局限于上述实施方式的具体实施例。上述实施例仅仅作为本实用新型的说明，而不是对发明的限制。总之，本发明的保护范围应包括那些对于本领域普通技术人员来说显而易见的变换或替代以及改型。