胎儿心脏超声视频中合格四腔心切面图像自动获取方法

detection with region proposal networks[j].ieee transactions on pattern analysis&machine intelligence,2017,39(6):1137-1149.中记载的检测胎儿头围超声图像中的五个解剖结构，根据是否检测到对应的解剖结构得到图像对应的评估得分，但该方法的评分效果比较依赖于人工设定的经验阈值。使用该方法来检测胎儿心脏超声视频，当阈值设得较低时，会有一些其他结构被误检，如图1(a)、图1(b)、图1(c)所示。
[0009]
而文献[9]：中国专利“一种对中晚孕期胎儿的超声切面图像进行质量控制的方法”(cn110464380a)利用文献[6]redmon j and farhadi a.2018.yolov3:an incremental improvement[eb/ol].[2021-11-15].https://arxiv.org/pdf/1804.02767.pdf检测多个胎儿超声切面图像的解剖结构，通过关键解剖结构对应的位置坐标计算其重合度，再根据重合度关联表过滤掉误检的解剖结构，最后通过组织-得分映射表得到关键结构过滤后的胎儿超声切面图像质量分数，该方法在一定程度上减少了目标检测模型的误检情况，但比较依赖于临床的先验知识。
[0010]
文献[10]：中国专利“超声切面图像质量控制方法、装置和计算机设备”(cn112070119a)利用文献[5]t.lin,p.goyal,r.girshick,k.he and p.doll
á
r,focal loss for dense object detection,in ieee transactions on pattern analysis and machine intelligence,vol.42,no.2,pp.318-327,1feb.2020,doi:10.1109/tpami.2018.2858826.检测多个胎儿超声切面图像的解剖结构，根据每个切面中的结构是否出现、是否清晰等规则，得到该胎儿超声切面图像是否为标准切面图像等评估结果，并生成每张图像的质量分数，其质量分数是通过相关解剖结构的权重与检测框置信度的加权和计算得到的，但实际解剖结构的检测框置信度可能与其清晰程度不完全匹配，如图2(a)、图2(b)所示。图2(a)中四腔心区域的瓣膜几乎看不到，但置信度却高于图2(b)，表明仅依靠检测框置信度来对胎儿心脏超声视频中的合格四腔心切面实现自动获取是不可靠的。
[0011]
在前人的基础上，文献[11]：中国专利“基于多任务的早孕期胎儿标准切面的自动质量控制方法”(cn113393456a)提出一种基于多任务的深层卷积神经网络来对早孕期胎儿标准切面进行自动质量控制，通过该网络获取切面图像对应的切面类别及其置信度、该切面图像中所有解剖结构的类别、坐标及其置信度，将每张超声切面图像对应的切面类别及该切面图像中所有解剖结构的类别输入到训练好的svm分类模型中，根据预先制定的匹配规则来判断切面图像是否标准，该方法的质控结果易受分类模块准确度的影响，尤其是当切面被误分类时，即使该切面上所有解剖结构的检测结果都符合原标准切面的要求，分类结果仍然为非标准切面。
[0012]
综上所述，仅使用目标检测或分类模型来对胎儿超声切面图像进行自动获取是不稳定、不可靠的，一方面分类模型无法定位解剖结构，不能将注意力全部集中到指定的解剖结构上，另一方面目标检测模型对解剖结构的检测框置信度与其清晰程度不完全匹配，易对超声图像的解剖结构造成误检，必须将目标检测和分类方法两者结合起来，采用先定位再分类的切面图像自动获取策略，以提升胎儿超声视频中合格四腔心切面图像自动获取的可靠性。


技术实现要素：

[0013]
针对分类模型无法对指定的解剖结构定位，因此不能够将模型的注意力全部集中
到四腔心区域；而目标检测模型不能准确反映四腔心区域的清晰程度，导致在高阈值下多漏检、低阈值下多误检的问题。本发明提出一种胎儿心脏超声视频中合格四腔心切面图像自动获取方法，先利用目标检测网络实现心脏区域定位，接着利用图像分类网络实现合格四腔心切面分类的策略，所得的排序结果与人眼排序结果吻合，能够有效获取胎儿心脏超声视频中合格四腔心切面图像，同时还可给出最佳的切面图像。
[0014]
本发明采取的技术方案为：
[0015]
胎儿心脏超声视频中合格四腔心切面图像自动获取方法，包括以下步骤：
[0016]
步骤1：对胎儿心脏超声视频进行分帧处理；
[0017]
步骤2：人工筛选出合格的四腔心切面图像，并对四腔心和降主动脉区域进行标注；
[0018]
步骤3：搭建并训练yolov5目标检测网络；
[0019]
步骤4：搭建并训练darknet53分类网络；
[0020]
步骤5：分帧处理，并利用yolov5目标检测网络逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉；
[0021]
步骤6：记录视频中是否存在降主动脉并提取检测到的四腔心区域图像；
[0022]
步骤7：利用darknet53分类网络对提取的准四腔心区域进行分类，同时计算分类为合格的四腔心切面图像得分，根据得分大小对这些切面图像进行排序，自动给出视频中的最佳四腔心切面图像。
[0023]
本发明一种胎儿心脏超声视频中合格四腔心切面图像自动获取方法，有益效果如下：
[0024]
1)、图像分类模型无法对超声切面图像中的解剖结构进行定位，因此不能够将模型的注意力全部集中到指定的解剖结构；而目标检测模型虽然能够给出解剖结构的位置坐标，但因其检测框置信度与其清晰程度不完全匹配，易对解剖结构造成误检。
[0025]
针对以上问题，本发明方法利用yolov5模型对关键解剖结构进行粗定位，将其提取出来后采用darknet53对关键解剖结构进行分类的方法，能减少yolov5在高阈值下多漏检与低阈值下多误检的情况。
[0026]
2)、合格的四腔心切面图像一般包括四腔心和降主动脉区域，由于胎儿心脏超声视频是连续、动态的，录制过程中会受到胎儿、医生技术水平等因素的影响，并不是每帧四腔心切面图像都存在清晰可见的降主动脉区域，这对判断四腔心切面图像是否合格造成了困难，且难以获取视频中最佳的四腔心切面图像。
[0027]
针对以上问题，本发明方法通过融合时序关系自动获取合格四腔心切面图像，该方法通过视频中是否存在降主动脉，判断其中的四腔心切面是否为准合格四腔心切面图像。接着将准合格的切面图像内的四腔心区域提取出来交由darknet53判断其是否真正合格，根据darknet53网络在softmax处理前的输出与降主动脉的检测置信度，计算出合格四腔心切面图像的得分，并根据得分大小对视频中的合格四腔心切面图像进行排序，由此不仅可以自动获取视频中的合格四腔心切面图像，而且还可同时给出最佳的四腔心切面图像。
[0028]
3)、为解决现有技术中对胎儿心脏超声视频中合格四腔心切面图像进行稳定可靠且准确的自动获取问题。本发明方法首先利用目标检测网络实现心脏区域定位，接着利用
分类网络实现合格四腔心切面分类的策略，有效减少了目标检测模型在高阈值下多漏检、低阈值下多误检的情况。
[0029]
4)、为解决上述3)中因未考虑视频帧上下文信息造成单独一帧不含降主动脉的四腔心切面图像其合格性难以判断的问题、以及难以获取视频中最佳四腔心切面图像的问题。在上述3)的基础上，本发明方法通过融合时序关系并构建合格四腔心切面图像得分公式，得到与人眼感知基本吻合的四腔心切面图像排序结果，能够有效提取胎儿心脏超声视频中合格四腔心切面图像，同时给出最佳的切面图像。
附图说明
[0030]
图1(a)为误检四腔心区域的图一；
[0031]
图1(b)为误检四腔心区域的图二；
[0032]
图1(c)为误检四腔心区域的图三。
[0033]
图2(a)为非标准的四腔心区域图；
[0034]
图2(b)为非标准的四腔心区域图。
[0035]
图3(a)为合格四腔心切面图像自动获取流程图(模型训练阶段)；
[0036]
图3(b)为合格四腔心切面图像自动获取流程图(模型使用阶段)。
[0037]
图4(1)为不合格的四腔心区域图像样图一；
[0038]
图4(2)为不合格的四腔心区域图像样图二；
[0039]
图4(3)为不合格的四腔心区域图像样图三；
[0040]
图4(4)为不合格的四腔心区域图像样图四；
[0041]
图4(5)为不合格的四腔心区域图像样图五；
[0042]
图4(6)为不合格的四腔心区域图像样图六；
[0043]
图4(7)为不合格的四腔心区域图像样图七；
[0044]
图4(8)为不合格的四腔心区域图像样图八。
[0045]
图5(1)为合格的四腔心区域图像样图一；
[0046]
图5(2)为合格的四腔心区域图像样图二；
[0047]
图5(3)为合格的四腔心区域图像样图三；
[0048]
图5(4)为合格的四腔心区域图像样图四；
[0049]
图5(5)为合格的四腔心区域图像样图五；
[0050]
图5(6)为合格的四腔心区域图像样图六；
[0051]
图5(7)为合格的四腔心区域图像样图七；
[0052]
图5(8)为合格的四腔心区域图像样图八。
[0053]
图6为划分后的darknet53分类数据集示意图。
[0054]
图7(a)为胎儿心脏超声视频中检测到四腔心和降主动脉的情况一图(仅检测到降主动脉)；
[0055]
图7(b)为胎儿心脏超声视频中检测到四腔心和降主动脉的情况二图(仅检测到四腔心)；
[0056]
图7(c)为胎儿心脏超声视频中检测到四腔心和降主动脉的情况三图(同时检测到降主动脉和四腔心)。
[0057]
图8(1)为准合格的四腔心切面图像中的四腔心区域样图一；
[0058]
图8(2)为准合格的四腔心切面图像中的四腔心区域样图二；
[0059]
图8(3)为准合格的四腔心切面图像中的四腔心区域样图三；
[0060]
图8(4)为准合格的四腔心切面图像中的四腔心区域样图四；
[0061]
图8(5)为准合格的四腔心切面图像中的四腔心区域样图五；
[0062]
图8(6)为准合格的四腔心切面图像中的四腔心区域样图六；
[0063]
图8(7)为准合格的四腔心切面图像中的四腔心区域样图七；
[0064]
图8(8)为准合格的四腔心切面图像中的四腔心区域样图八。
具体实施方式
[0065]
胎儿心脏超声视频中合格四腔心切面图像自动获取方法，包括：
[0066]
模型训练阶段，所述模型训练阶段包括以下步骤，如图3(a)所示：
[0067]
步骤1：对胎儿心脏超声视频进行分帧处理；
[0068]
步骤2：人工筛选出合格的四腔心切面图像，并对四腔心和降主动脉区域进行标注；
[0069]
步骤3：搭建并训练yolov5目标检测网络；
[0070]
步骤4：搭建并训练darknet53分类网络；
[0071]
模型使用阶段，所述模型使用阶段包括以下步骤，如图3(b)所示：
[0072]
步骤5：分帧处理，并利用yolov5目标检测网络逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉；
[0073]
步骤6：记录视频中是否存在降主动脉并提取检测到的四腔心区域图像；
[0074]
步骤7：利用darknet53分类网络对提取的准四腔心区域进行分类，同时计算分类为合格的四腔心切面图像得分，根据得分大小对这些切面图像进行排序，自动给出视频中的最佳四腔心切面图像。
[0075]
所述步骤1包括以下步骤：
[0076]
步骤1.1：将胎儿心脏超声视频按照序号1、2、3、
…
的顺序命名，如1.avi、2.avi等；
[0077]
步骤1.2：将每个胎儿心脏超声视频进行分帧处理，并以视频序号_帧号的格式逐帧命名，如1_1.png、1_2.png等。
[0078]
所述步骤2具体为：
[0079]
对步骤1.2中得到的胎儿心脏视频分帧数据集进行人工筛选，筛选出合格的四腔心切面图像，并标注四腔心与降主动脉区域，将其作为yolov5目标检测网络模型的训练数据集、验证数据集和测试数据集。
[0080]
所述步骤3包括以下步骤：
[0081]
步骤3.1：将步骤1.2中得到的数据集按6：2：2的比例划分训练集、验证集、测试集，利用划分后的数据集来训练yolov5目标检测模型；
[0082]
步骤3.2：通过测试集来评估yolov5目标检测网络模型的检测性能，如表1所示；这里的测试集仅是从步骤1.2中人工筛选得到的合格四腔心切面图像。
[0083]
表1 yolov5模型在目标检测任务测试集上的性能指标
[0084]
检测目标精确率召回率平均准确率
四腔心0.9980.9990.995降主动脉0.9040.8710.865
[0085]
步骤3.3：利用训练好的yolov5目标检测网络模型对步骤1.2中人工筛选出合格切面图像帧后剩下的胎儿心脏超声视频帧进行逐帧检测，即利用训练好的yolov5目标检测网络模型提取出易误检的样本，将误检为四腔心的区域提取出来作为不合格的四腔心区域图像，如图4(1)～图4(8)所示。
[0086]
步骤3.4：利用人工标注的位置坐标，将步骤2中人工筛选出的合格四腔心切面图像中的四腔心区域提取出来，作为合格的四腔心区域图像，如图5(1)～图5(8)所示。
[0087]
步骤3.5：用步骤3.3和步骤3.4中不合格的四腔心区域图像与合格的四腔心区域图像，构建darknet53分类网络模型的训练数据集、验证数据集和测试数据集。
[0088]
所述步骤4包括以下步骤：
[0089]
步骤4.1：为了保证随机划分的训练集、验证集与测试集中合格与不合格四腔心区域图像数量一致，先将步骤3.5中得到的合格与不合格四腔心区域图像分别按5：2：3的比例划分训练集、验证集、测试集，再将划分后的数据集合并，如图6所示。
[0090]
步骤4.2：利用步骤4.1中划分后的分类数据集来训练darknet53分类网络，并通过测试集来评估darknet53分类网络的分类性能。
[0091]
实验发现，所训练的darknet53分类网络模型在测试集上的平均top-1准确率达到了98.82％；为了评估真实场景下分类模型的性能，本发明中在模型使用阶段所用的胎儿心脏超声视频集与模型训练阶段的胎儿心脏超声视频集不同。
[0092]
所述步骤5包括以下步骤：
[0093]
步骤5.1：对待提取切面的胎儿心脏超声视频进行与步骤1.1和步骤1.2同样的分帧处理
[0094]
步骤5.2：利用yolov5目标检测网络，采用阈值0.5逐帧检测待提取切面的胎儿心脏超声视频中的四腔心和降主动脉区域，如图7(a)、图7(b)、图7(c)所示。
[0095]
所述步骤6包括以下步骤：
[0096]
步骤6.1：对yolov5输出的检测结果以视频序号_帧号的格式命名，查找yolov5输出的检测结果文件中是否存在降主动脉，若存在降主动脉，则将文件名中的视频序号、帧号及降主动脉检测置信度记录下来，并将该视频中检测到四腔心区域的切面都视为准合格的四腔心切面图像；若算法在视频中未能检测到可靠的降主动脉区域，即使在该视频中检测到四腔心区域，也将该切面图像视为不合格的四腔心切面图像，不对其进行自动获取；
[0097]
步骤6.2：将步骤6.1中准合格的四腔心切面图像中的四腔心区域提取出来，如图8(1)～图8(8)所示。
[0098]
为了方便查找对应的四腔心切面图像，准合格的四腔心切面图像以视频序号_帧号的格式命名。在不同阈值下yolov5对四腔心区域有着不同的误检率和漏检率，如表2所示。所用漏检率和误检率的计算公式如(1)，(2)所示：
[0099][0100]
[0101]
其中：x表示yolov5检测到准四腔心区域的帧数，y表示yolov5检测到真正合格的四腔心区域帧数，z表示待检测的视频中真正合格的四腔心区域帧数。
[0102]
表2不同阈值下yolov5对四腔心区域的误检率与漏检率
[0103]
阈值0.50.60.70.80.850.9误检率82.8％80.376.2％68.2％59.2％39.7％漏检率0％0％1.0％8.3％20.1％75.8％
[0104]
所述步骤7包括以下步骤：
[0105]
步骤7.1：将步骤6.2中yolov5阈值为0.5时，提取的四腔心区域输入训练好的darknet53分类模型中，输出预测结果，其分类性能如表3所示；
[0106][0107][0108][0109]
darknet53的误检率＝1-准确率
ꢀꢀꢀ
(6)
[0110]
darknet53的漏检率＝1-召回率
ꢀꢀꢀ
(7)
[0111]
其中：tp表示实际结果为合格，预测结果为合格的准四腔心区域个数；tn表示实际结果为不合格，预测结果为不合格的准四腔心区域个数；fp实际结果为不合格，预测结果为合格的准四腔心区域个数；fn表示实际结果为合格，预测结果为不合格的准四腔心区域个数
[0112]
表3 darknet53分类模型的实际分类性能
[0113]
性能指标准确率精确率召回率误检率漏检率数值97.02％98.09％84.39％2.98％15.61％
[0114]
步骤7.2：获取合格四腔心区域对应的四腔心切面图像，同时计算合格四腔心切面图像的得分，若该切面图像中的四腔心区域合格，则将darknet53分类网络在softmax处理前的输出归一化后作为该切面图像的得分；若该切面图像中的四腔心区域合格且该切面图像中存在降主动脉，则将darknet53分类网络在softmax处理前的输出归一化后与降主动脉检测置信度相加作为对应切面图像的得分；
[0115]
利用公式(8)计算合格四腔心切面图像的得分，其中di表示该视频中第i帧合格四腔心切面图像的得分，t
max
表示该视频中合格四腔心区域的最高得分，t
min
表示该视频中合格四腔心区域的最低得分，ti表示该视频中第i帧合格四腔心区域的得分，i表示在该视频中的帧号，dao_confi表示该视频中第i帧合格四腔心切面的降主动脉得分，若不存在降主动脉，则将其设为0；
[0116][0117]
步骤7.3：根据得分大小对切面图像进行排序，并自动获取视频中的最佳四腔心切面图像，如表4所示；
[0118]
表4合格的四腔心切面图像得分排序
[0119]
[0120]
[0121][0122]
虽然本发明方法存在少量的误检和漏检情况，但相比yolov5已经有了非常大的提升，且四腔心切面图像的排序结果与人眼主观排序结果相近，表明该合格四腔心切面图像自动获取方法具有较好的应用价值。
[0123]
本发明提出一种新的胎儿心脏四腔心超声切面图像自动获取方法，其主要流程分为模型训练阶段和使用阶段：在模型训练阶段，首先对胎儿心脏超声视频进行分帧处理；接着人工筛选出合格的四腔心切面图像并对四腔心和降主动脉区域进行标注；然后使用标注好的四腔心切面图像数据集对文献[7]：ultralytics.yolov5[eb/ol].[2021.11.15].https://github.com/ultralytics/yolov5中的yolov5网络进行训练；对训练好的yolov5模型采用适当的阈值检测之前未标注的视频帧(这些均为非四腔心切面)，并自动提取出被误检的切面图像；最后根据人工标注(合格)和被yolov5误检(不合格)的四腔心区域位置坐标，将该区域提取出来输入文献[6]：redmon j and farhadi a.2018.yolov3:an incremental improvement[eb/ol].[2021-11-15].https://arxiv.org/pdf/1804.02767.pdf中的darknet53网络进行训练。
[0124]
在模型使用阶段，首先对训练好的yolov5模型采用适当的阈值逐帧检测胎儿心脏超声视频中的四腔心和降主动脉区域。若检测到该视频中若干帧存在可靠的降主动脉区域，则即使算法在有些包含可靠四腔心区域的切面中未能发现降主动脉区域，这些切面图像仍可被视为准合格的四腔心切面图像；接着将检测到的四腔心区域提取出来，输入训练好的darknet53模型进行分类，进一步判断该区域是否为合格的四腔心区域。若该四腔心区域合格，则将darknet53网络中softmax处理前的输出归一化后作为对应四腔心切面图像的得分；若该四腔心区域合格且对应的四腔心切面图像中存在降主动脉区域，则将darknet53网络中softmax处理前的输出归一化后与降主动脉检测置信度相加作为对应四腔心切面图像的得分；最后根据得分大小对视频中的合格四腔心切面图像进行排序。通过表3和表4的图片对比实验发现，本专利所采用的先利用目标检测网络实现心脏区域定位，接着利用图像分类网络实现合格四腔心切面分类的策略，所得的排序结果与人眼排序结果吻合，能够有效获取胎儿心脏超声视频中合格四腔心切面图像，同时还可给出最佳的切面图像。