一种基于深度学习的心脏瓣膜反流严重程度超声评估方法

本发明涉及图像处理，具体地说，涉及一种基于深度学习的心脏瓣膜反流严重程度超声评估方法。

背景技术：

1、心脏瓣膜反流，也称为瓣膜反流或瓣膜逆流，是一种常见的心脏病。心脏瓣膜反流通常通过心脏超声检查进行诊断，而超声心动图频谱多普勒是判断反流严重程度最重要的依据之一，但是目前心脏瓣膜反流严重程度评估主要由超声医师根据超声图像主观评估，其评估结果完全取决于医师的过往经验和专业水平。使用人工评判方式来判断心脏瓣膜反流严重程度缺乏客观的量化评价标准，既耗费时间又费力。这种情况使得在临床实践中，医生很难对患者心脏瓣膜反流的严重程度进行准确的定性评估。

技术实现思路

1、本发明的内容是提供一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其能够克服现有技术的某种或某些缺陷。

2、根据本发明的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其包括以下步骤：

3、步骤1：收集心脏瓣膜反流彩色多普勒超声血流频谱图，筛选图像质量合格的反流频谱图构成数据集，并进行预处理；

4、步骤2：使用标注软件对一部分数据集按照单个完整的心动周期进行框选标注；

5、步骤3：按照比例将标注好心动周期的数据集分为训练集和验证集，采用目标检测类深度学习模型训练反流频谱图，得到单个完整心动周期自动识别模型，实现心脏瓣膜反流彩色多普勒超声血流频谱图的单个心动周期的自动标记；

6、步骤4：采用步骤3中所述的单个完整心动周期自动识别模型，对尚未标记心动周期的反流频谱图进行心动周期自动标记，使用python脚本对所有标记好心动周期的反流频谱图按照完整心动周期进行裁剪，并按照瓣膜反流超声诊断指南和实际超声诊断报告对裁剪后的反流频谱图进行严重程度分级；

7、步骤5：按照比例将分级、裁剪后的单个心动周期反流频谱图像划分为训练集、验证集和测试集，采用分类识别深度学习模型训练，得到基于单个心动周期反流频谱图的心脏瓣膜反流严重程度智能分类模型；

8、步骤6：将步骤3中单个心动周期标记模型和步骤5中的反流频谱图严重程度智能分类模型串联整合，即可形成心脏瓣膜反流严重程度智能评估模型；

9、步骤7：向心脏瓣膜反流严重程度智能评估模型输入单帧心脏瓣膜反流频谱图，采用单个周期自动识别模型对反流频谱图的完整周期进行标记并截取存储为单个心动周期的频谱图，再通过心脏瓣膜反流严重程度智能识别模型对截取的所有单个心动周期频谱图依次进行严重程度分类，选择严重程度最重的作为心脏瓣膜反流频谱图的评判结果。

10、作为优选，步骤1中，预处理方法为：将图像中所有的文本信息抹除，文本信息包括患者的姓名、性别、医院、编号。

11、作为优选，步骤2中，单个完整的心动周期框选标注方法为：

12、2.1）以反流心动周期为单位，使用方框作为标记，标注出完整的心动周期，并且按照心脏瓣膜反流严重程度给予对应的标签；

13、2.2）每个图像在对应的文件夹内，获取一个.json文件，文件中包含创建的标签信息。

14、作为优选，步骤2中，单个受检者的心脏瓣膜反流彩色多普勒超声血流频谱图能够标记出多个心动周期。

15、作为优选，步骤3中，目标检测类深度学习模型为以yolov5模型为主干网络，融合多尺度特征提取inception模块和simam注意力模块的全新模型；其中inception模块添加到yolov5模型第三和第四个conv后，并分别与第一和第二个concat连接，simam模块添加到yolov5 模型 c3 模块中；改进后的yolov5深度学习模型在docker搭建的ubuntu 18.04的pytorch环境中实现，批处理大小设置为16，初始学习率为0.0001，学习率衰减策略采用余弦学习率衰减策略。

16、作为优选，步骤3中，采用平均精度map、精确度precision、召回率 recall、f1指数对改进后的yolov5深度学习模型的性能进行评价，同时为这四个指标设置了相同的权值，并且选取在验证集上加权平均值最大的模型作为最终模型，实现反流心动周期的智能标注。

17、作为优选，步骤4中，严重程度分级时，轻度反流的周期给予 1标签，中度反流的周期给予2标签，重度反流的周期给予3标签。

18、作为优选，步骤5中，分类识别深度学习模型为convnext深度学习模型，并且使用余弦预热（cosine warmup）学习率更新策略替换convnext深度学习模型中原本的余弦（cosine）学习率更新策略；改进后的convnext深度学习模型在docker搭建的ubuntu 18.04的pytorch环境中实现，批处理大小设置为64，初始学习率为0.0001，学习率衰减策略采用余弦退火算法。

19、作为优选，步骤5中，采用精确率、召回率、特异性和f1分数对改进后的convnext深度学习模型的性能进行评价，同时为这四个指标设置了相同的权值，并且选取在验证集上加权平均值最大的模型作为最终模型。

20、与现有技术相比，本发明的有益效果是：

21、1）有效利用彩色多普勒超声血流频谱图实现心脏瓣膜反流严重程度智能评估，并且评估结果与超声医师人工评估的结果一致性较高，具有较高的可行性。

22、2）该发明没有对多普勒血流频谱图做任何前置性假设，原理上可以应用于任何标准瓣膜反流多普勒超声血流频谱图像。

23、3）自动化处理水平较高，摆脱了完全依赖人工的主观评价的弊端，能够为医生临床诊断提供辅助，有效避免因为人工判断造成的失误。

技术特征：

1.一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：步骤1中，预处理方法为：将图像中所有的文本信息抹除，文本信息包括患者的姓名、性别、医院、编号。

3.根据权利要求2所述的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：步骤2中，单个完整的心动周期框选标注方法为：

4.根据权利要求3所述的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：步骤2中，单个受检者的心脏瓣膜反流彩色多普勒超声血流频谱图能够标记出多个心动周期。

5.根据权利要求4所述的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：步骤3中，目标检测类深度学习模型为以yolov5模型为主干网络，融合多尺度特征提取inception模块和simam注意力模块的全新模型；其中inception模块添加到yolov5模型第三和第四个conv后，并分别与第一和第二个concat连接，simam模块添加到yolov5 模型 c3 模块中；改进后的yolov5深度学习模型在docker搭建的ubuntu 18.04的pytorch环境中实现，批处理大小设置为16，初始学习率为0.0001，学习率衰减策略采用余弦学习率衰减策略。

6.根据权利要求5所述的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：步骤3中，采用平均精度map、精确度precision、召回率 recall，f1指数对改进后的yolov5深度学习模型的性能进行评价，同时为这四个指标设置了相同的权值，并且选取在验证集上加权平均值最大的模型作为最终模型，实现反流心动周期的智能标注。

7.根据权利要求6所述的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：步骤4中，严重程度分级时，轻度反流的周期给予 1标签，中度反流的周期给予2标签，重度反流的周期给予3标签。

8.根据权利要求7所述的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：步骤5中，分类识别深度学习模型为convnext深度学习模型，并且使用余弦预热cosine warmup学习率更新策略替换convnext深度学习模型中原本的余弦cosine学习率更新策略；convnext深度学习模型在docker搭建的ubuntu 18.04的pytorch环境中实现，批处理大小设置为64，初始学习率为0.0001，学习率衰减策略采用余弦退火算法。

9.根据权利要求8所述的一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，其特征在于：步骤5中，采用精确率、召回率、特异性和f1指数对convnext深度学习模型的性能进行评价，同时为这四个指标设置了相同的权值，并且选取在验证集上加权平均值最大的模型作为最终模型。

技术总结
本发明涉及图像处理技术领域，提供一种基于深度学习的心脏瓣膜反流严重程度超声评估方法，包括：1：构建数据集，并进行预处理；2：对一部分数据集按照单个完整的心动周期进行框选标注；3：采用目标检测类深度学习模型训练反流频谱图，得到单个心动周期自动识别模型；4：进行心动周期自动标记，然后裁剪，并进行严重程度分级；5：采用分类识别深度学习模型训练，得到基于单个心动周期反流频谱图的心脏瓣膜反流严重程度智能分类模型；6：串联整合，形成心脏瓣膜反流严重程度智能评估模型；7：输入单帧心脏瓣膜反流频谱图，选择严重程度最重的作为心脏瓣膜反流频谱图的评判结果。本发明能较佳地实现心脏瓣膜反流严重程度的自动评估。

技术研发人员：谢盛华,刘韩,舒庆兰,王胰
受保护的技术使用者：四川省医学科学院·四川省人民医院
技术研发日：
技术公布日：2024/5/10