一种基于深度学习的手术切口目标检测方法

本发明涉及伤口图像分类，具体涉及一种基于深度学习的手术切口目标检测方法。

背景技术：

1、出院患者手术切口的管理的关键是切口评估，随着智能手机的普及以及人工智能的发展，人工智能和智能手机的结合为患者术后手术切口的准确化、智能化评估及管理提供了契机。目前已有相关研究将深度学习和图像技术应用于烧伤伤口、糖尿病伤口、压力性损伤等慢性伤口方面，其在伤口监测领域的应用主要为两个方面，一方面是以基于各种理化因素及个体特征的伤口感染、伤口愈合预测模型的构建，另一方面是基于图像的伤口床的分割、伤口特征的识别与判断等。在手术切口方面的应用主要集中在手术切口愈合及感染的预测，然而，在手术切口特征识别方面的研究较少且分类结果的准确率较低，从而不能实现对手术切口问题进行远程的管理和评估。

技术实现思路

1、针对现有技术中的上述不足，本发明提供的一种基于深度学习的手术切口目标检测方法解决了现有技术无法对手术切口问题进行远程管理和评估且分类结果的准确率较低的问题。

2、为了达到上述发明目的，本发明采用的技术方案为：

3、提供了一种基于深度学习的手术切口目标检测方法，其包括以下步骤：

4、s1、获取手术切口图像数据集并进行预处理和划分，得到划分后的手术切口图像数据集；

5、s2、构建手术切口目标检测模型；将划分后的手术切口图像数据集输入至手术切口目标检测模型并进行训练，得到训练后的手术切口目标检测模型；

6、s3、将待分类的手术切口图片输入至训练后的手术切口目标检测模型，得到手术切口目标检测结果，完成检测。

7、进一步地，步骤s1中的预处理和划分的具体过程为：对手术切口图像数据集进行筛选，利用labelme软件对筛选保留的手术切口图像进行特征标注并通过五折交叉验证法对其进行划分，得到划分后的手术切口图像数据集。

8、进一步地，手术切口目标检测模型包括五折交叉验证模块、手术切口区域聚合网络、六种目标检测网络、加权框融合模块；其中：

9、五折交叉验证模块，用于将手术切口图像数据集进行划分，得到划分后的手术切口图像数据集；

10、手术切口区域聚合网络，用于对输入图像的伤口候选区域进行初步检测，并将初步检测得到的伤口候选区域进行聚合，得到聚合后的伤口候选区域；

11、六种目标检测网络，用于对手术切口区域聚合网络的输出进行伤口检测，分别得到六个切口特征；其中，六种目标检测网络分别为dyhead、glip、faster-rcnn、retinanet、gfl和yolo-v5；

12、加权框融合模块，用于对伤口检测结果进行加权融合，得到手术切口目标检测模型的最终输出。

13、进一步地，步骤s2进一步包括：

14、s2-1、将多个公开图像数据集输入至dyhead并进行预训练，得到预训练后的dyhead的网络参数；

15、s2-2、将多个图像训练集输入至glip进行预训练，得到预训练后的glip的网络参数；

16、s2-3、将步骤s2-1和步骤s2-2得到的网络参数移植到手术切口目标检测模型中，得到初始手术切口目标检测模型；

17、s2-4、将划分后的手术切口图像数据集输入初始手术切口目标检测模型，根据预处理后的手术切口图像数据集的标签和初始手术切口目标检测模型的输出之间的损失对初始手术切口目标检测模型的参数进行调整，直至当前模型的平均精度均值连续五次小于最高平均精度均值，则选取最高平均精度均值的初始手术切口目标检测模型作为训练后的手术切口目标检测模型。

18、进一步地，步骤s2-1中的多个公开数据集包括imagenetd数据集、mscocod数据集和wound数据集；所述步骤s2-2中的多个图像训练集包括object365数据集、goldg数据集和goldg-cc3m数据集。

19、进一步地，均采用梯度下降法对glip、dyhead进行预训练。

20、进一步地，手术切口区域聚合网络包括一个切口区域粗检测网络和一个伤口区域聚合网络；切口区域粗检测网络包括一个transform层、一个视觉编码网络、一个文本编码网络、两个注意力层、两个bert层和两个定位头模块；注意力层包括自注意力模块和交叉注意力模块；定位头模块包括多个卷积层；伤口区域聚合网络包括依次串联的transform层、手术切口区域集合模块和手术切口区域检测模块。

21、进一步地，步骤s3进一步包括：

22、s3-1、将待分类的手术切口图片输入至切口区域粗检测网络，得到初始伤口候选区域；对初始伤口候选区域进行计算，得到对应的置信度分数；

23、s3-2、将初始伤口候选区域和文本类别特征输入至伤口区域聚合网络进行聚合，并对小于区域阈值的初始伤口候选区域进行消除，得到2至5个聚合后的伤口候选区域；将置信度分数大于0.5的聚合后的伤口候选区域作为最终伤口候选区域；

24、s3-3、将最终伤口候选区域和待分类的手术切口图片输入至六种目标检测网络，得到对应的切口特征；

25、s3-4、将对应的切口特征输入至加权框融合模块，得到手术切口目标检测结果。

26、进一步地，步骤s3-3中的切口特征包括异常、红肿、化脓、痂壳、张力性水泡、切口周围皮肤瘀斑、切口裂开。

27、进一步地，加权框融合模块涉及的公式为：

28、

29、

30、

31、

32、其中，c'表示伤口候选区域框对应的最终置信度分数，c表示伤口候选区域对应的初始置信度分数，ci表示第i个伤口候选区域框对应的置信度分数，t表示用于挑选伤口候选区域框的簇中伤口候选区域框的个数，x1,2分别表示伤口候选区域框左上角和右下角点的横坐标，分别表示第i个伤口候选区域框左上角和右下角点的横坐标，y1,2分别表示伤口候选区域框左上角和右下角点的纵坐标，表示第i个伤口候选区域框左上角和右下角点的纵坐标，n表示模型个数，min(·)表示最小值函数，∑(·)表示求和函数。

33、本发明的有益效果为：该方法利用glip以及迁移学习，构建手术切口目标检测模型，提升计算效率；并利用加权框融合方法有效提升分类的准确率，实现对手术切口的远程管理和评估。

技术特征：

1.一种基于深度学习的手术切口目标检测方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于深度学习的手术切口目标检测方法，其特征在于：所述步骤s1中的预处理和划分的具体过程为：对手术切口图像数据集进行筛选，利用labelme软件对筛选保留的手术切口图像进行特征标注并通过五折交叉验证法对其进行划分，得到划分后的手术切口图像数据集。

3.根据权利要求1所述的基于深度学习的手术切口目标检测方法，其特征在于：所述手术切口目标检测模型包括五折交叉验证模块、手术切口区域聚合网络、六种目标检测网络、加权框融合模块；其中：

4.根据权利要求3所述的基于深度学习的手术切口目标检测方法，其特征在于：所述步骤s2进一步包括：

5.根据权利要求4所述的基于深度学习的手术切口目标检测方法，其特征在于：所述步骤s2-1中的多个公开数据集包括imagenetd数据集、mscocod数据集和wound数据集；所述步骤s2-2中的多个图像训练集包括object365数据集、goldg数据集和goldg-cc3m数据集。

6.根据权利要求4所述的基于深度学习的手术切口目标检测方法，其特征在于：均采用梯度下降法对glip、dyhead进行预训练。

7.根据权利要求3所述的基于深度学习的手术切口目标检测方法，其特征在于：所述手术切口区域聚合网络包括一个切口区域粗检测网络和一个伤口区域聚合网络；所述切口区域粗检测网络包括一个transform层、一个视觉编码网络、一个文本编码网络、两个注意力层、两个bert层和两个定位头模块；所述注意力层包括自注意力模块和交叉注意力模块；所述定位头模块包括多个卷积层；所述伤口区域聚合网络包括依次串联的transform层、手术切口区域集合模块和手术切口区域检测模块。

8.根据权利要求7所述的基于深度学习的手术切口目标检测方法，其特征在于：所述步骤s3进一步包括：

9.根据权利要求8所述的基于深度学习的手术切口目标检测方法，其特征在于：所述步骤s3-3中的切口特征包括异常、红肿、化脓、痂壳、张力性水泡、切口周围皮肤瘀斑、切口裂开。

10.根据权利要求8所述的基于深度学习的手术切口目标检测方法，其特征在于：所述加权框融合模块涉及的公式为：

技术总结
本发明公开了一种基于深度学习的手术切口目标检测方法，其包括以下步骤：获取手术切口图像数据集并进行预处理和划分，得到划分后的手术切口图像数据集；构建手术切口目标检测模型；将划分后的手术切口图像数据集输入至手术切口目标检测模型并进行训练，得到训练后的手术切口目标检测模型；将待分类的手术切口图片输入至训练后的手术切口目标检测模型，得到手术切口目标检测结果，完成分类。本发明利用GLIP以及迁移学习，构建手术切口目标检测模型，提升计算效率；并利用加权框融合方法有效提升分类的准确率，实现对手术切口的远程管理和评估。

技术研发人员：赵春林,李玲利,姜泽坤,易华挥,杨毅,郭雨辰,王晶
受保护的技术使用者：四川大学华西医院
技术研发日：
技术公布日：2024/1/15