一种基于深度学习的直肠息肉多分类方法

本发明涉及一种医学图像处理方法，具体地说是一种基于深度学习的直肠息肉多分类方法。

背景技术：

1、直肠癌(crc)是最常见的肠道疾病之一。结直肠息肉的类型分类(crp)对结直肠癌的诊断具有重要作用。直肠癌大体可分为肿瘤性息肉和非肿瘤性息肉。对结直肠息肉进行精准分类，有助于对直肠癌的后续治疗。

2、临床上通常使用白光内镜检查息肉，以识别腺瘤线息肉，而白光图像中息肉的表面和纹理成像较差，同时伴随数据类别不平衡的情况，给息肉的详细分类带来困难，因此在后续过程中很有可能出现错误决策。

3、随着机器学习、深度学习在计算机医学图像领域的快速发展，基于人工智能的计算机辅助医疗系统(cad)在crc疾病检查方面取得突破性进展。目前多类别分类器用于白光图像，根据组织学分类自动区分息肉，可以提高crc的识别效率。生成对抗网络(gan)面对图像数据不平衡的情况，可以扩展数据集来合成息肉图像。

技术实现思路

1、本发明的目的就是提供一种基于深度学习的直肠息肉多分类方法，以解决因内镜检查图像中息肉的表面和纹理成像较差和成像数据类别不平衡所导致的息肉分类困难的问题。

2、本发明的目的是这样实现的：

3、一种基于深度学习的直肠息肉多分类方法，包括以下步骤：

4、s1、构建直肠息肉内窥镜图像样本数据集：采集直肠息肉检查的白光内窥镜图像和增生性息肉的图像作为图像样本的数据集；数据集中的样本图像包括正常肠道、增生性息肉、绒毛状息肉、管状息肉、管状绒毛状息肉和锯齿状息肉的白光图像。

5、s2、数据集的样本划分：将样本图像数据集分成训练集、验证集和测试集。

6、s3、训练集中样本图像的预处理：将所收集的直肠息肉样本图像裁剪为256×256像素的大小，并将为排除息肉而裁剪的样本图像重新裁剪，并调整为256×256像素的大小。

7、s4、样本图像的数据增强：通过深度学习网络fastgan对训练集中存在数据不平衡的样本图像进行数据增强，以补充训练样本。

8、s5、构建多阶段分类网络模型：分别以resnet-18和resnet-50为主干网络，构建三个阶段的分类网络模型，用以模仿结肠镜检查；同时，利用由一个7×7卷积层和四个全连接层所构成的注意力模块cswa，聚合相邻阶段的特征，并在网络不同的阶段生成具有不同细粒度的特征图，以有效地提取多类别息肉的更准确的特征；所述注意力模块cswa的各层之间采用跳跃连接的方式，以在融合不同尺度的特征信息的同时，保留息肉图像中的部分原始特征。

9、s6、构建交叉熵损失函数，对多阶段分类网络模型进行训练：

10、s6-1交叉熵损失函数lce为：

11、

12、其中，yi表示第i个样本的基础真值，表示第i个样本的预测标签l。

13、s6-2采用adamw算法用于优化交叉熵损失函数，其中的学习率设置在1×10-4～5×10-4之间。

14、s6-3将训练集增强后的样本图像输入多阶段分类网络模型，使用交叉熵损失函数对多阶段分类网络模型进行训练。

15、s7、采用训练好的多阶段分类网络模型对测试集中的样本图像进行分类。

16、进一步地，步骤s4样本图像的数据增强的具体方式是：

17、s4-1从数据集的样本图像中挑选出的数据不平衡的绒毛状息肉样本图像和锯齿状息肉样本图像。

18、s4-2将所挑选样本图像的像素调整为567×567像素大小。

19、s4-3利用深度学习网络fastgan对挑选出的样本图像进行数据增强，生成具有逼真细节水平的绒毛状息肉合成图像和锯齿状息肉合成图像。

20、s4-4在确定合成图像中的息肉特征的质量合格后，得到增强的绒毛状息肉图像和增强的锯齿状息肉图像。

21、s4-5将增强的绒毛状息肉图像和增强的锯齿状息肉图像的像素重新调整为256×256像素的大小。

22、进一步地，所述注意力模块cswa在进行特征聚合和调整的过程中均使用批归一化(batchnorm)和修正线性单元(relu)的操作，以保持与骨干网络之间的一致性。

23、进一步地，步骤s5中，resnet-18作为第一阶段的骨干网络，resnet-50作为第二阶段和第三阶段的骨干网络；在第一阶段取resnet-18的第三和第四残差块之间的中间特征，并通过cswa注意力机制与第二阶段的resnet-50的第三和第四残差块之间的中间特征进行融合。之后，将融合后的特征放入第二阶段resnet-50的后续网络中。同理，取第三阶段resnet-50的第三和第四残差块之间的中间特征与上述融合后的特征再次融合，并放入第三阶段resnet-50的后续网络中。随后，分别将三个阶段的resnet网络主干输出的特征图进行平均池化，并传入全连接层中来，得到不同阶段的分类结果，以实现多级分类。

24、本发明进行的图像增强操作，相比传统的图像增强方法其生成的图像更加逼真，细节效果更好，解决了数据不平衡的问题。

25、本发明提出的多阶段分类网络结构，构建了三阶段的网络结构很好的模拟了医生进行结肠镜检查，采用的cswa注意力模块，提高了特征融合的能力，降低了下游任务的成本，提高了网络模型的性能。

26、本发明使用多阶段分类网络结构以模仿医生进行结肠镜检查，并且结合了cswa注意力模块，充分提取特征并融合不同尺度的特征信息，更有效地融合特征，并降低下游网络的学习成本，对多种息肉的分类具有更准确的分类精度，具有临床实用价值。

技术特征：

1.一种基于深度学习的直肠息肉多分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度学习的直肠息肉多分类方法，其特征在于，步骤s4样本图像的数据增强的具体方式是：

3.根据权利要求1所述的基于深度学习的直肠息肉多分类方法，其特征在于，所述注意力模块cswa在进行特征聚合和调整的过程中均使用批归一化(batchnorm)和修正线性单元(relu)的操作，以保持与骨干网络之间的一致性。

4.根据权利要求1所述的基于深度学习的直肠息肉多分类方法，其特征在于，步骤s5中，resnet-18作为第一阶段的骨干网络，resnet-50作为第二阶段和第三阶段的骨干网络；在第一阶段取resnet-18的第三和第四残差块之间的中间特征，并通过cswa注意力机制与第二阶段的resnet-50的第三和第四残差块之间的中间特征进行融合；之后，将融合后的特征放入第二阶段resnet-50的后续网络中；同理，取第三阶段resnet-50的第三和第四残差块之间的中间特征与上述融合后的特征再次融合，并放入第三阶段resnet-50的后续网络中；随后，分别将三个阶段的resnet网络主干输出的特征图进行平均池化，并传入全连接层中来，得到不同阶段的分类结果，以实现多级分类。

技术总结
本发明涉及一种基于深度学习的直肠息肉多分类方法，包含一个由多个卷积神经网络(CNNs)级联组成的新的多阶段分类网络，并使用了一种新的注意力机制CSWA，充分提取特征，并采取跳跃连接的方式融合不同尺度信息；通过FastGAN深度学习网络进行数据增强补充不平衡的训练样本，并将息肉图像重新调整像素大小。构建交叉熵损失函数用于网络的训练，后续采用训练好的网络模型对测试集中的样本图像进行分类，为结直肠癌的诊断提供了一种有效的深度学习多分类方法。本发明用于准确对结直肠息肉的类型分类(CRP)，以协助对结直肠癌(CRC)进行后续分析。

技术研发人员：杨昆,陈厚权,范文龙,李轩昂,孙宇锋,薛林雁,刘爽,孟杰
受保护的技术使用者：河北大学
技术研发日：
技术公布日：2024/1/16