一种基于复合特征融合的胰腺CT图像小病灶检测方法

本发明属于医学图像处理领域，具体涉及一种基于复合特征融合的胰腺ct图像小病灶检测方法。

背景技术：

1、胰腺囊性肿瘤虽然较为少见，但是近年来一直有增多的趋势，胰腺囊性肿瘤可分为浆液性囊腺瘤和黏液性囊腺瘤。其中，浆液性囊腺瘤是一种常发生在老年女性胰体尾部的良性肿瘤，黏液性囊腺瘤则分为良性，交界性，恶性三种，多发于40-60岁之间。如何进行胰腺肿瘤的早筛是一个值得研究的问题。总体来说有以下两个挑战：yolo目标检测方法广泛地应用在自然图像领域，在医学中应用目标检测方法较少，在我们的应用上发现yolo系列的模型检测小目标的能力不足，而在医学图像早筛中，患者通常会存在小尺寸的肿瘤，如何使检测器及时发现小尺寸的肿瘤是需要解决的问题。

2、在新的yolov6，yolov7，yolov8等检测器中均使用pafpn结构来应对多尺度目标分类和定位问题，凸显了物体检测网络中特征融合结构的重要性。但是pafpn存在以下三个问题限制了检测器的小目标检出能力：

3、1.pafpn通常会融合同一比例尺的特征图，忽略了在浅层网络中保留较低层次信息的重要性，这将降低整个网络的性能，尤其是对小目标而言。

4、2.小目标输出层只经过一条自上而下的路径直接生成，限制了网络有效学习小目标特征的能力。

5、3.fapfpn未能充分利用浅层中不同分辨率特征层所蕴含的多尺度信息，特征融合不够充分。

技术实现思路

1、为了克服现有技术的不足，针对在医学图像检测任务中，小目标肿瘤不易被检出的问题，本发明提出了一种基于复合特征融合的胰腺ct图像小病灶检测方法，提出一种可以高效提升小目标性能的特征融合结构mafpn(多项辅助融合fpn网络)来代替pafpn，这种多项辅助融合网络可以即插即用地加入任意目标检测器中，可以大大提升网络的小目标性能。

2、本发明通过以下技术方案达到上述目的：

3、一种基于复合特征融合的胰腺ct图像小病灶检测方法，包括以下步骤：

4、步骤s1:获取胰腺ct图像数据集并进行初步筛选；

5、步骤s2:调整胰腺ct图像的窗宽窗位；

6、步骤s3:将胰腺ct图像转化为jpg格式的图像；

7、步骤s4:将所有数据集进行分组处理；

8、步骤s5:将数据集进行在线的数据增强操作；

9、步骤s6:训练基于多项辅助融合改进的yolov6模型；

10、步骤s7:验证评估和保存基于多项辅助融合改进的yolov6模型。

11、进一步，所述步骤s1中，获得的胰腺ct图像分为静脉期，动脉期，平扫期的三类图像，平扫期是没有推注造影剂时的常规检查，动脉期时造影剂进入动脉后的显影，静脉期可以观察病变的静脉供血情况，为了使检测器得到更直观的图像信息，筛选得到所有动脉期的胰腺ct图像。

12、再进一步，所述步骤s2中，将调整胰腺ct动脉期图像的窗宽窗位，具体调整为窗宽300hu～350hu，窗位30hu～40hu使得ct图像中的胰腺器官更为明显。

13、更进一步，所述步骤s3中，将ct图像转为离线的jpg图像利于输入检测器中训练。

14、所述步骤s4中，获取的所有胰腺jpg格式图像数据集按8:1的比例划分成训练集、验证集。

15、所述步骤s5中，将所有数据集进行在线的数据增强，首先图像会先通过0.8的概率判断是否进行马赛克数据增强操作，然后将依次经过随机缩放，随机裁剪，hsv颜色变换，随机折叠，填充边缘的常规数据增强操作，再通过0.1的概率判断是否进行mixup数据增强操作，最后输出。

16、优选的，所述步骤s5的过程如下：

17、5.1输入图像尺寸为640x640，一张图像首先有0.8的初始概率进行马赛克数据增强，马赛克数据增强会将四张图像做随机拼接，丰富训练集中的图像信息，此时图像的大小为1280x 1280；

18、5.2如果不进行马赛克数据增强操作，则进入随机缩放操作，图像缩放的基础概率为(0.5，2)，图像大小仍未1280x1280，其中的物体进行0.5倍到2倍的缩放；

19、5.3接下来将通过随机裁剪，在1280x1280的图像中随机裁剪640x640的范围；

20、5.4经过随机裁剪的图像会进行hsv空间颜色变换，hsv是根据颜色的直观特性创建的一种颜色空间，分别包括色调，饱和度，明度，本步骤将会随机改变输入的图像的色调，饱和度，明度三种信息，达到数据增强的目的；

21、5.5在随机折叠操作中，图像将有概率进行水平折叠和垂直折叠的操作；

22、5.6在此步骤，得到的640x640图像可能一部分包含原始胰腺肿瘤的图像，另一部分可能没有信息，使用(114，114，114)的rgb颜色进行填充，有提升性能的效果；

23、5.7图像将有0.1的基础概率进行mixup数据增强，mixup将随机选择两个训练样本的向量，以及其对应的label，使用线性插值的方法生成一个新的向量和对应的label，作为增强的数据，最终的训练图像由两张图以一定概率融合起来。

24、所述步骤s6中，图片会在多项辅助融合改进的yolov6模型中进行训练，图片将依次进入主干网络，mafapn，head三个结构最终输出，过程如下：过程如下：

25、6.1.模型首先经过一个主干网络，640x640的图像经过两个下采样卷积层，下采样卷积层由一个卷积核为3x3，步长为2的卷积加bn标准化层加silu激活函数组成，经过下采样操作后，原图变为160x160的特征图，通道数为48，此时称为主干网络的p2层，接下来依次通过一个基础卷积模块层和下采样卷积层得到80x80的特征图，通道数为96，称为主干网络的p3层，再依次通过一个基础卷积模块层和下采样卷积层得到40x40的特征图，通道数为192，称为主干网络的p4层，再依次通过一个基础卷积模块层和下采样卷积层得到20x20的特征图，通道数为384，称为主干网络的p5层，再经过一个sppf层进行特征提取进入neck层；

26、6.2neck层由stage1和stage2组成，包含一条自顶向下的路径和一条自底而上的路径，统称为mafpn结构，该结构包含bac和mac模块，首先将进入bac融合机制；第一步，由于bac机制，首先输入信息将和经过下采样的主干网络p4层进行concat，再经过一个基础卷积模块变为neck stage1的p′5大目标层，输出通道数为384；第二步，由于bac机制，输入信息先通过一个上采样层将和经过下采样的主干网络p3层以及主干网络的p4层进行concat，再经过一个基础卷积模块变为neck stage1的p′4中目标层，输出通道数为192；第三步，由于bac机制，输入信息先通过一个上采样层将和经过下采样的主干网络p2层以及主干网络的p3层进行concat，再经过一个基础卷积模块变为neck stage1的p′3小目标层，输出通道数为96；

27、6.3接下来将进入mac模块，第一步，由于mac机制，首先输入信息将和经过上采样的neck stage1的p′4进行concat，再经过一个基础卷积模块变为neck stage2的p′’3大目标层，输出通道数为96；第二步，由于mac机制，首先输入信息先通过一个下采样层将和经过上采样的neck stage1的p′5以及neck stage1的p′4以及经过下采样的neck stage1的p′3进行concat，再经过一个基础卷积模块变为neck stage2的p′’4中目标层，输出通道数为192；第三步，由于mac机制，首先输入信息先通过一个下采样层将和neck stage1的p′5以及经过下采样的neck stage1的p′4进行concat，再经过一个基础卷积模块变为neck stage2的p′’5大目标层，输出通道数为384；

28、6.4最终neck stage2的p′’3,p′’4,p′’5,三个层将作为输出进入输出head层，后续进行标签分配和loss计算等操作。

29、所述步骤s7中，将对基于多项辅助融合改进的yolov6模型进行性能评估，方法使用coco的map0.5:0.95为评价指标，得到模型的综合性能，并通过aps评估小目标检测性能，体现改进模型的小目标性能优势；最终将得分最高的模型权重保存。医生可以通过该权重复现本文的方法从而实现肿瘤的检测。

30、本发明基于多项辅助融合网络的胰腺ct图像小目标检测方法，通过在传统pafpn的两条路径中加入bac和mac特征融合机制，组成高效的mafpn结构，并将该结构用于yolov6网络中，以提高模型在检测胰腺肿瘤的总体性能，并且同时极大提升了小肿瘤的检测性能。

31、本方法主要改进的mafpn由两个模块组成，包括bac(双向辅助连接)和mac模块。

32、bac模块：为了增强pafpn中的特征提取，本方法在主干网络和neck部分的第1阶段之间引入了双向辅助连接(bac)融合机制，它融合了同层的特征层和降采样的高分辨率浅层特征层，以在颈部保留更多样化的定位和小目标信息。设pn-1、pn和pn+1∈rh×w×c表示主干网络浅层中不同分辨率的特征层信息。pn,p′n和p″n代表主干网络，neck的stage1和neck的stage2中的特征层。u表示上采样操作。conv表示与批归一化层和3×3下采样卷积，δ表示silu激活函数。在bac模块的输出为：

33、p′n＝concat(δ(c(pn-1)),pn,u(p′n+1))

34、以neck stage1的p′3层为例，首先第一个信息来自于主干网络的p2层，该层将通过一个3x3，步长为2的下采样卷积，再通过bn归一化层和silu激活函数，将通道数控制在p′3层输出通道的一半；第二个信息来自于主干网络的p3层；第三个信息来自于neck stage1的p′4层，该层将通过一个上采样操作输出。此时三个信息的特征层大小均为40x40，然后经过一个concat操作，三个特征层的信息将被拼接起来，经过neck stage1的p′3层的基础卷积模块后得到最终输出。来自主干网的浅层信息有助于更好地学习更深的网络层，所以更深的特征层p′n+1作为主要来源，我们控制辅助层的通道数为主导层的一半，达到最终双向辅助融合的效果。

35、为了重复使用更多的特征层信息，本方法在neck第1阶段和第2阶段之间引入了多向辅助连接mac机制；通过重复使用中等目标层之后的上采样操作，丰富了neck第1阶段小目标输出层的信息；这在不增加额外计算负担的情况下提高了小目标的检测性能；而最终输出的中目标层可以同时包含四个不同层的信息，从而也提高了中目标的性能；在这个阶段，neck第一阶段的特征层已经有了一些引导信息，为了节省开销，将第一阶段作为主导信息输出给mac。第2部分之后的输出可以表示为：

36、p"n＝concat(δ(c(p′n-1)),δ(c(p″n-1)),p′n,u(p′n+1))。

37、本发明的有益效果在于：将yolo目标检测方法用于胰腺肿瘤ct图像中，实现疾病的筛查，传统的yolo网络使用pafpn作为特征融合结构，主要存在特征融合能力不足，小目标信息提取能力不足的问题；根据胰腺小肿瘤的特点设计了多向辅助融合fpn(mafpn)结构，mafpn包括bac和mac两个结构，循序渐进地促进了网络中各层信息的交互，充分利用了浅层空间信息和深层语义信息，自动学习多尺度层之间的关联，极大保留了小目标层的信息，因此基于多项辅助融合改进的yolov6模型可以提升小肿瘤的检测能力，非常有利于胰腺肿瘤的早筛任务，有效提高医生的工作效率。