一种基于频域监督和动态卷积的临床图像中病变区域分割方法

本发明属于临床图像处理领域，涉及病变区域分割技术，具体涉及一种基于频域监督和动态卷积的临床图像中病变区域分割方法。

背景技术：

1、临床图像是临床检查的常用方式，在很多疾病的诊断、治疗等方面作为重要依据，在各级医疗机构中均被普遍使用。基于临床图像的病变筛查是在早期有效发现治疗癌症等疾病，并降低死亡率、改善预后的关键。然而，受病变区域大小、数量、影像设备质量、设备操作者的熟练程度、操作者当时的状态、等因素的影响，临床图像的检查有一定的漏诊率，例如，有文献报道肠道内窥镜检查中结肠息肉的总漏诊率为百分之二十二。因此采用计算机辅助诊断技术，协助临床医生准确分析临床图像，并进行诊断治疗具有重要意义。

2、随着深度学习技术的发展，深度神经网络被广泛用于临床图像的分割。自从u-net被提出以来，其使用带跳跃连接的编码器-解码器由于对多尺度特征的提取和分析能力，被绝大多数用于医学图像分割的网络所采用。但其中为降低计算量而使用的下采样操作会导致高频信息损失，影响分割结果的准确性。同时，临床图像在图像之间和图像内部不同区域之间特征可能相差较大，目前大多数网络使用固定的参数难以建模多变的特征。

3、所以，需要一个新的技术方案来解决上述问题。

技术实现思路

1、发明目的：为了克服现有技术中存在的不足，提供一种基于频域监督和动态卷积的临床图像中病变区域分割方法，可实现从临床图像中自动分割病变区域，且同时利用图像的频域和空间域信息，并对图像的变化有较强的适应性，提高了分割的准确率。

2、技术方案：为实现上述目的，本发明提供一种基于频域监督和动态卷积的临床图像中病变区域分割方法，包括如下步骤：

3、s1：将预处理后的临床图像输入编码器网络，得到图像多层次的特征图；

4、s2：对图像进行离散余弦变换(dct)，得到图像的频域信息，并在频域中滤波，分别得到图像的高频和低频信息；

5、s3：将步骤s2得到的高频信息与步骤s1得到的各层次特征图进行结合，增强特征图的细节特征，提高病变区域边界部分的分割准确性；

6、s4：利用步骤s1得到的底层特征图和步骤s2得到的低频信息，通过卷积核生成网络得到解码器网络的卷积核；卷积核由输入图像产生，可以根据输入的临床图像灵活变化，有更强的适应性；

7、s5：解码器网络使用步骤s4得到的卷积核，卷积步骤s3得到的结合了高频信息的特征图，产生最终病变区域分割结果。

8、进一步地，所述步骤s1中临床图像的预处理包括：通过插值将图像统一为相同尺寸；逐通道将图像的均值和方差进行归一化。

9、进一步地，所述步骤s1中编码器网络采用pvtv2网络，装载在imagenet数据集上预训练的模型权重，加快模型收敛，避免过拟合。

10、进一步地，所述步骤s2具体为：

11、a1：将图像分为若干紧密相连且互不重叠的8×8像素区域；

12、a2：在每个区域内部进行离散余弦变换(dct)；

13、a3：将步骤a2得到的图像每个区域中相同位置的像素作为一个通道，构建通道数为原图像64倍的频域图像；

14、a4：使用高频和低频滤波器对步骤a3得到的频域图像进行滤波，得到输入临床图像的高频和低频信息；

15、a5：使用cbam(convolutional blockattention module)处理步骤a4得到的高频和低频信息，增强二者在通道和空间维度上的全局信息。

16、进一步地，所述步骤a4中的高频和低频滤波器为：

17、fh＝fhb+fhl

18、fl＝flb+fll

19、其中，fh代表高通滤波器，fl代表低通滤波器，fhb、flb分别代表基础的高通、低通滤波器，fhl、fll分别代表可学习的高通、低通滤波器。

20、进一步地，所述步骤s3具体为：

21、b1：将高频信息插值缩放到与目标特征图相同分辨率；

22、b2：将步骤b1中缩放处理过的高频信息与编码器输出的特征图在通道维度拼接，通过一个输出通道为一的卷积层得到空间注意力图，与二者分别相乘；

23、b3：使用两个可学习的通道维度向量作为通道注意力，分别与在步骤b2中加入过空间注意力的特征图和高频信息图相乘。

24、进一步地，所述步骤s4具体为：

25、c1：将步骤s2得到的高频信息进行线性embedding；

26、c2：将步骤s1得到的底层特征图进行embedding并加入位置编码(positionencoding)；

27、c3：将步骤c1和步骤c2的结果作为输入，使用一个transformer decoder生成用于模型解码器的卷积核。

28、进一步地，所述步骤s5具体为：

29、d1：将步骤s3得到的特征图进行区域划分，分为四个区域，包括病变区域内部、病变区域边缘、背景和上一层解码器分割结果的不确定区域；

30、d2：在步骤d1划分的每个区域中，使用步骤s4生成的不同卷积核进行卷积，得到最终分割结果。

31、进一步地，所述步骤d1中采用训练好的掩膜监督对特征图进行区域划分，具体为：对标签掩膜(mask)进行距离变换，取病变区域中距离值小于最大值三分之一的区域和病变区域外部与其对称的区域作为病变区域的边缘区域，病变区域的其余部分作为内部区域，病变区域外部其余部分作为背景区域，使用由此生成的掩膜监督对特征图的区域划分。

32、本发明中训练所述神经网络模型使用的损失函数为：

33、l＝lseg+lmask

34、其中l表示损失函数，lseg为分割结果损失值，lmask为区域划分损失值。

35、有益效果：本发明与现有技术相比，具备如下优点：

36、1、本发明方法可实现基于深度神经网络的临床图像病变区域自动分割，可以协助临床医生降低病变区域漏诊率，并为诊疗提供参考。

37、2、本发明方法根据输入图像决定网络参数，使模型对不同图像和图像中的不同区域能够使用不同的参数，并同时利用图像域和频域信息，有效提高了对于临床图像病变区域的分割准确率。

技术特征：

1.一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤s1中临床图像的预处理包括：通过插值将图像统一为相同尺寸；逐通道将图像的均值和方差进行归一化。

3.根据权利要求1所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤s1中编码器网络采用pvtv2网络，装载在imagenet数据集上预训练的模型权重，加快模型收敛，避免过拟合。

4.根据权利要求1所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤s2具体为：

5.根据权利要求4所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤a4中的高频和低频滤波器为：

6.根据权利要求1所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤s3具体为：

7.根据权利要求1所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤s4具体为：

8.根据权利要求1所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤s5具体为：

9.根据权利要求8所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤d1中采用训练好的掩膜监督对特征图进行区域划分，具体为：对标签掩膜进行距离变换，取病变区域中距离值小于最大值三分之一的区域和病变区域外部与其对称的区域作为病变区域的边缘区域，病变区域的其余部分作为内部区域，病变区域外部其余部分作为背景区域，使用由此生成的掩膜监督对特征图的区域划分。

10.根据权利要求4所述的一种基于频域监督和动态卷积的临床图像中病变区域分割方法，其特征在于，所述步骤a2中离散余弦变换通过标签掩膜实现。

技术总结
本发明公开了一种基于频域监督和动态卷积的临床图像中病变区域分割方法，包括如下步骤：将预处理后的临床图像输入编码器网络，得到图像多层次的特征图；对图像进行离散余弦变换，得到图像的频域信息，并在频域中滤波，分别得到图像的高频和低频信息；将得到的高频信息与得到的各层次特征图进行结合；利用底层特征图和低频信息，通过卷积核生成网络得到解码器网络的卷积核；解码器网络利用得到的结合了高频信息的特征图，使用卷积核产生最终病变区域分割结果。本发明同时利用图像的频域和空间域信息，并对图像的变化有较强的适应性，提高了分割的准确率。

技术研发人员：王浩林,周光泉,王凯妮
受保护的技术使用者：东南大学
技术研发日：
技术公布日：2024/1/15