一种基于可变形nnUNet的图像分割方法和装置与流程

本发明涉及图像处理领域，具体涉及一种基于可变形nnunet的图像分割方法和装置。

背景技术：

1、骨盆分割一直是骨盆骨骼疾病临床诊断和手术规划中必不可少的步骤，而对ct图像的处理正是这项步骤的一个基础性工作，ct图像保留了包括深度信息在内的实际解剖结构，为外科医生提供了更多关于损伤部位的细节信息，因此常被用于三维重建，以进行后续的手术规划和术后效果评估。因此，准确的从骨盆ct图像中分割出骨盆骨骼对于评估骨盆损伤的严重程度以及帮助外科医生做出正确的判断和选择合适的手术方式至关重要。

2、从骨盆ct图像中分割骨盆骨骼的主要任务是获取属于骨盆骨结构的四个重要关节：腰椎、骶骨、左髋和右髋的分割表示。现有技术中骨盆骨骼分割方法要么是手工的，要么是半自动的，在处理由于多部位域偏移、对比血管的存在、粪石和食糜、骨折、低剂量、金属伪影等引起的图像外观变化时，精度有限。随着深度学习技术在图像分割、分类和特征学习领域的发展，利用计算机视觉和特征识别、融合技术进行骨盆ct图像分割、分类是一种有效的解决方案。

3、近年来，由于unet在医学图像上的广泛且成功的应用，衍生出很多变种，nnunet便是其中性能表现非常好的变体，此网络关注于设计合理的数据处理过程和充分利用数据集的特点来训练模型，性能超越了在架构上面做出调整的其他unet变种，并被引入到各种各样的医学图像处理任务中。然而现有技术在利用nnunet对医学领域骨盆ct图像进行分割时，需要获取3d骨盆ct图像以便进行深度学习模型的训练，其中骨盆ct分割模型的训练、验证和测试需要使用经过标注的清晰3d ct图像进行训练，以此来提升模型对新样本的拟合、泛化能力，但骨盆ct图像中包含了骨折，血管，金属伪影等噪声，降低了ct图像分割的精度。

4、因此，在对3d骨盆ct的分割和重建过程中，由于骨盆数据体积大，且可能带有金属等噪音，边界不清晰等问题，且很长时间缺乏有效标注的数据集进行训练，这导致对骨盆的分割与重建目前没有对此方面有成果的研究，模型学习的特征不准确，分割重建效果不好。

技术实现思路

1、本发明的目的在于提供一种基于可变形nnunet的图像分割方法及装置，以解决上述背景技术中提出的分割图像效果较差的技术问题。

2、本发明第一方面提供一种基于可变形nnunet的图像分割方法，具体包括：

3、获取3d骨盆图像，基于可变形nnunet识别3d骨盆图像中的一个或多个目标区域，所述可变形nnunet包括依次连接的基于可变形卷积的特征编码器、特征融合模块和特征解码器；

4、基于3d骨盆图像计算重建参数，所述重建参数至少包括圆盘区域的半径，基于所述3d骨盆图像的最大连通分量的面积计算所述重建参数；

5、基于重建参数获得所述一个或多个目标区域的分割后图像。

6、优选的，所述基于可变形卷积的特征编码器包括：

7、偏移调整多个卷积层的卷积核，每个卷积层的卷积核的偏移量不完全相同，

8、采用残差连接的方式连接多个偏移后的卷积层，构成卷积模块，

9、连接卷积模块和差值层，以构成可变形卷积的特征编码器，

10、基于可变形卷积的特征编码器用于对3d骨盆图像中不规则骨盆医学特征进行识别，获得编码后的3d骨盆图像特征图。

11、优选的，所述调整多个卷积层的卷积核，具体包括：

12、(1)

13、(2)

14、优选的，所述差值层采用如下方式（3）、（4）调整所述卷积模块的输出：

15、(3)

16、(4)

17、优选的，所述特征融合模块由ladder-aspp构成，具体包括：

18、上路全局池化层和下路融合层，其中上路全局池化层至少包括全局池化模块，全局池化模块的输出与特征融合模块的输入图像进行混合处理；

19、下路融合层至少包括可变采样率的多个并行空洞卷积层和融合层，每个并行空洞卷积层的层级不同，每个并行空洞卷积层的输入至少包括输入特征融合模块的输入图像和上一并行空洞卷积层的输出。

20、优选的，所述上路全局池化层的输出经1×1的卷积和sigmoid后与特征融合模块的输入图像进行混合处理，所述混合处理为加权特征通道乘法。

21、优选的，所述上路池化层采用如下方式（公式5）计算：

22、(5)。

23、优选的，所述下路融合层采用如下方式（公式6）计算：

24、（6）。

25、优选的，基于可变形nnunet识别3d骨盆图像中的一个或多个目标区域之前，还包括训练可变形nnunet；

26、所述训练可变形nnunet，具体包括：

27、建立损失函数，利用反向传播训练所述可变形nnunet；

28、所述损失函数由交叉熵损失函数与dice总体损失函数之和构成。

29、本发明第二方面提供一种基于可变形nnunet的图像分割装置，包括：

30、分割模块，用于获取3d骨盆图像，基于可变形nnunet识别3d骨盆图像中的一个或多个目标区域，所述可变形nnunet包括依次连接的基于可变形卷积的特征编码器、特征融合模块和特征解码器；

31、计算模块，用于基于3d骨盆图像计算重建参数，所述重建参数至少包括圆盘区域的半径，基于所述3d骨盆图像的最大连通分量的面积计算所述重建参数；

32、后处理模块，用于基于重建参数获得所述一个或多个目标区域的分割后图像。

33、本发明提供了一种基于可变形nnunet的图像分割方法及装置，利用可变形卷积的特征编码器对骨盆图像进行特征提取，相较于普通的卷积而言，提高了编码器对不规则骨盆图像特征识别和提取的有效性和准确度；同时，基于图像本身的情况适应性地计算重建参数，准确去除伪影和空洞部分，使得形态学重建能够符合图像的实际情况，提高了从特征信息到图像的重建效果，进而提高了图像分割的准确性和效果。

技术特征：

1.一种基于可变形nnunet的图像分割方法，其特征在于，所述基于可变形nnunet的图像分割方法具体包括：

2.如权利要求1所述的基于可变形nnunet的图像分割方法，其特征在于，

3.如权利要求1所述的基于可变形nnunet的图像分割方法，其特征在于，

4.如权利要求1所述的基于可变形nnunet的图像分割方法，其特征在于，

5.如权利要求4所述的基于可变形nnunet的图像分割方法，其特征在于，

6.如权利要求4所述的基于可变形nnunet的图像分割方法，其特征在于，

7.如权利要求4所述的基于可变形nnunet的图像分割方法，其特征在于，

8.如权利要求1所述的基于可变形nnunet的图像分割方法，其特征在于，

9.一种基于可变形nnunet的图像分割装置，其特征在于，所述基于可变形nnunet的图像分割装置包括：

技术总结
本发明涉及图像处理领域，具体公开了一种基于可变形nnUNet的图像分割方法及装置。获取3D骨盆图像，基于可变形nnUNet识别3D骨盆图像中的一个或多个目标区域，所述可变形nnUNet包括依次连接的基于可变形卷积的特征编码器、特征融合模块和特征解码器；基于3D骨盆图像计算重建参数，所述重建参数至少包括圆盘区域的半径，基于所述3D骨盆图像的最大连通分量的面积计算所述重建参数；基于重建参数获得所述一个或多个目标区域的分割后图像。提高了图像分割的准确度和图像重建的效果。

技术研发人员：赵晶鑫,句福娇,吴奕初,王雅,李原
受保护的技术使用者：中国人民解放军总医院第四医学中心
技术研发日：
技术公布日：2024/3/24