基于深度学习分割掩膜的表面重建研究方法

本发明实施例涉及医学图像处理，尤其涉及基于深度学习分割掩膜的表面重建研究方法。

背景技术：

1、在临床医学中，前列腺磁共振(mri)图像是一种重要的诊断工具，用于检测和诊断前列腺疾病，特别是前列腺癌。然而，mri图像通常以二维切片的形式呈现，医生需要通过这些切片来构建三维前列腺的实体模型，以更全面地了解前列腺的结构和异常。通常，提取一个方向的序列切片(该方向图像视觉效果更清晰)，对切片进行逐层分割，而后根据分割好的图像构建实体模型。

2、现有的医学建模方法存在几大问题，其一，在目标区域分割时，手动注释需要专业领域知识，这是耗时且低效的，同时由于个体差异性及不同专家的标注主观性，准确快速分割仍具有较大挑战性。其二，医学数据集不同于自然图像，涉及伦理和道德规范，同时对成像质量有着较高的要求。因此，医学图像数量较少，如何通过小样本数据提升深度学习分割精度，需要进行深入研究。第三，现有的建模软件通常采用阈值法、区域生长法和基于随机场的方法，会产生分割精度不足、复杂结构分割困难以及计算复杂度高等问题。第四，建模方法中的面绘制和体绘制构建出的模型表面较为粗糙且计算复杂度较高。因此提出一种准确度高、人工交互少或者完全自动化的医学三维模型构建方法是非常必要的。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种基于深度学习分割掩膜的表面重建研究方法，包括：

2、步骤1，获取前列腺磁共振图像作为数据集，数据集划分为训练集和测试集；

3、步骤2，对数据和标签进行预处理：对数据集切片处理，剔除不包含前列腺区域的负样本，将图像保存为png格式，方便后续分割模型训练；

4、步骤3，对训练集数据进行样本扩充，得到增强数据集；

5、步骤4，搭建基于ghost—hrunet的深度学习分割模型：以hrnet作为分割网络的主干，将主干中的bottleneck模块替换为osa模块，捕获更多浅层特征信息；使用ghostv2模块替换主干basicblock模块，减少网络参数量和计算量；网络输出阶段，将多尺度输出与unet结合，改善语义特征表示(避免分辨率变化造成的空间或语义知识丢失)，提升分割精度；损失函数为focal loss+dice loss；

6、步骤5，对分割图像进行孔洞填充操作，避免建模过程中的轮廓区域影响；

7、步骤6，进行canny边缘检测，找到目标外围轮廓线，顺序提取轮廓点：

8、步骤7，对各层轮廓点稀疏采样，而后将采样点通过贝塞尔曲线插值拟合，得到更加完整光滑的样条曲线；

9、步骤8，将处理后的轮廓线按照层间关系导入三维空间中，调整实例各层轮廓线初始点位置，使它们尽量分布在同一截面内，同时将初始点由切片顶层向底层通过三次样条插值拟合构成引导线；使用建模方法中的“扫掠”命令在相邻层轮廓线之间构建实体模型；

10、步骤9，模型保存导出为stl格式，后续进行实体打印；

11、优选地，所诉步骤3包括:数据增强方式为缩放、翻转、色域变换；扩充后的数据集和标签需要边缘像素填充操作，使图像尺寸达到预定要求，此处图像要求尺寸为[512,512]；

12、优选地，所诉步骤4包括:

13、主干中bottleneck模块替换为osa模块：osa模块源于densenet网络改进，densenet每层会聚合前面所有层的特征，但中间层对模型的影响较小，存在一定的冗余，而osa模块仅在最后一次性聚合前面所有的层，极大程度减少参数量的同时不会造成有效特征信息的损失。此外，osa模块通过引入对象上下文和局部上下文信息，有助于改善图像特征的表示。对象上下文关注物体或目标的信息，而局部上下文关注目标周围的环境。这种细粒度的信息聚合有助于网络更好地理解图像内容，从而提高其性能。

14、主干中的basicblock模块替换ghostnetv2模块：ghostnetv2模块专注于轻量级设计，引入了ghost卷积层，这是一种计算成本较低的卷积操作，通过减少主要卷积层的数量，降低整体计算成本同时保持模型的性能。

15、输出hrnet结合unet：hrnet以多尺度并行处理图像，保留了高分辨率的信息。结合unet的编码-解码结构，可以有效地融合多尺度信息，使网络能够同时关注细节和全局上下文，从而提高分割任务的性能。

16、focal loss+dice loss损失函数：focal loss用于处理类别分布不均匀的损失函数，通过调整损失函数的权重，更关注难以分类的样本，从而减轻容易分类的样本对训练的影响；dice loss通常用于衡量预测分割与真实分割之间的相似度，趋向于惩罚分割结果中的假阳性和假阴性错误；两者结合，可以同时关注类别不均衡和分割精度问题，有望获得更好的分割模型性能。

17、优选地，所诉步骤7包括:边缘轮廓点稀疏采样，采样步长设为12，而后将重采样后的点集保存到列表集合中，根据样本层间距将点集导入三维空间中，为了形成封闭轮廓，需要将样本每层点集进行连接，采用贝塞尔曲线拟合法获取序列轮廓，

18、优选地，所诉步骤8包括:序列轮廓点代表结构外表面上的离散点。基于点云数据使用三维重建算法生成多边形网格模型，其中包含许多小的多边形面片。这些面片拟合到点云数据，以准确表示结构的外表面。在创建三维网格模型后，进行模型平滑操作，以减少模型中的不规则性和噪声。

19、与现有技术相比，本发明具有以下有益效果:

20、1、本发明提供了一种前列腺自动分割和建模的方法，在分割效率和精度上均有明显改进，同时我们提供了根据分割掩膜构建三维模型的方法，减少了常用方法建模过程中存在的孔洞缺陷和边缘锯齿等现象。

21、2、通过对测试集数据进行分割，得到相应的评价指标：dsc为93.42％，m iou为87.66％，mpa为96.22％，preci s ion为92.65％，params为29.349m，flops为83.355g。通过分析实验结果，可以发现模型实现轻量化的同时在分割精度上也略有提升，这也为后续的前列腺癌的诊断治疗提供了参考依据。

技术特征：

1.一种基于深度学习分割掩膜的表面重建研究方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括：通过观察前列腺磁共振图像结构，全腺体为“桃子状”，腺体各层形状不规则但呈现单一封闭轮廓，为了更加准确快速构建前列腺表面模型，可根据目标区域的轮廓线构建实体模型。

3.根据权利要求2所述的方法，其特征在于，所述步骤2具体包括：获取的前列腺原始数据为mhd和raw格式，这种格式不方便模型训练，采用的轮廓线建模法对层间距要求不高；因此，可对原始数据集进行切片处理，同时将切片后的图像保存为png格式；切片保存后的二维图像中包含大量负样本数据，不利于网络的训练，需要将不包含前列腺区域的数据剔除；经过处理后的训练样本切片有778张图像。

4.根据权利要求3所述的方法，其特征在于，所述步骤3具体包括：上述训练样本数量对于深度学习而言是不够的，因此需要对数据和标签进行增强，使用缩放、翻转、色域变换方法对训练样本进行数据增强。

5.根据权利要求4所述的方法，其特征在于，所述步骤4具体包括：

6.根据权利要求5所述的方法，其特征在于，所述步骤5具体包括：在测试集的分割结果中，部分图像会存在内部孔洞、边缘断裂等现象，不利于后续的轮廓线建模，需要对分割结果进行形态学处理，以便获取单一闭合轮廓。

7.根据权利要求6所述的方法，其特征在于，所述步骤6具体包括：对处理后的掩膜图像使用canny边缘检测算子获取图像边缘轮廓。

8.根据权利要求7所述的方法，其特征在于，所述步骤7具体包括：由于获取的边缘轮廓存在“锯齿状”，这会对表面建模质量造成一定影响，为获取光滑轮廓线，需要对轮廓线进行类似“平滑”操作，具体如下：

9.根据权利要求8所述的方法，其特征在于，所述步骤8具体包括：

10.根据权利要求9所述的方法，其特征在于，所述步骤9具体包括：将构建好的前列腺三维模型导出为stl文件，使用3d打印工具对模型进行调整打印。

技术总结
本发明公开了一种基于深度学习分割掩膜的表面重建研究方法，其包括如下步骤:导入数据，包括原始图像与对应分割标签；进行数据预处理，将三维数据切片并进行格式转换，得到方便处理的图像类型；考虑获取数据量较少，采用离线数据增强方法扩充数据集；搭建基于深度学习的分割网络模型，对数据集进行训练，实现目标区域的自动分割；对分割掩膜进行孔洞填充，光滑处理等形态学操作；通过Canny算子得到分割掩膜图像的轮廓线；对轮廓线稀疏取点并采用贝塞尔曲线插值算法得到光滑闭合轮廓线；根据处理好的轮廓线集合构建表面模型；最后将构建好的模型进行保存和打印。本发明可实现单轮廓序列模型的自动构建，改善了表面模型的质量，操作方法简单可重复，大大减少了人工操纵的时间与主观性。

技术研发人员：魏东亮,刘孝保,胡志宏,甘博敏,苏帅林
受保护的技术使用者：昆明理工大学
技术研发日：
技术公布日：2024/2/1