基于超声图像的器官与结节联合分割方法及系统与流程

本发明涉及医学图像处理，尤其是指一种基于超声图像的器官与结节联合分割方法及系统。

背景技术：

1、结节是指一类不同于正常组织的异常成团的身体组织，形状有圆形、椭圆形和不规则形，并且结节在各类器官中的发病率进一步上升，例如甲状腺、肺部、乳腺、肝、肾等器官。超声成像技术由于其无创、安全和便携的因素，已经广泛的应用于各类器官和病变的成像和诊断中，例如已经成为甲状腺结节的最佳诊断工具。但是超声图像诊断具有对医生经验依赖性强和出具报告耗时等缺点，因此基于超声图像实现器官和结节的自动分割对提升医生的诊断准确率和效率具有重要的意义。

2、传统的医学图像分割算法主要有基于水平集的方法、基于分水岭的方法、基于聚类的方法和基于区域生长的方法。但是由于超声图像具有分辨率不高和对比度低等缺点以及结节病灶区域具有边界模糊和形状变化大的特点，因此传统的图像分割算法很难获得准确的分割结果。随着深度学习的发展，卷积神经网络由于其分割准确率高和抗干扰能力强，广泛应用于医学图像分割领域。例如sun等人采用deeplabv3+为基干的双路径卷积神经网络实现甲状腺结节的分割，双路径为区域路径和形状路径。hoang等人提出了利用乳腺器官的多尺度超声图像金字塔和卷积语义分割网络实现乳腺结节的分割。公告号为cn112529894a的发明专利公开了一种基于深度学习网络的甲状腺结节的诊断方法，其使用deeplab v3+实现甲状腺和结节的整体分割。li等人提出一种具有边界注意力机制的transformer网络实现超声图像中甲状腺结节的分割。但是以上分割方法对于器官和结节分割整体结合不足，并且未利用到三维空间分布信息，因此整体的分割效果不太理想。

技术实现思路

1、为此，本发明所要解决的技术问题在于克服现有技术中存在的技术缺陷，而提出一种基于超声图像的器官与结节联合分割方法及系统，其能够实现超声图像中器官与结节的联合分割，对提升医生的诊断准确率和速率具有重要的意义。

2、为解决上述技术问题，本发明提供了一种基于超声图像的器官与结节联合分割方法，包括：

3、将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；

4、对所述器官分割结果和所述结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；

5、使用三维空间信息对所述器官与结节联合分割结果进行分割优化，得到优化后的分割结果。

6、在本发明的一个实施例中，所述器官分割模型和结节分割模型在模型训练阶段时，在将所述超声图像输入至器官分割模型和结节分割模型之前，对所述超声图像进行数据增强处理。

7、在本发明的一个实施例中，所述器官分割模型和所述结节分割模型均包括生成器和鉴别器，所述生成器包括分割网络和深监督部分，所述分割网络采用预先训练好的resnet作为编码器，所述编码器使用两个步长为1的3x3卷积代替resnet中步长为2的7x7卷积。

8、在本发明的一个实施例中，所述器官分割模型的分割网络采用resnet18作为编码器，所述结节分割模型的分割网络采用resnet34作为编码器，解码器采用跳跃连接融合编码器部分的特征信息，所述深监督部分包括3x3卷积上采样子模块，所述解码器每层的后端均连接有所述3x3卷积上采样子模块，使用所述3x3卷积上采样子模块融合每层特征并输出其分割结果，采用上采样的方式将分割结果上采样到输入图像大小。

9、在本发明的一个实施例中，所述器官分割模型和所述结节分割模型的损失函数为：

10、

11、其中，g表示生成器，d表示鉴别器，x和y分别表示输入图像对和对应的金标准。

12、在本发明的一个实施例中，对所述器官分割结果和所述结节分割结果进行联合处理的方法，包括：

13、对器官分割区域进行空洞填充，并选取器官分割区域的最大连通域，以及对结节分割区域进行空洞填充，并标记结节，获取单个结节分割区域；

14、判断所述单个结节分割区域是否与器官分割区域相交；

15、若否，则剔除所述结节分割区域，若是，则将结节分割区域与器官分割区域进行联合；

16、判断是否遍历完最后一个结节分割区域；

17、若否，则返回获取单个结节分割区域的步骤，若是，则输出器官与结节联合分割结果。

18、在本发明的一个实施例中，使用三维空间信息对所述器官与结节联合分割结果进行分割优化的方法，包括：

19、根据超声扫查过程中的空间连续相邻图像中的器官与结节联合分割结果以及器官和结节的相对位置关系，对该截面图像中的器官或结节的位置与边界进行预测，得到预测结果，并将所述预测结果与该截面图像中的器官与结节联合分割结果相结合进行分割优化。

20、此外，本发明还提供了一种基于超声图像的器官与结节联合分割系统，包括：

21、分割模块，其用于将从数据库获取到的超声图像分别输入至器官分割模型和结节分割模型中，得到器官分割结果和结节分割结果；

22、联合分割模块，其用于对所述器官分割结果和所述结节分割结果进行联合处理，包括筛选得到与器官分割区域相交的结节分割区域，并将筛选得到的结节分割区域与器官分割区域进行联合，得到器官与结节联合分割结果；

23、分割优化模块，其用于使用三维空间信息对所述器官与结节联合分割结果进行分割优化，得到优化后的分割结果。

24、在本发明的一个实施例中，所述联合分割模块对所述器官分割结果和所述结节分割结果进行联合处理，包括：

25、对器官分割区域进行空洞填充，并选取器官分割区域的最大连通域，以及对结节分割区域进行空洞填充，并标记结节，获取单个结节分割区域；

26、判断所述单个结节分割区域是否与器官分割区域相交；

27、若否，则剔除所述结节分割区域，若是，则将结节分割区域与器官分割区域进行联合；

28、判断是否遍历完最后一个结节分割区域；

29、若否，则返回获取单个结节分割区域的步骤，若是，则输出器官与结节联合分割结果。

30、在本发明的一个实施例中，所述分割优化模块使用三维空间信息对所述器官与结节联合分割结果进行分割优化，包括：

31、根据超声扫查过程中的空间连续相邻图像中的器官与结节联合分割结果以及器官和结节的相对位置关系，对该截面图像中的器官或结节的位置与边界进行预测，得到预测结果，并将所述预测结果与该截面图像中的器官与结节联合分割结果相结合进行分割优化。

32、本发明的上述技术方案相比现有技术具有以下优点：

33、本发明所述的一种基于超声图像的器官与结节联合分割方法及系统，其主要包括器官分割、结节分割、器官与结节联合分割以及分割优化部分，结合器官和结节的先验知识联合处理器官与结节的分割结果，从而进一步提升其分割准确率，并结合三维空间信息过滤掉联合分割结果中的噪声来提升分割准确率，能够实现超声图像中器官与结节的联合分割，对提升医生的诊断准确率和速率具有重要的意义。