基于边缘优化和特征去噪的弱监督细胞核分割方法及装置

本发明属于数字病理学和深度学习的，具体涉及一种基于边缘优化和特征去噪的弱监督细胞核分割方法及装置。

背景技术：

1、组织病理图像分析是癌症诊断的“金标准”。传统的病理诊断方式主要是病理医师借助显微镜肉眼观察组织切片，该方式下病理医师容易疲劳且诊断结果可复现性差。随着病理全切片扫描仪的发展，通过使用扫描仪将组织病理学切片转换成数字化的全幅扫描病理图像(whole slide images,wsis)，有利于病理医师观察和计算机辅助病理图像分析。细胞核分割是病理图像分析的基础和关键任务。精准的细胞核分割可以为临床诊断提供表型信息，研究人员可从细胞水平解码肿瘤的发展情况。然而，每个wsi中有数以百万计的细胞核，且类型不同、结构高度复杂，病理医师手动分割这些细胞核是不切实际的。因此，细胞核自动分割在病理图像分析中至关重要。

2、传统的图像处理技术如otsu阈值分割和分水岭算法对于细胞拥挤或者粘连的情况分割效果较差，易导致欠分割或者过分割。随着深度学习的发展，在病理图像细胞核分割领域的探索更加深入，通过深度学习的方法完成细胞核分割任务可以达到较高的精准度。但基于全监督的深度学习方法的高性能依赖高质量的注释，并且需要大量的数据才可以完成训练。由于标注这些图像需要丰富的先验知识，并且工作量巨大，人工完成像素级的注释具有较大挑战。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于边缘优化和特征去噪的弱监督细胞核分割方法及装置，使用深度学习的方法构建细胞核分割模型来帮助分割病理图像中的细胞核并进行直观展示，不但能够适应绝大多数与的细胞核类别，还大大降低了病理医生手动标注的工作量。

2、为了达到上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于边缘优化和特征去噪的弱监督细胞核分割方法，包括下述步骤：

4、对组织病理图像进行预处理，获取病理切片数据集；

5、将病理切片数据集标注，生成弱标签，所述弱标签包括voronoi标签、k-means聚类标签和超像素标签；对病理切片数据集划分形成训练集、验证集和测试集；

6、构建细胞核分割模型，所述细胞核分割模型采用改进的u-net网络，所述改进的u-net网络中利用深度残差网络的卷积层替代u-net的编码器部分，并嵌入特征去噪模块；利用病理切片数据集对所述细胞核分割模型进行二阶段的训练；

7、第一阶段训练中，在改进的u-net网络中利用三种带弱标签的训练集对细胞核分割模型进行粗分割训练，总损失为voronoi标签、k-means聚类标签和超像素标签的交叉熵损失之和，第一阶段训练后细胞核分割模型输出细胞核和背景的概率图；

8、第二阶段训练中，应用置信学习对k-means聚类标签和超像素标签进行去噪处理得到去噪标签；并使用边缘优化策略对原始的组织病理图像做初步的边缘操作，同时对所述概率图的掩膜进行扩张与侵蚀并进行掩膜作差得到掩膜边缘图，经过像素操作与标签损失计算后生成边缘优化标签；基于所述去噪标签和边缘优化标签组成新的精细化伪标签，利用所述精细化伪标签进行第二阶段的精细训练；

9、利用训练好的细胞核分割模型对组织病理图像进行分割，得到最终分割结果。

10、作为优选的技术方案，所述将病理切片数据集标注，具体为：

11、利用voronoi图标签对细胞核标注，用于为细胞核分割模型提供细胞核的位置信息；

12、利用k-means聚类标签对细胞核的边界和形状点标注，用于获取细胞核的边界和形状信息；

13、利用超像素标签补充细胞核位置信息和像素级信息。

14、作为优选的技术方案，所述特征去噪模块具体为：

15、对编码器部分resnet34网络进行重构；

16、在每次下采样后添加特征去噪模块；

17、编码器的输入特征要经过一个去噪操作，所述去噪操作使用非局部均值去噪算法，通过计算图像中所有位置的加权均值来进行特征去噪，之后经过一个1×1的卷积层，再将该权重与初始的输入权重相加求和，得到最终的特征去噪之后的模型权重。

18、作为优选的技术方案，所述k-means聚类标签的标注方法，具体为：

19、对于图像x的n个像素，利用k-means算法将n个像素划分为k类，使类内方差最小化，如下式所示：

20、

21、其中，fx为每个像素的特征向量fx＝(d,r,g,b)，特征向量包含像素点到最近的质心点的距离d和颜色信息r,g,b。ci为第i个聚类的聚类中心。

22、作为优选的技术方案，所述应用置信学习对k-means聚类标签和超像素标签进行去噪处理得到去噪标签，包括以下步骤：

23、通过计算伪标签和真实标签之间的联合分布q识别超像素标签和k-means聚类标签中的噪声像素；

24、查找并删除错误的像素点和带有噪声问题的标签，具体为：对于某个标签类别，用像素点总数乘联合分布q的非对角区域概率值，得到需要过滤的错误像素点的个数，再将该类别的像素的预测概率由低到高反转所需反转的像素点的个数；

25、使用联合分布q过滤错误样本。

26、作为优选的技术方案，所述联合分布q通过下述方法得到：

27、创建了一个m*m的计数矩阵c，m表示类别数，c表示的是伪标签类别与实际类别相同与否的像素点个数，将交叉验证得到的平均概率作为置信阈值，而每个像素的实际类别是由置信阈值确定的，如果该像素在某个类别的预测概率大于阈值，那么认为该像素属于该类；在标定好计数矩阵c之后，对c进行概率归一化，得到伪标签和真实标签之间的联合分布q。

28、作为优选的技术方案，所述边缘优化策略具体为：

29、使用sobel算子对原始的病理图像做初步的边缘检测，然后进行边缘勾画操作，得到sobel边缘图；对第一阶段弱监督粗分割训练得到的分割掩膜进行扩张和侵蚀，将扩张和侵蚀后的掩膜作差得到掩膜的边缘图，将sobel边缘图与掩膜的边缘图进行像素与操作，得到精细化的边缘优化标签。

30、作为优选的技术方案，所述将病理切片数据集标注具体为：

31、根据完整像素级注释计算细胞核的质心作为点标注，计算每个细胞核的最长水平和垂直长度，并在最大距离处进行连线，交点即为细胞核的质心点，根据所述点标签生成训练所需的voronoi标签、k-means聚类标签和超像素标签。

32、第二方面，本发明提供了一种基于边缘优化和特征去噪的弱监督细胞核分割系统，应用于所述的基于边缘优化和特征去噪的弱监督细胞核分割方法，包括预处理模块、标注模块、模型构建模块、第一阶段训练模块、第二阶段训练模块和分割模块；

33、所述预处理模块，用于对组织病理图像进行预处理，获取病理切片数据集；

34、所述标注模块，用于将病理切片数据集标注，生成弱标签，所述弱标签包括voronoi标签、k-means聚类标签和超像素标签；对病理切片数据集划分形成训练集、验证集和测试集；

35、所述模型构建模块，用于构建细胞核分割模型，所述细胞核分割模型采用改进的u-net网络，所述改进的u-net网络中利用深度残差网络的卷积层替代u-net的编码器部分，并嵌入特征去噪模块；利用病理切片数据集对所述细胞核分割模型进行二阶段的训练；

36、所述第一阶段训练模块，用于在第一阶段训练中，在改进的u-net网络中利用三种带弱标签的训练集对细胞核分割模型进行粗分割训练，总损失为voronoi标签、k-means聚类标签和超像素标签的交叉熵损失之和，第一阶段训练后细胞核分割模型输出细胞核和背景的概率图；

37、所述第二阶段训练模块，用于在第二阶段训练中，应用置信学习对k-means聚类标签和超像素标签进行去噪处理得到去噪标签；并使用边缘优化策略对原始的组织病理图像做初步的边缘操作，同时对所述概率图的掩膜进行扩张与侵蚀并进行掩膜作差得到掩膜边缘图，经过像素操作与标签损失计算后生成边缘优化标签；基于所述去噪标签和边缘优化标签组成新的精细化伪标签，利用所述精细化伪标签进行第二阶段的精细训练；

38、所述模型分割模块，用于利用训练好的细胞核分割模型对组织病理图像进行分割，得到最终分割结果。

39、第三方面，本发明还提供了一种电子设备，所述电子设备包括：

40、至少一个处理器；以及，

41、与所述至少一个处理器通信连接的存储器；其中，

42、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如所述的基于边缘优化和特征去噪的弱监督细胞核分割方法。

43、本发明与现有技术相比，具有如下优点和有益效果：

44、(1)本发明使用深度学习的方法构建细胞核分割模型来帮助分割病理图像中的细胞核，并进行直观展示，不但能够适应绝大多数细胞核的种类，还大大降低了病理医生手动标注的工作量。

45、(2)本发明将u-net进行改造，用深度残差网络的卷积层代替u-net的编码器，使模型对网络权重的波动变化更加敏感，提高了模型的特征学习能力和鲁棒性；同时，在每次下采样后引入了特征去噪模块fdm，更好地识别模型前景和背景之间的边缘轮廓，并有利于更好的区分相邻的细胞核。

46、(3)本发明采用边缘优化策略，获取边缘优化标签，避免了边缘轮廓误差大等问题，从而提高了模型对组织病理图像中的细胞核的分割能力，同时通过置信学习的方法来表征和识别数据集中的标签错误来提升注释质量。