本发明涉及病理学图像领域,特别涉及一种淋巴细胞标注方法;此外,本发明还涉及一种淋巴细胞标注系统。
背景技术:
1、由于淋巴细胞标注难度大、时间成本高,目前淋巴细胞数据集一般采用点标注方式,即病理学家仅在淋巴细胞内部靠近中心的位置直接做一个标记点。但常用的图像分割方面的深度学习模型都是针对区域级别的标注数据,难以针对单个像素级别的点状数据进行学习。现有的方法对细胞密集区域的分割效果不足,预测的淋巴细胞轮廓容易发生粘连的情况。此外,现有的方法中对数据集敏感,模型效果不够稳定,还容易出现细胞被遗漏,细胞未被分割的情况。
技术实现思路
1、为了解决现有技术存在的问题,本发明的至少一个实施例提供了一种淋巴细胞标注方法,缓解了分割标注预测的淋巴细胞轮廓容易发生黏连的情况,从很大程度上提升了对淋巴细胞分割标注的效果。为此,本发明的至少一个实施例还提供了一种淋巴细胞标注系统。
2、第一方面,本发明实施例提出一种淋巴细胞标注方法,所述方法包括以下步骤:
3、步骤1,将待分割标注预测的wsi淋巴细胞图切分成多个图像块;
4、步骤2,通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测;
5、步骤3,查找分割标注预测结果中存在分割异常的淋巴细胞,并且记录分割异常位置;
6、步骤4,对所述分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞;
7、步骤5,合并各个经过分割标注预测的图像块。
8、在一些实施例中,所述步骤1中,通过线性差值方式对所述wsi淋巴细胞图进行缩放,再通过滑动窗口方式对其进行切分。
9、在一些实施例中,所述步骤3中,通过异常指标判断分割标注预测结果中是否存在分割异常的淋巴细胞,所述异常指标包括一个分割区域内是否存在两个及两个以上的点状标注、点状标注是否不在任何细胞分割区域内以及被分割区域的长、宽、长宽比中三者任何一项是否超过均值加减多倍标准差的范围。
10、在一些实施例中,所述步骤4中,对所述分割异常位置的淋巴细胞进行膨胀分割包括以下步骤:
11、步骤4.1,根据淋巴细胞的聚集程度确定淋巴细胞的先验轮廓;
12、步骤4.2,在所述先验轮廓的基础上通过drlse水平集算法迭代多次得到淋巴细胞的初步轮廓;
13、步骤4.3,在所述初步轮廓的基础上通过cv水平集算法迭代多次得到淋巴细胞的最终轮廓。
14、在一些实施例中,确定淋巴细胞的先验轮廓包括以下步骤:
15、步骤4.1.1,计算当前淋巴细胞与其它淋巴细胞的最小距离;
16、步骤4.1.2,根据所述最小距离判定所述先验轮廓的形状以及大小。
17、在一些实施例中,所述淋巴细胞分割模型通过swin-hovernet网络进行训练生成;在构建swin-hovernet网络时,通过基于swin-transformer的编码器进行对淋巴细胞特征的的提取,通过基于swin-transformer的两个解码器分别对细胞的类别预测以及对细胞的形态识别,两个解码器在前向传播和反向传播阶段均共用同一个编码器。
18、在一些实施例中,构建swin-hovernet网络时包括聚合细胞每一个像素附近的灰度梯度信息。
19、第二方面,本发明实施例还提供了一种淋巴细胞标注系统,包括:
20、原始图像切分模块,用于将待分割标注预测的wsi淋巴细胞图切分成多个图像块;
21、分割标注预测模块,用于通过已经训练完成的淋巴细胞分割模型对各图像块中的淋巴细胞进行分割标注预测;
22、异常查找模块,用于查找分割标注预测结果中存在分割异常的淋巴细胞,并且记录分割异常位置;
23、膨胀分割模块,用于对所述分割异常位置的淋巴细胞进行膨胀分割后替换分割异常的淋巴细胞;
24、合并模块,用于合并各个经过分割标注预测的图像块。
25、在一些实施例中,所述分割标注预测模块包括:
26、swin-hovernet网络构建模块,用于构建swin-hovernet网络,在构建swin-hovernet网络时,通过基于swin-transformer的编码器进行对淋巴细胞特征的的提取,通过基于swin-transformer的两个解码器分别对细胞的类别预测以及细胞的形态识别,两个解码器在前向传播和反向传播阶段均共用同一个编码器;
27、淋巴细胞分割模型生成模块,用于通过swin-hovernet网络进行训练生成淋巴细胞分割模型。
28、在一些实施例中,所述swin-hovernet网络构建模块包括:
29、聚合模块,用于聚合细胞每一个像素附近的灰度梯度信息。
30、在一些实施例中,所述异常查找模块包括:
31、异常判断模块,用于通过异常指标判断分割标注预测结果中是否存在分割异常的淋巴细胞,所述异常指标包括一个分割区域内是否存在两个及两个以上的点状标注、点状标注是否不在任何细胞分割区域内以及被分割区域的长、宽、长宽比中三者任何一项是否超过均值加减多倍标准差的范围。
32、在一些实施例中,所述膨胀分割模块包括:
33、先验轮廓确定模块,用于根据淋巴细胞的聚集程度确定淋巴细胞的先验轮廓;
34、初步轮廓生成模块,用于在所述先验轮廓的基础上通过drlse水平集算法迭代多次得到淋巴细胞的初步轮廓;
35、最终轮廓生成模块,用于在所述初步轮廓的基础上通过cv水平集算法迭代多次得到淋巴细胞的最终轮廓。
36、在一些实施例中,所述先验轮廓确定模块包括:
37、先验轮廓计算模块,用于计算当前淋巴细胞与其它淋巴细胞的最小距离,并且根据所述最小距离判定所述先验轮廓的形状以及大小。
38、第三方面,本发明实施例还提供一种淋巴细胞标注装置,包括至少一个处理器;与所述至少一个处理器耦合的存储器,所述存储器存储有可执行指令,所述可执行指令在被所述至少一个处理器执行时使得实现如上第一方面的任一项所述方法的步骤。
39、第四方面,本发明实施例还提供一种芯片,用于执行上述第一方面中方法的步骤。具体地,该芯片包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有该芯片的设备用于执行上述第一方面中方法的步骤。
40、第五方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上第一方面的任一项所述方法的步骤。
41、第六方面,本发明实施例还提供一种计算机程序产品,包括计算机程序指令,该计算机程序指令使得计算机执行上述第一方面中方法的步骤。
42、可见,本发明实施例的一种淋巴细胞标注方法和系统,使用swin-transformer对hovernet网络进行改进后对淋巴细胞进行分割标注预测,再通过膨胀分割确定淋巴细胞的先验轮廓后得到最终轮廓,弥补了训练模型在细胞密集区域的不足,缓解了分割标注预测的淋巴细胞轮廓容易发生黏连的情况,从很大程度上提升了对淋巴细胞分割标注的效果。