一种基于细胞图像进行细胞分类的方法及系统与流程

1.本技术涉及计算机图像处理技术领域，特别涉及一种基于细胞图像进行细胞分类的方法及系统。


背景技术：

2.近年来，由于深度学习和神经网络强大的建模能力，以及医学图像本身信息量大和特征丰富的特点，深度学习技术在医学图像上的应用日趋成熟，采用基于深度学习和神经网络的图像处理技术进行细胞图像分析，辅助医生进行细胞的病变筛查，逐渐成为世界范围内的研究热点。
3.得益于大规模图像数据集的公布和高性能计算的发展，基于深度学习的细胞图像识别方法取得了长足的进展。目前主流的基于深度学习的医疗阅片系统，该医疗阅片系统对特定部位的细胞涂片进行图像化处理，基于得到的细胞图像进行细胞检测和定位，再精准的识别细胞是否发生病变，得到细胞检测结果。在医疗图像领域的细胞图像识别任务中，卷积神经网络是最常见的分类方法，但由于细胞涂片的制片方式和扫描设备的不同、细胞形态的多样性和不规则性以及细胞重叠等，多种因素的叠加使得细胞图像的识别难度较大。
4.虽然采用深度学习模型在细胞图像的识别特定任务上大大超过了之前所采用的机器学习模型，但是目前很多在工业届落地的深度学习模型在实际应用过程中存在泛化性差，可重复性低等问题，同传统应用场景类似。而在医疗图像识别领域，受不同制片方式和扫描设备的影响，细胞图像差异较大，将一套基础的深度学习模型应用到对该细胞图像的细胞分类时，难以适应所有的制片方式，分类细胞的准确率低。更进一步地，如果针对不同类别细胞的细胞图像训练适应的深度学习模型，则需要针对多样的不同训练数据进行单独训练，训练深度学习模型的效率低下。


技术实现要素：

5.有鉴于此，本技术实施例提供一种基于细胞图像进行细胞分类的方法，该方法在进行细胞图像中的细胞进行分类时，能够提高细胞分类的准确性。
6.本发明实施例还提供一种基于细胞图像进行细胞分类的系统，该系统在进行细胞图像中的细胞进行分类时，能够提高细胞分类的准确性。
7.本技术实施例是这样实现的：
8.一种基于细胞图像进行细胞分类的方法，述方法包括：
9.提供一细胞图像，从所述细胞图像中提取细胞特征，输入训练得到的深度学习模型中；
10.所述深度学习模型将所述细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算，得到所述细胞特征与不同类别细胞特征之间的相似度值，其中，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行细
胞类别匹配，及聚类得到的；
11.根据所述相似度值的高低顺序，将设定数量的对应类别细胞特征的类别，作为所述细胞图像中的细胞分类结果。
12.较佳地，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配包括：
13.在细胞数据库中为细胞特征标注细胞类别；
14.从细胞图像中提取细胞样本特征；
15.将所述细胞样本特征与标注了细胞类别的细胞特征进行相似度度量，得到与标注了细胞类别的细胞特征之间的差异值。
16.较佳地，所述在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配是由所述深度学习模型中的度量学习模块训练完成的。
17.较佳地，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行聚类包括：
18.基于与标注了细胞类别的细胞特征之间的差异值，在对应的细胞类别下对细胞特征进行均匀采样后，基于所选取的聚类中心，进行聚类处理，得到每一细胞类别的细胞特征。
19.较佳地，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行聚类是由所述深度学习模型中的特征聚类模块完成的。
20.较佳地，所述在细胞数据库中为细胞特征标注细胞类别包括：
21.将扫描细胞涂片样本得到的细胞图像样本，切分为多个图像样本分片；
22.采用细胞检测方法从多个图像样本分片中，检测得到单个细胞样本特征；
23.对检测得到的单个细胞样本特征进行细胞类别标注。
24.较佳地，所述深度学习模型将所述细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算，得到所述细胞特征与不同类别细胞特征之间的相似度值，是由所述深度学习模型中的训练后的特征匹配网络实现的。
25.一种基于细胞图像进行细胞分类的系统，所述系统包括：提取模块、特征匹配网络模块及分类结果模块，其中，
26.提取模块，用于从提供的一细胞图像中提取细胞特征，输入训练得到的深度学习模型中；
27.特征匹配网络模块，用于所述深度学习模型将所述细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算，得到所述细胞特征与不同类别细胞特征之间的相似度值，其中，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配，及聚类得到的；
28.分类结果模块，用于根据所述相似度值的高低顺序，将设定数量的对应类别细胞特征的类别，作为所述细胞图像中的细胞分类结果。
29.较佳地，所述系统还包括：
30.度量学习模块，还用于在细胞数据库中为细胞特征标注细胞类别；从细胞图像中提取细胞样本特征；将所述细胞样本特征与标注了细胞类别的细胞特征进行相似度度量，得到与标注了细胞类别的细胞特征之间的差异值。
31.较佳地，所述系统还包括：特征聚类模块，用于基于与标注了细胞类别的细胞特征之间的差异值，在对应的细胞类别下对细胞特征进行均匀采样后，基于所选取的聚类中心，进行聚类处理，得到每一细胞类别的细胞特征。
32.本发明实施例采用训练得到的深度学习模型进行细胞图像中的细胞分类，包括：提供一细胞图像，从所述细胞图像中提取细胞特征，输入训练得到的深度学习模型中；所述深度学习模型将所述细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算，得到所述细胞特征与不同类别细胞特征之间的相似度值，其中，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配，及聚类得到的；根据所述相似度值的高低顺序，将设定数量的对应类别细胞特征的类别，作为所述细胞图像中的细胞分类结果。这样，本发明实施例在采用训练得到的深度学习模型进行细胞图像中的细胞进行分类时，提高了细胞分类的准确性。
附图说明
33.图1为本技术实施例提供的一种基于细胞图像进行细胞分类的方法流程图；
34.图2为本技术实施例提供的采用深度学习模型进行细胞特征匹配及分类的过程架构示意图
35.图3为本技术实施例提供的深度学习模型中的度量学习模块进行度量学习的过程示意图；
36.图4为本技术实施例提供的采用训练得到的深度学习模型基于细胞图像进行细胞分类的架构示意图；
37.图5为本技术实施例提供的一种基于细胞图像进行细胞分类的系统结构示意图。
具体实施方式
38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
39.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
40.下面以具体实施例对本技术的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
41.本技术实施例为了在进行细胞图像中的细胞进行分类时，提高细胞分类的准确性，采用训练得到的深度学习模型进行细胞图像中的细胞分类，包括：提供一细胞图像，从所述细胞图像中提取细胞特征，输入训练得到的深度学习模型中；所述深度学习模型将所
述细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算，得到所述细胞特征与不同类别细胞特征之间的相似度值，其中，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配，及聚类得到的；根据所述相似度值的高低顺序，将设定数量的对应类别细胞特征的类别，作为所述细胞图像中的细胞分类结果。
42.这样，本发明实施例在采用训练得到的深度学习模型进行细胞图像中的细胞进行分类时，提高了细胞分类的准确性。
43.图1为本技术实施例提供的一种基于细胞图像进行细胞分类的方法流程图，其具体步骤包括：
44.步骤101、提供一细胞图像，从所述细胞图像中提取细胞特征，输入训练得到的深度学习模型中；
45.步骤102、所述深度学习模型将所述细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算，得到所述细胞特征与不同类别细胞特征之间的相似度值，其中，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配，及聚类得到的；
46.步骤103、根据所述相似度值的高低顺序，将设定数量的对应类别细胞特征的类别，作为所述细胞图像中的细胞分类结果。
47.在本技术实施例中，设定数量根据需要设置，也可以设置为1。在这种情况下，就选取相似度值最高的细胞类别，作为所述细胞图像中的细胞分类结果。
48.在本技术实施例中，细胞数据库中的不同细胞类别下的细胞特征是在标注的细胞类别基础上，进行优化的。在优化过程中也对深度学习模型中的特征匹配网络进行优化训练。具体地说，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配包括：
49.在细胞数据库中为细胞特征标注细胞类别；
50.从细胞图像中提取细胞样本特征；
51.将所述细胞样本特征与标注了细胞类别的细胞特征进行相似度度量，得到与标注了细胞类别的细胞特征之间的差异值。
52.在上述过程中，所述在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配是由所述深度学习模型中的度量学习模块训练实现的。
53.所述深度学习模型中的度量学习模块可以采用多元组损失函数实现，对所述细胞样本特征进行相似度度量，然后后续再据此聚类，从而提升细胞数据库的泛化性。在细胞分类的实施阶段，则可以基于细胞数据库中的多种细胞类别逐一进行相似度计算，并据此确定细胞分类结果，提升细胞分类的准确性。
54.在上述过程中，所述在细胞数据库中为细胞特征标注细胞类别：
55.将扫描细胞涂片样本得到的细胞图像样本，切分为多个图像样本分片；
56.采用细胞检测方法从多个图像样本分片中，检测得到单个细胞样本特征；
57.对检测得到的单个细胞样本特征进行细胞类别标注，作为细胞样本特征。
58.在本技术实施例中，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行聚类包括：
59.基于与标注了细胞类别的细胞特征之间的差异值，在对应的细胞类别下对细胞特征进行均匀采样后，基于所选取的聚类中心，进行聚类处理，得到每一细胞类别的细胞特征。
60.具体地说，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行聚类是由所述深度学习模型中的特征聚类模块完成的。
61.在本技术实施例中，所述深度学习模型将所述细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算，得到所述细胞特征与不同类别细胞特征之间的相似度值，是由所述深度学习模型中的训练得到的特征匹配网络实现的。
62.可以看出，本发明实施例的深度学习模型也可以不重新训练，而仅仅对其中的特征匹配网络进行优化，就可以快速提升细胞分类的准确性。
63.从本技术实施例可以看出，本技术实施例包括了深度学习模型的训练阶段及实施阶段，在训练阶段对特征匹配网络进行优化的同时，采用基于度量学习的细胞特征匹配方法，对细胞数据库中的不同细胞类别下的细胞特征进行准确优化，以下结合图2，采用分步骤的方式进行详细说明。图2为本技术实施例提供的采用深度学习模型进行细胞特征匹配及分类的过程架构示意图。
64.步骤1)细胞图像采集
65.在该步骤中，使用自动扫描仪对细胞涂片进行有重叠式的进行扫描，得到细胞图像。
66.在本步骤中，细胞图像采集的过程可以应用到深度学习模型的训练阶段及实施阶段。
67.步骤2)对细胞特征进行细胞类别标注
68.首先，将扫描细胞涂片得到的细胞图像，切分为多个图像分片(patch)；
69.其次，采用细胞检测方法从多个图像分片中，检测得到单个细胞特征；
70.最后，对检测得到的单个细胞特征进行细胞类别标注。
71.本步骤是在细胞数据库中预先对每个细胞类别下设置了细胞特征，采用的方式为对单个细胞特征进行细胞类别标注。
72.步骤3)度量学习模块进行度量学习处理过程
73.从细胞图像中提取细胞样本特征，将所述细胞样本特征，采用多元组损失函数基于标注了细胞类别的细胞特征，进行相似度度量，学习标注了细胞类别的细胞特征之间的差异。
74.步骤3)的过程如图3所示，图3为本技术实施例提供的深度学习模型中的度量学习模块进行度量学习的过程示意图，具体地说，从细胞图像中进行细胞样本特征的提取(feature extractor)后，在度量学习模块中进行映射(embedding)操作及取样(samping)之后，再采用多元组损失函数(loss)基于标注了细胞类别的细胞特征，进行相似度度量，学习标注了细胞类别的细胞特征之间的差异。
75.4)特征聚类模块的聚类过程
76.在本步骤中，基于与标注了细胞类别的细胞特征之间的差异值，在对应的细胞类别下对细胞特征进行均匀采样后，基于所选取的聚类中心，进行聚类处理，得到每一细胞类别的细胞特征。
77.本步骤是深度学习模型在训练特征匹配网络时同时解决的，这样，就提升了细胞数据库的泛化性。
78.5)特征匹配网络的细胞类别匹配
79.本步骤是深度学习模型在实施阶段完成的，将从细胞图像提取的细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算；根据所述相似度值的高低顺序，将设定数量的对应类别细胞特征的类别，作为所述细胞图像中的细胞分类结果。
80.本步骤的实现架构如图4所示，图4为本技术实施例提供的采用深度学习模型的特征匹配网络进行细胞类别匹配的实现过程示意图。
81.可以看出，本技术实施例专业化定制细胞数据库，针对细胞类别进行细胞特征聚类，及对细胞特征进行匹配的方式，无需重新训练深度学习模型，仅仅对深度学习模型中的特征匹配网络进行优化，就可快速实现细胞特征增量的学习，提升细胞分类的准确率。
82.举一个具体例子，采用分步骤的方式对本技术实施例进行详细说明。
83.步骤1)细胞图像采集
84.在该步骤中，使用自动扫描仪对细胞涂片进行有重叠式的进行扫描，得到细胞图像。
85.在本步骤中，细胞图像采集的过程可以应用到深度学习模型的训练阶段及实施阶段。
86.步骤2)对细胞特征进行细胞类别标注
87.首先，将扫描细胞涂片得到的细胞图像，切分为多个patch；
88.其次，采用细胞检测方法从多个patch中，检测得到单个细胞特征；
89.最后，对检测得到的单个细胞特征进行细胞类别标注。
90.本步骤是在细胞数据库中预先对每个细胞类别下设置了细胞特征，采用的方式为对单个细胞特征进行细胞类别标注。
91.步骤3)度量学习模块进行度量学习处理过程
92.在本步骤中，从细胞图像中提取细胞样本特征，将所述细胞样本特征，采用多元组损失函数基于标注了细胞类别的细胞特征，进行相似度度量，学习标注了细胞类别的细胞特征之间的差异。
93.具体地说，本技术的目的是在不重新训练深度学习模型的情况下，通过将待测试细胞特征同既有的细胞数据库中的细胞特征进行比对，实现准确的细胞分类。核心方法是构建出一个区分度强的特征提取网络和一种相似度度量方法，进而可以实现有效特征比对。度量学习模块使用卷积神经网络作为主干网络，提取细胞特征，采用多元组损失函数，放大相同类别细胞的细胞特征相似度，缩小不同类别细胞的细胞特征相似度，通过相似性度量的方式区分不同类别。
94.在本步骤中，采用的多元组损失函数设计如下：
[0095][0096]
其中，上式中的xi代表输入的细胞图像；f表示特征提取网络；代表经过网络输出后的细胞特征；表示同一类别细胞的特征向量之间的欧式度量距离，表示不同类别细胞的特征向量之间的欧式度量距离，α是指二者距离之
间的最小间隔，α是超参数，可以人工调节。
[0097]
该损失函数表示同类别的细胞特征之间的相似度越大，不同类别的细胞之间的相似度越小，损失函数越小，通过优化该损失函数，度量学习模块可以逐步学习到所标注细胞类别下的细胞特征之间的差异，进而可以构建出一个区分度强的特征匹配网络。
[0098]
步骤4)特征聚类模块的聚类过程
[0099]
在本步骤中，基于与标注了细胞类别的细胞特征之间的差异值，在对应的细胞类别下对细胞特征进行均匀采样后，基于所选取的聚类中心，进行聚类处理，得到每一细胞类别的细胞特征。
[0100]
具体地说，通过度量学习模块学习到的特征匹配网络，对构建的细胞数据库的每一类细胞的细胞特征进行聚类，为确保细胞数据库中每类细胞的代表性，提升细胞数据库的泛化性，细胞特征选择的具体方式为：
[0101]
1)根据标注类别的细胞数据集，按照细胞类别划分为基础匹配库；
[0102]
2)对基础匹配库中的每一类下的细胞特征均进行特征聚类，聚类的方法采用k-means；
[0103]
3)每一类下的细胞特征经过聚类后可以划分出n个聚类中心；
[0104]
4)将n个聚类中心附近的top-k个细胞作为该类的典型细胞特征，最后将每类的典型细胞特征纳入最终的细胞数据库中。
[0105]
在这里，所使用的聚类方法为k-means聚类，具体实现方式为：
[0106]
1)选择初始化的k个样本作为初始聚类中心：f(x1)，f(x2)，f(xk)；
[0107]
2)针对数据集中每个样本f(xi)计算它到k个聚类中心的距离并将其分到距离最小的聚类中心所对应的类中；
[0108]
3)针对每个类别ai，重新计算它的聚类中心
[0109][0110]
4)重复上述步骤操作，直到聚类中心不在发生变化即停止聚类。
[0111]
步骤5)特征匹配网络的细胞类别匹配
[0112]
本步骤是深度学习模型在实施阶段完成的，将从细胞图像提取的细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算；根据所述相似度值的高低顺序，将设定数量的对应类别细胞特征的类别，作为所述细胞图像中的细胞分类结果。
[0113]
本模块可以用于深度学习模型的快速调优，无需重新训练模型，只需要增加特定的细胞特征，构建专用的细胞数据库，即可快速实现快速调优，提升细胞分类的准确率，进而适配各制片方法和扫描设备，快速定制某种耗材下的最优模型系统，有效地节省了模型训练的成本，有利于深度学习模型的大规模部署和应用。
[0114]
图5为本技术实施例提供的一种基于细胞图像进行细胞分类的系统结构示意图，所述系统包括：提取模块、特征匹配网络模块及分类结果模块，其中，
[0115]
提取模块，用于从提供的一细胞图像中提取细胞特征，输入训练得到的深度学习模型中；
[0116]
特征匹配网络模块，用于所述深度学习模型将所述细胞特征与细胞数据库中的多种不同类别细胞特征分别进行相似度计算，得到所述细胞特征与不同类别细胞特征之间的
相似度值，其中，所述细胞数据库中的不同类别细胞特征是在训练所述深度学习模型时，基于细胞图像样本进行细胞类别匹配，及聚类得到的；
[0117]
分类结果模块，用于根据所述相似度值的高低顺序，将设定数量的对应类别细胞特征的类别，作为所述细胞图像中的细胞分类结果。
[0118]
在上述系统中，还包括：度量学习模块，还用于在细胞数据库中为细胞特征标注细胞类别；从细胞图像中提取细胞样本特征；将所述细胞样本特征与标注了细胞类别的细胞特征进行相似度度量，得到与标注了细胞类别的细胞特征之间的差异值。
[0119]
在上述系统中，所述系统还包括：特征聚类模块，用于基于与标注了细胞类别的细胞特征之间的差异值，在对应的细胞类别下对细胞特征进行均匀采样后，基于所选取的聚类中心，进行聚类处理，得到每一细胞类别的细胞特征。
[0120]
可以看出，本技术实施例只需要构建专用的细胞数据库，即可有效实现深度学习模型的调优，提升细胞分类的准确性。本技术实施例有效地节省了深度学习模型训练的成本，有利于深度学习模型的大规模部署和应用。
[0121]
本技术实施例也可以不仅仅应用在诸如细胞图像的医学图像中，可应用于其他通用场景中，实用价值高。
[0122]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本技术中。特别地，在不脱离本技术精神和教导的情况下，本技术的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本技术公开的范围。
[0123]
本文中应用了具体实施例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思路，并不用于限制本技术。对于本领域的技术人员来说，可以依据本技术的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。