基于数据和特征多样性的有丝分裂自动检测方法及装置与流程

本发明属于图像处理及有丝分裂检测的，具体涉及一种基于数据和特征多样性的有丝分裂自动检测方法及装置。

背景技术：

1、有丝分裂可以反映细胞增殖，是判断肿瘤分级和预后的重要指标。由于深度学习技术的快速发展，各种分割模型、目标检测模型和分类模型已经被尝试应用于有丝分裂自动检测任务，主要可以分为单阶段法和多阶段法。其中，单阶段方法通过端到端的学习直接检测结果作为最终的检测结果；如：将有丝分裂自动检测视为语义分割问题。多阶段方法通常包括两个阶段，在第一阶段确保高召回率的同时生成候选细胞；在第二阶段对这些候选细胞进一步的分类。现有技术中，有丝分裂自动检测中常见的多阶段方案是：①通过额外的人工像素标注或者使用现有模型(如：hover net细胞核分割网络)生成像素级别伪标注；②通过像素级别伪标注训练分割网络，将图像输入分割网络初步得到候选细胞并保证召回率高(尽可能多的识别有丝分裂细胞)；③再对候选细胞进行分类得到最终结果。

2、但存在以下缺点：1)现有方法使用了复杂的分割模型来完成获取候选细胞这个任务，而复杂模型往往需要更高级别的标注，因此为了训练分割模型，则往往需要额外的标注(额外的人工标注或者已有模型生成的伪标注)来获取候选细胞，导致效率不高。2)现有方法在训练分类网络时数据仍然是不平衡的，其往往使用随机采样或者使用特定损失的方法来对抗类别不平衡，但这样的做法会损失数据的多样性并且是低效的，分类模型并不能很好的学习到具有代表性的特征；如随机采样的方式在筛选过程中会丢失部分代表性数据，并且不能得到信息量平衡的样本；而对大量数据使用特定损失的方法也只能轻微缓解样本不平衡问题，模型仍然会过多的注意高频类别样本。3)现有方法采用的分类模型试图从模型复杂程度来解决有丝分裂检测问题，采用集成学习，增加网络深度等方法来提升分类性能，但仅仅使用复杂的分类模型进行检测，容易造成过拟合现有，结果泛化能力不强。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于数据和特征多样性的有丝分裂细胞自动检测方法及装置，基于苏木精染色的检测来得到候选细胞，再基于多样性的样本筛选去除简单样本，得到平衡样本；最后在二分类基础上再分子类，以有丝分裂先验知识为基础，训练分类模型有效提高分类性能。

2、为了达到上述目的，本发明第一目的采用一种基于数据和特征多样性的有丝分裂自动检测方法，包括下述步骤：

3、步骤一、基于苏木精染色的检测：获取病理图像及其点标注，使用he染色法对病理图像进行染色，再使用颜色反卷积对染色的病理图像进行分离得到苏木精染色通道图像，划分图像块得到候选细胞并分为阳性样本和阴性样本；

4、步骤二、基于多样性的样本筛选：筛选掉阴性样本中的冗余样本和简单样本，筛选后与阳性样本进行混合得到训练样本；

5、步骤三、无监督染色增强：将训练样本扩展到k个颜色空间，与筛选后得到的训练样本混合得到训练数据；

6、步骤四、父类子类联合分类器的训练：基于深度学习网络使用父类标签对训练数据进行聚类，获取子类伪标签；结合父类标签和子类伪标签共同优化深度学习网络，直至损失函数收敛，得到父类子类联合分类器；

7、步骤五、有丝分裂的检测：使用训练好的父类子类联合分类器对待检测的病理图像进行有丝分裂检测，得到检测结果。

8、作为优选的技术方案，步骤一中，所述基于苏木精染色的检测具体为：

9、获取病理图像i及其点标注，其中病理图像中包含a个细胞；

10、使用he染色法对病理图像进行染色，得到染色的病理图像；

11、将染色的病理图像输入颜色反卷积中进行分离得到苏木精染色通道图像ih；

12、由苏木精染色通道图像ih得到每个细胞的质心坐标o；

13、根据质心坐标切割病理图像i得到每个细胞的图像块dh＝{i1,i2,...,ia}；

14、根据病理图像i的点标注将图像块划分为阳性样本dp和阴性样本dn；

15、所述点标注包括有丝分裂点标注和非有丝分裂点标注；若有丝分裂点标注位于图像块中，则将图像块划分为阳性样本，否则划分为阴性样本。

16、作为优选的技术方案，步骤二中，所述基于多样性的样本筛选具体为：

17、对阴性样本dn使用k-means聚类算法得到k个子空间簇c＝{c1,c2,…,ck}，其中表示属于第k个子空间簇的第ak个样本，ak表示第k个子空间簇的样本数目；

18、在每个子空间簇中挑选等量的m个阴性样本其中，为第k个子空间簇挑选的第m个阴性样本；

19、使用阳性样本dp和训练一个分类网络feasy-sampling，然后使用分类网络feasy-sampling来筛选掉中的简单样本，留下难区分的阴性样本

20、混合阳性样本dp和难区分的阴性样本得到最终的训练样本

21、作为优选的技术方案，所述父类子类联合分类器基于深度学习网络构建，包括输入层、特征提取器、父类分类器、子类分类器及输出层；所述输入层与特征提取器连接，特征提取器分别与父类分类器及子类分类器进行连接；所述父类分类器的全连接层作为最终的全连接层与特征提取器连接后与输出层连接；

22、所述父类子类联合分类器的训练过程为：

23、将训练数据输入输入层中，经过特征提取器提取特征，输入父类分类器；

24、父类分类器对训练数据的特征进行分类得到父类标签；所述父类标签包括有丝分裂类别和非有丝分裂类别；

25、基于父类标签，在训练数据上对特征提取器进行二分类训练，得到初步特征提取器；

26、使用初步特征提取器对训练数据中的样本进行特征提取，得到样本特征；

27、子类分类器对样本特征进行聚类，将父类标签中有丝分裂类别和非有丝分裂类别都聚集为等量的多个子类，并将子类结果作为子类伪标签；

28、使用父类标签和子类伪标签共同对初步特征提取器进行训练，直至损失函数收敛或达到精准度要求，得到最终父类子类联合分类器。

29、作为优选的技术方案，对于每个父类标签c＝{cp,cn}，cp为有丝分裂类别，cn为非有丝分裂类别，使用无监督聚类算法将其聚类为t个子类将无监督聚类结果作为子类伪标签；

30、设训练数据中每一样本的父类标签为yp，则父类c中每个子类对应的子类伪标签为ys，每个父类c的聚类目标为：

31、

32、其中，nc为父类c中的样本数，ys为子类伪标签，为训练数据，为特征提取器提取的训练数据的特征，o为训练数据中每个细胞的质心坐标构成的矩阵，1t为t维的单位矩阵。

33、作为优选的技术方案，所述父类分类器和子类分类器同时使用focal loss损失函数和center loss损失函数进行监督；

34、对于父类分类器fp，其损失函数lp为：

35、

36、其中，lpf为父类分类器的focal loss损失函数，为父类分类器的center loss损失函数；对于子类分类器fs，其损失函数ls为：

37、

38、其中，为子类分类器的focal loss损失函数，为子类分类器的center loss损失函数；

39、使用父类分类器和子类分类器的损失函数共同优化特征提取器，特征提取器的损失函数表示为：

40、

41、其中，n为训练数据中的样本数，为训练数据，为特征提取器提取的训练数据的特征，λ为平衡参数，θp和θs分别表示父类分类器fp和子类分类器fs的参数，yp为父类标签，ys为子类伪标签。

42、作为优选的技术方案，所述focal loss损失函数表示为：

43、

44、其中，yi和分别表示训练数据中第i个样本图像标签的真实值和预测值，γ是一个可调参数，用于控制错误分类样本的权重；

45、所述center loss损失函数表示为：

46、

47、其中，xi为训练数据中第i个样本的特征向量，yi为xi对应的子类类别，n为样本数，为第i个子类的中心。

48、本发明第二目的在于提供一种基于数据和特征多样性的有丝分裂自动检测系统，应用于上述的基于数据和特征多样性的有丝分裂自动检测方法，包括染色检测模块、样本筛选模块、数据扩展模块、分类器训练模块及结果检测模块；

49、所述染色检测模块用于获取病理图像及其点标注，使用he染色法对病理图像进行染色，再使用颜色反卷积对染色的病理图像进行分离得到苏木精染色通道图像，划分图像块得到候选细胞并分为阳性样本和阴性样本；

50、所述样本筛选模块用于筛选掉阴性样本中的简单样本，筛选后与阳性样本进行混合得到训练样本；

51、所述数据扩展模块用于将训练样本扩展到k个颜色空间，与原始数据混合得到训练数据；

52、所述分类器训练模块用于基于深度学习网络使用父类标签对训练数据进行聚类，获取子类伪标签；结合父类标签和子类伪标签共同优化深度学习网络，直至损失函数收敛，得到父类子类联合分类器；

53、所述结果检测模块用于使用训练好的父类子类联合分类器对待检测的病理图像进行有丝分裂检测，得到检测结果。

54、本发明第三目的在于提供一种电子设备，所述电子设备包括：

55、至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中：

56、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于数据和特征多样性的有丝分裂自动检测方法。

57、本发明第四目的在于提供一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现上述的基于数据和特征多样性的有丝分裂自动检测方法。

58、本发明与现有技术相比，具有如下优点和有益效果：

59、1、本发明中的基于苏木精染色的检测方法具有无需训练、无需额外标注的优点：现有方法中通过分割或检测模型得到有丝分裂候选细胞的方法，需要花费更多的时间和额外标注，其通过额外的边框级别标注或像素级别标注对模型进行训练，用一个复杂的模型对有丝分裂进行检测，将检测到的细胞设置为候选细胞；而本技术根据有丝分裂先验知识，即有丝分裂往往发生在细胞核上，通过颜色反卷积分离苏木精染色(h)通道，h通道可以得到细胞核的分布图，并根据h通道定位细胞核的质心坐标得到有丝分裂候选细胞，无需训练，并且基于苏木精染色的检测方法能够检测出绝大多数的有丝分裂细胞，天然具有较高的召回率。

60、2、本发明中的基于多样性的样本筛选方法能获得更平衡的、更具代表性的训练样本：本技术根据有丝分裂极度不平衡的特点，有针对性的平衡训练样本的数量、多样性和难易程度，在聚类后的特征空间上挑选有丝分裂样本，将聚类后的样本分为多个子类，从每个子类中挑选等量的数据，再去除数据冗余性的同时保证了样本的多样性，再使用分类器去除挑选样本中的简单样本，平衡了样本信息量，让模型更容易学习到有代表性的特征。

61、3、本发明提出父类子类联合分类器在二分类的基础上增加子类分类任务，同时联合父类标签和子类标签训练父类子类联合分类器，学习到更多样的信息。父类子类联合分类器以有丝分裂先验知识为基础，由于有丝分裂中还存在着前期、中期、后期和末期的形态差异，并且不同时期的有丝分裂形态差异较大，因此本发明通过在类内再细分子类，让模型注意到有丝分裂的更多细致信息，从而提升分类性能；与现有使用二分类方法相比，本技术注意到有丝分裂的特点，并且根据先验知识来设计模型，取得更高效的性能。