免疫组化病理切片的分析方法、系统和可读存储介质与流程

1.本发明涉及病理切片诊断技术领域，更具体的，涉及一种免疫组化病理切片的分析方法、系统和可读存储介质。


背景技术：

2.her-2全称是人类表皮生长因子受体2，是一种原癌基因，该基因为乳腺癌的主要致病相关基因，当癌细胞内的her-2基因高度表达时，细胞膜上会产生过多的her-2蛋白，剌激癌细胞的疯狂增长，增加癌细胞的侵袭性，随着乳腺癌发病率的增高和分子靶向治疗药物herceptin的广泛应用，her-2的定量评级在乳腺癌的诊治中占有越来越重要的地位。
3.所谓的评级是指在整张her-2免疫组化病理切片上寻找并计数阳性、阴性肿瘤细胞，完整、不完整膜阳性肿瘤细胞，以各个类型细胞的数量对切片进行0-3分的评级。不同评级的her-2类型对应着不同的预后方案，因此在临床诊断中，her-2分级也作为病理医生为肿瘤患者进一步选择治疗方案的金标准。
4.目前，her-2免疫组化病理切片分析需要经过专门培训的病理医生在显微镜下逐个寻找可疑性组织区域，而后根据自己累积的专业知识完成最终的病理诊断和tps分值估计。然而在诊断过程中，存在诸多挑战使得病理医生的工作变得艰难。具体挑战详述如下:(1)目前病理科的染色片量面临每年15％以上的增长。医生每天的诊断工作负荷大大增加。同时一张病理切片通常包含数百万个细胞，而且一名病理医生一天通常需要分析多张数字病理切片，这给医生带来了很大的工作强度，疲劳阅片的现象也时有发生；(2)在切片分析过程中，非完整膜细胞常紧邻完整细胞，使得非完整膜细胞的判断时常不准；除此之外，不同类别的细胞之间可能极为不易区分，如组织细胞与中等染色的肿瘤细胞在颜色、形态等特征方面都极为相似，her-2图像的这类特点让病理医生的细胞判读工作变得异常艰难。


技术实现要素：

5.鉴于上述问题，本发明的目的是提供一种免疫组化病理切片的分析方法、系统和可读存储介质，对图像中的细胞数据进行分析处理从而获得分析结果，该分析结果指示病理切片的细胞数据相关的信息。
6.本发明第一方面提供了一种免疫组化病理切片的分析方法，包括以下步骤：
7.获取数字病理图并分析得到纹理分类特征；
8.基于所述纹理分类特征分割所述数字病理图以得到目标区域；
9.基于所述目标区域获取细胞数据，进而确定与所述病理切片有关的分析结果。
10.本方案中，所述获取数字病理图并分析得到纹理分类特征，具体为：
11.获取预设扫描设备对所述免疫组化病理切片的数字化扫描结果；
12.基于所述数字化扫描结果得到4x倍野下的所述数字病理图；
13.基于所述数字病理图进行分析处理得到所述纹理分类特征。
14.本方案中，所述基于所述数字病理图进行分析处理得到所述分类特征，具体为：
15.将所述数字病理图颜色特征归一化为灰度值；
16.利用预设的滤波方式对灰度化的所述数字病理图进行平滑处理；
17.利用灰度共生矩阵获取所述纹理分类特征。
18.本方案中，所述基于所述纹理分类特征分割所述数字病理图以得到目标区域，具体为：
19.基于所述纹理分类特征，利用预设聚类算法将所述数字病理图聚类为目标与背景类；
20.基于所述目标与背景类获取包含细胞的病理区域，并对所述病理区域进行分析以得到所述目标区域。
21.本方案中，所述基于所述目标区域获取细胞数据，进而确定与所述病理切片有关的分析结果，具体为：
22.利用训练好的细胞关键点定位模型完成细胞定位与分类的预测；
23.基于预测结果得到阳性肿瘤细胞与阴性肿瘤细胞作为所述细胞数据；
24.根据所述细胞数据确定her-2病理切片的分析结果。
25.本方案中，所述方法还包括对一次阴性肿瘤细胞进行二次筛查以对所述预测结果进行修正以更新所述一次阴性肿瘤细胞。
26.本发明第二方面还提供一种her-2免疫组化病理切片辅助诊断系统，包括存储器和处理器，所述存储器中包括免疫组化病理切片的分析方法程序，所述免疫组化病理切片的分析方法程序被所述处理器执行时实现如下步骤：
27.获取数字病理图并分析得到纹理分类特征；
28.基于所述纹理分类特征分割所述数字病理图以得到目标区域；
29.基于所述目标区域获取细胞数据，进而确定与所述病理切片有关的分析结果。
30.本方案中，所述获取数字病理图并分析得到纹理分类特征，具体为：
31.获取预设扫描设备对所述免疫组化病理切片的数字化扫描结果；
32.基于所述数字化扫描结果得到4x倍野下的所述数字病理图；
33.基于所述数字病理图进行分析处理得到所述纹理分类特征。
34.本方案中，所述基于所述数字病理图进行分析处理得到所述分类特征，具体为：
35.将所述数字病理图颜色特征归一化为灰度值；
36.利用预设的滤波方式对灰度化的所述数字病理图进行平滑处理；
37.利用灰度共生矩阵获取所述纹理分类特征。
38.本方案中，所述基于所述纹理分类特征分割所述数字病理图以得到目标区域，具体为：
39.基于所述纹理分类特征，利用预设聚类算法将所述数字病理图聚类为目标与背景类；
40.基于所述目标与背景类获取包含细胞的病理区域，并对所述病理区域进行分析以得到所述目标区域。
41.本方案中，所述基于所述目标区域获取细胞数据，进而确定与所述病理切片有关的分析结果，具体为：
42.利用训练好的细胞关键点定位模型完成细胞定位与分类的预测；
43.基于预测结果得到阳性肿瘤细胞与阴性肿瘤细胞作为所述细胞数据；
44.根据所述细胞数据确定her-2病理切片的分析结果。
45.本方案中，所述方法还包括对一次阴性肿瘤细胞进行二次筛查以对所述预测结果进行修正以更新所述一次阴性肿瘤细胞。
46.本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种免疫组化病理切片的分析方法程序，所述免疫组化病理切片的分析方法程序被处理器执行时，实现如上述任一项所述的一种免疫组化病理切片的分析方法的步骤。
47.本发明公开的一种免疫组化病理切片的分析方法、系统和可读存储介质，本发明通过基于手工特征的无监督区域分割方法有效分割出her-2免疫组化病理切片中的目标区域，即有效组织区域，在区域约束的基础上，采用对比学习特征约束同类细胞一致性编码、并拉开异类细胞特征的差异，得到更准确的细胞解码预测结果；采用神经网络对低确信度细胞结果进行二次校正，从而实现对her-2切片进行精确自动分析。
附图说明
48.图1(a)-(c)示出了本发明一种免疫组化病理切片的分析方法的前景细胞特征混杂的典型示意图；
49.图2示出了本发明一种免疫组化病理切片的分析方法的流程图；
50.图3示出了本发明一种免疫组化病理切片的分析方法的her-2免疫组化病理切片的数字病理示意图；
51.图4a-4c示出了本发明一种免疫组化病理切片的分析方法的细胞数据结果显示示意图；
52.图5示出了本发明一种免疫组化病理切片的分析方法的区域分割结果；
53.图6示出了本发明一种免疫组化病理切片的分析方法的细胞关键点定位模型示意图；
54.图7示出了本发明一种免疫组化病理切片的分析方法的态射对比学习方法示意图；
55.图8示出了本发明一种her-2免疫组化病理切片辅助诊断系统的框图。
具体实施方式
56.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
57.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
58.首先，随着cnn，即卷积神经网络在图像识别、分类、分割方面取得了显著的成功，许多研究者将cnn应用到病理图像之中，然而对于her-2病理切片辅助分析工作却少有人涉足，仅有fd khameneh等人于2019年提出通过分割细胞膜面积计算her-2评分，然而her-2的临床评分规则需要计算不同类别的细胞数量，因此此类基于区域面积比的计算方法并未完
全满足临床需求。
59.与此同时，临床诊断迫切需要一种方便有效的her-2病理切片辅助分析技术，能够快速准确地给出整张病理切片的评分，本技术就是围绕和解决临床级的her-2免疫组化病理切片自动评分需求提出的，其次，在细胞定位、分类过程中，如何指导卷积神经网络显式地编码各个类别细胞的一致性特征，如何充分解码一致性细胞特征以获得精准的her-2评分，也是亟待解决的问题。
60.图1示出了本技术一种免疫组化病理切片的分析方法的前景细胞特征混杂的典型示意图，如图1(c)所示，在her-2图像中，三种不同类别的细胞表征极其相似，难以进行很好的区分，与此相反，如图1(a)中的多个淋巴细胞有多种表现形式，目前深度学习方法难以获取统一的特征表示。
61.针对上述技术问题，本技术的构思是：不同于自然图像，her-2免疫组化病理切片中的不同类别的细胞特征是混杂，主要体现在不同类别细胞的类间特征差异极其微小，而同类细胞间的类内特征差异又极其明显，这就使得各个类别的细胞的特征混杂在一起。
62.图2示出了本技术一种免疫组化病理切片的分析方法的流程图。
63.如图2所示，本技术公开了一种免疫组化病理切片的分析方法，包括以下步骤：
64.s202，获取数字病理图并分析得到纹理分类特征；
65.s204，基于所述纹理分类特征分割所述数字病理图以得到目标区域；
66.s206，基于所述目标区域获取细胞数据，进而确定与所述病理切片有关的分析结果。
67.需要说明的是，如图3所示，首先获取her-2免疫组化病理切片的数字病理全场图，即所述数字病理图，然后基于所述纹理分类特征分割结果进行所述目标区域的细胞定位、分类，其中，如图4a-4c所示，圆形表示为强染色阳性肿瘤细胞，椭圆形表示为中等染色阳性肿瘤细胞以及方框表示为弱染色阳性细胞，以更加有效地完成细胞定位和分类，能够准确统计出数字病理图像中的不同染色强度的肿瘤细胞数，对于提升her-2免疫组化病理切片的评分精度和准确性更加有效。
68.根据本发明实施例，所述获取数字病理图并分析得到纹理分类特征，具体为：
69.获取预设扫描设备对所述免疫组化病理切片的数字化扫描结果；
70.基于所述数字化扫描结果得到4x倍野下的所述数字病理图；
71.基于所述数字病理图进行分析处理得到所述纹理分类特征。
72.根据本发明实施例，所述基于所述数字病理图进行分析处理得到所述分类特征，具体为：
73.将所述数字病理图颜色特征归一化为灰度值；
74.利用预设的滤波方式对灰度化的所述数字病理图进行平滑处理；
75.利用灰度共生矩阵处理平滑处理后的数字病理图像，获取数字病理图像的纹理分类特征。
76.需要说明的是，在her-2免疫组化病理切片中，肺泡、导管等区域对于最终的评分无影响，因此病理医生在判读切片时，首先在低倍野下排除这些区域，选择有效组织区域进行进一步判读，通过这一发现，认为使用多阶段的自动评分法更加契合医学诊断流程，也更能被医生所接受，同时排除肺泡、导管区域可以有效降低细胞定位、分类模型训练过程中的
结构风险以及复杂性。
77.进一步地，采用高通量数字扫描仪，即所述预设扫描设备，对her-2免疫组化病理切片进行数字化扫描，倍率在1x至60x放大倍数，获取4x倍野下的数字病理全场图，即所述数字病理图，由于存在染色剂、扫描仪规格等不可控因素的影响，切片之间的颜色特征往往或多或少存在差异，因此首先将全场切片灰度化，可大幅度的将颜色特征归一化，其次，灰度化后的切片中存在尖锐噪声，通过使用中值滤波、高斯滤波对灰度化后的全场切片平滑处理，去除尖锐噪声，最后，利用灰度共生矩阵来获取所述纹理分类特征，即手工特征。
78.值得一提的是，灰度共生矩阵被定义为从图像中每一个灰度为i的像素点出发,离开某个固定位置(相隔距离为d,方位为0度、45度、90度等),正好灰度值为j的概率,即所有估计的值可以表示成一个矩阵的形式，以此被称为灰度共生矩阵。对于her-2全场切片中有效区域，其纹理变化缓慢，其灰度共生矩阵对角线上的数值较大；而对于肺泡、导管等纹理变化较快的区域，其灰度共生矩阵对角线上的数值较小，对角线两侧的值较大。
79.根据本发明实施例，所述基于所述纹理分类特征分割所述数字病理图以得到目标区域，具体为：
80.基于所述纹理分类特征，利用预设聚类算法将所述数字病理图聚类为目标与背景类；
81.基于所述目标与背景类获取包含细胞的病理区域，并对所述病理区域进行分析以得到所述目标区域。
82.需要说明的是，基于所述手工特征的无监督区域分割方法分割出所述数字病理图中的有效组织区域，利用最大类间阈值分割有效组织区域，使用高斯滤波平滑噪声，使用膨胀操作补齐空洞，得到完整的有效区域分割结果，使用边缘检测算子检测出目标区域的边缘，用于之后感兴趣区域的判读，进而得到所述目标区域，其中，如图5所示，为区域分割结果。
83.其中，最大类间阈值的思想是使用一个阈值将全场切片分为两类，即前景与背景，背景中的像素点的灰度均小于这个阈值，前景的像素点的灰度均大于或者等于该阈值，如果这两个类中像素点的灰度的方差越大，说明获取到的阈值就是最佳的阈值(方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小，因此,使类间方差最大的分割意味着错分概率最小。
84.根据本发明实施例，所述基于所述目标区域获取细胞数据，进而确定与所述病理切片有关的分析结果，具体为：
85.利用训练好的细胞关键点定位模型完成细胞定位与分类的预测；
86.基于预测结果得到阳性肿瘤细胞与阴性肿瘤细胞作为所述细胞数据；
87.根据所述细胞数据确定her-2病理切片的分析结果。
88.需要说明的是，如图6所示，采用所述细胞关键点定位模型提取细胞的细粒度特征及其上下文信息，进行细胞定位和分类，其中，所述细胞关键点定位模型的训练包括：数据输入与预处理：获取数字病理全场图样本数据，对样本数据进行数据扩充，样本数据包括对数字病理图像中各类细胞的标注，专家对数字病理图像上的阳性肿瘤细胞、阴性肿瘤细胞、淋巴细胞以及纤维细胞分别进行标注以作为样本数据。为了充分利用数字病理图像的样本
数据，数据扩充至关重要，考虑到由于多家医院所制作的切片分布不一致、造成her-2病理切片中的不同切片甚至相同切片中相同语义类别的区域像素差异极大，为了更大程度的适配多家医院，首先使用不同来源的数据集进行对比度增强、色彩增强等方法进行数据扩充。
89.具体地，首先，通过截取patch的方式得到40x倍野下的数字病理全场图的图像块，将截取的图像块作为深度卷积神经网络的输入，深度卷积神经网络包括残差网络、卷积层、批标准化层、激活层以及池化层；所述截取的图像输入至残差网络进行特征提取，提取后得到多尺度语义特征；
90.而后，采用所提出的态射对比对最后一个编码特征层进行特征采样及特征编码约束，其工作原理为在模型训练过程中，在损失中加上特征相似度约束损失，如以下公式所示：
91.loss＝l
bce
+l
emb-inner
,
92.其中l
bce
为常见的交叉熵损失，l
emb-inner
为类间相似度损失，其可表示为：
[0093][0094]
α与γ为校正系数，其中sinc为编码空间中类内平均相似度，若平均相似度越高，那么类间相似度损失越小，其计算公式如下：
[0095][0096]
sinc计算了各个类别的平均类内相似度，c是任务的类别数；nc为类别c的采样数量，s(i,j)计算两个相同类别的特征xi、xj的余弦相似度，可表示为：
[0097][0098]
然后，采用密集连接的方式对多尺度语义特征进行解码，其中，多尺度特征对于细胞的判读具有决定性的作用，而多尺度特征的融合方式往往采用跳跃连接的方式进行，跳跃连接虽然可以一定程度的利用多尺度信息，但是却无法最大化利用，因此，为了使得多尺度特征被最大化利用，我们采用密集连接的方式对多尺度特征进行解码，经过密集连接后，可有效的融合各个尺度的特征并对其进行解码与预测；
[0099]
紧接着，经过解码得到与输入图像尺寸大小相同的特征图，对特征图使用sigmoid激活操作得到四个预测后的置信度图，累加四个预测后的置信度图的损失并求得平均值；
[0100]
最后，细胞关键点定位的任务为对细胞进行定位并分类，因此需要对特征解码后得到置信度图并预测。最终经过解码会得到与输入图像尺寸大小相同的特征图，对四个不同尺度的特征图使用sigmoid激活操作可得到四个预测后的置信度图，置信度图尺寸及维度为h
×w×
c；结合专家对训练图像中的各类细胞标注，使用深度监督策略，结合交叉熵进行预测与标注直接的信息计算，并得到反向传播的梯度，因此图像的定位分类损失lk如下：
[0101][0102]
其中h,w表示图像的尺寸，i表示灰度值，j表示每幅图像中的第j个像素，c表示预测类别总数；y表示当前类别的标注值，p表示域不变特征经解码预测后得到的相应预测概
率；ls值越趋于0，表示细胞定位及分类结果越精确，k表示第k个预测层；
[0103]
最后得到细胞定位与分类的结果后，能够准确统计出所述数字病理图中不同染色体强度的肿瘤细胞数量值，以提升her-2免疫组化病理切片的评分精度和准确性。
[0104]
根据本发明实施例，所述方法还包括对一次阴性肿瘤细胞进行二次筛查以对所述预测结果进行修正以更新所述一次阴性肿瘤细胞。
[0105]
需要说明的是，由于肿瘤阴性细胞与非肿瘤阴性细胞之间细胞特征较小，单单依赖细胞关键点定位网络对其进行分类，任务较为艰巨且结构风险较大，因此对所述一次阴性肿瘤阴性细胞进行二次筛查，挑选在激活后置信度为“0.5
±
0.05”的预测结果，根据其坐标位置在最后一个编码特征层进行特征采样，送入三层包含“256”个神经元的网络进行类别预测以修正所述预测结果。
[0106]
值得一提的是，对于二次筛查的作业可以通过状态映射对比学习法，即态射对比学习完成，如图7所示，态射对比学习可对模型的映射关系给与强监督的指引，以更好的挖掘模型的细粒度特征，保持各个类别特征的一致性，态射对比学习基于标准的编解码结构，旨在鼓励卷积核学习同一类别的共有特征，并拉开不同类别特征的可区分度，鼓励学习不同类别的差异特征，最后，网络能进行更好的预测，其中，在态射对比学习方法的基础上，将非高置信度(置信度0.5)细胞预测的特征取出，将特征送入全连接神经网络进行类别再次预测与修正，该两阶段方法，实现her-2免疫组化病理切片的精准自动评估。
[0107]
图8示出了本发明一种her-2免疫组化病理切片辅助诊断系统的框图。
[0108]
如图8所示，本发明公开了一种her-2免疫组化病理切片辅助诊断系统，包括存储器和处理器，所述存储器中包括免疫组化病理切片的分析方法程序，所述免疫组化病理切片的分析方法程序被所述处理器执行时实现如下步骤：
[0109]
获取数字病理图并分析得到纹理分类特征；
[0110]
基于所述纹理分类特征分割所述数字病理图以得到目标区域；
[0111]
基于所述目标区域获取细胞数据，进而对所述病理切片提供辅助诊断。
[0112]
需要说明的是，如图3所示，首先获取her-2免疫组化病理切片的数字病理全场图，即所述数字病理图，然后基于所述纹理分类特征分割结果进行所述目标区域的细胞定位、分类，其中，如图4a-4c所示，圆形表示为强染色阳性肿瘤细胞，椭圆形表示为中等染色阳性肿瘤细胞以及方框表示为弱染色阳性细胞，以更加有效地完成细胞定位和分类，能够准确统计出数字病理图像中的不同染色强度的肿瘤细胞数，对于提升her-2免疫组化病理切片的评分精度和准确性更加有效。
[0113]
根据本发明实施例，所述获取数字病理图并分析得到纹理分类特征，具体为：
[0114]
获取预设扫描设备对所述免疫组化病理切片的数字化扫描结果；
[0115]
基于所述数字化扫描结果得到4x倍野下的所述数字病理图；
[0116]
基于所述数字病理图进行分析处理得到所述纹理分类特征。
[0117]
根据本发明实施例，所述基于所述数字病理图进行分析处理得到所述分类特征，具体为：
[0118]
将所述数字病理图颜色特征归一化为灰度值；
[0119]
利用预设的滤波方式对灰度化的所述数字病理图进行平滑处理；
[0120]
利用灰度共生矩阵处理平滑处理后的数字病理图像，获取数字病理图像的纹理分
类特征。
[0121]
需要说明的是，在her-2免疫组化病理切片中，肺泡、导管等区域对于最终的评分无影响，因此病理医生在判读切片时，首先在低倍野下排除这些区域，选择有效组织区域进行进一步判读，通过这一发现，认为使用多阶段的自动评分法更加契合医学诊断流程，也更能被医生所接受，同时排除肺泡、导管区域可以有效降低细胞定位、分类模型训练过程中的结构风险以及复杂性。
[0122]
进一步地，采用高通量数字扫描仪，即所述预设扫描设备，对her-2免疫组化病理切片进行数字化扫描，倍率在1x至60x放大倍数，获取4x倍野下的数字病理全场图，即所述数字病理图，由于存在染色剂、扫描仪规格等不可控因素的影响，切片之间的颜色特征往往或多或少存在差异，因此首先将全场切片灰度化，可大幅度的将颜色特征归一化，其次，灰度化后的切片中存在尖锐噪声，通过使用中值滤波、高斯滤波对灰度化后的全场切片平滑处理，去除尖锐噪声，最后，利用灰度共生矩阵来获取所述纹理分类特征，即手工特征。
[0123]
值得一提的是，灰度共生矩阵被定义为从图像中每一个灰度为i的像素点出发,离开某个固定位置(相隔距离为d,方位为0度、45度、90度等),正好灰度值为j的概率,即所有估计的值可以表示成一个矩阵的形式，以此被称为灰度共生矩阵。对于her-2全场切片中有效区域，其纹理变化缓慢，其灰度共生矩阵对角线上的数值较大；而对于肺泡、导管等纹理变化较快的区域，其灰度共生矩阵对角线上的数值较小，对角线两侧的值较大。
[0124]
根据本发明实施例，所述基于所述纹理分类特征分割所述数字病理图以得到目标区域，具体为：
[0125]
基于所述纹理分类特征，利用预设聚类算法将所述数字病理图聚类为目标与背景类；
[0126]
基于所述目标与背景类获取包含细胞的病理区域，并对所述病理区域进行分析以得到所述目标区域。
[0127]
需要说明的是，基于所述手工特征的无监督区域分割方法分割出所述数字病理图中的有效组织区域，利用最大类间阈值分割有效组织区域，使用高斯滤波平滑噪声，使用膨胀操作补齐空洞，得到完整的有效区域分割结果，使用边缘检测算子检测出目标区域的边缘，用于之后感兴趣区域的判读，进而得到所述目标区域，其中，如图5所示，为区域分割结果。
[0128]
其中，最大类间阈值的思想是使用一个阈值将全场切片分为两类，即前景与背景，背景中的像素点的灰度均小于这个阈值，前景的像素点的灰度均大于或者等于该阈值，如果这两个类中像素点的灰度的方差越大，说明获取到的阈值就是最佳的阈值(方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小，因此,使类间方差最大的分割意味着错分概率最小。
[0129]
根据本发明实施例，所述基于所述目标区域获取细胞数据，进而确定与所述病理切片有关的分析结果，具体为：
[0130]
利用训练好的细胞关键点定位模型完成细胞定位与分类的预测；
[0131]
基于预测结果得到阳性肿瘤细胞与阴性肿瘤细胞作为所述细胞数据；
[0132]
根据所述细胞数据确定her-2病理切片的分析结果。
[0133]
需要说明的是，如图6所示，采用所述细胞关键点定位模型提取细胞的细粒度特征及其上下文信息，进行细胞定位和分类，其中，所述细胞关键点定位模型的训练包括：数据输入与预处理：获取数字病理全场图样本数据，对样本数据进行数据扩充，样本数据包括对数字病理图像中各类细胞的标注，专家对数字病理图像上的阳性肿瘤细胞、阴性肿瘤细胞、淋巴细胞以及纤维细胞分别进行标注以作为样本数据。为了充分利用数字病理图像的样本数据，数据扩充至关重要，考虑到由于多家医院所制作的切片分布不一致、造成her-2病理切片中的不同切片甚至相同切片中相同语义类别的区域像素差异极大，为了更大程度的适配多家医院，首先使用不同来源的数据集进行对比度增强、色彩增强等方法进行数据扩充。
[0134]
具体地，首先，通过截取patch的方式得到40x倍野下的数字病理全场图的图像块，将截取的图像块作为深度卷积神经网络的输入，深度卷积神经网络包括残差网络、卷积层、批标准化层、激活层以及池化层；所述截取的图像输入至残差网络进行特征提取，提取后得到多尺度语义特征；
[0135]
而后，采用所提出的态射对比对最后一个编码特征层进行特征采样及特征编码约束，其工作原理为在模型训练过程中，在损失中加上特征相似度约束损失，如以下公式所示：
[0136]
loss＝l
bce
+l
emb-inner
,
[0137]
其中l
bce
为常见的交叉熵损失，l
emb-inner
为类间相似度损失，其可表示为：
[0138][0139]
α与γ为校正系数，其中sinc为编码空间中类内平均相似度，若平均相似度越高，那么类间相似度损失越小，其计算公式如下：
[0140][0141]
sinc计算了各个类别的平均类内相似度，c是任务的类别数；nc为类别c的采样数量，s(i,j)计算两个相同类别的特征xi、xj的余弦相似度，可表示为：
[0142][0143]
然后，采用密集连接的方式对多尺度语义特征进行解码，其中，多尺度特征对于细胞的判读具有决定性的作用，而多尺度特征的融合方式往往采用跳跃连接的方式进行，跳跃连接虽然可以一定程度的利用多尺度信息，但是却无法最大化利用，因此，为了使得多尺度特征被最大化利用，我们采用密集连接的方式对多尺度特征进行解码，经过密集连接后，可有效的融合各个尺度的特征并对其进行解码与预测；
[0144]
紧接着，经过解码得到与输入图像尺寸大小相同的特征图，对特征图使用sigmoid激活操作得到四个预测后的置信度图，累加四个预测后的置信度图的损失并求得平均值；
[0145]
最后，细胞关键点定位的任务为对细胞进行定位并分类，因此需要对特征解码后得到置信度图并预测。最终经过解码会得到与输入图像尺寸大小相同的特征图，对四个不同尺度的特征图使用sigmoid激活操作可得到四个预测后的置信度图，置信度图尺寸及维度为h
×w×
c；结合专家对训练图像中的各类细胞标注，使用深度监督策略，结合交叉熵进行预测与标注直接的信息计算，并得到反向传播的梯度，因此图像的定位分类损失lk如下：
[0146][0147]
其中h,w表示图像的尺寸，i表示灰度值，j表示每幅图像中的第j个像素，c表示预测类别总数；y表示当前类别的标注值，p表示域不变特征经解码预测后得到的相应预测概率；ls值越趋于0，表示细胞定位及分类结果越精确，k表示第k个预测层；
[0148]
最后得到细胞定位与分类的结果后，能够准确统计出所述数字病理图中不同染色体强度的肿瘤细胞数量值，以提升her-2免疫组化病理切片的评分精度和准确性。
[0149]
根据本发明实施例，所述方法还包括对一次阴性肿瘤细胞进行二次筛查以对所述预测结果进行修正以更新所述一次阴性肿瘤细胞。
[0150]
需要说明的是，由于肿瘤阴性细胞与非肿瘤阴性细胞之间细胞特征较小，单单依赖细胞关键点定位网络对其进行分类，任务较为艰巨且结构风险较大，因此对所述一次阴性肿瘤阴性细胞进行二次筛查，挑选在激活后置信度为“0.5
±
0.05”的预测结果，根据其坐标位置在最后一个编码特征层进行特征采样，送入三层包含“256”个神经元的网络进行类别预测以修正所述预测结果。
[0151]
值得一提的是，对于二次筛查的作业可以通过状态映射对比学习法，即态射对比学习完成，如图7所示，态射对比学习可对模型的映射关系给与强监督的指引，以更好的挖掘模型的细粒度特征，保持各个类别特征的一致性，态射对比学习基于标准的编解码结构，旨在鼓励卷积核学习同一类别的共有特征，并拉开不同类别特征的可区分度，鼓励学习不同类别的差异特征，最后，网络能进行更好的预测，其中，在态射对比学习方法的基础上，将非高置信度(置信度0.5)细胞预测的特征取出，将特征送入全连接神经网络进行类别再次预测与修正，该两阶段方法，实现her-2免疫组化病理切片的精准自动评估。
[0152]
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括机器的一种免疫组化病理切片的分析方法程序，所述免疫组化病理切片的分析方法程序被处理器执行时，实现如上述任一项所述的一种免疫组化病理切片的分析方法的步骤。
[0153]
本发明公开的一种免疫组化病理切片的分析方法、系统和可读存储介质，本发明通过基于手工特征的无监督区域分割方法有效分割出her-2免疫组化病理切片中的目标区域，即有效组织区域，在区域约束的基础上，采用对比学习特征约束同类细胞一致性编码、并拉开异类细胞特征的差异，得到更准确的细胞解码预测结果；采用神经网络对低确信度细胞结果进行二次校正，从而实现对her-2切片进行精确自动分析。
[0154]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0155]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0156]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0157]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0158]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。