基于深度学习的病理切片分析方法、电子设备及可读存储介质

1.本发明属于计算机视觉技术领域，涉及一种基于深度学习的病理切片分析方法、电子设备及可读存储介质。


背景技术：

2.近年来随着扫描技术的高速发展，尤其是全视野数字切片的出现，极大地促进了组织病理学图像自动分析在计算机领域的发展，目前，以深度学习为代表的人工智能技术成为最热门的研究领域之一，将其与组织病理学图像分析相结合吸引了无数科研人员的目光。
3.对细胞核信息进行包括分割、分类等的自动化分析，对病理切片的自动化诊断有着重要意义，其中，细胞核分割任务在整个组织病理学图像自动化分析中占据重要位置，同时细胞核分割也是一个难点，受限于病理切片的制作工艺，细胞核重叠、接触现象无法避免，且细胞核周围的杂质、细胞质区域等都会对细胞核分割造成影响，如果能够在此基础上，将细胞核准确分割开来，并获得其轮廓信息，将能够有效地帮助病理医生提取细胞核信息，并进行有效诊断；细胞核的分类和分割都只是在病理切片上对细胞核信息进行提取，如果能够利用这些信息作进一步分析，得到了整个病理切片的分类信息，极大地减轻病理医生的诊断压力。


技术实现要素：

4.为了达到上述目的，本发明实施例提供一种基于深度学习的病理切片分析方法，能够对病理切片中的细胞核进行准确分割，并结合像素点分类结果和细胞核聚集区域特征实现病理切片的准确分类。
5.本发明实施例还提供一种电子设备及可读存储介质。
6.本发明所采用的技术方案是，基于深度学习的病理切片分析方法，具体包括以下步骤：
7.s1，使用比尔
‑
朗伯转换法和稀疏矩阵分解法对rgb格式的病理切片进行颜色归一化处理；
8.s2，使用dpu
‑
net网络的编码器提取颜色归一化处理后切片中的特征图像，并基于特征图像对病理切片进行细胞核分割和细胞核分类，将病理切片初步分为正常切片和疑似非正常切片；
9.s3，对疑似非正常切片进行细胞核聚集区域划分，提取细胞核聚集区域的特征；
10.s4，以细胞核聚集区域特征为输入，使用宽度学习模型对疑似非正常切片进行最终分类。
11.进一步的，所述dpu
‑
net网络包括编码器和解码器；
12.所述编码器包括依次连接的特征提取层和四个双流连接模块，所述特征提取层包
括依次连接的卷积层、归一化层和激活层，所述双流连接模块包括依次连接的三组归一化层、激活层和卷积层，双流连接模块的处理过程如下：
13.y＝pc([x[bw:],f(x)[bw:],x[:bw]+f(x)[:bw]])
[0014]
其中pc(
·
)表示均值池化操作及卷积操作，y表示输出结果，x表示输入特征，f(x)表示中间变量，+表示残差学习中的叠加操作，[
·
]表示密集连接；
[0015]
解码器包括与双流连接模块对应的四个up block模块和softmax层，所述up block模块包括依次连接的上采样层和两组卷积层、归一化层和激活层。
[0016]
进一步的，所述s2中病理切片初步分类过程如下：
[0017]
s2
‑
1，对特征图像进行细胞核分割，将其初步划分为细胞核内部区域、细胞核外部区域和细胞核边界区域；
[0018]
s2
‑
2，计算细胞核内部区域各像素点到细胞核外部区域的距离值，距离值为1表示该像素点为细胞核中心区域，距离值为0表示像素点为细胞核边界区域，距离值为(0，1)表示像素点为细胞核内部区域，将距离值为0的像素点作为分割线确定重叠细胞核的边界区域，完成细胞核分割；
[0019]
s2
‑
3，对特征图像中的各像素点进行分类，将其分为细胞核外部像素点、正常像素点和非正常像素点；
[0020]
s2
‑
4，统计细胞核分割结果中各细胞核边界区域内的正常像素点数量和非正常像素点数量，若正常像素点数量大于非正常像素点数量，则认为该细胞核为正常细胞核，否则认为是非正常细胞核；
[0021]
s2
‑
5，统计病理切片中非正常细胞核的数量，若非正常细胞核的数量小于细胞核总数的5％，则认为该病例切片为正常切片，否则即为疑似非正常切片。
[0022]
进一步的，所述s3使用dbscan聚类算法将疑似非正常切片划分为细胞核聚集区域，使用数学分析统计细胞核聚集区域的特征，所述特征包括细胞核平均面积、细胞核平均密度、细胞核密度大于50％的区域的面积占比、细胞核聚集区域数量和细胞核数量的区域特征。
[0023]
进一步的，所述s4的分类过程如下：
[0024]
s4a，将文本数据形式的细胞核聚集区域特征作为输入构建特征节点，将特征节点连接生成特征节点集合z
n
，z
n
＝[z1,z2,
…
,z
i
,
…
,z
n
]，对z
n
进行合并得到特征矩阵；
[0025]
所述特征节点其中x表示细胞核聚集区域的特征，φ表示构造特征节点的函数，分别表示第i组特征节点的偏移矩阵和偏移向量，z
i
表示第i组特征节点，n表示特征节点总组数；
[0026]
s4b，对特征节点进行特征增强得到增强节点，将增强节点分为m个模块，每个模块包括m组增强节点，提取各模块的最后一组增强节点组成增强矩阵；
[0027]
所述增强节点的计算公式如下：
[0028][0029]
其中h
jk
表示第j个模块中的第k组增强节点，j＝1,...,m，k＝1,...,m，表示获取增强节点的激活函数，分别表示随机生成h
jk
的偏移矩阵和偏移向量，h
1m
表示第一个模块中的第m组增强节点，h
(j
‑
1)m
表示第j
‑
1个模块中的第m组增强节点，h
j(k
‑
1)
表示第j个模块中的第k
‑
1组增强节点；
[0030]
s4c，根据特征矩阵、增强矩阵和权重矩阵计算疑似非正常切片的最终分类标签。
[0031]
一种电子设备，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；
[0032]
存储器，用于存放计算机程序；
[0033]
处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
[0034]
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
[0035]
本发明的有益效果是：
[0036]
1、本发明实施例利用双流连接模块提取特征图像中的特征，实现了浅层特征和深层特征的再利用，使用密集连接通路探索新特征，使获得的特征更能表征病理切片的信息；同时使用细胞核分割分支和距离图分支联合对细胞核进行分割，能获取单个细胞核和重叠、接触等细胞核的准确轮廓信息，结合各像素点的分类结果，获得的病理切片初步分类结果更准确；
[0037]
2、本发明实施例在病理切片初步分类结果的基础上，提取细胞核聚集区域的特征，使用宽度学习系统模型对其进行准确的分类，本发明实施例在整个分类过程中，结合了病理切片中的细节信息和细胞核聚集区域的宏观信息，获得的分类结果更加准确。
附图说明
[0038]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]
图1是本发明实施例的流程图。
[0040]
图2是dpu
‑
net网络的模型图。
[0041]
图3是双流连接模块的处理过程图。
[0042]
图4是dpu
‑
net网络解码器的结构图。
[0043]
图5是宽度学习系统网络模型图。
[0044]
图6是颜色归一化处理前后的对比图。
具体实施方式
[0045]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0046]
实施例
[0047]
如图1所示，基于深度学习的病理切片分析方法，具体包括以下步骤：
[0048]
步骤1，对rgb格式的病理切片进行预处理，并使用dpu
‑
net网络中的编码器提取图像中的特征，具体流程包括：
[0049]
步骤1a，使用比尔
‑
朗伯(beer
‑
lambert)转换法和稀疏矩阵分解法，对宽高为w
×
h的rgb格式病理切片进行颜色归一化操作得到第一图像；
[0050]
由于不同操作人员在对病理切片进行h
‑
e染色时使用的试剂量不同，导致呈现出来的颜色很不相同，而进行深度学习时，颜色信息是很关键的特征，为了避免因颜色信息差异造成的不必要误差，需要进行颜色归一化，将所有切片的色彩空间归一化；在进行颜色归一化时首先通过比尔
‑
朗伯转换法将病理切片的rgb矩阵转换为光密度矩阵，具体的转换公式如下：
[0051][0052]
再对光密度矩阵进行稀疏非负矩阵分解得到两个矩阵，其中一个矩阵为包含每种染色原型的rgb光密度成分矩阵，另一矩阵为染色密度矩阵，最后将待归一化图像的染色密度矩阵和目标图像的染色原型矩阵相乘，再进行比尔
‑
朗伯逆转换，得到归一化后的第一图像，颜色归一化的结果展示如图6所示；
[0053]
步骤1b，将第一图像输入dpu
‑
net网络的编码器得到对应的特征图像，所述编码器由特征提取层和四个双流连接模块依次连接，分别用于由浅到深提取图像特征，最终得到涵盖图像浅层特征和深层特征的特征图像；
[0054]
步骤2，将特征图像输入dpu
‑
net网络解码器中的细胞核分割模块进行解码，获得细胞核分割结果；
[0055]
dpu
‑
net网络解码器中的细胞核分割模块包括两个分支：细胞核分割分支和距离图分支，将特征图输入细胞核分割分支得到像素级的语义分割结果，即将特征图像初步分为细胞核内部区域、细胞核外部区域和细胞核边界区域；
[0056]
将特征图像输入距离图分支，计算细胞核内部区域各像素点到细胞核外部区域的距离值，基于细胞核语义分割结果与距离图得到最终的细胞核分割结果。
[0057]
解码器采用sigmod函数作为激活函数，函数公式如下所示：函数的输出范围在0到1之间，在细胞核分割分支，sigmoid函数的输出表示像素点属于某一类别的概率，最终输出时将像素点划分入概率最大值对应的类别，在距离图分支，其输出表示细胞核内部区域各像素点到细胞核外部区域的距离值，由于细胞核中心区域距离外部区域的距离最长，细胞核边界和细胞核外部区域距离外部区域的
距离最短，所以当距离图分支输出结果为1时表示细胞核中心区域，输出结果为0时表示细胞核边界或外部区域，输出结果为0～1之间时表示细胞核内部区域；
[0058]
细胞核分割分支能够将特征图像分为细胞核内部区域、细胞核外部区域和细胞核边界区域，但若是两个或多个细胞核重叠，细胞核分割分支不能对重叠处各细胞核的边界区域进行有效确定，仅能识别出重叠处为细胞核内部区域，因此需使用距离图分支对重叠细胞核进行分割，计算细胞核内部区域中各像素点到细胞核外部区域的距离值，当重叠区域内存在多个细胞核中心区域时，会得到多个极大值区域，多个极大值区域之间存在多条零值点组成的分割线，即为多个重叠细胞核的边界区域，实现对重叠细胞核的准确分割；
[0059]
步骤3，将特征图像输入dpu
‑
net网络解码器中的细胞核分类模块进行解码，对特征图像的每一个像素点进行分类，最终分成细胞核外部像素点、正常像素点和非正常像素点；
[0060]
步骤4，统计细胞核分割结果中各细胞核边界区域内，正常像素点和非正常像素点的数量，若正常像素点的数量大于非正常像素点的数量，则认为该细胞核为正常细胞核，否则认为是非正常细胞核；
[0061]
步骤5，统计病理切片中非正常细胞核的数量，若非正常细胞数量小于细胞核总数的5％，则认为该病理切片为正常切片，否则认为是疑似非正常切片，将疑似非正常切片划分为细胞核聚集区域；
[0062]
设置领域半径为35mm，领域中细胞核的数目阈值为5，根据细胞核分割结果中的细胞核轮廓信息计算出每一个细胞核的中心点，并以此为依据开展dbscan聚类算法，对病理切片进行划分获得细胞核聚集区域，对细胞核聚集区域的像素点进行数学分析得到细胞核聚集区域的特征，包括细胞核平均面积、细胞核平均密度、细胞核密度大于50％的区域的面积占比、细胞核聚集区域数量、细胞核数量的区域特征；
[0063]
步骤6，将疑似非正常切片的细胞核聚集区域特征作为输入，使用基于密集级联的宽度学习系统模型对疑似非正常切片进行最终分类，将疑似非正常切片分为正常切片和非正常切片。
[0064]
步骤6的具体分类过程如下：
[0065]
步骤6a，将文本数据形式的细胞核聚集区域的特征作为输入构建特征节点，生成特征节点集合，进而合并得到特征矩阵；
[0066]
步骤6b，对特征矩阵进行特征增强得到增强节点，将增强节点分为m个模块，每个模块包含m组增强节点，使用密集连接的方式将各模块连接，提取各模块中最后一组增强节点作为增强矩阵；
[0067]
步骤6c，根据特征矩阵、增强矩阵和前期训练获得的权重矩阵w计算出病理切片最终的分类标签，完成对疑似非正常切片的分类。
[0068]
现有技术更多的从网络模型结构入手，通过复杂的模型结构来提升特征图像的分割效果，而本发明实施例所述dpu
‑
net网络通过增加距离图分支的方法，对重叠的细胞核进行详细分割，避免了细胞核重叠、接触以及细胞质区域、细胞核周围杂质对细胞核分割的影响，能对细胞核进行准确分割，并获得其轮廓信息，有效帮助病理医生提取细胞核信息。
[0069]
dpu
‑
net网络以u
‑
net网络为基础，使用双流连接模块替换原u
‑
net网络中的block，原来的block主要用于图像特征提取，其在提取过程中容易遗忘早期提取到的浅层
特征，且对新特征的搜索能力较弱；双流连接模块继承了resnet和densenet两大网络的优势，通过残差分支通路将浅层特征与深层特征结合起来实现对特征的再次利用，通过密集连接网络的密集连接通路探索新特征，有效的提升了特征提取能力，获得的图像特征较为全面。
[0070]
dpu
‑
net网络的整体结构如图2所示，包含了用于特征提取的编码器和实现功能的解码器，编码器包括依次连接的特征提取层和四个双流连接模块(dpn block)，所述特征提取层用于对输入数据进行初步的特征提取，双流连接模块用于对前一层提取的特征进行再次利用；双流连接模块的处理过程如图3所示，先对输入特征x进行连续三次的归一化(bn)、激活(激活函数为relu)、卷积(conv)操作得到中间变量f(x)，随后将x[bw:]和f(x)[bw:]进行残差学习(即叠加操作)，并将残差学习结果与x[:bw]、f(x)[:bw]进行密集连接，最后对密集连接结果进行均值池化操作(avg pool)及卷积操作得到输出结果y，使用pc(
·
)表示均值池化操作及卷积操作，则编码器中双流连接模块的处理过程如下：
[0071]
y＝pc([x[bw:],f(x)[bw:],x[:bw]+f(x)[:bw]])
[0072]
图2中c表示connected，即将编码器获得浅层特征与深层特征融合，可以有效避免深度学习系统中层数增加导致的早期获取的浅层信息被覆盖，进而提升神经网络的处理效果。
[0073]
解码器部分包含细胞核分割模块和细胞核分类模块，细胞核分割模块包含细胞核分割分支和距离图分支，细胞核分割分支、距离图分支和细胞核分类模块结构类似，具体如图4所示，解码器中存在着与编码器的双流连接模块一一对应的up block模块，up block模块包括依次连接的上采样层和两组卷积层、归一化层和激活层，其通过上采样配合卷积操作、归一化函数进行解码操作，然后通过sigmoid函数进行激活，sigmoid函数可以将像素点的值映射成为[0，1]的值，这些值的总和为1，在细胞核分割分支和细胞核分类分支sigmoid函数的输出表示像素点属于某一类别的概率，最终输出时将像素点划分入概率最大值对应的类别，完成特征图像中像素点的分割、分类，在距离图分支sigmoid函数的输出表示细胞核内部区域各像素点到细胞核外部区域的距离值。
[0074]
基于密集连接的宽度学习系统的网络结构如图5所示，宽度学习系统模型首先对输入数据进行特征提取得到特征节点，特征节点其中x表示输入数据，即从细胞核聚集区域提取到的特征，φ表示构造特征节点的函数，即基于拉索回归的稀疏自编码函数，分别表示第i组特征节点的偏移矩阵和偏移向量，z
i
表示第i组特征节点，n表示特征节点总组数，将n组特征节点相连接，得到最终的特征节点集合z
n
，z
n
＝[z1,z2,
…
,z
i
,
…
,z
n
]。
[0075]
对特征节点进行特征增强得到相应的增强节点，将增强节点分为m个模块，每个模块包含m组增强节点，使用密集连接的方式将各模块连接，对于每个模块的每一组增强节点来说，其输入数据包括特征节点集合z
n
、前面所有模块的最后一组增强节点，如果该模块是第一个模块，那么其输入数据仅为特征节点集合z
n
，各模块内的m组增强节点间采用全连接方式连接，综上增强节点的获取公式如下：
[0076][0077]
h
jk
表示第j个模块中的第k组增强节点，j＝1,...,m，k＝1,...,m，表示获取增强节点的激活函数，分别表示随机生成h
jk
的偏移矩阵和偏移向量，h
1m
表示第一个模块中的第m组增强节点，h
(j
‑
1)m
表示第j
‑
1个模块中的第m组增强节点，h
j(k
‑
1)
表示第j个模块中的第k
‑
1组增强节点。
[0078]
将特征节点集合z
n
合并为特征矩阵f，为了避免出现过拟合的情况，提取每个模块的第m组增强节点组合增强节点集合h
m
，h
m
＝[h
1m
,h
2m
,
…
,h
jm
,
…
,h
mm
]，将增强节点集合h
m
合并为增强矩阵e
′
，将特征矩阵f和增强矩阵e
′
按照列向量进行连接得到矩阵d，最终标签数据y＝dw，w为权重矩阵，通过模型训练得到。
[0079]
本发明实施例首先利用dpu
‑
net网络将病理切片划分为正常切片和疑似非正常切片，所述dpu
‑
net网络使用双流连接模块进行特征提取，能够将浅层特征和深层特征联合起来实现特征再利用，并通过密集连接通路探索新特征，使获得的特征更为全面；同时在解码器部分构建三个分支：细胞核分割分支、距离图分支和细胞核分类分支，通过细胞核分割分支对病理切片中的细胞核进行粗略分割，在利用距离图分支对细胞核分割图中的重叠区域进行精细分割，获得较为准确的细胞核分割结果，再结合像素点级的分类结果实现对病理切片的初步分类，最后再结合病理切片中细胞核聚集区域的统计特征，使用基于密集连接的宽度学习系统对其进行最终分类。
[0080]
本发明实施例获取的细胞核分割结果更加准确，避免了细胞核接触、重叠或细胞质、杂质对细胞核分割结果的影响，在此基础上结合像素级的分类结果和细胞核聚集区域的宏观特征对其进行分步分类，获得的分类更为准确，能有效帮助病理医生提取细胞核信息。
[0081]
本发明还包含一种电子设备，包括存储器和处理器，所述存储器用于存储各种计算机程序指令，所述处理器用于执行所述计算机程序指令完成上述全部或部分步骤；电子设备可以与一个或多个外部设备通信，还可与一个或多个使用户与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备通信，电子设备还可以通过网络适配器与一个或多个网络(例如局域网、广域网和/或公共网络)通信。
[0082]
本发明还包括一种存储有计算机程序的计算机可读介质，该计算机程序可以被处理器执行，所述计算机可读介质可以包括但不限于磁存储设备、光盘、数字多功能盘、智能卡及闪存设备，此外本发明所述的可读储存介质能代表用于存储信息的一个或多个设备和/或其他机器可读介质，术语“机器可读介质”包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线通道和各种其他介质(和/或存储介质)。
[0083]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0084]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在
本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。