一种基于图卷积网络的数字病理图像的分割与分类方法与流程

本发明涉及一种图像的分割与分类方法，尤其涉及一种基于图卷积网络的数字病理图像的分割与分类方法。

背景技术：

近年来数字病理学飞速发展，数字病理图像分析已经成为了病理学专家对癌症进行诊断的金标准。随着计算机视觉与生物医学信息技术的发展，计算机技术与医学诊断交叉融合使得计算机辅助诊断技术愈加成熟。

尽管数字扫描切片及数字切片成像技术已经在各大医疗机构得到了推广应用，但是关于全切片的数字病理图像诊断分析还是需要医生在不同尺度的放大镜倍数下进行反复观测得到诊断结果。诊断结果依赖于医生的综合医学素养与主观意识，当诊断结果存在错误时会导致病人的误诊，影响后续治疗。

目前数字病理辅助诊断技术常采用基于卷积神经网络(cnn)的方法或者基于图像分割技术(语义分割)的方法。由于数字病理图像尺寸较大(达到1万*1万级别的大小)，基于cnn的病理图像诊断方法一般采用滑动窗口将病理图像切成小的图像块，再综合图像块的cnn分类结果得出全切片病理图像的分类诊断结果。这种方法实现简单，但是这种这种方法丢失了图像块之间的空间相关性，且无法对病灶区域进行定位。基于图像分割技术的病理图像诊断方法则是对图像块进行像素级别的分类，获得图像块的分割结果，从而得到准确的病灶区域。这类方法可以对病灶区域定位，但是图像块之间的分割结果相对独立，使得分割结果无法综合全局的语义信息耦合细胞间关系，无法获得准确的整图的分类诊断结果。

针对上述问题，亟需提供一种基于图卷积网络的数字病理图像的分割与分类方法。

技术实现要素：

为了解决上述技术所存在的不足之处，本发明提供了一种基于图卷积网络的数字病理图像的分割与分类方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于图卷积网络的数字病理图像分割与分类方法，包括以下步骤：

步骤s1：输入全切片的数字病理图像；

步骤s2：利用滑动窗口方法获得数字病理图像的图像块；

步骤s3：对每个图像块进行编码、解编码，获得图像块分割结果；将图像块分割结果拼接，可得到整图分割结果；

步骤s4：根据图像块分割结果计算每个图像块的特征，用图像块特征构建图卷积网络；

步骤s5：利用构建的图卷积网络对整图提取特征，用分类器进行分类，得出诊断结果。

进一步地，在步骤s2中，由于数字病理图像尺寸巨大，无法直接进行分析，利用滑动窗口方法将全尺寸的病理图像切分为大小适中的图像块，在保证精度的同时提高处理速度。

进一步地，在步骤s3中，采用改进的u-net的编码、解编码框架，对每个图像块进行编码、解编码进行图像块分割。

进一步地，编码框架所采用的编码器采用多个特征编码模块逐级相联，进行特征的逐层级编码，该编码器的输入为原始图像，最后一层的特征编码模块的输出为图像特征图；每个特征编码模块的卷积神经网络结构均设计为金字塔场景解析结构，以使编码过程能够提取图像块多尺度的特征信息，在对特征进行提取与编码的同时对特征进行下采样。

进一步地，解码框架所采用的解码器也采用多个特征解码模块逐级相联，进行特征的逐层级解码，该解码器的输入为编码器输出的图像特征图，最后一层的特征解码模块的输出为图像块分割掩膜；特征解码结构使用高效空间金字塔模块来进行解码。

进一步地，在解码器中添加判别图生成分支，以去除图像块分割掩膜含有的少量噪声信息；该判别图文生成分支包含两个特征解码模块进行特征的逐级解码，后面接一个二进制判别图输出层；该判别图生成分支的输入为编码器输出的图像特征图，输出由二进制判别图输出层完成。

该输出的特征判别图用于对原始的图像块分割掩膜进行修正，修正方法为：将特征判别图与原始的图像块分割掩膜图进行对位相乘得到最终的图像块分割掩膜。

进一步地，在步骤s4中，图像块特征的计算方法为：对于每个图像块，计算图像块内每种病灶所占像素个数占图像块总像素个数的比值，将每种病灶的面积比值作为该种病灶在该图像块的特征值。

进一步地，在步骤s4中，图卷积网络的构建方法为：对于每种病灶的特征值对图像块进行排序，将该种病灶所含特征值最大图像块视作根节点，使用广度优先遍历从根节点开始遍历周围节点，依次加入前k个节点中该种病灶的特征值作为特征向量。

进一步地，在步骤s5中，整图提取特征的方法为：将每种病灶通过图像块特征构建图卷积网络生成的特征向量进行拼接，其主要步骤为：每种病灶的特征向量是一个长度为k的序列，将它们按照病灶类型的排序从前到后依次拼接，对于n种病灶类型，即可得到一个总长度为n×k的整图特征向量。

进一步地，在步骤s5中，分类器进行分类时，采用多层感知机神经网络进行分类，分类器特征是利用构建的图卷积网络提取的整图特征向量。

本发明公开了一种基于图卷积网络的数字病理图像分割与分类方法，是一种面向全尺寸数字病理图像的分割与分类方法，针对目前数字病理图像的分割与分类中存在的问题，将病理图像辅助诊断中的病灶区域分割与病灶类型分类两个子问题综合考虑并同时解决，提出级联的数字病理图像分割与分类框架。利用图像块分割结果对病理图像特征构建图卷积网络，使得构建的图卷积网络在进行整图特征提取时可以获得病理图像全局的上下文信息，提高了分类器对病灶类型的识别准确率。同时，提出的病理图像分割与分类框架采用端到端结构，使得病灶区域分割结果与病灶类型分类结果之间具有一致性与关联性，能有效提高诊断效果。本发明实现了在对数字病理图像进行准确病灶区域分割的同时得出辅助诊断结果，有较好的创新性与推广性，能用于乳腺癌、肺癌等癌症的检测与诊断领域，具有较高的应用价值。

附图说明

图1为本发明数字病理图像的分割与分类方法的流程框图。

图2为本发明实施例中滑动窗口对病例图像进行滑动切分的示意图。

图3为本发明实施例中图像块分割掩膜拼接得到病灶检测区域示意图。

图4为本发明实施例中图像块分割掩膜的特征计算示意图

图5为本发明实施例中图卷积网络的构造示意图

图6为本发明实施例中病理图像分类示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明公开了一种基于图卷积网络的数字病理图像分割与分类方法，该方法的流程框图如图1所示，具体包括以下处理步骤：

步骤s1：输入全切片的数字病理图像；

步骤s2：利用滑动窗口方法获得数字病理图像的图像块；

其中，数字病理图像尺寸通常较巨大，由于数字病理图像尺寸巨大，无法直接进行分析，因此，利用滑动窗口方法将全尺寸的病理图像切分为大小适中的图像块；一般，滑动窗口越大，速度会越快，但滑动窗口越大，分割效果会受影响，且对计算机内存和显卡显存要求就越高，因此可以根据实际图像大小与硬件条件调整滑动窗口大小，在保证精度的同时提高处理速度。

步骤s3：对每个图像块进行编码、解编码，获得图像块分割结果；将图像块分割结果拼接，可得到整图分割结果；

对每个图像块进行编码、解编码进行图像块分割时，采用了改进的u-net的编码-解编码框架，该框架编码器和解码器的设计中，加入了特殊的结构来提高系统性能。具体设计方法如下：

编码器采用多个特征编码模块逐级相联，进行特征的逐层级编码，其输入为原始图像，最后一层的特征编码模块的输出为图像特征图；其中，每个特征编码模块由一个卷积神经网络结构与一个下采样层组成，卷积神经网络结构设计为金字塔场景解析结构(pyramidsceneparsing，psp)，以使编码过程能够提取图像块多尺度的特征信息，在对特征进行提取与编码的同时对特征进行下采样，提高特征编码效率；

解码器采用多个特征解码模块逐级相联，进行特征的逐层级解码，其输入为编码器输出的特征图，最后一层输出图像块分割掩膜；其中，每个特征解码模块有一个特征解码结构与一个上采样组成，特征解码结构使用高效空间金字塔模块(extremelyefficientspatialpyramid，eesp)来进行解码，该解码结构的特点是可以提升解码过程框架的空间特征重构能力以及运算速度；

在上述解码器中，为去除图像块分割掩膜含有的少量噪声信息，在解码器中添加了判别图生成分支，该判别图文生成分支包含两个特征解码模块进行特征的逐级解码，后面接一个二进制判别图输出层；该判别图生成分支的输入为编码器输出的图像特征图，输出由二进制判别图输出层完成；

该输出的特征判别图用于对原始的图像块分割掩膜进行修正，修正方法为：将特征判别图与原始的图像块分割掩膜图进行对位相乘得到最终的图像块分割掩膜；原理在于：特征判别图为二进制矩阵，在于进行对位相乘时对于原始的分割掩膜上的噪声信息进行了抑制，提高了编码-解编码图像分割模型对图像块分割的准确率。

步骤s4：根据图像块分割结果计算每个图像块的特征，用图像块特征构建图卷积网络；

其中，图像块特征的计算方法为：对于每个图像块，计算图像块内每种病灶所占像素个数占图像块总像素个数的比值，将每种病灶的面积比值作为该种病灶在该图像块的特征值。

图卷积网络的构建方法为：对于每种病灶的特征值对图像块进行排序，将该种病灶所含特征值最大图像块视作根节点，使用广度优先遍历从根节点开始遍历周围节点，依次加入前k个节点中该种病灶的特征值作为特征向量。

步骤s5：利用构建的图卷积网络对整图提取特征，用分类器进行分类，得出诊断结果；

其中，对整图特征的提取方法为：将每种病灶通过图像块特征构建图卷积网络生成的特征向量进行拼接，其主要步骤为：每种病灶的特征向量是一个长度为k的序列，将它们按照病灶类型的排序从前到后依次拼接，对于n种病灶类型，即可得到一个总长度为n×k的整图特征向量；

在整图特征提取后，用分类器进行分类，最终得出诊断结果，其中，分类器采用了多层感知机网络进行分类，多层感知机网络包含多个全连接层，第一层全连接层的输入是特征向量，最后一层的全连接层的输出是每种病灶的概率，根据输出结果即可对病理图像的病灶类别进行分类，给出诊断结果。

对于本发明所公开的基于图卷积网络的数字病理图像分割与分类方法，克服了cnn的病例图像诊断方法、基于图像分割技术的病理图像诊断方法的确定，能同时获得病灶区域的准确分割结果，具有较高的应用价值。

下面结合具体的实施例对本发明的基于图卷积网络的数字病理图像分割与分类方法做进一步说明。

【实施例】

为了方便说明，在本实施例中，公开了一种基于图卷积网络的数字病理图像分割与分类方法，是针对病例图像的分割与分类问题进行实现的。该方法具体包括以下步骤：

步骤s1：输入全切片的数字病理图像；

步骤s2：利用滑动窗口方法获得数字病理图像的图像块；

其中，数字病理图像尺寸通常较巨大，由于数字病理图像尺寸巨大，无法直接进行分析，因此，利用滑动窗口方法将全尺寸的病理图像切分为大小适中的图像块；一般，滑动窗口越大，速度会越快，但滑动窗口越大，分割效果会受影响，且对计算机内存和显卡显存要求就越高，因此可以根据实际图像大小与硬件条件调整滑动窗口大小，以保证速度和效果。本实施例中，采用了2048×1536大小的滑动窗口，如图2所示为滑动窗口获取图像块过程。

步骤s3：对每个图像块进行编码、解编码，获得图像块分割结果；将图像块分割结果拼接，可得到整图分割结果；

对于编码、解编码的图像分割模型，其训练所需要的训练数据是具有标记信息的数字病理图像，即由病理专家标记病理图像的诊断结果(疾病的类别)，并标记出病灶区域(即像素级别的标注，也即图像分割信息)；

然后采用改进的u-net的编码-解编码框架，对每个图像块进行编码、解编码进行图像块分割；

其中，框架编码器采用多个特征编码模块逐级相联，进行特征的逐层级编码，其输入为原始图像，最后一层的特征编码模块的输出为图像特征图；个特征编码模块由一个卷积神经网络结构与一个下采样层组成，卷积神经网络结构设计为金字塔场景解析结构(pyramidsceneparsing，psp)，以使编码过程能够提取图像块多尺度的特征信息，在对特征进行提取与编码的同时对特征进行下采样，提高特征编码效率；

框架解码器采用多个特征解码模块逐级相联，进行特征的逐层级解码，其输入为编码器输出的特征图，最后一层输出图像块分割掩膜；其中，每个特征解码模块有一个特征解码结构与一个上采样组成，特征解码结构使用高效空间金字塔模块(extremelyefficientspatialpyramid，eesp)来进行解码，该解码结构的特点是可以提升解码过程框架的空间特征重构能力以及运算速度；

在上述解码器中，为去除图像块分割掩膜含有的少量噪声信息，在解码器中添加了判别图生成分支，该判别图文生成分支包含两个特征解码模块进行特征的逐级解码，后面接一个二进制判别图输出层；该判别图生成分支的输入为编码器输出的图像特征图，输出由二进制判别图输出层完成；

该输出的特征判别图用于对原始的图像块分割掩膜进行修正，修正方法为：将特征判别图与原始的图像块分割掩膜图进行对位相乘得到最终的图像块分割掩膜；如图3所示，为本实施例中图像块分割掩膜修正示例。

步骤s4：根据图像块分割结果计算每个图像块的特征，用图像块特征构建图卷积网络；

首先，根据步骤s3中的图像块分割结果计算每个图像块的特征，图像块特征的计算方法为：对于每个图像块，计算图像块内每种病灶所占像素个数占图像块总像素个数的比值，将每种病灶的面积比值作为该种病灶在该图像块的特征值，如图4所示为图像块分割掩膜的特征计算示意图；

然后，构件图卷积网络，其构建方法为：对于每种病灶的特征值对图像块进行排序，将该种病灶所含特征值最大图像块视作根节点，使用广度优先遍历从根节点开始遍历周围节点，依次加入前k个节点中该种病灶的特征值作为特征向量，如图5所示，为图卷积网络的构造示意图。

步骤s5：利用构建的图卷积网络对整图提取特征，用分类器进行分类，得出诊断结果；

首先，对利用构建的图卷积网络对整图提取特征，整图特征的提取方法为：将每种病灶通过图像块特征构建图卷积网络生成的特征向量进行拼接，其主要步骤为：每种病灶的特征向量是一个长度为k的序列，将它们按照病灶类型的排序从前到后依次拼接，对于n种病灶类型，即可得到一个总长度为n×k的整图特征向量；

然后，在整图特征提取后，用分类器进行分类，最终得出诊断结果，其中，分类器可以采用多种分类器，比如svm、决策树等，本实施例采用了多层感知机网络进行分类，多层感知机网络包含多个全连接层，第一层全连接层的输入是特征向量，最后一层的全连接层的输出是每种病灶的概率，根据输出结果即可对病理图像的病灶类别进行分类，给出诊断结果，如图6所示为最终的病理图像分类示意图。

对于本发明所公开的基于图卷积网络的数字病理图像分割与分类方法，与现有技术相比，其具有的有益效果如下：

(1)根据图像块的特征采用图卷积网络对全切片的数字病理图像进行整体建模并提取特征，因此能获取各图像块之间的关系，能取得更好的诊断性能。

(2)在构建卷积图时所用的特征为图像块的分割掩模的特征，图像块分割结果拼接后就能得到整图的分割结果，即在进行诊断的同时，能够检测出病灶区域，这克服了其他方法或者不能对图像块关系进行建模或者不能检测出病灶区域的问题。

(3)在编码、解编码图像分割模型的搭建时，采用了更加精细的结构设计，可以提取更加丰富的特征，且提高了模型解码过程的空间特征重构能力以及运算速度。

(4)可应用于基于数字病理图像的疾病诊断领域，比如乳腺癌、肺癌的诊断等，具有较好的通用性和实用价值。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。