基于深度学习的病理图像多染色分离方法与流程

本发明涉及图像信息处理技术领域，特别是一种基于深度学习的病理图像多染色分离方法。

背景技术：

染色分离是一种用于辅助组织病理学图像自动分析的预处理技术。与特定结构结合的化学试剂可以增强不同组织类型的辨识度。在组织病理学中，最广泛使用的染色剂是苏木精和伊红(h&e)。苏木精与核酸结合，使细胞核呈现深蓝色或紫色，而伊红粘附在组织中的蛋白质上，使细胞基质呈现粉红色。传统染色分方法，如颜色反卷积(cd)和独立成分分析(ica)旨在找到最佳染色基质和染色浓度矩阵，而染色矩阵的预定义值是不精确的。并且在实际应用中，观察到的苏木精和曙红染色效果会受到多种因素影响，比如所用的数字扫描仪类型和染色方案。近年来，与传统的计算机视觉方法相比，深度学习显着改善了许多组织病理学任务中可实现的结果，但研究主要集中在分类和分割上，尚未专门用于染色分离的任务。卷积神经网络(cnn)提取颜色和纹理信息，并且通过堆叠卷积层可以获得更高级别的特征。当与ica结合时，已显示纹理信息能够改善染色分离结果。

ruifrok和johnston的颜色反卷积(cd)算法是染色分离领域的第一个应用。在彩色反卷积框架中，需要将图像转移到光密度空间中，并且需要染色基质用于染色分离。ruifrok和johnston提供了少量示例染色基质，但如果染色条件发生变化，则这些基质将不再适用。为了满足针对特定图像优化染色基质的需要，已经开发了几种基于颜色反卷积的方法。在早期阶段，macenko提出了一种自动染色矩阵预测方法，作为染色归一化方法的一部分，并使用奇异值分解(svd)来估计染色向量。gavrilovic假设感知相似的颜色将彼此接近，并且发现像素预期出现在与麦克斯韦色度平面中的每个染色相对应的组中。然后将每个染色矢量估计为其对应的高斯分布的平均值。kather建议使用pca来获得染色的最佳表示。这是通过将前两个pca组分投影到由使用预估染色矩阵估计的染色向量创建的平面上来实现的。然而，pca假设主要成分之间存在正交性，但情况并非总是如此，特别是在h和e等相关染色中。trahearn最近提出了一种使用ica变体进行染色去卷积的方法。该方法基于以下假设：根据ica模型可以将染色向量建模为独立分量。当应用ica时，预期相同污点的像素将大致沿着一个独立分量的主轴分布，并且不同污点的像素将沿不同的主轴分布。然而，trahearn表明，在某些情况下，原始独立分量不能提供足够的反卷积。因此，应用校正步骤以调整估计的独立分量。通过最小化每个像素与其最近矢量之间的距离的平均值来找到该组最佳染色矢量，当达到收敛时停止。rabinovic比较了两种颜色反卷积方法，非负矩阵因子分解(nmf)和独立分量分析(ica)。他们表明虽然nmf表现更好，但这两种方法都不足以完全去卷积图像。

技术实现要素：

本发明的目的是提供一种基于深度学习的病理图像多染色分离方法，利用了cnn可以提取的各种特征，保留了组织实体的结构，同时还分离了其他方法经常无法区分的染色污渍。

为实现上述目的，本发明采用的技术方案为：

一种基于深度学习的病理图像多染色分离方法，包括以下步骤：

(1)对病理染色图像进行光密度变换，得到原始病理染色图像的光密度矩阵；

(2)将步骤(1)得到的光密度矩阵构建resu-net模型；

(3)对步骤(2)得到的resu-net模型进行训练；

(4)通过经步骤(3)训练后的resu-net模型进行图像染色分离。

所述步骤(1)的具体步骤为：首先对原始病理染色图像矩阵计算各像素r、g、b三个通道所对应的光密度，得到原始病理染色图像的光密度矩阵；r、g、b三个通道的每个通道所对应的光密度od表示如下：

其中，d是光密度od空间中图像，i0是入射光强度，i是透射光强度。

所述步骤(2)的具体步骤为：光密度矩阵为三行矩阵d＝[dr，dg，db]^t，其中每行对应于一个颜色通道；将光密度矩阵作为模型的输入，构造resu-net架构进行多任务染色分离；resu-net架构由收缩路径，桥接，扩张路径三部分支撑，以完成线性染色颜色矩阵预测，非线性染色颜色矩阵预测和染色浓度预测；其中，收缩路径用于减少特征图的空间维度，同时逐层增加特征图的数量，将输入图像提取为紧凑特征；桥接部分用于连接收缩路径和扩张路径，并实现线性染色颜色矩阵预测功能；扩张路径用于逐步恢复目标的细节和相应的空间维度，右侧的扩张路径将进行上采样，每上采样一次，就与收缩路径对应的通道数相同尺度融合以将输出分别用于染色颜色矩阵和染色浓度矩阵预测。

所述步骤(2)中，收缩路径有若干个残差块，每个残差块中，通过反卷积，以将特征映射减少一半；相应地，扩张路径也由对应的残差块组成；在每个残差块之前，存在来自较低级别的特征映射的上采样以及来自相应编码路径的特征映射的级联。

所述步骤(2)中，残差块解释为：假定一个神经网络单元的输入是x，期望输出是h(x)，另外定义一个残差映射f(x)＝h(x)-x，若把x直接传递给输出，则该神经网络单元要学习的目标就是残差映射f(x)＝h(x)-x，残差学习单元由一系列卷积层和一个捷径组成，输入x通过这个捷径传递给残差学习单元的输出，则残差单元的输出为z＝f(x)+x,z对x的偏导如下：

式中，z对x偏导大于1；此外每个残差块中都包含批量标准化bn(batchnormalization)和线性整流函数relu(rectifiedlinearunit)。

所述步骤(3)中，resu-net模型包括先验模型、后验模型和浓度模型；先验模型通过预测每个图像的单个染色颜色矩阵，同时结合染色浓度矩阵来解决非负矩阵因子分解(nmf)问题，而后验模型基于像素级预测每个像素的染色颜色矩阵结合浓度预测模型，能够准确地学习到每种染色独立特征；给定先验染色矩阵，后染色矩阵和共享浓度矩阵，通过将浓度矩阵与先验染色矩阵和后验染色矩阵组合形成两个重建；通过最小化输入图像和每个重建之间的重建损失来训练模型；在先验模型和后验模型预测的分布之间加入库勒巴克-莱布勒(kullback-leibler)约束项，其确保后验模型的预测仅略微偏离先前模型；其中，两个高斯变量间的kl散度如下式：

式中，σ1、σ2、μ1、μ2分别表示先验模型预测和后验模型预测的正态分布标准差与均值；

定义n为每个图像的像素数目，m为每轮图像数目，k表示染色种类，c表示图像通道数，那么得到约束项：

式中，μm,n,k,c、分别表示先验模型预测与后验模型预测正态分布的均值与标准差。下标m、n、k、c分别表示每轮图像数目、图像像素数目、染色种类数目以及图像通道数目序号；

对于染色分离任务，为了检验其分离效果，定义如下损失函数：

式中，表示第m个图像的第n个像素，表示与其对应的预测图像像素。

所述步骤(4)中，通过resu-net模型从光密度图像中提取特征，提取的特征被传递到各个子模块，这些子模块预测每个像素的染色浓度以及从中采样的一系列高斯分布的参数，参数包括均值和方差；对于图像中每个像素点，对苏木精染色部分，伊红染色部分，背景部分3种情况的每个rgb颜色通道进行预测；通过概率分布直观地表达每个像素点所属区域，以达到染色分离的目的。

所述步骤(4)中，在实现三种染色情况分离的同时，当图像中出现污渍区域，将表现为三种情况下的低概率事件，此时就能够准确识别出污渍。

有益效果：本发明提出了一种新的无监督的深度学习方法，用于多染色分离(苏木精，伊红，背景和污渍)。该方法受到非负矩阵因子分解(nmf)的启发，并将输入图像分解为染色颜色矩阵和染色浓度矩阵。本发明的方法预测了关于染色颜色的高斯分布，从高斯分布中可以得到每个像素点属于各个染色区域的概率，其被统计分析以充分学习各种染色的独立特征，能够对图像中染色准确分类。通过分析染色颜色的高斯分布，使模型尽快收敛到最佳状态并且使模型具有很好的泛化能力。在模型能够精准识别苏木精，伊红，背景这三种染色情况下，当图像中出现污渍区域，将表现为以上三种情况下的低概率事件，此时就能够准确识别出污渍。深度学习网络中，图像级的染色矩阵是固定的，但针对实际图像，同一染色区域(即同类组织)由于人工染色等外界因素，会导致同一染色区域，染色矩阵也是不同的。该方法能够对原图像进行像素级分析，更好的分离图像中同一类组织，从而提高染色分离性能。

与现有技术相比，本发明具有以下优点：

1.预测了关于染色颜色的高斯分布，从高斯分布中可以得到每个像素点属于各个染色区域的概率，其被统计分析以充分学习各种染色的独立特征，能够对图像中染色准确分类。

2.通过分析染色颜色的高斯分布，使模型尽快收敛到最佳状态并且使模型具有很好的泛化能力。在模型能够精准识别苏木精，伊红，背景这三种染色情况下，当图像中出现污渍区域，将表现为以上三种情况下的低概率事件，此时就能够准确识别出污渍。

3.传统方法对单张图像学习到的特征具有局限性，利用深度学习通过大量数据学习到的特征所训练的模型，在染色分离方面具有很好的鲁棒性。

附图说明

图1是图像染色分离整体流程图；

图2是resu-net模型的详细结构图；

图3是先验模型示意图；

图4是整体模型示意图；

图5是对某一区域采样得到的颜色高斯分布图；

图6是训练前后颜色分布示例图；

图7是染色分离效果图；

图8是与现有方法分离效果对比图；

图9是利用本发明的方法检测污渍的效果图。

具体实施方式

下面结合附图对本发明做更进一步的解释。

本发明的一种基于深度学习的病理图像多染色分离方法，包括以下步骤：

(1)对病理染色图像进行光密度变换，得到原始病理染色图像的光密度矩阵；

染色分离框架如图1所示，首先对原始病理染色图像矩阵计算各像素r、g、b三个通道所对应的光密度，得到原始病理染色图像的光密度矩阵；r、g、b三个通道的每个通道所对应的光密度od表示如下：

其中，d是光密度od空间中图像，i0是入射光强度，i是透射光强度。

(2)将步骤(1)得到的光密度矩阵构建resu-net模型；

光密度矩阵为三行矩阵d＝[dr，dg，db]^t，其中每行对应于一个颜色通道；将光密度矩阵作为模型的输入，构造resu-net架构进行多任务染色分离，如图2所示；resu-net架构由收缩路径，桥接，扩张路径三部分支撑，以完成线性染色颜色矩阵预测，非线性染色颜色矩阵预测和染色浓度预测；其中，收缩路径用于减少特征图的空间维度，同时逐层增加特征图的数量，将输入图像提取为紧凑特征；桥接部分用于连接收缩路径和扩张路径，并实现线性染色颜色矩阵预测功能；扩张路径用于逐步恢复目标的细节和相应的空间维度，右侧的扩张路径将进行上采样，每上采样一次，就与收缩路径对应的通道数相同尺度融合以将输出分别用于染色颜色矩阵和染色浓度矩阵预测。

其中，收缩路径有若干个残差块，每个残差块中，通过反卷积，以将特征映射减少一半；相应地，扩张路径也由对应的残差块组成；在每个残差块之前，存在来自较低级别的特征映射的上采样以及来自相应编码路径的特征映射的级联。残差块解释为：假定一个神经网络单元的输入是x，期望输出是h(x)，另外定义一个残差映射f(x)＝h(x)-x，若把x直接传递给输出，则该神经网络单元要学习的目标就是残差映射f(x)＝h(x)-x，残差学习单元由一系列卷积层和一个捷径组成，输入x通过这个捷径传递给残差学习单元的输出，则残差单元的输出为z＝f(x)+x,z对x的偏导如下：

式中，z对x偏导大于1，在反向传播过程中有效避免了梯度消失的问题；此外每个残差块中都包含批量标准化bn(batchnormalization)和线性整流函数relu(rectifiedlinearunit)，有效加快收敛速度。

(3)对步骤(2)得到的resu-net模型进行训练；

形成的resu-net模型如图3所示，包括先验模型、后验模型和浓度模型；先验模型通过预测每个图像的单个染色颜色矩阵，同时结合染色浓度矩阵来解决非负矩阵因子分解(nmf)问题，而后验模型基于像素级预测每个像素的染色颜色矩阵结合浓度预测模型，能够准确地学习到每种染色独立特征；给定先验染色矩阵，后染色矩阵和共享浓度矩阵，通过将浓度矩阵与先验染色矩阵和后验染色矩阵组合形成两个重建；通过最小化输入图像和每个重建之间的重建损失来训练模型；在先验模型和后验模型预测的分布之间加入库勒巴克-莱布勒(kullback-leibler)约束项，其确保后验模型的预测仅略微偏离先前模型；其中，两个高斯变量间的kl散度如下式：

式中，σ1、σ2、μ1、μ2分别表示先验模型预测和后验模型预测的正态分布标准差与均值；

定义n为每个图像的像素数目，m为每轮图像数目，k表示染色种类，c表示图像通道数，那么得到约束项：

式中，μm,n,k,c、分别表示先验模型预测与后验模型预测正态分布的均值与标准差。下标m、n、k、c分别表示每轮图像数目、图像像素数目、染色种类数目以及图像通道数目序号；

对于染色分离任务，为了检验其分离效果，定义如下损失函数：

式中，表示第m个图像的第n个像素，表示与其对应的预测图像像素。

(4)通过经步骤(3)训练后的resu-net模型进行图像染色分离；

通过resu-net模型从光密度图像中提取特征，提取的特征被传递到各个子模块，这些子模块预测每个像素的染色浓度以及从中采样的一系列高斯分布的参数，参数包括均值和方差；对于图像中每个像素点，对苏木精染色部分，伊红染色部分，背景部分3种情况的每个rgb颜色通道进行预测；通过概率分布直观地表达每个像素点所属区域，以达到染色分离的目的。在实现三种染色情况分离的同时，当图像中出现污渍区域，将表现为三种情况下的低概率事件，此时就能够准确识别出污渍。

下面结合实施例对本发明做进一步说明。

实施例

将原始图像进行光密度空间转换输入到12级架构的resu-net模型中进行多任务染色分离。resu-net模型由收缩路径，桥接，扩张路径三部分支撑以完成线性染色颜色矩阵预测，非线性染色颜色矩阵预测和染色浓度预测。收缩路径由前1-4级网络构成，用来减少特征图的空间维度，同时逐层增加特征图的数量，将输入图像提取为紧凑特征。第5级为桥接部分连接收缩和扩张路径，并实现线性染色颜色矩阵预测功能。扩张路径由6-9级网络构成，用来逐步恢复目标的细节和相应的空间维度，扩张路径将进行上采样，每上采样一次，就与收缩路径对应的通道数相同尺度融合以将输出分别用于染色颜色矩阵和染色浓度矩阵预测。在线性预测过程中，z5特征首先被平展为向量，部署了两个全连接层，中间节点为500，输出节点为9，分别表示三种染色情况r,g,b各通道的染色颜色矩阵。9级的z9特征用于两个子任务：非线性染色颜色预测和染色浓度预测。由10级和11级来预测非线性染色颜色矩阵，而12级将对逐个像素实现染色浓度预测。所有级别都使用残差单元构建，每一级包含两个3×3卷积块和一个标识映射。标识映射连接单元的输入和输出。每个残差块中都包含bn和relu，防止梯度消失且加快收敛速度。网路中具体参数和输出大小如表1所示。

表1

训练过程中，对于线性模型，将对图像高斯分布中随机选择一点进行采样，以形成关于图像中某一区域颜色分布的估计值，而对于非线性模型，对像素高斯分布随机采样，以预测像素级的染色颜色矩阵。如图5所示。对每种情况重复该过程，这些分布被组合以形成估计的染色矩阵。每个分布的均值表示模型分配最大概率的值，而标准偏差描述了模型的准确性。为进一步说明：假设分布代表伊红的红色值，如果标准差很低，那么采样的值很可能接0.5。如果伊红的真实红色值接近0.5，则采样值应导致重建损失减少；因此，如果真正的红色值远离0.5，则采样值将导致非常高的重建损失。如果模型预测大的标准偏差，则采样值将变化很大，因此即使平均值正确也会产生大的重建损失。因此，为了找到最佳值，每个分布的均值必须接近真值，标准偏差必须尽量低。网络权重w采用高斯分布随机初始化。学习率最初定义为0.001，当训练达到250轮时，训练停止。图6给出了训练前后这些分布的示例。

从各种不同的组织类型和两个扫描仪(philips和aperio)中采样，这意味着每个图像的对比度和染色强度不同。所提出的模型基于pytorch深度学习框架实现，并使用nvidiagtx1080tigpu进行训练。数据集由22000个尺寸为128x128像素的rgb组织图片组成。染色分离模型由8个以resu-net结构排列的卷积特征提取层和3个较小的卷积层组成，以输出图像方式和逐像素染色矩阵以及染色浓度矩阵。使用批量大小为64的培训模型大约需要30分钟才能获得良好的结果，尽管可以用更少的成果实现良好的结果。使用adam优化器，使用1-e3的初始学习速率，在每个时代结束时逐渐减少。标准均方误差损失用作重建惩罚项。结果表明可以成功地分离苏木精和曙红染色以及混合rgb图像的背景，同时保留组织的结构。图7第二行显示了着色和分离的苏木精染色。

将本发明的方法与许多传统和最先进的方法进行比较，图8展示了比较结果。mikto的方法用于细胞分割，因此只能用于分离h染色。下面的nmf方法显示了使用传统方法解决nmf的结果；虽然h染色相当明显，但细胞质的结构严重减少，任何污渍都可能导致分离效果差。颜色反卷积(cd)是染色分离的经典方法，需要人工干预才能计算最佳染色基质。用cd方法可以很好地保存结构，但是，不能合理分离背景颜色。sdsa是最近的一种策略，它使用多分辨率染色数据的统计分析来分离污渍。能够看到sdsa成功地分割出h染色，但是当图像中超过两种染色时，该方法失败。图9显示了本发明的方法污渍检测的结果。属于污渍的像素在得到的概率分布中具有低概率；通过选择概率小于预定义阈值λ的像素，可以对这些区域进行识别并进行分割。

本发明提出了一种用于多染色分离的无监督深度学习方法。在此框架内，为图像染色分离部署了不同的子任务。为了克服染色的变化，构造线性-非线性模型，其可以给出像素级的染色采样。为了使损失最小化，使用高斯分布来训练模型，并且还使用该分布来进行染色矩阵预测和污渍分离。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。