针对病理图像的语义分割方法和电子设备与流程

本发明涉及图像处理领域，特别是涉及一种针对病理图像的语义分割方法和电子设备。

背景技术：

近年来，深度学习方法在免疫组化染色图像分析领域得到了广泛应用。利用深度学习方法对免疫组化染色图像进行精细的语义分割是对免疫组化染色图像精准定量分析的基础，而定量分析是帮助病理医师做出精准诊断、预后分析的前提。因此，高精度的免疫组化染色图像语义分割网络对于计算机辅助的高效病理诊断系统具有重大意义。

技术实现要素：

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种针对病理图像的语义分割方法和电子设备，可以极大减少传统网络中冗余的参数数量，降低网络训练难度的同时，加快全场免疫组化染色图像的扫描时间；同时，引入深监督技术，使得网络可在多个尺度下充分挖掘免疫组化染色图像中的特征信息。

根据本申请的一个方面，提供了一种针对病理图像的语义分割方法，采用轻量级语义分割网络对病理图像进行语义分割，包括：接收待处理的病理图像；对所述病理图像进行标准化处理；将所述经过标准化处理后的病理图像输入所述轻量级语义分割网络，得到语义类别结果；判断所述语义类别结果是否为多个，若是，则经过非极大值抑制操作后输出语义类别；否则，输出语义类别。

根据本申请的又一方面，提供了一种电子设备，包括处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行所述的针对病理图像的语义分割方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行所述的针对病理图像的语义分割方法。

与现有技术相比，本申请提出了小样本上即可完成训练的，基于深度学习方法的一个语义分割网络，适应于临床精准定量分析的要求，解决了基于深度学习算法的免疫组化染色图像分析方法需要大量训练样本的痛点，扩大了深度学习算法在免疫组化染色图像分析领域的适用范围；提出的语义分割网络架构具有轻量化的特点，其具有较少的参数，可对免疫组化染色图像进行快速扫描快速处理，实现快速病理检测与分析。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是轻量级语义分割网络的训练及检测流程图；

图2是轻量级语义分割网络的检测流程图；

图3是轻量级语义分割网络的训练流程图；

图4是深度学习网络的处理流程图（1）；

图5是深度学习网络的处理流程图（2）；

图6是转换操作示意图；

图7是普通监督方法和深监督方法示意图；

图8是本申请实施例的电子设备框图。

具体实施方式

下面，将参考附图详细描述本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

近年来，基于深度学习的语义分割网络已取得了巨大成功，并有越来越多的语义分割网络架构被提出。但是，当前主流的网络需要大量的训练样本进行训练，为达到较好的性能，需要上千张甚至上万张像素级别标注的训练样本送入网络中进行训练。样本是抽取出来的用来代表总体的一部分单位构成的集合体。样本的大小是指样本容量大小。样本容量是表明一个样本中所包含的单位数。样本的大小一般以30个单位为界，容量超过30的样本称为大样本，容量不超过30的样本称为小样本。

图像的语义分割是将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类。简单来说就是给定一张图片,对图片中的每一个像素点进行分类。传统的语义分割网络并不完全适用于免疫组化染色图像的扫描分割，原因有两点，其一是传统的语义分割网络需要大量的训练样本，不能准确而充分的利用免疫组化染色图像中的关键特征，特别是难以精细的挖掘各个尺度下的共同的语义特征，造成传统语义分割网络需要大量训练样本，鉴于免疫组化染色图像领域，由专业病理医生所标注的像素级别的训练样本极其宝贵，且很多类型的免疫组化染色图像很难获取到，因此床头的语义分割网络难以匹配免疫组化染色图像稀缺的客观实际情况；其二是传统的分割网络参数量大，造成图像病理分析的计算量大，使得全场免疫组化染色图像扫描所需的时间过长，难以满足临床需求。因此，构建一个可通过小样本训练得到的轻量级语义分割网络对于医学图像的研究非常重要。

针对上述技术问题，本申请的构思是提出一种能在小样本上就可充分训练的轻量级语义分割网络，其架构设计更为直接有效，可以极大减少传统网络中冗余的参数数量，降低网络训练难度的同时，加快全场免疫组化染色图像的扫描时间。同时，引入深监督技术，使得网络可在多个尺度下充分挖掘免疫组化染色图像中的特征信息。再者，由于免疫组化染色图像中的背景是复杂而多变的，深度学习网络不必学习背景的特征类型，只对感兴趣的语义类别特征进行学习，对于网络最终的输出结果，各个类别的预测采用像素级非极大值抑制方法得到最优输出。最终，发明的分割网络的精度和泛化能力可达到甚至超越大样本训练出的其他网络的效果。

针对如何在小样本上训练出一个语义分割网络，关键在于如何高效挖掘免疫组化染色图像中的有效特征，由于免疫组化染色图像中所关注的区域具有一定特殊性，其在多个尺度下存在相似的语义表达，结构特征、纹理特征。如肿瘤细胞有大有小，但是结构纹理是相似的。本发明通过深监督的办法完成多个尺度下语义共性特征的提取过程。其次还可以利用多种的数据增强方法，扩充训练数据，增强网络的泛化性能。

针对如何设计轻量级的网络架构，本发明采用一步上采样的方式，避免了繁杂的逐阶段上采样，结合深监督方法，可保证上采样的效果是精细的，同时加入特征转换操作，使得上采样的过程同时完成了参数压缩与去噪的功能。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

一种针对病理图像的语义分割方法，采用轻量级语义分割网络对病理图像进行语义分割，如图1-图3所示，可以包括步骤s100、步骤s200、步骤s300以及步骤s400。

在步骤s100中，接收待处理的病理图像。

待处理的病理图像可以是经过免疫组化染色图像。

在步骤s200中，对所述病理图像进行标准化处理。

由于免疫组化染色图像的染色程度存在差异、数字拍摄时的明亮差异，造成免疫组化染色图像中的不同切片甚至相同切片中相同语义类别的区域像素差异极大，为了消除数据的像素值不一致，采用标准化的图像预处理方法对免疫组化染色图像进行处理是必要的。例如，可以使用主成分分析标准化，使得每个像素的像素值服从标准正态分布，满足统计学的意义。

在步骤s300中，将所述经过标准化处理后的病理图像输入所述轻量级语义分割网络，得到语义类别结果。

轻量级语义分割网络是一种新的、针对病理图像的、基于深度学习的分割网络框架。如图2所示，该网络的训练过程包括：

s310，获取携带有标注信息的小样本图像；也就是经过医生标注的像素级别的训练样本。

s320，对所述小样本图像进行数据增强，扩充为新的样本集；

为了充分利用少量的样本数据，数据扩充至关重要。考虑到免疫组化染色图像的特点，对输入的原始免疫组化染色图像采用-15°至15度的随机旋转；范围为-15%至15%的随机错切，随机扭曲；并使用随机上下翻转，左右翻转。极大的扩充了数据量，同时也保证了所训练网络的泛化性能。当然，数据增强的方法不限于本实施例提及的示例性说明。

s330，对所述样本集中的样本图像进行主成分分析标准化处理。

s340，将经过标准化处理的样本图像输入深度学习网络，深度学习网络输出语义类别结果；所述深度学习网络采用深监督方法计算损失，根据所述阶段1和每个转换层预测结果的损失计算损失平均值；根据所述损失平均值对网络参数进行更新，直到损失函数的输出达到预设值，即得到轻量级语义分割网络。

如图4、图5所示，深度学习网络的处理过程包括：

s341，深度学习网络接收经过标准化处理的样本图像；

s342，分阶段依次对所述样本图像进行特征提取，包括阶段1、阶段2、......、阶段n，每个阶段输出对应特征图；

s343，分别对阶段2、......、阶段n输出特征图进行转换操作，上采样到相同大小，生成对应的转换层1、......、转换层n-1；

s344，将所述转换层1、......、转换层n-1进行堆叠操作，生成第一多尺度融合层；

s345，所述第一多尺度融合层通过跳跃连接与阶段1输出的特征图进行堆叠操作，生成第二多尺寸融合层；

s346，所述第二多尺度融合层经过转换操作，上采样到原样本图像大小，并输出语义类别结果。

概括而言，首先接收主成分分析标准化后的病理图像输入；经过主干网络进行特征提取；各个阶段输出的特征图（阶段1除外）经过转换操作上采样到相同大小；再沿着通道进行堆叠；再通过转换操作上采样到阶段1的特征图大小，并通过跳跃连接与阶段1的特征图进行堆叠；堆叠后的特征再经过转换操作上采样到原图大小，并输出预测结果。

下面详细介绍一下该网络的具体细节与功能。

（1）主干网络：主干网络的功能是对输入图像进行编码，将免疫组化染色图像中关键区域的像素级特征转换为更容易分类的高语义特征。这个过程可以使用重复的卷积+下采样的方式进行；也可使用主流的分类网络，如残差网络等。将相同分辨率的一系列连续的特征图称为一个阶段，并将一个阶段特征图进行转换操作。

（2）转换操作：转换操作的目的是将各个阶段特征图一步直接上采样到同样的大小，并在这个过程中通过压缩通道数进行参数控制，同时使用卷积操作对上采样后的特征图进行去噪，去噪避免了最后的分割结果出现边缘不平滑的现象，并减少了假阴性假阳性预测的出现。

转换操作的流程如图6所示。1×1的卷积的目的是将输入特征图的通道特征进行耦合，使得通道数减半后再上采样，极大的减少了计算存储的消耗。3×3卷积的作用是结合特征图的领域空间特征，消除上采样的影响，并滤除噪声。最后经过批标准化，使得特征图的每个像素值靠近标准正态分布，加速网络的训练。

（3）深监督：如图7所示，传统的监督方法是在网络的最终输出层计算损失，并从后往前进行反向梯度传播，更新网络参数。深监督的核心思想为靠近输入的（浅的）多个尺度上的特征层就进行预测结果输出，将多个预测结果与标签进行比较得到多个损失，总的损失值等于多个损失值的平均。通过此方式，若浅层的语义性较差，则损失也一定程度的增大，可监督与指导浅层的卷积核也能一定程度的提取有意义的语义特征。通过此方式，可监督与指导浅层的卷积核，也能一定程度的提取有意义的语义特征。

本申请将深监督方法应用到免疫组化染色图像的语义分割，计算多个尺度下转换层预测结果的损失，可使得多个尺度下的卷积核能提取多个尺度下的免疫组化染色图像语义特征，这对于免疫组化染色图像的语义分割具有重要作用，这是由于免疫组化染色图像中细胞大小天然是多尺度的，并且免疫组化染色图像的采样过程中可能存在多倍野的问题，造成免疫组化染色图像问题是一个强多尺度问题。因此，通过深监督的方式强制多个尺度下的卷积核学习与提取语义特征有重大现实意义，其能明显提高网络的性能与表现。

（4）跳跃连接：将各个尺度的转换层堆叠后，经过转换操作得到第一多尺度融合层（即图中的多尺度融合层1）。第一多尺度融合层依然缺少阶段1的特征，而阶段1的特征属于浅层特征图，其包含了边界特征，小细胞的特征，这些特征对于精准的免疫组化染色图像语义分割是重要的。采用跳跃连接操作，将阶段1的输出特征图与第一多尺度融合层进行堆叠，生成第二多尺度融合层（即图中的多尺度融合层2），第二多尺度融合层包含了整个网络的特征空间的重要信息，是一个真正的多尺度特征，利用它可精准的给出免疫组化染色图像的预测结果。

在步骤s400中，判断所述语义类别结果是否为多个，若是，则经过非极大值抑制操作后输出语义类别；否则，输出语义类别。

传统的语义分割方法采用多分类模型，对每一个像素的类型需要判断是否为背景，且各个分类器的分类打分总和为1。而本身不需要分割背景，只专注于判断任务所关注的语义类别，采用此方式是由于在免疫组化染色图像中，背景复杂，背景的特征具有极大的差异，网络不易学习到背景的语义特征。因此本申请提出在免疫组化染色图像分割任务中，网络训练阶段，独立进行病理语义类别特征的学习；而在测试阶段，各个语义类别的分类器给出相应的像素级别的语义类别得分，不同于多分类任务各个类别的总分为1，本发明的分类器打分都在0至1之间。打分高者获胜，其余类别的得分压制为0，输出多类别下的唯一可信任的分割结果。

示例性电子设备

下面，参考图8来描述本申请实施例的电子设备。该电子设备10可以是集成有输入装置13的电子设备10，或者是与所述输入装置独立的单机设备，该单机设备可以与所述输入装置进行通信，以从输入装置接收所采集到的输入信号。这该电子设备10可以是集成有输出装置14的电子设备10，或者是与所述输出装置独立的单机设备，该单机设备可以与所述输出装置进行通信，以将处理器11处理的图像输出在输出装置14上。输出装置14可以是显示器，用于显示或呈现病理图像。

如图8所示，电子设备10包括一个或多个处理器11和存储器12。

处理器可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的驾驶行为决策方法以及/或者其他期望的功能。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的针对病理图像的语义分割方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的针对病理图像的语义分割方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。