脑肿瘤图像分割方法、系统及计算机可读存储介质与流程

本发明涉及生物识别技术领域，特别涉及一种脑肿瘤图像分割方法、系统及计算机可读存储介质。

背景技术：

脑肿瘤是众多高死亡率疾病之一。近年来，脑肿瘤的发生率逐年增加，并且年轻化的趋势明显。在脑部核磁图像中，脑肿瘤图像的分割在脑肿瘤的诊断和治疗中起着十分重要的作用。以往，该过程通常由医生手工完成，然而手工的分割费时费力，且容易引入人的主观误差，例如，脑肿瘤病变区域的边缘存在模糊不清，灰度变化等问题时，对于医生而言，手动定位和勾画脑肿瘤病变区域的过程是一件非常费时费力的工作，且易受医生的主观判断和经验程度不同的影响。因此，针对脑肿瘤图像分割方法变得尤为重要。

现有的脑肿瘤图像分割方法，通常是采用u型卷积神经网络(u-net)对脑肿瘤图像进行训练以实现对脑肿瘤图像的分割，但是采用这种脑肿瘤图像分割方法，无法对脑肿瘤图像中的特征进行有效提取，从而导致对脑肿瘤图像的分割精度较低。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种脑肿瘤图像分割方法，能够较准确地提取脑肿瘤图像中的特征，有效提高了脑肿瘤图像的分割精度。

本发明还提出了一种脑肿瘤图像分割系统。

本发明还提出了一种计算机可读存储介质。

本发明实施例的第一方面，提供了一种脑肿瘤图像分割方法，包括以下步骤：

获取脑肿瘤图像，并对所述脑肿瘤图像进行预处理，得到预处理图像；

构建基于分阶段式残差结构的u-net3+网络模型；其中，所述u-net3+网络模型使用frn标准化层；

输入所述预处理图像至所述u-net3+网络模型中进行训练，得到脑肿瘤分割图像。

本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：本发明实施例的脑肿瘤图像分割方法，通过获取脑肿瘤图像，并对脑肿瘤图像进行预处理，得到预处理图像，再构建基于分阶段式残差结构的u-net3+网络模型，其中，u-net3+网络模型使用frn标准化层，最后输入预处理图像至u-net3+网络模型中进行训练，得到脑肿瘤分割图像。相对于现有技术，本发明实施例的技术方案，能够较准确地提取脑肿瘤图像中的特征，有效提高了脑肿瘤图像的分割精度。

根据本发明的一些实施例，所述获取脑肿瘤图像，并对所述脑肿瘤图像进行预处理，得到预处理图像，包括：

获取脑肿瘤图像，对所述脑肿瘤图像中的多个模态的脑肿瘤数据进行标准化处理，得到多个所述模态的标准化的脑肿瘤数据；

定义若干个标签，并将若干个所述标签划分成三个不同的分割区域；其中，三个所述不同的分割区域包括整体肿瘤区域、肿瘤核心区域和增强肿瘤区域；

将三个所述不同的分割区域以及多个所述模态的标准化的脑肿瘤数据分别进行通道合并，得到合并图像；

裁剪所述合并图像，得到裁剪图像，并对所述裁剪图像进行切片处理，得到预处理图像。

根据本发明的一些实施例，所述构建基于分阶段式残差结构的u-net3+网络模型；其中，所述u-net3+网络模型使用frn标准化层，包括：

构造四层下采样与四层上采样；

采用具有四层所述下采样与四层所述上采样、全尺度跳跃连接和frn标准化层的u-net3+网络结构；

将分阶段式残差结构结合至所述u-net3+网络结构中的编码部分，以构建基于分阶段式残差结构的u-net3+网络模型。

根据本发明的一些实施例，所述分阶段式残差结构包括开始残差块、结束残差块和若干个中间残差块。

根据本发明的一些实施例，所述u-net3+网络结构还包括阈值线性单元激活函数。

根据本发明的一些实施例，所述frn标准化层的计算公式为：

v²＝∑ixi²/n；

其中，所述v表示所述frn标准化层；所述x表示输入值；所述y表示输出值；所述i表示正整数；所述n表示预处理图像的宽×高；所述c表示极小的正常数以防止分母为0；所述β表示可学习的参数；

所述阈值线性单元激活函数的计算公式为：

z＝max(y,τ)＝relu(y-τ)+γ；

其中，所述z表示所述阈值线性单元激活函数；所述y表示所述输出值；所述τ表示可学习的阈值；所述γ表示可学习的参数。

根据本发明的一些实施例，所述输入所述预处理图像至所述u-net3+网络模型中进行训练，得到脑肿瘤分割图像，还包括：

输入所述预处理图像至所述u-net3+网络模型中进行训练，得到训练图像；

对所述u-net3+网络模型中的训练图像进行测试时数据增强，得到脑肿瘤分割图像。

根据本发明的一些实施例，所述对所述u-net3+网络模型中的训练图像进行测试时数据增强，得到脑肿瘤分割图像，包括：

对所述u-net3+网络模型中的训练图像进行测试时，将第一批的测试数据经过折叠、旋转、缩放处理后，生成若干个第二批的测试数据；

将每个所述第二批的测试数据分别输入至所述u-net3+网络模型中，输出得到掩膜；

将所述掩膜进行反向转换，并通过合并每个所述第二批的测试数据，得到脑肿瘤分割图像。

本发明实施例的第二方面，提供了一种脑肿瘤图像分割系统，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述第一方面所述的脑肿瘤图像分割方法。

本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述第一方面所述的脑肿瘤图像分割方法。

本发明的附加方面和/或优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例所提供的脑肿瘤图像分割方法的流程示意图；

图2是本发明一个实施例所提供的分阶段式残差结构的结构示意图；

图3是本发明一个实施例所提供的获取预处理图像的流程示意图；

图4是本发明一个实施例所提供的构建u-net3+网络模型的流程示意图；

图5是本发明一个实施例所提供的u-net3+网络模型的结构示意图；

图6是本发明一个实施例所提供的frn标准化层的计算过程示意图；

图7是本发明一个实施例所提供的获取脑肿瘤分割图像的流程示意图；

图8是本发明一个实施例所提供的测试时数据增强的流程示意图；

图9是本发明另一个实施例所提供的获取脑肿瘤分割图像的流程示意图；

图10是本发明一个实施例所提供的脑肿瘤图像分割系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

参照图1，本发明实施例的第一方面，提供了一种脑肿瘤图像分割方法，包括以下步骤：

步骤s100，获取脑肿瘤图像，并对脑肿瘤图像进行预处理，得到预处理图像；

步骤s200，构建基于分阶段式残差结构的u-net3+网络模型；其中，u-net3+网络模型使用frn标准化层；

步骤s300，输入预处理图像至u-net3+网络模型中进行训练，得到脑肿瘤分割图像。

在本实施例中，获取脑肿瘤图像(例如，从公开数据集中获取脑肿瘤图像)，并对脑肿瘤图像进行预处理，得到预处理图像，例如对脑肿瘤图像进行标准化、裁剪、切片等处理，以便于增强脑肿瘤图像的可检测性和最大限度地简化数据，从而提高特征抽取、图像分割的可靠性；之后构建基于分阶段式残差结构的u-net3+网络模型；其中，u-net3+网络模型使用frn标准化层。具体地，是将frn标准化层代替传统的bn标准化层，这是由于bn标准化层易受批(batch)的影响，而本实施例采用的frn标准化层可以消除这种影响。最后，输入预处理图像至u-net3+网络模型中进行训练，得到脑肿瘤分割图像。

本实施例的分阶段式残差结构(resstage)具体如图2所示。分阶段式残差结构(resstage)的原理是将u-net3+网络划分为不同的阶段，每个阶段均由一个开始残差块，若干个中间残差块、一个结束残差块组成。通过采用分阶段式残差结构(resstage)，使得无论网络的深度如何变化，只要阶段数量不变，主路径上的修正线性单元(relu，rectifiedlinearunit)的数量就不会变化，从而使得信号通过多层网络时减少了许多relu带来的坏影响，同时也得到了relu的非线性好处，加快了网络收敛。

本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：相对于现有技术中，本发明实施例的技术方案，通过将frn标准化层代替传统的bn标准化层，消除了网络对批大小的影响，以对u-net3+网络模型实现了优化；且u-net3+网络模型主要基于分阶段式残差结构，能够较准确地提取脑肿瘤图像中的特征，有效提高了脑肿瘤图像的分割精度。

参照图3，根据本发明的一些实施例，获取脑肿瘤图像，并对脑肿瘤图像进行预处理，得到预处理图像，包括：

步骤s110，获取脑肿瘤图像，对脑肿瘤图像中的多个模态的脑肿瘤数据进行标准化处理，得到多个模态的标准化的脑肿瘤数据；

步骤s120，定义若干个标签，并将若干个标签划分成三个不同的分割区域；其中，三个不同的分割区域包括整体肿瘤区域、肿瘤核心区域和增强肿瘤区域；

步骤s130，将三个不同的分割区域以及多个模态的标准化的脑肿瘤数据分别进行通道合并，得到合并图像；

步骤s140，裁剪合并图像，得到裁剪图像，并对裁剪图像进行切片处理，得到预处理图像。

在本实施例中，通过获取脑肿瘤图像，并对脑肿瘤图像中的多个模态的脑肿瘤数据中的每个模态都进行标准化处理，得到多个模态的标准化的脑肿瘤数据。之后定义若干个标签，并将若干个标签划分成三个不同的分割区域，三个不同的分割区域分别为整体肿瘤区域(wt)、肿瘤核心区域(tc)、增强肿瘤区域(et)。再将三个不同的分割区域以及多个模态的标准化的脑肿瘤数据分别进行通道合并，得到合并图像。之后对合并图像进行裁剪处理，例如裁剪掉合并图像中多余的背景，得到裁剪图像。通过裁剪处理，能够缩小脑肿瘤图像的尺寸大小，节省资源，且减少脑肿瘤图像中的背景对网络的干扰，有利于提高网络分割精度和增强鲁棒性。最后再对裁剪图像进行切片处理，得到预处理图像。在本实施例中，脑肿瘤图像中共有四个模态的脑肿瘤数据。在其他实施例中，预处理图像可以存为npy文件。

参照图4，根据本发明的一些实施例，构建基于分阶段式残差结构的u-net3+网络模型；其中，u-net3+网络模型使用frn标准化层，包括：

步骤s210，构造四层下采样与四层上采样；

步骤s220，采用具有四层下采样与四层上采样、全尺度跳跃连接和frn标准化层的u-net3+网络结构；

步骤s230，将分阶段式残差结构结合至u-net3+网络结构中的编码部分，以构建基于分阶段式残差结构的u-net3+网络模型。

具体参照图5，在本实施例中，分别构造四层下采样与四层上采样，将构造的四层下采样与四层上采样应用于u-net3+网络结构，且u-net3+网络结构中将frn标准化层代替了bn标准化层，使得本实例的u-net3+网络结构包括有四层下采样与四层上采样、全尺度跳跃连接和frn标准化层，再将分阶段式残差结构(resstage)结合至u-net3+网络结构中的编码部分，以构建基于分阶段式残差结构的u-net3+网络模型。相比现有技术中的unet网络模型，本实施例的u-net3+网络模型增加了全尺度跳跃连接，能够促进不同尺度下脑肿瘤图像的特征融合。

通过将分阶段式残差结构(resstage)结合至u-net3+网络结构中的编码部分，即通过将分阶段式残差结构(resstage)加入到u-net3+网络结构的原编码部分中，能够减少由于网络深度的增加而带来的退化问题，并提高u-net3+网络结构中下采样时的特征提取能力。在其他实施例中，分阶段式残差结构(resstage)包括一个开始残差块、一个结束残差块和若干个中间残差块。

根据本发明的一些实施例，u-net3+网络结构还包括阈值线性单元激活函数。

在本实施例中，u-net3+网络结构还包括阈值线性单元(tlu，thresholdlogicunit)激活函数，通过采用frn标准化层和阈值线性单元激活函数，来代替原u-net3+网络结构中的bn标准化层和修正线性单元(relu，rectifiedlinearunit)激活函数，以消除网络对批大小的影响，优化本实施例的u-net3+网络模型。

参照图6，根据本发明的一些实施例，frn标准化层的计算公式为：

v²＝∑ixi²/n；

其中，v表示frn标准化层；x表示输入值；y表示输出值；i表示正整数；n表示预处理图像的宽×高；c表示极小的正常数以防止分母为0；β表示可学习的参数；

阈值线性单元激活函数的计算公式为：

z＝max(y,τ)＝relu(y-τ)+γ；

其中，z表示阈值线性单元激活函数；y表示输出值；τ表示可学习的阈值；γ表示可学习的参数。

在本实施例中，frn标准化层的计算公式为：v²＝∑ixi²/n；其中，n表示预处理图像的宽×高；v的平方表示x(输入值)的均方范数；c表示为极小的正常数以防止分母为0。

由于输入值x指的是一个特征图像的数据，例如本实施例的预处理图像的数据，预处理图像的宽表示为w，预处理图像的高表示为h，它与批大小无关，且本实施例使用阈值线性单元(tlu，thresholdlogicunit)激活函数代替传统的修正线性单元(relu，rectifiedlinearunit)激活函数，其中tlu定义为：z＝max(y,τ)＝relu(y-τ)+γ，故本实施例能够消除批大小对网络的影响。

参照图7，根据本发明的一些实施例，输入预处理图像至u-net3+网络模型中进行训练，得到脑肿瘤分割图像，还包括：

步骤s310，输入预处理图像至u-net3+网络模型中进行训练，得到训练图像；

步骤s320，对u-net3+网络模型中的训练图像进行测试时数据增强，得到脑肿瘤分割图像。

参照图8，在本实施例中，通过对u-net3+网络模型中的训练图像进行测试时数据增强(tta)，使得u-net3+网络模型获得了不确定性评估并有效提升本实施例对脑肿瘤图像的分割精度。

参照图9，根据本发明的一些实施例，对u-net3+网络模型中的训练图像进行测试时数据增强，得到脑肿瘤分割图像，包括：

步骤s321，对u-net3+网络模型中的训练图像进行测试时，将第一批的测试数据经过折叠、旋转、缩放处理后，生成若干个第二批的测试数据；

步骤s322，将每个第二批的测试数据分别输入至u-net3+网络模型中，输出得到掩膜；

步骤s323，将掩膜进行反向转换，并通过合并每个第二批的测试数据，得到脑肿瘤分割图像。

在本实施例中，对u-net3+网络模型中的训练图像进行测试时，需要将一个第一批的测试数据通过折叠、旋转、缩放等处理后，生成若干个第二批的测试数据，例如k个第二批(batch)的测试数据；之后将每个第二批(batch)的测试数据分别输入至u-net3+网络模型中，输出得到掩膜(mask)；再将掩膜(mask)反向转换回去，再通过取平均值或最大值等处理对每个第二批的测试数据进行合并，最终得到脑肿瘤分割图像。本实施例的脑肿瘤分割图像，能够使u-net3+网络模型获得不确定性评估并提高分割精度。

参照图10，本发明实施例的第二方面，提供了一种脑肿瘤图像分割系统，该脑肿瘤图像分割系统6000可以是任意类型的智能终端，如手机、平板电脑、个人计算机等。

根据本发明的一些实施例，该脑肿瘤图像分割系统6000包括：一个或多个控制处理器6001和存储器6002，图10中以一个控制处理器6001为例。

控制处理器6001和存储器6002可以通过总线或其他方式连接，图10以通过总线连接为例。

存储器6002作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及单元，如本发明实施例中的脑肿瘤图像分割系统6000对应的程序指令/单元。控制处理器6001通过运行存储在存储器6002中的非暂态软件程序、指令以及单元，从而执行各种功能应用以及数据处理，即实现上述方法实施例的脑肿瘤图像分割方法。

存储器6002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据程序指令/单元创建的数据等。此外，存储器6002可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器6002可选包括相对于控制处理器6001远程设置的存储器，这些远程存储器可以通过网络连接至该脑肿瘤图像分割系统6000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个单元存储在存储器6002中，当被一个或者多个控制处理器6001执行时，执行上述任意方法实施例中的脑肿瘤图像分割方法。例如，执行以上描述的图1中的方法步骤s100至s300、图3中的方法步骤s110至s140、图4中的方法步骤s210至s230、图7中的方法步骤s310至s320和图9中的方法步骤s321至s323。

本发明实施例的第三方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器6001执行，例如，被图10中的一个控制处理器6001执行，可使得上述一个或多个控制处理器6001执行上述方法实施例中的脑肿瘤图像分割方法，例如，执行以上描述的图1中的方法步骤s100至s300、图3中的方法步骤s110至s140、图4中的方法步骤s210至s230、图7中的方法步骤s310至s320和图9中的方法步骤s321至s323。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。