一种基于神经网络的脑影像分割方法及装置与流程

1.本发明涉及医学图像处理技术领域，尤其涉及一种基于神经网络的脑影像分割方法及装置。


背景技术：

2.人的大脑皮层是人体内最为发达，最为精密的器官，主导机体内一切活动过程，并调节机体与周围环境的平衡，是高级神经活动的基础。在大脑中不同的神经中枢掌管不同的生理活动，如运动性语言中枢受损可患运动性失语症，虽然与发音有关的肌肉未瘫痪，患者却不能说话；若听性觉语言中枢损害可患感觉性失语症，病人能听到别人讲话，但不理解所讲的内容。因此脑区的精确划分对临床医生评估手术风险有重要意义。
3.目前临床上由于脑区分割难度较大，做法较少。普遍的做法是使用经典的图像处理，利用影像预处理、配准及形态学处理来完成，代表技术为freesurfer。但freesurfer需要冗余的表面重建等操作流程，受显卡显存限制，其运行时间较长，例如，采用freesurfer在单台计算机上分割一例脑影像通常需要若干小时。
4.对于现有技术中脑区分割效率较低的缺陷，本发明提供一种脑影像分割方法及装置。


技术实现要素：

5.本发明提供一种脑影像分割方法及装置，用以解决现有技术中脑影像分割效率较低的缺陷。
6.本发明提供一种基于神经网络的脑影像分割方法，包括：
7.将第一脑影像切分为多个子块；其中，所述第一脑影像是标准脑空间下的三维脑影像；
8.将所述第一脑影像的每一子块输入子块相应的卷积神经网络模型，得到子块相应的脑区分割结果；
9.将所述第一脑影像的多个子块的脑区分割结果进行融合，得到所述第一脑影像的脑区分割结果。
10.本发明还提供一种基于神经网络的脑影像分割方法，包括：
11.对第一脑影像进行模糊处理，得到第二脑影像；其中，所述第一脑影像是标准脑空间下的三维脑影像；
12.分别将所述第一脑影像以及所述第二脑影像切分为多个子块；
13.将所述第二脑影像的各子块输入相应的低分辨率卷积神经网络模型，得到所述第二脑影像的各子块的低分辨率脑区分割结果；
14.将所述第一脑影像的各子块及其相应的低分辨率脑区分割结果，输入对应的高分辨率卷积神经网络模型，并融合得到所述第一脑影像的高分辨率脑区分割结果。
15.本发明又提供一种基于神经网络的脑影像分割方法，包括：
16.将原始脑影像进行预处理并与标准脑影像进行刚性配准，得到配准脑影像；
17.将所述配准脑影像输入卷积神经网络进行脑区分割，得到标准脑空间下的分割脑影像；
18.将所述标准脑空间下的分割脑影像逆配准到原始脑空间，得到原始脑影像对应的分割脑影像。
19.本发明提供一种基于神经网络的脑影像分割装置，包括：
20.切分模块，用于将第一脑影像切分为多个子块；其中，所述第一脑影像是标准脑空间下的三维脑影像；
21.分割模块，用于将所述第一脑影像的每一子块输入子块相应的卷积神经网络模型，得到子块相应的脑区分割结果；
22.融合模块，用于将所述第一脑影像的多个子块的脑区分割结果进行融合，得到所述第一脑影像的脑区分割结果。
23.本发明还提供一种基于神经网络的脑影像分割装置，包括：
24.模糊模块，对第一脑影像进行模糊处理，得到第二脑影像；其中，所述第一脑影像是标准脑空间下的三维脑影像；
25.切分模块，用于分别将所述第一脑影像以及所述第二脑影像切分为多个子块；
26.第二分割模块，用于将所述第二脑影像的各子块输入相应的低分辨率卷积神经网络模型，得到所述第二脑影像的各子块的低分辨率脑区分割结果；
27.第一分割模块，将所述第一脑影像的各子块及其相应的低分辨率脑区分割结果，输入对应的高分辨率卷积神经网络模型，并融合得到所述第一脑影像的高分辨率脑区分割结果。
28.本发明又提供一种基于神经网络的脑影像分割装置，包括：
29.处理配准模块，用于将原始脑影像进行预处理并与标准脑影像进行刚性配准，得到配准脑影像；
30.第三分割模块，用于将所述配准脑影像输入卷积神经网络进行脑区分割，得到标准脑空间下的分割脑影像；
31.逆配准模块，用于将所述标准脑空间下的分割脑影像逆配准到原始脑空间，得到原始脑影像对应的分割脑影像。
32.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于神经网络的脑影像分割方法的全部或部分步骤。
33.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于神经网络的脑影像分割方法的全部或部分步骤。
34.本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上述任一种所述基于神经网络的脑影像分割方法的全部或部分步骤。
35.本发明提供的一种基于神经网络的脑影像分割方法及装置实现了以下技术效果：
36.1、提供多种架构的卷积神经网络模型对脑影像进行自动分割，满足用户的差异化
需求；
37.2、在多卷积神经网络的架构中，通过将第一脑影像分块并将第一脑影像的每一子块输入子块相应的卷积神经网络模型进行脑区分割，使得每一卷积神经网络可以对相应子块进行针对性的精准分割，并且由于子块的体积较小，所需的卷积神经网络的层数较少，分割耗时较少；通过将第一脑影像的多个子块的分割结果进行融合，准确地得到了第一脑影像的整体分割结果，实现了脑影像的高效、精确分割。
38.3、标准脑图谱及训练样本可以灵活选择，训练得到的卷积神经网络更适用于目标人群，且脑区分割精度可以灵活选择；
39.4、在基础训练样本的基础上，通过增加覆盖区的方式快捷地获取了模拟病灶样本，提高了卷积神经网络对于异常脑影像中病灶区域的分割精度。
附图说明
40.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1是本发明提供的一种基于神经网络的脑影像分割方法的流程示意图；
42.图2是本发明提供的另一种基于神经网络的脑影像分割方法的流程示意图；
43.图3是本发明提供的又一种基于神经网络的脑影像分割方法的流程示意图；
44.图4是本发明提供的一种基于神经网络的脑影像分割方法中卷积神经网络模型的结构示意图示例；
45.图5是本发明提供的一种基于神经网络的脑影像分割方法中脑区分割过程示意图之一；
46.图6是本发明提供的一种基于神经网络的脑影像分割方法中脑区分割过程示意图之一；
47.图7是本发明提供的一种基于神经网络的脑影像分割装置的结构示意图；
48.图8是本发明提供的电子设备的结构示意图。
49.图9是使用本发明一个实施例的脑影像分割方法对一个真实脑影像进行分割的结果。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.下面结合图1-图8描述本发明的一种基于神经网络的脑影像分割方法及装置。图1是本发明提供的一种基于神经网络的脑影像分割方法的流程示意图，如图1所示，该方法包括：
52.s11、将第一脑影像切分为多个子块；其中，所述第一脑影像是标准脑空间下的三
维脑影像；
53.具体地，本发明对三维脑影像进行脑区分割，用于高效、准确地确定出三维脑影像中每一像素点的脑分区标签。
54.第一脑影像是标准脑空间下的三维脑影像，即，在标准脑坐标系下，配准到标准脑影像后的三维脑影像。标准脑影像是指统计获取的平均脑，例如，使用多张相同分辨率的头部影像(通常1*1*1mm3)进行平均，最终结果裁取平均的大脑区域得到标准脑影像(即去掉头部影像中的脖子等区域，将大脑区域放至正中央)。标准脑影像可以是bordmann图谱，talairach脑影像，mni305脑影像，wholebrain脑影像，voxel-man脑影像，brainweb脑影像等等。具体的标准脑影像可以灵活选择或统计生成，例如根据脑分区精度(脑分区标签数量)，目标人群(肤色、国别、性别、年龄段等)类型等进行选择或统计生成。
55.将脑影像都配置于标准脑空间下，进行姿态、尺寸的统一，使得下文中的每一卷积神经网络都只需要学习特定位置脑区的特征，并处理特定位置的局部脑影像，提升脑图分割效率。根据预设切分策略，将标准脑空间下的第一脑影像切分为多个子块。预设的切分策略例如，按照预设步长沿标准脑脑空间坐标系的轴向移动立方体切块，逐步切分出多个子块，当然也可以是移动长方体等形状的切块，逐步切分出多个子块。切分子块的目的在于减少每个卷积神经网络需要处理的像素数，相应减少卷积神经网络模型层数，加快模型训练过程中的收敛速度，在模型应用阶段也可以有效减少脑区分割的耗时，降低对显卡显存的要求。可以理解的是，为保证得到第一脑影像的完整脑区分割结果，需要保证第一脑影像的每一像素，至少存在于一个子块中，具体可以通过限制预设步长实现。将脑影像切分为多个子块，用于分别输入子块位置相应的卷积神经网络模型进行处理。
56.s12、将所述第一脑影像的每一子块输入子块相应的卷积神经网络模型，得到相应的脑区分割结果；
57.具体地，本发明中脑影像的每一个子块对应特定的卷积神经网络模型，子块与卷积神经网络的对应关系例如，每一子块分别对应一个卷积神经网络，又例如，具有某一相同坐标属性的子块输入同一个卷积神经网络模型(例如，将脑影像中某一局部范围内各相邻的子块输入同一个卷积神经网络，又例如，通过区分子块中像素横坐标所在的区间，将左脑中的子块输入一个卷积神经网络模型，将右脑中的子块输入另一个卷积神经网络模型)。将第一脑影像的每一子块分别输入该子块相应的卷积神经网络模型中，对该子块进行脑区分割，得到该子块对应的脑区分割结果。本发明中的脑区是指针对脑功能划分的区域(例如初级运动皮层、体感联合皮层、前运动皮层、初级视皮层等)，相应地，脑区分割结果中包含该子块中每一像素对应的脑区分类标签，考虑到脑影像中可能包含无效区域(例如肿瘤像素、等颅骨像素、出血区像素)，无效区域并不对应实际意义上的脑区，可以将其对应的脑区分类标签设置为与背景像素的脑区分类标签相同，例如设置为“0”。
58.卷积神经网络模型为预先训练好的，具体地，可以通过如下方式获取：首先获取脑影像样本及其脑区分类参考标签，可以直接获取现有的脑影像样本及脑区分类参考标签，也可以通过专家对脑影像样本进行专门的标注，给出脑影像样本中各区域的脑区分类参考标签。标签的数量可以根据分类精度灵活地设置，例如设置为125类标签。脑影像样本及其相应的脑区分类参考标签同样被切分为多个子块样本以及每一子块样本对应的子块分割结果(参考分类标签)，然后分别用于训练每一子块样本相应的卷积神经网络。
59.s13、将所述第一脑影像的多个子块的分割结果进行融合，得到所述第一脑影像的融合分割结果。
60.具体地，第一脑影像的每一子块只包含第一脑影像的部分像素，相应的，子块的分割结果也仅包含第一脑影像中的局部分割结果，需要对各子块的分割结果进行融合，由于各相邻子块可能存在重叠区域，融合过程中需要确定重叠区域的像素对应的融合标签。
61.本实施例中第一脑影像是标准脑空间下的三维脑影像，使得第一脑影像与卷积神经网络的训练样本处于统一的脑空间下，具备分块、脑区分割的基础；通过将第一脑影像的每一子块输入子块相应的卷积神经网络模型进行脑区分割，使得每一卷积神经网络可以对相应子块进行针对性的精准分割，并且由于子块体积较小，所需的卷积神经网络的层数较少，分割耗时较少；通过将第一脑影像的多个子块的分割结果进行准确地融合，得到了第一脑影像的整体分割结果，实现了脑影像的高效快速分割。
62.基于上述任一实施例，在一个实施例中，所述第一脑影像的每一子块对应一个卷积神经网络模型。
63.具体的每一位置的子块都对应一个卷积神经网络模型，可以处理相应位置的脑影像数据，可以提升脑区分割速度以及精度。
64.基于上述任一实施例，在一个实施例中，所述卷积神经网络具体为u-net网络或全卷积神经网络。
65.具体地，u-net属于一种卷积神经网络，包含用于特征提取的收缩路径以及使用上采样的扩张路径，在上采样阶段还添加了特征提取(下采样)阶段提取到的特征，允许更多的原图像纹理的信息在高分辨率的layers(隐含层)中进行传播，u-net可以使用很少的训练数据就得到精确的分割结果。全卷积神经网络将普通卷积神经网络中的全连接分类层替换为卷积层，对深层特征进行上采样回复到原图像尺寸，在像素级别对每一个像素点进行分类。
66.本实施例中通过u-net网络或全卷积神经网络可以提升脑影像的分割精度。
67.图2是本发明提供的另一种基于神经网络的脑影像分割方法的流程示意图，如图2所示，该方法包括：
68.s21、对第一脑影像进行模糊处理，得到第二脑影像；其中，所述第一脑影像是标准脑空间下的三维脑影像；
69.具体地，模糊处理可以降低脑影像的分辨率，本发明中低分辨率的脑影像可以快速分割出低分辨率分割结果，其低分辨率分割结果可以用于提高高分辨率脑影像的分割准确度。模糊处理过程并不改变脑影像的大小，仅仅是降低图像质量，使得第二脑影像的像素更多地参考周围像素值。具体的模糊处理过程可以使用高斯核对高分辨率的第一脑影像进行高斯分布加权处理，得到相应的低分辨率的第二脑影像。
70.进一步地，为维持模糊处理后的第二脑影像的大小不变，且保持脑影像边缘像素的质量，可以在第一脑影像的外缘通过镜像对称的方式补充像素，然后再进行模糊处理。
71.需要说明的是本发明中的“高分辨率”、“低分辨率”并不意味着脑影像的分辨率处于某个具体的分辨率数值区间，本发明中“高分辨率”与“低分辨率”是相对的概念，即高分辨率的脑影像比低分辨率的脑影像具有更高的图像质量，脑影像中包含更多的细节特征。
72.s22、分别将所述第一脑影像以及所述第二脑影像切分为多个子块；
73.具体地，第一脑影像、第二脑影像都进行了分块，预设切分策略可以是第一脑影像、第二脑影像采取统一的具体切分策略，此时，第一脑影像中的各子块与第二脑影像中的各子块是一一对应的，对应的块具有相同的位置及大小；预设切分策略也可以是第一脑影像、第二脑影像采取不同的具体切分策略，此时，第一脑影像与第二脑影像的子块数量可能不同，相应地，方案所需的低分辨率卷积神经网络模型数量与所需的高分辨率卷积神经网络模型的数量可能不同。具体的切分策略可以参照前述实施例，此处不再赘述。
74.s23、将所述第二脑影像的各子块输入相应的低分辨率卷积神经网络模型，得到所述第二脑影像的各子块的低分辨率脑区分割结果；
75.具体地，第二脑影像的子块与低分辨率卷积神经网络模型的对应关系例如，每一子块分别对应一个低分辨率卷积神经网络，又例如，具有某一相同坐标属性的子块输入同一个低分辨率卷积神经网络模型(例如，将脑影像中某一局部范围内各相邻的子块输入同一个卷积神经网络，又例如，通过区分子块中像素横坐标所在的区间，将左脑中的子块输入一个低分辨率卷积神经网络模型，将右脑中的子块输入另一个低分辨率卷积神经网络模型)。将第二脑影像的每一子块输入相应的低分辨率卷积神经网络模型进行脑区分割，得到各子块的低分辨率脑区分割结果。需要说明的是“低分辨率卷积神经网络”中的“低分辨率”并不是对卷积神经网络属性的限定，而是相对于下文的“高分辨率卷积神经网络”作出概念上的区分，本发明中的“低分辨率卷积神经网络”是利用分辨率相对较低的训练样本训练得到的，训练样本包括该位置对应的低分辨率脑影像子块样本，以及子块样本对应的低分辨率分割结果。子块样本包含一系列三维像素点，对应的低分辨率分割结果包含每一像素点对应的脑区分类参考标签。考虑到脑影像中可能包含无效区域(例如肿瘤像素、等颅骨像素、出血区像素)，无效区域并不对应实际意义上的脑区，可以将其对应的脑区分类标签设置为与背景像素的脑区分类标签相同，例如设置为“0”。
76.s24、将第一脑影像的各子块及其相应的低分辨率脑区分割结果，输入对应的高分辨率卷积神经网络模型，并融合得到所述第一脑影像的高分辨率脑区分割结果。
77.具体地，第二脑影像是第一脑影像的低分辨率脑影像，第二脑影像的低分辨率脑区分割结果可以用于第一脑影像的脑区分割过程。
78.可以将第二脑影像的各子块的低分辨率脑区分割结果直接作为第一脑影像的各子块相应的低分辨率脑区分割结果，此情况下需保证第一脑影像与第二脑影像按照了相同的切分策略进行切分，即二者的各子块是一一对应的；还可以将第二脑影像的各子块的低分辨率脑区分割结果进行融合，然后从第二脑影像的整体融合脑区分割结果中确定出第一脑影像的各子块相应的低分辨率脑区分割结果，此情况下需第一脑影像与第二脑影像可以按照相同的切分策略进行切分，也可以按照不同的切分策略进行切分。融合过程即确定每一像素点的综合脑区分类标签，例如对于重叠像素点，根据像素点在各子块中的脑区分割标签确定融合后的脑区分割标签，通过子块的脑区分割结果融合，可以提升子块边缘的分割精度。
79.类似地，第一脑影像的子块与高分辨率卷积神经网络模型的对应关系例如，每一子块分别对应一个高分辨率卷积神经网络，又例如，具有某一相同坐标属性的子块输入同一个高分辨率卷积神经网络模型(例如，将脑影像中某一局部范围内各相邻的子块输入同一个卷积神经网络，又例如，通过区分子块中像素横坐标所在的区间，将左脑中的子块输入
一个高分辨率卷积神经网络模型，将右脑中的子块输入另一个高分辨率卷积神经网络模型)，将每一子块以及每一子块相应的低分辨率脑区分割结果输入该子块对应的高分辨率卷积神经网络，得到该子块的高分辨率脑区分割结果，然后将各子块的脑区分割结果进行融合，得到第一脑影像的高分辨率脑区分割结果。
80.本发明中的“高分辨率卷积神经网络”是利用分辨率相对较高的训练样本训练得到的，训练样本包括该位置对应的高分辨率脑影像子块样本、子块样本对应的低分辨率分割结果，以及子块样本对应的高分辨率分割结果。子块样本包含一系列三维像素点，对应的低/高分辨率分割结果包含每一像素点对应的低/高分辨率脑区分类参考标签。
81.本实施例中将第一脑影像进行模糊得到第二脑影像，得到分辨率不同但脑区分割结果存在关联的两组脑影像，通过将第二脑影像的各子块输入子块相应的卷积神经网络进行快速分割，得到了低分辨率的脑区分割结果，由于每一子块都对应有预先训练的网络层数较少的卷积神经网络，因而可以快速分割子块；通过将低分率的脑区分割结果输入第一脑影像中相应子块的高分辨率卷积神经网络，为高分辨率的第一脑影像的精准分割提供了有力支持，本发明整体上实现了第一脑影像的快速、准确分割。
82.基于上述任一实施例，在一个实施例中，所述第二脑影像的每一子块对应一个低分辨率卷积神经网络模型，所述第一脑影像的每一子块对应一个高分辨率卷积神经网络模型，
83.具体地，每一位置的子块都对应一个卷积神经网络模型，可以处理相应位置的脑影像数据，可以提升脑区分割速度以及精度。
84.基于上述实施例，在一个实施例中，所述将所述第二脑影像的各子块输入相应的低分辨率卷积神经网络模型，得到所述第二脑影像的各子块的低分辨率脑区分割结果；将所述第一脑影像的各子块及其相应的低分辨率脑区分割结果，输入对应的高分辨率卷积神经网络模型，并融合得到所述第一脑影像的高分辨率脑区分割结果，包括：
85.将所述第二脑影像的每一子块输入子块所在位置对应的低分辨率卷积神经网络，得到子块相应的低分辨率脑区分割结果；
86.将所述第二脑影像的多个子块的低分辨脑区分割结果进行融合，得到所述第二脑影像的脑区分割结果；
87.将所述第一脑影像的每一子块，以及子块在所述第二脑影像的脑区分割结果中的相应的低分辨脑区分割结果，输入子块所在位置对应的高分辨率卷积神经网络，得到子块相应的高分辨率脑区分割结果；
88.将所述第一脑影像的多个子块的高分辨脑区分割结果进行融合，得到所述第一脑影像的脑区分割结果。
89.具体地，低分辨率的第二脑影像的每一子块都分别通过相应的卷积神经网络进行脑区分割，然后将分割结果进行融合。在第二脑影像的整体分割结果中，取出相应子块的融合后的脑区分割结果(即相当于，按照第一脑影像的切分策略，对第二脑影像的整体分割结果进行再次切分，得到第一脑影像子块相应的低分辨率脑区分割结果)，然后与第一脑影像中相应子块一起输入到子块对应的高分辨率卷积神经网络进行脑区分割，得到该子块的高分辨率脑区分割结果，然后将各子块的高分辨率脑区分割结果进行融合，得到第一脑影像的高分辨率脑区分割结果。由于每一高/低分辨率卷积神经网络都对脑影像的局部子块进
行处理，数据处理量较少，无需较深的模型层数，其训练过程、分割应用过程都可以高效进行。同时，通过子块的脑区分割结果融合，可以提升子块边缘的分割精度，通过低分辨率的脑区分割结果可以提升高分辨率脑影像的分割精度。
90.基于上述任一实施例，在一个实施例中，所述融合过程通过如下方式实现：
91.遍历脑影像，确定当前待融合像素点，以及所述当前待融合像素点在各子块中的脑区分割标签；
92.根据所述当前待融合像素点在所述脑影像的各子块中的分割标签，通过多数投票的方式，将分割标签中数量最多的分割标签确定为所述待融合像素点的融合标签；
93.重复上述过程，直至所述脑影像中所有像素点融合完毕。
94.具体地，遍历脑影像逐一确定像素点的融合标签，由于一个像素点可能出现在不同的子块中，也就有多个分割标签。对于当前待融合像素点，确定其在各子块中的脑区分割标签(若不在某子块中，则忽略该子块)，对当前待融合像素点的脑区分割标签进行统计，通过多数投票的方式确定其融合标签。例如，当前待融合像素点a出现在6个子块中，脑区分割标签分别为31、32、32、31、33、31，标签“31”的票数最多，将“31”确定为当前待融合像素点a的融合标签。进一步地，若当前待融合像素点的分割标签中数量最多的分割标签不止一项，则根据其周边像素的融合标签，从其多项数量最多的分割标签中确定出其融合标签。具体可以对周围已确定出融合标签的像素进行统计，将该像素多项数量最多的标签中在周围像素的融合标签中出现频次更高的标签确定为该像素的融合标签。举例说明如下：当前待融合像素点的“32”标签和“33”标签的数量均为3(数量最多)，且统计确定出其周围26个像素中有10个像素已经确定出了融合标签，这10个像素中，融合标签为“32”的有3个，融合标签为“33”的有1个，则根据上述周围像素点的融合标签，可以确定该当前待融合像素点的融合标签为“32”。
95.本实施例中通过对分割结果进行融合，准确地确定了脑影像中像素点的标签。
96.基于上述任一实施例，在一个实施例中，所述多个子块中每一子块与相邻子块的重叠区域之和占所述每一子块的比例大于第一比例阈值。
97.具体地，多个子块中相邻的子块存在重叠区域，以提升子块边缘区域中像素点的脑区分割精度，通过设置预设切分策略使得每一子块与多个相邻子块的重叠区域之和占该子块的比例大于第一比例阈值，第一比例阈值根据需求设置，例如设置为50％。可以理解的是第一比例阈值越大，脑区分割精度越高。可以理解的是，此处的重叠区域之和是指：确定该子块与每一相邻子块的重叠区域，对各重叠区域取并集。
98.本实施例中通过设置第一比例阈值，提升了各子块的边缘区域分割精度。
99.基于上述任一实施例，在一个实施例中，所述高分辨率卷积神经网络以及所述低分辨率卷积神经网络具体为u-net网络；或，
100.所述高分辨率卷积神经网络以及所述低分辨率卷积神经网络具体为全卷积神经网络。
101.具体地，高分辨率卷积神经网络以及低分辨率卷积神经网络可以是u-net网络，u-net属于一种卷积神经网络，包含用于特征提取的收缩路径以及使用上采样的扩张路径，在上采样阶段还添加了特征提取(下采样)阶段提取到的特征，允许更多的原图像纹理的信息在高分辨率的layers中进行传播，u-net可以使用很少的训练图像就得到精确的分割结果。
高分辨率卷积神经网络以及低分辨率卷积神经网络还可以是全卷积神经网络，全卷积神经网络将普通卷积神经网络中的全连接分类层替换为卷积层，对深层特征进行上采样回复到原图像尺寸，便于在像素级别对每一个像素点进行分类。
102.本实施例中通过u-net网络或全卷积神经网络可以提升脑影像分割精度。
103.基于上述实施例，在一个实施例中，方法还包括：对原始脑影像进行预处理并与标准脑影像进行配准，得到标准脑空间下的所述第一脑影像。
104.具体地，原始脑影像是基于mri医学影像(例如t1、t2、flair、t1ce等图像)获取的待处理三维脑影像，由于人为、设备、环境等因素，原始脑影像中可能存在噪声干扰，需要对原始脑影像进行预处理，预处理例如图像降噪、去除冗余区域(脖子)等。第一脑影像是标准脑空间(坐标系)下的三维脑影像，将待处理的原始脑影像与标准脑空间(坐标系)下的标准脑影像进行配准，即可得到第一脑影像。可以理解的是，该配准过程为刚性配准，具体可以包括平移、旋转缩放等操作。同理，上述卷积神经网络/低分辨率卷积神经网络/高分辨率卷积神经网络的训练样本中的子块也是配准到标准脑空间后的脑影像样本中切分出的子块，以保证每一子块所在位置对应的卷积神经网络的训练样本子块和待进行脑区分割的子块具有相似的结构，保证分割精度。
105.本实施例中，将原始脑影像进行预处理并配准到标准脑空间下得到第一脑影像，使得第一脑影像与卷积神经网络的训练样本处于统一的脑空间下，具备分块、脑区分割的基础，保障了脑影像分割准确率。
106.基于上述实施例，在一个实施例中，所述预处理至少包括以下之一：
107.降噪处理，偏移场校正，灰度归一化。
108.具体地，图像在采集和传输时可能会有像素灰度的突变，为了减少这种突变对后续处理带来的影响，对此，可以对三维脑影像进行降噪处理。例如，使用各向异性曲率平滑滤波器对三维脑影像进行降噪处理，此滤波器可以在平滑图像噪声的同时尽可能地保留原始影像的特征信息，并且，各向异性曲率平滑滤波器相较于高斯平滑滤波，滤波速度也更快。降噪处理过程需要参考周边像素对当前像素进行处理，与前文的模糊处理过程不同的是，降噪处理的参考像素范围更小，参考周边像素的各权重之间方差较小，其效果在于尽量消除异常像素点对影像特征的影响，同时尽可能地保留原始影像的特征信息。
109.此外，在图像采集时，扫描仪中的患者位置，扫描仪本身磁场强度不均匀等因素会导致医学图像上的亮度差异，这些亮度差异会严重影像分割精度。对此，可以对脑影像进行偏移场的矫正，避免对分割精度的干扰。
110.还可以将脑影像进行灰度的归一化，将不同设备采集的影像灰度全部缩放至0～1，以方便后续步骤应用。
111.本实施例中通过降噪处理、偏移场校正、灰度归一化提升了数据处理效率以及脑影像分割精度。
112.基于上述任一实施例，在一个实施例中，所述对原始脑影像进行预处理并与标准脑影像进行配准，得到标准脑空间下的所述第一脑影像，包括：
113.利用所述标准脑影像的三维区域范围，切割配准到标准脑空间后的配准脑影像，得到所述第一脑影像。
114.具体地，标准脑影像包括脑区mask，脑区mask示出了标准脑影像的三维区域范围，
利用脑区mask对配准到标准脑空间后的配准脑影像进行切割，得到第一脑影像。第一脑影像相对于原始脑影像去除了脑区mask之外的区域，根据具体选用的脑区mask不同，可以达到“去除脖子”、“去除头骨”、“去除下颌骨”等效果。此外，在脑区分割时，脑区mask之外的像素点会给予单独的标签，该单独的标签代表无效区域，例如标签为“0”。
115.本实施例中去除了原始脑影像中的非感兴趣区域，提升了数据处理效率，改善了脑影像脑区分割的视觉效果。
116.基于上述任一实施例，在一个实施例中，方法还包括：
117.将所述第一脑影像的脑区分割结果逆配准到原始脑空间，得到原始脑影像的脑区分割结果。
118.具体地，第一脑影像是配准到标准脑空间后的三维脑影像，将第一脑影像进行脑区分割后，还可以进一步根据其配准过程中的配准关系，将第一脑影像的脑区分割结果逆配准到原始脑空间(坐标系)，得到脑区分割后的原始脑影像。
119.本实施例中得到了原始脑空间下原始脑影像的脑区分割结果，便于医生直观的观察，为诊疗过程提供信息支持。
120.图3是本发明提供的又一种基于神经网络的脑影像分割方法的流程示意图，如图3所示，该方法包括：
121.s31、将原始脑影像进行预处理与标准脑影像进行刚性配准，得到配准脑影像；
122.s32、利用卷积神经网络对所述配准脑影像进行脑区分割，得到标准脑空间下的分割脑影像；
123.s33、将所述标准脑空间下的分割脑影像逆配准到原始脑空间，得到原始脑影像对应的分割脑影像。
124.具体地，原始脑影像是基于mri医学影像(例如t1、t2、flair、t1ce等图像)获取的待处理三维脑影像，由于人为因素、设备、环境等因素，原始脑影像中可能存在噪声干扰，需要对原始脑影像进行预处理，例如图像降噪、偏移场校正等。
125.将预处理后的原始脑影像与标准脑空间(坐标系)下的标准脑影像进行配准，配准过程使得原始脑影像与标准脑影像具有尽可能大的相似度，便于卷积神经网络在此基础上进行脑区分割。配准过程中循环调整配准参数，通过平移旋转、缩放等刚性配准方式使得预处理后的脑影像的脑部区域与标准脑影像的相似度达到相似度阈值。然后用标准脑影像的脑区mask截取配准后的脑影像得到配准脑影像，配准脑影像是标准脑空间下的去除了冗余区域的三维脑影像，将配准脑影像输入卷积神经网络进行自动分割，得到分割脑影像，分割脑影像中包含每一像素点的脑区分类标签。
126.卷积神经网络是预先由训练样本及样本标签进行模型训练得到的，可以理解的是，训练样本同样需要配准到标准脑空间，预训练好的卷积神经网络可以用于对待分割的脑影像进行脑区分割得到具体的脑区分割结果，卷积神经网络例如全卷积神经网络、u-net网络等。
127.得到分割脑影像后，根据前述配准过程中的配准关系，将分割脑影像逆配准到原始脑空间(坐标系)，得到原始脑影像对应的分割脑影像，便于医生观察。
128.本实施例中通过预处理降低了噪声干扰，去除了冗余数据；通过将将原始脑影像配准到标准脑空间，使得原始脑影像与卷积神经网络模型的训练样本处于统一基础上，使
得卷积神经网络模型具备迁移基础，能够对脑影像进行自动分割；通过将配准脑影像的脑区分割结果逆配准到原始脑空间得到原始脑空间下的分割脑影像，便于医生直观的观察，为诊疗过程提供信息支持。
129.基于上述任一实施例，在一个实施例中，所述卷积神经网络的训练样本中包括扩增样本，所述扩增样本是在基础训练样本的基础上通过增加覆盖区的方式得到的模拟病灶样本。
130.具体地，目前市面上的自动脑区分割均针对正常人脑进行分割，对于异常脑中的病灶区域分割准确度较低。对此，可以在训练样本中增加病灶样本，考虑到正常人的三维脑影像相对容易获取，而异常的脑影像数据较少且难以获取，本实施例在基础训练样本的基础上增加覆盖区，通过增加的覆盖区模拟病灶区域(例如肿瘤区、出血区)，并为覆盖区设置相应的参考标签，例如与脑组织外的无效区域设置为相同的参考标签(即无效区)。
131.本实施例中通过在基础训练样本的基础上增加覆盖区的方式快捷地获取了模拟病灶样本，提高了卷积神经网络对于异常脑影像中病灶区域的分割精度。
132.下面通过一个优选的实施例对本发明提供的基于神经网络的脑影像分割方法进行说明。
133.step 1、获取原始脑影像并预处理。
134.1.1根据病人头部影像(如t1影像)，生成原始脑影像，原始脑影像通常包含脖子等组织，分辨率不一，例如0.5*0.5*0.8mm3等，图像尺寸也各不相同，例如512*512*256等，这样的原始影像不便于统一处理。
135.1.2将原始脑影像进行预处理，预处理可以选自一下处理内容。
136.(1)对原始脑影像进行去噪处理。具体的，可以使用各向异性曲率平滑滤波器，此滤波器可以在平滑图像噪声的同时尽可能地保留原始影像的特征信息。
137.图像在采集和传输时可能会有像素灰度的突变，为了减少这种突变对后续处理带来的影响，采用各向异性曲率平滑滤波器进行平滑处理。相较于高斯平滑滤波，此滤波器速度大幅度上升，同时更好的保留了图像细节。
138.(2)对去噪处理后的影像进行偏移场的矫正。在图像采集时，扫描仪中的患者位置，扫描仪本身等因素会导致mri图像上的亮度差异。
139.(3)对前面步骤得到的影像进行灰度的归一化，将不同设备采集的影像灰度全部缩放至0～1，以方便后续步骤应用。
140.step 2、将预处理后的原始脑影像配准到标准脑空间。
141.2.1获取标准脑影像。
142.标准脑影像is可以根据实际需求选取，例如选取125类分区的bordmann脑影像，尺寸为256*256*192，分辨率1*1*1mm3。
143.标准脑指统计获取的平均脑，获取方式如下：使用多张相同分辨率的脑影像(通常1*1*1mm3)进行平均，最终结果裁取平均的脑区(即去掉脖子区域，将脑区放至正中央)。
144.2.2将预处理后的原始脑影像配准到标准脑空间。
145.配准过程为刚性配准，配准过程包括旋转、平移、缩放等步骤。此处特征提取选取基于灰度的特征提取，相似性评价指标的公式如下：
[0146][0147]
优化策略选择梯度下降法，以此快速找到最优解。公式中x是一种泛指，指标准脑影像和配准过程中的中间图像中对应像素点的灰度。公式中的ω0指的是标准脑影像图像尺寸范围。步骤完成后，得到配准后的配准脑影像i1以及由原始脑影像i0配准至标准脑影像is的配准关系(即转换矩阵)t。
[0148]
2.3使用标准脑的脑区mask对配准后的脑影像。
[0149]
对i1使用标准脑的脑区mask进行切分，得到第一脑影像，保证后续分割步骤处理的影像只包含脑区，以提高分割精度。
[0150]
step3、脑影像脑区分割/模型训练过程。
[0151]
(1)使用单个卷积神经网络对脑影像进行脑区分割。
[0152]
参照图4，以单个u-net网络进行脑影像分割进行说明，如图3所示，u-net包含4层结构(仅为实例，也可以为5层或更多层)，配准后的影像在输入模型后经过三次下采样、三次上采样，最终经过一次1
×1×
1卷积输出到标签场。三次下采样包括两次3
×3×
3的卷积操作及一次2
×2×
2的池化操作组成；三次采样部分由一次2
×2×
2的反卷积操作及两次3
×3×
3的卷积操作组成。在上采样阶段还通过跳跃连接结构添加了特征提取(下采样)阶段提取到的特征，提升脑区分割精度。
[0153]
需要说明的是，上述卷积过程不改变图像尺寸，具体可以通过在子块边缘通过镜像对称的方式补充像素然后进行卷积操作，其目的在于保持图像尺寸，便于在像素级别上对每一像素进行脑区分类。此外，最终标签场的输出类别数与选择的图谱有关，以brodmann图谱为例，其最终输出的标签为125类。
[0154]
对于卷积神经网络的模型训练的过程，需要在模型训练阶段与脑影像一起输入参考的脑区分类标签，用于对模型进行训练，本领域技术人员结合上述内容可以理解其具体训练过程，此处不在再赘述。
[0155]
(2)使用多个卷积神经网络对脑影像进行脑区分割。
[0156]
参照图5，以使用多个u-net网络进行脑影像分割进行说明，如图5所示，相应需要27个u-net(3
×3×
3，也可以是其他立方数，图中未示出具体的数量)，首先将原始影像切分为27个互相重叠的子块，对各个子块使用不同的u-net网络进行脑区分割，得到各子块的脑区分割结果，然后将各子块的脑区分割结果进行融合，对于重叠区域，通过多数投票的方式确定融合标签。
[0157]
对于各卷积神经网络的模型训练的过程，需要在模型训练阶段与子块脑影像一起输入子块的脑区分类参考标签，用于对模型进行训练，本领域技术人员结合上述内容可以理解其具体训练过程，此处不在再赘述。
[0158]
(3)使用双分辨率级联的架构对脑影像进行脑区分割。
[0159]
对待分割的第一脑影像进行模糊处理得到低分辨率的第二脑影像，第二脑影像参照上述架构(2)中多个卷积神经网络进行处理，得到第二脑影像的脑区分割结果。
[0160]
对于高分辨率的第一脑影像，如图6所示，使用相同的切分策略进行分块，对于每一子块，将子块以及子块对应的第二脑影像的低分辨率脑区分割结果输入子块相应的(高分辨率)卷积神经网络模型，得到子块对应的(高分辨率)脑区分割结果，然后将各子块的脑
区分割结果进行融合，得到第一图谱的最终脑区分割结果，融合过程同上。
[0161]
对于高分辨率的各卷积神经网络的模型训练的过程，需要在模型训练阶段与子块脑影像一起输入子块对应的低分辨率脑区分割结果以及子块的(高分辨率)脑区分类参考标签，用于对模型进行训练，本领域技术人员结合上述内容可以理解其具体训练过程，此处不在再赘述。
[0162]
step4、逆配准。
[0163]
根据配准过程中的配准关系t，将第一脑影像的脑区分割结果逆配准到原始脑空间，得到原始脑影像对应的脑区分割结果。
[0164]
本实施例通过单独的卷积神经网络对脑影像进行了自动脑区分割，通过多个卷积神经网络通过切块、融合的方式对脑图进行了高效分割，同时减少了训练开销。通过双分辨率级联的卷积神经网络进一步提升了脑影像分割精度。
[0165]
使用本实施例的脑影像分割方法对一个真实脑影像进行分割的结果参见附图9。
[0166]
下面对本发明提供的基于神经网络的脑影像分割装置进行描述，下文描述的基于神经网络的脑影像分割装置与上文描述的基于神经网络的脑影像分割方法可相互对应参照。
[0167]
图7是本发明提供的一种基于神经网络的脑影像分割装置的结构示意图，如图7所示，装置包括：
[0168]
切分模块71，用于将第一脑影像切分为多个子块；其中，所述第一脑影像是标准脑空间下的三维脑影像；
[0169]
分割模块72，用于将所述第一脑影像的每一子块输入子块所在位置对应的卷积神经网络模型，得到子块相应的脑区分割结果；
[0170]
融合模块73，用于将所述第一脑影像的多个子块的脑区分割结果进行融合，得到所述第一脑影像的脑区分割结果。
[0171]
基于上述实施例，在一个实施例中，所述卷积神经网络具体为u-net网络或全卷积神经网络。
[0172]
本发明还提供另一种基于神经网络的脑影像分割装置，装置包括：
[0173]
模糊模块，对第一脑影像进行模糊处理，得到第二脑影像；其中，所述第一脑影像是标准脑空间下的三维脑影像；
[0174]
切分模块，用于分别将所述第一脑影像以及所述第二脑影像切分为多个子块；
[0175]
第二分割模块，用于将所述第二脑影像的各子块输入相应的低分辨率卷积神经网络模型，得到所述第二脑影像的各子块的低分辨率脑区分割结果；
[0176]
第一分割模块，将所述第一脑影像的各子块及其相应的低分辨率脑区分割结果，输入对应的高分辨率卷积神经网络模型，并融合得到所述第一脑影像的高分辨率脑区分割结果。
[0177]
基于上述实施例，在一个实施例中，所述第二分割模块用于：
[0178]
将所述第二脑影像的每一子块输入子块所在位置对应的低分辨率卷积神经网络，得到子块相应的低分辨率脑区分割结果；
[0179]
将所述第二脑影像的多个子块的低分辨脑区分割结果进行融合，得到所述第二脑影像的脑区分割结果；
[0180]
所述第一分割模块用于：
[0181]
将所述第一脑影像的每一子块，以及子块在所述第二脑影像的脑区分割结果中的相应的低分辨脑区分割结果，输入子块所在位置对应的高分辨率卷积神经网络，得到子块相应的高分辨率脑区分割结果；
[0182]
将所述第一脑影像的多个子块的高分辨脑区分割结果进行融合，得到所述第一脑影像的脑区分割结果。
[0183]
基于上述任一实施例，在一个实施例中，所述融合过程通过如下方式实现：
[0184]
遍历脑影像，确定当前待融合像素点，以及所述当前待融合像素点在各子块中的脑区分割标签；
[0185]
根据所述当前待融合像素点在所述脑影像的各子块中的分割标签，通过多数投票的方式，将分割标签中数量最多的分割标签确定为所述待融合像素点的融合标签；
[0186]
重复上述过程，直至所述脑影像中所有像素点融合完毕。
[0187]
基于上述任一实施例，在一个实施例中，所述多个子块中每一子块与相邻子块的重叠区域之和占所述每一子块的比例大于第一比例阈值。
[0188]
基于上述任一实施例，在一个实施例中，所述高分辨率卷积神经网络以及所述低分辨率卷积神经网络具体为u-net网络；或，
[0189]
所述高分辨率卷积神经网络以及所述低分辨率卷积神经网络具体为全卷积神经网络。
[0190]
基于上述任一实施例，在一个实施例中，装置还包括前序模块，用于对原始脑影像进行预处理并与标准脑影像进行配准，得到标准脑空间下的所述第一脑影像。
[0191]
基于上述任一实施例，在一个实施例中，所述预处理至少包括以下之一：
[0192]
降噪处理，偏移场校正，灰度归一化。
[0193]
基于上述任一实施例，在一个实施例中，所述前序模块，包括裁剪单元，用于利用所述标准脑影像的三维区域范围，切割配准到标准脑空间后的配准脑影像，得到所述第一脑影像。
[0194]
基于上述任一实施例，在一个实施例中，装置还包括逆配准模块，用于将所述第一脑影像的脑区合分割结果逆配准到原始脑空间，得到原始脑影像的脑区分割结果。
[0195]
本发明还提供又一种基于神经网络的脑影像分割装置，装置包括：
[0196]
处理配准模块，用于将原始脑影像进行预处理并与标准脑影像进行刚性配准，得到配准脑影像；
[0197]
第三分割模块，用于将所述配准脑影像输入卷积神经网络进行脑区分割，得到标准脑空间下的分割脑影像；
[0198]
逆配准模块，用于将所述标准脑空间下的分割脑影像逆配准到原始脑空间，得到原始脑影像对应的分割脑影像。
[0199]
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各提供的基于神经网络的脑影像分割方法的全部或部分步骤。
[0200]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0201]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各提供的基于神经网络的脑影像分割方法的全部或部分步骤。
[0202]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于神经网络的脑影像分割方法的全部或部分步骤。
[0203]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0204]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0205]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。