三维脑中线分割方法、装置、设备、存储介质及程序产品

1.本技术涉及图像处理技术领域，特别涉及一种三维脑中线分割方法、装置、设备、存储介质及程序产品。


背景技术：

2.在医疗领域中，脑中线是分隔左右半脑的解剖结构，如何快速且准确的进行脑中线识别，在临床及科研等领域都具有很重要的作用。
3.相关技术中通常会基于二维脑部图像来识别脑中线，然而，这样识别的脑中线是二维平面的一条曲线，仅根据一条曲线无法知道大脑内部的具体解剖结构，不利于确定用户的大脑状态，因此，如何准确预测三维脑中线对于医生后续诊断和治疗具有重要的作用。


技术实现要素：

4.本技术提供了一种三维脑中线分割方法、装置、设备、存储介质及程序产品。所述技术方案如下：
5.根据本技术的一个方面，提供了一种三维脑中线分割方法，所述方法包括：
6.通过特征编码器对样本三维脑部图像进行特征编码，得到样本编码特征图；
7.基于所述样本编码特征图进行病灶区域预测、脑中线分割预测以及理想脑中面预测，得到病灶区域预测结果、脑中线分割预测结果以及理想脑中面预测结果；
8.基于所述病灶区域预测结果、所述脑中线分割预测结果以及理想脑中面预测结果，联合训练所述特征编码器。
9.根据本技术的另一方面，提供了一种三维脑中线分割装置，所述装置包括：
10.特征编码模块，用于通过特征编码器对样本三维脑部图像进行特征编码，得到样本编码特征图；
11.多任务分割预测模块，用于基于所述样本编码特征图进行病灶区域预测、脑中线分割预测以及理想脑中面预测，得到病灶区域预测结果、脑中线分割预测结果以及理想脑中面预测结果；
12.训练模块，用于基于所述病灶区域预测结果、所述脑中线分割预测结果以及理想脑中面预测结果，联合训练所述特征编码器。
13.根据本技术的另一方面，提供了一种计算机设备，计算机设备包括：处理器和存储器，存储器存储有计算机程序，计算机程序由处理器加载并执行以实现如上述方面所述的三维脑中线分割方法。
14.根据本技术的另一方面，提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序由处理器加载并执行以实现如上所述的三维脑中线分割方法。
15.根据本技术的另一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述
三维脑中线分割方法。
16.本技术实施例提供的技术方案带来的有益效果至少包括：
17.提供了一种三维脑中线分割方式：通过对样本三维脑部图像进行特征编码，并分别基于特征编码结果(样本编码特征图)进行多任务预测(病灶区域预测、脑中线分割预测以及理想脑中面预测)，由于病灶区域会对脑中线结构造成侧向偏移、理想脑中面与三维脑中线所在位置相近，因此，通过额外增加病灶区域预测任务和理想脑中面预测任务，可以提高特征编码网络对于脑中线分割预测中相关特征的特征提取准确性，从而进一步提高脑中线分割预测任务的准确性。
附图说明
18.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本技术一个示例性实施例示出的计算机系统的示意图；
20.图2示出了本技术一个示例性实施例提供的三维脑中线分割方法的流程图；
21.图3示出了本技术另一个示例性实施例提供的三维脑中线分割方法的流程图；
22.图4示出了本技术一个示例性实施例示出的模型训练过程的示意图；
23.图5示出了本技术另一个示例性实施例提供的三维脑中线分割方法的流程图；
24.图6示出了本技术一个示例性实施例示出的距离图和权重图的示意图；
25.图7示出了本技术另一个示例性实施例示出的模型训练过程的示意图；
26.图8示出了本技术另一个示例性实施例提供的三维脑中线分割方法的流程图；
27.图9示出了本技术另一个示例性实施例示出的模型训练的过程示意图；
28.图10示出了本技术另一个示例性实施例提供的三维脑中线分割方法的流程图；
29.图11示出了本技术一个示例性实施例示出的脑中线偏移量的确定过程示意图；
30.图12是本技术一个示例性实施例提供的三维脑中线分割装置的结构框图；
31.图13是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
32.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
33.首先，对本技术实施例中涉及的名词进行简单介绍。
34.脑中线：是分割左右半脑的解剖结构，也可以称为实际脑中线，在二维脑部图像中，该脑中线为一条曲线，在三维脑部图像中，该脑中线是分割左右半脑的一个曲面，为左右半脑的交集区域。
35.理想脑中面：解剖意义上的理想的正中矢面，用于大致将大脑分为两个对称的半球，在三维脑部图像中为一个平面。
36.三维脑中线偏移量：三维空间中实际脑中线(曲面)与理想脑中面(平面)之间的最大垂直距离。在临床场景中，三维脑中线偏移量可以反映脑部血肿、肿瘤、脓肿等等颅内占
位性病变对脑中线结构侧向移位的程度，是颅内压升高的重要参考，对于衡量病情发展具有重要意义，可以与其他参数一起用于确定神经外科干预的紧迫性，并预测占位性病变患者的临床结果。因此在医学影像分析软件中集成基于计算机断层扫描图像(computed tomography，ct)的三维脑中线偏移量计算模块，对于给医生提供参考信息、辅助医生诊断具有重要的作用。
37.在本技术中，将着重介绍。如何分割得到三维脑部图像对应的三维脑中线，以便基于该三维脑中线结合理想脑中面，确定三维脑部图像对应的脑中线偏移量，以便为临床场景提供脑部病情的参考依据。
38.图1是本技术一个示例性实施例示出的计算机系统的示意图。如图1所示，该计算机系统包括第一设备110和第二设备120。
39.第一设备110是训练用于分割三维脑中线的分割模型的训练设备，在分割模型训练完成之后，第一设备110可以将训练完成的分割模型发送至第二设备120，以便在第二设备120中部署分割模型。第二设备120是使用分割模型进行三维脑中线分割的设备。
40.其中，第一设备110进行模型训练的过程为：将样本三维脑部图像111输入特征编码网络112中，得到特征编码网络112输出的样本编码特征图113，基于样本编码特征图113进行多任务预测：病灶区域预测、脑中线分割预测以及理想脑中面预测，进而通过多任务联合训练特征编码网络112。
41.可选的，上述第一设备110和第二设备120可以是具有机器学习能力的计算机设备，比如，该计算机设备可以是终端或服务器。
42.可选的，上述第一设备110和第二设备120可以是同一个计算机设备，或者，第一设备110和第二设备120也可以是不同的计算机设备。并且，当第一设备110和第二设备120是不同的设备时，第一设备110和第二设备120可以是同一类型的设备，比如第一设备110和第二设备120可以都是服务器；或者，第一设备110和第二设备120也可以是不同类型的设备。上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、车载终端、智能电视、可穿戴设备、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
43.请参考图2，其示出了本技术一个示例性实施例提供的三维脑中线分割方法的流程图，以该方法应用于图1所示的第一设备110进行举例说明，该方法包括：
44.步骤201，通过特征编码器对样本三维脑部图像进行特征编码，得到样本编码特征图。
45.由于三维脑中线是脑部三维结构中的曲面，则为了可以提取出三维脑中线，在模型训练之前，需要预先准备若干样本三维脑部图像，以便在后续模型训练过程中，可以从样本三维脑部图像中学习三维脑中线所在区域特征，进而从中分割出样本三维脑中线。
46.其中，三维脑中线分割模型可以包括两部分：特征编码器和特征解码器。特征编码器用于特征提取，特征解码器用于特征重构。在一种可能的实施方式中，首先将样本三维脑
部图像输入特征编码器，由特征编码器基于样本三维脑部图像进行特征编码(特征提取)，得到样本编码特征图，以便后续特征编码器基于该样本编码特征图进行特征重构。
47.可选的，针对第一设备获取样本三维脑部图像的方式：第一设备可以获取多帧连续的二维脑部图像，将多帧连续的二维脑部图像重构为三维脑部图像，将该三维脑部图像确定为样本三维脑部图像。其中，二维脑部图像为脑部的ct图像、脑部的核磁共振成像(magnetic resonance imaging，mri)图像，或者其他类型的脑部扫描图像等。
48.可选的，特征编码网络可以使用3d unet网络进行特征提取；特征编码网络输出96通道的样本编码特征图，再由后续各个分支进行特征解码。
49.步骤202，基于样本编码特征图进行病灶区域预测、脑中线分割预测以及理想脑中面预测，得到病灶区域预测结果、脑中线分割预测结果以及理想脑中面预测结果。
50.为了提高模型对三维脑中线的分割预测效果，在模型训练过程中引入多个特定预测任务以联合训练分割模型。在一种可能的实施方式中，除了设置有脑中线分割任务，还设置有病灶区域预测任务以及理想脑中面预测任务，以便基于该三个特定预测任务联合训练分割模型。对应当第一设备获取到特征编码网络输出的样本编码特征图后，分别基于同一样本编码特征图进行病灶区域预测、脑中线分割预测以及理想脑中面预测，以得到病灶区域预测结果、脑中线分割预测结果以及理想脑中面预测结果，使得后续可以基于三个任务的预测结果训练特征编码器。
51.其中，脑中线分割预测结果是对三维脑部图像中三维脑中线的预测结果，本实施例中，将脑中线分割预测任务转化为左右半脑分割任务，对应脑中线分割预测结果是对三维脑部图像中左半脑区域的预测结果、右半脑区域的预测结果以及背景区域的预测结果，其中，可以基于左半脑区域的预测结果和右半脑区域的预测结果确定出三维脑部图像中的三维脑中线。
52.可选的，病灶预测结果指对三维脑部图像中病灶区域的预测结果，理想脑中面预测结果是对三维脑部图像中理想脑中面的预测结果。
53.由于(实际)三维脑中线是三维脑部图像中分割左右半脑的结构，则三维脑中线分割模型(分割模型)在进行三维脑中线分割预测任务中，更需要关注三维脑部图像中左右半脑的交集区域，因此，为了提高特征编码网络对于左右半脑交集区域重要特征的提取准确性，额外设置有病灶区域预测任务以及理想脑中面预测任务，其中，病灶区域预测任务用于预测三维脑部图像中的病灶区域所在位置，由于大脑中的病灶区域会对脑中线结构造成侧向偏移，则准确预测病灶区域有助于预测三维脑部图像中的三维脑中线所在位置；而理想脑中面预测任务用于预测三维脑部图像中理想脑中面所在位置，由于大脑的理想脑中面是将大脑分割为左右半球的平面结果，与三维脑中线所在位置相近，则准确预测理想脑中面也有助于预测三维脑部图像中三维脑中线所在位置。
54.步骤203，基于病灶区域预测结果、脑中线分割预测结果以及理想脑中面预测结果，联合训练特征编码器。
55.在一种可能的实施方式中，当获取到病灶区域预测结果、脑中线分割预测结果以及理想脑中面预测结果后，就可以基于病灶区域预测结果、脑中线分割预测结果以及理想脑中面预测结果，联合训练特征编码器，以使得特征编码器提取更多与脑中线分割预测的相关特征，从而进一步提高三维脑中线的分割准确性。
56.其中，联合训练特征编码器指的是通过多任务预测结果训练多任务共享的特征编码器，以提高特征编码器的特征提取准确性。本实施例中，三个预测任务(病灶区域预测任务、脑中线分割预测任务以及理想脑中面预测任务)共享同一特征编码器输出的特征编码图，则在联合训练过程中，通过获取三个预测任务的任务预测损失之和，即病灶区域预测任务的任务预测损失、脑中线分割预测任务的任务预测损失以及理想脑中面预测任务的任务预测损失之和，共同训练特征编码器。
57.综上所述，本技术实施例中提供了一种三维脑中线分割方式：通过对样本三维脑部图像进行特征编码，并分别基于特征编码结果(样本编码特征图)进行多任务预测(病灶区域预测、脑中线分割预测以及理想脑中面预测)，由于病灶区域会对脑中线结构造成侧向偏移、理想脑中面与三维脑中线所在位置相近，因此，通过额外增加病灶区域预测任务和理想脑中面预测任务，可以提高特征编码网络对于脑中线分割预测中相关特征的特征提取准确性，从而进一步提高脑中线分割预测任务的准确性。
58.本实施例中，多个预测任务可以共享特征编码器输出的样本编码特征图，分别由不同特征解码器对样本编码特征图进行特征重构，以分别得到不同预测任务对应的预测结果。
59.请参考图3，其示出了本技术另一个示例性实施例提供的三维脑中线分割方法的流程图，以该方法应用于图1所示的第一设备110进行举例说明，该方法包括：
60.步骤301，通过特征编码器对样本三维脑部图像进行特征编码，得到样本编码特征图。
61.其中，步骤301的实施方式可以参考步骤201，本实施例在此不做赘述。
62.步骤302，基于样本编码特征图进行病灶区域预测，得到第一样本概率图，第一样本概率图用于表征样本三维脑部图像中每个像素点属于病灶区域的概率。
63.在得到样本编码特征图后，分为三个分支：病灶区域分割分支、脑中线分割分支以及理想脑中面定位分支，各个分支分别基于样本编码特征图进行特征重构，以输出各个分支对应的预测结果。
64.针对病灶区域分割分支，在一种可能的实施方式中，基于样本编码特征图进行病灶区域预测，预测样本三维脑部图像中每个像素点属于病灶区域的概率，从输出单通道的第一样本概率图。与三维脑部图像对应，第一样本概率图也为三维图像，且第一样本概率图中的每个概率值表示样本三维脑部图像中的像素点属于病灶区域的概率，概率值越大，则表示该像素点位于样本三维脑部图像中病灶区域的概率越大。
65.可选的，病灶区域预测中的病灶区域可以是脑部血肿区域，也可以是脑部肿瘤区域，也可以是脑部脓肿区域等，本实施例对病灶区域不构成限定，仅需要保证病灶区域是颅内占位性病变区域即可(由于颅内占位性病变区域会影响大脑中的三维脑中线结构)。
66.步骤303，基于样本编码特征图进行脑中线分割预测，得到第二样本概率图，第二样本概率图用于表征样本三维脑部图像中每个像素点分别属于左半脑区域、右半脑区域以及背景区域的概率。
67.针对脑中线分割预测分支，由于三维脑中线是分隔左右半脑的解剖结构，则准确预测出样本三维脑部图像中的左半脑区域、右半脑区域和背景区域，就可以基于左半脑区域和右半脑区域，确定出三维脑中线。因此，在一种可能的实施方式中，在脑中线分割预测
分支中，基于样本编码特征图进行左半脑区域预测、右半脑区域预测以及背景区域预测，以确定样本三维脑部图像中每个像素点分别属于左半脑区域、右半脑区域以及背景区域的概率，得到三通道的第二样本概率图。与样本三维脑部图像对应，第二样本概率图也为三维图像，且第二样本概率图中的三个通道分别对应左半脑区域、右半脑区域以及背景区域，三个通道的概率值分别表示样本三维脑部图像中的像素点属于左半脑区域的概率、属于右半脑区域的概率以及属于背景区域的概率，且概率值越大，表示该像素点位于左半脑区域或右半脑区域或背景区域的概率越大。
68.步骤304，基于样本编码特征图进行理想脑中面预测，得到样本预测热图，样本预测热图用于指示理想脑中面在样本三维脑部图像中的位置。
69.针对理想脑中面预测分支中，基于样本编码特征图进行理想脑中面预测，预测样本三维脑部图像中理想脑中面所在位置，以得到样本预测热图。与样本三维脑部图像对应的是，样本预测热图也是三维图像，用于表征理想脑中面在样本三维脑部图像中的位置。
70.步骤305，基于第一样本概率图、第一标注分割图像、第二样本概率图、第二标注分割图像、样本预测热图和样本标注热图，联合训练特征编码网络。
71.为了可以实现对三个预测任务的监督训练，在样本数据准备阶段，还需要分别标注三个任务分支的标准分割结果。其中，标准分割结果包括：第一标注分割图像、第二标注分割图像和样本标注热图，其中，第一标注分割图像中标注有样本三维脑部图像中的病灶区域，第二标注分割图像中标注有样本三维脑部图像中的左半脑区域、右半脑区域和背景区域，样本标注热图中标注有样本三维脑部图像中的理想脑中面。以便后续可以基于标准分割结果和预测分割结果对模型进行监督训练。
72.由于多个预测任务共享同一特征编码网络输出的样本编码特征图，因此，在一种可能的实施方式中，当获取到多任务预测结果后，就可以基于第一样本概率图、第一标注分割图像、第二样本概率图和第二标注分割图像、样本预测热图和样本标注热图，联合训练特征编码网络，以提高特征编码网络的特征提取准确性。
73.可选的，在上述三个预测分支中，可以由不同的特征解码器分别对样本编码特征图进行解码，也就是说，通过第一特征解码器对样本编码特征图进行病灶区域预测，得到第一样本概率图，通过第二特征解码器对样本编码特征图进行脑中线分割预测，得到第二样本概率图，通过第三特征解码器对样本编码特征图进行理想脑中面预测，得到样本预测热图。可选的，由于不同特征编码器所实现的预测任务不同，则第一特征编码器、第二特征编码器和第三特征编码器的编码器结构存在差异，开发人员可以基于需求设置其具备不同数量的卷积层。
74.如图4所示，其示出了本技术一个示例性实施例示出的模型训练过程的示意图。将样本三维脑部图像401输入特征编码网络402中，得到特征编码网络402输出的样本编码特征图403。在病灶区域预测分支中，基于样本编码特征图403进行病灶区域预测，得到表征病灶区域的第一样本概率图404；在脑中线分割预测分支中，基于样本编码特征图403进行脑中线分割预测，得到表征左半脑区域、右半脑区域以及背景区域的第二样本概率图406；在理想脑中面预测分支中，基于样本编码特征图403进行理想脑中面预测，得到表征理想脑中面所在位置的样本预测热图408；进而基于第一样本概率图404和第一标注分割图像405、第二样本概率图406和第二标注分割图像407、样本预测热图408和样本标注热图409，训练特
征编码网络402。
75.本实施例中，通过对样本编码特征图进行病灶区域预测，得到第一样本概率图，通过对样本编码特征图进行脑中线分割预测，得到第二样本概率图，以及通过对样本编码特征图进行理想脑中面预测，得到样本预测热图；并基于第一样本概率图、第二样本概率图和样本预测热图和标准分割结果之间的差异训练特征编码网络，从而提高特征编码网络在三个任务中的特征提取准确性，进而辅助脑中线分割任务的预测。
76.在通过三个预测任务监督训练特征编码网络时，可以分别计算三个预测任务对应的分割损失，进而确定三个分割任务的分割总损失，以联合训练特征编码网络，实现对特征编码网络的多任务监督过程。
77.在图3的基础上，如图5所示，步骤305可以包括步骤501～步骤504。
78.步骤501，基于第一样本概率图和第一标注分割图像，确定第一分割损失。
79.为了实现对病灶区域分割任务的监督，在一种可能的实施方式中，通过比较病灶区域预测结果-第一样本概率图，以及病灶区域标注结果-第一标注分割图像之间的差异，确定出第一分割损失以监督训练特征编码网络。
80.在一个示例性的例子中，第一分割损失的计算方式可以如公式(1)所示。
[0081][0082]
其中，l
ih
表示第一分割损失(病灶区域预测损失)，y表示第一标注分割图像中的各个像素点的概率值，表示第一样本概率图中各个像素点对应的概率值。
[0083]
步骤502，基于第二样本概率图和第二标注分割图像，确定第二分割损失。
[0084]
由于将脑中线分割任务转换为左半脑区域预测、右半脑区域预测和背景区域预测任务，则为了实现对脑中线分割任务的监督，在一种可能的实施方式中，需要比较各个脑部区域预测结果-第二样本概率图，与标注脑部区域预测结果-第二标注分割图像之间的差异，确定出第二分割损失以监督训练特征编码网络。
[0085]
可选的，第二分割损失可以使用第二样本概率图和第二标注分割图像之间的交叉熵损失函数。
[0086]
由于脑中线分割任务的目的是为了准确分割出三维脑中线，而三维脑中线是左右半脑的交集区域，则为了使得特征编码网络更加关注样本三维图像中的脑中线区域，提升脑中线附近的分割精度，在第二分割损失计算过程中引入距离相关的权重系数，对应在一个示例性的例子中，步骤502可以包括步骤502a～步骤502c。
[0087]
步骤502a，获取第二样本概率图中各个像素点对应的样本损失权重。
[0088]
为了进一步提升脑中线附近的分割精度，则在计算第二分割损失时，需要为越靠近脑中线的像素点分配更高的样本损失权重，以便特征编码网络更加关注脑中线区域的分割损失。因此，在一种可能的实施方式中，首先获取第二样本概率图中各个像素点对应的样本损失权重，以便在后续损失计算过程中，引入各个像素点对应的样本损失权重。
[0089]
由于样本损失权重与像素点到脑中线的距离相关，对应需要首先计算出样本三维图像对应的样本距离图，进而基于该样本距离图，确定各个像素点对应的样本损失权重，对应在一个示例性的例子中，步骤502a还可以包括步骤502a1～步骤502a3。
[0090]
步骤502a1，基于第二标注分割图像，确定标注三维脑中线。
[0091]
为了计算各个像素点到脑中线的距离，对应需要确定出样本三维脑部图像中的标注三维脑中线位置。对应在一种可能的实施方式中，可以直接根据第二标注分割图像，确定出标注三维脑中线。
[0092]
可选的，标注三维脑中线也可以是人工预先标注好的。
[0093]
步骤502a2，确定第二样本概率图像中各个像素点到标注三维脑中线的样本距离。
[0094]
当确定出标注三维脑中线后，可以分别计算第二样本概率图像中各个像素点到标注三维脑中线的样本距离，由于第二样本概率图像与样本三维脑部图像对应，也即可以分别计算出样本三维脑部图像中各个像素点到标注三维脑中线的样本距离。
[0095]
步骤502a3，基于样本距离，确定各个像素点对应的样本损失权重，样本损失权重与样本距离呈负相关关系。
[0096]
为了可以实现样本距离越大(像素点距离标注三维脑中线越远)，对应样本损失权重越小的目的，在一个示例性的例子中，设计样本损失权重的计算方式可以如公式(2)所示。
[0097]
w＝exp((c-d)/c)
ꢀꢀꢀꢀꢀꢀ
(2)
[0098]
其中，w表示样本损失权重，c为固定值，表示大脑外的点，可以设置c＝200mm，d表示样本距离。由公式(2)可知，当样本距离越大(像素点距离标注三维脑中线越远)，则(c-d)越小，(c-d)/c也越小，对应w越小，反之，若样本距离越小(像素点越靠近三维脑中线)，则(c-d)越大，(c-d)/c也越大，对应w越大；从而实现样本损失权重与样本距离呈负相关关系的目的。
[0099]
在一种可能的实施方式中，当获取到样本三维脑部图像或第一样本概率图像中各个像素点对应的样本距离后，即可以将该样本距离带入公式(2)，以计算得到各个像素点对应的样本损失权重。
[0100]
如图6所示，其示出了本技术一个示例性实施例示出的距离图和权重图的示意图。以二维图像为例对距离图和权重图进行说明，原图601为样本二维脑部图像，计算各个像素点距离脑中线的距离，可以得到距离图602，基于距离图602计算样本损失权重，得到权重图603，权重图603中靠近脑中线的区域点的权重比较大。
[0101]
步骤502b，基于样本损失权重、第二样本概率图和第二标注分割图像，确定脑部区域分割损失。
[0102]
与直接使用第二样本概率图和第二标注分割图像之间的交叉熵损失不同的是(交叉熵损失中各个像素点的权重相同)，本实施例在计算分割损失时，为不同像素点按照其距离脑中线的距离，分配有不同的样本损失权重，以使得特征编码网络更关注中线区域像素点的损失。在一种可能的实施方式中，第一设备可以根据样本损失权重、第二样本概率图和第二标注分割图像，确定脑部区域分割损失。
[0103]
在一个示例性的例子中，脑部区域分割损失的计算方式可以如公式(3)所示。
[0104][0105]
其中，l
hemi
表示脑部区域分割损失，wi表示第i个像素点对应的样本损失权重，yi表示第二标注分割图像中第i个像素点对应的概率值，表示第二样本概率图像中第i个像素点对应的概率值，n表示样本三维图像中的像素点个数。
[0106]
步骤502c，基于脑部区域分割损失，确定第二分割损失。
[0107]
可选的，当获取到脑部区域分割损失后，可以直接将该脑部区域分割损失确定为第二分割损失，以参与后续模型训练过程。
[0108]
为了进一步提高脑中线预测的准确性，除了间接比较左半脑区域、右半脑区域和背景区域的预测准确性之外，还设置有脑中线分割损失，直接根据预测脑中线和标注脑中线确定。对应在另一个示例性的例子中，步骤502还可以包括步骤502d～步骤502g。
[0109]
步骤502d，对第二样本概率图进行索贝尔算子处理，确定样本三维脑部图像对应的样本左半脑轮廓和样本右半脑轮廓。
[0110]
由于三维脑中线是左右半脑的分隔区域，则理论上左半脑轮廓和右半脑轮廓的交界处即为三维脑中线，对应在一种可能的实施方式中，可以通过索贝尔算子对第二样本概率图进行处理，确定出样本三维脑部图像对应的样本左半脑轮廓和样本右半脑轮廓，进而基于样本左半脑轮廓和样本右半脑轮廓确定出样本三维脑中线。
[0111]
可选的，由于第二样本概率图为三维图像，则索贝尔算子也应该使用3dsobel算子。
[0112]
步骤502e，基于样本左半脑轮廓和样本右半脑轮廓，确定样本三维脑中线。
[0113]
可选的，对样本左半脑轮廓和样本右半脑轮廓求交集，可以确定得到样本三维脑中线。在一个示例性的例子中，确定样本三维脑中线的计算公式可以如公式(4)所示。
[0114]
ml＝conv3d(brain
l
)*conv3d(brainr)
ꢀꢀꢀꢀꢀꢀ
(4)
[0115]
其中，ml表示样本三维脑中线，conv3d(brain
l
)表示对第二样本概率图中的左半脑区域进行索贝尔算子处理，得到的样本左半脑轮廓；conv3d(brainr)表示对第二样本概率图中的右半脑区域进行索贝尔算子处理，得到的样本右半脑轮廓。由公式(4)可知，对样本左半脑轮廓和样本右半脑轮廓相乘，可以得到样本三维脑中线。
[0116]
步骤502f，基于样本三维脑中线和标准三维脑中线，确定脑中线分割损失。
[0117]
在一种可能的实施方式中，采用样本三维脑中线和标准三维脑中线之间的均方差作为脑中线分割损失，对三维脑中线的分割结果进行监督。在一个示例性的例子中，脑中线分割损失的计算公式可以如公式(5)所示。
[0118][0119]
其中，l
ml
表示脑中线分割损失，y
ml
表示标准三维脑中线，表示样本三维脑中线，n表示像素点的个数。
[0120]
步骤502g，基于脑部区域分割损失和脑中线分割损失，确定第二分割损失。
[0121]
为了从脑部区域分割和脑中线分割两个维度对分割结果进行监督，在一种可能的实施方式中，可以基于第二样本概率图和第二标注概率图，分别确定出脑部区域分割损失和脑中线分割损失，并将脑部区域分割损失和脑中线分割损失之和确定为第二分割损失。
[0122]
为了进一步对预测脑中线进行平滑处理，提升三维脑中线分割的可视效果，还可以对分割结果施加曲面的平滑约束。对应在另一个示例性的例子中，步骤502还可以包括步骤502h～步骤502j。
[0123]
步骤502h，对样本三维脑中线进行极值提取处理，得到样本三维脑中线对应的样本中线三维坐标。
[0124]
在一种可能的实施方式中，当获取到样本三维脑中线(曲面)后，采用可微分的soft argmax函数对样本三维脑中线进行处理，将样本三维脑中线的分割概率图转化为样本中线三维坐标。转化公式如公式(6)所示。
[0125][0126]
其中，softargmax(x)表示处理得到的样本中线三维坐标，β为常数，i、j指当前元素位于一维向量中的坐标，因为soft-argmax类似非极大抑制，可以扩大极大值和极小值的差距。x代表权重，xi代表第i个元素的权重。
[0127]
步骤502i，基于样本中线三维坐标进行平滑损失计算，确定脑中线平滑损失。
[0128]
可选的，当得到样本中线三维坐标后，对三维脑中线施加曲面的平滑约束，得到脑中线平滑损失。脑中线平滑损失的公式可以如公式(7)所示。
[0129][0130]
其中，l
smooth
表示脑中线平滑损失，表示对样本中线三维坐标求偏微分，其中，u是指所有点构成的表面(surface)，surface可以是一个h
×
w的矩阵表达，每个元素相当于对应的点距离底面的高度。
[0131]
步骤502j，基于脑部区域分割损失、脑中线分割损失以及脑中线平滑损失，确定第二分割损失。
[0132]
为了从脑部区域分割、脑中线分割以及曲面平滑三个维度对分割结果进行监督，在一种可能的实施方式中，可以基于第二样本概率图和第二标注概率图，分别确定出脑部区域分割损失、脑中线分割损失以及脑中线平滑损失，并将脑部区域分割损失、脑中线分割损失以及脑中线平滑损失之和确定为第二分割损失。
[0133]
在一个示例性的例子中，脑中线分割预测分支对应的总体损失函数可以如公式(8)所示。
[0134]
l
real
＝l
hemi
+l
ml
+l
smooth
ꢀꢀꢀꢀꢀꢀ
(8)
[0135]
其中，l
real
表示脑中线分割预测任务对应的总损失，l
hemi
表示脑部区域分割损失，l
ml
表示脑中线分割损失，l
smooth
表示脑中线平滑损失。
[0136]
步骤503，基于样本预测热图和样本标注热图，确定第三分割损失。
[0137]
为了实现对理想脑中面预测任务的监督，在一种可能的实施方式中，基于理想脑中面预测结果-样本预测热图，与理想脑中面标注结果-样本标注热图之间的差异，确定出第三分割损失以监督训练特征编码网络。
[0138]
步骤504，基于第一分割损失、第二分割损失和第三分割损失，训练特征编码网络。
[0139]
可选的，当确定出各个分支对应的任务预测损失后，通过组合多个任务的损失函数训练特征编码网络，也即基于第一分割损失、第二分割损失和第三分割损失之和训练特征编码网络，从而使得模型在三维脑中线分割和理想脑中面检测任务的表现更佳，达到更好的监督学习效果。
[0140]
在一个示例性的例子中，模型的总损失函数如公式(9)所示。
[0141]
l
total
＝l
ih
+l
real
+l
ideal
ꢀꢀꢀꢀꢀ
(9)
[0142]
其中，l
total
表示模型的总损失，l
ih
表示第一分割损失(病灶区域预测损失)，l
real
表
示第二分割损失(脑中线分割损失)，l
ideal
表示第三分割损失(理想脑中面预测损失)。
[0143]
如图7所示，其示出了本技术另一个示例性实施例示出的模型训练过程的示意图。将样本三维脑部图像701输入特征编码网络702中，得到特征编码网络702输出的样本编码特征图703。在病灶区域预测分支中，基于样本编码特征图703进行病灶区域预测，得到表征病灶区域的第一样本概率图704；在脑中线分割预测分支中，基于样本编码特征图703进行脑中线分割预测，得到表征左半脑区域、右半脑区域以及背景区域的第二样本概率图706；通过三维索贝尔算子对第二样本概率图706进行处理，得到样本三维脑中线711；在理想脑中面预测分分支中，基于样本编码特征图703进行理想脑中面预测，得到表征理想脑中面所在位置的样本预测热图708；在损失确定阶段，基于第一样本概率图704和第一标注分割图像705确定第一分割损失710(病灶区域预测损失)；基于第二样本概率图706和第二标注分割图像707确定脑部区域分割损失，基于样本三维脑中线711和标注三维脑中线712确定脑中线分割损失，对样本三维脑中线711进行softargmax处理，以确定曲面平滑损失714，进一步基于曲面平滑损失714、脑中线分割损失和脑部区域分割损失确定第二分割损失715；基于样本预测热图708和样本标注热图709，确定第三分割损失713(理想脑中面预测损失)。进而基于第一分割损失710、第二分割损失715和第三分割损失713之和训练特征编码网络702。
[0144]
本实施例中，分别描述了各个任务分支的损失计算过程，从而通过组合多个任务的损失函数，综合训练特征编码网络，达到更好的监督学习效果，提高模型在三维脑中线分割和理想脑中面检测任务的预测效果。
[0145]
在理想脑中面检测任务中，不仅在图像空间提取平面特征，同时也在霍夫空间中提取象征平面参数的关键点特征，以共同对理想脑中面进行检测。
[0146]
在图3的基础上，如图8所示，步骤304可以包括步骤801～步骤803，且步骤503可以被替换为步骤804。
[0147]
步骤801，基于样本编码特征图进行语义脑中面预测，得到样本语义热图，样本语义热图用于表征各个像素点属于理想脑中面的概率。
[0148]
在理想脑中面预测分支，为了提高理想脑中面的检测准确性，同时在图像空间和霍夫空间进行语义平面分割和霍夫关键点检测。在一种可能的实施方式中，在理想脑中面预测分支，一方面可以基于样本编码特征图进行语义脑中面预测，预测样本三维脑部图像中各个像素点属于理想脑中面的概率，以得到样本语义热图。与样本三维脑部图像对应样本语义热图也是三维图像，且样本语义热图中各个像素点的值表示该像素点属于理想脑中面的概率，像素值越大，则表示该像素点位于理想脑中面的概率越大。
[0149]
步骤802，基于样本编码特征图进行理想脑中面预测，得到中间样本特征图。
[0150]
步骤803，对中间样本特征图进行霍夫空间变换，得到样本霍夫关键点热图。
[0151]
除了在图像空间检测理想脑中面，还额外引入了可微分的dht进行理想脑中面检测，通过霍夫控件转换，可以将在图像空间中检测理想脑中面的问题转换为在霍夫空间中目标关键点的识别问题(该目标关键点对应的参数集用于指示理想脑中面)。在一种可能的实施方式中，通过对样本编码特征图进行理想脑中面预测，得到中间样本特征图，进而将中间样本特征图进行霍夫空间变换，即可以得到样本霍夫关键点热图，其中，样本霍夫关键点热图中最亮的点(峰值点)即为目标关键点，目标关键点对应的参数即为理想脑中面的极坐
标参数。
[0152]
步骤804，基于第一样本概率图、第一标注分割图像、第二样本概率图、第二标注分割图像、样本语义热图、标注语义热图、样本霍夫关键点热图和标注霍夫关键点热图，训练特征编码网络。
[0153]
在引入图像空间和霍夫空间的理想脑中面检测任务后，对应在模型训练过程中也需要引入图像空间和霍夫空间的双重空间的监督损失。在一种可能的实施方式中，基于第一样本概率图、第一标注分割图像、第二样本概率图、第二标注分割图像、样本语义热图、标注语义热图、样本霍夫关键点热图和标注霍夫关键点热图，训练特征编码网络。
[0154]
在一个示例性的例子中，步骤804可以包括步骤804a～步骤804e。
[0155]
步骤804a，基于第一样本概率图和第一标注分割图像，确定第一分割损失。
[0156]
步骤804b，基于第二样本概率图和第二标注分割图像，确定第二分割损失。
[0157]
其中，步骤804a和步骤804b的实施方式可以参考上文实施例中第一分割损失和第二分割损失的确定过程，本实施例在此不做赘述。
[0158]
步骤804c，基于样本语义热图和标注语义热图，确定图像空间分割损失。
[0159]
在理想脑中面预测分支中，通过比较样本语义热图和标注语义热图之间的差异，确定图像空间分割损失训练模型，以引入图像空间的监督损失。图像空间分割损失的计算公式可以如公式(10)所示。
[0160][0161]
其中，l
spatial
表示图像空间分割损失，n表示样本三维图像中的像素点个数，p
out
表示样本语义热图，p
gt
表示标注语义热图。
[0162]
由于样本语义热图中的像素值表示像素点位于理想脑中面的概率，对于概率值较小的像素点，若参与损失计算过程，显然会降低计算速度。为了提高计算速度，通过设置概率阈值进行筛选，仅使用概率值较高的部分像素点参与损失计算。对应在一个示例性的例子中，步骤804c还可以包括步骤一和步骤二。
[0163]
步骤一、基于目标概率阈值对样本语义热图进行筛选，得到目标像素点集合，目标像素点集合中所包含像素点对应的概率值大于目标概率阈值。
[0164]
其中，目标概率阈值用于从样本语义热图中剔除概率值较低的像素点。目标概率阈值可以由开发人员自行设置，示意性的，目标概率阈值可以是0.1。
[0165]
在一种可能的实施方式中，基于目标概率阈值对样本语义热图进行筛选，去除样本语义热图中概率值低于目标概率阈值的像素点，得到目标像素点集合。
[0166]
步骤二、确定目标像素点集合在样本语义热图和标注语义热图之间的损失，确定图像空间分割损失。
[0167]
可选的，在得到目标像素点集合后，在计算样本语义热图和标注语义热图之间的损失时，可以仅计算目标像素点集合中的各个像素点在样本语义热图和标注语义热图之间的损失，确定为图像空间分割损失。通过筛选目标像素点集合，可以极大地提高计算效率。
[0168]
步骤804d，基于样本霍夫关键点热图和标注霍夫关键点热图，确定霍夫空间分割损失。
[0169]
在理想脑中面预测分支中，还通过比较样本霍夫关键点热图和标注霍夫关键点热
图之间的差异，确定霍夫空间分割损失以训练模型，以引入霍夫空间的监督损失。霍夫空间分割损失的计算公式可以如公式(11)所示。
[0170][0171]
其中，l
hough
表示霍夫空间分割损失，m表示霍夫空间的像素点个数，h
out
表示样本霍夫关键点热图，h
gt
表示标注霍夫关键点热图。
[0172]
可选的，第三分割损失即为霍夫空间分割损失和图像空间分割损失之和。如公式(12)所示。
[0173]
l
ideal
＝l
spatial
+l
hough
ꢀꢀꢀꢀꢀꢀ
(12)
[0174]
其中，l
ideal
表示第三分割损失(理想脑中面预测损失)，l
spatial
表示图像空间分割损失，l
hough
表示霍夫空间分割损失。
[0175]
步骤804e，基于第一分割损失、第二分割损失、图像空间分割损失和霍夫空间分割损失，训练特征编码网络。
[0176]
可选的，通过组合多任务的损失函数，即基于第一分割损失、第二分割损失、图像空间分割损失和霍夫空间分割损失之和，训练特征编码网络。
[0177]
如图9所示，其示出了本技术另一个示例性实施例示出的模型训练的过程示意图。将样本三维脑部图像901输入特征编码网络902中，得到特征编码网络902输出的样本编码特征图903。在病灶区域预测分支中，通过第一特征解码网络904对样本编码特征图903进行病灶区域预测，得到血肿分割结果908(以病灶区域为血肿区域为例)，基于血肿分割结果908和标注分割结果，确定血肿分割损失909；在脑中线分割预测分支中，通过第二特征解码网络905对样本编码特征图903进行脑中线分割预测，得到半脑区域分割结果910(第二样本概率图)；通过三维索贝尔算子对半脑区域分割结果910进行处理，得到脑中线分割结果911，对脑中线分割结果911进行softargmax处理，以确定曲面平滑损失912；在理想脑中面预测分支中，一方面通过第三特征解码网络906对样本编码特征图903进行语义平面预测，输出表征理想脑中面所在位置的语义平面热图913，以确定语义平面损失914；另一方面通过第四特征解码网络907对样本编码特征图903进行理想脑中面预测和深度霍夫空间转换，输出霍夫关键点热图915，以确定霍夫平面损失916。
[0178]
本实施例中，通过在图像空间和霍夫空间上分别检测理想脑中面，并在损失中引入图像空间和霍夫空间的双重空间的监督损失，同时在图像空间和霍夫空间分别对语义平面热图和霍夫关键点热图进行约束和监督，使得理想脑中面的检测结果更加精确。
[0179]
上文实施例中主要描述了通过多任务损失函数训练模型的过程，本实施例主要描述在模型应用阶段，如何基于上述训练完成的模型，获取三维脑中线和理想脑中面，以进一步确定脑中线偏移量。
[0180]
请参考图10，其示出了本技术另一个示例性实施例提供的三维脑中线分割方法的流程图，以该方法应用于图1所示的第二设备120进行举例说明，该方法包括：
[0181]
步骤1001，将目标三维脑部图像输入特征编码网络进行特征编码，得到目标编码特征图。
[0182]
在模型应用阶段，可以直接将包含三个任务分支的模型全部部署至第二设备中，或者业务人员根据需求将三个任务分支中的至少一个分支模型部署至第二设备中，以便其
完成不同的预测任务。比如，将脑中线预测分支和理想脑中面预测分支部署至第二设备，以实现同步预测三维脑中线和理想脑中面，并根据三维脑中线和理想脑中面，确定脑中线偏移量；或者，将病灶区域预测分支单独部署至第二设备中，以实现对大脑的病灶区域预测任务。
[0183]
本实施例中的任务目的是预测脑中线偏移量，而脑中线偏移量需要根据三维脑中线和理想脑中面确定得到，因此，需要在第二设备中部署训练完成的理想脑中面预测分支和脑中线预测分支。在一种可能的实施方式中，将待预测的目标三维脑部图像输入特征编码器进行特征编码，可以得到目标编码特征图。
[0184]
步骤1002，对目标编码特征图进行脑中线分割预测，得到目标分割概率图，目标分割概率图用于表征目标三维脑部图像中每个像素点分别属于左半脑区域、右半脑区域以及背景区域的概率。
[0185]
在得到目标编码特征图后，在脑中线预测分支中，基于目标编码特征图进行脑中线分割预测，预测目标三维脑部图像中各个像素点分别属于左半脑区域、右半脑区域和背景区域的概率，得到目标分割概率图。
[0186]
步骤1003，对目标编码特征图进行理想脑中面预测，得到目标热图，目标热图用于指示理想脑中面在目标三维脑部图像中的位置。
[0187]
在理想脑中面预测分支中，基于目标编码特征图进行理想脑中面预测，以预测目标三维脑部图像中理想脑中面所在位置，得到目标热图。
[0188]
步骤1004，基于目标分割概率图和目标热图，确定目标脑中线偏移量。
[0189]
可选的，当获取到脑中线预测结果-目标分割概率图，与理想脑中面预测结果-目标热图后，即可以基于目标分割概率图和目标热图，确定目标三维脑部图像中的目标脑中线偏移量。
[0190]
由于目标分割概率图仅可以表示三维脑部图像中各个区域所在位置，还需要从目标分割概率图中提取出目标三维脑中线，对应在一个示例性的例子中，步骤1004还可以包括步骤1004a～步骤1004d。
[0191]
步骤1004a，对目标分割概率图进行索贝尔算子处理，确定目标三维脑部图像对应的目标左半脑轮廓和目标右半脑轮廓。
[0192]
步骤1004b，基于目标左半脑轮廓和目标右半脑轮廓，确定目标三维脑中线。
[0193]
与模型训练侧确定样本三维脑中线类似，在基于目标分割概率图确定目标三维脑中线时，也是通过对目标分割概率图进行索贝尔算子处理，以确定出目标左半脑轮廓和目标右半脑轮廓，进而对目标左半脑轮廓和目标右半脑轮廓相乘，以确定出目标三维脑中线。
[0194]
步骤1004c，基于目标热图，确定目标理想脑中面。
[0195]
其中，目标热图可以是图像空间热图，也可以是霍夫空间关键点热图，本实施例对此不构成限定。在一种可能的实施方式中，可以直接根据目标热图，确定出目标理想脑中面，比如，将图像空间热图中概率值较大的点构成的平面，确定为目标理想脑中面，或者根据霍夫空间关键点热图中的峰值点的参数集，确定目标理想脑中面。
[0196]
步骤1004d，将目标三维脑中线到目标理想脑中面之间的最大垂直距离，确定为目标脑中线偏移量。
[0197]
在一种可能的实施方式中，当确定出目标三维脑中线和目标理想脑中面后，即可
以计算目标三维脑中线中各个像素点到目标理想脑中面之间的垂直距离，并将垂直距离中的最大垂直距离，确定为目标脑中线偏移量。
[0198]
如图11所示，其示出了本技术一个示例性实施例示出的脑中线偏移量的确定过程示意图。将目标三维脑部图像1101输入特征编码网络1102，得到特征编码网络1102输出的目标编码特征图1103；基于目标编码特征图1103进行脑中线分割预测，得到表征左半脑区域、右半脑区域和背景区域的目标概率图1104，对目标概率图1104进行三维索贝尔算子处理，以得到目标三维脑中线1105；同时，基于目标编码特征图1103进行理想脑中面预测，得到表征理想脑中面所在位置的目标预测热图1106，对目标预测热图1106处理以得到目标理想脑中面1107；进而将目标三维脑中线1105到目标理想脑中面1107之间的最大垂直距离确定为目标脑中线偏移量1108。
[0199]
本实施例中，通过部署训练完成的脑中线分割预测任务和理想脑中面检测任务，可以实现同时确定三维脑中线和理想脑中面的目的，进一步的为确定脑中线偏移量提供了确定方式，可以提高脑中线偏移量的确定效率。
[0200]
图12是本技术一个示例性实施例提供的三维脑中线分割装置的结构框图，该装置包括：
[0201]
特征编码模块1201，用于通过特征编码器对样本三维脑部图像进行特征编码，得到样本编码特征图；
[0202]
多任务分割预测模块1202，用于基于所述样本编码特征图进行病灶区域预测、脑中线分割预测以及理想脑中面预测，得到病灶区域预测结果、脑中线分割预测结果以及理想脑中面预测结果；
[0203]
训练模块1203，用于基于所述病灶区域预测结果、所述脑中线分割预测结果以及所述理想脑中面预测结果，联合训练所述特征编码器。
[0204]
可选的，所述多任务分割预测模块1202，还用于：
[0205]
基于所述样本编码特征图进行所述病灶区域预测，得到第一样本概率图，所述第一样本概率图用于表征所述样本三维脑部图像中每个像素点属于病灶区域的概率；
[0206]
基于所述样本编码特征图进行所述脑中线分割预测，得到第二样本概率图，所述第二样本概率图用于表征所述样本三维脑部图像中每个像素点分别属于左半脑区域、右半脑区域以及背景区域的概率；
[0207]
基于所述样本编码特征图进行所述理想脑中面预测，得到样本预测热图，所述样本预测热图用于指示理想脑中面在所述样本三维脑部图像中的位置；
[0208]
所述训练模块1203，还用于：
[0209]
基于所述第一样本概率图、第一标注分割图像、所述第二样本概率图、第二标注分割图像、所述样本预测热图和样本标注热图，联合训练所述特征编码网络，所述第一标注分割图像中标注有所述样本三维脑部图像中的所述病灶区域，所述第二标注分割图像标注有所述样本三维脑部图像中的所述左半脑区域、所述右半脑区域和所述背景区域，所述样本标注热图中标注有所述样本三维脑部图像中的所述理想脑中面。
[0210]
可选的，所述训练模块1203，还用于：
[0211]
基于所述第一样本概率图和所述第一标注分割图像，确定第一分割损失；
[0212]
基于所述第二样本概率图和所述第二标注分割图像，确定第二分割损失；
[0213]
基于所述样本预测热图和所述样本标注热图，确定第三分割损失；
[0214]
基于所述第一分割损失、所述第二分割损失和所述第三分割损失，训练所述特征编码网络。
[0215]
可选的，所述训练模块1203，还用于：
[0216]
获取所述第二样本概率图中各个像素点对应的样本损失权重；
[0217]
基于所述样本损失权重、所述第二样本概率图和所述第二标注分割图像，确定脑部区域分割损失；
[0218]
基于所述脑部区域分割损失，确定所述第二分割损失。
[0219]
可选的，所述训练模块1203，还用于：
[0220]
基于所述第二标注分割图像，确定标注三维脑中线；
[0221]
确定所述第二样本概率图像中各个像素点到所述标注三维脑中线的样本距离；
[0222]
基于所述样本距离，确定各个像素点对应的所述样本损失权重，所述样本损失权重与所述样本距离呈负相关关系。
[0223]
可选的，所述训练模块1203，还用于：
[0224]
对所述第二样本概率图进行索贝尔算子处理，确定所述样本三维脑部图像对应的样本左半脑轮廓和样本右半脑轮廓；
[0225]
基于所述样本左半脑轮廓和所述样本右半脑轮廓，确定样本三维脑中线；
[0226]
基于所述样本三维脑中线和标准三维脑中线，确定脑中线分割损失；
[0227]
所述基于所述脑部区域分割损失，确定所述第二分割损失，包括：
[0228]
基于所述脑部区域分割损失和所述脑中线分割损失，确定所述第二分割损失。
[0229]
可选的，所述训练模块1203，还用于：
[0230]
对所述样本三维脑中线进行极值提取处理，得到所述样本三维脑中线对应的样本中线三维坐标；
[0231]
基于所述样本中线三维坐标进行平滑损失计算，确定脑中线平滑损失；
[0232]
所述基于所述脑部区域分割损失和所述脑中线分割损失，确定所述第二分割损失，包括：
[0233]
基于所述脑部区域分割损失、所述脑中线分割损失以及所述脑中线平滑损失，确定所述第二分割损失。
[0234]
可选的，所述多任务分割预测模块1202，还用于：
[0235]
基于所述样本编码特征图进行语义脑中面预测，得到样本语义热图，所述样本语义热图用于表征各个像素点属于所述理想脑中面的概率；
[0236]
基于所述样本编码特征图进行理想脑中面预测，得到中间样本特征图；
[0237]
对所述中间样本特征图进行霍夫空间变换，得到样本霍夫关键点热图；
[0238]
所述训练模块1203，还用于：
[0239]
基于所述第一样本概率图、所述第一标注分割图像、所述第二样本概率图、所述第二标注分割图像、所述样本语义热图、标注语义热图、所述样本霍夫关键点热图和标注霍夫关键点热图，训练所述特征编码网络。
[0240]
可选的，所述训练模块1203，还用于：
[0241]
基于所述第一样本概率图和所述第一标注分割图像，确定第一分割损失；
[0242]
基于所述第二样本概率图和所述第二标注分割图像，确定第二分割损失；
[0243]
基于所述样本语义热图和所述标注语义热图，确定图像空间分割损失；
[0244]
基于所述样本霍夫关键点热图和所述标注霍夫关键点热图，确定霍夫空间分割损失；
[0245]
基于所述第一分割损失、所述第二分割损失、所述图像空间分割损失和所述霍夫空间分割损失，训练所述特征编码网络。
[0246]
可选的，所述训练模块1203，还用于：
[0247]
基于目标概率阈值对所述样本语义热图进行筛选，得到目标像素点集合，所述目标像素点集合中所包含像素点对应的概率值大于所述目标概率阈值；
[0248]
确定所述目标像素点集合在所述样本语义热图和所述标注语义热图之间的损失，确定所述图像空间分割损失。
[0249]
可选的，所述装置还包括：
[0250]
特征编码模块1201，用于将目标三维脑部图像输入所述特征编码网络进行特征编码，得到目标编码特征图；
[0251]
脑中线分割预测模块，用于对所述目标编码特征图进行脑中线分割预测，得到目标分割概率图，所述目标分割概率图用于表征所述目标三维脑部图像中每个像素点分别属于所述左半脑区域、所述右半脑区域以及所述背景区域的概率；
[0252]
脑中面预测模块，用于对所述目标编码特征图进行理想脑中面预测，得到目标热图，所述目标热图用于指示所述理想脑中面在所述目标三维脑部图像中的位置；
[0253]
确定模块，用于基于所述目标分割概率图和所述目标热图，确定目标脑中线偏移量。
[0254]
可选的，所述确定模块，还用于：
[0255]
对所述目标分割概率图进行索贝尔算子处理，确定所述目标三维脑部图像对应的目标左半脑轮廓和目标右半脑轮廓；
[0256]
基于所述目标左半脑轮廓和所述目标右半脑轮廓，确定目标三维脑中线；
[0257]
基于所述目标热图，确定目标理想脑中面；
[0258]
将所述目标三维脑中线到所述目标理想脑中面之间的最大垂直距离，确定为所述目标脑中线偏移量。
[0259]
综上所述，本技术实施例提供了一种三维脑中线分割方式：通过对样本三维脑部图像进行特征编码，并分别基于特征编码结果(样本编码特征图)进行多任务预测(病灶区域预测、脑中线分割预测以及理想脑中面预测)，由于病灶区域会对脑中线结构造成侧向偏移、理想脑中面与三维脑中线所在位置相近，因此，通过额外增加病灶区域预测任务和理想脑中面预测任务，可以提高特征编码网络对于脑中线分割预测中相关特征的特征提取准确性，从而进一步提高脑中线分割预测任务的准确性。
[0260]
图13是根据一示例性实施例示出的一种计算机设备的结构示意图。所述计算机设备1300可以是图1中第一设备110，也可以是图1中的第二设备120。所述计算机设备1300包括中央处理单元(central processing unit，cpu)1301、包括随机存取存储器(random access memory，ram)1302和只读存储器(read-only memory，rom)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。所述计算机设备1300还包
括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(input/output，i/o系统)1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
[0261]
所述基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中所述显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。所述基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
[0262]
所述大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机设备可读介质为计算机设备1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者只读光盘(compact disc read-only memory，cd-rom)驱动器之类的计算机设备可读介质(未示出)。
[0263]
不失一般性，所述计算机设备可读介质可以包括计算机设备存储介质和通信介质。计算机设备存储介质包括以用于存储诸如计算机设备可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机设备存储介质包括ram、rom、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、带电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)，cd-rom、数字视频光盘(digital video disc，dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机设备存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
[0264]
根据本公开的各种实施例，所述计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备1300可以通过连接在所述系统总线1305上的网络接口单元1312连接到网络1311，或者说，也可以使用网络接口单元1312来连接到其他类型的网络或远程计算机设备系统(未示出)。
[0265]
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1301通过执行该一个或一个以上程序来实现上述三维脑中线分割方法的全部或者部分步骤。
[0266]
本技术还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方法实施例提供的三维脑中线分割方法。
[0267]
本技术提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方法实施例提供的三维脑中线分割方法。
[0268]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0269]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件
来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0270]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。