基于自动生成标签的脑出血和周围水肿的协同交叉分割系统

1.本发明涉及医疗图像的处理的技术领域，尤其涉及基于自动生成标签的脑出血和周围水肿的协同交叉分割系统。


背景技术：

2.脑出血是指原发性非外伤性的脑实质内出血，也称为自发性脑出血，它具有高发病率、高致残率以及高死亡率的特点。颅内出血(intracranial hemorrhage，ich)准确的定位和容积测量是观察神经功能障碍和颅脑损伤的首要任务，而血肿周围水肿(perihematomal edema，phe)是颅内出血继发性损伤的重要标志。在临床上，由于计算机断层扫描(computer tomography，ct)成本低、成像时间短、对骨细节检测良好，并且相对于核磁共振成像(mri)而言在不稳定的病人中更加可行，因此ct已成为检测脑出血的首选方式。目前，大部分医院对出血的临床测量主要是通过手动分割和多田氏公式来实现的。其中，通过传统多田氏公式手工计算脑出血量，过程繁琐、效率低、可重复性差；除此之外，该公式通常高估真正的脑出血量达30％。虽然手动分割脑出血可以准确的估计体积，但是分割繁琐并且依赖于操作者，操作时长限制其在紧急情况下不可行。
3.因此，需要一种能够同时自动完成脑出血和周围水肿的分割和测量的智能辅助颅脑ct图像分割和显示系统。
4.上述对背景技术的陈述仅是为了方便对本发明技术方案(使用的技术手段、解决的技术问题以及产生的技术效果等方面)的深入理解，而不应当被视为承认或以任何形式暗示该消息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

5.针对现有技术中存在的缺陷，本发明提出了一种能够同时自动完成脑出血和周围水肿的分割和测量的智能辅助颅脑ct图像分割和显示系统，该系统普适性强，智能化程度高，不依赖于人工或专家标签，也不局限于单一来源或单一扫描协议的ct颅脑数据。
6.根据本发明的一个实施方案，提供了一种基于自动生成标签的脑出血和周围水肿的协同交叉分割系统，其包括以下模块：预处理模块，其对采集到的3d颅脑ct图像进行预处理；标签图像生成模块，其利用计算机视觉和机器学习的算法对预处理后的3d脑实质ct图像自动生成脑出血标签图像和周围水肿标签图像；监督标签图像生成模块，其对自动生成的脑出血标签图像和周围水肿标签图像进行标签融合处理，以获得脑出血监督标签图像和周围水肿标签图像；训练模块，其利用脑出血监督标签图像和周围水肿监督标签图像来训练基于深度学习的脑出血和周围水肿的协同交叉分割模型，以对脑出血和周围水肿同时进行分割；测量模块，其利用脑出血和周围水肿的深度学习分割结果，进行形态学测量并进行结果呈现；其中，基于深度学习的脑出血和周围水肿的协同交叉分割模型包括两个结构相同的出血分割网络和周围水肿分割网络；出血分割网络和周围水肿分割网络分别包括一个编码器和一个解码器；出血分割网络的编码器与周围水肿分割网络的解码器交叉连接以及
周围水肿分割网络的编码器与出血分割网络的解码器交叉连接。
7.优选地，出血分割网络的编码器和周围水肿分割网络的编码器共享或者不共享权重；出血分割网络和周围水肿分割网络具有相同的输入，分别输出脑出血的深度学习分割结果和周围水肿的深度学习分割结果；出血分割网络和周围水肿分割网络分别以编码-解码的3d残差u-net框架作为骨干网络；出血分割网络和周围水肿分割网络的编码器中下采样的层数与出血分割网络和周围水肿分割网络的解码器中上采样的层数相等；出血分割网络的编码器的除最底层外的各层或部分层与周围水肿分割网络的解码器的相对应层交叉连接；周围水肿分割网络的编码器的除最底层外的各层或部分层与出血分割网络的解码器的相对应层交叉连接。
8.优选地，基于深度学习的脑出血和周围水肿的协同交叉分割模型进一步包括通道注意力模块和空间注意力模块；所述通道注意力模块设置在出血分割网络的编码器与周围水肿分割网络的解码器之间以及周围水肿分割网络的编码器与出血分割网络的解码器之间的交叉连接处；所述空间注意力模块设置在同一分割网络内的编码器和解码器之间。
9.优选地，在预处理模块中：对采集到的3d颅脑ct图像进行预处理包括：对采集到的3d颅脑ct图像进行数据清洗、格式转换、重命名、转向、零体素填充、配准以及窗宽窗位调整，最终提取出脑实质图像。
10.优选地，在标签图像生成模块中，分别利用阈值分割方法和聚类分割方法来生成脑出血标签图像；基于阈值分割方法生成脑出血标签图像是对预处理后的3d脑实质ct图像进行平滑处理，然后将平滑处理的图像进行全局阈值分割；基于聚类分割方法生成脑出血标签图像是对预处理后的3d脑实质ct图像进行平滑处理，然后将平滑处理的图像进行模糊聚类分割。
11.优选地，在标签图像生成模块中，分别利用阈值分割方法、聚类分割方法和对侧差值方法来生成周围水肿标签图像；基于阈值分割方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定的半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定水肿初始区域，然后将水肿初始区域进行单阈值分割；基于聚类分割方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定的半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定水肿初始区域，然后将水肿初始区域进行模糊聚类分割；基于对侧差值方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定初始水肿区域，然后以中线为基准进行镜像反转提取对侧脑相应区域，最后将两区域相减，保留差值在一定范围内的区域作为目标水肿区域。
12.优选地，对自动生成的脑出血标签图像和周围水肿标签图像进行标签融合处理包括：对自动生成的脑出血标签图像，通过选取一定的膨胀半径进行扩增，然后对自动生成的脑出血标签图像和膨胀之后的脑出血标签图像进行标签融合处理并进行二值化处理；对自动生成的周围水肿标签图像，通过选取一定的半径进行孔洞闭合处理，然后对自动生成的周围水肿标签图像和相应闭合之后的周围水肿标签图像进行标签融合处理并进行二值化处理。
13.根据本发明的一个实施方案，提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现以下步骤：对采集到的3d颅脑ct图像进行预处
理；利用计算机视觉和机器学习的算法对预处理后的3d脑实质ct图像自动生成脑出血标签图像和周围水肿标签图像；对自动生成的脑出血标签图像和周围水肿标签图像进行标签融合处理，以获得脑出血和周围水肿监督标签图像；利用脑出血和周围水肿的监督标签图像来训练基于深度学习的脑出血和周围水肿的协同交叉分割模型，以对脑出血和周围水肿同时进行分割；利用脑出血和周围水肿的深度学习分割结果，进行形态学测量并进行结果呈现；其中，基于深度学习的脑出血和周围水肿的协同交叉分割模型包括两个结构相同的出血分割网络和周围水肿分割网络；出血分割网络和周围水肿分割网络分别包括一个编码器和一个解码器；出血分割网络的编码器与周围水肿分割网络的解码器交叉连接以及周围水肿分割网络的编码器与出血分割网络的解码器交叉连接。
14.优选地，出血分割网络的编码器和周围水肿分割网络的编码器共享或不共享权重；出血分割网络和周围水肿分割网络具有相同的输入，分别输出脑出血的深度学习分割结果和周围水肿的深度学习分割结果；出血分割网络和周围水肿分割网络分别以编码-解码的3d残差u-net框架作为骨干网络；出血分割网络和周围水肿分割网络的编码器中下采样的层数与出血分割网络和周围水肿分割网络的解码器中上采样的层数相等；出血分割网络的编码器的除最底层外的各层或部分层与周围水肿分割网络的解码器的相对应层交叉连接；周围水肿分割网络的编码器的除最底层外的各层或部分层与出血分割网络的解码器的相对应层交叉连接。
15.优选地，基于深度学习的脑出血和周围水肿的协同交叉分割模型进一步包括通道注意力模块和空间注意力模块；所述通道注意力模块设置在出血分割网络的编码器与周围水肿分割网络的解码器之间以及周围水肿分割网络的编码器与出血分割网络的解码器之间的交叉连接处；所述空间注意力模块设置在同一网络的编码器和解码器之间。
16.优选地，对采集到的3d颅脑ct图像进行预处理包括：对采集到的3d颅脑ct图像进行数据清洗、格式转换、重命名、转向、零体素填充、配准以及窗宽窗位调整，最终提取出脑实质图像。
17.优选地，分别利用阈值分割方法和聚类分割方法来生成脑出血标签图像；基于阈值分割方法生成脑出血标签图像是对预处理后的3d脑实质ct图像进行平滑处理，然后将平滑处理的图像进行全局阈值分割；基于聚类分割方法生成脑出血标签图像是对预处理后的3d脑实质ct图像进行平滑处理，然后将平滑处理的图像进行模糊聚类分割。
18.优选地，分别利用阈值分割方法、聚类分割方法和对侧差值方法来生成周围水肿标签图像；基于阈值分割方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定的半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定水肿初始区域，然后将水肿初始区域进行单阈值分割；基于聚类分割方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定的半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定水肿初始区域，然后将水肿初始区域进行模糊聚类分割；基于对侧差值方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定初始水肿区域，然后以中线为基准进行镜像反转提取对侧脑相应区域，最后将两区域相减，保留差值在一定范围内的区域作为目标水肿区域。
19.优选地，对自动生成的脑出血标签图像和周围水肿标签图像进行标签融合处理包括：对自动生成的脑出血标签图像，通过选取一定的膨胀半径进行扩增，然后对自动生成的
脑出血标签图像和膨胀之后的脑出血标签图像进行标签融合处理并进行二值化处理；对自动生成的周围水肿标签图像，通过选取一定的半径进行孔洞闭合处理，然后对自动生成的周围水肿标签图像和相应闭合之后的周围水肿标签图像进行标签融合处理并进行二值化处理。
20.本发明采取以上技术方案，其具有以下有益效果：
21.本发明的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统结合计算机视觉和机器学习的算法自动生成脑出血和周围水肿的监督标签图像，并且基于脑出血和周围水肿的监督标签图像来训练协同交叉分割模型，从而得到精准的脑出血和周围水肿的分割结果，以及基于分割结果进行形态学测量，并进行三维颅骨、脑出血、周围水肿叠加(透视)显示。
附图说明
22.下文将结合附图对本发明的示例性实施例进行更为详细的说明。为清楚起见，不同附图中相同的部件以相同标号示出。需要说明的是，附图仅起到示意作用，其并不必然按照比例绘制。在这些附图中：
23.图1是根据本发明的实施方案的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统的工作原理的示意图；
24.图2是根据本发明的实施方案的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统对原始数据进行预处理的过程的流程图；
25.图3(a)至图3(h)是根据本发明的实施方案的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统以两例数据为例的预处理结果的示意图；
26.图4(a)、图4(b)和图4(c)是根据本发明的实施方案的基于深度学习的脑出血和周围水肿的协同交叉分割模型的示意图；
27.图5(a)至图5(e)、图6(a)至图6(e)、图7(a)和图7(b)是根据本发明的实施方案的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统以两例数据为例的分割结果的示意图。
具体实施方式
28.下面对本发明的实施方案作详细说明，本实施方案在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施方案。
29.图1是根据本发明的实施方案的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统的工作原理的示意图。根据本发明的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统的工作原理如下，主要分为五个模块。
30.预处理模块，其对采集到的3d颅脑ct图像进行预处理。
31.标签图像生成模块，其利用计算机视觉和机器学习的算法对预处理后的3d脑实质ct图像自动生成脑出血标签图像和周围水肿标签图像。
32.监督标签图像生成模块，其对自动生成的脑出血标签图像和周围水肿标签图像进行标签融合处理，以获得脑出血监督标签图像和周围水肿标签图像。
33.训练模块，其利用脑出血监督标签图像和周围水肿监督标签图像来训练基于深度学习的脑出血和周围水肿的协同交叉分割模型，以对脑出血和周围水肿同时进行分割。
34.测量模块，其利用脑出血和周围水肿的深度学习分割结果，进行形态学测量(例如，体积、表面积、平均宽度、厚度、比表面积等)，从而进行结果呈现。
35.以下对本发明的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统的每一模块的处理进行详细地描述。
36.图2示出了根据本发明的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统对原始3d颅脑ct图像进行预处理的过程。
37.如图2所示，根据本发明的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统可以应用于3d颅脑ct图像，其数据格式可以包括但不限于，dicom(digital imaging and communications in medicine，医学数字成像和通信)格式和nifti(neuroimaging informatics technology initiative，神经影像信息技术倡议)格式，并且不区分图像分辨率、层厚、峰值电压(kilovolt peak，kvp)(120、130、140kvp)等扫描设置，即对扫描协议不设限制。
38.对采集到的3d颅脑ct图像进行预处理包括：对采集到的3d颅脑ct图像进行数据清洗、格式转换、重命名、转向、零体素填充、配准以及窗宽窗位调整，最终提取脑实质图像。其中，转向和窗宽窗位调整是可选的，可以根据需要选择这两种处理方式。
39.其中，数据清洗是将经过早期治疗(例如，引流)、有严重质量问题(例如，伪影、虚影)的数据排除，其余数据都可以使用。然后，对可以使用的全部数据依次进行：格式转换、重命名、转向、零体素填充、配准以及窗宽窗位调整。
40.根据本发明的实施方案，如果可以使用的数据是dicom格式的数据，则将其转换为nifti格式的数据；如果可以使用的数据是nifti格式的数据，则不进行格式转换处理。通过零体素填充处理将图像尺寸统一，将层厚小于4mm的图像尺寸统一改变为512
×
512
×
150体素；将层厚大于等于4mm的图像尺寸统一改变为512
×
512
×
40体素。对医疗图像的配准是将同一场景的不同图像转换到同样的坐标系统中的过程，以预选取的图像(即灰度图像中大脑中线与图像几何中线或横截面中线重合的图像)作为参考图像，其余图像作为移动图像，完成配准过程，使得每个数据的脑解剖结构在同一坐标空间下相对应。
41.图3(a)至图3(h)是以两例数据为例的预处理结果的示意图。图3(a)和图3(e)分别示出了两例原始的3d颅脑ct图像，图3(b)和图3(f)分别示出了经过配准后得到的图像，图3(c)和图3(g)分别示出了调整窗宽窗位后得到的图像，图3(d)和图3(h)分别示出了最终得到的脑实质图像。
42.在下文中，将描述利用预处理后的3d脑实质ct图像自动地生成标签图像。
43.在对原始的3d颅脑ct图像进行了预处理之后(即得到脑实质图像之后)，利用计算机视觉和机器学习的算法对预处理后的3d脑实质ct图像自动地生成脑出血标签图像和周围血肿标签图像。
44.根据脑出血的图像特征，由于脑出血的高密度区域(即，血液凝固)与邻近组织可以形成对比，可以采用阈值分割方法和聚类分割方法等方法来进行脑出血的定位和边界分割，下面以阈值分割方法和聚类分割方法为例来描述脑出血的定位和边界分割。
45.基于阈值分割方法生成脑出血标签图像是以一般脑出血的ct值范围进行单阈值
分割，从而将ct图像分为脑出血和非出血脑实质区域两大类。在本发明的实施方案中，可以直接对预处理后的3d脑实质ct图像进行单阈值分割；或者可以首先对预处理后的3d脑实质ct图像进行高斯平滑处理，这里，平滑处理系数(sigma)的最大范围值为(0，5]、优选地为[1，4]，在本实施方案中选取为1.5；然后将平滑处理后的图像进行全局阈值分割，这里，阈值的固定范围为[40，100]ct值。
[0046]
基于聚类分割方法生成脑出血标签图像是根据预处理后的3d脑实质ct图像产生多个分类，通过反复计算图像中每个体素点的隶属度，不断修正聚类中心，从而使目标函数达到最优解。其中，最后一个类别为脑出血。在本发明的实施方案中，首先对预处理后的3d脑实质ct图像进行高斯平滑处理，平滑处理系数的最大范围值为(0，5]、优选地为[1，3]，在本实施方案中选取为1.5；将平滑处理后的图像进行模糊聚类分割，这里，聚类数的最大范围为[3，10]，优选地为[3，8]，在本实施方案中选取为5。
[0047]
本发明的实施方案利用选择与3d颅脑ct值差异密切相关的阈值分割方法和聚类分割方法来进行脑出血的定位和边界分割，但是本发明也不限于上述阈值分割方法和聚类分割方法。
[0048]
利用上述计算机视觉和机器学习的算法，例如阈值分割方法和聚类分割方法，即可分割出脑出血图像。与脑出血图像的特征不同，周围水肿图像与邻近的脑脊液、白质灰度图像范围存在大量重叠，造成周围水肿图像的边界不清楚，因此难以分割出周围水肿区域，本发明的实施方案将判断周围水肿的原则和经验转化到周围水肿分割算法，增加了结果的可解释性和可靠性，周围水肿分割算法可以包括但不限于阈值分割、聚类分割、对侧差值算法。
[0049]
下面以阈值分割方法、聚类分割方法和对侧差值方法为例来描述对周围水肿的定位和边界分割。本发明的实施方案基于同一3d颅脑ct图像的脑出血标签图像来对周围水肿进行定位和边界分割。
[0050]
基于阈值分割方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定的半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定水肿初始区域，然后以一般血块周围水肿的阈值范围，在水肿初始区域上进行单阈值分割，分为水肿和非水肿区域两类。在本发明中，脑出血向外膨胀的半径的最大范围值为(0，50]体素、优选地为[10，30]体素，在本实施方案中选取为20；将点乘后的水肿初始区域进行阈值分割，这里，阈值的固定范围为[5，33]ct值。
[0051]
基于聚类分割方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定的半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定水肿初始区域，然后根据水肿初始区域产生多个分类，通过反复计算图像中每个体素点的隶属度，不断修正聚类中心，从而使目标函数达到最优解。其中，最后一个类别为周围水肿。在本发明中，脑出血向外膨胀的半径的最大范围值为(0，50]体素、优选地为[10，30]体素，在本实施方案中选取为20体素；将水肿初始区域进行模糊聚类分割，聚类数的最大范围为[3，10]，优选地为[6，10]，在本实施方案中选取为8。
[0052]
对侧差值方法生成周围水肿标签图像是将同一3d颅脑ct图像的脑出血标签图像按照一定的半径向外膨胀，并与预处理后的3d脑实质ct图像点乘确定初始水肿区域，然后以中线为基准进行镜像反转提取对侧脑相应区域，最后将两区域相减，保留差值在规定范
围内的区域即为目标水肿区域。在本发明的实施方案中，脑出血向外膨胀的半径的最大范围值为(0，50]体素，优选范围为[10，30]体素，在本实施方案中选取为20体素；保留两区域相减差值大于0的全部体素。
[0053]
本发明的实施方案根据周围水肿的图像特征，分别利用阈值分割方法、聚类分割方法和对侧差值方法来进行周围水肿的定位和边界分割，但是本发明也不限于上述的阈值分割方法、聚类分割方法和对侧差值方法。
[0054]
在上述的脑出血和周围水肿标签图像的生成中，能够利用计算机视觉和机器学习的算法(包括聚类分割方法、阈值分割方法和对侧差值方法等)快速地生成自动标签，摆脱了对人工标注的依赖。为了从不同算法获得的大量的脑出血和周围水肿标签图像中获取接近“金标准”的监督标签图像，本发明对自动生成的脑出血标签图像和周围水肿标签图像进行标签融合处理，以获得脑出血和周围水肿的监督标签图像。在下文中，将描述对自动生成的标签图像进行标签融合处理，以获得监督标签图像的过程。
[0055]
通过计算机视觉和机器学习的算法(包括聚类分割方法和阈值分割方法)生成的脑出血标签图像，图像之间会存在一定的差异。为了从不同算法获得的大量脑出血分割结果图中提取出接近“金标准”的监督标签图像，首先在不同算法的脑出血标签图像中，选取一定的膨胀半径对脑出血标签图像中的像素进行扩增，从而得到相应膨胀后的脑出血标签图像。这里，膨胀系数的最大范围值为(0，25]体素、优选地为[2，20]体素，在本实施方案中选取为[3，15]体素，以保证提高真阳性(tp)结果，便于后续监督标签图像的提取。然后，对于不同算法生成的脑出血标签图像和对应膨胀之后的脑出血标签图像，通过标签融合或者标签平均的方法，将不同算法生成的脑出血标签图像和对应膨胀之后的脑出血标签图像合成一个概率图，再通过选取一定的阈值进行二值化，阈值的最大范围值为(0，1)、优选地为[0.6，0.9]，在本实施方案中选取为0.8，最终获得每例数据对应的脑出血的监督标签图像，用于后续的网络训练。标签融合的方法可以包括例如，同步真值和性能水平估计(simultaneous truth and performance level estimation，staple)、多数投票(majorityvoting)算法等。
[0056]
通过计算机视觉和机器学习的算法(包括聚类分割方法、阈值分割方法以及对侧差值分割方法)生成的周围水肿标签图像，从结果来看分割出的水肿区域存在一定的孔洞，并且在部分边缘区域不连续。为了使周围水肿自动分割生成的标签图像更加接近真实情况，通过选取一定的半径对周围水肿标签图像进行孔洞闭合处理，闭合半径系数的最大范围值为(0，15]体素，优选地为(0，10]体素，在本实施方案中选取为5体素，从而得到相应闭合后的周围水肿标签图像。
[0057]
对于不同算法生成的周围水肿标签图像和相应闭合后的周围水肿标签图像，通过标签融合或者标签平均的方法，将大量自动分割生成的非手动周围水肿标签图像合成一个概率图，再通过选取合适的阈值进行二值化，阈值的最大范围值为(0，1)，优选地为[0.4，0.7]，在本实施方案中选取为0.6，最终获得每例数据对应的周围水肿监督标签图像，用于后续的网络训练。
[0058]
在下文中，将利用自动生成的脑出血和周围水肿监督标签图像来训练基于深度学习的脑出血和周围水肿的协同交叉分割模型，进而对脑出血和周围水肿同时进行(语义)分割。
[0059]
图4(a)至图4(c)示出了基于深度学习的脑出血和周围水肿的协同交叉分割模型的示意图。
[0060]
脑出血和周围水肿在位置和形态上具有密切的联系，且在ct图像中二者间存在融合过渡的边缘，存在一定的共享语义信息，因此脑出血与周围水肿的分割可以认为是一组配对的任务。为了更好地利用二者之间的共享信息，同时实现脑出血和周围水肿的自动分割，本发明基于孪生神经网络(siamese networks)的原理，提出了一种脑出血和周围水肿的协同交叉分割模型，将两个相同结构神经网络建立耦合架构。
[0061]
在本发明的实施方案中，构建了一个基于3d残差u-net解码-编码结构的协同交叉分割模型。参见图4(a)，该协同交叉分割模型可以包括出血分割网络和周围水肿分割网络，每个神经网络以编码-解码的3d残差u-net框架作为骨干网络，并设置了空间注意力和通道注意力模块，用于在网络内部或网络间传递信息。
[0062]
两个神经网络的编码器部分可以共享相同的权重，也可以相互独立，不共享权重。两个神经网络输入有相同的标签图像，分别输出脑出血的深度学习分割结果和周围水肿的深度学习分割结果。
[0063]
如图4(a)所示，出血分割网络和周围水肿分割网络分别包括一个编码器和一个解码器。出血分割网络和周围水肿分割网络的编码器中下采样的层数与解码器中上采样的层数相等。例如，出血分割网络的编码器可以包括第一层至第n层，解码器可以包括第一层至第n-1层；周围水肿分割网络的编码器可以包括第一层至第n层，解码器可以包括第一层至第n-1层，其中，n为整数，n≥5。
[0064]
除编码器的最底层(第n层)之外，编码器的每一层之后均设置有一层下采样模块，如图4(a)的箭头所示，对编码器生成的特征图进行下采样，缩小特征图尺寸。除编码器的最底层之外，编码器的每一层的输出都会同时传递给下采样模块和对应层的空间注意力模块和通道注意力模块。在解码器的每一层之前，均设置有上采样模块，用于对特征图进行上采样，增大特征图尺寸，经过最后一次上采样后，得到与输入图像相同尺寸的特征图，最后几层解码器的输出结果将被叠加，通过一层卷积和sigmoid激活函数输出最终出血或水肿标签的概率图(概率在0-1之间)，以0.5为阈值进行二值化得到最终的分割结果。
[0065]
出血分割网络的编码器除最底层外的各层都通过空间注意力模块与出血分割网络的解码器的相对应层连接，并且周围水肿分割网络的编码器除最底层外的各层也都通过空间注意力模块与周围水肿分割网络的解码器的相对应层连接。例如，如图4(a)所示，出血分割网络的编码器的第一层可以与其解码器的第一层连接、出血分割网络的编码器的第二层可以与其解码器的第二层连接、
……
、出血分割网络的编码器的第n-1层可以与其解码器的第n-1层连接。类似地，周围水肿分割网络的编码器的第一层可以与其解码器的第一层连接、周围水肿分割网络的编码器的第二层可以与其解码器的第二层连接、
……
、周围水肿分割网络的编码器的第n-1层可以与其解码器的第n-1层连接。
[0066]
具体地，如图4(b)所示，编码器中某层的输出经过空间注意力模块，得到经过空间加权后的特征图，该空间加权的特征图再与本网络解码器中对应的上采样模块的输出(该输出经过了通道注意力模块输出的系数加权)在通道上拼接，输入至本网络的解码器。其中，在空间注意力模块的内部会对输入的特征图的每一点计算一个权重，然后将权重乘以输入的特征图，从而在空间上抑制无关区域的信息，主要关注与出血或水肿分割相关的区
域。空间注意力模块可以为但不限制于基于卷积模块的注意力机制模块、注意力门、transformer模块。
[0067]
进一步地，出血分割网络编码器除底层外的各层或部分层可以通过通道注意力模块与周围水肿分割网络的解码器的相对应层交叉连接，并且周围水肿分割网络编码器除底层外的各层或部分层可以通过通道注意力模块与出血分割网络的解码器的相对应层交叉连接。例如，如图4(a)所示，出血分割网络的编码器的第一层可以与周围水肿分割网络的解码器的第一层交叉连接、出血分割网络的编码器的第二层可以与周围水肿分割网络的解码器的第二层交叉连接、
……
、出血分割网络的编码器的第n-1层可以与周围水肿分割网络的解码器的第n-1层交叉连接。类似地，周围水肿分割网络的编码器的第一层可以与出血分割网络的解码器的第一层交叉连接、周围水肿分割网络的编码器的第二层可以与出血分割网络的解码器的第二层交叉连接、
……
、周围水肿分割网络的编码器的第n-1层可以与出血分割网络的解码器的第n-1层交叉连接。
[0068]
具体地，如图4(c)所示，编码器中某层的输出经过通道注意力模块，为另一网络解码器中对应层的上采样模块的输出各通道计算权重，然后与各通道的特征图相乘，实现对不同的通道加权，突出与另一网络分割任务有关通道的重要性，抑制无关通道的信息传递。通道注意力模块可以为但不限制于基于卷积模块的注意力机制模块、注意力门、transformer模块。
[0069]
此外，该协同交叉分割模型利用dice相似性系数(dice coefficient)损失函数，初始卷积核权重从高斯分布中得到，然后使用随机梯度下降优化器对模型进行了优化。
[0070]
在实验过程中分别设置了不同的交叉层数和位置，以得到最优的实验结果，如下的表1示出了不同交叉模式的网络输出与人工手动分割标签的对比实验结果。
[0071]
[表1]
[0072][0073]
其中，表1中的顶层、底层是指编码器和解码器中有交叉的层中的最顶层或最底层。dsc(dice similarity coefficient)表示分割所得的脑出血和周围水肿的空间重叠程度，0表示无重叠，1表示逐个像素完全一致。召回率(recall)表示真实的正样本占所有样本的比例，即召回了多少正样本的比例，其取值在0至1之间。精度(precision)表示当前网络输出的分割图像中，真实的正样本占网络分割结果图的比例，其取值在0至1之间。
[0074]
从实验结果可以看出，在协同交叉分割模型选取不同的交叉模式时，无底层两层交叉的模式在整体脑出血和周围水肿的分割结果上可以取得最佳的结果。
[0075]
图5(a)至图5(e)、图6(a)至图6(e)、图7(a)和图7(b)是根据本发明的实施方案的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统以两例数据为例的分割结果的示意图。
[0076]
利用基于深度学习的脑出血和周围水肿的协同交叉分割模型可以输出脑出血和周围水肿的分割结果，从而可以直观地展示脑出血和周围水肿的位置，从而进行三维的颅骨、脑出血、周围水肿叠加(透视)显示。
[0077]
其中，图5(a)表示一例二维的原始的脑出血ct图像；图5(b)和图5(c)分别表示表示二维的脑出血网络分割结果和人工手动分割结果；图5(d)和图5(e)分别表示二维的周围水肿网络分割结果和人工手动分割结果。图6(a)表示另一例二维的原始的脑出血ct图像；图6(b)和图6(c)分别表示二维的脑出血网络分割结果和人工手动分割结果；图6(d)和图6(e)分别表示二维的周围水肿网络分割结果和人工手动分割结果。图7(a)和图7(b)分别表示两例三维的脑出血和周围水肿的网络分割结果。
[0078]
在分割出结果之后，还可以进行形态学测量，例如，体积、表面积、平均宽度、厚度、比表面积等。其中，体积的计算方法是将标签值为1的体素个数与单个体素的体积相乘；表面积计算方法是根据移动立方体(marching cube)的面绘制算法对分割结果进行表面重建，得到以数个三角形面片组成的三维模型表面。可以根据海伦(heron)公式来计算每个三角形面片的面积。可以将所有三角形面片的面积求和，即得到总表面积。其余指标值均根据体积和表面积进行计算。
[0079]
因此，本发明的基于自动生成标签的脑出血和周围水肿的协同交叉分割系统结合计算机视觉和机器学习的算法自动生成脑出血和周围水肿的监督标签图像，并且基于脑出血和周围水肿的监督标签图像来训练协同交叉分割模型，从而得到精准的脑出血和周围水肿的分割结果，并进行三维颅骨、脑出血、周围水肿叠加(透视)显示。该系统普适性强，智能化程度高，不依赖于人工或专家标签，也不局限于单一来源或单一扫描协议的ct颅脑数据。
[0080]
尽管为了描述清楚起见，以上描述的本发明的示例方法被表示为一系列操作，但是其并不旨在限制执行步骤的顺序，并且每个步骤可以同时执行或以所需的不同的顺序执行。为了实施根据本发明的方法，所示出的步骤可以进一步包括其他步骤，可以包括除某些步骤以外的其余步骤，或者可以包括除某些步骤以外的其他附加步骤。
[0081]
本发明的各种实施方案并非所有可能组合的穷举性列表，而是旨在描述本发明的代表性方面，并且以各种实施方案描述的内容可以独立地或以两种或更多种的组合来应用。
[0082]
另外，可以通过硬件、固件、软件或其组合来实施本发明的各种实施方案。硬件可以通过图形处理器(gpu)或其它专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、通用处理器、控制器、微控制器、微处理器等的一个或更多个来实现。
[0083]
本发明的范围旨在包括软件或机器可执行指令(例如，操作系统、应用程序、固件、程序等)以及非易失性计算机可读介质，软件或机器可执行指令使根据各种实施方案的操作在装置或计算机上执行，非易失性计算机可读介质在存储有这种软件或指令等的设备或计算机上可执行。
[0084]
以上示例性实施方案所呈现的描述仅用以说明本发明的技术方案，并不想要成为
毫无遗漏的，也不想要把本发明限制为所描述的精确形式。显然，本领域的普通技术人员根据上述教导作出很多改变和变化都是可能的。选择示例性实施方式并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员便于理解、实现并利用本发明的各种示例性实施方式及其各种选择形式和修改形式。本发明的保护范围意在由所附权利要求书及其等效形式所限定。