3D图像的分割学习网络的训练方法、分割方法、分割装置和介质与流程

本申请要求于2018年5月24日提交的申请号为62/675,765的美国临时申请的优先权，其全部内容通过引用结合于此。本公开大体涉及图像处理和分析。更具体地，本公开涉及用于3d图像分割的学习网络的训练方法、3d图像的分割方法和分割装置以及其上存储有相应程序的非暂时性计算机可读的介质。
背景技术：
：癌症是人类面临的重大疾病之一，癌症的早期检测能够大大增加存活率。但是，早期肿瘤通常形状不规则且在相应医学图像中所占比例很小。以鼻咽癌(npc)为例，其是最常见的癌症之一，占所有癌症的0.7％。从1990年到2010年，鼻咽癌所导致的全球死亡人数从45,000例增长到65,000例。死亡人数每年增加约80,000例新病例。就死亡率增长数量而言，npc排在第23位。mri，尤其3dmri扫描，是早期检测鼻咽癌(npc)和各种分期肿瘤的重要成像模态。在第一次npc诊断过程中，临床医生通常会逐切片手动勾画npc边界。由于需要处理大量图像，该手动过程繁琐、耗时且容易出错。为了提高效率和准确性，临床医生经常使用计算机辅助工具来完成分割任务。目前提出了各种基于机器学习的分割算法视图满足临床对诸如分期肿瘤的小病灶的分割和检测需求。例如，一个扩展是segnet，其利用编码网络来编码特征，并利用解码网络来恢复图像分辨率和预测分割蒙版。例如，deeplab在应用全卷积神经网络后使用了全连接条件随机场的分割细化方法，以试图得到更好的分割。目前2d版本的deeplab类学习网络已经扩展为3d版，以试图解决心血管的3dmri图像的分割问题。此外，u-net也被广泛应用于医学图像分割。但是，这些算法无法满足诸如npc的关注对象的临床检测和分割需求，至少出现如下技术问题。不同受检者之间，肿瘤的不规则形状和尺寸发生巨大变化，例如，小尺寸和不规则形状对算法提出了更高的要求。在mri数据中，作为前景的关注对象与背景的边界对比度通常是模糊的，即便对于有经验的专家来说，准确勾画肿瘤的边界也是繁琐的任务。图1(a)示出了第一患者的mri图像，图1(b)中分别以白实线和黑实线示出了两位专家对该同位患者的同一幅mri图像的npc区域的标注结果，可以观察到两个标注结果之间存在很大的不一致。图2(a)和图2(b)示出了第二患者的mri图像以及两位专家对其的npc区域的标注结果，也可以观察到两个标注结果之间存在很大的不一致。作为前景的关注对象只占整个图像的一小部分，在学习网络的训练中会导致严重的前景背景失衡问题，进而导致训练困难。此外，由于准确勾画肿瘤边界的繁琐性，导致训练样本稀缺，这通常会导致学习网络的过拟合问题。提出本公开以解决以上问题。技术实现要素：本公开意图提供一种3d图像的分割学习网络的训练方法、分割方法、分割装置和介质，其能够以结构更紧凑且参数更少的学习网络实现对不规则且小型的关注对象的快速且准确的分割，且该结构更紧凑且参数更少的学习网络的训练过程能够解决样本和前景背景的失衡问题，并尽量避免训练样本缺乏所导致的过拟合问题。根据本公开各个实施例的第一方案，提供了一种3d图像的分割学习网络的训练方法，所述3d图像中包含关注对象且关注对象在其中占据的比例低于预定阈值，所述训练方法包括：基于多个密集块的依序联合构建所述分割学习网络，所述密集块内的基本单元之间具有密集连接，所述基本单元由批量归一化层、relu层和卷积层组成；由处理器，基于3d图像的训练数据集，利用损失函数对所述分割学习网络进行训练，所述损失函数更关注困难样本且对远离所述关注对象的负面体素进行惩罚。根据本公开各个实施例的第二方案，提供了一种3d图像的分割方法，所述分割方法包括：获取由图像采集装置采集的3d图像；基于所获取的3d图像利用训练好的分割学习网络进行分割，其中，所述分割学习网络基于卷积层、多个密集块、解卷积层和输出层的依序联合而构成，所述密集块内的基本单元之间具有密集连接，所述基本单元由批量归一化层、relu层和卷积层组成，且所述分割学习网络的训练所利用的损失函数更关注困难样本且对远离所述关注对象的负面体素进行惩罚。根据本公开各个实施例的第三方案，提供了一种3d图像的分割装置，所述分割装置包括：接口，其配置为接收由图像采集装置采集的3d图像；处理器，其配置为：执行根据本公开各个实施例的3d图像的分割学习网络的训练方法；和/或执行根据本公开各个实施例的3d图像的分割方法。根据本公开各个实施例的第四方案，提供了一种其上储存有计算机程序的非暂时性计算机可读的介质，其中，所述计算机程序由至少一个处理器执行时，实现：根据本公开各个实施例的3d图像的分割学习网络的训练方法；和/或根据本公开各个实施例的3d图像的分割方法。利用根据本公开各个实施例的3d图像的分割学习网络的训练方法、分割方法、分割装置和介质，能够以结构更紧凑且参数更少的学习网络实现对不规则且小型的关注对象的快速且准确的分割，且该结构更紧凑且参数更少的学习网络的训练过程能够解决样本和前景背景的失衡问题，并尽量避免训练样本缺乏所导致的过拟合问题，训练成功率更高。应当理解，前面的大体描述以及后续的详细描述只是例示性的和说明性的，并非对所要求保护的本发明的限制。附图说明在未必按照比例绘制的附图中，不同视图中相似的附图标记可以表示相似的构件。具有字母后缀的相似附图标记或具有不同字母后缀的相似附图标记可以表示相似构件的不同实例。附图通常作为示例而非限制地图示各种实施例，并且与说明书和权利要求书一起用于解释所公开的实施例。图1(a)和图1(b)分别示出第一患者的mri图像以及两位专家对其中鼻咽癌区域的标注对比图；图2(a)和图2(b)分别示出第二患者的mri图像以及两位专家对其中鼻咽癌区域的标注对比图；图3示出根据本公开实施例的3d图像的分割学习网络的训练方法的流程图；图4示出根据本公开实施例的密集块的结构示意图；图5示出根据本公开实施例的3d图像的分割学习网络的架构示意图；图6示出根据本公开实施例的3d图像的分割系统的示意性图示；图7示出根据本公开实施例的3d图像的分割装置的示意性框图；图8示出包含鼻咽肿瘤的原始mri图像、分别在其上由医师标注的真值分割结果、利用本公开的实施例的分割方法的分割结果、利用u-net学习网络实现的分割结果以及利用deeplab学习网络实现的分割结果的对比图示；图9(a)和图9(b)示出在原始mri图像上由医师标注的真值边界以及利用加权交叉熵作为损失函数训练好的分割学习网络对鼻咽肿瘤的分割结果的对比图示。具体实施方式图3示出根据本公开实施例的3d图像的分割学习网络的训练方法300的流程图。该分割学习网络及其训练方法尤其适用于关注对象占据比例低于预定阈值(前景背景某种程度上失衡)的3d图像。在一些实施例中，所述预定阈值在0.0001％到30％的范围内。例如，包含鼻咽癌或鼻咽分期肿瘤的脑部3dmri图像、包含尺寸较小的肺结节的腹部3d容积ct图像、包含尺寸较小且形状不规律的不明部位的早期病变的全身3d容积ct图像等等。如图3所示，该方法300始于步骤301，其基于多个密集块的依序联合构建所述分割学习网络，所述密集块内的基本单元之间具有密集连接，所述基本单元由批量归一化层、relu层(作为示例)和卷积层组成。分割学习网络基于多个密集块的依序联合来构建，而无需像u-net那样依赖于层叠的解卷积(转置卷积)层或上采样层，能够减少可观数量的可学习权重，相应减少模型复杂度。进一步地，这种构造的分割学习网络在训练中的过拟合问题显著减轻。在一些实施例中，所述密集块的示例性结构可以参见图4所示，其中，以包括4个基本单元的密集块为例对其进行说明。如图4所示，所述密集块包括依序联合的4个基本单元，第一基本单元由第一批量归一化层401、第一激活函数层402和第一卷积层403构成，第二基本单元由第二批量归一化层404、第二激活函数层405和第二卷积层406构成，第三基本单元由第三批量归一化层407、第三激活函数层408和第三卷积层409构成，第四基本单元由第四批量归一化层410、第四激活函数层411和第四卷积层412构成。本文中的技术术语“密集块”旨在表示其中的基本单元的输入可以跨一个或数个基本单元联合(图4中示出为)到下游的至少一个基本单元的输出。图4中示出了每个基本单元的输入联合到下游的每个基本单元的输出，例如，第一基本单元的输入联合到第一基本单元、第二基本单元、第三基本单元和第四基本单元的输出，第二基本单元的输入联合到第二基本单元、第三基本单元和第四基本单元的输出，第三基本单元的输入联合到第三基本单元和第四基本单元的输出，而第四基本单元的输入联合到其输出。这仅仅作为示例，本文中的技术术语“密集块”旨在表示其中的基本单元的输入可以跨一个或数个基本单元联合(图4中示出为)到下游的至少一个基本单元(未必是每个基本单元)的输出。这种密集连接使得信息能够从上游层在前向路径上传输到下游层，并缓解了梯度爆炸和梯度消失问题。在一些实施例中，各个激活函数层可以采用各种激活函数，包括但不限于relu、sigmoid、tanh、softmax等等。所述方法100接着执行步骤102，由处理器，基于3d图像的训练数据集，利用损失函数对所述分割学习网络进行训练，所述损失函数更关注困难样本且对远离所述关注对象的负面体素进行惩罚。利用这样的损失函数，能够解决样本失衡的问题(也就是医师标注关注对象难度越大的样本越难获得，导致这种困难样本与其他样本之间的失衡)；还能够解决样本中作为前景的关注对象(例如尺寸较小形状不规律的分期肿瘤)与背景之间的失衡问题。具体说来，在一些实施例中，该损失函数在普通损失函数(包括但不限于交叉熵、平方差等)的基础上，引入了困难样本关注因子，其构造为对困难样本的损失函数的幅值进行扩大，例如可以基于体素与真实标签相符的概率来构造，等等，从而将更多关注置于困难样本，从而实现训练过程中充分利用困难样本；还引入了负面体素惩罚因子，其构造为对与真值区域(医师标注的关注对象区域)距离较远的体素的损失函数的幅值进行扩大，例如可以基于体素与各个真值区域的距离来构造，等等，从而将更多关注置于关注对象及其附近的区域，从而在解决样本失衡和前景背景失衡的问题，提高训练的成功率。在一些实施例中，所述损失函数可以利用以下公式(1)来表示：l＝-wd(1-pt)rlog(pt)，公式(1)其中，l表示损失函数，r为大于0的常数；在真实标签为前景(也就是医师将相应体素标注为属于诸如鼻咽癌或鼻咽分期肿瘤的关注对象)的情况下，pt表示相应体素为前景的概率，且wd＝1；在真实标签并非前景(也就是医师没有将相应体素标注为属于所述关注对象)的情况下，pt为1减去相应体素为前景的概率所得的值，且其中，k为大于0的超参数，gt表示所述关注对象的真值区域，v表示体素，d(gt,v)表示gt与v之间的欧氏距离，gts表示所述关注对象的真值区域的集合。其中，(1-pt)r用作困难样本关注因子，而wd用作负面体素惩罚因子。在一些实施例中，r可以为任何大于0的常数，例如但不限于1，2，3，4，5，6……等，优选为2。在一些实施例中，可以在密集块的末端添加有特征金字塔以及其后的瓶颈层，如图5所示，所述瓶颈层被配置为减少特征映射的数量。通过特征金字塔可以携载多尺度和分层形状语义信息，从而更有效地分割不同尺寸的关注对象并感知分层上下文信息。在一些实施例中，特征金字塔可以通过联合不同尺寸的特征映射来生成。例如，如图5所示，可以通过联合由三个扩张卷积层生成的特征映射来实现，各个扩张卷积层的扩张率分别为1、2和4，大于1的扩张率允许相应的特征映射感知更大的感受野。具体说来，该特征金字塔经由并联三个扩张路径并将每个扩张路径所得的特征映射进行联合来实现，其中，每条扩张路径包括批量归一化层、激活函数层(诸如relu层)和扩展卷积层。在一些实施例中，所述瓶颈层可以利用卷积核为1×1×1的卷积层来实现，例如可以通过批量归一化层、relu层和该卷积核为1×1×1的卷积层的依序连接来实现。在一些实施例中，可以提供一种3d图像的分割方法，所述分割方法可以始于获取由图像采集装置采集的3d图像。然后，基于所获取的3d图像，利用根据本公开各个实施例的训练方法(所利用的损失函数更关注困难样本且对远离所述关注对象的负面体素进行惩罚)所训练好的分割学习网络，对该3d图像进行分割。其中，所述分割学习网络可以基于卷积层、多个密集块、解卷积层和输出层的依序联合而构成，所述密集块内的基本单元之间具有密集连接，所述基本单元由批量归一化层、relu层和卷积层组成(如图4和图5所示)。以基于4个密集块构造的具有特征金字塔的分割学习网络为例对其进行说明。3dmri图像输入在密集块上游，首先馈送到最早卷积层，该最早卷积层使用较大的奇数卷积核，例如维度是3到7的范围内的奇数的3d卷积核且步长为1到3。通过使用较大的卷积核尺寸，能够提高计算效率并允许分割学习网络感知大的感受野，而将其维度设置为奇数，更便利卷积运算。在一些实施例中，最早卷积层的卷积核尺寸为5×5×5且步长为2，如图5所示。接下来，使用4个利用分层特征金字塔调整后的密集块。在一些实施例中，所述密集块可以包括4个基本单元，每个基本单元由批量归一化层、relu层和卷积核尺寸为3×3×3的卷积层组成。在一些实施例中，密集连接不仅可以发生在密集块的基本单元之间，也可以发生在密集块之间，如图5所示，各个密集块的输入可以跨一个或数个密集块联合(图5中示出为)到下游的至少一个密集块(未必是每个密集块)的输出。这种密集连接使得信息能够从上游层在前向路径上传输到下游层，并缓解了梯度爆炸和梯度消失问题。在一些实施例中，各个密集块的输入可以联合到其及其下游的每个密集块的输出。虽然在图4和图5中，基本单元之间以及密集块之间均没有引入其他层，但这仅仅作为示例，在一些实施例中，也可以按照需求在此引入池化层、卷积层等等。第四密集块的输出可以馈送到解卷积层，所述解卷积层的维度和步长可以与所述上游的卷积层例如最早卷积层的维度和步长相同，例如卷积核尺寸为5×5×5且步长为2，从而恢复图像分辨率。解卷积层的输出馈送到输出层，所述输出层可以利用1×1×1的卷积层或全连接层来实现，从而得到预测分割结果。图6示出根据本公开实施例的3d图像的分割系统600的示意性图示。如图6所示，3d图像分割系统600可以包括学习网络构建单元601和分割单元604。所述学习网络构建单元601可以配置为基于多个密集块的依序联合构建所述分割学习网络，所述密集块内的基本单元之间具有密集连接，所述基本单元由批量归一化层、relu层和卷积层组成。学习网络构建单元601可以将所构建的分割网络传输给训练单元602，训练单元602配置为基于3d图像的训练样本数据库603所提供的训练样本数据集，利用损失函数对所述分割网络进行训练，所述损失函数更关注困难样本且对远离所述关注对象的负面体素进行惩罚。训练好的分割网络可以从训练单元602馈送到分割单元604，以便其对来自医学图像数据库605的3d医学图像进行分割，以得到分割结果。图7图示出了根据本公开的一些实施例的示例性3d图像分割装置700。在一些实施例中，3d图像分割装置700可以是专用计算机或通用计算机。例如，3d图像分割装置700可以是为医院定制的计算机，以执行图像采集和图像处理任务。如图7中所示，3d图像分割装置700可以包括通信接口703、处理器704、存储器705、储存器706和显示器707。在一些实施例中，通信接口703可以包括网络适配器、电缆连接器、串行连接器，usb连接器、并行连接器、高速数据传输适配器(诸如光纤、usb3.0、雷电接口等)、无线网络适配器(诸如wifi适配器)、电信(3g、7g/lte等)适配器等。3d图像分割装置700可以通过通信接口703连接到其他构件，例如图6中示出的3d图像分割系统600中的其他构件。在一些实施例中，通信接口703从图像采集装置702接收医学图像。例如，图像采集装置702可以包括3dmri扫描仪、3dct扫描仪、3d超声扫描仪等等。在一些实施例中，所述3d图像可以包括3dmri图像、3d容积ct图像、3d超声图像中的任何一种。在一些实施例中，通信接口703还从网络训练装置701接收诸如训练好的分割学习网络等等。在一些实施例中，处理器704可以是包括一个以上通用处理设备的处理设备，诸如微处理器、中央处理单元(cpu)、图形处理单元(gpu)等。更具体地，该处理器可以是复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。该处理器还可以是一个以上专用处理设备，诸如专用集成电路(asic)、现场可编程门阵列(fpga)、数字信号处理器(dsp)、片上系统(soc)等。处理器704可以通信地耦合到存储器705并且被配置为执行存储在其上的计算机可执行指令，以执行诸如根据本公开各实施例的3d图像分割学习网络的训练方法、利用训练好的分割学习网络对3d图像的分割方法。在一些实施例中，存储器705/储存器706可以是非暂时性计算机可读的介质，诸如只读存储器(rom)、随机存取存储器(ram)、相变随机存取存储器(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、电可擦除可编程只读存储器(eeprom)、其他类型的随机存取存储器(ram)、闪存盘或其他形式的闪存、缓存、寄存器、静态存储器、光盘只读存储器(cd-rom)、数字通用光盘(dvd)或其他光学存储器、盒式磁带或其他磁存储设备，或被用于储存能够被计算机设备访问的信息或指令的任何其他可能的非暂时性的介质等。在一些实施例中，储存器706可以储存训练好的分割学习网络和数据，该数据诸如为原始医学图像、提取的图像特征、在执行计算机程序的同时所接收的、所使用的或所生成的各种数据等。在一些实施例中，存储器705可以储存计算机可执行指令，诸如一个以上图像处理程序，以实现诸如图6中所示的分割单元604的功能。在一些实施例中，处理器704可以在显示器707上呈现3d图像的分割结果(例如是否存在肿瘤及其分布情况)和/或其他数据的可视化。显示器707可以包括液晶显示器(lcd)、发光二极管显示器(led)、等离子显示器或任何其他类型的显示器，并提供显示器上呈现的图形用户界面(gui)用于用户输入和图像/数据显示。根据本公开，网络训练装置701可以具有与3d图像分割装置700相同或相似的结构。网络训练装置701和3d图像分割装置700也可以整合为同个装置。根据本公开的各个实施例的训练方法和分割方法在120幅患者的3dmri扫描图片上执行，以与现有的各种算法进行比较。所有扫描图片由同一家医院通过使用飞利浦公司的achieva3t型号的mri扫描系统来采集得到，其中，每张扫描图片包括鼻咽癌作为关注对象。使用了t1高分辨率各向同性容积激发(thrive)扫描以及造影剂，因为这种方案比其他mri成像方案提供更好的肿瘤可见性。thrive扫描具有0.61×0.61×0.8mm3的体素大小且图像尺寸为528×528×290。由经验丰富的放射肿瘤学家逐切片地进行鼻咽肿瘤的手动真值(groundtruth)分割。考虑到所采集的mri图像从头到颈包括较大的扫描容积而鼻咽肿瘤占用头部中的小区域，首先从中选择了包含鼻咽肿瘤的颈部上方的头部容积。然后，对thrive扫描图像进行重新采样以得到1.0×1.0×1.0mm3的分辨率。接着，在定位肿瘤位置后，每张图像被裁减到160×198×104的固定尺寸。较大的感受野对鼻咽切除和肿瘤分割非常重要，因此可以使用整个裁减后的图像数据作为训练输入，来确保充分大的感受野。在训练期间，仅仅进行了镜像在线增强。将根据本公开各个实施例的训练方法和分割方法与u-net和deeplab学习网络对相同数据集的3d图像的分割结果进行对比。u-net是医学图像分割中广泛使用的网络，对比中使用的是u-net的3d版本。deeplab学习网络目前被用于对2d照片图像进行语义分割。在对比实验中，实现并应用了deeplab学习网络的3d版本。执行了5折交叉验证。在每次交叉验证中，87个样本被用作训练样本，9个样本被用作验证样本，而24个样本被用作测试样本。使用tensorflow来实现所有比较的算法，且使用了adam优化器。在验证集上选择了学习率和权重衰减。小批量尺寸设为1且利用40个时期(epoch)执行了训练。可以采用各种度量来定量评估各种算法的分割性能。在本公开中，使用了平均对称表面距离(assd)、dice相似系数(dsc)以及f1分数度量。这些度量定义为如下：其中，gts和prs分别表示真值(也称为地面真值，groundtruth)和预测分割的表面体素集合，count表示计数，gt和pr分别表示真值和预测分割的结果标签，p表示准确率而r表示召回率。gt表示所述关注对象的真值区域，p表示体素，d(gt,p)表示gt与体素p之间的距离，包括但不限于欧氏距离。首先，利用交叉熵作为损失函数对根据本公开实施例的分割学习网络(简称为ddnet)、3du-net网络和3ddeeplab类网络进行训练，并将训练好的各个网络应用于所有样本，以得到相应的平均量化评估结果，如表格1所示。表格1使用ddnet(使用交叉熵作为损失函数)、3du-net网络和3ddeeplab类网络对3dmri图像的分割结果的量化评估对比学习网络assddscf1得分参数量ddnet1.596mm0.7110.7281.4m3du-net1.675mm0.69470.71819.0m3ddeeplab类2.201mm0.5550.5896.9m接着，使用公式(1)所示的损失函数对ddnet、3du-net网络和3ddeeplab类网络进行训练，并将训练好的各个网络应用于所有样本，以得到相应的平均量化评估结果，如表格2所示。表格2使用ddnet(使用公式(1)的损失函数)、3du-net网络和3ddeeplab类网络对3dmri图像的分割结果的量化评估对比学习网络assddscf1得分ddnet1.399mm0.7210.7353du-net1.622mm0.7020.7243ddeeplab类1.315mm0.6720.690从表格1和表格2均可以看到，ddnet按照assd、dsc和f1分数评估都显著优于其他算法。通过利用公式(1)的损失函数对ddnet进行训练，所得的训练好的ddnet可以获得平均0.721的dsc值以及平均1.399mm的assd值。图8从左到右分5列，分别示出包含鼻咽肿瘤的原始mri图像、分别在其上由医师标注的真值分割结果、利用本公开的实施例的分割方法(ddnet配合公式(1)的损失函数进行训练)的分割结果、利用u-net学习网络实现的分割结果以及利用deeplab学习网络实现的分割结果的对比图示。可以看到，根据本公开的实施例的分割方法能够实现对3dmri图像中鼻咽肿瘤的精确分割，与真值分割结果吻合度更高，分割效果优于现有的u-net学习网络和deeplab学习网络。图9(a)和图9(b)示出在两幅原始mri图像上由医师标注的真值边界(用白实线勾画)以及利用加权交叉熵作为损失函数所训练好的学习网络对鼻咽肿瘤的分割结果(用灰实线勾画)的对比图示，其中，采用了图5所示的分割学习网络，交叉熵的权重则采用了负样本的计数与正样本的计数的比率。可以看到，在两幅原始mri图像上，训练好的学习网络的分割结果都比真值分割区域大得多，且仅仅得到平均0.486的dsc值和平均3.765的assd值。也就是说，同样的分割学习网络的分割表现受到其训练使用的损失函数的影响；利用根据本公开的各个实施例的损失函数对同样的分割学习网络进行训练，也能够显著提高训练好的该分割学习网络的分割表现。以上描述旨在说明性的而不是限制性的。例如，上述示例(或其一个或多个方案)可以彼此组合使用。本领域普通技术人员在查看以上描述时可以使用其他实施例。而且，在上面的详细描述中，各种特征可以被组合在一起以简化本公开。这不应被解释成意图让不要求保护的公开特征对于任何权利要求而言都是必不可少的。而是，发明主题可以在于比一个公开的实施例的所有特征少的特征组合。因此，以下权利要求由此作为示例或实施例并入到具体实施方式中，其中每个权利要求独立作为单独的实施例，并且可以构想的是，这些实施例可以以各种组合或置换来相互组合。本发明的范围应该参考所附权利要求以及赋予这些权利要求的等同物的全部范围来确定。当前第1页12