一种集成二维最优分割的三维图像分割方法

本发明是集成二维最优分割的三维图像分割方法，属于图像分割领域。

背景技术：

1、图像分割是图像处理中的一项关键技术，也是一道难题，计算机视觉领域深度网络的兴起为经典图像处理技术表现不佳的问题提供了最先进的解决方案。在图像识别的任务中，包括目标检测、图像分类和分割、活动识别等问题，可以很容易地通过使用深度神经网络(英文全称，dnn)取得卓越的性能。其中，三维图像分割是计算机视觉中的一个基本且具有挑战性的问题，在自动驾驶、机器人、增强现实和医学图像分析等领域有着广泛的应用，它受到了计算机视觉、图形和机器学习社区的极大关注。

2、传统，三维图像分割主要通过人工设计的特征和工程方法进行，人工设计特征容易受到研究者的主观影响，导致精度较差，并且无法推广到大规模数据上。在二维计算机视觉巨大成功的推动下，深度学习技术也成为三维分割任务的首选。近年来，三维分割图像领域中涌现出大量相关工作，并且已经在不同的基准数据集上进行了评估，使用深度学习技术的三维分割取得了重大进展。然而，这仅仅是一个开始，重要的发展以及出现的问题正摆在面前，一些悬而未决的问题如下所述：图像分割是对原始图像中的鉴别性区域进行分割，但是，基于原始图像是三维的，三维层面做分割存在以下限制：(1)标记三维数据要比标记二维数据难得多，这会导致深度学习模型由于过拟合而失败；(2)此外，三维模型复杂度比二维模型高，超参数要更多，收敛速度更慢，内存需求更大。因此，本发明提出了将三维图像转到二维层面的方法，将三维图像分割问题分解为多张二维图像分割问题，通过将多张二维层面最优的分割集成到三维层面来实现三维图像的分割。此方法降低了模型复杂度，同时显著提高了分割精度，有助于图像分割任务的开展。

3、现有的二维图像分割研究包括两个方向：传统的无监督分割方法和深度学习方法。

4、传统的无监督分割方法方面，fan等人[1]通过二维小波边缘高亮的技术定位到图像区域，且基于二维灰度阈值的最小误差法能够更好地抑制噪声，使用该方法来进行灰度图像的分割。传统的分割方法有先验知识的指导，可用于鉴别性区域的分割，能解决某些特定场景的、可人工定义、设计、理解的图像任务，并且效果好，可解释性更强，性能更好。但是，传统的分割方法主要依赖于人工预定义特征设计的特征提取器，需要有专业知识及复杂的调参过程，每个方法都是针对具体的图像类别应用，泛化能力及鲁棒性较差。

5、深度学习分割方法方面，issam等人[2]基于点级注释便于标记切片的优点，在标记为点级监督的分割数据集上将基于一致性(cb)的损失函数应用到弱监督模型下进行训练，并使用弱监督语义分割的自我监督方法，通过鼓励输出预测与输入图像的空间转换保持一致得到最终的分割结果。yang等人[3]引入了基于生成对抗网络的框架，从异常切片中生成外观正常的切片，并通过特征匹配的策略引导生成器获取正常图像的纹理来提高生成图像的真实性，最后从生成器的输入中减去输出的正常图像来获得所需的鉴别性区域定位图。深度学习的分割方法基于有效的监督信息，用于鉴别性区域的分割。该方法效果优异，且无需复杂的调参过程。根据大量样本的学习能够得到深层的、数据集特定的特征表示，其对数据集的表达更高效和准确，所提取的抽象特征鲁棒性更强，泛化能力更好，并且可以是端到端的。但是，深度学习图像分割方法仍具有以下限制：(1)二维图像分割需要大量的像素级别标签，由于像素级标签的标注费时费力，而且获得高质量、带注释的数据的途径往往有限，无法满足深度学习数据驱动的要求；(2)数据驱动的深度学习模型取决于不同的训练集，每训练一次都需要大量的数据标注，样本集对模型的影响较大，对于算力的要求较高，数据标注成本消耗大。

6、以上两种方法均可以在一定程度上分割鉴别性区域，但是都存在优缺点。目前，针对像素级别标签收集费时又费力的问题，弱监督语义分割(仅需要图像级别信息)提供了一种新的解决方案。例如，通过图像级别标签、边界框标注生成的伪标签，就可以达到与全监督方法相当的分割性能。其中，类激活映射图(class activation mapping,cam)是一种通过图像分类结果来定位显著目标的有效策略。通过简单地将类激活映射上采样到输入图像的大小，可以识别与特定类别最相关的图像区域。此外，类激活映射便于在任何给定图像上可视化预测的类别概率，突出显示深度学习模型所检测到的最具鉴别性的对象部分。经过分类训练的深度学习模型可以学习执行对象的定位，而无需使用任何边界框注释。然而，类激活映射方法通常具有两方面问题：一是目标激活不足，即仅覆盖对象的最有区别的部分；二是背景激活过度，指激活了背景区域，导致激活不正确。因此，在二维图像分割层面，本发明首先采用弱监督方法来缓解像素级别标签难以获得的问题。其次，本方法充分考虑了传统无监督方法具有先验知识指导的优势，最终结合两种方法将二者获得的鉴别性区域进行充分融合、优势互补，可以弥补上述类激活映射两个问题的缺点，获得二维层面的最优分割结果。

7、由此，本发明提出了一种集成二维最优分割的三维图像分割方法。针对原始的三维图像，首先将其转到二维层面以便于鉴别性区域的分割；然后充分利用传统无监督方法和弱监督语义分割的优势，将传统方法生成的分割掩膜和深度学习方法得到的cam图充分融合，在二维层面实现最优分割。最后，由上述步骤得到的二维层面最优分割的鉴别性区域作为过渡，将三个方向上的鉴别性区域通过函数g聚合起来，将二维最优分割集成到三维层面，达到三维分割的效果。

8、参考文献：

9、[1]fan j,&lei b.two-dimensional extension of minimum error thresholdsegmentation method for gray-level images[j].acta automatic sinica,2009,35(4):386-393.

10、[2]laradji i,rodriguez p,manas o,et al.a weakly supervisedconsistency-based learning method for covid-19segmentation in ct images[j].2020.

11、[3]yang z,zhao l,wu s,et al.lung lesion localization of covid-19fromchest ct image:anovel weakly supervised learning method[j].ieee journal ofbiomedical and health informatics,2021,pp(99):1-1.doi:10.1109/jbhi.2021.3067465.

技术实现思路

1、针对三维图像的分割复杂、二维图像分割像素级别标签难以获得的问题，本发明提出了一种集成二维最优分割的三维图像分割方法。在弱监督图像分割层面，本发明利用图像级别标签完成分割任务，即基于分类网络的类激活映射(class activation mapping,cam)生成目标关注图像，来获取目标对象准确的位置信息。

2、本发明包括三个步骤，具体如下：步骤一采用了x-y-z不同方向的三种组合，将三维图像分解成多张二维图像，即图像的三维分割问题分解为三个二维分割问题；步骤二是获得二维层面最优分割，包括三个模块：(1)基于传统无监督方法分割图像，即通过k均值聚类算法从原始图像中分割出掩膜区域；(2)采用弱监督的深度学习方法对图像进行分割，并通过类激活映射的方法推断出定位掩膜；(3)传统和深度学习方法融合模块是通过将上述方法得到的分割掩膜和定位掩膜相结合，将二者重叠最大的共同区域作为图像鉴别性区域定位的结果，在二维层面达到最优分割的效果。步骤三将三个方向上的二维最优分割集成到三维层面，包含两个阶段：将上述步骤得到的二维层面最优分割的鉴别性区域作为过渡，表示为三个方向上的激活区域随后，将三个方向上的鉴别性区域通过函数g聚合起来，达到三维分割的效果。

3、本发明的具体方案如附图1所示。

4、步骤1：三维图像转换为多张二维图像

5、原始图像往往表示为一个三维张量，最直观的想法是应用三维深度学习模型。但是，三维模型有很多问题，如收敛速度慢、参数多、对内存的要求高等。因此，本发明将三维分割问题分解为二维分割问题，分别沿着x-y-z不同方向的三种组合。具体的，形成三个方向的分割模型，将三维图形δ投射到三维坐标区域中(δ∈r512*512*512，其中，512*512*512表示三维坐标上三个方向的范围，r表示该三维坐标)。对于每个三维图形δ内的体素，都存在三个方向(x-y、x-z、y-z)上的位置。

6、步骤2：在二维层面达到鉴别性区域的最优分割

7、本发明基于上一步骤生成的二维图像，在二维层面使用传统方法获得掩膜区域，然后使用深度学习的分类网络结合类激活映射方法获得激活区域，最后使用传统与深度学习相结合的方法，充分融合掩膜区域图(来自传统方法)和激活定位图(来自用图像级别标签训练的深度分类网络的cam图)的互补信息，获得最终图像的鉴别性区域以达到二维层面的最优分割。

8、步骤2.1：传统无监督分割方法

9、图像分割即把图像分割成若干不相交的区域，实质是像素的聚类过程，是图像处理的一种方法。可分为基于区域的技术，即聚类算法、基于边缘的技术。

10、本发明采用传统的无监督学习方法，即聚类算法，从原始图像中分割出鉴别性区域。opencv中的k均值(k-means)聚类是一种无监督聚类算法。基于k均值聚类算法的区域分割，其基本思想是将原始数据集划分为k个不相交的样本数据组，对空间中的k个点为中心进行聚类，以计算的数据组到初始聚类中心的欧几里得距离为标准将最靠近中心的对象样本分配到不同的类，类别数为k，距离越近的点相似度越大。随后，重新计算每个新的聚类中心及数据组到聚类中心的欧几里得距离，重复迭代不断更新聚类点，逐次更新各聚类中心的值，最终使误差变小，直至到达确定的阈值，得到最好的聚类结果，即所需的鉴别性区域，记作掩膜图maskk-means。

11、最终的k个聚类具有以下特点：各聚类本身尽可能的紧凑，而各聚类之间尽可能的分开。该算法的最大优势在于简洁和快速，算法的关键在于预测可能分类的数量以及初始中心和距离公式的选择。

12、步骤2.2：弱监督图像分割方法

13、图像分割的任务是对每个像素都进行标注，因此，在深度学习方法中，直观上就需要所有的像素都有真值标注。但是，在这个要求下，真值标注的生成是极度耗时耗力的，尤其是以人工标注的方式。所以本发明中采用弱监督的方法进行激活区域的提取，来代替需要人工标注的金标准掩膜。

14、本发明采用弱监督的深度学习方法对图像进行分割，对于原始图像数据，在深度分类神经网络中采用类激活映射的方法提取感兴趣区域，获得类激活映射图以推断出关键掩膜特征的激活区域。之后对其进行图像二值化，进而获得鉴别性区域的定位掩膜(即黑白掩膜图maskcam)。

15、类激活图只是这些视觉模式在不同空间位置上的存在的加权线性和。通过简单地将类激活映射上采样到输入图像的大小，就可以识别出与特定类别最相关的图像区域。

16、步骤2.3：传统与深度学习分割方法结合

17、本发明充分结合传统的无监督分割方法得到的掩膜图(来自步骤2.1)和深度分类网络中的激活区域(来自步骤2.2)的互补信息，对图像进行鉴别性区域定位以达到二维层面的最优分割。

18、该方法中一部分是应用类激活映射方法从深度分类网络中推断出一些候选激活区域。另一部分是从无监督的分割结果中提取出潜在的鉴别性区域区域。由上面两个步骤中获得的无监督掩膜maskk-means与弱监督类激活映射掩膜maskcam，选择两者重叠最大的共同区域作为图像鉴别性区域定位的结果，在二维层面达到最优分割的效果。

19、步骤3：多张二维最优分割集成到三维层面

20、二维最优分割集成到三维层面包含两个阶段：使用上述步骤得到的二维层面最优分割的鉴别性区域作为过渡，表示为三个方向上的激活区域随后，将三个方向上的鉴别性区域聚合起来，达到三维分割的效果。

21、假设pxy∈r512*512*512(r512*512*512表示确定范围的三维坐标区域，512*512*512表示三维坐标上三个方向的范围，r表示该三维坐标)是来自三维图形δ的xy平面的图像，由上述二维层面的最优分割方法fxy(xy平面的最优分割)得到鉴别性区域fxy(pxy)∈r512*512*512即沿xy方向有512张不同的图像，所以计算512次fxy得到类似的，有来自yz方向和xz方向的二维最优分割得到的鉴别性区域图像。通过计算这三个方向上的模型，得到了三维图形δ上每个体素的激活区域对于每个三维图形δ内的体素，都有三个图像：xy平面的xz平面的yz平面的

22、接下来，已知要将二维层面最优分割得到的三个方向上的鉴别性区域聚合起来，可以使用具有固定或可学习权重的线性组合，然后取一个阈值；将他们相乘起来；使用带有这三个特征的svm作为特征等方法。本发明使用二进制函数g将鉴别性区域聚合起来，取一个固定的阈值为2，通过公式达到这样的效果：至少在一个平面上，鉴别性区域看起来和普通区域不同。

23、与已有技术相比，本发明有益效果在于：

24、一、图像是三维的，由于gpu内存有限，更重要的是，标记三维数据通常比标记二维数据要难得多，这可能会导致深度学习模型由于过拟合而失败。因此本发明提出了基于分解-集成分割区域的三维图像分割模型。首先将三维图像分解为多张二维图像，在二维层面获得鉴别性区域的最优分割结果，最终融合了多个二维图像的最优分割结果，以加速和提高三维图像分割任务的训练时间和性能，本方法优点如下：(1)训练和细化简单：二维模型由于模型复杂度较低，超参数要少得多；(2)收敛速度快：二维模型通常参数较少，内存需求更低，往往比三维模型收敛速度快得多；(3)预测时间快。

25、二、本发明提出了一种融合传统和深度学习多方鉴别性区域的二维层面分割方法，充分考虑了传统方法的具有先验知识指导、效果好，可解释性更强，性能更好等特性，以及采用弱监督方法缓解像素级别标签难以获得的特性。首先使用传统无监督方法获得掩膜区域，然后使用深度学习的分类网络和类激活映射方法获得定位掩膜，之后使用传统与深度学习相结合的方法，即将上述两部分的掩膜相结合，获得最终二维层面鉴别性区域，以达到二维层面的最优分割结果。