基于区域和距离度量的病理图像分割处理方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及基于区域和距离度量的病理图像分割处理方法及装置。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.科学界非常重视使用深度cnn(卷积神经网络)来解决计算机视觉中的任务，包括识别，分类和目标分割等等。类似的，研究者们已经提出了基于深度学习的新型分割方法来分析医学图像。与最先进的传统方法相比，这些方法已经取得了十分具有竞争力的成绩。现有的基于深度学习的肝脏和肿瘤分割方法大致分为两类：(1)2d fcn(二维全卷积网络)，例如u-net，多通道fcn等；(2)3d fcn(三维全卷积网络)，例如v-net等。
4.基于2d fcn的方法将3d体积数据中的2d切片应用于分割任务。具体来说，将基于体积图像裁剪的单个或三邻切片合并到2d fcn中，然后将2d分割图堆叠起来，以生成体积分割结果。但是，2d fcn没有考虑器官的空间结构，也没有充分利用体积数据。即使使用相邻切片，仍然不足以充分利用体积数据，这会导致分割性能的降低。
5.基于3d fcn的方法可以避免相邻切片之间不连续性的出现。合适的损失函数是预期任务中分割有效性的重要衡量指标。基于各种体积分割中的积分或求和，研究者们提出了3d fcn中广泛使用的损失函数，包括交叉熵和dice。此外，在肝脏和肿瘤分割中常见的区域损失有着高度的不平衡性，这会导致不同分割类型之间的值大不相同，从而影响分割性能。


技术实现要素：

6.本发明实施例提供一种基于区域和距离度量的病理图像分割处理方法，用以提高图像分割处理的性能，该方法包括：
7.获取待分割的病理三维图像；
8.将待分割的病理三维图像输入预先训练生成v-net模型，得到分割处理结果；v-net模型根据可变权重值的区域损失函数和基于距离的损失函数的组合损失函数预先训练生成。
9.本发明实施例还提供一种基于区域和距离度量的病理图像分割处理装置，用以提高图像分割处理的性能，该装置包括：
10.分割处理单元，用于将待分割的病理三维图像输入预先训练生成v-net模型，得到分割处理结果；所述v-net模型根据可变权重值的区域损失函数和基于距离的损失函数的组合损失函数预先训练生成。
11.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于区域和
距离度量的病理图像分割处理方法。
12.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于区域和距离度量的病理图像分割处理方法的计算机程序。
13.本发明实施例中，基于区域和距离度量的病理图像分割处理方案，与现有技术中病理图像分割处理中区域损失有着高度不平衡性，导致病理图像分割性能低的技术方案相比，通过：获取待分割的病理三维图像；将待分割的病理三维图像输入预先训练生成v-net模型，得到分割处理结果；所述v-net模型根据可变权重值的区域损失函数和基于距离的损失函数的组合损失函数预先训练生成，可以实现使用区域损失和基于距离的损失来解决病理图像分割高度不平衡的问题，提高了病理图像分割处理的性能。
附图说明
14.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
15.图1为本发明实施例中基于区域和距离度量的病理图像分割处理方法的流程示意图；
16.图2为本发明实施例中基于区域和距离度量的病理图像分割处理的模型框架示意图；
17.图3为本发明实施例中基于区域和距离度量的病理图像分割处理的原理示意图；
18.图4为本发明实施例中预先训练生成v-net模型的流程示意图；
19.图5为本发明实施例中基于区域和距离度量的病理图像分割处理装置的结构示意图。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
21.在介绍本发明实施例之前，首先介绍本发明实施例涉及的名词。
22.(1)reg：区域；(2)bd：边界；(3)hd：霍斯多夫；(4)sdm：符号距离图。
23.在介绍本发明实施例提供方案之前，再对发明人发现现有技术中存在的技术问题，以及基于发现的技术问题提出本发明实施例提供技术方案的思路进行介绍。
24.发明人发现现有病理图像分割处理主要的方案及缺点是：有些学者提出了v-net架构，即u-net的3d变体，其通过直接使用带有基于dice系数的损失函数的3d卷积层来分割3d图像，然而这样的损失函数在器官组织例如肝脏和肿瘤分割中有着高度的不平衡性。该现有技术一的缺点是：v-net架构中使用的基于dice系数的区域损失有着高度的不平衡性，这会导致不同分割类型之间的值大不相同，进而影响训练稳定性，降低模型的分割性能。
25.因此，发明人发现：在器官组织例如肝脏和肿瘤分割任务中，前景和背景体素的数量通常高度不平衡。这将极大地改变各个细分类别之间区域损失的值，并影响训练的稳定
性和分割性能。因此发明人提出了一种基于区域和距离度量的病理图像分割处理方案，本发明实施例均以肝脏病理图像分割处理为例进行介绍，当然，本发明实施例提出的病理图像分割处理方案也可以应用于其他组织的病理图像分割处理，例如胃、脾等病理图像的分割处理。该方案的发明的目的就是要通过联合使用区域损失和基于距离的损失来解决器官组织例如肝脏和肿瘤分割高度不平衡的问题。下面对该基于区域和距离度量的病理图像分割处理方案进行详细介绍。
26.图1为本发明实施例中基于区域和距离度量的病理图像分割处理的流程示意图，如图1所示，该基于区域和距离度量的病理图像分割处理方法包括如下步骤：
27.步骤101：获取待分割的病理三维图像；
28.步骤102：将初步分割三维图像特征输入预先训练生成的v-net模型，得到分割处理结果；所述v-net模型根据可变权重值的区域损失函数和基于距离的损失函数的组合损失函数预先训练生成。
29.具体实施时，本发明实施例中基于分治法的病理图像分割处理方法，工作时：首先，在上述步骤101中，获取的待分割的病理三维图像可以是图2最左侧的包含有肝脏的病理图像；其次，在上述步骤102中，将待分割的病理三维图像输入预先训练生成v-net模型，得到分割处理结果，即利用根据可变权重值的区域损失函数和基于距离的损失函数的组合损失函数预先训练生成的v-net模型将输入的待分割的病理三维图像进行分割处理，得到如图2最右侧所示的分割出来的精确的完整肝脏图像，该完整肝脏图像可以用于识别是否有肿瘤病变等情况。本发明实施例提供的基于区域和距离度量的病理图像分割处理方法可以实现使用区域损失和基于距离的损失来解决病理图像分割高度不平衡的问题，提高了病理图像分割处理的性能。
30.本发明实施例提供的基于区域和距离度量的病理图像分割处理方法通过联合使用区域损失和基于距离的损失来解决器官组织例如肝脏和肿瘤分割高度不平衡的问题。下面结合附图2至图4，对该基于区域和距离度量的病理图像分割处理方法进行详细介绍。
31.图2所示为肝脏和肿瘤分割框架。在训练阶段，首先将3d数据输入到v-net模型中提取特征，然后通过可变权重值组合区域损失函数(loss
reg
)和三个基于距离的损失函数(组合结果分别表示为loss
bd
，loss
hd
和loss
sdm
)，并用于联合训练肝脏和肿瘤v-net分割模型。在一个实施例中，组合损失函数可以包括：
32.loss
bd
＝αloss
reg
+(1-α)loss
boundary
；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
33.loss
hd
＝αloss
reg
+(1-α)loss
hausdorff
；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
34.loss
sdm
＝αloss
reg
+(1-α)loss
signed distance map
；
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
35.其中，loss
bd
为组合边界损失函数，loss
hd
为组合霍斯多夫损失函数，loss
sdm
为组合符号距离图损失函数，loss
reg
为区域损失函数，α为权重，loss
boundary
为单独的边界损失函数，loss
hausdorff
为单独的霍斯多夫损失函数，loss
signed distance map
为单独的符号距离图损失函数。loss
reg
是在原始v-net架构中使用的区域损失函数。基于距离的损失函数被用于辅助区域损失函数来微调训练模型。因此，在训练开始时将α设置为1，这表示仅使用区域损失训练模型，而且损失函数的计算中不涉及基于距离的损失。当训练到达平稳状态后，逐渐减小α的值直到0.01。这种训练策略比从一开始就联合训练的策略更为有效。
36.即通过上述可知，在一个实施例中，如图4所示，所述基于区域和距离度量的病理
tesla v100 gpu上使用torch进行的，并使用adam算法进行了优化。训练模型时使用的batch size是2，学习率是0.001。在200个epoch后学习率降为0.0002，在1400个epoch后训练结束。组合损失函数中的参数α在400个epoch(时期：一个epoch代表将所有样本训练一次的过程)之前均设置为1，之后，每过10个epoch它的值减小0.01，直到减为0.01。
56.通过上述可知，在一个实施例中，当训练到达平稳状态后，逐渐减小α的值直到0.01，得到预先训练生成的所述v-net模型，可以包括：参数α在400个时期之前均设置为1，之后，每过10个时期参数α的值减小0.01，直到减为0.01，得到预先训练生成的所述v-net模型。
57.具体实施时，上述得到所述预先训练生成的v-net模型的详细实施方式进一步提高了训练模型的稳定性。
58.综上，本发明实施例提供的基于区域和距离度量的病理图像分割处理方法实现了：通过联合使用区域损失和基于距离的损失来解决肝脏和肿瘤分割高度不平衡的问题，提高了病理图像分割处理的性能和稳定性。
59.本发明实施例中还提供了一种基于区域和距离度量的病理图像分割处理装置，如下面的实施例所述。由于该装置解决问题的原理与基于区域和距离度量的病理图像分割处理方法相似，因此该装置的实施可以参见基于区域和距离度量的病理图像分割处理方法的实施，重复之处不再赘述。
60.图5为本发明实施例中基于区域和距离度量的病理图像分割处理装置的结构示意图，如图5所示，该装置包括：
61.获取单元01，用于获取待分割的病理三维图像；
62.分割处理单元02，用于将待分割的病理三维图像输入预先训练生成v-net模型，得到分割处理结果；所述v-net模型根据可变权重值的区域损失函数和基于距离的损失函数的组合损失函数预先训练生成。
63.在一个实施例中，所述组合损失函数可以包括：
64.loss
bd
＝αloss
reg
+(1-α)loss
boundary
；
65.loss
hd
＝αloss
reg
+(1-α)loss
hausdorff
；
66.loss
sdm
＝αloss
reg
+(1-α)loss
signed distance map
；
67.其中，loss
bd
为组合边界损失函数，loss
hd
为组合霍斯多夫损失函数，loss
sdm
为组合符号距离图损失函数，loss
reg
为区域损失函数，α为权重，loss
boundary
为单独的边界损失函数，loss
hausdorff
为单独的霍斯多夫损失函数，loss
signed distance map
为单独的符号距离图损失函数；
68.所述基于区域和距离度量的病理图像分割处理装置还包括：训练单元，用于按照如下方法预先训练生成v-net模型：
69.在训练开始时将α设置为1，这表示仅使用区域损失函数训练v-net模型，而且损失函数的计算中不涉及基于距离的损失函数；
70.当训练到达平稳状态后，逐渐减小α的值直到0.01，得到预先训练生成的所述v-net模型。
71.在一个实施例中，所示训练单元具体用于按照如下方法预先训练生成v-net模型：参数α在400个时期之前均设置为1，之后，每过10个时期参数α的值减小0.01，直到减为
0.01，得到预先训练生成的所述v-net模型。
72.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于区域和距离度量的病理图像分割处理方法。
73.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述基于区域和距离度量的病理图像分割处理方法的计算机程序。
74.本发明实施例提供的基于区域和距离度量的病理图像分割处理方法的有益技术效果是：能够解决肝脏和肿瘤分割高度不平衡的问题，使得模型训练更加稳定，分割性能更加优越。
75.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
76.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
77.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
78.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
79.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。