基于三维全卷积神经网络及区域生长的医学影像器官分割方法及系统与流程

1.本发明属于医学影像器官分割技术领域，具体涉及基于三维全卷积神经网络及区域生长的医学影像器官分割方法及系统。


背景技术：

2.随着人口的增加与信息技术的发展，医疗事业融入信息技术已经是目前医学发展的必然趋势。医学图像是当前医学领域进行相应研究的一种重要手段，同时也是进行临床诊断医疗的主要依据所在。研究医学图像，主要对医学图像的采集、处理、分析进行研究。医学图像处理是医疗事业的重要组成部分。随着信息科学技术的发展，特别是医疗器械的发展，采用计算机算法自动化处理医学图像的方式受到了越来越多的关注。同时，人工智能技术的发展和其在医疗健康领域的应用越来越广泛，医疗事业中医学图像处理的研究，也随着人工智能的技术一同发展，并在图像处理、图像分割、图像降噪上起到了重要的作用，进而提高了医疗临床诊断的效率与质量。另外，人口老龄化以及职业医师数量的短缺，远远无法应对如此庞大的日均门诊量；而人工智能技术的发展为这一问题提供了一条道路，催生了医疗智能化，引入人工智能、云计算、大数据等技术，可以有效提升临床诊断效率，扩大医疗服务供给需求趋于平衡。
3.在医疗临床诊断的过程中，医师需要在计算机上，在ct图像中手动逐张逐层勾画器官或病灶的标记轮廓线。医生手动勾画标注这一步骤会消耗大量的时间，增加医生的工作量，相对来说技术含量较低，重复性、低水平的操作会使得临床诊断量减少，降低医生的工作效率，同时增加病人的等待时间，在等待的工程中，可能会使得病人的病情加重发展，在一定程度上影响了病人的健康以及后续诊断治疗的难度。除此之外，不同医生对相同的器官或病变的理解上存在差异，导致同一张图像会由医生标注习惯和医学经验的差异，得到不同的勾画标注，难以形成一套统一的评价标准。
4.近些年，由于人工智能技术的发展与计算机硬件水平的提高，在可用的已标注数据集不断增加的情况下，带来了基于深度学习算法的快速发展进步；尤其是在医疗领域上的应用，使得全自动的器官病灶勾画分割成为了现实。全自动的深度学习分割算法旨在自动的识别，并将目标器官病灶在ct图像中分割出来，来取代医生手动标注勾画的工作，减少医生的工作负担，提升工作效率。在半自动的传统图像处理算法中，首先需要医生手动选取目标器官或目标点，并通过不同的算法进行分割处理，在一定程度上减少了医生的工作量。而在全自动的基于深度学习算法进行图像处理时，只需要输入ct图像，可以在短时间内，直接得到较高器官或者病灶的分割结果。但在某些边界模糊，形变等情况下，深度学习算法的结果略逊于传统的半自动算法的结果。
5.目前，对于器官病灶的分割算法，大多使用全卷积的深度学习算法，例如：公开号为cn111415359a的专利文献公开的一种自动化分割医学影像多器官的方法，虽然具有较好的分割效果和准确度；但是，对于目标较小、形变较大或者边界不清晰的器官，现有的分割
算法的分割效果仍有待提升。


技术实现要素：

6.基于现有技术中存在的上述缺点和不足，本发明的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本发明的目的之一是提供满足前述需求之一或多个的一种基于三维全卷积神经网络及区域生长的医学影像器官分割方法及系统。
7.为了达到上述发明目的，本发明采用以下技术方案：
8.基于三维全卷积神经网络及区域生长的医学影像器官分割方法，包括以下步骤：
9.s1、对医学影像数据进行数据预处理；
10.s2、对数据预处理后的医学影像数据进行数据裁剪，得到数据裁剪结果；
11.s3、将数据裁剪结果输入低分辨率的三维全卷积网络，输出voi区域；
12.s4、对voi区域采用各向同性的空间体重采样，作为高分辨率的三维全卷积网络的输入，得到器官分割预测结果a；
13.选取voi区域中各像素点的置信度由高至低排序中的前k个像素点作为初始种子点，以初始种子点进行区域生长，得到器官分割预测结果b；其中，k为正整数；
14.s5、对器官分割预测结果a与器官分割预测结果b进行融合，得到融合结果；
15.s6、对融合结果进行去噪处理，得到器官分割结果。
16.作为优选方案，所述步骤s1，具体包括：
17.s11、确定灰度值目标区间以对医学影像数据进行数据截断；
18.s12、对数据截断后保留的医学影像数据使用各向同性的空间体进行重采样；
19.s13、对重采样后的医学影像数据进行z
‑
score处理。
20.作为优选方案，所述步骤s2，具体包括：
21.随机选取数个种子点并以种子点为中心扩展到指定尺寸对预处理后的医学影像数据进行数据裁剪；同时也采用滑动窗口，以预设步长对预处理后的医学影像数据进行数据裁剪。
22.作为优选方案，所述步骤s5，具体包括：
23.predict＝α*predict
a
+β*predict
b
24.其中，predict为融合结果，predict
a
为器官分割预测结果a，predict
b
为器官分割预测结果b，α、β分别为相应的权重，满足α+β＝1。
25.作为优选方案，所述步骤s6中，去噪处理采用提取最大连通区域以去除孤立的噪声区域。
26.作为优选方案，所述三维全卷积网络采用vnet网络。
27.本发明还提供基于三维全卷积神经网络及区域生长的医学影像器官分割系统，包括：
28.数据预处理模块，用于对医学影像数据进行数据预处理；
29.数据裁剪模块，用于对数据预处理后的医学影像数据进行数据裁剪；
30.低分辨率的三维全卷积网络，以数据裁剪结果作为输入，输出voi区域；
31.重采样模块，用于对voi区域采用各向同性的空间体重采样，得到重采样后的voi区域；
32.高分辨率的三维全卷积网络，以重采样后的voi区域作为输入，输出器官分割预测结果a；
33.区域生长模块，用于选取voi区域中各像素点的置信度由高至低排序中的前k个像素点作为初始种子点，以初始种子点进行区域生长，得到器官分割预测结果b；
34.融合模块，用于对器官分割预测结果a和器官分割预测结果b进行融合，得到融合结果；
35.去噪模块，用于对融合结果进行去噪处理；
36.输出模块，用于输出去噪后的融合结果，即器官分割结果。
37.作为优选方案，所述对数据预处理后的医学影像数据进行数据裁剪，包括：
38.随机选取数个种子点并以种子点为中心扩展到指定尺寸对预处理后的医学影像数据进行数据裁剪；同时也采用滑动窗口，以预设步长对预处理后的医学影像数据进行数据裁剪。
39.作为优选方案，所述器官分割预测结果a与器官分割预测结果b进行融合包括：
40.predict＝α*predict
a
+β*predict
b
41.其中，predict为融合结果，predict
a
为器官分割预测结果a，predict
b
为器官分割预测结果b，α、β分别为相应的权重，满足α+β＝1。
42.作为优选方案，所述去噪模块采用提取最大连通区域以去除孤立的噪声区域。
43.本发明与现有技术相比，有益效果是：
44.本发明的基于三维全卷积神经网络及区域生长的医学影像器官分割方法及系统，结合三维全卷积神经网络的预测结果及区域生长的预测结果，将两者融合并进行去噪处理，得到最终的医学影像器官分割预测，分割精度高；特别是针对目标较小、形变较大或者边界不清晰的器官，分割效果佳。
附图说明
45.图1是本发明实施例1的基于三维全卷积神经网络及区域生长的医学影像器官分割方法的流程图；
46.图2是本发明实施例1的基于三维全卷积神经网络及区域生长的医学影像器官分割系统的框架图；
47.图3是对比例1与实施例1的器官分割对比图，两排为不同的器官。
具体实施方式
48.为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
49.实施例1：
50.本实施例的基于三维全卷积神经网络及区域生长的医学影像器官分割方法，以ct影像数据(简称ct数据)为例进行详细说明。
51.如图1所示，具体地，医学影像器官分割方法包括以下步骤：
52.s0、模型输入数据为原始ct数据；
53.s1、对原始ct数据进行数据预处理；
54.具体地，数据预处理的过程包括：
55.s11、确定灰度值目标区间以对医学影像数据进行数据截断；具体通过对原始ct数据进行分析统计与医学背景调研后，找到一个合适，且涵盖了目标值范围的灰度值区间[a，b]来对ct数据进行数据截断，只保留感兴趣的数据区间，减少非目标区间的数据干扰。
[0056]
s12、对数据截断后保留的ct数据使用各向同性的空间体进行重采样；使用各向同性的空间体在整个图像上进行重采样到z mm*y mm*x mm，以减少不同图像之间的不一致性，便于卷积操作提取共同的特征；
[0057]
s13、对重采样后的医学影像数据进行z
‑
score处理。使用z
‑
score对数据进行规范化，避免网络权重初始化的时候产生明显的扰动；另外，使用z
‑
score还可以防止数据规范化是被压缩，造成的规范化后数据区分度不高的现象。
[0058]
s2、对数据预处理后的ct数据进行数据裁剪，得到数据裁剪结果；
[0059]
具体地，由于ct图像尺寸较大，整个3d的ct图像作为网络的输入会对计算资源要求过高，还会降低计算速度；因此，在ct图像随机选取数个种子点，并以种子点为中心扩展到指定尺寸(尺寸小于ct图像的原尺寸)对数据预处理后的ct数据进行数据裁剪；同时也采用滑动窗口，以预设步长s对预处理后的ct数据进行数据裁剪；数据裁剪的输出作为低分辨率的全卷积网络的输入，这样可以减少使用计算机资源占用，增加样本数量，减少样本不平衡的情况下，训练模型并粗略定位得到目标的voi(volume of interest)区域。
[0060]
s3、将数据裁剪结果输入低分辨率的三维全卷积网络，输出voi区域；其中，三维全卷积网络采用vnet网络；
[0061]
s4、对voi区域采用示例为1mm的各向同性的空间体重采样，作为高分辨率的三维全卷积网络的输入，得到器官分割预测结果a；其中，高分辨率的三维全卷积网络更侧重于预测精确的目标的边界，采用vnet网络；
[0062]
选取voi区域中各像素点的置信度由高至低排序中的前k个像素点作为初始种子点，以初始种子点进行区域生长，得到器官分割预测结果b；其中，k为正整数。使用区域生长算法将具有相似性质的像素集合起来构成区域，具体先在粗分割预测的voi区域中，选取k个置信度最高的像素点作为种子生长的初始种子点，然后将种子像素周围邻域中与种子像素具有相同或相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中；将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来，最后得到一个分割预测的输出，即器官分割预测结果b；
[0063]
s5、对器官分割预测结果a与器官分割预测结果b进行融合，得到融合结果；
[0064]
具体地，融合的公式为：
[0065]
predict＝α*predict
a
+β*predict
b
[0066]
其中，predict为融合结果，predict
a
为器官分割预测结果a，predict
b
为器官分割预测结果b，α、β分别为相应的权重，满足α+β＝1。
[0067]
高分辨率vnet全卷积网络的器官分割预测结果a与区域种子生长算法的器官分割预测结果b，以上述融合公式的计算方法，使用权重α、β融合两个算法模型的输出，以达到更好的预测效果；
[0068]
s6、对融合结果进行去噪处理，得到器官分割结果。具体地，通过提取最大连通区域以去除孤立的噪声区域，进一步提升器官分割的精度。
[0069]
器官分割通常是对胸腹部ct图像中的器官，包括心脏、肝脏、肺、肾、胃、脾、主动脉、静脉、胆囊、胰腺等器官，进行分割。类似胰腺这类边界不清晰且形变较大的器官，或静脉这种分布多且小的目标，目前较多使用的全卷积分割算法的结果表现一般，而采用本实施例的器官分割方法，分割精度高。
[0070]
如图2所示，对应于本实施例的器官分割方法，本实施例还提供基于三维全卷积神经网络及区域生长的医学影像器官分割系统，包括数据预处理模块100、数据裁剪模块200、低分辨率的三维全卷积网络300、重采样模块400、高分辨率的三维全卷积网络500、区域生长模块600、融合模块700、去噪模块800和输出模块900。
[0071]
其中，数据预处理模块100用于对医学影像数据进行数据预处理；数据预处理包括：
[0072]
(1)确定灰度值目标区间以对医学影像数据进行数据截断；具体通过对原始ct数据进行分析统计与医学背景调研后，找到一个合适，且涵盖了目标值范围的灰度值区间[a，b]来对ct数据进行数据截断，只保留感兴趣的数据区间，减少非目标区间的数据干扰。
[0073]
(2)对数据截断后保留的ct数据使用各向同性的空间体进行重采样；使用各向同性的空间体在整个图像上进行重采样，以减少不同图像之间的不一致性，便于卷积操作提取共同的特征；
[0074]
(3)对重采样后的医学影像数据进行z
‑
score处理。使用z
‑
score对数据进行规范化，避免网络权重初始化的时候产生明显的扰动；另外，使用z
‑
score还可以防止数据规范化是被压缩，造成的规范化后数据区分度不高的现象
[0075]
数据裁剪模块200用于对数据预处理后的医学影像数据进行数据裁剪；由于ct图像尺寸较大，整个3d的ct图像作为网络的输入会对计算资源要求过高，还会降低计算速度；因此，在ct图像随机选取数个种子点，并以种子点为中心扩展到指定尺寸(尺寸小于ct图像的原尺寸)对数据预处理后的ct数据进行数据裁剪；同时也采用滑动窗口，以预设步长s对预处理后的ct数据进行数据裁剪；数据裁剪的输出作为低分辨率的全卷积网络的输入，这样可以减少使用计算机资源占用，增加样本数量，减少样本不平衡的情况下，训练模型并粗略定位得到目标的voi(volume of interest)区域。
[0076]
低分辨率的三维全卷积网络300以数据裁剪结果作为输入，输出voi区域；其中，三维全卷积网络采用vnet网络。
[0077]
重采样模块400用于对voi区域采用示例为1mm的各向同性的空间体重采样，得到重采样后的voi区域，作为高分辨率的三维全卷积网络的输入。
[0078]
高分辨率的三维全卷积网络500，以重采样后的voi区域作为输入，输出器官分割预测结果a；其中，高分辨率的三维全卷积网络更侧重于预测精确的目标的边界，采用vnet网络。
[0079]
区域生长模块600用于选取voi区域中各像素点的置信度由高至低排序中的前k个像素点作为初始种子点，以初始种子点进行区域生长，得到器官分割预测结果b；其中，k为正整数。使用区域生长算法将具有相似性质的像素集合起来构成区域，具体先在粗分割预测的voi区域中，选取k个置信度最高的像素点作为种子生长的初始种子点，然后将种子像
素周围邻域中与种子像素具有相同或相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中；将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来，最后得到一个分割预测的输出，即器官分割预测结果b。
[0080]
融合模块700用于对器官分割预测结果a和器官分割预测结果b进行融合，得到融合结果。
[0081]
具体地，器官分割预测结果a与器官分割预测结果b进行融合的公式为：
[0082]
predict＝α*predict
a
+β*predict
b
[0083]
其中，predict为融合结果，predict
a
为器官分割预测结果a，predict
b
为器官分割预测结果b，α、β分别为相应的权重，满足α+β＝1
[0084]
去噪模块800用于对融合结果进行去噪处理；具体地，通过提取最大连通区域以去除孤立的噪声区域，进一步提升器官分割的精度。
[0085]
输出模块900用于输出去噪后的融合结果，即器官分割结果。最终输出的图像所对应的每个器官掩模(mask)。
[0086]
对比例1：
[0087]
采用现有技术的unet网络进行预测，其他步骤同实施例1。如图3可知，实施例1的算法的分割精度更高。
[0088]
对比例2：
[0089]
采用公开号为cn111415359a的专利文献公开的一种自动化分割医学影像多器官的方法。
[0090]
实施例1及对比例1
‑
2的对比：
[0091]
采用dice系数作为网络的损失函数，dice损失函数相比交叉熵损失函数，它更加关注器官的表现。如表1所示，本实施例的器官分割方法，显著提升器官的分割效果。
[0092]
表1实施例1及对比例1
‑
2的dice评价分数
[0093][0094]
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。