一种神经外科显微手术图像中血管与神经的分割方法

1.本发明涉及图像处理分割技术领域，特别是涉及一种神经外科显微手术图像中血管与神经的分割方法。


背景技术：

2.当前，在医学领域，医学检查正在变得更为安全、高效和准确，但是海量的医学图像数据优于诊断之外，使得专业医生的负担日益加重。目前，常用的图像分割技术包括人工分割、半自动分割和自动分割三种方法。人工分割由医生手动完成，分割结果精确，临床意义大，缺点是费时费力，分割结果依赖于医生主观判断，不适合大面积的推广和应用。半自动分割需医生手动分割关键部分，剩下的由机器补全，该方法在保证一定精度的前提下，提升分割速度，缺点依旧是需要医生手动分割，重复性大。自动分割随着深度学习的出现变得可能，无需医生手动分割，借助大量医学图像使机器学会分割，快速分割，为医生提供了极大的便利，缺点是需要大量的医学图像。深度学习井喷式的发展，加速了医学图像处理从传统形式不断向深度学习方向发展，运用深度学习来解决神经外科显微手术中的血管神经的分割，这对医生和病患都有很大的意义。对于脑血管医学图像，一般基于电子计算机断层扫描血管造影(computed tomography angiography，cta)、数字减影血管造影(digital subtraction angiography，dsa)、磁共振血管造影(magnetic reconance angiorgraphy，mra)等方式获取，目前还没有对神经外科显微手术中的真彩色图像进行提取，并对血管和神经进行分割的相关技术公开。


技术实现要素：

3.本发明的目的是提供一种神经外科显微手术图像中血管与神经的分割方法，实现在手术过程中准确分割血管与神经的功能，减少医生在手术中花费的时间和精力，提高手术效率。
4.为实现上述目的，本发明采取如下的技术方案：
5.一种神经外科显微手术图像中血管与神经的分割方法，包括以下步骤：
6.a)获取手术显微镜采集的神经外科显微手术视频，并将所述神经外科显微手术视频转换为24位真彩色图像；
7.b)将每一幅图像标注血管和神经的分割标签，得到神经外科显微手术图像数据集；
8.c)对所述神经外科显微手术图像数据集进行数据增强；
9.d)对数据增强后的神经外科显微手术图像数据集进行数据集划分，划分为训练集、验证集和测试集；
10.e)将基础网络fastfcn中的主干网络resnet101换为改进的xception_d，得到改进后的fastfcn网络模型，其中改进的xception_d为在xception_65的输入流、中间流和输出流中分别加入特征蒸馏模块后得到的网络，所述特征蒸馏模块包括1个3
×
3深度可分离卷
积层、2个标准1
×
1卷积层、2个浅残差块以及1个负责融合来自1
×
1卷积层和浅残差块特征的连接层，所述浅残差块包括3
×
3卷积层、跳跃连接和激活单元；
11.f)利用所述训练集对改进后的fastfcn网络模型进行训练，保存在验证集上性能最优的模型为最优模型，并利用所述测试集完成最优模型的网络测试，测试后的最优模型用于神经外科显微手术图像中血管与神经的分割，得到神经外科显微手术图像分割结果图。
12.本发明的有益效果是：本发明将神经外科显微手术视频转换为医学真彩色图像后，使用fastfcn网络作为基础网络并做修改，在主干网络中加入特征蒸馏模块，对特征做了进一步的细化，得到改进后的fastfcn网络模型，经过训练以及测试后，最终得到可以用于神经外科显微手术图像中血管与神经的分割模型，实现神经外科显微手术图像中血管与神经的准确分割。在分割结果中保留了更多的特征信息，目标的边界信息更加完整，语义信息更清晰，提高了脑血管图像语义分割的精度，为未来智能医疗提供有效的帮助。
13.本发明提供的基于深度学习的神经外科显微手术图像中血管与神经的分割方法解决了脑内结构发生柔性形变，能准确定位分割，实现在手术过程中不知疲倦、解剖知识全面、定位精准的ai手术助手，达到减轻术者精神压力，提高手术速度，减少手术负损伤及并发症的目的。该方法符合国家在智能医疗领域中的产业规划方向，并为未来智能化医院发展提供便利。
附图说明
14.图1为本发明实施例提供的一种神经外科显微手术图像中血管与神经的分割方法的流程图；
15.图2为本发明中改进的xception_d的网络结构图；
16.图3为本发明中特征蒸馏模块的网络结构图；
17.图4为本发明中浅残差块的网络结构图；
18.图5为本发明中改进后的fastfcn网络模型结构图；
19.图6为基础网络fastfcn与改进后的fastfcn网络模型的训练损失曲线图。
具体实施方式
20.下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
21.在其中一个实施例中，本发明提供一种神经外科显微手术图像中血管与神经的分割方法，该方法属于一种基于深度学习的图像分割方法，具体包括以下步骤：
22.a)获取手术显微镜采集的神经外科显微手术视频，并将神经外科显微手术视频转换为24位真彩色图像。
23.具体的，本步骤中的神经外科显微手术视频可以由zeiss生产的opmi@vario 700型号手术显微镜采集得到，为mpg的视频格式，利用图像处理软件将神经外科显微手术视频转换为jpg格式的24位真彩色图像。本步骤中的神经外科显微手术视频截取了手术显微镜采集的全部视频的一部分，具体是在释放脑脊液到缝合硬膜这段时间内的视频。
24.b)将每一幅图像标注血管和神经的分割标签，得到神经外科显微手术图像数据集。
25.在得到神经外科显微手术视频对应的图像后，使用数据标注软件如labelme软件等为图像制作分割标签，由专家将每一幅神经外科显微手术图像中的血管与神经标注出来，从而得到具有标签的若干张神经外科显微手术图像，这些图像组成神经外科显微手术图像数据集。其中，分割标签包括：cn5表示三叉神经，cn7表示面神经，cn9表示舌咽神经，cn10表示迷走神经，aica表示小脑前下动脉，pica表示小脑后下动脉，aica+cn7表示小脑前下动脉和面神经，pica+cn7表示小脑后下动脉和面神经，pv表示岩静脉。
26.c)对获得的神经外科显微手术图像数据集进行数据增强。
27.将神经外科显微手术图像数据集中的图像调整为统一的尺寸，尺寸大小为512
×
512，接下来对数据集中的每幅图像进行水平翻转，翻转图像的概率为0.5；应用随机裁剪将图像随机裁减为512
×
512；然后，以概率为0.5的随机高斯模糊对图像进行处理；最后，用标准化策略完成图像增强操作。
28.d)对数据增强后的神经外科显微手术图像数据集进行数据集划分，划分为训练集、验证集和测试集。
29.在将神经外科显微手术视频转换为24位真彩色图像后得到1993幅图像，在步骤d)中，将1993幅图像划分为包含1638幅图像的训练集、包含181幅图像的验证集和包含174幅图像的测试集。
30.e)将基础网络fastfcn中的主干网络resnet101换为改进的xception_d，得到改进后的fastfcn网络模型，其中改进的xception_d为在xception_65的输入流、中间流和输出流中分别加入特征蒸馏模块后得到的网络，特征蒸馏模块包括1个3
×
3深度可分离卷积层、2个标准1
×
1卷积层、2个浅残差块以及1个负责融合来自1
×
1卷积层和浅残差块特征的连接层，浅残差块包括3
×
3卷积层、跳跃连接和激活单元。
31.具体地，改进的xception_d的网络结构如图2所示，改进的xception_d是在xception_65的输入流、中间流和输出流中分别加入特征蒸馏模块(feature distillation block，fdb)后得到的网络。fdb包括1个3
×
3深度可分离卷积层、2个标准1
×
1卷积层、2个浅残差块(shallow residual block，srb)和1个连接层，如图3所示，fdb中使用1
×
1卷积进行信道缩减比在其他cnn模型中更加有效，1
×
1的卷积大大减少了参数量，并且fdb位于xception_65的主体上，考虑了空间上下文，具有更好地细化特性，能够在网络中引入细粒度更好的残差学习。srb作为fdb的主要构建块，其由3
×
3卷积层、跳跃连接和激活单元组成，如图4所示。与普通卷积相比，srb可以在不引入额外参数的情况下有益于残差学习，而且可以更好地利用残差学习的能力，使网络在保持足够轻量化的同时，最大限度地从残差学习中获益。
32.具体的，xception_65由输入流、中间流和输出流组成，共有36个卷积层，相应的可分为14个模块。其中，输入流包含了4个模块，第1个模块由2个标准3
×
3卷积层构成，没有线性残差连接，第2、3、4个模块都是由2个3
×
3深度可分离卷积层和1个最大池化层构成，并且存在线性残差连接，将第2、3、4个模块中的第1个3
×
3深度可分离卷积层替换为fdb并去掉最大池化层后，得到改进的xception_d的输入流。
33.xception_65的中间流包括8个结构相同的模块，每一个模块均包括3个3
×
3深度可分离卷积层以及线性残差连接，只提取其中的一个模块做删除替换完成模块的改进，然后由16个结构相同的改进后的模块组合得到改进的xception_d的中间流(原xception_65
的中间流的其他模块删除，改进的xception_d的中间流只由改进后的模块组成)，其中对提取的模块做删除替换是指将该模块中的第1个3
×
3深度可分离卷积模块替换为fdb，并删除去掉最后一个3
×
3深度可分离卷积层。
34.xception_65的输出流由2个模块构成，第1个模块是通过2个3
×
3深度可分离卷积层、1个最大池化层和线性残差连接构成，第2个模块是由2个3
×
3深度可分离卷积层和1个平均池化层构成，无线性残差连接，将第1个模块内的第1个3
×
3深度可分离卷积层替换为fdb，并取消最大池化层，以及将第2个模块中的平均池化层替换为1个3
×
3深度可分离卷积层后，得到改进的xception_d的输出流。
35.f)改进后的fastfcn网络模型的网络结构如图5所示，将由步骤d)获得的训练集和验证集导入到该网络模型，依据表1所示参数在网络模型中进行训练。在训练过程中，使用的损失函数为交叉熵损失函数，使用了“poly”学习策略，采用了使用小批量随机梯度下降，训练共计100轮。
36.表1训练参数
[0037][0038][0039]
具体的，在训练时，将训练集中的图像导入改进后的fastfcn网络模型。首先，原始图像经过xception_d中的输入流、中间流和输出流，最终提取到通道数为2048的特征图，图5中conv1表示通过xception_d输入流中步长为2的3
×
3标准卷积层提取到的特征图，conv2、conv3表示通过xception_d输入流中前两个步长为2的3
×
3深度可分离卷积层提取到的特征图，conv4表示在xception_d中间流最后模块中3
×
3深度可分离卷积层提取到的特征图，conv5表示在xception_d输出流第1个模块中3
×
3深度可分离卷积层提取到的特征图，conv6表示在xception_d输出流第2个模块中3
×
3深度可分离卷积层提取到的特征图；然后，将conv4、conv5和conv6提取到的特征图导入到联合金字塔上采样(joint pyramid upsampling，jpu)模块中，jpu模块完成了在多层特征图上提取多尺度文本信息，输出特征图为原始图像的1/8；最后通过多尺度上下文模型即空洞空间金字塔池化模块(atrous spatial pyramid pooling，aspp)完成最后的预测。
[0040]
训练完成后，保存在验证集上性能最优的模型为最优模型，即验证集分割准确率最大值所对应的模型，并利用测试集完成最优模型的网络测试，网络测试后可以得到神经外科显微手术图像分割结果图，测试后的最优模型用于神经外科显微手术图像中血管与神经的分割，从而得到神经外科显微手术图像分割结果图。图6展示了基础网络fastfcn与改进后的fastfcn网络模型的训练损失曲线图，从图6可以观察到，改进后的fastfcn网络模型相较于原基础网络fastfcn的损失更低，损失下降明显，并保持下降的趋势。并且改进后的fastfcn网络模型的分割准确率达到了77.52％，高于原始基础网络fastfcn。
[0041]
本发明将神经外科显微手术视频转换为医学真彩色图像后，使用fastfcn网络作为基础网络并做修改，在主干网络中加入特征蒸馏模块，对特征做了进一步的细化，得到改
进后的fastfcn网络模型，经过训练以及测试后，最终得到可以用于神经外科显微手术图像中血管与神经的分割模型，实现神经外科显微手术图像中血管与神经的准确分割。在分割结果中保留了更多的特征信息，目标的边界信息更加完整，语义信息更清晰，提高了脑血管图像语义分割的精度，为未来智能医疗提供有效的帮助。
[0042]
本发明提供的基于深度学习的神经外科显微手术图像中血管与神经的分割方法解决了脑内结构发生柔性形变，能准确定位分割，实现在手术过程中不知疲倦、解剖知识全面、定位精准的ai手术助手，达到减轻术者精神压力，提高手术速度，减少手术负损伤及并发症。该方法符合国家在智能医疗领域中的产业规划方向，并为未来智能化医院发展提供便利。
[0043]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0044]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。