一种基于U-Net模型的分割医学图像的方法、装置及存储介质与流程

本发明涉及大数据深度学习技术领域，尤其涉及一种基于u-net模型的分割医学图像的方法、装置及存储介质。

背景技术：

随着医学影像技术的快速发展,现在采用大数据分析医学图像，从海量的医学图像中挖掘出有用信息，然后识别出医学图像，以判定患者是否患病或者判断患者的疾病种类。而由于医学图像数量庞大，且采集临床医学图像的设备的种类繁多，再加上不同的患病部位以及不同的疾病种类，而目前的数据分析方法无法在这些环境下从多种医学图像中准确的挖掘出有用的信息，且目前的数据分析方法已无法满足当前的医疗需求。

技术实现要素：

针对上述技术问题，本发明实施例提供了一种基于u-net模型的分割医学图像的方法、装置及存储介质。

第一方面，本发明实施例提供一种基于u-net模型的分割医学图像的方法，包括：

获取待分割的多张图像，确定所述多张医学图像的目标分割区域；

分别对所述多张医学图像的目标分割区域进行医学扫描，扫描得到多个彩色医学图像样本；

对各彩色医学图像样本分别进行预处理，得到多张提取g通道后的灰色图像；

对各灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色图像分别生成一个对应的分割标签图像；

对预处理后的医学图像样本和对应的分割标签图像一起进行旋转、平移、缩放中的至少一项数据增强处理操作，得到多个医学图像样本对应的位图样本；

按照预设比例分别将各位图样本划分为训练集和验证集；

生成医学图像分割模型，将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；

使用各位图样本的验证集调试所述医学图像分割模型的模型参数，调试得到所述医学图像模型的一组最优模型参数；

将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率。

可选的，在数据增强处理操作中，平移和缩放的随机区间范围均为0-20％，旋转的随机区间范围为0～10°；

所述预设比例为4:1。

可选的，所述生成医学图像分割模型，包括：

生成一个医学图像分割框架u-net；

将u-net编码器和解码器中的正常的卷积层替换为密集卷积块denseblock；

在每个3×3卷积之前，在所述医学图像分割模型中的denseblock中构建4个1×1的卷积层，各卷积层基本结构为bn-relu-conv(3×3)；

在编码器和解码器中均加入密集卷积块；

通过所述denseblock将所述4个1×1的卷积层连接起来，每个卷积层都加入批标准化；

在设置所述解码器的阶段，在所述解码器中添加注意力门机制，以自动学习专注于目标结构。

可选的，所述将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率，包括：

将各位图样本的训练集分批输入所述医学图像分割模型；

利用反向传播策略，通过adam更新所述医学图像分割模型的模型参数；

其中，每次批量输入所述医学图像分割模型的训练集的样本数目为4，每次训练所述医学图像分割模型的训练次数为2000次；

每次训练完后，根据各个迁移模型在所述验证集上的表现调整学习率；最后将验证集上的效果比较，得到最优学习率。

可选的，所述将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率，包括：

使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出结果。

第二方面，本申请提供一种用于分割医学图像的装置，具有实现对应于上述第一方面提供的基于u-net模型的分割医学图像的方法中的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

一种可能的设计中，所述装置包括：

输入输出模块，用于获取待分割的多张图像，确定所述多张医学图像的目标分割区域；

处理模块，用于分别对所述多张医学图像的目标分割区域进行医学扫描，扫描得到多个彩色医学图像样本；对各彩色医学图像样本分别进行预处理，得到多张提取g通道后的灰色图像；对各灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色图像分别生成一个对应的分割标签图像；对预处理后的医学图像样本和对应的分割标签图像一起进行旋转、平移、缩放中的至少一项数据增强处理操作，得到多个医学图像样本对应的位图样本；按照预设比例分别将各位图样本划分为训练集和验证集；生成医学图像分割模型，通过所述输入输出模块将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；使用各位图样本的验证集调试所述医学图像分割模型的模型参数，调试得到所述医学图像模型的一组最优模型参数；通过所述输入输出模块将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率。

可选的，在数据增强处理操作中，平移和缩放的随机区间范围均为0-20％，旋转的随机区间范围为0～10°；

所述预设比例为4:1。

可选的，所述处理模块具体用于：

生成一个医学图像分割框架u-net；

将u-net编码器和解码器中的正常的卷积层替换为密集卷积块denseblock；

在每个3×3卷积之前，在所述医学图像分割模型中的denseblock中构建4个1×1的卷积层，各卷积层基本结构为bn-relu-conv(3×3)；

在编码器和解码器中均加入密集卷积块；

通过所述denseblock将所述4个1×1的卷积层连接起来，每个卷积层都加入批标准化；

在设置所述解码器的阶段，在所述解码器中添加注意力门机制，以自动学习专注于目标结构。

可选的，所述处理模块具体用于：

通过所述输入输出模块将各位图样本的训练集分批输入所述医学图像分割模型；

利用反向传播策略，通过adam更新所述医学图像分割模型的模型参数；

其中，每次批量输入所述医学图像分割模型的训练集的样本数目为4，每次训练所述医学图像分割模型的训练次数为2000次；

每次训练完后，根据各个迁移模型在所述验证集上的表现调整学习率；最后将验证集上的效果比较，得到最优学习率。

可选的，所述处理模块具体用于：

使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出结果。

本发明实施例提供的技术方案中，分别对所述多张医学图像的目标分割区域进行医学扫描，扫描得到多个彩色医学图像样本；对各彩色医学图像样本分别进行预处理，得到多张提取g通道后的灰色图像；对预处理后的医学图像样本和对应的分割标签图像一起进行数据增强处理操作，得到多个医学图像样本对应的位图样本；将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；使用各位图样本的验证集调试所述医学图像分割模型的模型参数，调试得到所述医学图像模型的一组最优模型参数；将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率。因此相对于现有技术，本发明实施例中，通过在深度学习模型中特征抽取层可以有效提取出所需要的特征，可以将需要分割的目标从医学图像中较好的分割出来，对医生诊断疾病提供准确的依据。通过引入密集连接卷积神经模型和注意力机制，可以缓解梯度消失问题，加强特征传播，大幅减少参数数量，并自动学会专注于目标结构而无需额外的监督，使最后系统医学图像目标分割效果更加接近于人工手动分割结果。

附图说明

图1为本发明实施例中分割医学图像的一种流程示意图；

图2为本发明实施例中基于u-net模型的分割医学图像的方法的一实施例示意图；

图3为本发明实施例中denseblock的一种结构示意图；

图4为本发明实施例中注意力机制模型的一种示意图；

图5为本发明实施例中医学图像模型的一种结构示意图；

图6为本发明实施例中彩色眼底图像的一种示意图；

图7为本发明实施例中分割标签图像的一种示意图；

图8为本发明实施例中使用医学图像模型分割图像后的一种结果示意图；

图9为本发明实施例中用于分割医学图像的装置的结构示意图；

图10为本发明实施例中计算机处理设备的结构框图。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行。

本申请提供一种基于u-net模型的分割医学图像的方法、装置及存储介质，可用于临床医学的疾病分析。如图1所示的一种的分割医学图像的流程示意图中，本发明对u-net网络进行改进，并利用深度学习医学图像中蕴含的丰富信息，例如从像素级的原始数据中逐级的、自动的提取从底层到高层的特征，进而有效提取出医学分析所需要的特征，能够将需要分割的目标从医学图像中较好的分割出来。

请参阅图2，下面介绍本发明实施例中的基于u-net模型的分割医学图像的方法，本发明实施例包括：

201、获取待分割的多张图像，确定所述多张医学图像的目标分割区域；

202、分别对所述多张医学图像的目标分割区域进行医学扫描，扫描得到多个彩色医学图像样本；

203、对各彩色医学图像样本分别进行预处理，得到多张提取g通道后的灰色图像；

204、对各灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色图像分别生成一个对应的分割标签图像；

205、对预处理后的医学图像样本和对应的分割标签图像一起进行旋转、平移、缩放中的至少一项数据增强处理操作，得到多个医学图像样本对应的位图样本；

其中，数据增强是指通过一系列随机变换对原始数据进行扩充从而提高数据量的方法。

一些实施方式中，在数据增强处理操作中，平移和缩放的随机区间范围均为0-20％，旋转的随机区间范围为0～10°，所述预设比例为4:1。

206、按照预设比例分别将各位图样本划分为训练集和验证集；

其中，训练集训练集是指用于模型拟合的数据样本，可用于建立医学图像分割模型。

验证集(validationset)是指是模型训练过程中单独留出的样本集，它可以用于调整模型的超参数和用于对模型的能力进行初步评估。验证集一般用于进一步确定模型中的超参数，例如正则项系数、神经网络中隐层的节点个数，k值等，假设建立一个bp神经网络，对于隐含层的节点数目，并没有很好的方法取确定，此时一般将节点数设为某一具体的值，通过训练出相应的参数后，再由验证集取检测该模型的误差；然后再改变节点数，重复上述过程，直到模型在验证集上误差最小。此时的节点数可以认为是最优节点数。但是这只是在验证集上的表现最优而已，事实上在调整节点数的这个过程当中，即已经不知不觉的让调整节点数的方向往达到验证集最小误差这个目标。

207、生成医学图像分割模型，将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；

一些实施方式中，可选的，所述生成医学图像分割模型，包括：

生成一个医学图像分割框架u-net；

将u-net编码器和解码器中的正常的卷积层替换为密集卷积块(denseblock)；如图3所示的一种denseblock结构示意图；

在每个3×3卷积之前，在所述医学图像分割模型中的denseblock中构建4个1×1的卷积层，各卷积层基本结构为bn-relu-conv(3×3)；

在编码器和解码器中均加入密集卷积块；

通过所述denseblock将所述4个1×1的卷积层连接起来，每个卷积层都加入批标准化；

在设置所述解码器的阶段，在所述解码器中添加注意力门机制，以自动学习专注于目标结构。

可见，将u-net编码器和解码器中的正常的卷积层替换为密集卷积块denseblock，这样可以缓解梯度消失问题，加强特征传播，大幅减少参数数量。因为u-net是一个高度对称的模型结构，通过实验证明在编码器和解码器两侧都加入密集卷积块比只在编码器或者解码器单侧加入更加有效。在每个3×3卷积之前引入了1×1的卷积层，以减少输入特征图的数量，从而提高计算效率。这种设计对于densenet特别有效，卷积层基本结构为bn-relu-conv(3×3)，本实施例的医学图像分割模型中的denseblock里面设计了4个卷积层然后通过密集卷积连接起来，每个卷积层都加入了批标准化，使得模型更加容易训练。在解码器的阶段，我们添加了注意力门机制如图3所示，可以自动学习专注于目标结构而无需额外的监督，加入注意力机制后的模型分割精度更加精确。

208、使用各位图样本的验证集调试所述医学图像分割模型的模型参数，调试得到所述医学图像模型的一组最优模型参数；

需要理解的是，本发明实施例中，模型参数也可称为网络参数，本发明实施例不对此作区分。

209、将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率

与现有机制相比，本发明实施例中，通过在深度学习模型中特征抽取层可以有效提取出所需要的特征，可以将需要分割的目标从医学图像中较好的分割出来，对医生诊断疾病提供准确的依据。通过引入密集连接卷积神经模型和注意力机制，可以缓解梯度消失问题，加强特征传播，大幅减少参数数量，并自动学会专注于目标结构而无需额外的监督，使最后系统医学图像目标分割效果更加接近于人工手动分割结果。

可选的，在本发明的一些实施例中，所述将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率，包括：

将各位图样本的训练集分批输入所述医学图像分割模型；

利用反向传播策略，通过adam更新所述医学图像分割模型的模型参数；

其中，每次批量输入所述医学图像分割模型的训练集的样本数目为4，每次训练所述医学图像分割模型的训练次数为2000次；

每次训练完后，根据各个迁移模型在所述验证集上的表现调整学习率；最后将验证集上的效果比较，得到最优学习率。例如，最后经过验证集上的效果比较，最优学习率为0.0001。

可选的，在本发明的一些实施例中，所述将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率，包括：

使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出结果。实验结果表明视网膜血管分割的准确率达到了96.95％，很接近人工手动分割结果。

上述图1至图8中任一所对应的实施例或实施方式中所提及的技术特征也同样适用于本申请中的图9和图10所对应的实施例，后续类似之处不再赘述。

以上对本申请中一种基于u-net模型的分割医学图像的方法进行说明，以下对执行上述基于u-net模型的分割医学图像的方法的装置进行描述。

如图9所示的一种用于分割医学图像的装置90的结构示意图，其可应用于临床医疗分析。本申请实施例中的用于分割医学图像的装置能够实现对应于上述图1所对应的实施例中所执行的基于u-net模型的分割医学图像的方法的步骤。用于分割医学图像的装置90实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。所述用于分割医学图像的装置可包括输入输出模块901和处理模块902，所述处理模块902和获取模块901的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述处理模块902可用于控制所述输入输出模块901的输入输出操作。

一些实施方式中，所述输入输出模块901，用于获取待分割的多张图像，确定所述多张医学图像的目标分割区域；

所述处理模块902用于分别对所述多张医学图像的目标分割区域进行医学扫描，扫描得到多个彩色医学图像样本；对各彩色医学图像样本分别进行预处理，得到多张提取g通道后的灰色图像；对各灰色图像分别进行去除噪声操作，根据去除噪声后的各灰色图像分别生成一个对应的分割标签图像；对预处理后的医学图像样本和对应的分割标签图像一起进行旋转、平移、缩放中的至少一项数据增强处理操作，得到多个医学图像样本对应的位图样本；按照预设比例分别将各位图样本划分为训练集和验证集；生成医学图像分割模型，通过所述输入输出模块901将各位图样本的训练集输入所述医学图像分割模型，以训练所述医学图像分割模型；使用各位图样本的验证集调试所述医学图像分割模型的模型参数，调试得到所述医学图像模型的一组最优模型参数；通过所述输入输出模块901将各位图样本的训练集输入所述医学图像分割模型，以使用各医学图像样本的验证集对进行性能测试，得到所述医学图像分割模型的最优分割正确率。

可选的，在数据增强处理操作中，平移和缩放的随机区间范围均为0-20％，旋转的随机区间范围为0～10°；

所述预设比例为4:1。

可选的，所述处理模块902具体用于：

生成一个医学图像分割框架u-net；

将u-net编码器和解码器中的正常的卷积层替换为密集卷积块denseblock；

在每个3×3卷积之前，在所述医学图像分割模型中的denseblock中构建4个1×1的卷积层，各卷积层基本结构为bn-relu-conv(3×3)；

在编码器和解码器中均加入密集卷积块；

通过所述denseblock将所述4个1×1的卷积层连接起来，每个卷积层都加入批标准化；

在设置所述解码器的阶段，在所述解码器中添加注意力门机制，以自动学习专注于目标结构。

可选的，所述处理模块902具体用于：

通过所述输入输出模块将各位图样本的训练集分批输入所述医学图像分割模型；

利用反向传播策略，通过adam更新所述医学图像分割模型的模型参数；

其中，每次批量输入所述医学图像分割模型的训练集的样本数目为4，每次训练所述医学图像分割模型的训练次数为2000次；

每次训练完后，根据各个迁移模型在所述验证集上的表现调整学习率；最后将验证集上的效果比较，得到最优学习率。

可选的，所述处理模块902具体用于：

使用彩色眼底视网膜进行最终系统的测试，得到最后的系统输出结果。

上面从模块化功能实体的角度分别介绍了本申请实施例中的用于分割医学图像的装置，以下从硬件角度介绍一种计算机设备，如图9所示，其包括：处理器、存储器、收发器(也可以是输入输出单元，图9中未标识出)以及存储在所述存储器中并可在所述处理器上运行的计算机程序。例如，该计算机程序可以为图1所对应的实施例中基于u-net模型的分割医学图像的方法对应的程序。例如，当计算机设备实现如图3所示的用于分割医学图像的装置90的功能时，所述处理器执行所述计算机程序时实现上述图3所对应的实施例中由用于分割医学图像的装置90执行的基于u-net模型的分割医学图像的方法中的各步骤；或者，所述处理器执行所述计算机程序时实现上述图3所对应的实施例的用于分割医学图像的装置90中各模块的功能。又例如，该计算机程序可以为图1所对应的实施例中基于u-net模型的分割医学图像的方法对应的程序。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述收发器也可以用接收器和发送器代替，可以为相同或者不同的物理实体。为相同的物理实体时，可以统称为收发器。该收发器可以为输入输出单元。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。