一种基于卷积神经网络的图像分割方法、装置及存储介质

本发明涉及一种基于卷积神经网络的图像分割方法、装置及存储介质，属于计算机视觉以及深度学习技术领域。

背景技术：

帕金森病（pd）是第二常见的进行性神经退行性疾病，截至2017年，全球共有850万人受到帕金森病的影响。帕金森病的特征是黑质致密部（snpc）内多巴胺能神经元的逐渐丧失，通常认为这导致了pd的典型运动症状。早期的pd，患者症状并不明显，传统的临床检测方法很难诊断。患者的脑部核磁共振成像（mri）成为为数不多的检测手段，但是早期pd的脑部mri与健康的脑部mri几乎无法做出区分，因此目前采用神经黑素-核磁共振成像(nm-mri),该成像的可视化神经黑素褪色是pd的关键病态特征。

为了评估snpc的高信号区，需要采用图像分割技术。通常，采用简单的手动划分、半自动的区域增长技术以及基于地图集的自动分割方法。这些分割方法使用一组固定的地图集，因此可能无法捕捉目标对象的全部解剖变异性，影响精度并且有很大的计算量。基于阈值的手动分割方法虽然解决了上述方法中存在精度以及计算量大的问题，但是该方法需要很多步骤并且很费时，因此自动化的分割技术更具有应用前景。

技术实现要素：

本发明的目的在于克服现有技术中的不足，提供一种基于卷积神经网络的图像分割方法、装置及存储介质，能够借助卷积神经网络的u-net结构，对核磁共振成像提供精准的图像自动分割，实现疾病的图像检测。为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于卷积神经网络的图像分割方法，所述方法包括如下步骤：

选取待分割的原始图像作为测试集和训练集，对训练集进行预处理，得到最终训练集；

构建具有残差块的u-net卷积神经网络模型，安排具有残差块的u-net卷积神经网络模型对最终训练集执行分割任务，获得学习后的u-net卷积神经网络模型；

对学习后的u-net卷积神经网络模型进行优化，获得训练好的u-net卷积神经网络模型；

将测试集输入训练好的u-net卷积神经网络模型，进行图像分割，获得分割完成的图像。

结合第一方面，进一步地，所述待分割的原始图像为帕金森病患者的脑部核磁共振成像影像。

结合第一方面，进一步地，所述对训练集进行预处理的方法包括如下步骤：

转变训练集原始图像的信号强度；对训练集原始图像做旋转操作；调整训练集原始图像比例。

优选地，为了应对信号强度偏差，将训练集原始图像的信号强度转变为：

a(orig+b)

其中，a=0.7/1.0/1.3，b=﹣100/0/100，orig表示原始图像的信号强度。

优选地，为了应对角度偏差，将训练集原始图像旋转﹣30°/0°/+30°。

优选地，为了应对比例偏差，将原始图像比例调整为原来的90%/100%/110%。

结合第一方面，进一步地，所述构建具有残差块的u-net卷积神经网络模型为构建两个相同结构的具有残差块的u-net卷积神经网络模型。

结合第一方面，进一步地，所述对最终训练集执行分割任务包括如下步骤：

其中一个具有残差块的u-net卷积神经网络模型通过对最终训练集的训练，分割出中脑的图像；

另一个具有残差块的u-net卷积神经网络模型通过对分割出的中脑图像的训练，分割出黑质致密部和背景的图像。

结合第一方面，进一步地，所述获得学习后的u-net卷积神经网络模型包括如下步骤：

从512×512像素大小的训练集原始数据中随机裁剪256×256像素的图像，计算得到该图像的平均交叉熵，将平均交叉熵作为损失函数，根据损失函数验证学习后的u-net卷积神经网络模型与实际需求模型的差距。

优选地，平均交叉熵通过如下公式计算：

其中，为目标值，为预测值，classes为像素种类。

结合第一方面，进一步地，所述对学习后的u-net卷积神经网络模型进行优化包括如下步骤：

采用adam梯度下降算法进行优化。

优选地，采用adam梯度下降算法将损失函数最小化。

优选地，采用adam更新规则，其中α=0.0001，β1=0.5，β2=0.999。基于健康人群和帕金森病人按1:1的比例混合的四个平均组，u-net的训练根据四次交叉验证进行。在所有组中验证和训练的骰子系数相似。因此，在第一组中训练的模型被任意选择来执行u-net分割（us）。没有使用早期停止或超参数搜索。

第二方面，本发明提供了一种基于卷积神经网络的图像分割装置，所述装置包括：

图像选取处理模块：用于选取待分割的原始图像作为测试集和训练集，对训练集进行预处理；

构建训练模块：用于构建具有残差块的u-net卷积神经网络模型，安排具有残差块的u-net卷积神经网络模型执行分割任务，获得学习后的u-net卷积神经网络模型；

优化模块：用于对学习后的u-net卷积神经网络模型进行优化，获得训练好的u-net卷积神经网络模型；

输出模块：用于将测试集输入训练好的u-net卷积神经网络模型，获得并输出分割完成的图像。

第三方面，本发明提供了一种基于卷积神经网络的图像分割装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1~7任一项所述方法的步骤。

第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。

与现有技术相比，本发明实施例所提供的一种基于卷积神经网络的图像分割方法、装置及存储介质所达到的有益效果包括：

构建具有残差块的u-net卷积神经网络模型，经过训练和优化后掌握数据集中复杂的结构，使用本发明能够避免现有技术中对手动分割方法的专业依赖性，提高分割精确性，；

u-net结构的卷积神经网络模型普遍适用于医学图像的分割，是一种对称的u形网络结构，能够利用上采样补偿下采样丢失的细节信息，使得分割图像的恢复边缘等信息更加精细；

u-net结构的卷积神经网络模型在对称位置使用了跳层连接，这样既融合了更多原图的低级特征，也使得不同尺度的特征得以融合，从而可以进行多尺度预测和深度监督；

本发明完全适用于医学图像的分割，对于神经放射学领域的核磁共振成像能够利用计算机进行精准的自动分割，能够捕捉目标对象的全部解剖变异性，精度高，耗时短。

附图说明

图1是本发明一种基于卷积神经网络的图像分割方法的流程图；

图2是本发明实施例提供的一种基于卷积神经网络的图像分割方法中的u-net结构结构的卷积神经网络模型的结构图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例一：

如图1所示，本发明实施例提供了一种基于卷积神经网络的图像分割方法，所述方法包括如下步骤：

选取待分割的原始图像作为测试集和训练集，对训练集进行预处理，得到最终训练集；

构建具有残差块的u-net卷积神经网络模型，安排具有残差块的u-net卷积神经网络模型对最终训练集执行分割任务，获得学习后的u-net卷积神经网络模型；

对学习后的u-net卷积神经网络模型进行优化，获得训练好的u-net卷积神经网络模型；

将测试集输入训练好的u-net卷积神经网络模型，进行图像分割，获得分割完成的图像。

对训练集进行预处理的方法包括如下步骤：

转变训练集原始图像的信号强度；对训练集原始图像做旋转操作；调整训练集原始图像比例。

具体地，为了应对信号强度偏差，将训练集原始图像的信号强度转变为：

a(orig+b)

其中，a=0.7/1.0/1.3，b=﹣100/0/100，orig表示原始图像的信号强度。

具体地，为了应对角度偏差，将训练集原始图像旋转﹣30°/0°/+30°。

具体地，为了应对比例偏差，将原始图像比例调整为原来的90%/100%/110%。

具体地，构建具有残差块的u-net卷积神经网络模型为构建两个相同结构的具有残差块的u-net卷积神经网络模型。

对最终训练集执行分割任务包括如下步骤：

其中一个具有残差块的u-net卷积神经网络模型通过对最终训练集的训练，分割出中脑的图像；

另一个具有残差块的u-net卷积神经网络模型通过对分割出的中脑图像的训练，分割出黑质致密部和背景的图像。

获得学习后的u-net卷积神经网络模型包括如下步骤：

从512×512像素大小的训练集原始数据中随机裁剪256×256像素的图像，计算得到该图像的平均交叉熵，将平均交叉熵作为损失函数，根据损失函数验证学习后的u-net卷积神经网络模型与实际需求模型的差距。

具体地，平均交叉熵通过如下公式计算：

其中，为目标值，为预测值，classes为像素种类。

对学习后的u-net卷积神经网络模型进行优化包括如下步骤：

采用adam梯度下降算法进行优化。

具体地，采用adam梯度下降算法将损失函数最小化。

将测试集输入训练好的u-net卷积神经网络模型，进行图像分割，获得分割完成的图像。

实施例二：

本实施例是基于实施例一提供的一种基于卷积神经网络的图像分割方法的具体应用场景，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

以待分割的原始图像为帕金森病患者的脑部核磁共振成像影像为例：

第一步：选取待分割的原始核磁共振成像作为测试集和训练集，对训练集进行预处理，得到最终训练集。

具体地，为了应对信号强度偏差，将训练集原始图像的信号强度转变为：

a(orig+b)

其中，a=0.7/1.0/1.3，b=﹣100/0/100，orig表示原始图像的信号强度。

具体地，为了应对角度偏差，将训练集原始图像旋转﹣30°/0°/+30°。

具体地，为了应对比例偏差，将原始图像比例调整为原来的90%/100%/110%。

第二步：如图2所示，构建两个相同结构的具有残差块的u-net卷积神经网络模型，安排具有残差块的u-net卷积神经网络模型对最终训练集执行分割任务，获得学习后的u-net卷积神经网络模型。

具体地，其中一个具有残差块的u-net卷积神经网络模型通过对最终训练集的训练，分割出中脑的图像；另一个具有残差块的u-net卷积神经网络模型通过对分割出的中脑图像的训练，分割出黑质致密部和背景的图像。

具体地，获得学习后的u-net卷积神经网络模型包括如下步骤：从512×512像素大小的训练集原始数据中随机裁剪256×256像素的图像，计算得到该图像的平均交叉熵，将平均交叉熵作为损失函数，根据损失函数验证学习后的u-net卷积神经网络模型与实际需求模型的差距。

具体地，平均交叉熵通过如下公式计算：

其中，为目标值，为预测值，classes为像素种类。

第三步：对学习后的u-net卷积神经网络模型进行优化，获得训练好的u-net卷积神经网络模型。

具体地，采用adam梯度下降算法对模型进行优化，将损失函数最小化。采用adam更新规则，其中α=0.0001，β1=0.5，β2=0.999。基于健康人群和帕金森病人按1:1的比例混合的四个平均组，u-net的训练根据四次交叉验证进行。在所有组中验证和训练的骰子系数相似。因此，在第一组中训练的模型被任意选择来执行u-net分割（us）。没有使用早期停止或超参数搜索。

第四步：将测试集输入训练好的u-net卷积神经网络模型，进行图像分割，获得分割完成的图像。

具体地，利用测试集获得的最佳阈值计算黑质致密部的神经黑素密集区域，输出该区域的图像。

实施例三：

本发明实施例提供本发明提供了一种基于卷积神经网络的图像分割装置，包括如下模块：

图像选取处理模块：用于选取待分割的原始图像作为测试集和训练集，对训练集进行预处理；

构建训练模块：用于构建具有残差块的u-net卷积神经网络模型，安排具有残差块的u-net卷积神经网络模型执行分割任务，获得学习后的u-net卷积神经网络模型；

优化模块：用于对学习后的u-net卷积神经网络模型进行优化，获得训练好的u-net卷积神经网络模型；

输出模块：用于将测试集输入训练好的u-net卷积神经网络模型，获得并输出分割完成的图像。

实施例四：

本发明实施例还提供一种基于卷积神经网络的图像分割装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。

实施例五：

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。