一种针对医学图像的多模式交互分割方法及系统与流程

本发明涉及医学图像交互式分割技术领域，特别是涉及一种针对医学图像的多模式交互分割方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

医学图像交互式分割(imis)方法旨在根据医学图像的特殊性以最小的交互量准确标记对象；给定图像，根据用户的简单输入获得目标掩模是imis方法的基本要求。deepcut方法会接收标有包围框的医学图像，并涉及卷积神经网络对前景/背景分布进行建模。dyba-orf方法将用户的涂鸦作为输入，并学习通用的动态平衡在线随机森林解决不平衡的前背景标记。bifseg方法设计针对特定图像的微调，以适应未见过的医学图像类型，这种微调利用涂鸦，以修复精确的细节。cm方法将四个极值点用作用户输入，并对它们进行编码，然后将其与图像一起输入卷积神经网络中以进行预测。

对于当前需要大量数据的医学图像分析模型而言，大规模的像素级标注很少，为了快速获取标注，需要一种经济有效的交互式医学图像分割方法；但是，当前的技术通常在许多情况下会失败或时间成本较高，主要原因是由于交互模式的单一，如fca-net和f-brs都只使用点作为交互方式，而由于医学图像的特殊性与歧义性，例如不规则形状和模糊边界，单一的交互模式无法有效地应对医学图像的各种固有歧义。例如，很难使用包围框来准确地定位不规则形状的区域，或者很难使用区域点击/涂鸦在模糊边界之间定位轮廓。为了更加高效地标注目标区域，模型应允许灵活选择多种交互方式，并允许它们相互协作以克服多种歧义，但是目前为止，尚未有方法对该潜在方法进行深入研究。

技术实现要素：

为了解决上述问题，本发明提出了一种针对医学图像的多模式交互分割方法及系统，是一种用于解决医学图像分割多歧义性的多模式交互方法，可以根据图像结构的复杂性以各种初始交互方式围绕目标区域，基于初始分割可以共同利用区域和边界相互作用来细化由不同歧义引起的标注错误的区域，有效提高医学图像分割精度。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种针对医学图像的多模式交互分割方法，包括：

提取医学图像的图像特征；

采用多模式包围框选定目标分割区域后生成初始交互指导图，将初始交互指导图与图像特征拼接后输入神经网络得到初始分割结果；

采用多模式细节修复指导图对初始分割结果进行修复后得到残差图；

根据残差图、多模式细节修复指导图对应的修复范围以及初始分割结果得到最终的医学图像分割结果。

第二方面，本发明提供一种针对医学图像的多模式交互分割系统，包括：

特征提取模块，被配置为提取医学图像的图像特征；

初始分割模块，被配置为采用多模式包围框选定目标分割区域后生成初始交互指导图，将初始交互指导图与图像特征拼接后输入神经网络得到初始分割结果；

细节修复模块，被配置为采用多模式细节修复指导图对初始分割结果进行修复后得到残差图；

分割模块，被配置为根据残差图、多模式细节修复指导图对应的修复范围以及初始分割结果得到最终的医学图像分割结果。

与现有技术相比，本发明的有益效果为：

本发明的针对医学图像的多模式交互式分割框架，可以选择多种交互模式并彼此协作，可以根据结构的复杂性以各种初始交互方式围绕目标区域，基于初始分割可以共同利用区域和边界相互作用来细化由不同歧义引起的标注错误的区域，是一种用于解决医学图像分割多歧义性的多模式交互方法，可以用于任意形状对象的多模式初始定位交互，并且在初始定位后，采用区域边界协作交互修复标注错误的区域，有效提升交互的效率与性能，提高医学图像分割精度。

由于医学图像存在诸多歧义性，如不规则的形状、模糊的边界、相似的背景干扰等，先前的交互分割方法不能有效地处理上述问题；本发明提出的针对医学图像的多模式交互分割框架，与当前的医疗图像交互分割方法相比，将多种交互模式系统地集成到同一网络中。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的针对医学图像的多模式交互分割方法流程图；

图2为本发明实施例1提供的针对医学图像的多模式交互分割网络结构图。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

如图1所示，本实施例提供一种针对医学图像的多模式交互分割方法，包括：

s1：提取医学图像的图像特征；

s2：采用多模式包围框选定目标分割区域后生成初始交互指导图，将初始交互指导图与图像特征拼接后输入神经网络得到初始分割结果；

s3：采用多模式细节修复指导图对初始分割结果进行修复后得到残差图；

s4：根据残差图、多模式细节修复指导图对应的修复范围以及初始分割结果得到最终的医学图像分割结果。

所述步骤s1中，获取医学图像，所述医学图像包括彩色图像、灰度图像等；优选的，若医学图像是单通道图像，则将统一成三通道图。

对获取的医学图像提取图像特征，本实施例采用类似于fpn的编码器-解码器体系结构，如图(2)的特征提取(d)所示，以裁剪的医学图像作为输入，并从解码器中提取多级通道的图像特征；具体为：

采用vgg-16主干网络的五层卷积层，并添加具有32个通道的额外层；在解码过程中，每一层的特征先通过1*1卷积降维到32通道，再与上层特征进行拼接后卷积成32通道特征。

所述步骤s2中，如图(2)的多模式包围框(a)所示，本实施例的多模式包围框包括矩形包围框、多边形包围框和涂鸦包围框，根据目标区域周围的特性使用多种交互方式定位目标区域；具体地：

矩形包围框是围绕目标区域的矩形，作为一种低成本的交互方式，只需确定矩形对角线上的两个端点即可，可以处理大多数圆形和矩形形状；

多边形包围框是包围框的自然扩展，可以通过将矩形替换为任意多边形来实现；多边形包围框比矩形包围框更适合目标区域，减少无关背景的干扰，并且比边界框更易于获得指导，但是多边形包围框具有更大的交互，这需要确定多边形的所有顶点；

涂鸦边界框可以更灵活地环绕目标，当目标区域的轮廓可变时，边界涂鸦可以更好地拟合该区域并提供目标形状的先验。

选定多模式包围框后，生成对应的初始交互指导图，初始交互指导图由三个通道组成，其中一个将根据交互模式激活；具体地，当采用一种模式中，根据目标区域的内部区域和外部区域，在相应的通道中的像素将被定义为1或-1，而其他不相关的通道将被定义为0。

生成初始交互指导图后，将其与提取的图像特征进行拼接，经过一个高效的沙漏型模块，在具有相同分辨率的层之间通过跳层连接来共享特征，最终通过1*1卷积得到初始分割结果。

所述步骤s3中，如图2中的多模式细节修复指导图(b)所示，本实施例的多模式细节修复指导图包括包括区域细节修复交互指导图和边界细节修复交互指导图，区域细节修复交互指导图包括对前景区域点的点击/涂鸦和对背景区域点的点击/涂鸦，边界细节修复交互指导图包括对边界的点击/涂鸦；具体地：

区域点击/涂鸦：对来自初始分割结果或用户给定的初始分割结果，使用区域点击/涂鸦来纠正错误分割的区域；正区域相互作用可以修复分割错误的前景区域，而负区域相互作用则有利于消除背景上的错误预测；

其中，点击分割错误的前景和背景是进行精炼的低成本交互方式；涂鸦包含的指导信息多于点击。

边界点击/涂鸦：有利于解决医学图像经常面临严重的边界模糊性问题，须根据用户专业经验确定特定的边界位置；对于精确的边界定位，在区域上方的点击/涂鸦不能给出有效的约束，只有通过使用正负区域交互作用来收紧边界，才能实现精确定位，在实际的交互中既费时又费力，所以本实施例引入边界点击/涂鸦与区域交互配合使用，以灵活地解决各种歧义问题。

在本实施例中，这三种类型的交互会激活细节修复指导图的相应三个不同通道，这些通道将与初始分割结果一起被送入细节修复模块进行修复；区域细节修复交互指导图在标记像素周围具有一定的高斯半径(80像素)，对于前景区域和背景区域的互动，这两个指导图是相互独立的；与区域细节修复交互指导图相似，边界细节修复交互指导图在用户标记的像素周围具有较小的高斯半径(10像素)。

将前景区域细节修复交互指导图、背景区域细节修复交互指导图以及边界细节修复交互指导图作为输入，经细节修复后得到残差图；

所述步骤s4中，将残差图乘以基于步骤s3中细节修复指导图对应的交互范围控制图，即半径为80像素的高斯图，再与初始分割结果相加得到分割结果，最后将0.5作为阈值进行二值分割后，得到最终的分割结果。

通过真实用户在六种不同的医学图像上进行交互测试，本实施例的方法与fca-net和f-brs进行比较平均分割时间；本实施例的框架为每个图像节省了大约5秒的时间，速度节省了近40％，有效减轻交互负担。

实施例2

本实施例提供一种针对医学图像的多模式交互分割系统，包括：

特征提取模块，被配置为提取医学图像的图像特征；

初始分割模块，被配置为采用多模式包围框选定目标分割区域后生成初始交互指导图，将初始交互指导图与图像特征拼接后输入神经网络得到初始分割结果；

细节修复模块，被配置为采用多模式细节修复指导图对初始分割结果进行修复后得到残差图；

分割模块，被配置为根据残差图、多模式细节修复指导图对应的修复范围以及初始分割结果得到最终的医学图像分割结果。

此处需要说明的是，上述模块对应于实施例1中的步骤s1至s4，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。