基于涂鸦标注的医学图像分割模型训练方法、装置及终端

1.本发明涉及医学图像分割技术领域，尤其涉及的是一种基于涂鸦标注的医学图像分割模型训练方法、装置及终端。


背景技术：

2.目前医学图像分割时通常采用数据驱动的深度学习方法，需要大量的完全标注数据(即目标器官形状的完整标注)来训练医学图像分割模型，然而三维医学图像的完全标注数据需要由影像科专业人士逐层标注，大量的数据标注成本昂贵，且耗时耗力。涂鸦标注具有高标注自由度，包含准确的标注像素且不引入标注噪声，适用于标注医学解剖结构。利用涂鸦标注数据监督训练医学图像分割模型可有效减轻人工标注负担。
3.目前已具有多种基于涂鸦标注的用于图像分割的深度学习训练方法，主要包括：迭代式训练方法、基于正则化约束的训练方法和基于生成对抗网络的训练方法。
4.其中，迭代式训练方法会导致网络模型拟合至错误的标注信息且需要多轮训练，效率较低且优化效果不好；而由于医学图像相邻组织间像素值差异小的情况非常常见，基于正则化约束的训练方法在医学图像上的优化效果有限；基于生成对抗网络的训练方法仍需要使用完全标注数据作为判别器训练的正样本且易出现训练坍塌的情况。
5.因此，现有技术中基于涂鸦标注数据训练医学图像分割模型时优化效果不好。


技术实现要素：

6.本发明的主要目的在于提供一种基于涂鸦标注的医学图像分割模型训练方法，旨在解决现有技术中基于涂鸦标注数据训练医学图像分割模型时优化效果不好的问题。
7.为了实现上述目的，本发明提供了一种基于涂鸦标注的医学图像分割模型训练方法，所述训练方法包括：
8.对涂鸦标注后的医学图像进行第一图像增强操作获得标准增强视图，对标准增强视图进行第二图像增强操作获得复合增强视图；
9.将所述标准增强视图和所述复合增强视图各输入双网络结构中的一个网络，分别获得伪标签和预测标签，所述双网络结构中的每个网络均为医学图像分割模型，且两个医学图像分割模型之间权重共享；
10.计算所述伪标签与所述预测标签之间的相似性，获得一致性正则化损失；
11.构造包括所述一致性正则化损失的损失函数；
12.根据所述损失函数训练所述医学图像分割模型，直至所述损失函数收敛，获得训练后的医学图像分割模型。
13.可选的，还包括计算所述伪标签的熵最小化损失，构造所述损失函数时还包括熵最小化损失。
14.可选的，构造损失函数时，根据指数形式的上升函数对所述一致性正则化损失和所述熵最小化损失进行加权处理，所述上升函数的表达式为：r(t)＝exp(-η(1-t/t))，其中
t为训练轮次，t和η为超参数。
15.可选的，还包括计算所述标准增强视图中有标注像素的提取特征的交叉熵损失，获得部分交叉熵损失；构造所述损失函数时还包括部分交叉熵损失。
16.可选的，所述对涂鸦标注后的医学图像进行第一图像增强操作获得标准增强视图，对标准增强视图进行第二图像增强操作获得复合增强视图，包括：
17.对涂鸦标注后的医学图像进行几何增强操作和噪声增强操作，获得标准增强视图；
18.对标准增强视图进行颜色失真增强操作，获得复合增强视图。
19.可选的，还设有用于存储有标注像素的特征的特征池，所述训练方法还包括：
20.对所述标准增强视图中有标注像素进行特征提取，获得隐藏特征；
21.基于隐藏特征和有标注像素的权重，获得有标注像素的特征；
22.基于有标注像素的特征，动态更新所述特征池；
23.基于相同的映射模块，计算所述隐藏特征和涂鸦标注之间的部分交叉熵以及特征池的标注形成的单位矩阵与特征池之间的交叉熵，分别获得辅助损失和特征池损失；构造所述损失函数时还包括所述辅助损失和所述特征池损失。
24.可选的，所述基于有标注像素的特征，动态更新所述特征池，包括：
25.根据设定的动量系数和有标注像素的特征，采用动量移动平均的方法更新所述特征池。
26.为了实现上述目的，本发明还提供了一种基于涂鸦标注的医学图像分割模型训练装置，所述装置包括：
27.增强操作模块，用于对涂鸦标注后的医学图像进行第一图像增强操作获得标准增强视图，对标准增强视图进行第二图像增强操作获得复合增强视图；
28.网络映射模块，用于将所述标准增强视图和所述复合增强视图各输入双网络结构中的一个网络，分别获得伪标签和预测标签，所述双网络结构中的每个网络均为医学图像分割模型，且两个医学图像分割模型之间权重共享；
29.一致性正则化损失模块，用于计算所述伪标签与所述预测标签之间的相似性，获得一致性正则化损失；
30.损失函数模块，用于构造包括所述一致性正则化损失的损失函数；
31.网络参数更新模块，用于根据所述损失函数训练所述医学图像分割模型，直至所述损失函数收敛，获得训练后的医学图像分割模型。
32.为了实现上述目的，本发明还提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于涂鸦标注的医学图像分割模型训练程序，上述基于涂鸦标注的医学图像分割模型训练程序被上述处理器执行时实现任意一项上述基于涂鸦标注的医学图像分割模型训练方法的步骤。
33.为了实现上述目的，本发明还提供了一种计算机可读存储介质，上述计算机可读存储介质上存储有基于涂鸦标注的医学图像分割模型训练程序，上述基于涂鸦标注的医学图像分割模型训练程序被处理器执行时实现任意一项上述基于涂鸦标注的医学图像分割模型训练方法的步骤。
34.由上述可见，本发明使用两个医学图像分割模型构建双网络结构并且两个医学图
像分割模型之间权重共享，对涂鸦标注后的医学图像进行增强操作获得标准增强视图和复合增强视图，然后将增强视图各输入一个医学图像分割模型，获得伪标签和预测标签，并计算用于衡量伪标签与预测标签之间的相似性的一致性正则化损失，根据包括一致性正则化的损失函数来训练和优化医学图像分割模型。与现有技术相比，使用权重共享的双网络结构，进行一致性正则化训练，在训练过程中最大化同一图像的不同增强视图的预测的相似性，优化效果好，并且在一次训练中完成网络参数优化，无需进行多次迭代训练，训练效率高。
附图说明
35.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
36.图1是腹部器官和心脏结构的涂鸦标注示意图；
37.图2是本发明提出的基于涂鸦标注的医学图像分割模型训练方法实施例的流程示意图；
38.图3是图2实施例的架构示意图；
39.图4是图2实施例中获取特征池损失的流程示意图；
40.图5是本发明实施例提供的基于涂鸦标注的医学图像分割模型训练装置的结构示意图；
41.图6是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
42.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
43.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
44.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
45.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
46.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当
…
时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0047]
下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0048]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0049]
由于大量的数据标注成本昂贵，且耗时耗力。利用弱标注数据监督训练医学图像分割模型可有效减轻人工标注负担。据统计，标注每张图像的完全标注数据耗时约240秒，而标注图像的弱标注数据仅需20至35秒，节省约9至12倍的标注时间。
[0050]
如图1所示，涂鸦标注为一种弱标注，相较于完全标注数据中所有像素都有对应的标签，涂鸦标注数据仅包含少量的标注像素，大部分像素无对应标签；涂鸦标注具有高标注自由度，包含准确的标注像素且不引入标注噪声，适用于标注医学解剖结构。
[0051]
由于医学图像相邻组织间像素值差异小，难以区分像素值分布相近的器官或结构。利用涂鸦数据训练医学图像分割模型时，现有的训练方法存在迭代更新时包含错误的标注像素，导致拟合至错误信息以及优化效果不佳等问题。
[0052]
本发明提供了一种基于涂鸦标注的医学图像分割模型训练方法，使用涂鸦标注监督医学图像分割模型的训练，无需使用完全标注数据，可有效降低医学图像数据标注的成本。通过使用权重共享的双网络结构，进行一致性正则化训练，在训练过程中最大化同一图像的不同视图的预测的相似性。优化效果好，并且在一次训练中完成网络参数优化，无需进行多次迭代训练，训练效率高。适用于多种医学解剖结构的分割，如腹部器官、头颈部器官、前列腺和心脏结构等。
[0053]
示例性方法
[0054]
本发明实施例提供一种基于涂鸦标注的医学图像分割模型训练方法，部署于智能终端上，用于对腹部器官的医学图像进行图像分割。具体的，如图2所示，上述训练方法包括如下步骤：
[0055]
步骤s100：对涂鸦标注后的医学图像进行第一图像增强操作获得标准增强视图，对标准增强视图进行第二图像增强操作获得复合增强视图；
[0056]
具体地，由于医学图像的数据集很小，普遍存在训练样本不足的问题。为了扩充训练数据集，首先对涂鸦标注后的医学图像进行图像增强操作。
[0057]
现有技术中，如迭代式训练方法、基于正则化约束的训练方法和基于生成对抗网络的训练方法均是对同一医学图像进行一种图像增强操作，获得单一的增强视图。而本发明在双网络结构的构思下，对同一医学图像采用两种不同的图像增强操作并限制不同视图间的语义一致性，也就是说使得两种不同的图像增强操作获得的增强视图在后续特征提取时能输出相同的语义标签，确保一致性正则化有效规范网络参数优化。
[0058]
图像增强操作常见的有以下类型：几何增强、噪声增强、像素增强。几何增强也称为空间增强，用于对图像进行几何变换操作，如：缩放、翻转、旋转、剪切、平移等。像素增强用于对图像的像素属性进行调整，如：亮度、对比度、饱和度、色调等。噪声增强用于在图像中添加噪声点。对图像进行增强操作时，可以多种类型的增强操作组合，也可以在同一种类
型下进行多次图像增强操作。
[0059]
本实施例中，先对涂鸦标注后的医学图像进行了标准增强操作，标准增强操作中包括了几何增强操作和噪声增强操作，获得标准增强视图；对标准增强操作后的医学图像再进行像素增强操作，即复合增强操作，获得复合增强视图。也就是说，复合增强操作是在标准增强视图ω(x)上再应用额外的增强操作。
[0060]
参考图3所示，标准增强函数ω(
·
)代表标准增强操作，图像增强具体步骤如下：首先将医学图像规范化至均值为0和方差为1；接着在图像上依序进行多种操作且每种操作的参数值服从一定范围内的均匀分布、按一定的概率发生，具体包括：缩放、弹性形变、旋转、水平和垂直镜像、以及高斯噪声等各种操作。
[0061]
复合增强函数β(
·
)代表复合增强操作，本实施例采取了颜色失真增强操作，将颜色失真增强应用在基于医学图像的一致性训练上。具体步骤如下：调整图像的亮度，即将图像的像素强度值加上某一随机值，该随机值服从均匀分布u(-0.8,+0.8)；调整图像的对比度，即将图像的像素强度值乘以某一随机值，该随机值服从均匀分布u(1-0.8,1+0.8)，然后将像素强度值限制至原像素强度值的上、下限；对图像进行伽马增强，即首先应用最小-最大值规范化，然后取像素值的随机数次幂，该随机数服从均匀分布u(1-0.8,1+0.8)。其中，δ＝1表示增强强度。上述三种数据增强操作顺序进行，每个操作有0.8概率发生。
[0062]
输入图像x经过标准数据增强函数ω(
·
)和复合增强函数β(
·
)后产生两种增强视图：标准增强视图ω(x)和复合增强视图β
°
ω(x)。
[0063]
本实施例通过标准增强函数ω(
·
)与复合增强函数β(
·
)使同一图像产生两种不同的视图，并能确保一致性正则化有效规范网络参数优化。
[0064]
可选的，在复合增强函数中，可以添加一种或多种颜色增强函数的复合形式(如高斯模糊函数或混合增强函数等，或者它们的复合)。高斯模糊函数使用高斯卷积核平滑图像；混合增强函数线性加权目标图像和训练数据集中的另一张随机图像。
[0065]
步骤s200：将标准增强视图和复合增强视图各输入双网络结构中的一个网络，分别获得伪标签和预测标签，所述双网络结构中的每个网络均为医学图像分割模型，且两个医学图像分割模型之间权重共享；
[0066]
具体地，现有技术中迭代优化标注数据的步骤为：固定标注数据，更新网络参数；固定网络参数，更新标注数据。训练图像的预测标签即使经过传统图像处理算法的优化，仍包含错误的标注像素，会导致网络拟合至错误信息；并且需要多次进行网络参数更新和预测标签优化两个步骤，涉及多次训练和预测标签的处理、存取操作，过程复杂且耗时。
[0067]
针对上述问题，本实施例的训练框架包括两个医学图像分割模型，形成双网络结构，双网络结构中每个网络包括一个医学图像分割模型，如图3中所示的f
θ
(
·
)。使用双网络结构在一次训练中完成网络参数优化，可实现非迭代式训练，并允许网络泛化至多标注数据(即每张训练图像对应多张标注数据)，有效限制网络拟合错误的标注信息。
[0068]
训练过程中两个医学图像分割模型的网络权重参数相同，即两个医学图像分割模型之间权重共享。将标准增强视图ω(x)输入医学图像分割模型，生成的预测结果为伪标签(即预测的完全标注数据)；将复合增强视图β
°
ω(x)输入另一个医学图像分割模型，生成的预测结果为预测标签。
[0069]
需要说明的是，医学图像分割模型的网络类型和参数不做具体限制，可根据不同
医学图像数据集的属性调整，可应用的网络类型包括：“u”形网络(unet)，“v”形网络(vnet)，残差网络(resnet)等；可修改的网络参数包括：网络层数、特征的通道数、卷积核尺寸和步长、归一化算法(如批、层或组归一化等)、整流函数(如，relu或leakyrelu等)、下采样算法(如最大池化或者步长卷积)和尺度、上采样算法(如线性插值或转置卷积)和尺度等。
[0070]
步骤s300：计算伪标签与预测标签之间的相似性，获得一致性正则化损失；
[0071]
步骤s400：构造包括一致性正则化损失的损失函数；
[0072]
具体地，现有技术中基于正则化约束的训练方法，如图割(graph cut)和密集条件随机场(dense conditional random field)，通过构造正则化项，加入网络训练的损失函数中。在损失函数中，部分交叉熵函数惩罚标注像素(即涂鸦标注的像素)的预测，限制无标签像素的预测。其中正则化项主要采用：将归一化割(normalized cut)构造为正则化项；或者将密集条件随机场和结合密集条件随机场与归一化割的分割技术(核割(kernel cut))构造为正则化项。而由于正则化项依赖图像的区域特性(如像素值的概率密度函数)来区分不同目标，导致难以区分像素值分布相近的器官或结构；并且依赖相邻像素间的像素值差异来确保预测标签的平滑性，即在相邻像素拥有不同标签时，像素值差异大得到的惩罚小，而像素值差异小得到的惩罚大。但是医学图像中相邻组织间像素值差异小的情况十分常见，因此，基于图割的正则化项可能导致预测标签的边缘区域溢出或缺损(由于像素值差异小，正则化项过度平滑)。基于密集条件随机场算法的正则化项在网络的预测标签的基础上进行优化，由于网络的预测标签本身存在错误信息，导致该正则化项的优化效果受限。
[0073]
本实施例使用一致性正则化损失来预测标签与伪标签之间的相似性。网络优化时，使用一致性正则化损失来最大化伪标签和复合增强视图预测值的交叉熵相似性，直接监督预测像素的语义标签，优于正则化项(其根据像素值特性限制预测标签，未直接惩罚预测标签的语义)。一致性正则化损失表示为：
[0074][0075]
其中，β(
·
)为复合增强函数。在上述公式中，伪标签可反向传播梯度进行参数更新。
[0076]
目前一致性正则化应用时均将伪标签从计算图中拆开(即在计算图中，没有边指向伪标签)，无法反传梯度。本发明将一致性正则化推广至基于涂鸦标注的图像分割算法。将一致性正则化应用在每张训练图像上，允许伪标签反传梯度，更新对应网络的参数。使得一致性正则化损失中交叉熵函数的输入(伪标签和复合增强视图的预测)均可反传梯度，这使损失中两种输入较一致，保证网络参数更新的连贯以及有效性。
[0077]
可选的，一致性正则化损失除交叉熵相似性的形式外，还可使用l1损失、均方误差损失和kl散度。
[0078]
其中l1损失的公式为：
[0079]
均方误差损失的公式为：
[0080]
kl散度的损失为：
[0081]
一致性正则化损失是限制同一图像不同预测的语义一致性、网络参数更新和拟合多标签的关键，因此需要将一致性正则化损失加入损失函数中对网络模型进行训练和优化。当然，损失函数中还可以包括其他损失项，以和一致性正则化损失一起构造损失函数。
[0082]
进一步地，本实施例中还包括计算标准增强视图中有标注像素提取的特征的交叉熵损失，获得部分交叉熵损失，并将该部分交叉熵损失用于损失函数中，使用部分交叉熵损失训练医学图像分割模型生成伪标签。
[0083]
使用部分交叉熵损失训练单一网络，是基于涂鸦标注的分割技术的基线算法。部分交叉熵损失的求和项中包括有标注的像素(即涂鸦标注的像素)，但抹去无标注的像素(即无标注像素的惩罚项为零，无梯度反传)。部分交叉熵损失表示为：
[0084][0085]
其中，表示输入图像，n表示图像x中的像素数目。表示涂鸦标注,其中k为类别数目(包括背景类)。在涂鸦标注y中，对于有标注像素，为一个独热编码的向量；对于无标注像素，为一个零向量。因此，在该设置下，中的无标签像素的交叉熵值为零，不会反向传播任何梯度。表示输出向量，其中f
θ
(
·
)表示参数为θ的网络，ω(
·
)是标准增强函数，标准增强视图的预测为生成的伪标签。crossentropy(p,q)＝-p
·
logsoftmax(q)表示交叉熵函数，其中p和q为k维向量。令q
′
＝softmax(q),则向量q
′
的第i通道表示为：
[0086]
通过使用权重共享的双网络结构同时使用一致性正则化损失进行网络优化以及使用部分交叉熵损失训练生成伪标签，能够很好地弥补单独使用部分交叉熵损失训练网络f
θ
(
·
)时性能不佳的问题。
[0087]
进一步地，与应用一致性正则化时使用预定义的处理算法(如：设置阈值和“锐化”概率分布等)来获得低熵标签不同，本发明使用熵最小化损失端到端训练医学图像分割模型，使医学图像分割模型输出低熵伪标签，以确保伪标签的有效性。在低熵标签监督下，医学图像分割模型的决策边界位于低密度区域，有利于类别区分。因此，本实施例还包括计算伪标签的熵最小化损失并将熵最小化损失用于损失函数中。
[0088]
具体地，低熵伪标签即像素的预测向量接近独热编码。使用低熵伪标签进行一致性训练，模型的决策边界倾向位于低密度区域，这使得不同类别像素的映射向量差异大(即区别明显)。为获得低熵伪标签，使用熵最小化损失衡量概率分布的不确定性：在概率
分布接近独热编码时(即确定性很强)，熵最小化损失的惩罚很小；在概率分布趋于均匀分布时(即各通道的值趋于相等，确定性很弱)，熵最小化损失的惩罚很大。熵最小化损失表示为：
[0089][0090]
其中，为伪标签，且
[0091]
因此，本实施例在训练过程中对伪标签的惩罚项包括部分交叉熵损失和熵最小化损失损失函数为其中r(t)为上升函数，上升函数的表达式为：r(t)＝exp(-η(1-t/t))，其中t为训练轮次，t和η为超参数。在前t轮训练中，r(t)从一个很小的正值上升至1，然后保持数值为1不变至训练结束；上升过程的速度由η控制，较大的η使上升过程缓慢。本实施例中t设置为80，η设置为8。
[0092]
步骤s500：根据损失函数训练医学图像分割模型，直至损失函数收敛，获得训练后的医学图像分割模型。
[0093]
具体地，构造了损失函数后，采用梯度下降法训练医学图像分割模型，直至损失函数收敛，获得训练后的医学图像分割模型。使用时，将特定解剖结构的医学图像输入训练后的医学图像分割模型，就可以获得医学图像的分割结果。
[0094]
由上所述，本实施例使用两个医学图像分割模型构建双网络结构并且两个医学图像分割模型之间权重共享，在对涂鸦标注后的医学图像进行两种标准增强操作和复合增强操作，使同一图像产生两种不同的视图。在此基础上，将两个增强视图各输入一个医学图像分割模型，获得伪标签和预测标签，并计算用于衡量伪标签与预测标签之间的相似性的一致性正则化损失，根据一致性正则化损失来训练和优化医学图像分割模型。由于采用了双网络结构，在训练过程中能同时进行“伪标签生成”和“网络优化”，允许网络泛化至多标签、且避免多次迭代训练；并且一致性正则化损失中交叉熵函数的输入(伪标签和复合增强视图的预测)均可反传梯度，使损失中两输入较一致，保证网络参数更新的连贯以及有效性；还使医学图像分割模型输出低熵伪标签，在低熵标签监督下，网络的决策边界位于低密度区域，有利于类别区分。
[0095]
需要说明的是，采用本发明的权重共享的双网络结构以及一致性正则化损失可以较好地优化医学图像分割模型，其中熵最小化损失、部分交叉熵损失、复合增强操作可以任意地组合或添加(如，应用所有惩罚项或者单独使用某种惩罚项)，均可提升训练医学图像分割模型的性能。
[0096]
基于涂鸦标注数据中带标签的像素稀少，训练时容易过拟合至该类像素，影响最终预测标签的形状(即模型的决策边界过拟合至涂鸦标注像素，使得训练图像的预测标签仅出现在涂鸦标注附近，且形状不规则)，本发明进一步地设置了用于存储有标注像素特征的特征池，使用该特征池正则化特征训练，可减轻网络过拟合至涂鸦标注像素。
[0097]
具体地，在上述一致性正则化训练框架上，如图3所示，本实施例还在左侧网络的编码器输出后(或辅助通路中)引入特征池来正则化特征学习。具体如图4所示，包括以下步
骤：
[0098]
步骤a100：对标准增强视图中有标注像素进行特征提取，获得隐藏特征；
[0099]
步骤a200：基于隐藏特征和有标注像素的权重，获得有标注像素的特征；
[0100]
具体地，特征池中包含各语义类别的集成特征向量。这些特征向量为有标注像素特征的动量移动平均。特征池的构建基于编码器特征其中fe(
·
)表示编码器。
[0101]
首先特征fe(ω(x))经过上采样，而后映射为隐藏特征考虑图像标注y中指向有标注像素的索引集合为则标注像素的特征由以下公式计算得到：
[0102][0103][0104]
其中s
ik
是表示像素重要性的权重标量。sim(p,q)＝p/‖p‖
·
q/‖q‖表示l2规范化的p和q的内积，即余弦相似性。由公式(5)可知，s
ik
与mk和zi的余弦相似性成反比。这意味着与特征mk相似性较低的像素的特征向量zi有较高的权重。
[0105]
步骤a300：基于有标注像素的特征，动态更新特征池；
[0106]
具体地，特征池更新的公式如下：
[0107]
mk←
αmk+(1-α)mk[0108]
其中初始化为零向量，α＝0.9为动量系数，mk为标注像素的特征。在训练过程中以动量移动平均的形式使用mk更新特征池。
[0109]
步骤a400：基于相同的映射模块，计算隐藏特征和涂鸦标注之间的部分交叉熵以及特征池的标注形成的单位矩阵与特征池之间的交叉熵，分别获得辅助损失和特征池损失；构造损失函数时还包括辅助损失和特征池损失。
[0110]
具体地，使用一个相同的映射模块g(
·
)来映射隐藏特征z和特征池m，而后将映射结果分别输入两种损失函数，分别获得辅助损失和特征池损失，并将辅助损失和特征池损失加入至损失函数来优化医学图像分割模型的训练。
[0111]
两种损失函数分别为辅助损失函数和特征池损失函数其中为单位矩阵，表示特征池的标注。特征池损失影响g(
·
)的权重和输出矩阵g(z)，最终影响隐藏特征z，以正则化特征学习。
[0112]
可选的，虽然本实施例的特征池使用左侧主干网络编码器输出作为隐藏特征，也可同时使用多尺度的编码器特征；也可在右侧主干网络中也增加特征池正则化特征学习；还可使用其他的相似性度量及特征池更新方式。
[0113]
考虑辅助损失函数和特征池损失函数后，本实施例的损失函数为其中r(t)为上升函数，λ1和λ2为平衡损失项重要性的系数。
[0114]
由上所述，区别于现有的迭代式训练方法、基于正则化约束的训练方法和基于生成对抗网络的训练方法，本实施例引入的特征池，能够以动量移动平均的形式储存集成特征，使用集成特征正则化编码器特征学习，减轻网络参数过拟合至涂鸦标注像素。
[0115]
示例性设备
[0116]
如图5所示，对应于基于涂鸦标注的医学图像分割模型训练方法，本发明实施例还提供一种基于涂鸦标注的医学图像分割模型训练装置，所述装置包括：
[0117]
增强操作模块600，用于对涂鸦标注后的医学图像进行第一图像增强操作获得标准增强视图，对标准增强视图进行第二图像增强操作获得复合增强视图；
[0118]
网络映射模块610，用于将所述标准增强视图和所述复合增强视图各输入双网络结构中的一个网络，分别获得伪标签和预测标签，所述双网络结构中的每个网络均为医学图像分割模型，且两个医学图像分割模型之间权重共享；
[0119]
一致性正则化损失模块620，用于计算所述伪标签与所述预测标签之间的相似性，获得一致性正则化损失；
[0120]
损失函数模块630，用于构造包括所述一致性正则化损失的损失函数；
[0121]
网络参数更新模块640，用于根据所述损失函数训练所述医学图像分割模型，直至所述损失函数收敛，获得训练后的医学图像分割模型。
[0122]
本实施例中，上述基于涂鸦标注的医学图像分割模型训练装置可以参照上述基于涂鸦标注的医学图像分割模型训练方法中的对应描述，在此不再赘述。
[0123]
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图6所示。上述智能终端包括通过系统总线连接的处理器、存储器、网络接口以及显示屏。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和基于涂鸦标注的医学图像分割模型训练程序。该内存储器为非易失性存储介质中的操作系统和基于涂鸦标注的医学图像分割模型训练程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该基于涂鸦标注的医学图像分割模型训练程序被处理器执行时实现上述任意一种基于涂鸦标注的医学图像分割模型训练方法的步骤。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。
[0124]
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0125]
在一个实施例中，提供了一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的基于涂鸦标注的医学图像分割模型训练程序，上述基于涂鸦标注的医学图像分割模型训练程序被上述处理器执行时进行以下操作指令：
[0126]
对涂鸦标注后的医学图像进行第一图像增强操作获得标准增强视图，对标准增强视图进行第二图像增强操作获得复合增强视图；
[0127]
将所述标准增强视图和所述复合增强视图各输入双网络结构中的一个网络，分别获得伪标签和预测标签，所述双网络结构中的每个网络均为医学图像分割模型，且两个医学图像分割模型之间权重共享；
[0128]
计算所述伪标签与所述预测标签之间的相似性，获得一致性正则化损失；
[0129]
构造包括所述一致性正则化损失的损失函数；
[0130]
根据所述损失函数训练所述医学图像分割模型，直至所述损失函数收敛，获得训练后的医学图像分割模型。
[0131]
可选的，还包括计算所述伪标签的熵最小化损失，构造所述损失函数时还包括熵最小化损失。
[0132]
可选的，构造损失函数时，根据指数形式的上升函数对所述一致性正则化损失和所述熵最小化损失进行加权处理，所述上升函数的表达式为：r(t)＝exp(-η(1-t/t))，其中t为训练轮次，t和η为超参数。
[0133]
可选的，还包括计算所述标准增强视图中有标注像素的提取特征的交叉熵损失，获得部分交叉熵损失；构造所述损失函数时还包括部分交叉熵损失。
[0134]
可选的，所述对涂鸦标注后的医学图像进行第一图像增强操作获得标准增强视图，对标准增强视图进行第二图像增强操作获得复合增强视图，包括：
[0135]
对涂鸦标注后的医学图像进行几何增强操作和噪声增强操作，获得标准增强视图；
[0136]
对标准增强视图进行颜色失真增强操作，获得复合增强视图。
[0137]
可选的，还设有用于存储有标注像素的特征的特征池，所述训练方法还包括：
[0138]
对所述标准增强视图中有标注像素进行特征提取，获得隐藏特征；
[0139]
基于隐藏特征和有标注像素的权重，获得有标注像素的特征；
[0140]
基于有标注像素的特征，动态更新所述特征池；
[0141]
基于相同的映射模块，计算所述隐藏特征和涂鸦标注之间的部分交叉熵以及特征池的标注形成的单位矩阵与特征池之间的交叉熵，分别获得辅助损失和特征池损失；构造所述损失函数时还包括所述辅助损失和所述特征池损失。
[0142]
可选的，所述基于有标注像素的特征，动态更新所述特征池，包括：
[0143]
根据设定的动量系数和有标注像素的特征，采用动量移动平均的方法更新所述特征池。
[0144]
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质上存储有基于涂鸦标注的医学图像分割模型训练程序，上述基于涂鸦标注的医学图像分割模型训练程序被处理器执行时实现本发明实施例提供的任意一种基于涂鸦标注的医学图像分割模型训练方法的步骤。
[0145]
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0146]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可
以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0147]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0148]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0149]
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0150]
上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
[0151]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不是相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。