超声图像自监督分割方法

1.本发明属于人工智能与医学图像的技术领域，具体涉及一种超声图像自监督分割方法。


背景技术：

2.医学超声成像由于其独具的实时性、无损性、廉价性、可重复性好、灵敏度高等优势广泛应用于临床诊断和治疗中。但常需要提取特定组织器官的信息，其不可缺少的手段就是图像分割，自动分割能帮助医生快速确定器官或者病变的大小和位置，能够减少医生手工标注所带来的繁重工作量。
3.近年来，随着深度学习方法的广泛发展，深度神经网络模型为生物医学图像分割表现的提升提供了巨大技术支持。卷神经网络可以自动学习图像中低层次视觉特征和高层次语义特征，避免了传统算法中手工设计并提取图像特征的复杂过程，深度学习方法在自动医学图像分割时相比传统的机器学习方法具有更高的准确性和更高的效率。
4.现有用于超声图像分割的深度学习方法都是基于有监督的学习方法，往往需要大量的有准确标签且多样性的样本进行网络模型训练才能保证算法的准确性。但在临床中要获得充足具有标签的样本非常困难。一方面，手动勾勒病灶区域轮廓的过程非常耗时和繁琐，将增加临床医生相当大的工作量和工作难度；另一面，由于超声图像的对比度低、噪声大等特点，人工标记大量样本的一致性非常依赖于观测者的经验，往往需要经验丰富的专家才能完成。


技术实现要素：

5.本发明的目的在于针对现有技术的不足之处，提供一种基于图像配准的超声图像自监督分割方法，本方法不仅可以适用于少量标签样本下超声图像分割，而且能大大提升超声图像分割准的确性。
6.为解决上述技术问题，本发明采用如下技术方案：
7.一种基于图像配准的超声图像自监督分割方法，包括如下步骤：
8.步骤1：对获取的超声图像训练数据集进行预处理；
9.步骤2：对步骤1所得的预处理后的超声图像数据集进行扭曲形变，并将原超声图像和形变后的超声图输入do-unet网络中进行图像配准，使do-unet网络输出的配准后图像与原图像相似度达到最大，并采用配准后图像训练do-unet网络，从而获得最佳的do-unet网络权重参数；
10.步骤3：将步骤2获得的最佳网络权重参数迁移到do-unet网络中得到优化后的do-unet网络，初始化优化后的do-unet网络的权重参数，并将步骤1所得到的预处理后有标签的超声图像数据集加载到优化后的do-unet网络中，对优化后的do-unet网络进行训练获得优化后的do-unet网络的最优网络权重参数；
11.步骤4：将步骤3得到的最优网络权重参数加载到优化后的do-unet网络中得到目
标do-unet网络，并将待分割超声图像输入至目标do-unet网络中，得到最终的超声图像分割结果。
12.进一步地，超声图像训练数据集来自临床，该数据集包括n幅超声图像样本，其中n1个为有标签样本和n-n1个为无标签样本。
13.进一步地，步骤1中预处理方法为：对图像进行尺寸归一化和灰度归一化处理。
14.进一步地，步骤2中，对步骤1所得的预处理后的超声图像数据集先采用水平集分割方法进行分割得到初始分割轮廓，然后使用轮廓检测方法得到轮廓坐标点，根据得到的坐标点对原始超声图像进行扭曲形变，扭曲形变为：
15.p＝[(x1，y1)，(x2，y2)，
…
，(xn，yn)]；
[0016]
q＝[(x
′1，y
′1)，(x
′2，x
′2)，
…
，(x
′n，x
′a)]；
[0017]
其中，p为通过轮廓检测后得到的n个原始控制点坐标的集合，q为p集合中的坐标经过随机加减一个整数后得到的坐标集合，变换后的坐标在超声图像像素范围内；将得到的原始控制点坐标和经过变换的控制点坐标放入基于移动mls的图像变形函数中从而对超声图像进行扭曲形变，其图像变形函数为：
[0018][0019]
pi、qi为控制点集中像素点的坐标，用行向量表示；wi为权重，m表示线性变换。
[0020]
进一步地，步骤2中进行图像配准的方法为：
[0021]
i＝[i1，i2，
…
，in]
[0022]
其中，i表示经过预处理的超声图像数据集，in为经过预处理的超声图像数据集中第n个超声图像；
[0023]i′
＝[i
′1，i
′2，
…
，i
′n]
[0024]
其中，i
′
表示对i进行扭曲形变后的超声图像数据集，i
′n为扭曲形变后的超声图像数据集中第n个超声图像；
[0025]
将原超声图像和进行形变后的超声图像输入do-unet网络中进行图像配准：
[0026]i″
＝[i
″1,i
″2,
…
,i
″n]；
[0027]
其中，i
″
表示经过配准后超声图像数据集，配准指的是在i中取一张原超声图像作为参考图像，在i
′
中取一张对应变形的超声图像与之进行配准，让i
″i与ii相似，以使do-unet网络输出的配准后图像与原图像相似度达到最大；
[0028]
采用获得的配准后图像训练do-unet网络，通过多次迭代次训练后获得最佳的网络权重参数。
[0029]
进一步地，步骤3中，在do-unet网络中加载步骤1所得的预处理后有标签的超声图像数据集为：
[0030][0031]
其中，d为n1个带有标签样本的预处理后的超声图像数据集，为第n1个带有标签样本；
[0032]
采用上述的经过预处理且带有标签的超声图像数据集对优化后的do-unet网络进行训练，在训练中不断更新优化后的do-unet网络的二元交叉熵损失函数的损失值，通过多
次迭代后获得优化后的do-unet网络的最优网络权重参数。
[0033]
进一步地，步骤4中，从步骤3中的预处理后有标签的超声图像数据集中随机选取一部分作为测试集，使用测试集对目标do-unet网络进行分割测试，并使用dice相似系数评价do-unet网络分割结果的准确性。
[0034]
与现有技术相比，本发明的有益效果为：本发明提出的一种超声图像自监督分割方法，其图像配准辅助任务是对扭曲形变图像的配准，可以学习到超声图像像素点排列位置等信息表示，更适用于分割任务；该方法中所使用的do-unet网络是以unet网络为基础的改进，所提出方法不仅可以适用于少量标签样本下超声图像分割，还可以减少因收集和标注大规模数据集所花费的人力和财力，而且能大大提升超声图像分割的准确性，能够可应用于动脉超声图像辅助诊断系统，监测斑块的生长和消退情况，对心脑血管发生预警有重要意义。
附图说明
[0035]
图1是本发明实施例中的超声图像自监督分割方法的流程图。
具体实施方式
[0036]
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0038]
下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0039]
如图1所示，本发明提供一种超声图像自监督分割方法，包括以下步骤：
[0040]
步骤1，对获取的超声图像训练数据集进行预处理；
[0041]
在该步骤中，获取的超声图像训练数据集为：超声图像训练数据集来自临床，该数据集包括n幅超声图像样本，其中n1个为有标签样本和n-n1个为无标签样本。
[0042]
在获得超声图像训练数据集后，对超声图像训练数据集中的图像进行尺寸归一化和灰度归一化处理，即将所述训练数据集中所有样本通过图像缩放归一化到同一尺寸(长：96像素，宽：144像素)，灰度范围归一化为[0,1]。
[0043]
步骤2：对步骤1所得的预处理后的超声图像数据集进行扭曲形变，并将原超声图像和进行形变后的超声图输入do-unet网络中进行图像配准，使目标do-unet网络输出的配准后图像与原图像相似度达到最大，采用do-unet网络输出的配准后图像训练目标网络do-unet，并获得最佳的do-unet网络权重参数；
[0044]
在本实施例，对步骤1所得的预处理后的超声图像数据集先采用水平集分割方法进行分割得到初始分割轮廓，然后使用轮廓检测方法得到轮廓坐标点，根据得到的坐标点对原始超声图像进行扭曲形变，扭曲形变为：
[0045]
p＝[(x1，y1)，(x2，y2)，
…
，(xn，yn)]；
[0046]
q＝[(x
′1，y
′1)，(x
′2，x
′2)，
…
，(x
′n，x
′a)]；
[0047]
其中，p为通过轮廓检测后得到的32个原始控制点坐标的集合，q为p集合中的坐标经过随机加减一个整数后得到的坐标集合，变换后的坐标在超声图像像素范围内。将得到的原始控制点坐标和经过变换的控制点坐标放入基于移动mls的图像变形函数中就可以对超声图像进行扭曲形变。其中，图像变形函数为：
[0048][0049]
pi和qi为控制点集中像素点的坐标，用行向量表示；x为原图像的像素点坐标，wi为权重，m表示线性变换；
[0050]
预处理后的超声图像和进行形变后的超声图像分别为：
[0051]
i＝[i1，i2，
…
，in]；
[0052]
其中，i表示经过预处理的超声图像数据集，in为经过预处理的超声图像数据集中第n个超声图像；
[0053]i′
＝[i
′1，i
′2，
…
，i
′n]；
[0054]
其中，i
′
表示对i进行扭曲形变后的超声图像数据集，i
′n为扭曲形变后的超声图像数据集中第n个超声图像；
[0055]
将预处理后的超声图像和进行形变后的超声图像输入到do-unet网络中进行图像配准：
[0056]i″
＝[i
″1,i
″2,
…
,i
″n]；
[0057]
其中，i
″
表示经过配准后超声图像数据集，i
″n表示第n个配准后超声图像；配准指的是在i中取一张原超声图像作为参考图像，在i
′
中取一张对应变形的超声图像与之进行配准，让i
″i尽可能与ii相似，即使do-unet网络输出的配准后图像与原图像相似度达到最大；在最大化do-unet网络输出的配准后图像与原图像相似度时，使用mssim损失函数作为误差度量：
[0058][0059][0060]
ssim(x,y)为mssim相似度度量函数，ii为原始图像，即原超声图像，i
″i是do-unet网络输出的配准后图像，x和y表示要进行相似度计算的两个图像向量；
[0061]
通过上述方法获得do-unet网络输出的配准后图像然后对do-unet网络进行训练。其中，do-unet网络为以unet网络为基础改进的do-unet神经网络，具体地，将两个unet顺序堆叠，用第一个unet的输出作为第二的输入，优化器为adam，学习率(learning rate)为0.0001。采用配准后图像对do-unet网络进行训练，在本实施例中，训练集的批量(batch size)设为8，训练的次数(epoch)设为100，经过多次迭代训练后获得do-unet网络最佳的网络权重参数，即为自监督学习的辅助任务学习的最优权重参数。
[0062]
步骤3：将步骤2获得的最佳网络权重参数迁移到do-unet网络中得到优化后的do-unet网络，初始化优化后的do-unet网络的权重参数，并将步骤1所得到的预处理后有标签的超声图像数据集加载到优化后的do-unet网络中，对do-unet网络进行训练获得do-unet
网络的最优网络权重参数；
[0063]
在本步骤中，在do-unet网络中加载步骤1所得的预处理后有标签的超声图像数据集为：
[0064][0065]
其中，d为n1个带有标签样本的超声图像数据集，为第n1个带有标签样本；
[0066]
将步骤2保存的最佳网络权重参数迁移到目标网络do-unet中得到优化后的do-unet网络，初始化优化后的do-unet网络的权重参数，再从上述超声图像数据集d中随机选取一部分作为训练集，另一部分作为测试集，采用训练集对优化后的do-unet网络进行优化训练，并在优化训练中不断更新优化后的do-unet网络的损失函数的损失值从而获得优化后的目标网络do-unet的最优网络权重参数。其中，在本实施例中，训练过程的优化器为adam，学习率(learning rate)为0.0001，训练集的批量(batch size)设为16，训练的次数(epoch)设为50；
[0067]
在本实施例中，训练优化后的do-unet网络使用的损失函数为二元交叉熵损失函数：
[0068][0069]
其中，σ(x)是sigmoid函数，即：
[0070][0071]
其中，xi为超声图像数据集，yi为超声图像数据集对应的标签集，n为样本总数，z为sigmoid函数中x的取值；
[0072]
优化后的目标网络do-unet使用的优化器为adam优化器来更新网络权重参数参数，经过多次迭代后获得优化后的do-unet网络的最优网络权重参数。
[0073]
步骤4：将步骤3中得到的最优权重参数加载到步骤3中优化后的do-unet网络中得到目标do-unet网络，将待分割超声图像输入到目标do-unet网络中，从而得到最终的超声图像分割结果；
[0074]
在该步骤中，将步骤3中得到的最优网络参数载入到步骤3中优化后的目标网络do-unet中得到目标do-unet网络，并使用步骤3中的测试集对目标do-unet网络进行分割测试，并获得超声图像的分割准确率，其中，在本实施例中，使用dice相似系数评价所建立的目标do-unet网络分割结果的准确性，即：
[0075][0076]
其中，m和a分别表示由人工和算法生成的病灶边界包围的区域。
[0077]
参见下表1，表1为实施例以颈动脉超声图像为例的测试结果进行一个具体的展示，从表1可以看出，本实施例建立的目标do-unet网络分割的准确率均在80％以上，因此可见目标do-unet网络分割的准确率较高，可应用于动脉超声图像辅助诊断系统，有助于医生观察和判断病情，对心血管疾病预警具有重要意义。
[0078]
表1为实施例以颈动脉超声图像为例的测试结果
[0079][0080]
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。