本发明属于图像处理与分析中的图像分割领域,更具体地,涉及一种基于pcanet深度学习模型下的自动分割方法(具体是基于两级pcanet深度学习模型的钼靶肿块的自动分割方法),相应的,也可以得到基于pcanet深度学习模型下的自动分割系统,尤其适用于钼靶肿块的自动分割。
背景技术:
医学影像技术是现代医学中的重要组成部分,对疾病的诊断和治疗有着革命性的意义。以乳腺癌为例,乳腺癌一直以来是威胁全球女性身心健康的恶性疾病之一,因此对乳腺组织进行早期异常组织的检测与筛排十分的重要。在诊断技术上,乳腺钼靶x摄影技术具有检测空间分辨率高,对肿块组织灵敏度高,并且具有无创、微辐射等特点,是目前公认的检测乳腺癌最有效的手段之一。但乳腺组织中存在的腺体、结缔组织、脂肪等密度相似的软组织往往使得钼靶图像中的病灶区隐匿其中难以辨别,加之人工阅片具有一定的主观性、随机性,因此乳腺肿块检测的准确率低一直是医学诊断中的难题。随着计算机视觉的迅速发展与大数据共享的产生,利用计算机为辅助诊断工具,给放射医师提供一定的参考诊断信息,帮助甚至代劳手动勾画影像中发生病理变化的组织,有效地减少诊断中因为视觉疲劳和疏忽造成的漏诊与误诊。当然,除了上述在疾病诊断上的关键应用外,医学影像技术也存在非疾病诊断方面的应用,如科学研究等方面的应用等。
图像分割的目标是在对待分割区域内部,根据一定特征准则,对其进行类别划分以得到分割的结果。基于计算机辅助检测系统大体上分为四部分:预处理,提取感兴趣区域,特征提取,区域分类。
目前,用于图像分割领域的方法大体上分为以下几种:第一类是基于灰度阈值的方法,根据目标图像的直方图将图像划分为前景区与背景区,接下来再根据提取出区域的圆形度、面积、标准差等特征来去除假阳性区域,然而这类方法特征指标较少,过分依赖初始的灰度信息,当环境与不同病人的图像灰度信息出现较大变化时,分割效果往往很差,因此不具有较强的鲁棒性,目前多应用在图像的预处理部分。第二类是基于边缘的方法,以水平集分割为代表,该方法计算图像中的梯度信息来构建能量泛函数,建立与曲线收缩与扩充强度的一定关系,曲线在演变过程中与变化剧烈的边界贴合得到最终的分割结果,但该法往往对图像中的突变干扰信息十分敏感并且难以检测出边界模糊不清的肿块区域,此外该法初始化区域的选取十分关键,往往需要人为干预,不能达到真正意义上的自动分割。第三类是基于聚类的方法,它是首先指定多个聚类中心,在一定范围下将图像中所有的点归入其中,重新计算新的聚类中心,重复迭代直到满足某个准则的最优则达到最终的结果,但由于乳腺肿块的大小与形态差异很大,单一地使用聚类的方法无法达到理想的分割精度。第四类是基于深度学习的分割方法,最典型是使用卷积神经网络对输入图像进行特征提取最终达到分割的效果,但卷积神经网络常常面临巨大调参工作与冗余数据量的难题,且过于深的网络存在梯度消失的缺陷,故不利于实现精准的图像分割。
技术实现要素:
针对现有技术的以上缺陷或改进需求,本发明的目的在于提供一种基于pcanet深度学习模型下的钼靶肿块的自动分割方法,其中通过对该自动分割方法的整体数据处理流程、以及相应自动分割系统的框架结构进行控制,将超像素与pcanet网络结合实现图像的自动分割,并对自动分割方法中各个关键处理步骤(包括预处理、超像素聚类处理、pcanet网络的处理、svm分类器的处理步骤等)细节数据处理过程等进行优选控制,可大大提高诸如钼靶肿块的分割精度与鲁棒性。
为实现上述目的,按照本发明的一个方面,提供了一种基于pcanet深度学习模型下的图像自动分割方法,其特征在于,包括以下步骤:
(1)将待分割的图像依次经过预处理、超像素聚类处理、第一pcanet网络的处理、以及第一svm分类器的处理后得到粗分割后的图像;其中,所述超像素聚类处理是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一pcanet网络的处理用于提取各个超像素块的特征向量,所述第一svm分类器的处理则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
(2)将所述步骤(1)得到的所述粗分割后的图像依次经过第二pcanet网络的处理、以及第二svm分类器的处理后得到精分割后的图像,由此完成图像的自动分割;其中,所述第二pcanet网络的处理基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二svm分类器的处理则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
作为本发明的进一步优选,所述步骤(1)具体包括以下步骤:
(1-1)预处理步骤:
对待分割的图像i,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像i1;
(1-2)超像素聚类处理:
根据预处理后的图像i1采用线性迭代聚类的方法,由该预处理后的图像i1中各点的空间信息与灰度信息,对其进行聚类分割,得到一组含有k个形状不规则的超像素块
(1-3)第一pcanet网络的处理:
根据所述超像素块
并且,
(1-4)第一svm分类器的处理:
将所述特征向量
作为本发明的进一步优选,所述步骤(1-1)中,所述高斯降采样和所述顶帽变换具体如下:
记所述待分割的图像i中的一个初始图像块为i,所述高斯降采样得到的图像块为ids,所述顶帽变换得到的图像块为i1,则i、ids、i1满足:
ids=i*t'
其中,t’为预先设定的二维高斯卷积模板,优选的,t’的标准差为0.5,维度大小3×3;*为二维卷积运算符;
对所述待分割的图像i中的每个初始图像块进行所述高斯降采样和所述顶帽变换,由此得到预处理后的图像i1;
所述步骤(1-2)具体包括以下步骤:
(1-2-1)以步长为s的网格中心初始化聚类中心点ck=[g,x,y]t,其中g为该点的灰度值,x与y表征中心点的位置;其中,步长s是预先设定的;
(1-2-2)在聚类中心的3像素点×3像素点邻域计算所有像素点的梯度值,将中心点移动至该范围下梯度值最低的位置;
(1-2-3)在中心点周围的s×s的区域分配类标签值,以中心点周围的2s×2s的区域作为中心点的待定区域,计算该待定区域内各像素点与包含该超像素块与相邻超像素块的多个中心点之间的距离尺度,并该像素点分配给距离尺度最近的中心点,直到所有像素点均被重新分配后再根据形心计算新的聚类中心点,重复该步骤直到所有的聚类中心点不再发生变化为止;
其中,第i个像素点与第j个超像素块的中心点之间的距离尺度mi,j的计算公式如下:
其中,所述第i个像素点与第j个超像素块相邻,dg和dp分别为第i个像素点与第j个超像素块的中心点之间的灰度距离度量和空间距离度量;w和s分别为控制dg和dp的预先设定的权重因子;优选的,s为搜索区域边长归一化后的值;
所述步骤(1-3)中,记所述一组
其中,w1与w2分别表示所述第一pcanet网络中第一级与第二级的卷积模板,l1为第一级的卷积模板个数,l1满足8~20,l2为第二级的卷积模板个数,l2满足8~20;优选的,l1=20,l2=10;
优选的,训练过程得到的卷积模板w1,w2的计算方法如下:
其中,r=r1,rrr×bk表示rr×bk的矩阵,b为训练集图像的张数;ql表示取前l个特征值对应的特征向量,matr,r(ν)表示将特征向量排成r×r的矩阵,
作为本发明的进一步优选,所述步骤(2)具体包括以下步骤:
(2-1)第二pcanet网络的处理:
根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
(2-2)第二svm分类器的处理:
将所述特征向量
作为本发明的进一步优选,所述步骤(2-1)中,
其中,w1与w2分别表示所述第二pcanet网络中第一级与第二级的卷积模板,l1为所述第二pcanet网络中第一级的卷积模板个数,l1满足8~20,l2为所述第二pcanet网络中第二级的卷积模板个数,l2满足8~20;优选的,l1=8,l2=8;
优选的,训练过程得到的卷积模板w1,w2的计算方法如下:
其中,r=r2,rrr×bk'表示rr×bk'的矩阵,b为训练集图像的张数;ql表示取前l个特征值对应的特征向量,matr,r(ν)表示将特征向量排成r×r的矩阵,
作为本发明的进一步优选,所述步骤(1)中,所述待分割的图像为待分割的钼靶图像。
按照本发明的另一方面,本发明提供了一种基于pcanet深度学习模型下的图像自动分割系统,其特征在于,包括:
第一级粗分割网络,该第一级粗分割网络用于将待分割的图像依次经过预处理模块、超像素聚类处理模块、第一pcanet网络、以及第一svm分类器后得到粗分割后的图像;其中,所述超像素聚类处理模块是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一pcanet网络用于提取各个超像素块的特征向量,所述第一svm分类器则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
第二级精分割网络,该第二级精分割网络用于将得到的所述粗分割后的图像依次经过第二pcanet网络、以及第二svm分类器后得到精分割后的图像,完成图像的自动分割;其中,所述第二pcanet网络用于基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二svm分类器则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
作为本发明的进一步优选,所述第一级粗分割网络具体包括:
预处理模块,用于对待分割的图像i,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像i1;
超像素聚类处理模块,用于根据预处理后的图像i1采用线性迭代聚类的方法,由该预处理后的图像i1中各点的空间信息与灰度信息,对其进行聚类分割,得到一组含有k个形状不规则的超像素块
第一pcanet网络,用于根据所述超像素块
并且,
第一svm分类器,用于将所述特征向量
作为本发明的进一步优选,所述第二级精分割网络具体包括:
第二pcanet网络,用于根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
第二svm分类器,用于将所述特征向量
通过本发明所构思的以上技术方案,与现有技术相比,由于是基于两级pcanet深度学习模型构建图像自动分割方法及相应系统,具体采用粗分割步骤和与之配合的细分割步骤,并通过控制粗分割步骤、细分割步骤两者的具体处理流程,使粗分割步骤由前至后依次包括预处理、超像素聚类处理、第一pcanet网络的处理、以及第一svm分类器的处理,细分割步骤由前至后依次包括第二pcanet网络的处理、以及第二svm分类器的处理,利用各个细节步骤及相应功能模块的整体配合,可最终得到精分割后的图像。
本发明利用顶帽变换这一形态学变换配合高斯降采样金字塔对图像进行预处理,能够在保留图像结构信息最大程度的情况下减少期像素点个数,可有效简化后续处理的难度,并提高后续处理的效率。
本发明通过优选控制各个细节处理步骤之间的数据传递,使超像素块
本发明解决了由于网络过深而导致的梯度消失的弊端,使用的双阶网络根据两个阶段的不同需求进行了超像素到像素级别的分割解决了基于区域的传统分割算法中存在的冗余信息量过大的问题,减轻了经典卷积神经网络中由于层数过深而导致的梯度消失的弊端,加快了经典pcanet用于图像逐点分割的速度。
本发明尤其通过控制第一pcanet网络、第二pcanet网络的具体结构,将第一pcanet网络中第一级滤波器优选控制为20个、第二级滤波器优选控制为10个,将第二pcanet网络中第一级滤波器优选控制为8个、第二级滤波器优选控制为8个,既简化神经网络的冗余构架,又能够有效地提取出复杂医学图像的局部结构特征。本发明利用了pcanet结构简明,少参量易调的优势,搭建的双级网络达到了学习中深层次信息挖掘的要求,更有效地减少了深度网络普遍存在的梯度消失问题,引入的超像素模块改进了原有pcanet网络分割速度过慢的缺陷,完成了基于深度学习模型下的语义分割任务。另外,对于本发明粗分割网络和精分割网络中的两级svm分类器,惩罚参数c与核函数参数g设定均可优选采用交叉验证法寻优。
综上,本发明将医学图像的分割问题转换为分类问题,结合超像素与pcanet网络实现钼靶肿块的自动分割,与现有的几类分割方法相比,本专利提出的方法可大大提高例如钼靶肿块等的分割精度与鲁棒性。
附图说明
图1为本发明基于pcanet深度学习模型下的钼靶肿块的自动分割模型的结构示意图。
图2为本发明中pcanet与svm分类实现对超像素块分类的网络结构图。
图3为实施例1基于pcanet深度学习模型下的钼靶肿块的自动分割模型的流程图。
图4a为本发明实施例1方法待分割的测试图像1;
图4b为本发明实施例1方法医师给出的金标准;
图4c为本发明对比例1方法得到的分割结果;
图4d为本发明对比例2方法得到的分割结果;
图4e为本发明对比例3方法得到的分割结果;
图4f为本发明实施例1方法得到的分割结果。
图5a为本发明实施例1方法待分割的测试图像2;
图5b为本发明实施例1方法医师给出的金标准;
图5c为本发明对比例1方法得到的分割结果;
图5d为本发明对比例2方法得到的分割结果;
图5e为本发明对比例3方法得到的分割结果;
图5f为本发明实施例1方法得到的分割结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于pcanet深度学习模型下的钼靶肿块的自动分割模型,包括第一级的粗分割网络、第二级的精分割网络,如图1所示,其中第一级网络又包含预处理模块、超像素聚类模块(如,基于简单线性迭代聚类下的超像素聚类模块)、pcanet网络模块、svm分类器模块,第二级网络包含了pcanet网络模块、svm分类器模块。可以预先通过两组独立的医学数据,分别对级联的两级神经网络进行训练,可在给定的医学数据与标签值下,对已搭建好的双级神经网络模型进行反复地学习与纠错,自动调整网络内部权值以适应与匹配训练集,最终实现了对测试集图像的精准分割。
测试阶段下,将测试图像(即,待分割的图像)输入到第一级粗分割网络中,输出得到超像素预分割的模板图;然后将第一级模板图所选中的区域输入到第二级精分割网络中,获得测试图像的二值分割模板。
以乳腺钼靶图像作为待分割的图像为例,该系统中各个模块的功能及对应的具体处理过程可以如下:
所述第一级中的预处理模块用于对输入的乳腺图像的感兴趣区域进行高斯降采样、乳腺背景组织的去除的预处理;所述第一级中的超像素聚类模块用于对前一模块输出的预处理后的图像进行聚类划分成多个超像素块
具体地,该分割模型进行乳腺肿块图像的分割包括以下步骤:
步骤1将测试图像输入到已训练的网络模型的第一级粗分割网络中,获得一组所述测试图像超像素块的图像分类的标签值,标签值反填充回对应的位置,得到二值化的预分割模板图;具体步骤可以如下:
步骤1-1用于粗分割网络内部获得预处理后的图像i1,方法为:首先根据测试图像i,对其采用降采样高斯金字塔,达到在保留图像结构信息最大程度的情况下减少其像素点个数目标,再针对目标肿块的结构特征进行图像进行一种形态学变换—顶帽变换,获得预处理后的图像i1;
计算方法如下:
ids=i*t'(1)
其中,t’为标准差为0.5,大小3×3的二维高斯卷积模板,*为二维卷积运算符,
步骤1-2用于粗分割网络内部,根据预处理后的图像i1采用简单线性迭代聚类的方法,由目标图像中各点的空间信息与灰度信息,对其进行聚类分割,获得一组含有k个形状不规则的超像素块
其中,dg和dp分别为灰度距离度量和空间距离度量,s为搜索区域边长归一化后的值,w和s为控制dg和dp的权重因子;
步骤1-3用于粗分割网络内部,根据上述获得的超像素块
其中,w1与w2分别表示第一阶与第二阶的卷积模板,l1=20为第一阶卷积模板的个数,l2=10为第二阶卷积模板的个数;
步骤2根据上述的预分割模板图获取测试图中由模板图所选中的对应区域,输入到以训练的网络模型的第二级精分割网络(即,第二级细分割网络)中,获得每个像素点的分类标签值,得到二值化的最终分割模板图;具体步骤可以如下:
步骤2-1用于细分割网络内部,根据步骤1中所获得的预分割区域,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
步骤2-2用于细分割网络内部,将上述的图像块
实施例1
本实施例提供了一种基于pcanet深度学习模型下的钼靶肿块的自动分割技术,包括以下步骤,如图1所示:
步骤1将测试图像输入到已训练的网络模型的第一级粗分割网络中,获得一组所述测试图像超像素块的图像分类的标签值,标签值反填充回对应的位置,得到二值化的预分割模板图;
步骤1-1计算用于粗分割网络内部获得预处理后的图像i1,根据公式(1)和(2),获得降低乳腺组织背景干扰后的图像其中个顶帽变换中结构元素的大小约取35个像素点;
步骤1-2计算用于粗分割网络内部采用简单线性迭代聚类的方法获取超像素块
步骤1-3用于粗分割网络内部获取图像块
步骤2-1用于细分割网络内部,进步一地根据粗分割的结果图对区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
步骤2-2用于细分割网络内部,将上述的图像块
对比例1
按照(imageprocessing.internationalsocietyforopticsandphotonics,1999,3661:490-499)里的levelset方法实现分割。
对比例2
按照(ieeetransactionsonimageprocessing,2015,24(12):5017-5032.)里的pcanet方法实现分割。
对比例3
按照(ieeetranspatternanalmachintell,2012,34(11):2274-2282.)里的方法结合pcanet网络结构实现分割。
实验结果分析
为了进一步体现本发明的优点,我们将实施例1与对比例1-4的分割结果进行了多参数的评估比较。分割精度采用accuracy、specificity、sensitivity、recall和测试时间进行了评价,这里accuracy、specificity、sensitivity、recall四个指标的定义为:
acc=(tpn+tnn)/(tpn+fnn+tnn+fpn)
sen=tpn/(tpn+fpn)
spe=tnn/(tnn+fpn)
rec=tpn/(tpn+fnn)
其中tpn代表真阳性的像素点个数,fpn代表假阳性的像素点个数,tnn代表真阴性的像素点个数,fnn代表假阴性的像素点个数。
采用公开的乳腺数据源ddsm进行网络的训练与测试,表1显示了四种分割方法的四种指标的统计平均值。从表1中我们可以看出,与其他分割方法相比,本例在accuracy(表示的是正负所有样本被正确归类的比例),sensitivity(预测正样本中正确的比例),specificity(真实负样本中被找全的比例),recall(真实正样本中被找全的比例),测试时间综合指标较佳,对比例1中recall值较低,对比例2中recall值较低并且测试时间过长,对比例3虽效果也不错,但由于实例1是在对比例3的基础上改进,各项指标均有所提升。综上所述,本发明提出的方法在钼靶肿块分割上较对比例的算法具有更高的分割精度。
表1各方法在钼靶肿块分割图像中的多参数对比
为了更直观地显示本发明相对于其余方法的优越性,我们提供了两组实施例1与对比例1-3对应配准图像的视觉效果图,测试数据均来自于网络公开数据源ddsm。如图4所示。图4a为待分割的测试图像1,图4b为医师给出的金标准,图4c为对比例1分割的结果,图4d为对比例2分割的结果,图4e为对比例3分割的结果,图4f为实施例1分割的结果;图5a为待分割的测试图像2,图5b为医师给出的金标准,图5c为对比例1分割的结果,图5d为对比例2分割的结果,图5e为对比例3分割的结果,图5f为实施例2分割的结果。
除了对钼靶图像外,本发明也可以应用于其他类型的医学影像图像,如超声图像、mri图像等。
关于本发明所利用的超像素聚类处理,pcanet网络的构建及训练过程等,本发明未详细说明的地方可参考相关现有技术;例如,超像素聚类处理可参考achanta,radhakrishna,etal."slicsuperpixelscomparedtostate-of-the-artsuperpixelmethods."ieeetransactionsonpatternanalysisandmachineintelligence34.11(2012):2274-2282.等;pcanet网络构建及训练可参考chan,tsung-han,etal."pcanet:asimpledeeplearningbaselineforimageclassification?."ieeetransactionsonimageprocessing24.12(2015):5017-5032.等。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。