基于轻量级神经网络的乳腺钼靶图像深度学习分类方法与流程

文档序号:14452736阅读:254来源:国知局

本发明属于生物医学领域,具体涉及一种基于轻量级神经网络的乳腺钼靶图像深度学习分类方法。



背景技术:

乳腺钼靶全称乳腺钼靶x线摄影检查,又称钼钯检查,是目前诊断乳腺疾病的首选和最简便、最可靠的无创性检测手段,痛苦相对较小,简便易行,且分辨率高,重复性好,留取的图像可供前后对比,不受年龄、体形的限制,目前已作为常规的检查手段。乳腺钼靶作为一种相对无创性的检查方法,可以比较全面而正确地反应出整个乳腺的大体解剖结构,观察各种生理因素如月经周期、妊娠、哺乳等对乳腺结构的影响,并可以动态观察;协助鉴别出乳腺的良性病变和恶性肿瘤;早期发现可疑病变,定期随访摄片观察;对于乳腺癌患者进行内分泌治疗、放疗、化疗后的病变情况进行随访检查,观察疗效,并对健侧乳腺进行定期监测。

乳腺钼靶是目前乳腺癌筛查最重要的无创性检查手段,乳腺影像报告和数据系统(bi-rads)将钼靶乳腺密度分为四级,作为重要诊断基础。然而在医学钼靶图像样本数量少、差异大、密度分布不均等特点,对于乳腺钼靶图像处理与分析应用而言,人工识别方式只能对乳腺区域边界进行简单划分,并对区域内乳腺密度进行定性的估计,已经难以满足乳腺密度分类对于精度和速度的要求,而传统的乳腺钼靶图像自动密度分类方法也存在着严重影响分析结果的的缺点:乳腺本身且形态各异,难以采用传统基于形态模型的方法对各类组织进行分割,造成乳腺和图像背景之间边界划分不准确;乳腺内部各类组织密度分布极不均匀,使得密度分布柱状图统计结果容易以偏概全,造成乳腺整体密度的统计分析发生错误,严重影响了乳腺钼靶密度分类的判别精度和处理速度。



技术实现要素:

本发明的目的在于提供一种基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,利用乳腺常规检测所产生的乳腺钼靶图像之后,对数字化的乳腺钼靶图像进行基于深度学习的处理与分析,从而自动的将乳腺钼靶图像进行密度分类,以减轻影像医师工作量,提高乳腺疾病诊断率。

为实现上述目的,本发明的技术方案是:一种基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,包括如下步骤,

(i)对已知密度分类的乳腺钼靶数据集中所有原始图像进行像素灰度梯度权重计算,得到对应的梯度权重图;

(ii)对所述梯度权重图进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像;

(iii)对所述已知密度分类的乳腺钼靶数据集中所有原始图像与其对应的前景区域图像相融合,得到仅包含胸部肌肉和乳腺的图像训练集;

(iv)构建基于轻量级神经网络的深度学习框架,共包含12层,按照顺序依次包含一个输入层、一个含卷积核并采用修正线性单元激活函数的卷积层、一个含卷积核并采用最大采样函数的池化层、一个含卷积核并采用relu激活函数的卷积层、一个含卷积核并采用maxpooling的池化层、一个含卷积核并采用relu激活函数的卷积层、一个含卷积核并采用maxpooling的池化层、一个数据平面化层、一个64位全连接层、一个丢弃比例为0.5的数据丢弃层、一个4位全连接层、以及一个采用归一化指数激活函数的激活层作为输出层;

(v)对所述的训练集图像经过样本扩展增加输入样本数量至深度学习框架,由神经网络自动计算分类结果并与真实分类进行比较,所得误差反馈至神经网络中对各卷积核参数进行修正,训练集图像经过修正后的网络重新计算分类结果并与真实分类进行比较,误差反馈至神经网络进行修正,如此循环200次,完成训练过程;

(vi)对未分类的图像进行像素灰度梯度权重计算,得到对应的梯度权重图;

(vii)对所述未分类图像的梯度权重图进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像;

(viii)对所述的未分类原始图像与其对应的前景区域图像相融合,得到仅包含胸部肌肉和乳腺的测试图像;

(ix)对所述的测试图像输入至完成训练的神经网络,由神经网络自动计算分类结果,完成测试过程。

在本发明一实施例中,所述步骤(i)的具体实现过程如下:

a)从上至下、从左至右遍历图像每个像素,计算每个像素与水平方向和垂直方向的相邻像素之间的差值,并将得到的两个差值相加,得到包含了水平和垂直方向变化信息的梯度;

b)单个像素的梯度权值为其梯度的倒数,所有像素的梯度权值组成了与原始图像大小一致的梯度权值图像。

在本发明一实施例中,所述步骤(ii)的具体实现过程如下:

a)对梯度权重图进行侵蚀操作,以大小为5个像素的菱形为结构元素对象,对图像封闭区域的边缘进行侵蚀操作,去除图像中宽度小于10个像素的线性物体,将包含乳房与胸部肌肉的前景区域与人工干扰物分隔开来;

b)对去除宽度小于10个像素的线性物体后的梯度权值图像进行膨胀操作,以大小为5个像素的菱形为结构元素对象,对图像封闭区域的边缘进行膨胀操作,恢复图像中主体结构的原有边界;

c)由于乳房与胸部肌肉区域是钼靶图像主体结构,保留梯度权值图像中面积最大的结构,即为仅包含乳房与胸部肌肉的前景区域,该区域的边界即前景和背景之间边界。

在本发明一实施例中,所述步骤(iii)的具体实现过程如下:

a)将二值化的mask变换为相应原始图像的位数;

b)将乳腺钼靶数据集中所有原始图像与其一一对应的同样尺寸的前景区域图像进行矩阵点乘操作,点乘操作后的矩阵即为前景图像;

c)对数据库中所有图像重复进行点乘操作,得到仅包含胸部肌肉和乳腺的图像训练集。

在本发明一实施例中,所述步骤(iv)的具体实现过程如下:

a)加入一个200×200像素大小的输入层;

b)加入一个含32个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

c)加入一个含32个2×2像素大小卷积核并采用maxpooling的池化层;

d)加入一个含32个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

e)加入一个含32个2×2像素大小卷积核并采用maxpooling的池化层;

f)加入一个含64个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

g)加入一个含64个2×2像素大小卷积核并采用maxpooling的池化层;

h)加入一个数据平面化层;

i)加入一个64位全连接层;

j)加入一个丢弃比例为0.5的数据丢弃层;

k)加入一个4位全连接层;

l)加入一个采用softmax激活函数的激活层作为输出层;

m)构建包含上述12层各类层次的轻量级神经网络的深度学习框架。

在本发明一实施例中,所述步骤(v)的具体实现过程如下:

a)将训练集图像中随机选择1个样本输入至深度学习框架,对该样本随机进行包括旋转变换、宽度缩放变换、长度缩放变换、剪裁变换在内的随机变换,生成32个相应的样本;

b)将所得随机生成的32个样本输入至深度学习框架,由神经网络自动计算分类结果并与真实分类进行比较,得到相应的正确率和信息损失值,保存正确率、信息损失值和误差3个参数;

c)将所得误差反馈至神经网络中对神经网络中各卷积核参数进行修正;

d)将训练集图像中再次随机选择1个样本输入进行随机变换的样本扩展,将所得随机生成的32个样本经过修正后的网络重新计算分类结果并与真实分类进行比较,误差反馈至神经网络进行修正,如此循环200次,完成训练过程;

e)将每次训练过程所得到的正确率和损失值分别绘制正确率曲线和损失曲线并保存。

在本发明一实施例中,所述步骤(vi)的具体实现过程如下:

a)从上至下、从左至右遍历图像每个像素,计算每个像素与水平方向和垂直方向的相邻像素之间的差值,并将得到的两个差值相加,得到包含水平和垂直方向变化信息的梯度;

b)单个像素的梯度权值为其梯度的倒数,所有像素的梯度权值组成了与原始图像大小一致的梯度权值图像。

在本发明一实施例中,所述步骤(vii)的具体实现过程如下:

a)对梯度权值图像进行侵蚀操作,以大小为5个像素的菱形为结构元素对象,对图像封闭区域的边缘进行侵蚀操作,去除图像中宽度小于10个像素的线性物体,将包含乳房与胸部肌肉的前景区域与大部分人工干扰物分隔开来;

b)对去除宽度小于10个像素的线性物体后的梯度权值图像进行膨胀操作,以大小为5个像素的菱形为结构元素对象,对图像封闭区域的边缘进行膨胀操作,恢复图像中主体结构的原有边界;

c)由于乳房与胸部肌肉区域是钼靶图像主体结构,保留梯度权值图像中面积最大的结构,即为仅包含乳房与胸部肌肉的前景区域,该区域的边界即前景和背景之间边界。

在本发明一实施例中,所述步骤(viii)的具体实现过程如下:

a)将二值化的前景区域图像变换为相应原始图像的位数;

b)将乳腺钼靶数据集中所有原始图像与其一一对应的同样尺寸的mask进行矩阵点乘操作,点乘操作后的矩阵即为前景图像;

c)对数据库中所有图像重复进行点乘操作,得到仅包含胸部肌肉和乳腺的图像训练集。

在本发明一实施例中,所述步骤(ix)的具体实现过程如下:

a)对所述的测试图像输入至完成训练的神经网络,由神经网络自动计算分类结果,完成测试过程;

b)将自动计算的分类结果与专家分类结果相比较,计算分类正确率并记录。

相较于现有技术,本发明具有以下有益效果:

(1)本发明的方法中,采用基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,将图像分类问题转换为机器学习问题,实现对于乳腺钼靶图像的自动智能分类,速度快、效率高,而且能够保证乳腺密度分类的精确度;

(2)本发明的方法,通过对包含乳腺和胸部肌肉的前景图像分割预处理,有效的去除了人工干扰物对分类结果的影响,提高了分类精确度;

(3)本发明的方法,通过对样本扩展对有限的原始图像进行随机变换,扩充了训练集样本数量,提高了神经网络训练的效率和分类精确度;

(4)本发明的方法,通过对传统深度学习框架中神经网络的简化处理,优选了包含3层cnn神经网络的结构,减少了神经网络结构的复杂度,提高了神经网络训练的效率和分类精确度;

(5)使用本发明的方法能够实现在线实时乳腺钼靶密度分类检测。

附图说明

本发明图1是本发明的步骤示意图。

图2是本发明的包含乳腺与胸部肌肉的前景图像分割示意图,a)为无人工干扰物的原始乳腺钼靶图像,b)为a)对应的梯度权值图,c)为a)对应的初始前景区域图,其中红色线条为前景与背景之间的边界线,d)为有人工干扰物的原始乳腺钼靶图像,e)为d)对应的梯度权值图,f)为d)对应的前景区域图,其中红色线条为前景与背景之间的边界线。

图3是本发明的基于轻量级神经网络的乳腺钼靶图像深度学习分类框架示意图,由不同类型层次构成,其中输入层数字表示输入图像归一化大小为200×200像素,第一层卷积层cnn数字表示卷积核大小为3×3像素,卷积核数量为64个,第一层池化层maxpooling数字表示卷积核大小为2×2像素,卷积核数量为32个,第二层卷积层cnn数字表示卷积核大小为3×3像素,卷积核数量为64个,第二层池化层maxpooling数字表示卷积核大小为2×2像素,卷积核数量为32个,第三层卷积层cnn数字表示卷积核大小为3×3像素,卷积核数量为64个,第三层池化层maxpooling数字表示卷积核大小为2×2像素,卷积核数量为64个,第一层数据平面化层flatten数字表示其一维参数为33856个,第一层全连接层dense数字表示其一维参数为64个,第一层数据丢弃层dropout数字表示其一维参数为64个,第二层全连接层数字表示其一维参数为4个,该层亦为输出层。

图4是本发明实施例中在乳腺钼靶图像分析数据库(mias)上有无前景分割预处理的分类结果对比示意图。

图5是本发明实施例中在乳腺钼靶图像分析数据库(mias)上有无样本扩展的分类结果对比示意图。

图6是本发明实施例中在乳腺钼靶图像分析数据库(mias)上采用不同层次结构神经网络的深度学习框架分类结果对比示意图。

具体实施方式

本发明发明人通过广泛而深入的研究,获得一种基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,所述方法运用了基于深度学习的图像分类算法,使得实现对于乳腺钼靶图像的乳腺密度分类,并且由于运用了基于轻量级神经网络的深度学习框架,使得采用本发明所述的方法显著提高了在小规模图像数据集上的适应性,进而提高了乳腺密度分类的准确性和处理速度,能够实现乳腺钼靶图像的自动化乳腺密度分类。

在描述本发明之前,应当理解本发明不限于所述的具体方法和实验条件,因为这类方法和条件可以变动。还应当理解本文所用的术语其目的仅在于描述具体实施方案,并且不意图是限制性的,本发明的范围将仅由所附的权利要求书限制。

本发明涉及一种基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,利用灰度梯度权值图像的进行前景图像快速分割,获得预处理后的乳腺钼靶图像作为深度学习框架的输入数据集,利用输入训练集的钼靶图像进行神经网络参数的训练,在训练完成之后对未知分类的测试集进行自动密度分类,可以大大减轻影像医师对于乳腺密度测量的工作量,进而有助于乳腺疾病的临床诊断。

本发明的核心思想是将深度学习思想引入乳腺钼靶图像的自动智能分类中,通过轻量级的神经网络组合将钼靶图像样本依据其密度分布分为四类,包括符合乳腺影像报告和数据系统(bi-rads)标准的1-4级乳腺密度,为影像医师节省大量的人力,并对相关乳腺疾病包括乳腺癌的临床诊断提供参考。首先,采用基于梯度权值图的乳腺钼靶分割方法去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像,然后通过预处理后的图像测试集对构建基于轻量级神经网络的深度学习框架进行训练,最后测试集图像输入至完成训练的神经网络,由神经网络自动计算分类结果,得到乳腺钼靶图像的最终密度分类。

乳腺密度分类是乳腺钼靶图像分析技术中的难点,该方法显著提高了乳腺钼靶密度分类的判别精度和处理速度,能够应用于乳腺疾病诊断与筛查,为相关临床应用和科研提供了有效可靠的分析工具,具有广阔的明显的经济和社会效益。

本发明解决其技术问题所采用的技术方案主要包含下列步骤:

1、对已知密度分类的乳腺钼靶数据集进行训练,将所有原始图像进行灰度梯度权重计算的预处理,得到仅包含乳房与胸部肌肉的前景区域图像作为训练集,同时构建轻量级深度学习框架,以训练集图像作为输入对神经网络进行训练,达到200次迭代训练过程后完成训练,具体实现训练过程分5步如下:

1.1、将乳腺钼靶数据集中所有原始图像计算像素灰度梯度权重,得到对应的梯度权重图;

1.2、将梯度权值图像进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像;

1.3、将乳腺钼靶数据集中所有原始图像与其对应的前景区域相融合,得到仅包含胸部肌肉和乳腺的图像数据集;

1.4、构建基于轻量级神经网络的深度学习框架,共包含12层,按照顺序依次包含一个200×200像素大小的输入层、一个含32个3×3像素大小卷积核(core)并采用修正线性单元(relu)激活函数的卷积层(convolutionalneuralnetwork,cnn)、一个含32个2×2像素大小卷积核并采用最大采样(maxpooling)函数的池化层(pooling)、一个含32个3×3像素大小卷积核并采用relu激活函数的卷积层、一个含32个2×2像素大小卷积核并采用maxpooling的池化层、一个含64个3×3像素大小卷积核并采用relu激活函数的卷积层、一个含64个2×2像素大小卷积核并采用maxpooling的池化层、一个数据平面化层(flatten)、一个64位全连接层(dense)、一个丢弃比例为0.5的数据丢弃层(dropout)、一个4位全连接层、以及一个采用归一化指数(softmax)激活函数的激活层(activation)作为输出层;

1.5、对所述的训练集图像经过样本扩展增加输入样本数量至深度学习框架,由神经网络自动计算分类结果并与真实分类进行比较,所得误差反馈至神经网络中对各卷积核参数进行修正,训练集图像经过修正后的网络重新计算分类结果并与真实分类进行比较,误差反馈至神经网络进行修正,如此循环200次,完成训练过程。

2、对未知密度分类的乳腺钼靶图像进行分类测试,将原始图像进行灰度梯度权重计算的预处理,得到仅包含乳房与胸部肌肉的前景区域图像作为测试图像,然后输入至轻量级深度学习框架,由神经网络自动计算分类结果,完成测试过程,具体实现训练过程分4步如下:

2.1、对未分类的图像进行像素灰度梯度权重计算,得到对应的梯度权重图;

2.2、对所述未分类图像的梯度权值图进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像(mask);

2.3、对所述的未分类原始图像与其对应的mask相融合,得到仅包含胸部肌肉和乳腺的测试图像;

2.4、对所述的测试图像输入至完成训练的神经网络,由神经网络自动计算分类结果,完成测试过程。

根据本发明的一个优选的实施方式中,根据本发明的基于轻量级神经网络的乳腺钼靶图像深度学习分类方法主要包含下列步骤:

(1)对已知密度分类的乳腺钼靶数据集中所有原始图像进行像素灰度梯度权重计算,得到对应的梯度权重图。

(2)利用步骤(1)所述的梯度权值图像进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像(mask)。

(3)利用步骤(1)所述的已知密度分类的乳腺钼靶数据集中所有原始图像与其对应的步骤(2)所述的mask相融合,得到仅包含胸部肌肉和乳腺的图像训练集。

(4)构建基于轻量级神经网络的深度学习框架,共包含12层,按照顺序依次包含一个200×200像素大小的输入层、一个含32个3×3像素大小卷积核(core)并采用修正线性单元(relu)激活函数的卷积层(convolutionalneuralnetwork,cnn)、一个含32个2×2像素大小卷积核并采用最大采样(maxpooling)函数的池化层(pooling)、一个含32个3×3像素大小卷积核并采用relu激活函数的卷积层、一个含32个2×2像素大小卷积核并采用maxpooling的池化层、一个含64个3×3像素大小卷积核并采用relu激活函数的卷积层、一个含64个2×2像素大小卷积核并采用maxpooling的池化层、一个数据平面化层(flatten)、一个64位全连接层(dense)、一个丢弃比例为0.5的数据丢弃层(dropout)、一个4位全连接层、以及一个采用归一化指数(softmax)激活函数的激活层(activation)作为输出层。

(5)利用步骤(3)所述的训练集图像经过样本扩展增加输入样本数量至深度学习框架,由神经网络自动计算分类结果并与真实分类进行比较,所得误差反馈至神经网络中对各卷积核参数进行修正,训练集图像经过修正后的网络重新计算分类结果并与真实分类进行比较,误差反馈至神经网络进行修正,如此循环200次,完成训练过程。

(6)对未分类的图像进行像素灰度梯度权重计算,得到对应的梯度权重图。

(7)利用步骤(6)所述的梯度权值图进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像(mask)。

(8)利用步骤(6)所述的未分类的乳腺钼靶原始图像与步骤(7)所述其对应的mask相融合,得到仅包含胸部肌肉和乳腺的测试图像。

(9)利用步骤(8)所述的测试图像输入至步骤(5)所述的完成训练的神经网络,由神经网络自动计算分类结果,完成测试过程。

在本发明的一个优选的实施方式中,所述的基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,其特征在于:所述的乳腺钼靶图像进行像素灰度梯度权重计算方法如下:

a)从上至下、从左至右遍历图像每个像素,计算每个像素与水平方向和垂直方向的相邻像素之间的差值,并将得到的两个差值相加,得到包含了水平和垂直方向变化信息的梯度;

b)单个像素的梯度权值为其梯度的倒数,所有像素的梯度权值组成了与原始图像大小一致的梯度权值图像。

在本发明的一个优选的实施方式中,所述的基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,其特征在于:所述的仅包含乳房与胸部肌肉的前景区域图像(mask)分割方法如下:

a)对梯度权值图像进行侵蚀操作,以大小为5个像素的菱形为结构元素对象,对图像封闭区域的边缘进行侵蚀操作,去除图像中宽度小于10个像素的线性物体,将包含乳房与胸部肌肉的前景区域与大部分人工干扰物分隔开来;

b)对去除宽度小于10个像素的线性物体后的梯度权值图像进行膨胀操作,以大小为5个像素的菱形为结构元素对象,对图像封闭区域的边缘进行膨胀操作,恢复图像中主体结构的原有边界;

c)由于乳房与胸部肌肉区域是钼靶图像主体结构,保留梯度权值图像中面积最大的结构,即为仅包含乳房与胸部肌肉的前景区域mask,该区域的边界即前景和背景之间边界。

在本发明的一个优选的实施方式中,所述的基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,其特征在于:所述的仅包含胸部肌肉和乳腺的图像训练集建立方法如下:

a)将二值化的mask变换为相应原始图像的位数;

b)将乳腺钼靶数据集中所有原始图像与其一一对应的同样尺寸的mask进行矩阵点乘操作,点乘操作后的矩阵即为前景图像;

c)对数据库中所有图像重复进行点乘操作,得到仅包含胸部肌肉和乳腺的图像训练集。

在本发明的一个优选的实施方式中,所述的基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,其特征在于:所述的轻量级神经网络深度学习框架建立方法如下:

a)加入一个200×200像素大小的输入层;

b)加入一个含32个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

c)加入一个含32个2×2像素大小卷积核并采用maxpooling的池化层;

d)加入一个含32个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

e)加入一个含32个2×2像素大小卷积核并采用maxpooling的池化层;

f)加入一个含64个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

g)加入一个含64个2×2像素大小卷积核并采用maxpooling的池化层;

h)加入一个数据平面化层(flatten);

i)加入一个64位全连接层(dense);

j)加入一个丢弃比例为0.5的数据丢弃层(dropout);

k)加入一个4位全连接层;

l)加入一个采用softmax激活函数的激活层(activation)作为输出层;

m)构建包含上述12层各类层次的轻量级神经网络的深度学习框架。

在本发明的一个优选的实施方式中,所述的基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,其特征在于:所述的输入图像的样本扩展以及神经网络训练方法如下:

a)将训练集图像中随机选择1个样本输入至深度学习框架,对该样本随机进行包括旋转变换(角度范围±20度)、宽度缩放变换(缩放范围±0.2×宽度)、长度缩放变换(缩放范围±0.2×长度)、剪裁变换(剪裁范围±0.2×面积)在内的随机变换,生成32个相应的样本;

b)将所得随机生成的32个样本输入至深度学习框架,由神经网络自动计算分类结果并与真实分类进行比较,得到相应的正确率和信息损失值,保存正确率、信息损失值和误差3个参数;

c)将所得误差反馈至神经网络中对神经网络中各卷积核参数进行修正;

d)将训练集图像中再次随机选择1个样本输入进行随机变换的样本扩展,将所得随机生成的32个样本经过修正后的网络重新计算分类结果并与真实分类进行比较,误差反馈至神经网络进行修正,如此循环200次,完成训练过程;

e)将每次训练过程所得到的正确率和损失值分别绘制正确率曲线和损失曲线并保存。

在本发明的一个优选的实施方式中,所述的基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,其特征在于:所述的未知分类的乳腺钼靶图像分类测试方法如下:

a)对未分类的图像进行像素灰度梯度权重计算,得到对应的梯度权重图;

b)将未分类图像的梯度权值图进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像(mask);

c)将未分类原始图像与其对应的mask相融合,得到仅包含胸部肌肉和乳腺的测试图像;

d)将测试图像输入至完成训练的神经网络,由神经网络自动计算分类结果,完成测试过程;

e)将自动计算的分类结果与专家分类结果相比较,计算分类正确率并记录。

下面结合附图和实施例对本发明作进一步说明。

实施例1乳腺钼靶图像分析协会(mias)数据集图像的分类

对乳腺进行乳腺钼靶x线摄影检查,又称钼钯检查,获得数字化的乳腺钼靶图像。

使用本发明的基于轻量级神经网络的乳腺钼靶图像深度学习分类方法,对获得的乳腺钼靶图像中已知分类的进行训练,对未知分类的进行测试分析,如图1所示,主要包含下列步骤:

1、对已知密度分类的乳腺钼靶数据集进行训练,将所有原始图像进行灰度梯度权重计算的预处理,得到仅包含乳房与胸部肌肉的前景区域图像作为训练集,同时构建轻量级深度学习框架,以训练集图像经过样本扩展作为输入对神经网络进行训练,达到200次迭代训练过程后完成训练,具体实现训练过程分五步如下(参见附图1):

1.1将乳腺钼靶数据集中所有原始图像计算像素灰度梯度权重,得到对应的梯度权重图;

1.2将梯度权值图像进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像;

1.3将乳腺钼靶数据集中所有原始图像与其对应的前景区域相融合,得到仅包含胸部肌肉和乳腺的图像数据集;

1.4构建基于轻量级神经网络的深度学习框架,共包含12层各类型层次;

1.5将训练集图像经过样本扩展增加输入样本数量至深度学习框架,由神经网络自动计算分类结果并与真实分类进行比较,所得误差反馈至神经网络中对各卷积核参数进行修正,训练集图像经过修正后的网络重新计算分类结果并与真实分类进行比较,误差反馈至神经网络进行修正,如此循环200次,完成训练过程。

2、对未知密度分类的乳腺钼靶图像进行分类测试,将原始图像进行灰度梯度权重计算的预处理,得到仅包含乳房与胸部肌肉的前景区域图像作为测试图像,然后输入至轻量级深度学习框架,由神经网络自动计算分类结果,完成测试过程,具体实现训练过程分四步如下(参见附图1):

2.1、对未分类的图像进行像素灰度梯度权重计算,得到对应的梯度权重图;

2.2、将未分类图像的梯度权值图进行封闭区域的侵蚀和膨胀操作,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域图像(mask);

2.3、将未分类原始图像与其对应的mask相融合,得到仅包含胸部肌肉和乳腺的测试图像;

2.4、将测试图像输入至完成训练的神经网络,由神经网络自动计算分类结果,完成测试过程。

3、对经过预处理去噪与增强后的乳腺钼靶图像计算对应的灰度梯度权值图像,具体实现过程分二步如下(参见附图2):

3.1从上至下、从左至右遍历图像每个像素,计算每个像素与水平方向和垂直方向的相邻像素之间的差值,并将得到的两个差值相加,得到包含了水平和垂直方向变化信息的梯度;

3.2单个像素的梯度权值为其梯度的倒数,所有像素的梯度权值组成了与原始图像大小一致的梯度权值图像(由附图2b、2e所示)。

4、对梯度权值图像进行封闭区域的侵蚀和膨胀操作,检查图像上部乳房与粘连人工干扰物之间边界的拐点,去除图像中的人工干扰物,得到仅包含乳房与胸部肌肉的前景区域和图像背景之间的边界,具体实现过程分三步如下(参见附图2):

4.1对梯度权值图像进行侵蚀操作,以大小为5个像素的菱形为结构元素对象,对图像封闭区域的边缘进行侵蚀操作,去除图像中宽度小于10个像素的线性物体,将包含乳房与胸部肌肉的前景区域与大部分人工干扰物分隔开来;

4.2对去除宽度小于10个像素的线性物体后的梯度权值图像进行膨胀操作,以大小为5个像素的菱形为结构元素对象,对图像封闭区域的边缘进行膨胀操作,恢复图像中主体结构的原有边界;

4.3由于乳房与胸部肌肉区域是钼靶图像主体结构,保留梯度权值图像中面积最大的结构(由附图2c、2f所示),即为仅包含乳房与胸部肌肉的前景区域,图中灰色轮廓线表示前景和背景之间边界。

5、依次加入各类层次,构建共包含12层各类层次的轻量级神经网络深度学习框架,具体实现过程分十三步如下(参见附图3):

5.1加入一个200×200像素大小的输入层;

5.2加入一个含32个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

5.3加入一个含32个2×2像素大小卷积核并采用maxpooling的池化层;

5.4加入一个含32个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

5.5加入一个含32个2×2像素大小卷积核并采用maxpooling的池化层;

5.6加入一个含64个3×3像素大小卷积核并采用relu激活函数的卷积层cnn;

5.7加入一个含64个2×2像素大小卷积核并采用maxpooling的池化层;

5.8加入一个数据平面化层(flatten);

5.9加入一个64位全连接层(dense);

5.10加入一个丢弃比例为0.5的数据丢弃层(dropout);

5.11加入一个4位全连接层;

5.12加入一个采用softmax激活函数的激活层(activation)作为输出层;

5.13构建包含上述12层各类层次的轻量级神经网络的深度学习框架,完整的框架由图3所示。

补充结果1:由图4所示,本实施例中在乳腺钼靶图像分析数据库(mias)上有无前景分割预处理的分类结果对比示意图,其中每幅子图中变化较为平滑的曲线为训练过程所产生的训练曲线,变化较为剧烈的曲线为测试过程所产生的测试曲线,a)为采用未分割的原始图像进行分类的正确率曲线,b)为采用未分割的原始图像进行分类的损失值曲线,c)为采用分割后的包含乳腺和胸部肌肉区域的前景图像进行分类的正确率曲线,d)为采用分割的前景图像进行分类的损失值曲线。

补充结果2:由图5所示,本实施例中在乳腺钼靶图像分析数据库(mias)上有无样本扩展的分类结果对比示意图,其中每幅子图中变化较为平滑的曲线为训练过程所产生的训练曲线,变化较为剧烈的曲线为测试过程所产生的测试曲线,a)为未采用样本扩展的原始图像进行分类的正确率曲线,b)为未采用样本扩展的原始图像进行分类的损失值曲线,c)为采用样本扩展的随机生成图像集进行分类的正确率曲线,d)为采用样本扩展的随机生成图像集进行分类的损失值曲线。

补充结果3:由图6所示,本实施例中在乳腺钼靶图像分析数据库(mias)上采用不同层次结构神经网络的深度学习框架分类结果对比示意图,其中每幅子图中变化较为平滑的曲线为训练过程所产生的训练曲线,变化较为剧烈的曲线为测试过程所产生的测试曲线,a)为采用2层cnn神经网络进行分类的正确率曲线,b)为采用2层cnn神经网络进行分类的损失值曲线,c)为采用3层cnn神经网络进行分类的正确率曲线,d)为采用3层cnn神经网络进行分类的损失值曲线,d)为采用16层cnn神经网络进行分类的正确率曲线,e)为采用16层cnn神经网络进行分类的损失值曲线。

由上述的在乳腺钼靶图像分析数据库(mias)数据库上实施例图可见,采用分割前景图像步骤、样本扩展步骤以及3层cnn神经网络结构的深度学习框架在分类正确率上具有明显优势,在200次训练与相应测试后,得到的最终分类正确率约为84.8%。

在本发明提及的所有文献都在本申请中引用作为参考,就如同每一篇文献被单独引用作为参考那样。此外应理解,在阅读了本发明的上述讲授内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1