一种基于局部感受野和半监督深度自编码的肺结节诊断方法与流程

本发明涉及医学图像肺部结节辅助诊断，具体涉及一种局部感受野和半监督深度自编码的肺结节诊断方法。

背景技术：

ct影像作为检查肺部疾病最好的影像学方法，在医师的诊断中起着举足轻重的作用。但是医师主要根据经验诊断疾病，诊断结果具有一定主观性，常常出现误诊、漏诊的情况。深度学习作为特征学习方法，通过模拟具有丰富层次结构的人类脑神经系统，建立类似的简单而非线性的深度分层模型结构，在对逐层学习的特征过滤掉不相关因素的干扰的同时，对输入数据逐层提取，将原始数据转换为更高层次的抽象表达。

最底层特征通常都是局部的，每个神经元仅连接输入单元的一部分且只响应某种特定区域的刺激。同一张图像上的不同小片段，以及不同图像上的相同小片段的特征是类似的，所以使用同一组分类器来描述不同的图像也是可以实现的。

鉴于此，对肺结节进行相关辅助诊断也就成了一项很有必要的工作。本发明将关注局部感受野预分类，以及对稀疏自编码加入临床信息进行网络的优化。

技术实现要素：

本发明的目的在于克服现有技术中的缺陷，提供一种基于局部感受野和半监督深度自编码的肺结节诊断方法，从客观方面起到辅助医生诊断的作用。

本发明解决其技术问题所采用的技术方案为：

一种基于局部感受野和半监督深度自编码的肺结节诊断方法，首先对肺实质ct影像中隐含的不同类特征使用局部感受野进行分层提取，然后，运用融合了肺部疾病医学相关临床信息的改进栈式稀疏自编码网络，对有标签的半监督特征提取深度模型进行训练，从已进行特征分类的ct特征图像中发现更高层的特征，将顶层输出层替换为逻辑回归分类器，将训练优化特征作为输出向量；最后融合多种临床信息实现对肺结节的准确检测。

所述的方法，具体包括以下步骤：

a、基于局部感受野的多特征学习

对输入的ct图像进行特征多分类后进行自编码学习；先对已有图像中隐含的不同类特征使用局部感受野进行分层提取；将局部感受野的思想融入到稀疏自编码深度网络框架中,构成一个对高层特征提取更加准确的具有局部多层特征信息输入的稀疏自编码深度网络；

b、半监督稀疏自编码的构建

与传统无监督编码方法不同的是，在网络训练过程中，半监督的编码方法为样本设置了标签信息；当输入样本数据带标签时，输出与标签之间存在的误差用于调整网络各个分级的参数，实现对收敛效果的优化；在训练肺结节ct图像时专门设置一行或一列，用来存储图像的标签信息，将标签信息作为像素值插入到图像中；将原图的第一行用来存放训练数据的标签信息，如训练图像中无结节，则第一行的像素值设置为255；如训练图像存在结节，则第一行的像素值设置为0(灰度的取值范围为0～255)；

c、结合重要临床信息改进稀疏自编码

在稀疏自编码学习过程中，去除了关联度不大的影响因素，为网络添加肺部疾病治疗中重要的临床诊断信息；构建一个全面的肺部病灶的相关表征，把潜在的重要因素考虑进去，构建包含尽可能少又能全面表征结节特征的改进稀疏自编码网络结构；针对肺结节的病变特征提取出一组以形状特征为主的特征向量，以增加特征向量表征结节区域的精确程度，进而增加后期对肺结节检测的准确率。

所述的方法，所述步骤a中局部感受野多分类特征分类过程如下：在构建多特征局部感受野时，使用阶梯概率函数进行采样分布，平方根池化法构成节点，隐层节点的局部感受野均由距中心一定距离内的输入节点组成；为了输入尽可能充分，采用k个不同的输入权重，从而得到k个映射种类；首先，随机生成初始权重矩阵其中然后输入图像设置为d×d，局部感受野的尺寸为r×r，形成的特征映射图像块为(d-r+1)×(d-r+1)；使用奇异值分解(svd)进行初始权重矩阵正交化；正交化的初始权重为其中，每一列都是的正交基；当r²＜k时，先转置，再正交化，然后转置回来；第k个特征图的输入权重是ak∈r^τ×τ，由逐列排成；第k个特征映射对应的节点(i,j)计算如公式(1)所示：

其中，i,j＝1,...,(d-r+1)

正交化过程使网络的泛化性能得到进一步提高，所提出算法的特征映射模块通过稀疏自编码神经网络可自主学习出更接近高层语义的图像特征，显著提高结节检测的准确性。

所述的方法，所述步骤c中结合重要临床信息改进稀疏自编码的过程如下：

c1对已进行局部感受野特征分类的图像进行深层自编码:

稀疏自编码的结构和训练方式与bp神经网络相似，假设训练集为{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}，共m个训练样本；稀疏自编码损失函数定义为：

式中第一项为均方误差重构项，第二项为稀疏惩罚项；λ为延迟系数，β是稀疏惩罚项的惩罚系数，ρ是稀疏性参数，是隐含层j神经元的平均激活值；是以和ρ分别为均值的两个伯努利随机变量之间的相对熵；具体计算公式如下：

c2、对自编码网络中的最小化损失函数进行重构:

已知从尺寸为k的数据集中选取一组输入向量通过网络学习得到关于输入新的表示y^k；网络中通过最小化损失函数学习重构网络的输入向量；重构的损失函数计算公式如下：

其中称为编码过程，g(y^k)＝w^ty^k称为解码过程；f为输出层特定组件组成的激活函数；

将肺部ct图像中结节边界粗糙度t^exp作为图像对象边界平滑程度的量化表征，并用于深度框架目标函数的重写；

边界粗糙度计算以径向距离r(n)为基础；径向距离r(n)指各像素点(x(n),y(n))到质心的距离；将其量化的过程如下：

首先，将r(n)划分成若干连续的长度相等的边界段，其中n指肺结节边界轮廓像素点的个数；每段长度为l，经过实验可得度量肺结节病理特征精确度的l值为5；然后，计算每段内相邻像素间径向距离的差值，并求出同一段内径向距离差值和r(j)；最后，计算所有边界段径向距离差值和的平均值，将肺结节的边界粗糙度作为结节形状表示时的参数；具体公式如下：

同时给数据集中每个样本都赋一个年龄权值；年龄权值参数t^age定义如下：

其中，sage为4个年龄段(25，50，75，100)；由于年龄的分类是相互独立的，故年龄值由给定样本的参数决定；并对数据集中每个病患的所处环境参数t^env(轻度0，中度0.5，重度1)和吸烟状况t^smk(否0，是1)分别赋值；

在编码过程中加入四个softmax层来表达对存在的疑似区域是否为肺结节的预测：

假设我们需要kexp个形状表示的标签，d^exp为kexp维多项分布；上面所求的边界粗糙度作为第k个结节形状的标签信息，交叉熵误差函数定义为

同样，其他影响因素相关参数的交叉熵误差函数与公式(9)相同；最后的半监督自编码目标函数加上这四个交叉熵一起应用在整个训练集上，具体计算如下；参数λ1、λ2、λ3、λ4和λ5控制不同误差项的权重，总和为1；

与现有技术相比，本发明的有益效果为：

1、本发明的方法基于局部感受野和半监督的改进稀疏自编码的肺结节诊断，进而识别肺结节图像所表现的征象类别，便于医师判断肺部是否有肺结节，减少了医师对诊断经验，及主观性的过度依赖；

2、通过使用本发明的技术，能够从临床信息的层面对诊断提出帮助，最大程度保证了肺结节诊断的准确性；

3、通过本发明对肺结节进行的诊断，这些图像的病灶特征和诊断方案等可以为医师对肺部疾病的分析提供参考，起到辅助诊断的作用。

附图说明

图1是本发明肺结节诊断方法流程图；

图2是利用局部感受野多特征提取框架图；

图3是肺结节监督信息标注，a列是原始肺结节图像，b列是嵌入标签信息的肺结节图像；

图4是栈式稀疏自编码结构；

图5是融合临床信息的半监督自编码结构图；

图6是不同样本块大小的局部统计特征；(a)和(b)分别为5*5和30*30大小样本块的局部特征效果图；

图7是不同样本块大小对检测率的影响；

图8是添加不同临床信息对检测率的影响。

具体实施方式

下面结合附图与具体实施方式对本发明的技术方案作进一步详细的说明。

肺结节整体检测过程图如图1所示，本发明通过对肺实质ct影像中隐含的不同类特征使用局部感受野进行分层提取，然后，运用融合了肺部疾病医学相关临床信息的改进栈式稀疏自编码网络，对有标签的半监督特征提取深度模型进行训练，从已进行特征分类的ct特征图像中发现更高层的特征，将顶层输出层替换为逻辑回归分类器，将训练优化特征作为输出向量。最后融合多种临床信息实现对肺结节的准确检测。

a、基于局部感受野的多特征学习

图像的特征一般主要集中于某一局部区域。所以，局部感受野(localreceptivefield，简称lrf)被提出并用于图像局部特征的提取。最底层特征通常都是局部的，每个神经元仅连接输入单元的一部分且只响应某种特定区域的刺激。在更高层特征中，将这些感受不同的局部神经元综合起来就可以得到全局的信息，大大减少了训练网络的参数，提高了训练效率，保证在提取到有效特征的基础上使网络结构变得尽可能简单。而肺部ct影像为黑白图像，有结节的区域则较高亮。因此，我们将大尺寸的图像依次进行分块处理，然后将这些图像块放进深层稀疏自编码网络中进行学习。图像中具有多特征的图像块被称为有效区域块，其他则为无效区域块。

将局部感受野的这种思想融入到稀疏自编码深度网络框架中，构成一个对高层特征提取更加准确的具有局部多层特征信息输入的稀疏自编码深度网络(lrf-sdae)。本发明提出一种在输入层引入局部感受野的方法如图2所示。局部感受野的选取摒弃了cnn中使用固定卷积节点的方式，使用较灵活的可以在不同形式中使用的连续概率分布随机生成方法。将这种思想运用于医学图像处理任务中，用于学习图像的局部结构并在隐藏层生成更有意义的表示。为了减少局部特征提取时的运算量，提高计算准确率。采用2×k个不同的输入权重(黑白图像包含两个通道，每个通道k个权重)，为此会得到k个不同的局部特征表示图。不论局部特征提取层与输入层之间是否连接，都可以使用不同类型的连续概率分布随机采样构建，网络依然具有普适近似和分类能力。

在构建多特征局部感受野时，使用阶梯概率函数进行采样分布，平方根池化法构成节点，隐层节点的局部感受野均由距中心一定距离内的输入节点组成。为了输入尽可能充分，采用k个不同的输入权重，从而得到k个映射种类。首先，随机生成初始权重矩阵其中然后输入图像设置为d×d，局部感受野的尺寸为r×r，形成的特征映射图像块为(d-r+1)×(d-r+1)。使用奇异值分解(svd)进行初始权重矩阵正交化。正交化的初始权重为其中，每一列都是的正交基。当r²＜k时，先转置，再正交化，然后转置回来。第k个特征图的输入权重是ak∈r^τ×τ，由逐列排成。第k个特征映射对应的节点(i,j)计算如公式(1)所示：

其中，i,j＝1,...,(d-r+1)

正交化过程使网络的泛化性能得到进一步提高，所提出算法的特征映射模块通过稀疏自编码神经网络可自主学习出更接近高层语义的图像特征，显著提高结节检测的准确性。

b、半监督稀疏自编码的构建

与传统无监督编码方法不同的是，在网络训练过程中，半监督的编码方法为样本设置了标签信息。当输入样本数据带标签时，输出与标签之间存在的误差用于调整网络各个分级的参数，实现对收敛效果的优化。

当重构误差达到最小时，编码器所产生的特征可被定义为原始输入数据的良好表达。因此，本发明在训练肺结节ct图像时专门设置一行或一列，用于标签信息作为像素值在图像中的存储如图3所示。将原图的第一行用来存放训练数据的标签信息，如训练图像中无结节，则第一行的像素值设置为255；如训练图像存在结节，则第一行的像素值设置为0(灰度的取值范围为0～255)。

同时，稀疏自编码是一种可以学习输入数据非线性特征的自编码网络。从结构上来说，稀疏自编码是在一般神经网络中加上稀疏限制的特殊三层神经网络。为了学习到更加复杂和稳定的特征，稀疏自编码通过多层排列构成深度栈式结构，结构如图4所示。其最大特点就是输入层结点数(不包括bias结点)和输出层结点数相同，而隐含层结点数少于输入层和输出层结点数。稀疏自编码可以将输入数据中的潜在特征进行较好的低维表示。

c、结合重要临床信息改进稀疏自编码

在稀疏自编码学习过程中，去除了一些关联度不大的影响因素，为网络添加一些肺部疾病治疗中重要的临床诊断信息。构建一个全面的肺部病灶的相关表征，把潜在的重要因素考虑进去，构建包含尽可能少又能全面表征结节特征的改进稀疏自编码网络结构。针对肺结节的病变特征提取出一组以形状特征为主的特征向量，以增加特征向量表征结节区域的精确程度，进而增加后期对肺结节检测的准确率。

c1对已进行局部感受野特征分类的图像进行深层自编码:

稀疏自编码的结构和训练方式与bp神经网络相似，假设训练集为{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…,(x^(m),y^(m))}，共m个训练样本。稀疏自编码损失函数定义为：

式中第一项为均方误差重构项，第二项为稀疏惩罚项。λ为延迟系数，β是稀疏惩罚项的惩罚系数，ρ是稀疏性参数，是隐含层j神经元的平均激活值。是以和ρ分别为均值的两个伯努利随机变量之间的相对熵。具体计算公式如下：

c2、对自编码网络中的最小化损失函数进行重构:

已知从尺寸为k的数据集中选取一组输入向量通过网络学习得到关于输入新的表示y^k。网络中通过最小化损失函数学习重构网络的输入向量。重构的损失函数计算公式如下：

其中称为编码过程，g(y^k)＝w^ty^k称为解码过程。f为输出层特定组件组成的激活函数。

将肺部ct图像中结节边界粗糙度t^exp作为图像对象边界平滑程度的量化表征，并用于深度框架目标函数的重写。

边界粗糙度计算以径向距离r(n)为基础。径向距离r(n)指各像素点(x(n),y(n))到质心的距离。将其量化的过程如下：

首先，将r(n)划分成若干连续的长度相等的边界段，其中n指肺结节边界轮廓像素点的个数。每段长度为l，经过实验可得度量肺结节病理特征精确度的l值为5。然后，计算每段内相邻像素间径向距离的差值，并求出同一段内径向距离差值和r(j)。最后，计算所有边界段径向距离差值和的平均值，将肺结节的边界粗糙度作为结节形状表示时的参数。具体公式如下：

同时给数据集中每个样本都赋一个年龄权值。年龄权值参数t^age定义如下：

其中，sage为4个年龄段(25，50，75，100)。由于年龄的分类是相互独立的，故年龄值由给定样本的参数决定。并对数据集中每个病患的所处环境参数t^env(轻度0，中度0.5，重度1)和吸烟状况t^smk(否0，是1)分别赋值。

在编码过程中加入四个softmax层来表达对存在的疑似区域是否为肺结节的预测：

假设我们需要kexp个形状表示的标签，d^exp为kexp维多项分布。上面所求的边界粗糙度作为第k个结节形状的标签信息，交叉熵误差函数定义为

同样，其他影响因素相关参数的交叉熵误差函数与公式(9)相同。最后的半监督自编码目标函数加上这四个交叉熵一起应用在整个训练集上，具体计算如下。参数λ1、λ2、λ3、λ4和λ5控制不同误差项的权重，总和为1。

实验结果

本发明方法所使用的实验数据来自于山西某医院影像数据中心，图像中共有结节2810个(最大直径范围为：1.6～23mm，平均最大直径为5.1mm)。该医院使用设备为美国通用公司的discoveryst16，ct采集参数为150ma、140kv，层厚3.75mm，ct图像大小为512×512。该方法的实验环境为matlab2012b，处理器intel(r)core(tm)i7，主频3.40ghz，内存8gb。为了公平比较，数据集作为不同方法的输入，采用5折交叉验证方法进行训练(已与医院签署数据隐私处理相关协议)。

样本块大小对算法性能的影响

在其它参数条件设置相同的情况下，不同大小样本块对检测性能的影响。如图6所示，(a)和(b)分别为5*5和30*30大小样本块的局部特征效果图。可以明显看出，在一定范围内，当样本块较大时，提取得到的局部特征更为清晰。

图7折线图表示不同大小样本块对检测率的影响。曲线分别表示样本块大小为16*16，32*32，48*48，64*64，128*128所对应的检测率曲线。从图中可以看到，在一定范围内，提取样本块越大，其检测率也相对较高。其中64*64的样本块检测率明显优于其它样本块大小的。

与其他深度学习模型的比较

所有进行对比的模型都是由单层模型堆叠，并且网络均处于最优分类性能，实验结果见表1.实验结果表明，我们提出的lrf-ssae自编码模型获得了88.81±1.33％准确性，87.38±2.19％敏感度和85.25±2.70％特异性，检测率可达96.64％。在训练时间和检测性能上都超过其他方法。

表1不同深度框架检测性能的比较

不同临床信息的添加对检测性能的影响

为了进一步阐明所提方法在结节检测方面的有效性，本发明分别对融合不同临床信息网络模型与我们方法进行比较如图8所示。实验表明，本发明所提方法在隐含层结点数900，样本大小64*64时，效果最优。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。