一种基于特征融合的卷积神经网络的肺结节良恶性检测方法与流程

本发明提供了一种基于特征融合的卷积神经网络的肺结节良恶性检测方法。

背景技术：

肺癌是目前全球范围内造成死亡率最高的恶性肿瘤疾病，占所有癌症死亡率的27％。据美国seer统计，在肺癌被确认时，绝大多数患者的肿瘤都已发生扩散和转移，确认后生存5年以上的患者不超过15％。肺结节性病变诊断中的关键问题是正确检测和准确识别肺结节。对肺结节进行检测诊断并确认后，能够有效判断病变的良恶性。临床上，对肺结节的检测诊断是比较困难的，目前对肺结节的误判及漏判率仍然很高，采用计算机辅助诊断来对结节的良恶性进行早期检测，对病人存活率的提高具有重要意义。

目前，对肺癌的诊断主要通过提取肺结节ct图像的形状、纹理、密度等特征并通过机器学习算法进行分类。通过提取肺结节有效的三维纹理特征进行肺结节的良恶性分类，或者利用肺结节的三维图像，在传统二维特征的基础上增加空间位置特征，然后采用支持向量机的分类算法对多维向量所描述的肺结节进行良恶性的二分类，在lidc数据集上获得了73.78％的准确率。其缺点是特征选取需通过人工设计。利用自编码网络来提取深度特征并借助于二叉决策树作为分类器，构建计算机辅助系统，进行肺结节的良恶性分类，达到75％的识别率。虽然该方法无需人工选取特征，但是过程中所需参数众多。采用改进的自生成神经网络对pet/ct图像中肺结节进行良恶性及不同类别肿瘤的分类，利用竞争学习机制，在对样本的学习过程中采用非监督学习方法，自动生成一棵神经树，也不需要人为地参与网络中的参数及结构调整。相较传统自生成神经网络和bp算法有较高的准确率，但其需要多次优化会导致运行时间长、时间复杂度较高等问题。

近年来，卷积神经网络在图像分类与识别领域都取得了很好的应用效果，它可以利用图像的空间特性以减少参数，同时可以灵活地调节特征提取的空间尺度大小。

技术实现要素：

本发明解决的技术问题是：提出了通过卷积神经网络进行肺结节特征提取并分类的方法，并提出融合传统特征的思路，通过一定方式来强化良恶性区分度较大的特征(本发明中主要是hog特征和lbp特征)，又不失去隐含的肺结节特征，从而达到更好的检测效果。

本发明一种基于特征融合的卷积神经网络的肺结节良恶性检测方法，包括以下步骤：

步骤(1)、首先是数据的预处理阶段，需要从原始的肺部ct图像信息中提取准确的肺结节区域的图像信息；

步骤(2)、形状和边缘是判断肺结节良恶性的一项重要标准，hog特征是描述边缘和形状信息的最好特征之一，因此该步骤将会从步骤(1)中得到的肺结节区域的图像信息中提取肺结节的hog特征，生成肺结节的hog特征图；

步骤(3)、lbp特征是一种在灰度范围内非常有效的纹理谱描述符，其分类能力强、计算效率高，对单调的灰度变化具有不变性，且能结合图像的整体特征，并且纹理特征在肺结节的良恶性分析中非常重要，因此该步骤从步骤(1)中得到的肺结节区域的图像信息中提取肺结节的lbp特征，生成肺结节的lbp特征图；

步骤(4)、将步骤(1)得到的肺结节原始图与步骤(2)得到的hog特征图、步骤(3)得到的lbp特征图进行特征融合(通道融合)，得到融合后的特征信息；步骤(2)(3)中所述的hog特征和lbp特征为传统图像特征，通过融合传统特征，一定程度上强化良恶性区分度较大的特征。

步骤(5)、将步骤(4)得到的融合后的特征信息作为卷积神经网络的网络结构的输入，进行分类，输出肺结节的良恶性倾向。进一步地，步骤(4)中所述的特征融合是指将hog特征图、lbp特征图和肺结节区域的图像以多通道的方式融合到一起，以提高图像的表达能力。

进一步地，步骤(5)中所述的网络结构是将(4)得到的图像信息作为输入，通过卷积神经网络进一步进行特征提取，最后通过softmax分类器进行分类。

本发明提供的基于特征融合的卷积神经网络的肺结节良恶性检测方法，将传统特征与卷积神经网络cnn特征融合来进行肺结节良恶性分析，不仅利用了卷积神经网络自主学习图像特征的优势，同时在网络结构中融合图像的hog和lbp特征，取得了较传统方法更高的分类精度和auc，首先将从给定的ct图像中提取肺结节感兴趣区域，然后将提取结节的lbp特征和hog特征，分别表征结节的纹理特征和形状特征，取lbp和hog特征的特征图与原始图像进行通道融合，然后输入神经网络，进行良恶性性分类，最终得到结节属于恶性肿瘤的概率。

附图说明

图1为本发明的整体流程框架图；

图2为提取lbp特征示意图；

图3为提取hog特征示意图；

图4为卷积神经网络的网络结构图。

具体实施方式

本发明提供基于传统特征和卷积神经网络cnn特征融合的肺结节良恶性分析方法，主要步骤介绍如下，整体流程框架见图1：

1、图像预处理

对ct图像首先进行平滑去燥的预处理，去除噪声。然后根据标注信息获取图像的结节部位的感兴趣区域。

2、提取lbp和hog特征

由于lbp和hog特征提取的是结节的纹理和形状特征，而卷积神经网络获取的是全局信息的特征。因此，本发明提出使用特征融合的方法，得到具有更加完备信息的特征表示。首先分别获取lbp和hog特征，然后与肺结节图像通过通道融合的拼接方式融合到一起，最后采用卷积神经网络提取最终的特征。

1)、lbp特征提取

在高分辨率ct图像中研究肺部影像的纹理特征分析方法在最近十五年中有了很大的发展。考虑到本发明中由肺部ct图像中取出的肺结节为灰度图，而lbp特征是一种在灰度范围内非常有效的纹理谱描述符，其分类能力强、计算效率高，对单调的灰度变化具有不变性，且能结合图像的整体特征。

如图2所示，本发明中选用可以适应不同尺度纹理特征的lbp特征提取方法，该方法可以将原始的3×3邻域扩展为任意邻域，并用圆形邻域替代正方形邻域，对于没有完全落在像素点位置上的灰度值采用双线性插值算法进行计算。这种lbp算子的半径和像素点个数可以是任意的。

lbp描述符的基本原理是通过比较中心像素与其邻域像素之间的亮度值大小,来计算特征值。

(1)选定半径r和采样点个数n来确定采样方式和邻域，对于没有完全落在像素点位置上的灰度值采用双线性插值算法进行计算。

(2)gc表示中心像素的亮度值，gi表示相邻像素的亮度值，s(a)表示符号函数，比较中心像素与其邻域像素之间的亮度值大小，用符号函数来计算比较结果，继而得出表示纹理特征的lbp值lbpn,r。

(3)计算出每个像素点对应的lbp值，最终得到可视化的lbp特征图。

2)、hog特征提取

hog[10]是描述边缘和形状信息的最好特征之一，该特征是在一个大小统一、网格密集的细胞单元上进行计算，利用相互重叠的局部对比度归一化技术提高描述能力。本发明选择hog特征作为融合特征之一。

如图3所示，hog特征的方法流程如下：

(1)颜色空间归一化处理。

(2)分割样本图像为若干个小块(block)，每块由相邻的4个单元(cell)组成，每个单元由8×8像素组成，块与块之间采用重叠两个单元的形式进行滑动。计算出像素点(x，y)的水平方向和垂直方向的梯度ix(x,y)和iy(x,y)。

ix(x,y)＝i(x+1,y)-i(x-1,y)

iy(x,y)＝i(x,y+1)-i(x,y-1)

(3)计算像素点(x,y)处的梯度幅值m(x,y)和梯度方向θ(x,y)。

(4)把每块的梯度方向平均划分为16个无向的直方图通道(bin)，统计所有像素点各个方向的直方图特征，从而得到每个单元的直方图特征，进一步得到每块的直方图。可视化hog特征，得到整幅图像的hog特征图。

3、多通道特征融合

将以上得到的特征图和原图进行多通道融合，将融合后的特征信息作为卷积神经网络的网络结构的输入，通过图4的网络结构进行分类，最终得到结节的良恶性，输出肺结节的良恶性倾向。

本发明提供的基于特征融合的卷积神经网络的肺结节良恶性检测方法，将传统特征与卷积神经网络cnn特征融合来进行肺结节良恶性分析，不仅利用了卷积神经网络自主学习图像特征的优势，同时在网络结构中融合图像的hog和lbp特征，取得了较传统方法更高的分类精度和auc，首先将从给定的ct图像中提取肺结节感兴趣区域，然后将提取结节的lbp特征和hog特征，分别表征结节的纹理特征和形状特征，取lbp和hog特征的特征图与原始图像进行通道融合，然后输入神经网络，进行良恶性性分类，最终得到结节属于恶性肿瘤的概率。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。