一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法及系统与流程

本发明属于计算机辅助诊断领域，具体涉及超声图像的肝脏弥漫性疾病诊断研究，是一种利用深度学习算法提取图像特征与图像纹理特征相结合获取多模型特征，并基于该多模型特征应用xgboost算法在超声图像上实现肝脏弥漫性疾病智能诊断的方法。

(二)背景技术

肝脏弥漫性疾病是指肝脏实质内的弥漫性病理改变，比较典型的是脂肪肝和肝纤维化。肝组织病理学检查是诊断脂肪肝和肝纤维化的金标准，但有一定的创伤性和较差的患者依从性。肝脏出现弥漫性病变之后，病变部位的声阻抗也随之变化，这种变化会反映到超声图像中。因此超声科医生可以观察超声图像中回声状况的变化，依据自己经验来诊断是否是脂肪肝或肝纤维化，这种方法比较方便，但有很大的主观性，需要多年的临床经验。因此一种基于超声图像的肝脏弥漫性疾病分类的人工智能方法，在临床上具有重要的意义。

在肝脏的弥漫性疾病智能诊断方向上，国内外当前已有的研究还是基于传统机器学习算法或信号处理算法，这种方法需要手工提取特征，非常费时费力且需要专业知识，特征的选取对结果影响巨大。而且基于小样本提取的手工特征具有应用特异性，可复现性低，如果耗时耗力设计出的特征换一批其他超声设备采集的图像却不再适用了，就很难满足临床的实际需求了。因此，我们需要一种更好的特征提取方法。

基于卷积神经网络的深度学习方法具有自动学习特征的能力，近两年在医学图像处理的各种应用中展现出了卓越的能力。它符合人眼感受图像的原理，可以全自动的学习大量的特征，替代了手工选取特征。基于卷积神经网络的深度学习方法实现图像分类的流程可以概括为，采用卷积层与池化层提取海量的特征，使用全连接层实现特征降维，最后采用softmax层实现分类。考虑到最终分类准确度和分类耗时的折衷，本发明在googlenet网络架构上应用深度学习算法实现了肝弥漫性疾病图像的初步分类。

肝弥漫性疾病图像的差异更多体现在纹理的不同，只依赖卷积神经网络，提取的很多都是图像结构性的信息，因此需要提取能表达图像纹理的特征来补充卷积神经网络。纹理特征主要是视觉上的特异性，不是基于某一个像素，而是一个区域中相邻像素的整体空间变化，往往有一定的周期性，使得像素按照某种规则排列。在最终的分类过程中，本发明将卷积神经网络作为一个特征提取器而不是分类器，将基于深度学习算法提取的图像卷积神经网络特征与图像纹理特征结合起来，应用xgboost分类器实现了基于超声图像的肝脏弥漫性疾病分类。

(三)

技术实现要素：

本发明的目的在于提出一种将深度学习算法提取的图像卷积神经网络特征与图像纹理特征相结合并应用xgboost算法在超声图像上实现肝脏弥漫性疾病智能诊断的方法，为医生的诊断决策提供辅助建议。

本发明的目的是通过以下技术方案实现的：对肝脏超声图像进行预处理；基于googlenet网络架构利用深度学习算法实现肝脏弥漫性疾病的初步分类；提取深度学习算法中网络的全连接层输出作为图像的卷积神经网络特征，继而提取图像的多个纹理特征，然后将纹理特征向量和图像的卷积神经网络特征向量结合，基于多模型特征应用xgboost分类器实现肝脏弥漫性疾病的最终分类。

本发明的流程图如图1所示，具体步骤如下：

步骤一：对肝脏超声图像进行预处理

由于超声图像整体色域偏暗，而且不同机器扫查的超声图像整体灰度均值不同，所以训练前对图像进行预处理很有必要，这有利于增强后续训练网络模型的鲁棒性。此处采用传统的直方图均衡算法实现了图像的预处理。

步骤二：基于卷积神经网络实现肝脏弥漫性疾病的初步分类。

将预处理后的肝脏超声图像集作为训练集，以医生给出的肝脏弥漫性疾病状况作为标签，在通用的googlenet网络架构^[1]上对训练集进行分类模型训练。然后应用训练好的分类网络对测试图像进行卷积运算，得到肝脏弥漫性疾病的初步分类结果。

步骤三：基于多模型特征实现肝脏弥漫性疾病的最终分类。

1)将超声图像输入步骤二中得到的卷积神经网络模型进行计算，取其全连接层的输出做为图像的卷积神经网络特征。

2)应用传统的纹理特征提取方法，提取了图像的纹理特征，具体包括图像的直方图特征^[2]、基于灰度共生矩阵的特征^[3]、基于灰度梯度共生矩阵的特征^[4]、基于小波多子图共生矩阵的特征^[5]、基于灰度游程矩阵的特征^[6]、tamura特征^[7]以及laws特征^[8]，这些特征都可以在一定程度上表示超声图像的纹理信息。

3)将应用传统算法提取的图像纹理特征与应用深度学习算法提取的图像卷积神经网络特征相结合，得到了多模型特征。以针对大量肝脏超声图像提取的多模型特征做为训练集，以医生给出的肝脏弥漫性疾病状况做为标签，应用xgboost算法训练分类模型。然后应用训练好的分类模型对测试图像进行分类，得出肝脏弥漫性疾病的最终分类结果。

在如上所述算法流程的基础上，本发明开发实现了肝脏弥漫性疾病智能诊断系统，其流程图如图2所示，运行界面截图如图3所示。

本发明的有益效果在于下列方面。在实际测试环境中，可以准确、高效的诊断肝脏弥漫性疾病，可以为医疗人员提供合理的诊断辅助。与现有技术相比能够节省人工检查肝脏弥漫性疾病的成本，对经验不足的年轻医生有辅助的作用，提高了筛查的准确率。本发明代表智能医疗发展趋势，对智能系统辅助医疗具有积极的推动作用。

参考文献：

[1]szegedyc,liuw,jiay,etal.goingdeeperwithconvolutions[j].2014:1-9.

[2]李海燕.生物医学图像处理及特征提取.科学出版社.2016

[3]haralick,r·obertm.shanmugam,k,dinstein.texturalfeaturesforimageclassification.systems,manandcybernetics,ieee,1973,3(6):610-621.

[4]洪继光.灰度-梯度共生矩阵纹理分析方法[j].自动化学报,1984,10(1):22-25.

[5]lidandan,zhangyakui,etc.textureanalysisandclassificationofdiffusethyroiddiseasesbasedonultrasoundimages.i2mtc,2018.

[6]gallowaymm.textureanalysisusinggraylevelrunlengths[j].computergraphics&imageprocessing,1975,4(2):172-179.

[7]tamurah,moris,yamawakit.texturalfeaturescorrespondingtovisualperception[j].ieeetrans.syst.man.cybernet,1978,8(6):460-473.

[8]marks.nixon,albertos.aguado.featureextraction&imageprocessingforcomputervision.2013:352-355

(四)附图说明

图1为本发明的流程图。

图2为肝脏弥漫性疾病智能诊断系统流程图。

图3为肝脏弥漫性疾病智能诊断系统界面截图。

(五)具体实施方式

下面结合实施例和附图说明本发明的具体实施方式。

实验中所用的肝脏超声图像均为哈尔滨医科大学附属第二医院超声科医生在实际病例中采集的，共有1419张正常肝脏图像、764张脂肪肝图像、741张肝纤维化图像共计2924张。我们取其中2123张做为训练集，801张做为测试集。

执行步骤一：应用直方图均衡化算法对全部肝脏超声图像进行预处理。

执行步骤二：搭建googlenet网络并应用训练集的肝脏超声图像对分类网络进行训练，最终得到的分类模型在测试集上准确率可以达到80.02％，详细情况如表1所示。

表1基于googlenet网络的肝脏弥漫性疾病初步分类准确率

执行步骤三：

将步骤二中得到的googlenet模型的卷积层输出做为图像的卷积神经网络特征，共1024维。继而提取超声图像的纹理特征信息，共389维，将其与1024维卷积神经网络特征相结合，得到的1413维的多模型特征向量。用这些特征向量训练出一个xgboost分类模型，基于该分类模型重新对测试集进行分类，准确度达到了85.77％。详细情况如表2所示。

表2多模型肝脏弥漫性疾病分类方法最终分类准确率

结合以上两个表格中的数据可以看出，使用基于多模型特征的肝脏弥漫性疾病分类算法，各个类别的分类准确率都在77％以上，总体准确率相比于单纯基于googlenet架构的卷积神经网络分类方法提高了4个百分点，具有很好的分类效果。