一种基于医学征象和卷积神经网络的肺结节CT图像哈希检索方法与流程

本发明涉及图像识别与机器学习领域，特别涉及一种基于卷积神经网络的肺结节图像编码与检索方法。

背景技术：

基于内容相似性的肺部医学图像检索在肺癌的计算机辅助诊断过程中扮演着重要的角色，今年来二进制哈希由于其存储空间小和匹配速度快的优势而引起广泛关注。但是传统的哈希方法往往依据基于手工设计的图像底层特征，然后再学习哈希函数。基于手工设计的特征与医师描述的肺结节高级诊断语义之间存在很大的差别，不能够很好地描述肺结节图像含有的征象信息。此外，数据库中存在大量与查询图像汉明距离相等的图像，使用传统的汉明距离无法对返回图像进行排序。因此，依据肺结节的九种医学征象，利用卷积神经网络提取肺结节图像包含的征象特征，并对其进行哈希编码，在数据库中快速找到具有相同征象特征的肺部ct图像，从而为医师诊断结节的良恶性提供决策支持。可见，基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法具有广阔的应用前景。

技术实现要素：

本发明的目的是提出一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法。基于卷积神经网络的肺结节图像特征提取方法来学习肺结节图像含有的高层语义特征。其通过训练卷积神经网络分类模型来调整特征提取框架，并利用主成分分析方法提取肺结节的重要语义特征。基于医学征象的肺结节ct图像哈希检索方法依据专家对肺结节征象取值的标注，构造训练集准确的二值码。同时，结合肺结节的重要语义特征反向求解哈希函数。使用加权汉明距离来解决传统汉明距离度量学习过程中离散取值无法排序的问题。

一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法，该方法包括以下步骤：

步骤1：将专家标注的肺结节征象图像集作为训练集，依据九种征象取值构造训练集准确的二值码；

步骤2：使用训练好的卷积神经网络提取表达肺结节征象信息的重要语义特征；

步骤3：利用步骤1得到的训练集准确的哈希码和所述步骤2提取到的肺结节图像的重要语义特征，进行哈希函数的学习；

步骤4：利用步骤3学习得到的哈希函数对肺结节图像进行编码；

步骤5：计算查询图像的哈希码与训练集中每一幅图像哈希码间的加权汉明距离，根据汉明距离对检索结果进行排序。

所述的方法，所述步骤1肺结节训练集为lidc数据库，其中包含专家对九种肺结节征象的详细标注信息；利用二进制描述子在存储空间和匹配速度上的优势，将十进制整型的征象取值转换成紧凑的二值码。

所述的方法，采用步骤2所述的卷积神经网络进行多层次的特征提取时，卷积神经网络包含由多个卷积层和全连接层组成的特征提取层，以及对九种征象进行分类的softmax分类器层；所述步骤2进一步包括以下步骤：

步骤2.1：卷积神经网络框架的损失函数为：

其中，{x1,x2,...,xn}为肺结节征象训练集，y⁽ⁱ⁾∈{1,2,...,k},k＝9为肺结节征象别，{(x⁽¹⁾,y⁽¹⁾),...,(x⁽ⁿ⁾,y⁽ⁿ⁾)}为全连接层输出的肺结节高维表示，p(y＝jx)为肺结节高维表示与征象类别之间的概率分布；

通过softmax分类器建立肺结节高维特征表示与征象类别之间的条件概率分布，因为一张肺结节图像可能包含多种征象，所以对多种征象的可能值进行累加；同时引入权值衰减项避免参数过拟合；

步骤2.2：卷积神经网络特征提取模型为：

通过随机梯度下降算法和反向传播算法优化损失函数，选择最优的参数组合θ来调整所述卷积神经网络模型；去掉调整好网络中的softmax分类器层，作为图像特征提取模型来提取肺结节图像的多层次语义特征；

步骤2.3：所述的肺结节图像的重要语义特征为：

对于卷积神经网络提取的高维特征，通过主成分分析(pca)压缩算法，在不损失特征质量的前提下从中挑选d个子集，同时保留肺结节征象的重要语义特征y＝[x1,x2,...,xm]。

所述的方法，所述步骤3进一步包括以下步骤：

步骤3.1：所述哈希函数的定义如下：

h(x；w)＝sign(w^tx+b)(2)

其中，sign(·)为符号函数，x为肺结节图像的重要语义特征，w为系数向量，t表示转置；b为偏置，对样本集中所有图像特征零均值化预处理，所以b的取值为0，哈希函数可简化为：

h(x；w)＝sign(w^tx)(3)

步骤3.2：如果哈希码的长度为k，则需要设计一组包含k个哈希函数的函数族；所述的哈希函数族的定义如下：

[h1,h2,...,hk]^t＝[sign(wx)]^t(4)

步骤3.3：为了求解系数向量w＝[w1,w2,...,wk]^t，在目标函数的优化设计中，同时考虑哈希函数的约束条件和量化误差损失，目标函数可表示为：

subjectto：hi＝{-1,1}^k

其中，hi＝sign(w^txi)∈r^k为哈希码的预测值，y＝[y1,y2,...,yn]为训练集准确的哈希码；条件要求哈希码均匀分布，要求不同的哈希码之间相互独立。

步骤3.4、通过最小化目标函数(5)求解系数矩阵w＝[w1,w2,...,wk]^t，保证了不同哈希函数之间的独立性，从而学习到最优的哈希函数h(x；w)＝sign(w^tx)。

所述的方法，所述步骤5中，利用哈希码比特位在汉明距离中的重要程度，自适应地为每一位哈希码分配不同权值，进一步包括以下步骤：

步骤5.1、根据公式(6)-(7)计算查询肺结节图像xq与数据集图像间的汉明距离，选择汉明距离最小的前个图像得到肺结节候选集i；

i＝{x1,x2,...,xρ}←sort(dh,'descend')(7)

步骤5.2、更新待查询肺结节图像的每一位哈希码的权值其中表示第i位哈希码的权值：

①初始化待查询肺结节图像的权值向量

②采用迭代法确定每一位哈希码的权值，迭代次数等于肺结节候选集i中的图像数目ρ；

③比较第j幅图像的第k位哈希码和待查询肺结节图像的第k位哈希码值，如果两者相等即hjk＝hqk，则待查询肺结节图像的权值为否则，待查询肺结节图像的权值更新为

步骤5.3、根据公式(8)计算待查询结节图像与肺结节图像候选集i之间的加权汉明距离：

步骤5.4、选择加权汉明距离最小的数据项作为最近似的肺结节检索结果。

本发明的有益效果：

本发明方法利用专家标注的肺结节征象取值来构造训练集准确的二值码，能够准确表示肺结节医学征象语义等级；基于卷积神经网络的肺结节高层语义特征缩短了图像底层特征和高级诊断语义之间的语义鸿沟；利用专家标注的征象取值来学习哈希函数能够有效地保留图像的语义信息，避免了编码过程中的信息损失。肺结节图像检索检索的核心在于提取准确表示图像的语义特征，以及对检索返回的图像进行排序。因此，提取肺结节图像的征象特征，并利用加权汉明距离来解决传统汉明距离无法排序的问题，对肺部医学图像检索具体重要的研究意义。可见，基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法具有广阔的应用前景。

附图说明

图1是本发明基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法流程图。

图2是本发明中构造哈希函数的示意图。

图3是本发明与其他哈希方法的检索效果对比图；(a)12bits，(b)24bits，(c)32bits，(d)48bits，(e)64bits，(f)72bits。

图4是本发明中基于比特位加权汉明距离的肺结节图像检索示例，其中第一列是查询图像，其他列是相应的检索结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

考虑到肺结节的医学征象和高级语义特征是医师诊断肺部病灶的重要前提，因此本发明提出了一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法。该方法的核心是利用卷积神经网络提取肺结节图像的高层语义特征，同时利用主成分分析压缩方法去除冗余信息保留重要语义特征，以专家对肺结节征象取值的标注为目标来构造哈希函数。在此基础上，提出一种自适应比特位的检索方法来解决检索过程中单纯使用汉明距离度量图像的相似性不够准确的问题。

图1是本发明基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法流程图，如图1所示，本发明提出的基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法包括以下步骤：

步骤1，构造训练集准确的二值码；

构造训练集准确二值码的目的是从另一种角度出发(利用学习到的哈希码，反向求解哈希函数)，利用肺结节的语义征象来构造训练集准确的哈希码，以此来学习更好的表示肺结节相似性的哈希函数。肺结节训练集为lidc数据库，其中包含专家对九种肺结节征象的详细标注信息，九种ct医学征象，有毛刺征(spiculation)、分叶征(lobulation)、钙化(calcification)、精细度(subtlety)、内部结构(internalstructure)、边缘(margin)、球形度(sphericity)、纹理(texture)以及结节的恶性度(malignancy)；利用二进制描述子在存储空间和匹配速度上的优势，将十进制整型的征象取值转换成紧凑的二值码。

步骤2，提取肺结节图像的重要语义特征；

肺结节图像的语义特征是图像的高层语义属性，是医师诊断肺部病灶时的主要参考标准。利用卷积神经网络(cnns)逐层地提取图像的多层次特征，以此来学习全面、细节的图像特征；同时利用主成分分析(pca)压缩方法去除冗余信息对主要内容的影响，保留图像的高层语义相似性，是进一步构造保相似性哈希函数的重要基础。

所述步骤2进一步包括以下步骤：

步骤2.1：本方法中训练卷积神经网络框架时的损失函数可表示为：

其中，{x1,x2,...,xn}为肺结节征象训练集，y⁽ⁱ⁾∈{1,2,...,k},k＝9为肺结节征象类别，{(x⁽¹⁾,y⁽¹⁾),...,(x⁽ⁿ⁾,y⁽ⁿ⁾)}为全连接层输出的肺结节高维表示，p(y＝jx)为肺结节高维表示与征象类别之间的概率分布。

通过softmax分类器建立肺结节高维特征表示与征象类别之间的条件概率分布，因为一张肺结节图像可能包含多种征象，所以对多种征象的可能值进行累加；同时引入权值衰减项避免参数过拟合。

步骤2.2：本方法中提出的卷积神经网络特征提取模型为：

通过随机梯度下降算法和反向传播算法优化损失函数，选择最优的参数组合θ来调整所述卷积神经网络模型；去掉调整好网络中的softmax分类器层，作为图像特征提取模型来提取肺结节图像的多层次语义特征。

步骤2.3：本方法中所述的肺结节图像的重要语义特征为：

对于卷积神经网络提取的高维特征，通过主成分分析(pca)压缩算法，在不损失特征质量的前提下从中挑选d个子集，同时保留肺结节征象的重要语义特征y＝[x1,x2,...,xm]。

步骤3，学习保相似性哈希函数；

所述步骤3具体为：对于所述步骤1得到的训练集准确的哈希码和所述步骤2提取到的肺结节图像的重要语义特征，进行哈希函数的学习。相应地，提出的哈希函数h(x；w)的定义如下：

h(x；w)＝sign(w^tx+b)(2)

其中，sign(·)为符号函数，x为肺结节图像的重要语义特征，w为系数向量，t表示转置；b为偏置，我们对样本集中所有图像特征零均值化预处理，所以b的取值为0，哈希函数可简化为：

h(x；w)＝sign(w^tx)(3)

同样，如果哈希码的长度为k，则需要设计一组包含k个哈希函数的函数族。所述的哈希函数族的定义如下：

[h1,h2,...,hk]^t＝[sign(wx)]^t(4)

其中，hk为第k个哈希函数，w＝[w1,w2,...,wk]^t是一组哈希函数的系数；

在学习保相似性哈希函数的过程中，在目标函数的设计中加入衡量哈希函数的性能的约束条件和实际值与期望值之间的量化误差。基于汉明距离的目标函数o表示如下：

subjectto:hi＝{-1,1}^k

其中，hi＝sign(w^txi)∈r^k为哈希码的映射值，y＝[y1,y2,...,yn]为训练集准确的哈希码，条件要求哈希码均匀分布，要求不同的哈希码之间相互独立。

公式(4)是通过最小化目标函数求解系数矩阵w＝[w1,w2,...,wk]^t，约束条件保证了不同哈希函数之间的独立性，从而能够学习到最优的哈希函数。

步骤4，用步骤3学习到的哈希函数对肺结节图像进行编码；

如图2所示，输入图像首先被截取其中各个单一征象区域，并缩放至尺寸固定的48*48，然后经过卷积神经网络逐层抽取多层次、细节性的信息得到高层语义特征，最后根据步骤3学习到的哈希函数得到对应的哈希码h＝[h1,h2,...,hn]。

步骤5，计算待查询图像哈希码与训练集哈希码间的加权汉明距离，根据汉明距离对检索结果进行排序；

所述步骤5进一步包括以下步骤：

步骤5.1：根据公式(6-7)计算查询肺结节图像xq与数据集图像间的汉明距离，选择汉明距离最小的前ρ个图像得到肺结节候选集i；

i＝{x1,x2,...,xρ}←sort(dh,'descend')(7)

步骤5.2：更新待查询肺结节图像的每一位哈希码的权值其中表示第i位哈希码的权值；

①初始化待查询肺结节图像的权值向量

②采用迭代法确定每一位哈希码的权值，迭代次数等于肺结节候选集i中的图像数目ρ；

③比较第j幅图像的第k位哈希码和待查询肺结节图像的第k位哈希码值，如果两者相等即hjk＝hqk，则待查询肺结节图像的权值为否则，将待查询肺结节图像的权值更新为

步骤5.3：根据公式(8)计算待查询结节图像与肺结节图像候选集i之间的加权汉明距离：

步骤5.4：对步骤5.3得到的加权汉明距离进行排序，得到与所述查询对象相关的图像列表。

其中，xq为待查询结节图像，hq表示查询图像对应的哈希码，h＝[h1,h2,...,hn]为对应的图像库哈希码，ρ表示阈值，λ为参数因子。

在该步骤中，首先分别计算待查询肺结节图像和数据集图像的哈希码，然后计算基于传统汉明距离的肺结节图像候选集i；更新待查询肺结节图像的比特位权值，之后在候选图像集i＝{x1,x2,...,xρ}中进行检索，计算加权汉明距离，返回与所述查询图像相关的图像列表。其中，加权汉明距离越小表示两个图像越相似。

为了详细说明本发明的具体实施方法，下面以lidc数据库九种征象标签数据集为例对于本发明方法进行进一步的说明。所述图像数据集包含2669个肺结节图像，共9种专家标注的医学征象取值，包括精细度、内部结构、钙化、球形度、边缘、分叶、毛刺、纹理特征和恶性程度。在使用本发明方法进行肺结节ct图像检索时，按照以下步骤进行：

步骤1：将含有多种医学征象取值的肺结节图像集作为训练集，来自合作医院的图像作为测试集，用于训练和检索；

步骤2：依据专家对lidc数据库中肺结节征象取值的标注，构建训练集准确的二值码；

步骤3：使用训练好的卷积神经网络(cnn)来学习肺结节图像的多层次、细节性的语义特征；

步骤4：利用主成分分析方法(pca)提取肺结节含有的重要语义特征；

步骤5：以步骤2得到的训练集准确二值码为实际的优化目标函数，使用随机梯度下降算法，通过最小化目标函数来优化哈希函数；

步骤6：利用步骤5学习到的保相似性哈希函数对所有图像进行编码；

步骤7：通过计算待查询肺结节图像哈希码与训练集中每一幅图像哈希码间的汉明距离，来确定相似肺结节图像候选集；

步骤8：更新待查询肺结节图像哈希码逐位权值，计算待查询肺结节图像与候选集i之间的加权汉明距离，并根据加权汉明距离来排序，得到与所述查询图像相似的图像列表。

哈希性能的比较

(1)为了评估图像检索的性能，将利用平均查准率map(meanaverageprecision)，查准率p@k，召回率r@k三个标准对本文提出的算法进行评价。相关公式的定义如下：

其中，q为查询图像集，mj为与第j个查询图像相似的图像总数，rjk为在第j个查询图像检索出的结果中第k个查询相似图像在检索结果中的排名，precision(rjk)为当检索到第k个相似图像时，前rjk个结果的准确率。map衡量在全部相似图像上的检索性能，相似图像在检索结果中的排名越靠前，map就越高。

p@k反映的是在查询图像检索出的前k个结果中，和查询相似的图像出现的概率，衡量的是检索准确率。r@k反映的是在查询图像检索出的前k个结果中，相似图像与所有相似图像的比值，衡量的是检索召回率。

(2)参数设置哈希码位数

为了比较不同编码长度对检索效果的影响，我们使用了准确率-召回率曲线来衡量本文方法的性能。对于哈希码长度r，在参考大量文献的基础上，选取编码长度为12、24、32、48、64、72六组值。其他六种哈希方法，包括cnnh、ksh、itq、pcah、sh、lsh。

图3所示本发明在检索结果的排序质量上优于其他的哈希方法。分别展示了12位、24位、32位、48位、64位、72位共计6组不同的编码长度下，p-r曲线的比较结果，可以看出本文方法在汉明空间中的性能始终优于其他的哈希方法。此外，也和基于深度学习模型的cnnh方法进行了比较。随着哈希码位数的增加，图像检索的性能也随之提高，当哈希码位数r＝64时，趋于稳定。一方面是因为在深度学习模型能够提取肺结节深层次的特征，肺结节图像特征越全面，图像检索的准确性越高。另一方面，肺部图像是灰度图像，用较短的哈希码就可以表示，大幅减少了存储空间，加快了检索速度。

实验过程中，在哈希码位数为32位、48位、64位时，使用指标p@5和r@5对检索结果进行分析。

表7.不同哈希码长度下查询结节图像分别使用七种不同算法的检索结果

为了可视化检索返回的前5个结果的检索质量，表7中展示了不同哈希码长度下查询结节图像分别使用七种不同算法的检索结果。其中左边第一个框内(p@5)表示的是在不同哈希码位数下前5个结果中的检索准确率，第二个框内(r@5)表示的是对应的前5个结果中的检索召回率。可以看出本文方法和cnnh在前5个查询结果中都获得了较高的精度，分别为82.6％和79.3％，与cnnh方法相比，性能最高提高了3.3％。主要是因为本文方法编码得到的哈希码对肺结节的表达能力更强，检索效果更好。

图4给出了一些检索示例，其中第一列是查询图像，其他列是相应的检索结果。可以看出，检索结果中，排序靠前的图像与待查询图像有着更多相同的标签。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换等，均应包含在本发明所附权利要求的保护范围之内。