一种基于多图正则化深度哈希的多模态医学图像检索方法与流程
本发明属于医学图像处理技术领域，尤其涉及多图正则化深度哈希方法实现多模态医学图像检索。
背景技术：
多模态医学图像检索技术指的根据某一模态的输入数据从多模态医学图像库中检索出相匹配的同模态和不同模态的医学图像。已有的多模态检索技术主要有三个模块：基于文本的图像检索技术、基于文本的视频检索技术、基于图像的文本检索技术。现有的多模态检索技术多在两种模态之间互相检索，然而日益增长的多模态医学图像使得现有技术无法满足用户在任意模态数据之间互相检索的需求。
跨模态哈希检索算法成为近年来的研究热点，并取得了较好的效果。然而依旧存在一些技术缺陷：(1)现有的方法大都通过提取数据的手工特征来学习哈希码，相比于通过根据不同数据的内在结构特征来学习哈希码，手工提取特征学习到的哈希码对检索精度有较大影响；(2)现存的绝大部分基于深度学习的跨模态哈希算法也都只在两个模态数据之间实现相互检索；(3)现有方法在实现数据到哈希码的映射时都未考虑到数据的内在流形结构，以至于学习到的哈希码也未能保持数据的局部流形结构，从而影响了检索精度。
针对上述几个问题，虽然很多学者投入了大量的时间和精力去研究，但依然没有一个实现自适应数据模态的多模态检索方法出现。rbm的原理，可以将其学习得到的隐层结果直接作为数据的哈希码；而流形结构保持的加入，能在数据映射到哈希码的同时中保持数据的局部流形结构。
本发明所要解决的问题是手工特征无法满足高精度的检索需求、跨模态哈希算法多为双模态互相检索、数据到哈希码之间的映射不能保持数据局部流形结构等方面的不足。本发明运用深度模型提取数据深度特征代替数据的手工特征，避免了手工特征无法很好的挖掘数据内在结构的问题，从而在哈希检索中大大提高了检索精度；使用自适应rbm哈希算法能解决现有的多模态检索大多只能在两个模态的数据中实现互相检索的问题，能在任意多模态的数据中实现互相检索；使用流形结构保持，能在数据到哈希码的映射过程中很好的保持数据的局部流形结构，从而进一步提升检索精度。
技术实现要素：
本发明旨在解决以上现有技术的问题。提出了一种提升检索精度的基于多图正则化深度哈希的多模态医学图像检索方法。本发明的技术方案如下：
一种基于多图正则化深度哈希的多模态医学图像检索方法，其包括以下步骤：
步骤1、利用多通道深度模型提取多模态医学图像的深度特征，并对深度特征标准化；
步骤2、根据步骤1提取的多个不同模态数据的特征构建多个近邻图矩阵，用以保持数据的局部流形结构，并构建一个标签矩阵；
步骤3、将构建的多个近邻图矩阵以及标签矩阵融合成一个图矩阵；
步骤4、利用模态自适应的受限玻尔兹曼机rbm结合融合后的图矩阵学习得到多模态医学图像共同的哈希码；
步骤5、通过深度通道和模态自适应的rbm将待检索的模态数据生成哈希码；
步骤6、使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序，将距离最小的n组最近似多模态医学图像返回给用户。
进一步的，所述步骤1利用多通道深度模型提取多模态医学图像的深度特征，具体包括：首先根据数据组模态数量自适应确定深度模型的通道数量，再将多个深度通道连接到同一分类层作为一个整体，训练整体的多通道深度模型，训练完成取各个通道的倒数第二层结果作为对应模态数据的深度特征。
进一步的，所述步骤1在提取到多模态医学图像组的深度特征后，将深度特征采用z-score标准化，量化后的特征将服从标准正态分布，特征的量化公式如下：
其中μ表示某一个特征的均值，δ表示特征的标准差。
进一步的，所述步骤2近邻图构建中，将图视为n个向量的集合来描述数据的几何结构，其中每一个向量对应一个数据点，每一个向量的长度为ρ，表示ρ个与该数据点最近邻的数据点，多个近邻矩阵矩阵
xi表示分别表示多模态数据的一组图像，xj表示其余n-1组图像中的任意一组，a表示xi与xj相同标签的个数。构建完m+1个矩阵后，采用如下公式进行多图正则化矩阵融合：
其中μ表示融合时每个矩阵的权重系数。
进一步的，所述步骤4利用模态自适应的rbm结合融合后的图矩阵学习得到多模态医学图像共同的哈希码，具体包括：
模态自适应的rbm由原始高斯rbm改进而来，可视层数量根据数据模态数量自适应确定，都连接到同一隐层；同时在可视层和隐层通过条件概率生成的时候加入流形保持矩阵，使得生成的隐层哈希码能保持数据的局部近邻结构；改进的rbm模型的能量函数如下所示：
其中u表示整个改进的rbm模型的能量函数；
进一步的，所述步骤5通过深度通道和模态自适应的的rbm将待检索的某一模态数据生成哈希码，具体包括：将待检索的某一模态的医学图像放入其训练时对应的该模态特征提取通道中，取卷积神经网络倒数第二层数值作为其特征值；根据训练时得到的相同模态数据的特征矩阵的均值μ和标准差δ标准化得到的特征值；将标准化的特征值作为训练完成的rbm可视层输入，注意对应训练时同模态的可视层，其他的可视层输入与特征值相同规格的零矩阵，与连接权做矩阵相乘后得到的结果取符号函数sign得到待检索数据的哈希码。
进一步的，所述步骤6使用汉明距离度量方法计算待检索某一模态的数据和多模态医学图像库之间的距离并升序排序，将距离最小的n组最近似多模态医学图像返回给用户，其中汉明距离度量公式如下：
其中k表示哈希码的长度，hr(x)表示样本x的第r位哈希码，hr(y)表示样本y的第r位哈希码的，
本发明的优点及有益效果如下：
1、本发明避免了手工特征无法很好的挖掘数据内在结构的问题，步骤1中提出的基于深度学习的深度特征提取结构解决了传统基于手工特征的哈希方法精度不高的问题。
2、步骤1的自适应模态的特征提取结构以及步骤4的自适应rbm可视层的提出解决了现存大多数方法只能在两个模态之间相互检索的问题，实现任意多模态医学图像之间互相检索。
3、步骤2、3、4中的结合了多图正则化的rbm模型解决了在哈希映射过程不能不要数据局部流形结构的问题，进一步提高检索精度。
附图说明
图1是本发明提供优选实施例的操作流程图；
图2是本发明中多模态医学图像组到哈希码映射整体模型图；
图3是本发明中模态自适应rbm模型图；
图4是本发明中实验说明以及实际检索结果(双模态数据集)；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
根据多模态医学图像的不同数据类型选择不同类型的深度模型用于提取其深度特征，如图像数据选择卷积神经网络、文本可选择循环神经网络等，用于提取深度特征的模型不是本发明的重点任务。
因各个特征的数值维度不一致，且后续用于哈希码学习的模态自适应rbm模型要求可视层符合高斯分布，在提取到多模态医学图像组的深度特征后，将特征采用z-score标准化，量化后的特征将服从标准正态分布。特征的量化公式如下：
其中μ和δ分别表示一个特征的均值的标准差。
根据原始特征构建近邻图，用于在哈希码学习的同时保持数据的局部近邻结构。近邻图构建中，距离度量的方式有高斯热核距离、曼哈顿距离、切比雪夫距离等，此处度量方式的选择不是本发明的重点任务。根据深度特征构建完近邻图后，根据标签构建一个额外的近邻图，标签对数据的内在流形结构的影响重大，在后续的近邻图融合中，标签近邻图所占比重较大。
原始的高斯rbm模型能将实值数据映射为二值数据，利用这个特性，将其可视层数量根据多模态医学图像模态数量自适应调整，并同时连接到同一个隐层，并在其能量函数上加一个图正则化项用于约束将相似的数据生成相似的哈希码，以保持数据的内在流形结构，这将有利于提高检索精度。
现有的多模态哈希方法多针对手工特征用于哈希码生成，且大多在两种模态数据之间的相互检索。这大大降低了检索精度，并且无法满足用户在任意模态数据之间相互检索的需求。本发明提出的一种基于多图正则化深度哈希多模态检索方法能极大地提高检索精度，并能满足用户在任意数据模态之间互相检索的需求。
下面详细说明本发明的技术方案：
步骤一：多模态医学图像组深度特征提取
为了得到多模态医学图像组的哈希码，先对数据提取深度特征。首先根据数据组模态数量自适应确定深度模型的通道数量，再将多个深度通道连接到同一分类层作为一个整体，如附图3所示。训练整体的多通道深度模型，训练完成取各个通道的倒数第二层结果作为对应模态数据的深度特征。
步骤二：构建并融合多近邻图矩阵
为了在得到数据组哈希码的同时保持数据局部近邻结构，根据不同模态数据的深度特征构建近邻图。将图视为n个向量的集合来描述数据的几何结构，其中每一个向量对应一个数据点，每一个向量的长度为ρ，表示ρ个与该数据点最近邻的数据点。多个近邻矩阵矩阵
近邻矩阵构建完成后将其融合成一个矩阵，融合规则如下：
其中融合系数采用遍历的形式学习到一组合适的参数。
步骤三：深度特征标准化
由于以下两个原因，我们必须将得到的深度特征标准化：
1.不同的特征往往具有不同的量纲，这样的情况会影响到后续数据分析和哈希码学习的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理。
2.高斯伯努利受限玻尔兹曼机是假设数据输入服从高斯分布，然而原始的特征矩阵中的数据并不符合高斯分布。
结合以上两个原因，我们得到的原始特征矩阵采用z-score标准化，标准化后的特征将服从标准正态分布。特征的量化公式如下：
其中μ和δ分别表示一个特征的均值的标准差。
步骤四：哈希码学习
利用模态自适应的rbm结合融合后的图矩阵学习得到多模态医学图像共同的哈希码。模态自适应的rbm由原始高斯rbm改进而来，可视层数量根据数据模态数量自适应确定，都连接到同一隐层；同时在可视层和隐层通过条件概率生成的时候加入流形保持矩阵，使得生成的隐层哈希码能保持数据的局部近邻结构。将深度特征标准化之后，将其按模态输入到可视层中，结合融合后的矩阵，利用多输入对比散度算法训练模态自适应rbm。训练完成可以得到多模态医学数据的共享哈希码。
步骤五：返回待检索图像的n(在本发明中n取3)组近邻图
从测试多模态医学数据集中取其中一个模态的一张图像，利用训练完成的模型获得其深度特征，再获得其哈希码。将得到的测试图像哈希码与得到的多模态数据的共享哈希码进行距离度量。使用汉明距离度量方法计算样本之间的距离并升序排序，将距离最小的n个哈希码取出，并将其对应的n组图像返回给用户。
具体实验验证
为了验证方法的有效性，采用了双模态脑部医学数据集作为提出的方法验证实验。数据集总共包含323组共10个分类双模态脑部图像，一个模态是mri模态数据，另一模态是pet模态。将其中290组图像作为训练组，剩余32组图像作为测试集。
具体实验步骤：
1、利用卷积神经网络提取图像深度特征。两个卷积网络倒数第二层全连接层的节点个数设定为256个，并且共用同一个分类层，将双模态训练数据输入到双通道深度网络中，利用分类任务训练整体网络。训练完成后将290组训练数据和32组测试数据放入到其对应模态的深度通道中，此时将得到倒数第二层的数值作为数据的深度特征，分别的得到两个(256×290)和两个(256×32)的特征矩阵。
2、利用得到的训练集深度特征矩阵构建两个近邻矩阵(290×290)，再根据训练数据集的标签构建一个标签矩阵。利用上述的融合规则融合三个矩阵得到一个融合矩阵。
3、根据上述的标准化规则标准化得到的4个深度特征矩阵。注意测试集特征矩阵标准化时的均值与标准差为其对应模态的测试集特征矩阵的均值与标准差。
4、利用标准化后的深度特征矩阵作为双可视层受限玻尔兹曼机(rbm)的输入，结合融合矩阵训练双可视层rbm。训练完成后将训练集和测试集的特征矩阵输入，与连接权重做矩阵乘法后取符号函数(sign)后得到训练集和测试集的哈希码。
5、分别取两张标签为glioma和dementia的mri模态图像作为待检索图像，将其对应的哈希码与训练集哈希码计算汉明距离并排序，取前3个距离最小的哈希码，然后返回其对应的3组双模态图像，得到的结果图4所示。
6、取mri模态的所有测试集作为待检索图像，取前10的返回结果计算平均精度(map)，得到的结果为0.6765。
上述实验结果可证明本方法的可行性。
综上所述，本发明的创新和优势：
1、避免了手工特征无法很好的挖掘数据内在结构的问题，解决传统基于手工特征的哈希方法精度不高的问题。
2、解决现存大多数方法只能在两个模态之间相互检索的问题，实现任意多模态医学图像之间互相检索。
3、解决在哈希映射过程不能不要数据局部流形结构的问题，进一步提高检索精度。
本发明提出的一种基于多图正则化深度哈希多模态医学图像检索方法通过深度特征代替传统手工特征，能提高哈希检索精度。
本发明提出的一种基于多图正则化深度哈希多模态医学图像检索方法通过流形保持方式使得得到哈希码的同时保持数据的局部流形结构，能进一步提高检索精度。
本发明提出的一种基于多图正则化深度哈希多模态医学图像检索方法实现了任意模态数据的互相检索，极大满足用户需求。
本发明提出的一种基于多图正则化深度哈希多模态医学图像检索方法，步骤清晰，针对性强。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
- 还没有人留言评论。精彩留言会获得点赞！