基于多视野卷积神经网络的影像特征识别方法与流程

文档序号:12671370阅读:253来源:国知局

本发明涉及CT影像匹配识别技术领域,尤其涉及一种基于多视野卷积神经网络的影像特征识别方法。



背景技术:

目前,用于图像自动分类的大多数方法并不是端到端的,这意味着在匹配识别之前还需要用预定义的滤波器提取特征(如方向梯度直方图,本地二进制模式等)或手动提取图像的特征(如几何、纹理、外观等)。特征学习是直接从训练数据中直接学习的高阶表征。人工神经网络(ANN)从原始的数据中学习到特征,然而,由于传统的人工神经网络的全连接和浅层网络结构,无法提取独立性强的高阶特征,严重限制了实际图像数据的应用。

深度卷积神经网络(DNN)是一种快速的,可扩展的,端到端的学习框架,推进计算机视觉的快速发展。基于卷积神经网络(CNN)的车型分类、定位、语义分割和动作识别已达到目前最先进的水平。

但是,目前还没有较为完善的用于CT影像识别的CNN技术。



技术实现要素:

本发明的目的是提供一种基于多视野卷积神经网络的特征识别方法,不仅实现了端到端的影像识别,而且还确保了识别精确度。

本发明的目的是通过以下技术方案实现的:

一种基于多视野卷积神经网络的影像特征识别方法,包括:

步骤一、收集历史数据库中的带有正负标签的CT影像,建立数据集;

步骤二、利用图像分割算法判断数据集中每一CT影像中所标定特征的位置区域,提取不同像素大小的敏感区域;

步骤三、构建多视野卷积神经网络,网络构架包括:相互交替的卷积层与池化层,后接一个全连接层,最后的输出层是Softmax分类器;

步骤四、将提取的不同像素大小的敏感区域作为样本输入至多视野卷积神经网络,并对多视野卷积神经网络进行训练,获得训练好的多视野卷积神经网络;

步骤五、采用步骤二的方式对待识别的CT影像进行处理,将提取到的不同像素大小的敏感区域输入到训练好的多视野卷积神经网络中进行特征识别,根据识别结果来确定待识别CT影像的正负标签。

所述提取不同像素大小的敏感区域包括:

判断出CT影像中所标定特征的位置区域,所标定特征即用于特征识别的特征,再从中提取S个像素大小分别为M1,M2,…,MS的敏感区域。

所述对多视野卷积神经网络进行训练包括:

随机初始化各层参数,包括:卷积层的卷积核,全连接层的权重矩阵与偏置向量以及Softmax分类器的参数,并进行前向传播;

权值更新:基于前向传播各层的输出以及训练集的标签进行逐层反向传播,确定各层参数,完成对整个多视角神经网络有监督的训练;

微调网络参数:利用Dropout技术对整个网络进行微调;

选择模型超参:将步骤二中得到的敏感区域随机均分为N份,利用N折交叉验证技术,选择使得模型泛化性能最好的超参。

前向传播包括:

第一层为卷积层C1,其表达式为:

其中,X为输入的样本,表示卷积层C1的第i个特征向量的输入,表示卷积层C1第i个卷积核,valid表示conv所表示的卷积运算是窄卷积运算,表示连接输入层和卷积层C1的偏置向量,表示卷积层C1第i个特征向量的激活值,f为卷积层的激活函数;

第二层是池化层S2,其表达式为:

其中,表示池化层S2第i个特征向量的输入,表示池化层S2第i个特征向量的激活值,down表示下采样,表示池化层S2下采样操作的系数,表示连接卷积层C1和池化层S2的偏置向量;

第三层是卷积层C3,其表达式为:

其中,表示卷积层C3第i个特征向量的输入,表示卷积层C3第i个卷积核,*表示卷积运算,表示卷积层C3第i个特征向量的激活值,表示连接池化层S2和卷积层C3的偏置向量,表示池化层S2的输出;

第四层为池化层S4,其表达式为:

其中,表示池化层S4第i个特征向量的输入,表示池化层S4池化操作的系数,表示第4层第i个特征向量的激活值表示连接输入层和池化层S4的偏置向量;

第五层为全连接层,将顺序展开成向量,并有序连接成一个长向量,作为Softmax分类器的输入;其表达式为:

其中,池化层S4的输出,表示全连接层第i个特征向量的激活值;

第六层为Softmax分类器,其表达式为:

其中,θj表示该层的参数,P(yi=j|xi;θ)表示Softmax分类器输出概率,yi表示Softmax分类器的分类结果,J(θ)表示目标函数,m表示样本个数,k表示类别数,表示该层参数矩阵的转置,θij表示全连接层和Softmax分类器之间的系数矩阵,xi表示所给定的样本i,θc表示连接全连接FC层和第c个类别输出器的参数,是权重衰减项,表示权重衰减项系数。

反向传播包括:

Softmax分类器的反向传播:

θj=θj-α▽θJ(θ)

其中,m表示样本个数;δ(6)表示反向传播中根据Softmax层计算的残差项,α表示网络学习率;

全连接层的反向传播:将δ(6)依照前向传播的规格进行拆分,其表达式为:

δ(5)=inconcatenate(δ(6));

卷积层的反向传播:

其中,s=1,3,up表示上采样运算,(*)st表示遍历*的所有元素,表示所连接的池化层S2中中相关的元素构成的矩阵。

池化层的反向传播:

其中,q=2,4,full表示宽卷积运算。

利用Dropout技术对整个网络进行微调包括:

每m个样本为一个批次做梯度下降,每次梯度下降的时候每个隐藏节点以概率P1随机忽略;每个输入节点以概率P2随机忽略;

在测试的时候,输入层与卷积层之间的权重乘以(1-P2),其他层的权重乘以(1-P1)。

所述将步骤二中得到的敏感区域随机均分为N份,利用N折交叉验证技术,选择使得模型泛化性能最好的超参包括:

首先固定超参,然后把步骤二中得到的敏感区域随机均分为N份,将第1份作为验证集,剩下的N-1份作为训练集,对多视野卷积神经网络进行训练;

将验证集数据输入到训练后的多视野卷积神经网络里面,得到多视野卷积神经网络的识别准确率;再将第2份最为验证集,剩下的N-1份作为训练集,对多视野卷积神经网络进行训练,将验证集数据输入到训练后的多视野卷积神经网络里面,得到第二个多视野卷积神经网络的识别准确率;

如此重复N次,得到N个识别准确率,对这N个识别准确率进行平均,得到在这组超参下所训练出来的多视野卷积神经网络的识别准确率;然后换一组超参,重复上述步骤,选出使得识别准确率最高的超参组合作为最终对于超参的设定。

所述根据识别结果来确定待识别CT影像的正负标签包括:

若待识别CT影像中的特征与带有正标签的CT影像中标定特征匹配,则确定待识别CT影像为正标签;

若待识别CT影像中的特征与带有负标签的CT影像中标定特征匹配,则确定待识别CT影像为负标签。

由上述本发明提供的技术方案可以看出,采用端到端的图像处理方式,避免了繁琐的预处理过程;此外,还以深度学习为基础,构建多视野的卷积神经网络,以所标定特征的多个视野为输入,达到更高识别精确度。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于多视野卷积神经网络的影像特征识别方法的流程图。

具体实施方式

下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。

图1为本发明实施例提供的一种基于多视野卷积神经网络的影像特征识别方法的流程图。如图1所示,其主要包括如下步骤:

步骤一、收集历史数据库中的带有正负标签的CT影像,建立数据集。

此处的,正负标签可以指代CT影像的属性;例如,可以根据CT影像中标定的良恶性来确定,以便于后续特征识别后为待识别影像赋予相应的标签。

步骤二、利用图像分割算法判断数据集中每一CT影像中所标定特征的位置区域,提取不同像素大小的敏感区域。

本发明实施例中,所标定特征可以根据实际情况来选定,例如,可以将CT影像中某个器官或者组织作为标定特征;但是,本发明并不关注所标定特征的具体种类。

提取不同像素大小的敏感区域,也就是提取不同视野的敏感区域;例如,判断出CT影像中所标定特征的位置区域后,从中提取S个像素大小分别为M1,M2,…,MS的敏感区域。

步骤三、构建多视野卷积神经网络,网络构架包括:相互交替的卷积层与池化层,后接一个全连接层,最后的输出层是Softmax分类器。

本发明实施例中,相互交替的卷积层与池化层的具体数量可以根据实际情况来确定,如果卷积层与池化层各两个,则网络的层次依次是:多视野输入层、卷积层、池化层、卷积层、池化层、全连接层以及输出层(Softmax分类器)。

设定第一个卷积层的卷积核长度ks1,特征向量个数为c1;设定第一个池化层的池化长度设置为np1;设定第二个卷积层的卷积核长度ks2,特征向量个数为c2;设定第一个池化层的池化长度设置为np1。

步骤四、将提取的不同像素大小的敏感区域作为样本输入至多视野卷积神经网络,并对多视野卷积神经网络进行训练,获得训练好的多视野卷积神经网络。

本发明实施例中,多视野卷积神经网络训练的过程如下:

1、随机初始化各层参数,包括:卷积层的卷积核,全连接层的权重矩阵与偏置向量以及Softmax分类器的参数,并进行前向传播。

前向传播的过程如下:

第一层为卷积层C1,其表达式为:

其中,X为输入的样本,表示卷积层C1的第i个特征向量(特征向量的尺寸随着敏感区域的增大而变多,导致运算量不同,训练时间和精度都不同)的输入,表示卷积层C1第i个卷积核,valid表示conv所表示的卷积运算是窄卷积运算('valid'表示影像边界处理的一种模式),表示连接输入层和卷积层C1的偏置向量;表示卷积层C1第i个特征向量的激活值,f为卷积层的激活函数;

第二层是池化层S2,其表达式为:

其中,表示池化层S2第i个特征向量的输入,表示池化层S2第i个特征向量的激活值,down表示下采样,表示池化层S2下采样操作的系数,表示连接卷积层C1和池化层S2的偏置向量;

第三层是卷积层C3,其表达式为:

其中,表示卷积层C3第i个特征向量的输入,表示卷积层C3第i个卷积核,*表示卷积运算,表示卷积层C3第i个特征向量的激活值,表示连接池化层S2和卷积层C3的偏置向量,表示池化层S2的输出;

第四层为池化层S4,其表达式为:

其中,表示池化层S4第i个特征向量的输入,表示池化层S4池化层下采样操作的系数,表示池化层S4第i个特征向量的激活值;表示连接卷积层C3和池化层S4的偏置向量;

第五层为全连接FC层,将顺序展开成向量,并有序连接成一个长向量,作为Softmax分类器的输入;其表达式为:

其中,池化层S4的输出,即全连接层的输入,表示全连接层第i个特征向量的激活值;

第六层为Softmax分类器,其表达式为:

其中,θj表示该层的参数,P(yi=j|xi;θ)表示Softmax分类器输出概率,yi表示Softmax分类器的分类结果,J(θ)表示目标函数,m表示样本个数,k表示类别数,表示该层参数矩阵的转置,θij表示全连接层和Softmax分类器之间的系数矩阵,xi表示所给定的样本i,θc表示连接全连接FC层和第c个类别输出器的参数;是权重衰减项,表示权重衰减项系数,防止模型过拟合。

2、权值更新:基于前向传播各层的输出以及训练集的标签进行逐层反向传播,确定各层参数,完成对整个多视角神经网络有监督的训练。

反向传播的过程如下:

Softmax分类器的反向传播:

θj=θj-α▽θJ(θ)

其中,m表示样本个数;δ(6)表示反向传播中根据Softmax层计算的残差项,α表示网络学习率。

全连接层的反向传播:将δ(6)依照前向传播的规格进行拆分,其表达式为:

δ(5)=inconcatenate(δ(6));

其中,δ(5)表示反向传播中根据全连接层计算的残差项。

卷积层的反向传播:

其中,s=1,3,up表示上采样运算,(*)st表示遍历*的所有元素,表示所连接的池化层S2中中相关的元素构成的矩阵。

池化层的反向传播:

其中,q=2,4,full表示宽卷积运算,此处的'full'与前文的'valid'是相对的,表示两种不同的边界处理方式。

3、微调网络参数,利用Dropout技术对整个网络进行微调,在有大量训练样本的情况下,微调能显著提升分类器性能。

微调过程如下:

每m个样本为一个批次做梯度下降,每次梯度下降的时候每个隐藏节点以概率P1随机忽略;每个输入节点以概率P2随机忽略;每次的权重更新只更新保留下来的节点所对应的权重。忽略并不意味着删除,每次权重更新的过程都要从所有的节点中随机选择,更新也是在上次更新后的基础之上进行更新。

在测试的时候,输入层与卷积层之间的权重乘以(1-P2),其他层的权重乘以(1-P1)。

4、选择模型超参:将步骤二中得到的敏感区域随机均分为N份,利用N折交叉验证技术,选择使得模型泛化性能最好的超参。

在模型训练的过程中需要几个参数事先确定下来,这样的参数叫做超参。为了选出使得模型性能最好的超参,采用N折交叉验证技术进行选择,过程如下:

首先固定超参,然后把步骤二中得到的敏感区域随机均分为N份,将第1份作为验证集,剩下的N-1份作为训练集,对多视野卷积神经网络进行训练;

将验证集数据输入到训练后的多视野卷积神经网络里面,得到多视野卷积神经网络的识别准确率;再将第2份最为验证集,剩下的N-1份作为训练集,对多视野卷积神经网络进行训练,将验证集数据输入到训练后的多视野卷积神经网络里面,得到第二个多视野卷积神经网络的识别准确率;

如此重复N次,得到N个识别准确率,对这N个识别准确率进行平均,得到在这组超参下所训练出来的多视野卷积神经网络的识别准确率;然后换一组超参,重复上述步骤,选出使得识别准确率最高的超参组合作为最终对于超参的设定。

步骤五、采用步骤二的方式对待识别的CT影像进行处理,将提取到的不同像素大小的敏感区域输入到训练好的多视野卷积神经网络中进行特征识别,根据识别结果来确定待识别CT影像的正负标签。

具体的:

若待识别CT影像中的特征与带有正标签的CT影像中标定特征匹配,则确定待识别CT影像为正标签;

若待识别CT影像中的特征与带有负标签的CT影像中标定特征匹配,则确定待识别CT影像为负标签。

本发明实施例上述方案中,采用端到端的图像处理方式,避免了繁琐的预处理过程;此外,还以深度学习为基础,构建多视野的卷积神经网络,以所标定特征的多个视野为输入,达到更高识别精确度。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1