基于主成分分析的卷积神经网络特征提取方法与流程

本发明属于图像信号处理技术领域，特别是一种基于主成分分析的卷积神经网络特征提取方法。

背景技术：

在图像的识别、分类以及检测任务中，传统的机器学习的方法都是基于图像的低级手工特征，即直接能从图像中提取的特征。如颜色特征、纹理特征以及直方图特征，这些特征针对内容简单的图像，能有很好的效果，但是遇到内容复杂图像时，手工特征不能有效表征图像性质，用这些手工特征训练出来的模型鲁棒性较差。传统的图像特征更多的是针对特定的问题，进行专门的人工设定，这种方法泛化能力弱，可移植性差，准确度相对较差。

随着深度学习的兴起，卷积神经网络(cnn)在图像识别和分类任务中表现十分优异，卷积神经网络发展很快，人们在研究其中间层的输出时发现这些输出也可以作为表示图像的特征，并且隐藏层越深，其输出中的语义信息更丰富，这是从传统手工特征无法获得的高级图像特征。这些从学习到的网络模型中提取的特征简称为深度特征。深度特征相比低级的手工特征鲁棒性更好，在面对低对比度图像以及复杂图像时同样能很好地表征图像内容。所以人们开始将cnn中提取的深度特征用于传统的机器学习中，获得了显著的效果。应用有图像显著性目标检测(zouw,komodakisn.harf:hierarchy-associatedrichfeaturesforsalientobjectdetection[c]//proceedingsoftheieeeinternationalconferenceoncomputervision.2015:406-414.)，目标检测(girshickr,donahuej,darrellt,etal.richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[c]//proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition.2014:580-587.)，视觉识别(donahuej,jiay,vinyalso,etal.decaf:adeepconvolutionalactivationfeatureforgenericvisualrecognition[c]//internationalconferenceonmachinelearning.2014:647-655.)等领域，典型的有：

(1)图像显著性检测：图像的显著性检测目的是找出图像中的显著前景目标，其方法一般有自底向上的和自顶向下两种。大部分模型都是自底向上的方法，根据像素或者超像素的各种特征来判断显著性目标。已有人开始将深度特征以及手工特征融合后用于显著性检测，相比只有手工特征的模型，性能有了极大的提升。

(2)目标检测：不同于显著性目标检测，目标检测是检测图像中指定的目标，并且一个图像中可能有多个需要定位的目标。传统方法使用手工特征，提取过程复杂，且高度依赖具体任务，可移植性差。cnn特征含有丰富语义信息，对一定程度扭曲变形也有很强的鲁棒性，通过加入cnn特征，同样使目标检测的性能有了很大提升。

但是在之前的卷积神经网络深度特征提取中，未对深度特征进行处理，直接利用、提取卷积神经网络中的深度特征，未做任何处理就应用到图像处理或者计算机视觉任务中。这样的特征存在两个主要缺点一是维度高，二是含有很多噪声。这对后续使用这些特征带来了问题，比如在显著性检测或者目标检测中，如果特征维度太高，会增加模型的复杂度和计算量。而原始特征中的噪声，则会影响模型的准确性。利用主成分对该特征进行降维时，主要问题在于特征向量的选取，因为图像是二维向量，而主成分只能对一维特征向量进行降维，所以，特征向量的选择同样影响降维结果。

技术实现要素：

本发明的目的在于提供一种基于主成分分析的卷积神经网络特征提取方法，解决了原始特征向量的提取问题，使该特征在图像处理或计算机视觉任务中更易于利用。

实现本发明目的的技术解决方案为：一种基于主成分分析的卷积神经网络特征提取方法，包括如下步骤：

(1)选取卷积神经网络，在imagenet数据集上进行图像分类训练或者选择已经训练好的卷积神经网络，去掉卷积神经网络的全连接层与softmax层；

(2)选取要提取特征的图像，根据选取的卷积神经网络，将图像按照对应卷积神经网络要求进行归一化处理，并将其大小调整至网络所要求的输入大小，输入卷积神经网络进行前向运算；

(3)图像经过卷积神经网络前向运算后，提取网络中所有池化层的输出，作为深度特征映射图；

(4)将每个池化层中提取出来的深度特征映射图叠加，其中每个像素得到一个高维特征向量，维数就是该池化层中提取的深度特征映射图的个数，对所有这些特征向量，利用主成分分析进行降维，将降维得到的所有特征映射图进行双线性插值，重置到原输入图像大小，得到降维后的深度特征。

本发明与现有技术相比，其显著优点：(1)主要解决了直接提取的卷积神经网络特征维度高以及噪声较多的问题。同时，通过将每个中间层所有的特征图堆叠，将所有特征图中的每个对应像素组成一维特征向量，再使用主成分分析进行降维，解决了原始特征向量的提取问题，使该特征在图像处理或计算机视觉任务中更易于利用。(2)极大地减少了深度特征维度，提取了其中有效信息，使深度特征更加高效。比如对vgg(simonyank,zissermana.verydeepconvolutionalnetworksforlarge-scaleimagerecognition[j].arxivpreprintarxiv:1409.1556,2014.)卷积神经网络，如果使用其5个池化层中所有输出作为特征，那对每个图像，就会有1472个特征图，而经过本专利的方法降维后，特征图减少为15个，极大地降低了特征维数，且消除了其中的噪声。(3)得到的深度特征含有图像丰富的语义信息，且特征维度低，数据量小，可用于图像的各种识别和分类任务。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于主成分分析的卷积神经网络特征提取方法流程图。

图2是本发明利用主成分分析从卷积神经网络中提取特征的示意图。

图3是本发明利用双线性插值法得到与原图像同样大小的特征图的示意图。

具体实施方式

结合图1，本发明基于主成分分析的卷积神经网络特征提取方法，利用主成分分析对卷积神经网络中间层特征进行处理得到降维后的特征，即经过卷积神经网络，从图像中提取高效精炼的深度特征，步骤如下：

1.选取卷积神经网络类型，在imagenet数据集上进行图像分类训练，也可以选择已经训练好的卷积神经网络模型，去掉该卷积神经网络的全连接层与softmax层。

2.选取要提取特征的图像，根据选取的卷积神经网络，将图像按照对应卷积神经网络要求进行归一化处理，并将其大小调整至网络所要求的输入大小，输入卷积神经网络进行前向运算。

3.图像经过卷积神经网络前向运算后，提取网络中所有池化层的输出，作为深度特征映射图。

4.将每个池化层中提取出来的深度特征映射图叠加，其中每个像素得到一个高维特征向量，维数就是该池化层中提取的深度特征映射图的个数，对所有这些特征向量，利用主成分分析进行降维，最后将降维得到的所有特征映射图进行双线性插值，重置到原输入图像大小，得到降维后的深度特征。

如图2所示，所述步骤4中的主成分分析对深度特征降维过程如下：

(1)设某一池化层中得到的所有输出特征映射图集合为i＝{i1,i2,…im}，其中m为特征映射图的个数，该层特征映射图的大小为a*b。

(2)将所有特征映射图进行叠加，特征映射图中的每个像素对应一个m维的特征向量，得到a*b＝c个m维的特征向量。特征向量记为xi,i∈[1,c]。由所有特征向量组成的特征矩阵记为x，x＝{x1,…xc}。

(3)对每个特征向量xi，首先求该特征向量的平均值，对所有特征向量，都减去该向量对应的平均值。

(4)计算所有特征向量的协方差矩阵c：

(5)计算特征协方差矩阵c的所有特征向量α以及特征值λ(假设有n个)：

α＝{α1,α2,…αn},λ＝{λ1,λ2,…λn}

(6)将特征值按照从大到小的顺序排序，选取最大的前k个，然后选择这k个特征值对应的特征向量组成变换矩阵t：

其中，{t1…tk}是n个特征值中前k个最大的特征值的序号。

(7)将原始特征矩阵x与变换矩阵t相乘，得到降维后的特征矩阵p，降维后的特征向量记为xpi

p＝t*x＝{xp1,…,xpc}

如图3所示，所述步骤4中将原始特征图重置到原始输入图像大小的双线性插值法的步骤如下：

(1)假设某层卷积神经网络的输出映射图经过主成分分析得到的特征图大小为a*b，原输入图像大小为m*n。为了让每个像素点就可以对应一个深度特征的值，将该特征图大小重置到与原图像大小相同。原图中的像素点与特征图中的值一一对应。

(2)两幅图像的边长比分别为：m/a和n/b。目标图像的第(i,j)个像素点(i行j列)可以通过边长比对应回源图像，其对应坐标为(i*m/a,j*n/b)。对应坐标一般来说不是整数，双线性插值通过寻找距离这个对应坐标最近的四个像素点，来计算该点的值。假设特征映射图为i，要得到一个与原输入图像大小的映射图i’，要得到目标图像i’在点o＝(x,y)处的值，假设已知图像i点q11＝(x1,y1),q12＝(x1,y2)q21＝(x2,y1)q22＝(x2,y2)，首先在x方向的插值：

然后在y方向插值：

则i’(x,y)为