一种基于深度局部特征描述符的海量图像分类方法
【专利摘要】本发明提出一种基于深度局部特征描述符的海量图像分类方法，经过多层次的图像局部特征描述符的提取，最终获得更加抽象、丰富的图像表达，从而达到提高图像分类准确率的目的。本发明所采用的深度模型能在逐层的特征提取中捕获到图像中更加抽象、更加丰富的特征信息，加上平均池化操作，能够使获得的图像特征具有平移不变性，这对于日益剧增的图片数量以及图片多样性来说有着关键性作用。
【专利说明】一种基于深度局部特征描述符的海量图像分类方法
【技术领域】
[0001] 本发明属于图像处理与深度学习【技术领域】，涉及高效率的海量图像处理，尤其涉 及一种基于深度局部特征描述符的海量图像分类方法。
【背景技术】
[0002] 近年来，图像处理在工业、制造业、军事、医疗等领域得到了广泛的关注与应用。尽 管其发展形势一片大好，但随着实际应用的覆盖面逐渐拓宽，海量图像数据随之而来，这使 得传统的图像处理方法已不堪重负。图像分类任务主要由三部分构成：图像预处理、图像特 征提取、分类器选择。其中，图像特征提取对图像分类任务有着至关重要的作用。
[0003] 由Herve Jegou等人提出的局部特征描述符（VLAD:vector of locally aggregated descriptors)是目前最为有效的图像特征之一，其在图像分类领域已经取得 了卓越的成效。然而，随着图像数据集规模以及图像多样性的急剧增加，传统的VLAD在海 量图像分类任务中逐渐显现出其内在的劣势。当VLAD运用于大规模图像集时，海量高维 VLAD特征的存储以及之后的分类操作对目前的计算机设备来讲都极具挑战。为了提高处理 图像大数据的性能，深度学习应运而生。深度学习经过多层次的特征提取，能够获得更加抽 象、更加丰富的图像特征，从而提高图像处理的性能。本发明提出的海量图像分类方法便是 结合了 VLAD与深度学习的优势，融入其他的相关创新性操作，使得提取出的图像特征能够 更加有力地胜任海量图像分类任务。
【发明内容】
[0004] 本发明旨在提高海量图像分类任务的准确率，提出一种基于深度局部特征描述符 的海量图像分类方法，经过多层次的图像局部特征描述符的提取，最终获得更加抽象、丰富 的图像表达，从而达到提高图像分类准确率的目的。
[0005] 本发明解决其技术问题所采用的技术方案如下：
[0006] 基于深度局部特征描述符的海量图像分类方法，其流程如图1所示，具体包括以 下步骤：
[0007] 步骤一：设定整个深度学习模型为L层深度学习过程；对每一张训练样本提取 SIFT特征，对整个训练样本集合的SIFT特征进行Kmeans聚类，得到第一层深度学习过程的 字典D1 ;
[0008] 步骤二：将每张图片都分成多个图像块，用训练得到的字典D1去计算每个图片块 的VLAD特征矩阵；对所述VLAD特征矩阵进行规范化操作，并将规范化后的VLAD特征矩阵 的每一个列向量转置成行向量从而得到最终的VLAD特征向量F ;
[0009] 步骤三：对图像块集合B中每相邻的Ml XM2个图像块的VLAD特征向量厂进行平 均池化，每一张训练图片的所有图像块经平均池化过程得到VLAD特征向量7_/7〇〇/?/，所 述VLAD特征向量L/woW即构成相应训练图片经第一层深度学习过程后的VLAD面即Vi_ Map ；
[0010] 步骤四：将所有训练图片经第一层深度学习过程后的VLAD特征向量厂_/;〇〇/?/进 行Kmeans聚类得到第二层深度学习过程的字典仏，再按照步骤二至步骤三的操作计算经第 二层深度学习过程后的VLAD面，以此类推，直至得到所有训练图片经最后一层即第L层深 度学习过程后的VLAD面；
[0011] 步骤五：用数据降维算法PCA对步骤四所得的经最后一层深度学习后的VLAD面的 特征进行降维计算即可得所有训练图片最终的图像特征V_final ;
[0012] 步骤六：将降维后的训练图片的图像特征VJinal输入线性支持向量机（linear SVM)训练分类器；
[0013] 步骤七：对测试图片按照步骤二至步骤五中与训练图像相同的操作过程进行处 理，得到所有测试图片最终的图像特征V'_final，将其输入步骤六所述的经过训练的分类器 中，最终实现图像分类目的。
[0014] 需要说明的是：
[0015] 针对不同的图像集，深度学习模型的层数L往往不同，但L值一般设定为三层以上 就能得到较好的图片分类效果。
[0016] 本发明的有益效果是：
[0017] 本发明将传统的基于局部特征描述符的图像分类方法有效地与深度学习框架进 行结合，提出了一种旨在提高海量图像分类任务准确率的处理模型；本发明具有以下优 占.
[0018] 1、与传统的基于局部特征描述符（VLAD)的图像分类方法相比，本发明所提出的 深度模型能在逐层的特征提取中捕获到图像中更加抽象、更加丰富的特征信息，加上平均 池化操作，能够使得获得的图像特征具有平移不变性，这对于日益剧增的图片数量以及图 片多样性来说有着关键性作用；
[0019] 2、与传统的深度学习框架相比，本发明从第一层的特征提取开始便获得一种具有 强大区分能力的特征VLAD，之后每一层的特征提取都很明确，而不像深度学习那样从像素 级别提取特征；深度学习提取的图像特征往往具有随机性，且整个图像分类系统的实现依 靠着数以亿计的可学习参数，如果参数学习不好，那么将导致整个图像分类系统的性能下 降；本发明所提出的基于深度局部特征描述符的海量图像分类系统明确地计算VLAD特征， 不用学习参数，不会因参数选择的问题而波动该图像分类系统的性能。
【专利附图】
【附图说明】
[0020] 图1是本发明提供的基于深度局部特征描述符的海量图像分类方法流程图。
【具体实施方式】
[0021] 本发明提出的基于深度局部特征描述符的海量图像分类方法具体包括以下步 骤：
[0022] 步骤一：设定整个深度学习模型为L层深度学习过程；提取每一张训练图片的 SIFT特征，整个训练样本集合的SIFT特征集合S表示为：
[0023] S = [S1，…，sN]，S G Rdxn
[0024] 其中N为SIFT特征集合中SIFT特征的个数，D为每个SIFT特征的维数；对SIFT 特征集合S进行Kmeans聚类，得到第一层深度学习过程的字典D1 Jia LD1 e Rdxk， 其中K为字典D1中聚类中心的数目，D为所述聚类中心的维数；
[0025] 步骤二：定义每张训练图片是由T = M1XM2XM3个图像块构成的集合B = [B1，…，Bt，…，Bt]，即每张训练图片有M3个分区域，每个分区域由Ml XM2个图像块构 成；图像块集合B中的每个图像块Bt的SIFT特征集合SBt表示为SBt = [Sbm ，sBt,J，SBt e RDXn，1彡j彡n，其中n为每个图像块Bt的SIFT特征个数；按照以下公式计算每 个图像块Bt的VLAD特征矩阵V :
【权利要求】
1. 一种基于深度局部特征描述符的海量图像分类方法，具体包括以下步骤： 步骤一：设定整个深度学习模型为L层深度学习过程；提取每一张训练图片的SIFT特 征，整个训练样本集合的SIFT特征集合S表示为： S= [Sl，…，sN]，SGRdxn 其中N为SIFT特征集合S中SIFT特征的个数，D为每个SIFT特征的维数；对SIFT特 征集合S进行Kmeans聚类，得到第一层深度学习过程的字典
，其 中K为字典Di中聚类中心的数目，D为所述聚类中心的维数； 步骤二：定义每张训练图片是由T=M1XM2XM3个图像块构成的图像块集合B= %，…，Bt，…，BT]，即每张训练图片有M3个分区域，每个分区域由MlXM2个图像块构成； 图像块集合B中的每个图像块Bt的SIFT特征集合SBt表示为SBt = [sBt，i，…，sBt，」，…，sBt，J， 其中SBtGRDXn，1彡j彡n，n为图像块Bt的SIFT特征个数；计算所述每个图像块Bt的VLAD 特征矩阵V，对VLAD特征矩阵V进行规范化操作得VLAD特征矩阵P= [vVb…,4];将规 范化后的VLAD特征矩阵的每一个列向量转置成行向量，并将所得行向量组合得到最终 的VLAD特征向量; 步骤三：对所述图像块集合B的每个分区域的MlXM2个图像块的VLAD特征向量V进 行平均池化；每一张训练图片的所有图像块按照上述的平均池化过程得到M3个平均池化 后的VLAD特征向量广_/扣〇/?/，所述M3个VLAD特征向量7_/^〇/6￡/即构成相应训练图片 经第一层深度学习过程后的VLAD面的特征； 步骤四：将所有训练图片经第一层深度学习过程后的VLAD特征向量进行Kmeans聚类得到第二层深度学习过程的字典D2，再按照步骤二至步骤三的操作得经第二层 深度学习过程后的VLAD面，以此类推，直至得到所有训练图片经最后一层即第L层深度学 习过程后的VLAD面； 步骤五：用数据降维算法PCA对步骤四所得的经最后一层深度学习后的VLAD面的特征 进行降维计算即可得所有训练图片最终的图像特征V_final; 步骤六：将降维后的训练图片的图像特征V_final输入线性支持向量机训练分类器； 步骤七：对测试图片按照步骤二至步骤五中与训练图像相同的操作过程进行处理，得 到所有测试图片最终的图像特征V'_final，将其输入步骤六所述的经过训练的分类器中，最 终实现图像分类目的。
2. 根据权利要求1所述的基于深度局部特征描述符的海量图像分类方法，其特征在 于，步骤二中所述的每个图像块Bt的VLAD特征矩阵V按照以下公式计算：
V= [vj, vK] 其中，4是字典Dl中的第i个聚类中心，sBti是所述图像块Bt的SIFT特征集合SBt中 与聚类中心的欧氏距离最短的SIFT特征。
3. 根据权利要求1所述的基于深度局部特征描述符的海量图像分类方法，其特征在 于，所述的对VLAD特征矩阵V进行规范化操作的具体方法如下：定义行向量| |V| |2，其第i 个元素表示VLAD特征矩阵V中第i个列向量Vi的二范数；将VLAD特征矩阵V中第i个列 向量的每一个数均除以行向量| |V| |2中的第i个数，最终得到规范化后的VLAD特征矩阵 f= [Vp-,V,-,VA]〇
4. 根据权利要求1所述的基于深度局部特征描述符的海量图像分类方法，其特征在 于，所述的对VLAD特征向量F进行平均池化操作的具体方法如下：
其中，Pjoo/ecf是所述MlXM2个图像块的VLAD特征向量K进行平均池化后的VLAD 特征向量。
【文档编号】G06K9/66GK104408479SQ201410709479
【公开日】2015年3月11日 申请日期:2014年11月28日 优先权日:2014年11月28日
【发明者】董乐 申请人:电子科技大学