一种并行分布式的大规模图像识别方法与流程

本发明涉及一种模式识别技术，特别涉及一种并行分布式的大规模图像识别方法。

背景技术：
随着互联网的快速发展，人们已经习惯于在日常生活中借助互联网随时随地的发布、获取和交换信息，互联网上的信息量呈现一种爆发增长的发展势头，同时数字摄影的普及和存储技术的进步也使得包含各种主题目标的图像数量在飞速增长。对于这些大量出现的图像进行分类，是一项急切需要解决的工程实践问题，图像分类是模式识别与机器视觉领域的一个重要组成部分。对于未经过训练的机器而言，图像只不过是一幅组合起来的离散像素点，但是图像分类技术通过对图像数据提取特征信息并加以分类，能够克服这种机器与人之间的语义鸿沟。近几年来，如何对大量不同类别的目标训练出有鉴别能力的分类器已成为科学研究人员关注的热点，并且在诸如互联网图像搜索或视频搜索等工程领域具有广泛的应用需求和相当高的应用价值。目前已有一些图像分类相关的技术和专利，如专利201110175101.9提供一种基于视觉词典的图像分类方法。这种方法分别使用Harris-Affine、MSER和SIFT算子抽取图像数据集的局部特征并生成联合特征，再基于移动均值和区域哈希法的聚类算法形成视觉词典，最后根据视觉词典生成特征表示并建立分类器。专利201010184378.3提供一种基于主动学习和半监督学习的多类图像分类方法。这项专利目的在于减轻大量图像数据下人工标注的负担，使分类器相比其他监督学习分类器同样能够具有高效的分类性能。其包括初始样本的选择、CST半监督学习、训练样本集及分类器模型更新、分类过程迭代五个步骤。专利201110443434.5将图像分类方法融入图像检索中，输入待检索图像后，先送入分类器进行分类获得与类别对应的检索图像集，再运用相似度计算算法求得待检索图像与检索图像集内每幅图像的相似度距离，对距离按升序输出。虽然已有许多提及图像分类技术的专利，但是随着图像数据规模不断增长，如何能快速高效的对海量数据进行训练和学习依然是一个亟待解决的问题，特别是在大类别图像数据库面前，存在一台机器提取特征和特征训练过程中计算时间过长的缺点。

技术实现要素：
本发明的首要目的在于克服现有技术的缺点与不足，提供一种并行分布式的大规模图像识别方法，该方法通过多台机器对海量图像数据进行分布式处理，并且对图像数据进行分布式的训练，以提高了图像分类的速度，实现了在线实时的大类别图像分类检索，极大缩短了研发周期。本发明的目的通过下述技术方案实现：一种并行分布式的大规模图像识别方法,包括如下步骤：步骤1、由第一调度节点将大类别图像数据库平均部署在SIFT(Scale-InvariantFeatureTransform,尺度不变特征变形)特征提取计算节点上；步骤2、每个特征提取计算节点对图像数据先进行高斯平滑预处理，再密集采样和生成SIFT特征矢量；步骤3、第一调度节点随机生成图像索引序号，发往SIFT计算节点；SIFT计算节点依据索引序号挑选出索引序号对应图像的SIFT特征矢量后，再统一将这些特征矢量发送给第二调度节点，第二调度节点再将这些特征矢量构建高斯混合模型，并将高斯混合模型发送回每个Fisher（费舍尔）计算节点；步骤4、每个Fisher计算节点基于高斯混合模型对图像提取Fisher特征矢量；步骤5、每个Fisher计算节点将图像数据库中所有训练图像的特征矢量发送给第三调度节点，第三调度节点收集所有Fisher计算节点的特征矢量，并将所有特征矢量进行数据分段，然后计算各段所对应的权重后，最后将分段特征矢量发往每个Training计算节点，此时每个Training计算节点分别存储了分段特征矢量数据，使每个Training计算节点只需对各自分段特征矢量数据进行机器学习和训练；步骤6、训练时，在每一Training（训练）计算节点上，以类别为单位对每一类别同步训练一个一对多的SVM子分类器，并由第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板，并将最终分类器模板更新分类测试计算节点的分类器模板；步骤7、分类测试计算节点对当前测试图像，先提前SIFT特征矢量，接着基于高斯混合模型提取图像的Fisher特征矢量，然后利用更新分类器模板的SVM分类器得到当前图像的类别输出，以完成当前测试图像的分类判断。步骤5中对特征矢量进行数据分段过程如：第三调度节点将训练全集平均划分成K段，所述训练全集的表达式为：(x1,y1),...,(xn,yn)∈Rd×{-1,+1}，其中，(x1,y1)是其中第一段训练数据，Rd×{-1,+1}表示数据x共d维的实数值，而数据y是一种取值为-1和+1的值；第k分段训练全集的表达式为：其中，k∈{1,2,...K}。步骤5中k段训练l类的权重在第三调度节点上采用下面计算公式：其中，L为训练总类数，是当前第k段类l训练样本的类内特征均值与总体训练样本特征均值μk的欧式距离，用下面公式计算得到：其中，为第k段l训练类的类内样本特征均值，μk是总体训练样本特征均值，表示在1到K中寻找类l训练样本的类内特征均值与总体训练样本特征均值μk的欧式距离的最小值，表示在1到K中寻找类l训练样本的类内特征均值与总体训练样本特征均值μk的欧式距离的最大值。步骤6中，一对多的SVM子分类器是采用基于并行化的分段数据随机梯度下降优化算法进行训练，一对多的SVM子分类器训练过程如下：在SVM训练时，使用Hinge误差函数作为目标函数，所以第k段l训练类的一对多SVM分类器优化目标函数定义为：其中，是d/K×1维的权重向量，λ是正则化参数，是偏置项，是第k段的特征矢量数据，是第k段的类标签，C是损失函数；优化目标函数对的梯度分布为：其中，是d/K×1维的权重向量，λ是正则化参数，是迭代次数t时第k段的特征矢量数据，是迭代次数t时第k段的类标签，根据随机梯度下降优化算法，算法逐个读取样本点对和进行迭代更新，所述迭代更新的公式如下：其中，是迭代次数t时d/K×1维的权重向量，是迭代次数t-1时d/K×1维的权重向量，λ是正则化参数，是迭代次数t时第k段的特征矢量数据，是迭代次数t时第k段的类标签，η是学习率参数，随着迭代次数的增加而减少，η的值为是迭代次数t时偏置项，是迭代次数t-1时偏置项；通过对数据进行分段，使得训练计算节点只对k段训练全集进行SVM训练，各个训练计算节点完全独立，且并行化计算。步骤6中第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板的方法如下：由第三调度节点根据已经生成的权重值乘以各子训练模板生成最终模板，所述最终模板所对应的SVM权重wl和偏置bl为：其中，是各个分段的权重值，是独立分段第k段训练得到的SVM参数。具体的实现步骤如下：1.由第一调度节点将大类别图像数据库平均部署在多个特征提取计算节点上。2.每个特征提取计算节点对图像数据先进行高斯平滑预处理，再密集采样和生成SIFT(Scale-InvariantFeatureTransform)特征矢量。SIFT特征矢量具体提取细节可参考文献DavidG.Lowe,"DistinctiveImageFeaturesfromScale-InvariantKeypoints",2004。3.第一调度节点随机生成图像索引序号，发往SIFT计算节点；SIFT计算节点依据索引序号挑选出索引序号对应图像的SIFT特征矢量后，再统一将这些特征矢量发送给第二调度节点，第二调度节点再将这些特征矢量构建高斯混合模型，并将高斯混合模型发送回每一Fisher计算节点。构建高斯混合模型的具体细节可参考文献JeffA.Bilmes."AGentleTutorialoftheEMAlgorithmanditsApplicationtoParameterEstimationforGaussianMixtureandHiddenMarkovModels",1998。4.每个Fisher计算节点基于高斯混合模型对图像提取Fisher特征矢量。Fisher特征矢量的提取具体细节可参考文献FlorentPerronninandChristopherDance,"FisherKernelsonVisualVocabulariesforImageCategorization",2007。5.每个Fisher计算节点将图像数据库中所有训练图像的特征矢量发送给第三调度节点，第三调度节点收集所有Fisher计算节点的特征矢量，并将所有特征矢量进行数据分段，然后计算各段所对应的权重后，最后将分段特征矢量发往每一Training计算节点，此时每个Training计算节点分别存储了分段特征矢量数据，这样每个Training计算节点只需对各自分段特征矢量数据进行机器学习和训练。6.训练时，在每一Training计算节点上，以类别为单位对每一类别同步训练一个一对多的SVM子分类器，并由第三调度节点根据权重整合所有子分类器模板参数生成最终分类器模板，并将最终分类器模板更新分类测试计算节点的分类器模板。SVM的分类器训练过程可参考文献LeonBottou,Large-ScaleMachineLearningwithStochasticGradientDescent,2010。7.分类测试计算节点对当前测试图像，先提前SIFT特征矢量，接着基于高斯混合模型提取图像的Fisher特征矢量，然后利用更新分类器模板的SVM分类器得到当前图像的类别输出，从而最终完成当前测试图像的分类判断。作为一种优选方案，步骤5中对特征矢量进行数据分段可描述为如下过程，第三调度节点将训练全集(x1,y1),...,(xn,yn)∈Rd×{-1,+1}平均划分成K...