一种异构特征融合的云花卉识别方法
【专利摘要】本发明公开了一种异构特征融合的云花卉识别方法，包括离线训练过程和花卉识别过程；离线训练过程首先进行BOW特征与稀疏特征的提取，然后进行特征融合，得到支持向量机分类模板。在融合不同特征提取算法得到的特征时使用优化的多核学习算法，通过核矩阵的叠加以提高分类性能。花卉识别过程中通过负载均衡技术将用户传来的花卉图像分配到云上的某个计算节点，使用离线训练得到支持向量机分类模板进行花卉识别，本发明的花卉识别方法不仅识别性能高，而且还可以利用后台强大的云计算平台提供多并发的花卉识别处理。
【专利说明】一种异构特征融合的云花卉识别方法
【技术领域】
[0001]本发明涉及计算机视觉及模式识别【技术领域】，特别涉及一种异构特征融合的云花卉识别方法。
【背景技术】
[0002]植物分类有着悠久的历史，其作为一门独立的学科大约始于17世纪。但对于不具备植物分类的相关知识及经验的普通人来说，确定某个花卉的种类还是具有一定的困难。在当今社会，移动智能终端广泛普及，利用其摄像头可以方便地得到花卉的数字图像，配合云服务器的强大处理能力，可实现对花卉的即时分类。由此可见，研究对图片中的花卉进行快速、自动分类具有广阔的应用前景。
[0003]目前已有一些图像分类相关的技术和专利，如专利201310698110.5提供了一种基于图像特征稀疏重构的图像分类方法。这种方法采用Forester算子对每类样本图像提取特征向量并构成初始字典，训练得到每类样本图像的字典，测试时采用稀疏表示系数矩阵重构图像并比较重构图像与测试图像的误差，根据误差最小原则判定测试图像所属类另IJ。专利201310632737.0提出了一种基于局部边缘模式的纹理图像分类方法。这种方法计算原始纹理图像和不同尺度纹理基元下的局部边缘模式纹理谱特征，然后串联得到待分类图像的总体融合局部边缘模式纹理谱特征，将待分类图像归为Canberra距离最小的训练图像所属的类别。但这些方法通常只提取了图像的一种特征，没有充分利用图像的多种特征，并且没有考虑在大量请求下的图像分类性能。
【发明内容】
[0004]为了克服现有技术的上述缺点与不足，本发明的目的在于提供一种异构特征融合的云花卉识别方法，不仅识别性能高，而且还可以利用后台强大的云计算平台提供多并发的花卉识别处理。
[0005]本发明的目的通过以下技术方案实现:
[0006]一种异构特征融合的云花卉识别方法，包括以下步骤:
[0007]SI离线训练过程:
[0008]S1.1对训练样本图像进行BOW (Bag of Word,词包)特征提取，具体为:
[0009]S1.1.1将训练样本图像从RGB(Red Green Blue，红绿蓝)彩空间转换成灰度空间；
[0010]S1.1.2对经步骤S1.1.1处理后的训练样本图像提取密集SIFT (Scale-1nvariantfeature transform,旋转尺度不变特征)特征，对所得SIFT特征使用k均值聚类得到SIFT特征字典，利用SIFT特征字典量化每个训练样本图像的SIFT特征，从而得到训练样本图片的SIFT特征直方图；
[0011]S1.1.3计算各训练样本图像的SIFT特征直方图之间的交叉核函数，得到训练样本图像的BOW特征；
[0012]S1.2对所有训练样本图像进行稀疏特征提取，具体为:
[0013]S1.2.1对训练样本图像进行预处理，即将每张训练样本图像分割成多个图块，并且每个图块去除图块的像素平均值；
[0014]S1.2.2对经步骤S1.1.1处理后的所有图块，使用K-SVD(k-means — SingularValue Decomposit1n, k均值-奇异值分解)算法,得到稀疏特征的字典；利用稀疏特征字典，使用OMP (Orthogonal Matching Pursuit,正交匹配追寻)算法对步骤S1.2.I得到的图块进行稀疏编码，将训练样本图像利用层次化结构分成N区域，在每个区域内使用最大值抽取(max-pooling)，并进行级联后得到训练样本图像的稀疏编码结果#为正整数；
[0015]S1.2.3计算各训练样本图像的稀疏编码结果之间的交叉核函数，得到训练样本图像的稀疏特征；
[0016]S1.3使用多核学习，得到BOW特征和稀疏特征的权重，利用权重将BOW特征和稀疏特征进行加权求和后，得到图像的总特征，然后送入支持向量机进行训练，得到支持向量机分类模板；
[0017]其中多核学习方法可参考文献(L.Guo, L.W.Jin, Laplacian Support vectormachines with mult1-kernel learning, IEICE Trans, on Informat1n&System, E94-D(2)(2011)379-383)。
[0018]S2花卉识别过程:
[0019]S2.1客户端发送花卉识别请求到云服务器端；
[0020]S2.2云服务器通过负载均衡操作将任务分配至云服务器的计算节点，具体为:
[0021]S2.2.1在云上的每个计算节点上都部署已训练好的支持向量机分类模板；
[0022]S2.2.2云上的主控制节点接收用户传来的待识别花卉图像，根据用户的源IP地址进行哈希操作，根据哈希操作的结果转发到相应的计算节点子集群上；
[0023]S2.2.3子集群的控制节点根据子集群内计算节点的忙碌情况，将请求转发至最空闲的计算节点，并在最空闲计算节点上启动进程；
[0024]S2.3最空闲计算节点对用户传来的待识别花卉图像进行识别，具体包括:
[0025]S2.3.1将待识别花卉图像从RGB色彩空间转换成灰度色彩空间；
[0026]S2.3.2对步骤S2.3.1得到的灰度图像提取密集SIFT特征，利用步骤S1.1.2得到的SIFT特征字典进行量化，得到待识别花卉图像的SIFT特征直方图；计算待识别花卉图像的SIFT特征直方图与训练样本图像的SIFT特征直方图的交叉核函数，得到待识别花卉图像的BOW特征；
[0027]S2.3.3对待识别花卉图像进行预处理，即将待识别花卉图像分割成多个图块；
[0028]S2.3.4利用步骤S1.2.2得到的稀疏特征字典，利用OMP算法对步骤S2.3.3得到的图块进行稀疏编码；将待识别花卉图像利用层次化结构分成N区域，在每个区域内使用最大值抽取，并进行级联后得到待识别花卉图像的稀疏编码结果；计算待识别花卉图像和训练样本图像的稀疏编码结果的交叉核函数，得到待识别花卉图像的稀疏特征；
[0029]S2.3.5利用S1.3学习得到的权重将待识别花卉图像的BOW特征和稀疏特征进行加权求和后，得到待识别花卉图像的总特征，并将总特征送入步骤S1.3得到的分类模板进行分类，得到待识别花卉图像的分类结果。
[0030]步骤S1.2.1所述对训练样本图像进行预处理，具体为:
[0031]S1.2.1.1对训练样本图像按比例缩放到固定尺寸；
[0032]S1.2.1.2使用一个滑动窗口在经步骤S1.2.1.1处理后的训练样本图像上逐像素移动得到多个图块；
[0033]S1.2.1.3每个图块去除图块的像素平均值。
[0034]步骤所述S2.3.3对待识别花卉图像进行预处理，将待识别花卉图像分割成多张图块，具体为:
[0035]S2.3.3.1对待识别花卉图像按比例缩放到固定尺寸；
[0036]S2.3.3.2使用一个滑动窗口在经步骤S2.3.3.1处理后的待识别花卉图像上逐像素移动得到多个图块；
[0037]S2.3.3.3每个图块去除图块的像素平均值。
[0038]步骤S2.2.2所述哈希操作，具体为:
[0039]根据用户的源IP地址，取其后16位，得到结果addr，将结果addr代入下式:
[0040]hash = (addr*31) % Μ,其中M为计算节点子集群数，hash为分配到的子集群编号。
[0041]步骤S2.2.3所述的忙碌情况，以每个计算节点完成分类任务所需时间来间接表示；
[0042]所述的忙碌情况具体根据以下过程确定:子集群的控制节点跟踪下属的计算节点从收到图像到返回结果的耗时，得到上一次任务耗时的实际值；并给出下一次任务耗时的估计值，由此确定最空闲的计算节点；
[0043]所述下一次任务耗时的估计值使用老化算法估计，即
[0044]T = a*T0+(l-a) ^T1
[0045]其中，T为下一次任务耗时的估计值，T0为上一次任务耗时的估计值，T1为上一次任务耗时的实际值，a为老化系数。
[0046]步骤S1.2.2所述层次化结构为金字塔结构，即将原始训练样本图像分别均分为2*2和3*3大小，原始大小、2*2和3*3大小的训练样本图像组合形成层次化结构。
[0047]步骤S2.3.4所述层次化结构为金字塔结构，即将原始待识别花卉图像分别均分为2*2和3*3大小，原始大小、2*2和3*3大小的待识别花卉图像组合形成层次化结构。
[0048]与现有技术相比，本发明具有以下优点和有益效果:
[0049]本发明的异构特征融合的云花卉识别方法，通过多核学习将不同方法提取的特征融合在一起进行支持向量机的训练，可以在较短的训练时间内取得更好的分类性能。本发明的异构特征融合的云花卉识别方法，利用后台强大的云计算平台提供多并发的花卉识别处理，通过根据分类请求的IP地址以及计算节点的忙碌情况进行请求的调度，可以在有大量并发请求的环境下实现较好的响应时间和分类性能。
【专利附图】
【附图说明】
[0050]图1为本发明的异构特征融合的云花卉识别方法的离线训练过程的流程图。
[0051]图2为本发明的异构特征融合的云花卉识别方法的BOW特征提取过程的流程图。
[0052]图3为本发明的异构特征融合的云花卉识别方法的稀疏特征提取过程的流程图。
[0053]图4为本发明的异构特征融合的云花卉识别方法的花卉识别过程的流程图。
[0054]图5为本发明的异构特征融合的云花卉识别方法的负载均衡操作的流程图。
【具体实施方式】
[0055]下面结合实施例，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0056]实施例
[0057]本实施例的异构特征融合的云花卉识别方法，包括以下步骤:
[0058]SI离线训练过程:如图1所示，离线训练过程首先对花卉数据库中的所有训练样本图像进行BOW特征与稀疏特征的提取，然后进行特征融合。本实施例的花卉数据库为FloWerl02，包括102个不同的主题目标类别，共8K张花卉图像，所有图像放入图像数据库，作为训练样本集。具体过程如下:
[0059]S1.1对训练样本图像进行BOW特征提取，如图2所示，具体流程如下:
[0060]S1.1.1将训练样本图像从RGB色彩空间转换成灰度空间；
[0061]S1.1.2对经步骤S1.1.1处理后的训练样本图像提取密集SIFT特征，采样间隔为5，采样尺寸为12 ;对所得SIFT特征使用k-means聚类得到SIFT特征字典，利用SIFT特征字典量化每个训练样本图像的SIFT特征，从而得到训练样本图片的SIFT特征直方图；
[0062]S1.1.3计算各训练样本图像的SIFT特征直方图之间的交叉核函数，得到训练样本图像的BOW特征；
[0063]S1.2对所有训练样本图像进行稀疏特征提取，如图3所示，具体流程如下:
[0064]S1.2.1对训练样本图像进行预处理:
[0065]S1.2.1.1对训练样本图像按比例缩放到固定尺寸，使得缩放后的图像的宽和高最大为100像素；
[0066]S1.2.1.2使用一个大小为8*8的滑动窗口在经步骤S1.2.1.1处理后的训练样本图像上逐像素移动得到93*93 = 8649个图像块，每个图像块大小为8*8*3，对所有的小图块减去图块的均值，即去除直流分量:
[0067]S1.2.2对经步骤S1.1.1处理后的所有图块，使用K-SVD算法，得到稀疏特征的字典；利用稀疏特征字典，使用OMP算法对步骤S1.2.1得到的图块进行稀疏编码，将训练样本图像利用层次化结构分成N区域，在每个区域内使用最大值抽取，并进行级联后得到训练样本图像的稀疏编码结果；N为正整数；
[0068]所述层次化结构为金字塔结构，即将原始训练样本图像分别均分为2*2和3*3大小，原始大小、2*2和3*3大小的训练样本图像组合形成层次化结构。
[0069]S1.2.3计算各训练样本图像的稀疏编码结果之间的交叉核函数，得到训练样本图像的稀疏特征；
[0070]S1.3使用多核学习，得到BOW特征和稀疏特征的权重，利用权重将BOW特征和稀疏特征进行加权求和后，得到图像的总特征，然后送入支持向量机进行训练，得到支持向量机分类模板；
[0071]S2花卉识别过程，如图4所示，具体如下:
[0072]S2.1客户端发送花卉识别请求到云服务器端；
[0073]S2.2云服务器通过负载均衡操作将任务分配至云服务器的计算节点，如图5所示，具体流程如下:
[0074]S2.2.1在云上的每个计算节点上都部署已训练好的支持向量机分类模板；
[0075]S2.2.2提供一个Web接口给用户使用，当用户使用该接口上传一张图片时，经过合法性检测后，主控制节点会记录下用户的IP ;云上的主控制节点接收用户传来的待识别花卉图像，根据用户的源IP地址进行哈希操作，根据哈希操作的结果转发到相应的计算节点子集群上；
[0076]所述哈希操作，具体为:
[0077]根据用户的源IP地址，取其后16位，得到结果addr，将结果addr代入下式:
[0078]hash = (addr*31) % Μ,其中M为计算节点子集群数，hash为分配到的子集群编号;
[0079]S2.2.3每个子集群都有相应的子控制节点，子集群的控制节点根据子集群内计算节点的忙碌情况，该节点时刻监视下属各计算节点的分类任务完成耗时，对耗时通过老化算法进行平滑处理后，选择耗时最少的节点为最空闲的计算节点，将请求转发至最空闲的计算节点，并在最空闲计算节点上启动进程；
[0080]所述下一次任务耗时的估计值使用老化算法估计，即
[0081]T = a*T0+(l-a) ^T1
[0082]T0为上一次估计值，T1为上一次实际值，T为求得的估计值，a为老化系数(本发明设定a= 1/2)，其值越小过去值的影响就越弱，公式简化为T= (!>^/2，即每个计算节点的耗时估计值设为上一次估计值与前一任务实际耗时的均值。
[0083]S2.3最空闲计算节点对用户传来的待识别花卉图像进行识别，具体包括:
[0084]S2.3.1将待识别花卉图像从RGB色彩空间转换成灰度色彩空间；
[0085]S2.3.2对步骤S2.3.1得到的灰度图像提取密集SIFT特征，利用步骤S1.1.2得到的SIFT特征字典进行量化，得到待识别花卉图像的SIFT特征直方图；计算待识别花卉图像的SIFT特征直方图与训练样本图像的SIFT特征直方图的交叉核函数，得到待识别花卉图像的BOW特征；
[0086]S2.3.3对待识别花卉图像进行预处理，具体为:
[0087]S2.3.3.1对待识别花卉图像按比例缩放到固定尺寸，使得缩放后的图像的宽和高最大为100像素；；
[0088]S2.3.3.2使用一个大小为8*8的滑动窗口在经步骤S2.3.3.1处理后的待识别花卉图像上逐像素移动得到多个图块；
[0089]S2.3.3.3每个图块去除各自图块的像素平均值；
[0090]S2.3.4利用步骤S1.2.2得到的稀疏特征字典，利用OMP算法对步骤S2.3.3得到的图块进行稀疏编码；将待识别花卉图像利用层次化结构分成N区域，在每个区域内使用最大值抽取，并进行级联后得到待识别花卉图像的稀疏编码结果；计算待识别花卉图像和训练样本图像的稀疏编码结果的交叉核函数，得到待识别花卉图像的稀疏特征；
[0091]所述层次化结构为金字塔结构，即将原始待识别花卉图像分别均分为2*2和3*3大小，原始大小、2*2和3*3大小的待识别花卉图像组合形成层次化结构；
[0092]S2.3.5利用S1.3学习得到的权重将待识别花卉图像的BOW特征和稀疏特征进行加权求和后，得到待识别花卉图像的总特征，并将总特征送入步骤S1.3得到的分类模板进行分类，得到待识别花卉图像的分类结果。
[0093]上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
【权利要求】
1.一种异构特征融合的云花卉识别方法，其特征在于，包括以下步骤: SI离线训练过程: S1.1对训练样本图像进行BOW特征提取，具体为: S1.1.1将训练样本图像从RGB色彩空间转换成灰度空间； S1.1.2对经步骤S1.1.1处理后的训练样本图像提取密集SIFT特征，对所得SIFT特征使用k均值聚类得到SIFT特征字典，利用SIFT特征字典量化每个训练样本图像的SIFT特征，从而得到训练样本图片的SIFT特征直方图； S1.1.3计算各训练样本图像的SIFT特征直方图之间的交叉核函数，得到训练样本图像的BOW特征； S1.2对所有训练样本图像进行稀疏特征提取，具体为: S1.2.1对训练样本图像进行预处理，即将每张训练样本图像分割成多个图块，并且每个图块去除图块的像素平均值； S1.2.2对经步骤S1.1.1处理后的所有图块，使用K-SVD算法，得到稀疏特征的字典；利用稀疏特征字典，使用OMP算法对步骤S1.2.1得到的图块进行稀疏编码，将训练样本图像利用层次化结构分成N区域，在每个区域内使用最大值抽取，并进行级联后得到训练样本图像的稀疏编码结果；N为正整数； S1.2.3计算各训练样本图像的稀疏编码结果之间的交叉核函数，得到训练样本图像的稀疏特征； 51.3使用多核学习，得到BOW特征和稀疏特征的权重，利用权重将BOW特征和稀疏特征进行加权求和后，得到图像的总特征，然后送入支持向量机进行训练，得到支持向量机分类模板； S2花卉识别过程: 52.1客户端发送花卉识别请求到云服务器端； S2.2云服务器通过负载均衡操作将任务分配至云服务器的计算节点，具体为: S2.2.1在云上的每个计算节点上都部署已训练好的支持向量机分类模板； S2.2.2云上的主控制节点接收用户传来的待识别花卉图像，根据用户的源IP地址进行哈希操作，根据哈希操作的结果转发到相应的计算节点子集群上； S2.2.3子集群的控制节点根据子集群内计算节点的忙碌情况，将请求转发至最空闲的计算节点，并在最空闲计算节点上启动进程； S2.3最空闲计算节点对用户传来的待识别花卉图像进行识别，具体包括: S2.3.1将待识别花卉图像从RGB色彩空间转换成灰度色彩空间； S2.3.2对步骤S2.3.1得到的灰度图像提取密集SIFT特征，利用步骤S1.1.2得到的SIFT特征字典进行量化，得到待识别花卉图像的SIFT特征直方图；计算待识别花卉图像的SIFT特征直方图与训练样本图像的SIFT特征直方图的交叉核函数，得到待识别花卉图像的BOW特征； S2.3.3对待识别花卉图像进行预处理，即将待识别花卉图像分割成多个图块； S2.3.4利用步骤S1.2.2得到的稀疏特征字典，利用OMP算法对步骤S2.3.3得到的图块进行稀疏编码；将待识别花卉图像利用层次化结构分成N区域，在每个区域内使用最大值抽取，并进行级联后得到待识别花卉图像的稀疏编码结果；计算待识别花卉图像和训练样本图像的稀疏编码结果的交叉核函数，得到待识别花卉图像的稀疏特征； S2.3.5利用S1.3学习得到的权重将待识别花卉图像的BOW特征和稀疏特征进行加权求和后，得到待识别花卉图像的总特征，并将总特征送入步骤S1.3得到的分类模板进行分类，得到待识别花卉图像的分类结果。
2.根据权利要求1所述的异构特征融合的云花卉识别方法，其特征在于，步骤S1.2.1所述对训练样本图像进行预处理，具体为: S1.2.1.1对训练样本图像按比例缩放到固定尺寸； S1.2.1.2使用一个滑动窗口在经步骤S1.2.1.1处理后的训练样本图像上逐像素移动得到多个图块； 51.2.1.3每个图块去除各自图块的像素平均值。
3.根据权利要求1所述的异构特征融合的云花卉识别方法，其特征在于，步骤所述S2.3.3对待识别花卉图像进行预处理，将待识别花卉图像分割成多张图块，具体为: 52.3.3.1对待识别花卉图像按比例缩放到固定尺寸； S2.3.3.2使用一个滑动窗口在经步骤S2.3.3.1处理后的待识别花卉图像上逐像素移动得到多个图块； S2.3.3.3每个图块去除图块的像素平均值。
4.根据权利要求1所述的异构特征融合的云花卉识别方法，其特征在于，步骤S2.2.2所述哈希操作，具体为: 根据用户的源IP地址，取其后16位，得到结果addr，将结果addr代入下式: hash = (addr*31) % Μ,其中M为计算节点子集群数，hash为分配到的子集群编号。
5.根据权利要求1所述的异构特征融合的云花卉识别方法，其特征在于，步骤S2.2.3所述的忙碌情况，以每个计算节点完成分类任务所需时间来间接表示； 所述的忙碌情况具体根据以下过程确定:子集群的控制节点跟踪下属的计算节点从收到图像到返回结果的耗时，得到上一次任务耗时的实际值；并给出下一次任务耗时的估计值，由此确定最空闲的计算节点； 所述下一次任务耗时的估计值使用老化算法估计，即
T = a*T0+(l-a) ^T1 其中，T为下一次任务耗时的估计值，T0为上一次任务耗时的估计值，T1为上一次任务耗时的实际值，a为老化系数。
6.根据权利要求1所述的异构特征融合的云花卉识别方法，其特征在于，步骤S1.2.2所述层次化结构为金字塔结构，即将原始训练样本图像分别均分为2*2和3*3大小，原始大小、2*2和3*3大小的训练样本图像组合形成层次化结构。
7.根据权利要求1所述的异构特征融合的云花卉识别方法，其特征在于，步骤S2.3.4所述层次化结构为金字塔结构，即将原始待识别花卉图像分别均分为2*2和3*3大小，原始大小、2*2和3*3大小的待识别花卉图像组合形成层次化结构。
【文档编号】G06K9/66GK104346630SQ201410582671
【公开日】2015年2月11日 申请日期:2014年10月27日 优先权日:2014年10月27日
【发明者】郭礼华, 林俊斌 申请人:华南理工大学