基于加权超球支持向量机算法的图像分类方法
【专利摘要】本发明公开一种可提高计算速度及分类精度的基于加权超球支持向量机算法的图像分类方法，按如下步骤进行：图像数据采集；对图像进行去噪及归一化处理，计算所有图像的方向梯度直方图HOG特征，并将预定义的类别加入图像类别，把所有的图像分类；计算每一类别的数据中心，再根据该数据中心计算本类数据中每个样本的权值，按权值大小对训练样本排序；采用多线程遗传算法和SMO方法训练超球支持向量机，求解最优参数及相应的超球模型；提取新采集图像的HOG特征，计算新采集样本与超球模型的位置关系，根据判别规则得出标注类别，对新采集的图像加上类别标注。
【专利说明】基于加权超球支持向量机算法的图像分类方法
【技术领域】
[0001] 本发明涉及模式识别领域中的图像多分类问题，尤其是一种可提高计算速度及分 类精度的基于加权超球支持向量机算法的图像分类方法。
【背景技术】
[0002] 图像多类别分类技术目前广泛应用于视频监控目标识别、大规模图像查询、图像 语义理解等研究领域。其实现过程分为三步：一是图像预处理，提取图像特征；二是根据特 征采用不同的训练器进行训练；三是利用训练模型对图像分类。随着机器学习理论的不断 发展，很多最新的分类器模型，如kNN、聚类、神经网络等已经广泛应用于图像多类别分类领 域。而支持向量机作为替代神经网络的新的机器学习算法，在解决小样本、非线性及高维模 式识别中表现出许多特有的优势，并已成功应用到图形图像处理、数据挖掘、文本分类等众 多领域。最早提出的支持向量机算法均为二分类算法，但是实际应用中存在大量的多分类 问题，此时需要使用各种组合二分类支持向量机的方法实现，如一对一、一对多、有向无环 图、树形支持向量机等。由于每一个二分支持向量机求解过程都是一次二次规划求解过程， 因此组合二分类支持向量机求解多分类问题时计算代价较高。为了降低二次规划求解的复 杂度，部分研究学者提出了直接计算出各类别约束超球的超球支持向量机算法，把二分类 的超平面二次规划求解问题转化为超球面的二次规划求解，其基本思想是单独计算每一类 别训练数据的最小包围球，要求建立的最小包围球半径尽可能小，尽量包含该类别的所有 样本点，但是其计算速度及分类精度均有待进一步提高。
【发明内容】
[0003] 本发明是为了解决现有技术所存在的上述技术问题，提供一种可提高计算速度及 分类精度的基于加权超球支持向量机算法的图像分类方法。
[0004] 本发明的技术解决方案是：一种基于加权超球支持向量机算法的图像分类方法， 其特征在于按如下步骤进行 ： a. 图像数据采集； b. 数据预处理与特征提取：对图像进行去噪及归一化处理，计算所有图像的方向梯度 直方图H0G特征，并将预定义的类别加入图像类别，把所有的图像分类； c. 权值计算：计算每一类别的数据中心，再根据该数据中心计算本类数据中每个样本 的权值，按权值大小对训练样本排序； d. 超球支持向量机训练与测试：采用多线程遗传算法和SM0方法训练超球支持向量 机，求解最优参数及相应的超球模型； e. 新增图像的自动分类：提取新采集图像的H0G特征，计算新采集样本与超球模型的 位置关系，根据判别规则得出标注类别，对新采集的图像加上类别标注。
[0005] 所述步骤c第A个类别第i个样本点的权值计算公式为：
【权利要求】
1. 一种基于加权超球支持向量机算法的图像分类方法，其特征在于按如下步骤进行： a. 图像数据采集； b. 数据预处理与特征提取：对图像进行去噪及归一化处理，计算所有图像的方向梯度 直方图HOG特征，并将预定义的类别加入图像类别，把所有的图像分类； c. 权值计算：计算每一类别的数据中心，再根据该数据中心计算本类数据中每个样本 的权值，按权值大小对训练样本排序； d. 超球支持向量机训练与测试：采用多线程遗传算法和SM0方法训练超球支持向量 机，求解最优参数及相应的超球模型； e. 新增图像的自动分类：提取新采集图像的HOG特征，计算新采集样本与超球模型的 位置关系，根据判别规则得出标注类别，对新采集的图像加上类别标注。
2. 根据权利要求1所述的基于加权超球支持向量机算法的图像分类方法，其特征在于 所述步骤c第A个类别第i个样本点的权值计算公式为：
其中，为第々个类别的样本总数，各类别样本数累计求和为总样本数，即in &为第A个类别的样本均值。
3. 根据权利要求2所述的基于加权超球支持向量机算法的图像分类方法，其特征在于 所述步骤d是采用多线程遗传算法，根据交叉验证，求解最优惩罚因子和核函数参数，即将 可行解空间均分为多个数据处理多线程，在每个线程中对区间解空间的惩罚因子和核函数 参数进行遗传编码；基于SM0方法求解支持向量的拉格朗日乘子，二次规划迭代求解过程 按加权排序顺序优先选择权值大的样本点，确保求解过程快速收敛；根据求得的拉格朗日 乘子采用交叉验证法计算分类精度，如果精度不满足遗传算法终止条件，则利用适应度、交 叉算子、遗传算子产生下一代进入下一次循环；如果精度满足遗传算法终止条件，则保存当 前类别最优的参数及相应的超球模型，具体算法如下： 假设训练数据维数为《，训练样本类别数为《，第A个类别的数据集合样本个数为; 给定?个维空间的集合二对每个集合寻找一个超球私為），其中c::为超球 球心，馬为超球半径，引入松弛因子，
其中，第々类样本的最小超球&由球心G和半径氧t确定，为惩罚因子，&之〇为松弛 变量；对非线性的训练集，引入非线性映射C<，）把训练数据A映射到高维线性特征空间， 在求解过程中引入核函数Κ(Λζ > =< ?计算； 引入拉格朗日乘子crfi爲求解该二次规划问题，拉格朗日多项式为如下形式：
对该多项式分别对&求偏导并令其为〇,可得：
把上述三个公式带入拉格朗日多项式，可以得到对偶的优化问题：
由于无需求解非线性映射函数，因此求解超球半径时，直接求球心的平方，导出如下计 算公式：
拉格朗日乘子大于0的样本为支持向量，满足第一个公式约束条件的球面上的点即为 支持向量；已知球心，可以由任一球面上的支持向量求出半径的平方，此时，松弛因子为〇， 即：
4.根据权利要求3所述的基于加权超球支持向量机算法的图像分类方法，其特征在于 所述e步骤的判别规则为： (1) 如果新增样本仅位于单一超球内，则新增样本就属于该类别； (2) 如果新增样本位于个数大于等于2个超球内时，该新增样本落入超球相交区域， 对相交区域首先计算相交超平面对不同类别训练样本的线性可分性，如果线性可分，直接 按该线性可分超平面计算分类结果；如果非线性可分，计算同类/异类子超球后计算测试 样本的分类结果； (3) 如果新增样本位于所有超球外部时，使用如下分类决策公式确定其类别归属：
【文档编号】G06K9/62GK104112143SQ201410352582
【公开日】2014年10月22日 申请日期:2014年7月23日 优先权日:2014年7月23日
【发明者】刘爽, 陈鹏, 王巍, 云健 申请人:大连民族学院