专利名称：一种基于力矩分析训练线性分类器的方法
技术领域：
本发明属于模式识别领域，涉及线性分类器学习的分类方法。
技术背景近十年来，在人工智能、机器人技术和人机交互等领域推动下，机 器学习方法受到了许多研究机构的关注。机器学习方法就是要在给出的 训练样本集合上通过学习得到样本的分布规律，这种学习得到的规律可以用来对未知样本进行分类或者用来提取样本的特征。由于机器学习算 法不依赖于相关应用领域先验知识，已经成为模式分类的主要研究方向。机器学习方法可划分为无监督学习方法和有监督学习方法。其中， 前者指的是在不给出训练样本所属类别情况下的学习算法，后者指的是 给出训练样本所属类别情况下的学习算法。比较典型的无监督学习方法 有主成分分析方法、自组织映射和聚类算法等。这些方法自适应性较强， 但是由于没有利用样本的类别信息，所以往往需要大量的样本才能得到 一个较好的训练结果，在现实中的应用并不是很多。另一方面，有监督 学习方法就充分利用了样本的类别信息，其所需的训练样本较少，收敛 速度也较快。两类分类问题是模式识别领域的一个基本课题，它的任务就是判断 出一个未知样本是否是要检测的目标，其典型的应用就是异常检测、人 脸检测和车辆检测等。两类分类方法可分为线性和非线性两大类别。前者比较典型的方法包括人工神经网络算法、Boosting方法以及非线性支持向量机等，它们 的特点是泛化性能优良、分类效果准确，但是这些方法计算量大，训练 的收敛速度也相对较慢。另一方面，线性分类器是最简单、最快速的两 类分类器，它的运算速度快，特别适用于实时处理的场合。支持向量机和线性判别分析最大拒绝分类器是几种比较典型的线 性分类器。它们在设计的时候都有一个明确的优化目标。其中，支持向 量机训练的线性分类器最大化了两个类间的边界，线判别分析在最大化 类间协方差矩阵的同时最小化类内协方差矩阵。但是，这两个算法都存 在两个前提，即假设两个类是线性可分得并且两个类的发生概率相同。 最大拒绝分类器则不存在这些前提，它能处理线性不可分的情况，并且 优化目标里面考虑了两个类的发生概率。尽管如此，由于最大拒绝分类 器的优化目标只考虑了二阶矩，所以在实际应用中算法还是存在误警 率，性能不尽人意。目前存在的基于学习的两类分类方法，在时间和空间效率，以及优 化目标方面都有改善余地，因此研究开发新的基于统计学习的线性分类 方法在应用和学术上都有重要的意义。发明内容本发明的目的在正样本是凸分布的数据空间中，在保证漏警率为 零的条件下，有效减少误警率；其次无需假设两个前提，即两个类是线性可分的，以及它们发生概率是相同的。为此提出一种基于力矩分析策 略训练线性分类器的方法。为了实现所述的目的，本发明提供的利用监督学习的算法实现训练 线性分类器的方法，包括初始化算法、迭代算法和结束迭代算法三个部 分。步骤a:用初始化方法来生成数据空间中的一个初始超平面。这个超平面将被不断迭代优化。步骤b:基于力矩分析，对初始化的线性分类器进行迭代训练；迭 代算法对初始化超平面进行迭代优化。每次迭代的有两个目的，首先是 平移超平面的空间位置，其次是调整超平面的法线方向。迭代训练算法 会计算当前迭代过程中超平面的支撑点，并以此调整超平面空间位置。 同时迭代训练算法会计算每次迭代中超平面的力矩之和，并以此调整超 平面法线方向。步骤C:最后迭代终止方法定义了迭代算法的结束条件，用来适时地终止训练，并以此时的超平面定义一个线性分类器。优选地，所述步骤a中初始化方法生成的超平面为(x-;c。X/ = 0 其中X为该超平面的变量；；c。为数据空间中任意一点，"为该超平面的发向量，这两个参数通过随机生成。优选地，所述的步骤b中的迭代训练包括超平面空间位置的平移方法和超平面法线方向的调整方法。优选地，所述步骤C中的迭代终止条件，用来适时地终止训练，并以此时的超平面定义一个局部最优的线性分类器。优选地，所述的步骤b中的迭代训练的具体步骤如下步骤bl:设正样本训练集合是凸分布为义={义丄,,』，负样本训练集合为y 4,L,2,…w;步骤b2:在每次迭代训练中，计算超平面受力的支撑点，以此支 撑点调整超平面空间位置；步骤b3:在每次迭代中，计算超平面的力矩之和，并以此调整超平面法线的方向。优选地，所述步骤b2中计算超平面受力支撑点的步骤如下 步骤b21:计算所有正样本与超平面的发向量t/的点积值，在这些点积之中选出最小的M'个，其中A/、M，生成W个点积所对应正样本的支撑点样本为<formula>formula see original document page 6</formula>步骤b22:计算出支撑点样本集合的均值C-)Zx严，； 步骤b23:计算并生成出超平面的支撑点O:o = c —(c.u-《;;)/， 步骤b24:将超平面平移到支撑点o上。优选地，所述步骤b3中调整超平面法线方向的步骤如下 步骤b31:计算每一个负样本^H乍用在超平面上的力F(力为"小T^rexp步骤b32:计算每一个负样本^r作用在超平面上的力臂/为步骤b33:计算出超平面法向量的修正量At;:步骤b34:更新超平面法向量"为^/ + ^。优选地，所述的超平面力矩和i:M为:在迭代过程中，当ZA/降低到零的时候，终止迭代训练，并依据此 时的超平面定义优化过的线性分类器为其中x为变量，O,为最终的超平面的支撑点，^为最终的超平面的 发向量。本发明的有益效果本发明设计了一种有监督的学习算法来训练线 性分类器，该算法将物理学上力矩的概念引入到机器学习领域，直接以 正确拒绝率为优化目标，利用力矩分析的方法来调整、学习线性分类器 的参数，因而本发明的方法具有更为直接的优化目标和明确的物理意 义。本发明在设计中，首先简化了原始问题的模型。两类分类问题的任 务就是将正负样本集区分开来。这里只考虑在数据空间中正样本集合是 凸分布的情况。这样就可以一系列超平面来将这个凸分布与外界分隔开 来。本发明方法制定了确定上述超平面组的策略。采取分步分割得的策 略，最终得到了一组满足要求的超平面。本发明方法给出了确定单个超平面的方法，以错误检测率直接作为 优化的目标，将线性分类器看作一个可以在目标集外包罗滚动的活动超 平面，不断调整这个超平面的位置和方向，使线性分类器的错误检测率 不断下降。在调整超平面的时候算法引入物理学上力矩分析的方法，从 而使得方法具有明确的物理意义。两类分类问题是模式识别领域的一个基本问题，而线性分类器是一 种最简单、速度最快的两类分类器。线性分类器的学习方法涉及到统计 学习、智能计算以及数据挖掘等重要学科。其应用十分广泛，例如异常 检测、车辆检测和人脸检测等。基于样本学习的分类方法是目前研究的主要方向，因为分类方法不依赖于相关应用领域先验知识，十分有利于 算法推广和应用。
图1是本发明训练优化线性分类器方法的流程2是本发明确定超平面支撑点的示意3是本发明计算作用力示意4是本发明修正超平面法向量的示意5是本发明优化超平面位置的示意6_9是本发明训练一个优化线性分类器的优化过程示意10-11训练一组优化的线性分类器示意图具体实施方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实 施例仅旨在便于对本发明的理解，而对其不起任何限定作用。通过对以上附图的说明，来更详细描述本发明中所介绍的方法的具 体实施例。本发明通过多次迭代的方式训练一个优化线性分类器，如图1所 示，本发明的训练方法包括三个组成部分初始化算法、迭代算法和终 止迭代算法。按图1所展示的算法流程，下面详细描述每一个步骤。这里，我们假设正样本训练集合为义Md』，负样本训练集合为 其中A/和W分别是正负样本的个数。应为本发明是一种通用的学习方法，所以这里提到的训练样本并不特指某种数据，可以是任 何数字化数据，例如人脸图片、雷达信号等等。步骤l.如图2中的线P。所示，在数据空间中随机生成一个初始化 超平面其中x为该超平面的变量；x。为数据空间中任意一点，fy为该超平 面的发向量，这两个参数由随机函数生成；步骤2.计算所有正样本与超平面的发向量t/的点积值，在这些点 积之中选出最小的A/' (M'<M)个，并定义它们所对应的正样本为支撑 点样本，记为W睛-k如"Lu,，如图2中的空正方形所示；图2 中的正样本积分直方图展示了确定支撑点样本集合的过程，其中r代表 支撑点样本占所有正样本的比例，其最大值为1.0;步骤3.计算出支撑点样本集合的均值C，如图2中的实心正方形 所示，计算公式为C = il^Z"'師'；步骤4.定义并计算出超平面的支撑点o，如图2中的实心圆点所示，计算公式为o^-(c.u—其中《;;^,"广W;步骤5.将超平面平移到支撑点o上，如图2中的线尸。'所示。图2 展示了确定超平面支撑点o的过程。步骤6.如图3中的y'所示，对每一个负样本^y，计算它作用在 超平面上的力臂/=(,外((,0).一，它既是y相对于超平面法线的垂直 分量，其中u为法向量。步骤7.如图3中的力^所示，对每一个负样本m计算它作用在超平面上的力 其中少、0;—o)y为y相对于超平面法线的平行分量，图3展示了本发明计算作用力的示意图。步骤8.如图4本中的A"所示，根据每个负样本的力及其力矩，计算出超平面法向量的修正量W"l(/^Hx'("0))—《H乂》,； 步骤9.如图4中的"'所示，i'新超平面法向量为"'^^t/;图4展示了本发明修正超平面法向量的示意图 步骤IO.计算力矩和2> = -ijl一,^;步骤ll. ZM不为零的时候r返回步骤2，继续训练；否则，终止 迭代训练，如图5中的P,所示，依据此超平面定义优化过的线性分类器 为其中x为超平面的变量，o,为最终的超平面的支撑点，^为最终的超平面的发向量。如图6-9展示了本发明方法的调整超平面的示意图。为了更直观， 图中的数据空间用二维空间来表示，超平面用线来表示。可以看到，作 用在超平面上的力推动超平面沿着正样本外包罗不断滚动。图6是经过1次迭代后的超平面位置；图7是经过4次迭代后的超平面位置；图8是经过8次迭代后的超平面位置。在图9中，经过27次训练后，最终达到力的平衡，此时力矩和为 零，训练结束。最终平衡的超平面将更多的负样本与正样本隔离开来， 它被定义为一个线性分类器。对于正样本成凸分布的情况，本发明的方法可以找到一组超平面准 确地将所有负样本与正样本隔离开来。如图IO训练一组优化的线性分 类器示意图所示，在训练得到第一个分割面以后，将正确分类的负样本 去掉。然后在剩余训练集上训练第二个分割面。割去第二个分割面正确 分类的负样本后，在剩余练集上训练第三个分割面。如此循环，直到所 有负样本都被割去为止。如图11训练一组优化的线性分类器示意图所 示，最终训练得到8个分割面，它们将所有的负样本与正样本区分开来。以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并 不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理 解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发 明的保护范围应该以权利要求书的保护范围为准。
权利要求
1. 一种基于力矩分析训练线性分类器的方法，其特征在于，步骤a使用初始化，生成数据空间中的一个初始超平面；步骤b基于力矩分析，对初始化的线性分类器进行迭代训练；步骤c迭代终止条件适时终止训练，得到一个局部最优化的线性分类器。
2、 如权利要求1所述的方法，其特征在于，所述步骤a中初始化 生成的超平面为(u0X/ = o其中^为该超平面的变量；x。为数据空间中任意一点，"为该超平 面的发向量，这两个参数通过随机生成。
3、 根据权利要求1所述的方法，其特征在于，所述的步骤b中的 迭代训练包括超平面空间位置的平移和超平面法线方向的调整。
4、 根据权利要求1所述的方法，其特征在于，所述步骤c中的迭 代终止条件，用来适时地终止训练，并以此时的超平面定义一个局部最 优的线性分类器。
5、 根据权利要求1所述的方法，其特征在于，所述的步骤b中的 迭代训练的具体步骤如下步骤bl:设正样本训练集合是凸分布为h化U』，负样本训练集 步骤b2:在每次迭代训练中，计算超平面受力的支撑点，以此支撑点调整超平面空间位置；步骤b3:在每次迭代中，计算超平面的力矩之和，并以此调整超平面法线的方向。
6、 根据权利要求5所述的方法，其特征在于，所述步骤b2中计算超平面受力支撑点的步骤如下步骤b21:计算所有正样本与超平面的发向量f/的点积值，在这些 点积之中选出最小的M'个，其中M、M，生成M'个点积所对应正样本的支撑点样本为义<formula>formula see original document page 2</formula>步骤b22计算出支撑点样本集合的均值<formula>formula see original document page 3</formula>步骤b23:计算并生成出超平面的支撑点O:<formula>formula see original document page 3</formula>步骤b24:将超平面平移到支撑点O上。
7、根据权利要求5所述的方法，其特征在于，所述步骤b3中调整 超平面法线方向的步骤如下步骤b31:计算每一个负样本"H乍用在超平面上的力F(力为<formula>formula see original document page 3</formula>步骤b32:计算每一个负样本y作用在超平面上的力臂y'为<formula>formula see original document page 3</formula>步骤b33:计算出超平面法向量的修正量deltau:<formula>formula see original document page 3</formula>步骤b34:更新超平面法向量<formula>formula see original document page 3</formula>。
8、根据权利要求4所述的方法，其特征在于，所述的超平面力矩在迭代过程中，当ZA/降低到零的时候，终止迭代训练，并依据此时的超平面定义优化过的线性分类器为<formula>formula see original document page 3</formula>其中x为变量，O,为最终的超平面的支撑点,为最终的超平面的 发向量。
全文摘要
本发明公开一种基于力矩分析训练线性分类器的方法，使用初始化方法，生成数据空间中的一个超平面；基于力矩分析的方法，对初始化的线性分类器进行迭代训练；迭代终止条件适时终止训练，得到一个局部最优化的线性分类器。采用力矩分析的办法来构造线性分类器，能够广泛应用于模式识别领域。该方法将物理上力与力矩的感念引入到机器学习中来，进而训练得到一个局部最优化的线性分类器。本发明训练方法学习出来的分类器可使正确拒绝率达到局部最小。可用于人脸检测、车辆检测等计算机视觉中等的重要的应用领域，具有明显的理论和实用价值。
文档编号G06F15/18GK101226520SQ200710062829
公开日2008年7月23日 申请日期2007年1月18日 优先权日2007年1月18日
发明者何晓光, 鑫 杨, 捷 田 申请人:中国科学院自动化研究所