专利名称：基于提升稀疏约束双线性模型的图像分类方法
技术领域：
本发明属于图像处理领域，涉及一种基于提升稀疏约束双线性模型的图像分类方 法。
背景技术：
随着多媒体数据的爆炸性增涨，人工对图像进行分类越来越困难，基于图像内容 的自动分类越来越受到重视。自动的图像分类技术能够通过对图像本身内容进行处理分 析，从而预测图像的类别，避免了大量人工处理。然而由于图像中各种物体形态各异，出现 位置也不固定，而且还有可能存在遮挡的现象，自动的学习一个鲁棒的图像特征表示和预 测模型仍然是一个很有挑战的问题。传统的图像分类方法大都是基于词袋模型。这种方法首先在图像上提取局部特 征，对局部特征进行量化，生成码本，然后通过寻找最近邻的方法将局部特征量化到每个视 觉词，并将图像表示成一个视觉词的直方图分布，最后通过训练分类器的方式来预测图像 的类别。这种方法在一定程度上克服了全局特征的缺陷，但是，这种方法忽略了图像局部特 征的空间位置信息和相互联系。为了在一定程度上考虑空间信息，一般采用空间金字塔的 方式对图像进行划分。但是，这种方法划分金字塔的方式是一种经验性的，事先无法取得最 有效地划分。另一方面，每个视觉词对于分类性能的影响是不同的，给予每个视觉词同样的 权重也不利于最终的分类。
发明内容
为了解决吸纳有技术的问题，本发明的目的是对快速有效的图像分类，提出一个 更有效的图像特征表示和分类模型，为此本发明提供一种基于提升稀疏约束双线性模型的 图像分类方法。为达成所述目的，本发明提供一种基于提升稀疏约束双线性模型的图像分类方 法，该方法的图像分类步骤如下步骤Sl 在图像上提取图像的局部特征；步骤S2 从图像上密集的提取多个部件；步骤S3 将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特 征表示按顺序排列起来，用一个矩阵的形式来表示图像；步骤S4 使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间 的关系，从而达到对图像分类的目的。优选实施例，基于部件的图像表示，综合考虑局部特征的空间信息；考虑部件本身 的空间信息，用于增强部件表示方式的判别力。优选实施例，设每个部件都对图像的类别预测有贡献，采用线性模型去拟合每个 部件都对图像的类别预测的这种联系；同时，设每个部件中的每个视觉词对所述部件的类 别也有贡献，也采用线性模型来拟合每个部件中的每个视觉词对所述部件的类别的这种联系，从而将图像类别预测问题转化为学习一个双线性模型的问题。优选实施例，为了选择最有判别力的视觉词和部件，从而更好的进行图像分类，对 双线性模型的两个系数向量施加稀疏性的约束，并通过组合多个双线性模型来增强图像分 类的鲁棒性。优选实施例，在学习单个稀疏约束的双线性模型时，采用交替优化的策略，先固定 视觉词到部件的模型系数，去学习部件到图像类别的模型的系数；然后固定部件到图像类 别的模型的系数，去学习视觉词到部件的模型系数。优选实施例，所述优化的策略采用加权的系数符号搜索算法实现。本发明的有益效果本发明提出一种基于提升稀疏约束双线性模型对图像进行分 类。通过部件来融合图像的空间信息，并通过双线性模型来进行图像分类，利用稀疏约束进 行最有判别力的部件和视觉词的选择，并利用提升的方法来提高算法的性能和鲁棒性。本 发明在三个数据库上的实验，证明了本发明的方法有更高的分类性能。
图1提升稀疏约束双线性模型进行图像分类框图；图2基于部件的图像表示示意图；图3基于提升稀疏约束双线性模型的混淆矩阵；图4提升稀疏约束双线性模型在Caltech-IOl数据库上的分类准确率；图5提升稀疏约束双线性模型在Caltech-256数据库上的分类准确率。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。本发明利用图像分块和稀疏约束，提出了一个行之有效的图像分类方法。图1示 出本发明的系统提升稀疏约束双线性模型进行图像分类框架，包括图像局部特征提取、基 于部件的图像表示、提升稀疏约束双线性模型，以及图像分类。本发明主要包括两个部分基于部件的图像表示和提升稀疏约束双线性模型。(一 )、基于部件的图像表示图像表示部分采用基于部件的表示方式，图2示出描述了基于部件的图像表示方 法，这种方法同时考虑了局部特征的空间信息和部件之间的空间信息，从而可以得到有判 别力的图像特征表示，为下一步的分类器训练提供便利。本发明中，采用视觉词直方图来表示每个部件。先用k均值聚类方法获得1000个 聚类中心，每个聚类中心对应一个视觉词；采用寻找最近邻的方法对图像局部特征的空间 信息进行视觉词的量化。我们密集地抽取部件，在每幅图上抽取20X 15个部件，每个部件 是一个64X64像素的正方形区域。用部件内的视觉词的直方图来表示部件，将每个部件直 方图的定义为hj = Di1, j，Ii2, ...Ct (1)其中，N代表视觉词的个数，、是一个NXl的向量，其中每一维的元素hM，i = 1， 2，…，N正比于第i个视觉词在第j个部件里面出现的次数，j = 1，2，…，M，M代表部件的个数。并满足Σ二 =1。在把每个部件用直方图表示以后，将各个部件hp j = 1，2，…，M按顺序排列起来， 将第k个图像表示成一个NXM的矩阵Hk Hk = [h1 h2, ...，hM] (2)这样，我们就得到了最终的基于部件的图像表示，k = 1，2，…，K。K代表训练图 像的个数。( 二)、提升稀疏约束双线性模型在将图像用部件表示后，我们用提升稀疏约束双线性模型来进行图像类别的预 测。首先，我们认为图像的每个部件都对图像的类别预测有贡献，我们采用线性模型去模 拟；同时，对于每个部件，其中的每个视觉词对这个部件的类别也有贡献，本发明也采用线 性模型来模拟，从而将图像类别预测问题转化为学习一个双线性模型的问题，即学习α， β，使得f(Hk) =yk= α THk^(3)其中，yk代表对第k个图像的预测值。F(Hk) = Q1Hk^代表要学习的双线性模型。 α是一个NXl维的系数向量，β是一个MXl维的系数向量。为了选择最有判别力的视觉词和部件，从而更好的进行图像分类，对于双线性模 型的两个系数向量α，β施加稀疏性的约束。同时，通过组合多个双线性模型来增强本发 明方法的鲁棒性。这是通过优化以下的目标函数实现Ft (H) = arg min exp[-/ xFT (Hk )] + C1 Σ: IKI1 +|Α I ( 4 )
Ft(H)其中，巧(好)=I^1 (好),(好)= Γ孖A。T代表双线性模型的个数，K代表训
练图像的个数。C1, C2是两个控制稀疏程度的系数。H代表训练图像ft (H)代表要学习 的第t个双线性模型，α t和β t是第t个双线性模型对应的参数，α J代表α t的转置。
巧(//) = 2^/,(灼代表要学习的提升稀疏约束的双线性模型，它是由T个双线性模型组成。我们采用提升的思想，通过T次循环，每次学习一个稀疏约束的双线性模型。本发 明的算法如表1所示表(1)提升稀疏约束双线性模型算法1.设定图像初始权重Wk,。，k=l, 2，…，K，稀疏约束系数C1, c2。
2.重复t=l，2，…，T轮
Ca)通过交替优化(Xt, I学习第t个双线性模型((XtJt)。 (b)令 ft(H)=atTH^t。
(c )设置第t轮、第k个图像的权重wk, t=wk, t l X exp (-ykft (Hk))， 其中，Ih代表第t_l轮、第k个图像的权重。并归一化， 使得Σ>,1。
3.输出最终的分类器Ft(H) = Y^ft(H)在算法的步骤2. (a)，我们的目标函数⑷可以简化为(oct Jt) = argmin^^kj χexp[—/ Xft(Hk)] + C1 ㈣I1 + C2( 5 )在本发明中采用交替优化的方法，通过先固定β t来求解α t，然后固定Cit来求解 β t。当固定β t来求解α t时，目标函数(5)可进一步简化为
权利要求
1.一种基于提升稀疏约束双线性模型的图像分类方法，其特征在于，该方法图像分类 的步骤如下步骤Sl 在图像上提取图像的局部特征；步骤S2 从图像上密集的提取多个部件；步骤S3 将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特征表 示按顺序排列起来，用一个矩阵的形式来表示图像；步骤S4 使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间的关 系，从而达到对图像分类的目的。
2.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在 于，基于部件的图像表示，综合考虑局部特征的空间信息；考虑部件本身的空间信息，用于 增强部件表示方式的判别力。
3.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在 于，设每个部件都对图像的类别预测有贡献，采用线性模型去拟合每个部件都对图像的类 别预测的这种联系；同时，设每个部件中的每个视觉词对所述部件的类别也有贡献，也采用 线性模型来拟合每个部件中的每个视觉词对所述部件的类别的这种联系，从而将图像类别 预测问题转化为学习一个双线性模型的问题。
4.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在 于，为了选择最有判别力的视觉词和部件，从而更好的进行图像分类，对双线性模型的两个 系数向量施加稀疏性的约束，并通过组合多个双线性模型来增强图像分类的鲁棒性。
5.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在 于，在学习单个稀疏约束的双线性模型时，采用交替优化的策略，先固定视觉词到部件的模 型系数，去学习部件到图像类别的模型的系数；然后固定部件到图像类别的模型的系数，去 学习视觉词到部件的模型系数。
6.根据权利要求1所述的基于提升稀疏约束双线性模型的图像分类方法，其特征在 于，所述优化的策略采用加权的系数符号搜索算法实现。
全文摘要
本发明提出一种基于提升稀疏约束双线性模型的图像进行分类方法，该方法的图像分类步骤如下步骤S1在图像上提取图像的局部特征；步骤S2从图像上密集的提取多个部件；步骤S3将各个部件用视觉词的直方图作为部件的特征表示，并将每个部件的特征表示按顺序排列起来，用一个矩阵的形式来表示图像；步骤S4使用提升稀疏约束双线性模型模拟视觉词到部件、部件到图像类别之间的关系，从而达到对图像分类的目的。为了提高方法的判别力，我们加入了稀疏性的约束，并采用提升的策略来提高方法的鲁棒性。在三个数据库上的实验结果，证实了我们的方法的有效性。
文档编号G06K9/62GK102122358SQ201110081240
公开日2011年7月13日 申请日期2011年3月31日 优先权日2011年3月31日
发明者刘静, 卢汉清, 张淳杰 申请人:中国科学院自动化研究所