一种基于混合协同表示的分类器的图像分类方法和装置与流程

本发明涉及模式识别技术领域，特别涉及一种基于混合协同表示的分类器的图像分类方法和装置。

背景技术：

模式识别(英语：patternrecognition)，就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。对人类来说，特别重要的是对光学信息(通过视觉器官来获得)和声学信息(通过听觉器官来获得)的识别。这是模式识别的两个重要方面。市场上可见到的代表性产品有光学字符识别、语音识别系统。模式识别是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。

模式识别过程通常包含两个阶段，第一个阶段是特征提取，另一个是构造分类器和标签预测。其中，分类器设计(classifierdesign)作为模式识别系统的一个重要环节，一直以来都是模式识别领域研究的核心问题之一。

目前，主要的分类器设计方法有以下几种：

(1)支持向量机方法(英文：supportvectormachine)：是corinnacortes和vapnik等于1995年首先提出来的，它旨在通过最大化类别间隔建立最优分类面。该类方法在解决小样本、非线性及高维模式识别中表现出许多特有的优势。然而，该类分类器只有少量的边界点(即支持向量)参与到分类面建立，如果边界点分布的位置不好，那么对于分类是十分不利的。

(2)线性回归的多类分类方法(英文：linearregressionbasedclassifier)：线性回归的多类分类方法是由imrannaseem等人于2010年提出的，该分类方法将测试样本在每类训练样本子空间中进行线性拟合，通过判断拟合误差来决定测试样本的类别。该分类方法能够有效地通过类属线性拟合的方法提取鉴别信息。但是这种方法会产生较大的拟合误差，并且容易产生不稳定的解(拟合矩阵不满秩)。

(3)基于稀疏表示的多类分类方法(英文：sparserepresentationbasedclassifier)：是由j.wright等人于2009年提出的，该分类方法首先将测试样本在所有训练集上进行稀疏编码，然后根据产生最小编码误差的类别决定分类结果。该分类方法在多类分类中取得优异的性能，但是该方法并没有考虑测试样本在每类训练样本子空间的拟合信息。

(4)基于协同表示的多类分类方法(英文：collaborativerepresentationbasedclassifier)：是由zhang等人于2011年提出，该分类方法首先将测试样本在所有训练集上进行协同表示，然后根据产生最小编码误差的类别决定分类结果。该分类方法在大多数数据集上性能优于基于稀疏表示的多类分类方法。但是该方法也没有考虑测试样本在每类训练样本子空间的拟合信息。

技术实现要素：

为了解决现有技术的分类器设计方法在图像分类过程中存在的问题，本发明实施例提供一种基于混合协同表示的分类器的图像分类方法和装置，通过将类属协同表示算法作为约束项嵌入基于协同表示算法的分类器模型中，从而有效的改变分类器的鉴别分类性能，进一步提升图像分类性能。所述技术方案如下：

第一方面，本发明提供了一种基于混合协同表示的分类器的图像分类方法包括：

采用卷积神经网络提取图像特征；

采用混合协同表示目标优化函数对核空间测试样本图像特征φ(y)进行混合协同表示，其中，所述混合协同表示目标优化函数为：

其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)；x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)；φ(x^c)是由第c类训练样本特征在核空间的映射，s为样本φ(y)的协同表示向量，sc代表样本φ(y)用第c类训练样本特征φ(x^c)进行的协同表示，s＝[s¹s²…s^c…s^c]^t，c表示类别数，τ用于调整类属协同表示项所占的比例，λ,γ用于平衡拟合误差和协同表示，β＝λ+τγ；代表向量2范数的平方；

求解所述混合协同表示目标优化函数的最优解，其中，所述最优解的求解公式如下：

其中，κ(x,x)＝φ(x)^tφ(x)，κ(x,y)＝φ(x)^tφ(y)，表示[0,…,φ(x^c),…,0]；

获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，并将所述拟合误差中最小的一类确定为待分类图像所属的类。

可选的，所述采用混合协同表示目标优化函数对核空间测试样本图像特征φ(y)进行混合协同表示，具体为：

采用目标优化函数对核空间测试样本图像特征φ(y)进行协同表示，其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)，s为样本φ(y)的协同表示向量；

采用目标优化函数对核空间测试样本图像特征φ(y)进行类属协同表示，其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)，s^c代表样本φ(y)用第c类训练样本特征φ(x^c)进行的协同表示；

将协同表示和类属协同表示的核空间测试样本图像特征φ(y)进行求和得到所述混合协同表示目标优化函数。

可选的，所述获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，并将所述拟合误差中最小的一类确定为待分类图像所属的类，具体为：

根据公式获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，其中，表示核空间测试样本特征φ(y)在每一类样本子空间的混合协同表示形式；

根据公式确定所述拟合误差中最小值，并将所述拟合误差中最小的一类确定为待分类图像所属的类。

第二方面，本发明提供了一种基于混合协同表示的分类器的图像分类装置包括：

提取模块，用于采用卷积神经网络提取图像特征；

表示模块，用于采用混合协同表示目标优化函数对核空间测试样本图像特征φ(y)进行混合协同表示，其中，所述混合协同表示目标优化函数为：

其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)；x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)；φ(x^c)是由第c类训练样本特征在核空间的映射，s为样本φ(y)的协同表示向量，s^c代表样本φ(y)用第c类训练样本特征φ(x^c)进行的协同表示，s＝[s¹s²...s^c...s^c]^t，c表示类别数，τ用于调整类属协同表示项所占的比例，λ,γ用于平衡拟合误差和协同表示，β＝λ+τγ；代表向量2范数的平方；

求解模块，用于求解所述混合协同表示目标优化函数的最优解，其中，所述最优解的求解公式如下：

其中，κ(x,x)＝φ(x)^tφ(x)，κ(x,y)＝φ(x)^tφ(y)，表示[0,...,φ(x^c),…,0]；

确定模块，用于获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，并将所述拟合误差中最小的一类确定为待分类图像所属的类。

可选的，所述表示模块具体包括：

第一表示子模块，用于采用目标优化函数对核空间测试样本图像特征φ(y)进行协同表示，其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)，s为样本φ(y)的协同表示向量；

第二表示子模块，用于采用目标优化函数对核空间测试样本图像特征φ(y)进行类属协同表示，其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)，s^c代表样本φ(y)用第c类训练样本特征φ(x^c)进行的协同表示；

获取子模块，用于将协同表示和类属协同表示的核空间测试样本图像特征φ(y)进行求和得到所述混合协同表示目标优化函数。

可选的，所述确定模块具体用于：

根据公式获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，其中，表示核空间测试样本特征φ(y)在每一类样本子空间的混合协同表示形式；

根据公式确定所述拟合误差中最小值，并将所述拟合误差中最小的一类确定为待分类图像所属的类。

本发明实施例提供的技术方案带来的有益效果是：

本发明实施例提供的一种基于混合协同表示的分类器的图像分类方法和装置在基于传统协同表示分类器的基础上，增加类属协同表示约束项由于传统的协同表示分类器能够使测试样本在整个训练样本空间中具有较好的拟合效果，类属协同表示约束项能使测试样本在其所属的类别的训练样本子空间中具有较优的拟合效果，两者相互配合，不仅改善了类属协同表示约束项在其它类别的训练样本子空间中拟合误差大的缺陷，而且改善了传统的协同表示分类器的图像鉴别性能；而且，本发明将样本图像映射到核空间，并在核空间对样本进行协同表达，能够更好的处理样本空间内禀的非线性结构性质，将特征空间线性不可分的模式通过非线性映射到更高维特征空间实现线性可分，从而进一步提升图像分类性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于混合协同表示的分类器的图像分类方法的流程示意图；

图2是本发明实施例提供的一种基于混合协同表示的分类器的图像分类装置的结构框图；

图3是图2中表示模块的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

下面将结合附图1、附图2和附图3，对本发明实施例的一种基于混合协同表示的分类器的图像分类方法和装置进行详细说明。

参考附图1所示，本发明实施例的一种基于混合协同表示的分类器的图像分类方法包括：

步骤110：采用卷积神经网络提取图像特征。

采用卷积神经网络模型vgg模型提取图像特征。具体的，首先，将图像尺度大小变为224x224大小，然后调用vgg模型，得到待处理图像的特征。其中，采用卷积神经网络提取图像特征的过程并不是本发明的保护内容，采用卷积神经网络提取图像特征属于已有技术，是一种常用的图像特征提取方法，本领域技术人员可以参考已有技术，本发明实施例在此不再累述。

步骤120：采用混合协同表示目标优化函数对核空间测试样本图像特征φ(y)进行混合协同表示。

定义y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，定义x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)。

采用目标优化函数对核空间测试样本图像特征φ(y)进行协同表示，其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)，s为样本φ(y)的协同表示向量；

采用目标优化函数对核空间测试样本图像特征φ(y)进行类属协同表示，其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)，s^c代表样本φ(y)用第c类训练样本特征φ(x^c)进行的协同表示；

将协同表示和类属协同表示的核空间测试样本图像特征φ(y)进行求和得到所述混合协同表示目标优化函数，也即将采用目标优化函数

对核空间测试样本图像特征φ(y)进行协同表示和采用目标优化函数对核空间测试样本图像特征φ(y)进行类属协同表示相组合即可得到混合协同表示目标优化函数，其中，混合协同表示目标优化函数的表达式如下：

对上述的混合协同表示目标优化函数的表达式进行整理

式中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)；x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)；φ(x^c)是由第c类训练样本特征在核空间的映射，s为样本φ(y)的协同表示向量，s^c代表样本φ(y)用第c类训练样本特征φ(x^c)进行的协同表示，s＝[s¹s²…s^c…s^c]^t，c表示类别数，τ用于调整类属协同表示项所占的比例，λ,γ用于平衡拟合误差和协同表示，β＝λ+τγ；代表向量2范数的平方。

步骤130：求解所述混合协同表示目标优化函数的最优解。

用表示[0,…,φ(x^c),…,0]，进而可以将步骤120中的混合协同表示目标优化函数的表达式简化如下：

进而可以求解该混合协同表示目标优化函数的最优解，其中，最优解的表达式如下：

式中，κ(x,x)＝φ(x)^tφ(x)，κ(x,y)＝φ(x)^tφ(y)，均为核函数，可以是目前常用的多项式核函数、径向基核函数中的一种或多种，本发明实施例对此不做限制。

步骤140：获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，并将所述拟合误差中最小的一类确定为待分类图像所属的类。

具体的，根据公式获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，其中，表示核空间测试样本特征φ(y)在每一类样本子空间的混合协同表示形式；根据公式确定所述拟合误差中最小值，并将所述拟合误差中最小的一类确定为待分类图像所属的类，也即比较核空间测试样本图像特征φ(y)和每类训练样本特征的拟合误差，其中，待分类图像属于拟合误差最小的一类。

本发明实施例提供的一种基于混合协同表示的分类器的图像分类方法和装置在基于传统协同表示分类器的基础上，增加类属协同表示约束项由于传统的协同表示分类器能够使测试样本在整个训练样本空间中具有较好的拟合效果，类属协同表示约束项能使测试样本在其所属的类别的训练样本子空间中具有较优的拟合效果，两者相互配合，不仅改善了类属协同表示约束项在其它类别的训练样本子空间中拟合误差大的缺陷，而且改善了传统的协同表示分类器的图像鉴别性能；而且，本发明将样本图像映射到核空间，并在核空间对样本进行协同表达，能够更好的处理样本空间内禀的非线性结构性质，将特征空间线性不可分的模式通过非线性映射到更高维特征空间实现线性可分，从而进一步提升图像分类性能。

参见图2所示，本发明实施例提供了一种基于混合协同表示的分类器的图像分类装置包括：

提取模块201，用于采用卷积神经网络提取图像特征；

表示模块202，用于采用混合协同表示目标优化函数对核空间测试样本图像特征φ(y)进行混合协同表示，其中，所述混合协同表示目标优化函数为：

其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)；x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)；φ(x^c)是由第c类训练样本特征在核空间的映射，s为样本φ(y)的协同表示向量，s^c代表样本φ(y)用第c类训练样本特征φ(x^c)进行的协同表示，s＝[s¹s²…s^c…s^c]^t，c表示类别数，τ用于调整类属协同表示项所占的比例，λ,γ用于平衡拟合误差和协同表示，β＝λ+τγ；代表向量2范数的平方；

求解模块203，用于求解所述混合协同表示目标优化函数的最优解，其中，所述最优解的求解公式如下：

其中，κ(x,x)＝φ(x)^tφ(x)，κ(x,y)＝φ(x)^tφ(y)，表示[0,…,φ(x^c),…,0]；

确定模块204，用于获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，并将所述拟合误差中最小的一类确定为待分类图像所属的类。

其中，参考图3所示，表示模块202具体包括：

第一表示子模块2021，用于采用目标优化函数对核空间测试样本图像特征φ(y)进行协同表示，其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)，s为样本φ(y)的协同表示向量；

第二表示子模块2022，用于采用目标优化函数对核空间测试样本图像特征φ(y)进行类属协同表示，其中，y∈r^d×1为待分类的测试样本图像特征，d表示特征的纬度，将y映射到核空间得到φ(y)，x∈r^d×n为训练样本图像特征，n表示训练样本个数，将x映射到核空间得到φ(x)，s^c代表样本φ(y)用第c类训练样本特征φ(x^c)进行的协同表示；

获取子模块2023，用于将协同表示和类属协同表示的核空间测试样本图像特征φ(y)进行求和得到所述混合协同表示目标优化函数。

可选的，确定模块204具体用于：

根据公式获取核空间测试样本图像特征φ(y)在每类训练样本特征之间的拟合误差，其中，表示核空间测试样本特征φ(y)在每一类样本子空间的混合协同表示形式；

根据公式确定所述拟合误差中最小值，并将所述拟合误差中最小的一类确定为待分类图像所属的类。

需要说明的是：上述实施例提供的一种基于混合协同表示的分类器的图像分类装置在进行图像分类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的一种基于混合协同表示的分类器的图像分类装置与一种基于混合协同表示的分类器的图像分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。