一种基于超限隐特征模型的盲领域图像样本分类方法与流程

本发明涉及图像分类和智能优化技术领域，更具体地说，涉及一种基于超限隐特征模型的盲领域图像样本分类方法。

背景技术：

在计算机视觉领域，人们往往采集来自多个领域的数据，在分布上存在差异。传统机器学习方法假设训练集和测试集服从相同的分布，该假设在现实中往往难以得到满足，跨领域图像识别是目前计算机视觉领域研究热点，领域适配是解决跨领域图像识别问题，它是迁移学习的研究内容之一，侧重于解决特征空间一致、类别空间一致，仅特征分布不一致的问题。

领域适配的基本方法主要包括两类，一类是特征表达层面的领域适配，这类方法从不同领域数据特征之间的联系出发，研究如何利用特征表达上的交集来解决特征分布不一致的问题，通过特征变换的方式实现源领域和目标领域知识的互相迁移，或者将源领域和目标领域的数据变换到统一的特征空间中，典型算法有采样测地线流(samplegeodesicflow,sgf)、测地线流式核方法(geodesicflowkernel,gfk)、隐稀疏领域迁移(latentsparsedomaintransfer,lsdt以及子空间对齐(subspacealignment,sa)等。第二类是分类器层面的领域适配，这类方法假设在源领域构建的分类模型，其参数经过调整能够适用于目标领域的分类任务，这类方法的核心在于构建参数共享的模型，提高源领域模型在目标领域的泛化能力，代表性算法包括自适应支持向量机(adaptivesupportvectormachine,asvm)、领域适配机(domainadaptationmachine,dam)、自适应多核学习(adaptivemultiplekernel,amk)以及超限领域适配(extremedomainadaptation,eda)等。从目标领域有无标签信息这一角度，领域适配主要分为两类：半监督领域适配和无监督领域适配。现有的半监督及无监督领域适配方法适用于存在较多的目标领域数据可用于模型训练时的场景。当目标领域数据量严重不足时，现有领域适配模型的性能将大打折扣。因此，亟待研究盲领域适配问题。

技术实现要素：

为解决上述技术问题，本发明提供一种基于超限隐特征模型的盲领域图像样本分类方法。

为实现上述目的，本发明所采用的具体技术方案如下：

一种基于超限隐特征模型的盲领域图像样本分类方法，包括如下步骤：

s1：源领域超限隐特征模型训练阶段，获取用于进行模型训练的源领域图像数据矩阵xsource、相应的标签矩阵tsource，以及超限学习机的隐藏节点根据所述图像数据矩阵xsource输出的隐含层输出矩阵hsource；

s2：根据超限学习机和基于超限学习机的自编码器，为源领域超限隐特征模型设置图像数据输入通道、图像分类输出通道以及图像输出重建通道；

s3：基于xsource、tsource以及hsource建立所述图像分类输出通道和所述图像输出重建通道的联合超限隐特征优化模型；

s4：利用交错方向法对所述联合超限隐特征优化模型的模型参数进行更新，得到所述图像分类输出通道和所述图像输出重建通道的优化模型参数；

s5：根据所述优化模型参数构建所述源领域超限隐特征模型；

s6:目标领域图像样本适配阶段，将待识别的目标领域图像数据矩阵输入所述源领域超限隐特征模型的图像数据输入通道，并从所述源领域超限隐特征模型的图像输出重建通道得到原始目标领域图像样本在源领域的重建生成样本矩阵；

s7：将所述目标领域图像数据矩阵与所述重建生成样本矩阵进行融合得到原始目标领域图像样本的增广样本矩阵；

s8：将所述增广样本矩阵输入所述源领域超限隐特征模型的图像数据输入通道，并从所述源领域超限隐特征模型的图像分类输出通道得到对应的分类结果。

可选的，所述原始目标领域图像样本的增广样本矩阵为ztarget＝xtarget+x′target，其中，ztarget表示增广样本矩阵，xtarget表示输入所述图像数据输入通道的目标领域图像数据矩阵，x′target表示所述源领域超限隐特征模型根据所述目标领域图像数据矩阵从所述图像输出重建通道输出的重建生成样本矩阵。

可选的，所述源领域超限隐特征模型的图像输出重建通道的输出为:x′target＝htargetq^tp；

所述源领域超限隐特征模型的图像分类输出通道的输出为：ttarget＝h′targetq^tr；

其中，htarget表示源领域超限隐特征模型输入通道输入的目标领域图像数据矩阵xtarget的隐含层输出向量，h′target表示源领域超限隐特征模型输入通道输入的增广样本矩阵ztarget的隐含层输出向量，q表示源领域隐特征变换矩阵，r表示源领域数据分类矩阵，p表示源领域数据重建矩阵，ttarget表示目标领域图像数据矩阵xtarget的预测标签向量。

可选的，所述联合超限隐特征优化模型为：

s.t.xsource＝hsourceq^tp+e,q^tr＝β,p^tp＝i；

其中，α、λ以及γ表示惩罚参数，e表示误差矩阵，β表示输出权重矩阵，表示矩阵frobenius范数的平方，即矩阵元素的平方和。

可选的，步骤s4中引入辅助变量得到联合超限隐特征优化学习模型的增广拉格朗日函数模型，所述增广拉格朗日函数模型为：

s.t.p^tp＝i；

其中，μ表示惩罚参数，y1和y2表示拉格朗日乘子，<·>表示矩阵的内积运算；

步骤s4中基于所述增广拉格朗日函数模型利用交错方向法依次更新β、p、q、r、e、y1、y2以及μ，直到收敛时停止优化，并将当前确定的q和r作为所述源领域图像分类输出通道的优化模型参数，将当前确定的q和p作为所述源领域图像输出重建通道的优化模型参数。

本发明提供出了一种基于超限隐特征模型的盲领域图像样本分类方法，超限隐特征模型将超限学习机与基于超限学习机的自编码器纳入一个联合学习模型中，能够更好地揭示原始图像数据和高级语义之间的潜在关系，减少信息丢失，提高图像分类精度并具备优异的图像数据重建能力，基于超限隐特征模型进行盲领域样本的生成与增广，降低领域偏差，提高了盲领域适配图像分类精度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本实施例提供的基于超限隐特征模型的盲领域图像样本分类方法的流程示意图；

图2为本实施例提供的超限隐特征模型的网络构架图。

具体实施方式

为了使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例提供了一种基于超限隐特征模型的盲领域图像样本分类方法，请参见图1所示，包括如下步骤：

s1：源领域超限隐特征模型训练阶段，获取用于进行模型训练的源领域图像数据矩阵、相应的标签矩阵，以及超限学习机的隐藏节点根据该图像数据矩阵输出的隐含层输出矩阵。

具体的，获取用于进行源领域模型训练的图像数据集，也即源领域图像数据矩阵样本数为n，维度为d，隐含层输入权值向量wi和隐层节点偏移量bi，进行随机赋值，其大小范围是[-1,+1]，将训练样本集输入输入层，隐含层节点数为l。得到隐含层输出矩阵其中第j个样本的隐含层输出为i取1,2…l,g(·)为激活函数，可选sigmoid函数作为激活函数。xsource对应的标签矩阵为c为源领域训练数据集的类别数量。

s2：根据超限学习机和基于超限学习机的自编码器，为超限隐特征学习模型设置图像数据输入通道、图像分类输出通道以及图像输出重建通道。

s3：基于xsource、tsource以及hsource建立图像分类输出通道和图像输出重建通道的联合超限隐特征优化模型。

本实施例中建立的联合超限隐特征优化模型为：

s.t.xsource＝hsourceq^tp+e,q^tr＝β,p^tp＝i；

其中，α、λ以及γ表示惩罚参数，e表示误差矩阵，β表示输出权重矩阵，表示矩阵frobenius范数的平方，即矩阵元素的平方和，q表示源领域隐特征变换矩阵，r表示源领域数据分类矩阵，p表示源领域数据重建矩阵。

s4：利用交错方向法对联合超限隐特征优化模型的模型参数进行更新，得到超限隐特征模型的图像分类输出通道和图像输出重建通道的优化模型参数。

可选的，步骤s4中可以引入辅助变量得到联合超限隐特征优化模型的增广拉格朗日函数模型，增广拉格朗日函数模型为：

s.t.p^tp＝i

其中，α、λ以及c表示模型平衡参数，为正实数，μ表示惩罚参数，y1和y2表示拉格朗日乘子，表示矩阵frobenius范数的平方,即矩阵元素的平方和，<·>表示矩阵内积运算，e表示误差矩阵；

步骤s4中可以基于增广拉格朗日函数模型利用交错方向法依次更新β、p、q、r、e、y1、y2以及μ，直到收敛时停止优化，并将当前确定的q和r作为源领域图像分类输出通道的优化模型参数，将当前确定的q和p作为源领域图像输出重建通道的优化模型参数。

具体的，步骤s4中可以通过以下步骤依次更新β、p、q、r、e、y1、y2以及μ：

应当说明的是，下述都是在上述的基础上，通过优化一个变量而固定其他变量得到的。

优化步骤1：其他变量固定，以常量处理。通过解决下述公式更新矩阵β；

对β求导数，令得到：

优化步骤2：其他变量固定，以常量处理。通过解决下述公式更新矩阵p；

令得

p＝uv^t

其中u和v由对b^ta做奇异值分解得到，即uσv^t＝svd(b^ta)

优化步骤3：其他变量固定，以常量处理。通过解决下述公式更新矩阵q；

令对q求导，令得到

(αi+μrr^t)q+μqh^th＝μ(rn^t+pm^th)

这一问题为经典的sylvester方程问题，通过现有的优化工具包予以求解。

优化步骤4：其他变量固定，以常量处理。通过解决下述公式更新矩阵r；

对r求导数，令得到：

r＝(i+μqq^t)^-1(μqβ-qy2)

优化步骤5：其他变量固定，以常量处理。通过解决下述公式更新矩阵e；

对e求导数，令得到，

优化步骤6：对β,p,q,r,e依次更新完毕后，对y1、y2和μ进行更新，通过下述公式：

其中ρ≥1，ρ表示惩罚参数调节因子，迭代运行上述步骤，直到收敛时更新优化停止，得到最终的q、p、r。

本实施例的收敛条件可以是判断迭代次数是否达到预设次数阈值，如是，则停止优化。

s5：根据上述步骤得到的优化模型参数构建源领域超限隐特征学习模型。

s6:目标领域图像样本适配阶段，将待识别的目标领域图像数据矩阵输入源领域超限隐特征模型的图像数据输入通道，并从源领域超限隐特征模型的图像输出重建通道得到原始目标领域图像样本在源领域的重建生成样本矩阵。

本实施例中源领域超限隐特征模型的图像输出重建通道的输出为:x′target＝htargetq^tp；源领域超限隐特征模型的图像分类输出通道的输出为：ttarget＝h′targetq^tr；其中，htarget表示源领域超限隐特征模型输入通道输入的目标领域图像数据矩阵xtarget的隐含层输出向量，h′target表示源领域超限隐特征模型输入通道输入的增广样本矩阵ztarget的隐含层输出向量，q表示源领域隐特征变换矩阵，r表示源领域数据分类矩阵，p表示源领域数据重建矩阵，ttarget表示目标领域图像数据矩阵xtarget的预测标签向量，xtarget表示输入所述图像数据输入通道的目标领域图像数据矩阵，x′target表示所述源领域超限隐特征模型根据所述目标领域图像数据矩阵从所述图像输出重建通道输出的重建生成样本矩阵。

s7：将目标领域图像数据矩阵与该重建生成样本矩阵进行融合得到原始目标领域图像样本的增广样本矩阵。

原始目标领域图像样本的增广样本矩阵为ztarget＝xtarget+x′target，ztarget表示增广样本矩阵。

s8：将增广样本矩阵输入源领域超限隐特征模型的图像数据输入通道，并从源领域超限隐特征模型的图像分类输出通道得到对应的分类结果。

基于超限隐特征模型的盲领域图像样本分类方法，架构如图2所示，包含一个输入层、两个输出层、隐含层和隐特征层hq^t，共用一个输入通道和两个输出通道。之后通过联合学习，对网络参数进行更新优化。

本实施例所提供的方法以超限隐特征模型为基础，设计盲领域样本生成与增广策略，降低了领域偏差，提高了跨领域图像识别的准确率。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。