本发明涉及图像识别技术领域，尤其涉及一种基于半监督深度学习的图像分类方法、装置和存储介质。
背景技术：
近几年来，基于深度学习(deeplearning)的技术在计算机视觉领域取得了很好的成效，比如，人脸识别和目标分类，其中代表性的深度学习方法有cnn(卷积神经网络)、rnn(递归神经网络)、autoencoder,gan(生成式对抗网络)，等等。
然而，在实际应用中，由于给样本进行标注需要耗费大量的时间和人力，因此，在现实生活中，通常有大量的未进行标注的样本，利用这些未进行标注的样本来提高最后的识别效果的方法称为半监督学习。
为了能更好地利用非标签训练数据的鉴别信息，以及深度特征的高鉴别性，基于深度半监督学习的工作已经得到了科研工作者的深入研究。比如，目前有通过整合卷积神经网络和高斯概率模型进行半监督深度核学习的方法、通过同时最小化监督和无监督函数的损失来训练半监督深度学习模型，等等。虽然半监督深度学习的方法能够学习高水平的表示特征，但是它忽略了如何更有效地利用非标签样本的高鉴别性。
技术实现要素：
本发明提供一种基于半监督深度学习的图像分类方法、装置和存储介质，旨在建立一个统一的半监督深度学习和未标注样本类别估计的模型，可以更有效、准确地利用未标注样本，提高图像识别效果。
为实现上述目的，本发明提供一种基于半监督深度学习的图像分类方法，包括以下步骤：
获取标签训练图像样本和非标签训练图像样本，得到标签训练集；
结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；
基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类。
可选地，所述结合深度学习以及半监督学习进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型的步骤包括：
将所述标签训练集输入并训练卷积神经网络模型，提取所述标签训练图像样本和非标签训练图像样本的深度特征；
对提取深度特征后的非标签图像样本进行类别估计，得到类别估计结果；
根据所述类别估计结果，将可信度满足预设条件的非标签图像样本再次加入到卷积神经网络重新进行训练，得到半监督深度学习和未标注样本类别估计的模型。
可选地，所述基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类的步骤包括：
基于所述半监督深度学习和未标注样本类别估计的模型进行图像字符识别和图像目标分类。
可选地，所述获取标签训练图像样本和非标签训练图像样本，得到标签训练集的步骤之后还包括：
初始化所述标签训练图像样本和非标签训练图像样本数据。
可选地，所述初始化所述标签训练图像样本和非标签训练图像样本数据的步骤包括：
初始化概率矩阵p0，包括：构造一个矩阵元素(m，k)的n*l的矩阵，n为标签训练图像和非标签训练图像的总数目，l为总的类别数目，矩阵元素(m，k)表示的是第m个训练图像属于第k类的概率，其中，m≤n,k≤l。
可选地，所述对提取深度特征后的非标签图像样本进行类别估计，得到类别估计结果的步骤包括：
根据所述标签训练图像样本和非标签训练图像样本的深度特征构造相似矩阵t；
根据所述初始化概率矩阵p0和相似矩阵t，对提取深度特征后的非标签图像样本进行类别估计，得到最终的概率矩阵p。
可选地，所述根据所述类别估计结果，将可信度满足预设条件的非标签图像样本再次加入到卷积神经网络重新进行训练，得到半监督深度学习和未标注样本类别估计的模型的步骤包括：
获取所述最终的概率矩阵p中的可信样本；
将所有的可信样本，当作新的标签数据，加入到卷积神经网络的训练中重新训练卷积神经网络，得到半监督深度学习和未标注样本类别估计的模型。
本发明实施例还提出一种基于半监督深度学习的图像分类装置，包括存储器、处理器以及存储在所述存储器上的基于半监督深度学习的图像分类程序，所述基于半监督深度学习的图像分类程序被所述处理器运行时实现如下操作：
获取标签训练图像样本和非标签训练图像样本，得到标签训练集；
结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；
基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类。
可选地，所述基于半监督深度学习的图像分类程序被所述处理器运行时还实现如下操作：
将所述标签训练集输入并训练卷积神经网络模型，提取所述标签训练图像样本和非标签训练图像样本的深度特征；
对提取深度特征后的非标签图像样本进行类别估计，得到类别估计结果；
根据所述类别估计结果，将可信度满足预设条件的非标签图像样本再次加入到卷积神经网络重新进行训练，得到半监督深度学习和未标注样本类别估计的模型。
本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时实现如上所述的方法的步骤。
本发明提出的基于半监督深度学习的图像分类方法、装置和存储介质，通过获取标签训练图像样本和非标签训练图像样本，得到标签训练集；结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类，由此，通过结合深度学习以及半监督学习，建立统一的半监督深度学习和未标注样本类别估计的模型，可以更有效、准确地利用大量的未标注的样本，从而提高最后的图像识别效果。
相比现有技术，本发明具有如下优点：
1、相对于全监督深度学习，本发明更有效地利用了非标签样本数据，来加强网络模型的训练，避免了由于实际中标签训练样本数量的限制，而导致的最终识别精度不高的情况。其次，对于半监督学习，即非标签样本的估计，本发明采用了具有更高语义的深度特征，使得非标签样本的估计更加地准确可靠；
2、本发明学习了一个联合统一的模型，使得非标签数据的概率估计和深度网络的学习交替迭代地进行，既能有效地利用深度特征，同时也能发掘在非标签训练数据中的鉴别性信息，通过有效的半监督方法，能够把可靠的非标签样本加入到网络的学习中。
因此，与传统的技术方案相比，本发明方法更能利用隐藏在非标签训练数据中的鉴别信息，同时也能利用当前深度特征的高度可分性，从而获得更好的识别性能。
附图说明
图1是本发明提出的基于半监督深度学习的图像分类方法第一实施例的流程示意图；
图2是本发明实施例中卷积神经网络的作用示意图；
图3是本发明提出的基于半监督深度学习的图像分类方法第二实施例的流程示意图；
图4是本发明实施例主要处理流程示意图；
图5是本发明实施例中总的训练阶段的流程示意图；
图6是本发明实施例涉及的硬件运行环境示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：通过获取标签训练图像样本和非标签训练图像样本，得到标签训练集；结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类，由此，通过结合深度学习以及半监督学习，建立统一的半监督深度学习和未标注样本类别估计的模型，可以更有效、准确地利用大量的未标注的样本，从而提高最后的图像识别效果。
具体地，请参照图1，图1是本发明提出的一种基于半监督深度学习的图像分类方法第一实施例的流程示意图。
如图1所示，本发明第一实施例提出的一种基于半监督深度学习的图像分类方法，包括：
步骤s101，获取标签训练图像样本和非标签训练图像样本，得到标签训练集；
本发明实施例旨在如何更好地结合深度学习以及半监督学习，建立一个统一的半监督深度学习和未标注样本类别估计的模型，使得可以更有效、准确地利用大量的未标注的样本，从而提高最后的图像识别效果，主要包括两个方面的应用：字符识别和目标分类。
本发明实施例方案中，主要利用卷积神经网络训练下特征的高鉴别性，即较小的类内距离以及较大的类间距离，同时，以标签传播作为半监督的框架，对提取深度特征后的非标签样本进行类别估计，把可信度较高的非标签样本再次加入到卷积网络的训练中。
本发明实施例提出以下模型：
其中，xi表示第i个标签训练数据，
首先，获取标签训练图像样本和非标签训练图像样本，得到标签训练集，其中，标签训练集中标签训练图像样本和非标签训练图像样本可以通过矩阵方式体现。
步骤s102，结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；
具体地，将所述标签训练集输入并训练卷积神经网络模型，提取所述标签训练图像样本和非标签训练图像样本的深度特征；
对提取深度特征后的非标签图像样本进行类别估计，得到类别估计结果；
根据所述类别估计结果，将可信度满足预设条件的非标签图像样本再次加入到卷积神经网络重新进行训练，得到半监督深度学习和未标注样本类别估计的模型。
步骤s103，基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类。
之后，即可基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类。主要基于所述半监督深度学习和未标注样本类别估计的模型进行图像字符识别和图像目标分类。
与传统的技术方案相比，本发明方法更能利用隐藏在非标签训练数据中的鉴别信息，同时也能利用当前深度特征的高度可分性，从而获得更好的识别性能。
如图3所示，本发明第二实施例提出的一种基于半监督深度学习的图像分类方法，基于上述图1所示的实施例，在上述步骤s101：获取标签训练图像样本和非标签训练图像样本，得到标签训练集之后还包括：
步骤s100，初始化所述标签训练图像样本和非标签训练图像样本数据。
本发明实施例方法的实施分为以下两个大阶段：阶段1为初始化数据阶段，阶段2为训练阶段，主要处理流程如图4所示。
其中，初始化所述标签训练图像样本和非标签训练图像样本数据的步骤包括：
初始化概率矩阵p0，包括：构造一个矩阵元素(m，k)的n*l的矩阵，n为标签训练图像和非标签训练图像的总数目，l为总的类别数目，矩阵元素(m，k)表示的是第m个训练图像属于第k类的概率，其中，m≤n,k≤l。
然后，将所述标签训练集输入并训练卷积神经网络模型，提取所述标签训练图像样本和非标签训练图像样本的深度特征。对提取深度特征后的非标签图像样本进行类别估计。
其中，对提取深度特征后的非标签图像样本进行类别估计，得到类别估计结果的步骤包括：
根据所述标签训练图像样本和非标签训练图像样本的深度特征构造相似矩阵t；
根据所述初始化概率矩阵p0和相似矩阵t，对提取深度特征后的非标签图像样本进行类别估计，得到最终的概率矩阵p。
之后，获取所述最终的概率矩阵p中的可信样本；将所有的可信样本，当作新的标签数据，加入到卷积神经网络的训练中重新训练卷积神经网络，得到半监督深度学习和未标注样本类别估计的模型。
具体过程如下：
阶段1—初始化数据
初始化概率矩阵p0：构造一个n*l的矩阵，n为标签训练图像和非标签训练图像的总数目，l为总的类别数目，矩阵元素(m，k)表示的是第m个训练图像(可能为标签图像或者非标签图像)属于第k类的概率(m≤n,k≤l)，初始化时，将非标签数据属于各个类的概率都置零，标签数据在对应类上的概率为1，在其余类上的概率为零。
阶段2—训练阶段
在训练阶段，主要包括三个部分：
1：获取深度特征:更新函数f和
2：估计非标签样本的类别：更新概率矩阵p；
3：加入可信的非标签样本：重新训练卷积网络。
总的训练阶段的流程如图5所示：
首先，获取深度特征:更新函数f和
具体实现如下：
(1)获取深度特征
在获得标签训练集之后，可以训练卷积神经网络。本发明实施例采用当前存在的一些卷积神经网络，比如，对于字符识别，采用lenet网络。
在卷积神经网络训练好之后，便可以通过输入标签和非标签训练数据，以获得他们相应的深度特征。
(2)估计非标签样本的类别
在获得标签训练数据和非标签训练数据的深度特征之后，则可以构造相似矩阵。
具体地，本实施例采用表示训练样本i和j之间的相似性，通过欧式距离计算任意两个样本之间的距离，如果某两个样本之间的距离越近，则它们之间的权重则越大，数学公式为：
其中，xi或xj表示训练样本i和训练样本j，样本维度为d，σ是参数。得到权重矩阵w之后，通过进一步的归一化，使得它的任意一行的和为1，具体的数学公式为：
通过归一化后，t是一个对称矩阵。
通过初始化数据阶段，已经获得概率矩阵p0，结合上述的相似矩阵t，通过以下两步得到最终的概率矩阵p：
①、标签的传播计算，具体公式为：
pt+1＝t*pt；
在这里，pt+1表示pt的下一次运算结果，符号‘*’表示点积运算。
由于①的计算，改变了标签数据在对应类别上的概率为1的事实，因此，需要把得到的概率矩阵在标签数据部分的概率，进行一个重置进行，即
(3)加入可信的非标签样本
通过估计非标签样本的类别，获得了最终的概率矩阵
之后，把所有的可信样本，当作新的标签数据，加入到卷积神经网络的训练中，重新训练卷积神经网络。
本实施例通过上述方案，通过获取标签训练图像样本和非标签训练图像样本，得到标签训练集；结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类，由此，通过结合深度学习以及半监督学习，建立统一的半监督深度学习和未标注样本类别估计的模型，可以更有效、准确地利用大量的未标注的样本，从而提高最后的图像识别效果。
相比现有技术，本发明具有如下优点：
1、相对于全监督深度学习，本发明更有效地利用了非标签样本数据，来加强网络模型的训练，避免了由于实际中标签训练样本数量的限制，而导致的最终识别精度不高的情况。其次，对于半监督学习，即非标签样本的估计，本发明采用了具有更高语义的深度特征，使得非标签样本的估计更加地准确可靠；
2、本发明学习了一个联合统一的模型，使得非标签数据的概率估计和深度网络的学习交替迭代地进行，既能有效地利用深度特征，同时也能发掘在非标签训练数据中的鉴别性信息，通过有效的半监督方法，能够把可靠的非标签样本加入到网络的学习中。
因此，与传统的技术方案相比，本发明方法更能利用隐藏在非标签训练数据中的鉴别信息，同时也能利用当前深度特征的高度可分性，从而获得更好的识别性能。
下面结合具体的实验结果对本发明实施例方案作进一步的说明：
将本发明与现有的全监督字典学习技术(fddl,crc)，半监督字典学习技术(dssdl)，以及全监督的卷积神经网络(如下面实验所述的lenet)作比较，实验将字符识别和目标分类两大视觉任务上比较它们的识别精度。
为了比较客观公正，本实验中仍然采用标准数据库mnist字符库和cifar-10目标分类数据库。
字符识别：
mnist字符库中包含10个类别，共有6万张训练图像，和1万张测试图像。为了满足实际的情况，即非标签样本的数目是远超于标签样本的数量，详细实验设置为：
a.对于该数据集中的每个类别，随机选取100张字符图像作为训练集；
b.在剩余的训练样本中，随机选取两万张图像作为非标签训练集；
c.每组实验重复十次，计算得出最后的平均识别率和标准差。
目标分类：
cifar-10数据库包含10个类别，共有6万张32*32大小的彩色图像，包含5万张训练图像，和1万张测试图像，其中每类都有6千张图像。采用与字符识别实验中同样的设置。
两种任务的识别精度比较汇总在下表1，从表1可以看到，本发明的识别精度在两种不同任务下均高于其它实验方法，尤其是目标分类任务，识别精度要远高于其他的全监督字典学习的方法，包括仅深度学习方法lenet，这是因为全监督字典学习的方法很依赖于标签训练样本的数目，当标签数目较少时，所学的分类器鉴别性较弱。
表1两种任务下的识别精度(％)比较
相比现有技术，本发明采用统一的半监督深度学习模型，有效地整合了非标签样本的估计和高鉴别性的深度学习方法，通过深度特征的高鉴别性特点，来估计非标签样本的类别，把可靠的非标签样本作为标签训练数据，再次训练深度学习网络，相当于增加了标签训练数据的样本个数，同时更好地利用实际中大量存在的非标签样本；此外，本发明有效地利用了半监督学习中的标签传播方法，使得深度特征的学习和半监督学习交替地进行，即标签传播并不是基于传统的图像特征，而是基于具有高层语义的深度特征，因此非标签样本的估计将会更加地准确。
此外，本发明实施例还提出一种基于半监督深度学习的图像分类装置，包括存储器、处理器以及存储在所述存储器上的基于半监督深度学习的图像分类程序，所述基于半监督深度学习的图像分类程序被所述处理器运行时实现如下操作：
获取标签训练图像样本和非标签训练图像样本，得到标签训练集；
结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；
基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类。
具体地，如图6所示，本实施例基于半监督深度学习的图像分类装置可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图6中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及基于半监督深度学习的图像分类程序。
在图6所示的装置中，网络接口1004主要用于连接网络服务器，与网络服务器进行数据通信；用户接口1003主要用于与用户终端交互，接收用户输入的指令；而处理器1001可以用于调用存储器1005中存储的基于半监督深度学习的图像分类程序，并执行以下操作：
获取标签训练图像样本和非标签训练图像样本，得到标签训练集；
结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；
基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于半监督深度学习的图像分类程序，并执行以下操作：
将所述标签训练集输入并训练卷积神经网络模型，提取所述标签训练图像样本和非标签训练图像样本的深度特征；
对提取深度特征后的非标签图像样本进行类别估计，得到类别估计结果；
根据所述类别估计结果，将可信度满足预设条件的非标签图像样本再次加入到卷积神经网络重新进行训练，得到半监督深度学习和未标注样本类别估计的模型。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于半监督深度学习的图像分类程序，并执行以下操作：
基于所述半监督深度学习和未标注样本类别估计的模型进行图像字符识别和图像目标分类。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于半监督深度学习的图像分类程序，并执行以下操作：
初始化所述标签训练图像样本和非标签训练图像样本数据，包括：
初始化概率矩阵p0，包括：构造一个矩阵元素(m，k)的n*l的矩阵，n为标签训练图像和非标签训练图像的总数目，l为总的类别数目，矩阵元素(m，k)表示的是第m个训练图像属于第k类的概率，其中，m≤n,k≤l。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于半监督深度学习的图像分类程序，并执行以下操作：
根据所述标签训练图像样本和非标签训练图像样本的深度特征构造相似矩阵t；
根据所述初始化概率矩阵p0和相似矩阵t，对提取深度特征后的非标签图像样本进行类别估计，得到最终的概率矩阵p；
获取所述最终的概率矩阵p中的可信样本；
将所有的可信样本，当作新的标签数据，加入到卷积神经网络的训练中重新训练卷积神经网络，得到半监督深度学习和未标注样本类别估计的模型。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被所述处理器运行时实现如下操作：
获取标签训练图像样本和非标签训练图像样本，得到标签训练集；
结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；
基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
将所述标签训练集输入并训练卷积神经网络模型，提取所述标签训练图像样本和非标签训练图像样本的深度特征；
对提取深度特征后的非标签图像样本进行类别估计，得到类别估计结果；
根据所述类别估计结果，将可信度满足预设条件的非标签图像样本再次加入到卷积神经网络重新进行训练，得到半监督深度学习和未标注样本类别估计的模型。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
基于所述半监督深度学习和未标注样本类别估计的模型进行图像字符识别和图像目标分类。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
初始化所述标签训练图像样本和非标签训练图像样本数据，包括：
初始化概率矩阵p0，包括：构造一个矩阵元素(m，k)的n*l的矩阵，n为标签训练图像和非标签训练图像的总数目，l为总的类别数目，矩阵元素(m，k)表示的是第m个训练图像属于第k类的概率，其中，m≤n,k≤l。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
根据所述标签训练图像样本和非标签训练图像样本的深度特征构造相似矩阵t；
根据所述初始化概率矩阵p0和相似矩阵t，对提取深度特征后的非标签图像样本进行类别估计，得到最终的概率矩阵p。
进一步地，所述计算机程序被所述处理器运行时还实现如下操作：
获取所述最终的概率矩阵p中的可信样本；
将所有的可信样本，当作新的标签数据，加入到卷积神经网络的训练中重新训练卷积神经网络，得到半监督深度学习和未标注样本类别估计的模型。
相比现有技术，本发明提出的基于半监督深度学习的图像分类方法、装置和存储介质，通过获取标签训练图像样本和非标签训练图像样本，得到标签训练集；结合深度学习以及半监督学习对所述标签训练集进行卷积神经网络训练，建立统一的半监督深度学习和未标注样本类别估计的模型；基于所述半监督深度学习和未标注样本类别估计的模型进行图像识别分类，由此，通过结合深度学习以及半监督学习，建立统一的半监督深度学习和未标注样本类别估计的模型，可以更有效、准确地利用大量的未标注的样本，从而提高最后的图像识别效果。
相比现有技术，本发明具有如下优点：
1、相对于全监督深度学习，本发明更有效地利用了非标签样本数据，来加强网络模型的训练，避免了由于实际中标签训练样本数量的限制，而导致的最终识别精度不高的情况。其次，对于半监督学习，即非标签样本的估计，本发明采用了具有更高语义的深度特征，使得非标签样本的估计更加地准确可靠；
2、本发明学习了一个联合统一的模型，使得非标签数据的概率估计和深度网络的学习交替迭代地进行，既能有效地利用深度特征，同时也能发掘在非标签训练数据中的鉴别性信息，通过有效的半监督方法，能够把可靠的非标签样本加入到网络的学习中。
因此，与传统的技术方案相比，本发明方法更能利用隐藏在非标签训练数据中的鉴别信息，同时也能利用当前深度特征的高度可分性，从而获得更好的识别性能。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。