一种基于fisher信息矩阵的主动深度学习方法
【技术领域】
[0001] 本发明涉及多分类高斯分布数据技术领域，具体来说，涉及一种基于fisher信息 矩阵的主动深度学习方法。
【背景技术】
[0002] 许多研究表明，为了能够学习表示高阶抽象概念的复杂函数，解决目标识别，语音 感知和语音理解等人工智能相关的任务，需要引入深度学习，深度学习是通过大量的简单 神经元组成，每层的神经元接收更底层的神经元的输入、通过输入与输出之间的非线性关 系，将底层特征组合成更高层的抽象表示，并发现观测数据的分布式特征。通过自下而上的 学习形成多层的抽象表示，并多层次的特征学习是一个自动的无人干预的过程。根据学习 到的网络结构，系统将输入的样本数据映射到各种层次的特征，并利用分类器或者匹配算 法对顶层的输出单元进行分类识别等。
[0003] 此外，主动学习的理论研究对于深入理解机器学习中的许多重要理论问题，例如， 如何降低样本复杂度，如何处理小样本数据集，不平衡数据的学习问题，标注数据的有效利 用，监督学习和无监督学习之间的联系等都有非常重要的指导意义。
[0004] 因此，研发一种主动深度学习方法，尤其是一种基于fisher信息矩阵（费希尔信 息矩阵）的主动深度学习方法就变得尤为重要。
【发明内容】
[0005] 本发明的目的在于提供一种基于fisher信息矩阵的主动深度学习方法，以克服 现有技术中的上述技术问题。
[0006] 本发明的技术方案是这样实现的： 一种基于fisher信息矩阵的主动深度学习方法，包括以下步骤：选取若干不同的高斯 分布函数，构建训练样本和测试样本；利用稀疏自动编码器，对所述训练样本进行无监督自 编码深度网络学习，并在进行无监督自编码深度网络学习之后，再次对训练样本进行监督 自编码深度网络学习，得出训练样本分类结果；利用稀疏自动编码器，将所述测试样本输入 深度网络，得到测试样本分类结果，并利用fisher信息矩阵算法公式，从测试样本分类结 果中选取最小泛化误差样本；将选取的所述最小泛化误差样本加入到所述训练样本分类结 果中。
[0007] 此外，所述的基于fisher信息矩阵的主动深度学习方法，还包括：在将选取的所 述最小泛化误差样本加入到所述训练样本分类结果中后，将测试样本中的该最小泛化误差 样本进行删除。
[0008] 另外，所述的基于fisher信息矩阵的主动深度学习方法，还包括：在将选取的所 述最小泛化误差样本加入到所述训练样本分类结果中后，对训练样本分类结果进行分析， 并分析结果为训练样本分类结果与预定要求（可以设定为准确精度或者循环次数）相符的 情况下，终止训练，而在分析结果为训练样本分类结果与预定要求不符的情况下，循环利用 稀疏自动编码器和fisher信息矩阵算法公式对训练样本和测试样本进行训练。
[0009] 在上述方案中，选取若干不同的高斯分布函数为选取至少两种不同的高斯分布函 数。
[0010] 本发明的有益效果：通过深度学习加 fisher信息矩阵，以统计渐进理论为基础， 以最小化泛化误差为目标，建立一个有效的输入样本主动查询标准，对数据的分类精度也 有一定的提高。而在深度学习的基础上再加入主动学习，在主动学习中，学习器不再是被动 接收由用户提供的训练数据，而是主动要求用户对那些最有价值的数据进行标记，从而显 著的减少了所需的样本数。
【附图说明】
[0011] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获 得其他的附图。
[0012] 图1是根据本发明实施例的一种基于fisher信息矩阵的主动深度学习方法的流 程不意图。
【具体实施方式】
[0013] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的 范围。
[0014] 根据本发明的实施例，提供了一种基于fisher信息矩阵的主动深度学习方法。
[0015] 如图1所示，根据本发明实施例的基于fisher信息矩阵的主动深度学习方法包括 以下步骤： 步骤S101、选取若干不同的高斯分布函数，构建训练样本和测试样本； 步骤S103、利用稀疏自动编码器，对所述训练样本进行无监督自编码深度网络学习，并 在进行无监督自编码深度网络学习之后，再次对训练样本进行监督自编码深度网络学习， 得出训练样本分类结果； 步骤S105、利用稀疏自动编码器，将所述测试样本输入深度网络，得到测试样本分类结 果，并利用fisher信息矩阵算法公式，从测试样本分类结果中选取最小泛化误差样本； 步骤S107、将选取的所述最小泛化误差样本加入到所述训练样本分类结果中。
[0016] 此外，所述的基于fisher信息矩阵的主动深度学习方法，还包括：在将选取的所 述最小泛化误差样本加入到所述训练样本分类结果中后，将测试样本中的该最小泛化误差 样本进行删除。
[0017] 另外，所述的基于fisher信息矩阵的主动深度学习方法，还包括：在将选取的所 述最小泛化误差样本加入到所述训练样本分类结果中后，对训练样本分类结果进行分析， 并分析结果为训练样本分类结果与预定要求相符的情况下，终止训练，而在分析结果为训 练样本分类结果与预定要求不符的情况下，循环利用稀疏自动编码器和fisher信息矩阵 算法公式对训练样本和测试样本进行训练。
[0018] 在上述方案中，选取若干不同的高斯分布函数为选取至少两种不同的高斯分布函 数。
[0019] 为了方便理解本发明的上述技术方案，以下通过具体原理对本发明的上述技术方 案进行详细说明。
[0020] 具体使用时：1)基于稀疏自编码算法： 自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输 入值，比如y = X。自编码神经网络尝试学习一个hw,b(x)的函数，Ovb(X)是输入为X的假 设输出，其中包含参数w，b，该输出应当与目标值y具有相同的维数，w是权重参数，b是相 对应的偏置向量，）即尝试逼近一个恒等函数，从而使输出f接近于输入X。在隐藏层神经 元数目较多的情况下，隐藏神经元加入稀疏性限制，自编码神经网络可以学习到数据的稀 疏表示形式。此时隐含层就是输入数据的重新表示，即学习到的新特征。因此，自编码神经 网络的目标函数为：
其中，J(W，b)是整体样本代价函数，它包含权重衰减项。
[0021 ] 使用表示隐藏神经元j的激活度，使用表示在给