一种基于随机反馈的限制玻尔兹曼机学习方法与装置与流程

本发明涉及人工智能技术领域，特别地，涉及一种基于随机反馈的限制玻尔兹曼机学习方法与装置。

背景技术：

限制玻尔兹曼机(Restricted Boltzmann Machine，RBM)学习是人工智能研究较为年轻的分支，自21世纪以来，在生物特征提取、智能搜索引擎、医学机器诊断、自动检测信用卡欺诈、证券市场决策分析、DNA序列测序、语音和手迹识别等方面有着成功的应用。在这些应用背后，执行一个高效的机器学习过程变得十分关键，期待机器完成任务越复杂，这个过程也就越困难，持续时间就越长，直接制约了模型应用的可行性和实用性。RBM在无监督机器学习领域得到人们的广泛关注，在非结构化模式降维和特征化中得以普遍应用。人们对于特征的“价值取向”是因任务而异的，降维和特征提取方法不能一成不变。如何改进RBM学习方法，更快地训练得到收敛性更高的机器模型成为一个期待解决的先要问题。

限制玻尔兹曼机的训练过程目标是“求样本分布参数的极大似然估计”，即使得目标参数要尽量满足现有样本集合有极大发生概率。这就意味着通过采样函数得到的单个样本也应该有极大概率，至少是局部极大值点，这样才能保障在此条件下求得的参数可能是极大似然估计。然而，已有文献上的k阶梯对比散度方法及其变体均对于k次反向采样得到的样本缺乏评价，将其直接参与梯度上升学习过程，这样导致了2个缺点：一，对任何训练样本统统执行k次采样，在k>1时，需要执行固定数量的采样，学习效率低下，也常常导致一个较长时间的学习过程；二，对于反向采样的样本缺乏评价和比较，无法保证参与参数梯度学习样本的局部最优性，学习机目标函数实现不了有效和平稳收敛，直接影响了降维模型的重构性能。

针对现有技术中限制玻尔兹曼机学习效率低下、不能有效平稳收敛的问题，目前尚未有有效的解决方案。

技术实现要素：

有鉴于此，本发明的目的在于提出一种基于随机反馈的限制玻尔兹曼机学习方法与装置，能够提高限制玻尔兹曼机的学习效率并有效平稳收敛到极大似然估计。

基于上述目的，本发明提供的技术方案如下：

根据本发明的一个方面，提供了一种基于随机反馈的限制玻尔兹曼机学习方法，包括：

获取所有训练样本并初始化限制玻尔兹曼机的模型参数；

选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本；

根据局部最优的重构样本修正模型参数，并选取下一训练样本进行反馈采样；

对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计。

在一些实施方式中，所述限制玻尔兹曼机的模型参数包括可见层偏置的梯度矢量、隐藏层偏置的梯度矢量与连接矩阵偏置的梯度矩阵。

在一些实施方式中，所述选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本包括：

选取训练样本作为当前样本，同时初始化误差2-范数与采样计数器；

使用限制玻尔兹曼机对当前样本先后进行正向采样和反向采样，获得更新样本；

计算更新样本与训练样本的误差2-范数，并累加采样计数器；

将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优。

在一些实施方式中，所述将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优为：将更新样本作为当前样本迭代进行正向采样和反向采样，直到更新样本与训练样本的误差2-范数大于当前样本与训练样本的误差2-范数，且当前样本与训练样本的误差2-范数不为零时终止；并将当前样本作为局部最优的重构样本。

在一些实施方式中，所述根据局部最优的重构样本修正模型参数包括可见层偏置的各个分量、隐藏层偏置的各个分量与连接矩阵偏置的梯度矩阵分量。

根据本发明的另一个方面，提供了一种基于随机反馈的限制玻尔兹曼机学习装置，包括：

启动模块，用于获取所有训练样本并初始化限制玻尔兹曼机的模型参数；

采样模块，用于选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本；

修正模块，用于根据局部最优的重构样本修正模型参数，并选取下一训练样本进行反馈采样；

循环模块，连接至采样模块与修正模块，用于对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计。

在一些实施方式中，所述限制玻尔兹曼机的模型参数包括可见层偏置的梯度矢量、隐藏层偏置的梯度矢量与连接矩阵偏置的梯度矩阵。

在一些实施方式中，所述采样模块包括：

启动单元，用于选取训练样本作为当前样本，同时初始化误差2-范数与采样计数器；

采样单元，用于使用限制玻尔兹曼机对当前样本先后进行正向采样和反向采样，获得更新样本；

更新单元，用于计算更新样本与训练样本的误差2-范数，并累加采样计数器；

迭代单元，用于将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优。

在一些实施方式中，所述迭代单元将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优为：将更新样本作为当前样本迭代进行正向采样和反向采样，直到更新样本与训练样本的误差2-范数大于当前样本与训练样本的误差2-范数，且当前样本与训练样本的误差2-范数不为零时终止；并将当前样本作为局部最优的重构样本。

在一些实施方式中，所述根据局部最优的重构样本修正模型参数包括可见层偏置的各个分量、隐藏层偏置的各个分量与连接矩阵偏置的梯度矩阵分量。

从上面所述可以看出，本发明提供的技术方案通过使用获取所有训练样本并初始化限制玻尔兹曼机的模型参数，选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本，根据局部最优的重构样本修正模型参数并选取下一训练样本进行反馈采样，对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计的技术手段，不固定数量的采样并且对反向采样样本进行评价和比较，能够提高限制玻尔兹曼机的学习效率并有效平稳收敛到极大似然估计。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种基于随机反馈的限制玻尔兹曼机学习方法的流程图；

图2为根据本发明实施例的一种基于随机反馈的限制玻尔兹曼机学习方法中，限制玻尔兹曼机的可见层与隐藏层的连接关系图；

图3为根据本发明实施例的一种基于随机反馈的限制玻尔兹曼机学习方法中，限制玻尔兹曼机进行正向采样和反向采样的流程图；

图4为根据本发明实施例的一种基于随机反馈的限制玻尔兹曼机学习装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进一步进行清楚、完整、详细地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个实施例，提供了一种基于随机反馈的限制玻尔兹曼机学习方法。

如图1所示，根据本发明实施例提供的基于随机反馈的限制玻尔兹曼机学习方法包括：

步骤S101，获取所有训练样本并初始化限制玻尔兹曼机的模型参数；

步骤S103，选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本；

步骤S105，根据局部最优的重构样本修正模型参数，并选取下一训练样本进行反馈采样；

步骤S107，对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计。

在一些实施方式中，所述限制玻尔兹曼机的模型参数包括可见层偏置的梯度矢量、隐藏层偏置的梯度矢量与连接矩阵偏置的梯度矩阵。

对训练集合应用基于评价的采样方法，则该集合基于反馈的对比发散学习过程用表示，步骤如下：

(1)：初始化模型参数可见层偏置的梯度矢量，Δb＝0；

(2)：初始化模型参数隐藏层偏置的梯度矢量，Δc＝0；

(3)：初始化模型参数连接矩阵偏置的梯度矩阵，ΔW＝0；

(4)：遍历训练样本集合中所有样本，

(4-1)：执行反馈采样，

(4-2)：更新可见层偏置的各个分量，for i＝1ton_x：Δb_i＝Δb_i+x_i⁽⁰⁾-x_i^(k)；

(4-3)：更新隐藏层偏置的各个分量，

for j＝1to n_h：Δc_j＝Δc_j+P(h_j＝1|x⁽⁰⁾)-P(h_j＝1|x^(k))

(4-4)：更新连接矩阵偏置的梯度矩阵分量，

for i＝1ton_x；j＝1ton_h：ΔW_i,j＝ΔW_i,j+P(h_j＝1|x⁽⁰⁾)x_i⁽⁰⁾-P(h_j＝1|x^(k))x_i^(k)；

(5)：直至中样本均被遍历。

图2示出的玻尔兹曼机是基于统计物理学，是一种源于能量函数的建模，能量函数通过玻尔兹曼分布表达属性之间的统计关系。如图3所示，通过正向过程采样和反向过程重构，瞄准训练样本集合的对数似然函数最大化而执行概率的梯度上升过程(自由能量梯度下降)不断修正网络参数，直至得到分布参数的极大似然估计。无论是算法还是逻辑结构都具备相当完备的物理阐释和严密的数理统计理论依据。

在一些实施方式中，所述选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本包括：

选取训练样本作为当前样本，同时初始化误差2-范数与采样计数器；

使用限制玻尔兹曼机对当前样本先后进行正向采样和反向采样，获得更新样本；

计算更新样本与训练样本的误差2-范数，并累加采样计数器；

将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优。

在一些实施方式中，所述将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优为：将更新样本作为当前样本迭代进行正向采样和反向采样，直到更新样本与训练样本的误差2-范数大于当前样本与训练样本的误差2-范数，且当前样本与训练样本的误差2-范数不为零时终止；并将当前样本作为局部最优的重构样本。

本发明实施例在反向采样过程中引入误差距离评价机制。如图2与图3所示，x就是网络的输入，h就是网络的输出，RBM的输出和输入是通过采样来完成，x采样得到h(positive phrase)，h反向采样(重构)得到x'(negative phrase)，计算x和x'的相似度，能从一定程度反映该次反向采样的优劣；反向采样开始时刻，初始化误差距离初值，δ＝0；每完成一次反向采样，就计算一次误差距离，通过一系列采样，如果距离一直在减少，在该训练样本附近，存在一组最佳参数，使得反向采样样本和起始样本距离最近，也就起始点样本有极值概率；当距离变化方向改变，即“减少变增加”，则说明参数开始逃离“最优”，则终止采样，最优参数对应的采样已经找到，基于它进行梯度计算。该过程对采样进行了评价，评价指标是和起点的“距离”(2-范数)。在这个过程中，终止于多少次反向采样，实际上变成随机数，完全决定于训练样本的质量，同时每次都进行了评价和反馈。

从样本出发，通过若干次采样和重构，得到某个局部最优的重构样本。用

表示，步骤如下：

(1)：保留起始样本，

(2)：初始化误差距离和采样计数器，δ'＝δ＝0；t＝0；

(3)：执行随机采样循环过程；do{

(3-1)：正向采样；h^(t)＝sampe_positive(x^(t),RBM(b,W,c))；

(3-2)：反向采样(重构)：x^(t+1)＝sampe_negative(h^(t),RBM(b,W,c))

(3-3)：缓存上次的误差距离；δ'＝δ；

(3-4)：计算当次重构的误差距离，δ＝||x^(t+1)-x⁽⁰⁾||

(3-5)：次数递增，t＝t+1；

(3-6)：如果上次距离非0且误差距离比上次增加，则终止，否则继续采样过程：}while(δ'＞0andδ'＜δ)

(4)：输出x^(t+1)。

在一些实施方式中，所述根据局部最优的重构样本修正模型参数包括可见层偏置的各个分量、隐藏层偏置的各个分量与连接矩阵偏置的梯度矩阵分量。

根据本发明的另一个实施例，提供了一种基于随机反馈的限制玻尔兹曼机学习系统，数据传输系统使用分布式网络结构构建，包括多个等同的节点。

如图4所示，根据本发明实施例提供的基于随机反馈的限制玻尔兹曼机学习系统包括：

启动模块41，用于获取所有训练样本并初始化限制玻尔兹曼机的模型参数；

采样模块42，用于选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本；

修正模块43，用于根据局部最优的重构样本修正模型参数，并选取下一训练样本进行反馈采样；

循环模块44，连接至采样模块42与修正模块43，用于对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计。

在一些实施方式中，所述限制玻尔兹曼机的模型参数包括可见层偏置的梯度矢量、隐藏层偏置的梯度矢量与连接矩阵偏置的梯度矩阵。

在一些实施方式中，所述采样模块包括：

启动单元，用于选取训练样本作为当前样本，同时初始化误差2-范数与采样计数器；

采样单元，用于使用限制玻尔兹曼机对当前样本先后进行正向采样和反向采样，获得更新样本；

更新单元，用于计算更新样本与训练样本的误差2-范数，并累加采样计数器；

迭代单元，用于将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优。

在一些实施方式中，所述迭代单元将更新样本作为当前样本迭代进行正向采样和反向采样直到达到局部最优为：将更新样本作为当前样本迭代进行正向采样和反向采样，直到更新样本与训练样本的误差2-范数大于当前样本与训练样本的误差2-范数，且当前样本与训练样本的误差2-范数不为零时终止；并将当前样本作为局部最优的重构样本。

在一些实施方式中，所述根据局部最优的重构样本修正模型参数包括可见层偏置的各个分量、隐藏层偏置的各个分量与连接矩阵偏置的梯度矩阵分量。

综上所述，借助于本发明上述的技术方案，通过使用获取所有训练样本并初始化限制玻尔兹曼机的模型参数，选取训练样本使用限制玻尔兹曼机进行反馈采样，获得局部最优的重构样本，根据局部最优的重构样本修正模型参数并选取下一训练样本进行反馈采样，对所有训练样本执行反馈采样与模型参数修正，输出模型参数的极大似然估计的技术手段，不固定数量的采样并且对反向采样样本进行评价和比较，能够提高限制玻尔兹曼机的学习效率并有效平稳收敛到极大似然估计。