基于贝叶斯正则化的深度学习网络图像识别方法
【专利摘要】基于贝叶斯正则化的深度学习网络图像识别方法属于人工智能和机器学习领域。深度信念网络越来越多的在数字检测及图像识别领域发挥重要作用。为了解决该网络在训练过程中的过拟合问题，本文基于网络的稀疏特性及连接权值的变化，提出一种基于贝叶斯正则化的深度信念网。通过将贝叶斯正则化应用到网络训练过程中，有效地调节误差减小与权值增大之间的平衡。本文使用数字手写体数据库的分类实验来证明该改进算法的有效性。实验结果表明在深度信念网中，该方法能够有效克服过拟合现象，提高数字识别的正确率。
【专利说明】基于贝叶斯正则化的深度学习网络图像识别方法
【技术领域】
[0001]本发明利用基于贝叶斯正则化(Bayesian Regularizat1n)的深度学习网络(Deep BeliefNetwork, DBN)实现手写体数字图像的识别和分类。神经网络是人工智能和神经计算领域的重要方法，图像检测和识别是机器学习领域的重要任务之一，因此本发明属于人工智能和机器学习领域。
【背景技术】
[0002]数字识别技术在很多行业中占有一席之地，例如教育，交通运输，商业，邮政和银行等。数字的自动识别的实现和应用为人们的生活提供了重要的便利，与人们的生活息息相关，被广泛应用于车辆和道路的号码检测，个人成绩单的自动识别等。与印刷体的数字识别相比，手写体的数字识别由于其复杂性，多样性和不确定性，一直是该领域的重点和难点。手写体数据库数量不多但样本复杂，因此成为检验新技术和新方法的重要工具。
[0003]深度神经网络(DBN)能够以一种较好的方式模拟人类大脑的工作模式对数据进行分类和识别，且成功避免维数灾难问题，已成功应用于多种模式分类问题，其在信号处理中的应用对象不仅包含语音、图像和视频，同样也包含文本、语言和传递人类可获知的语义信息。但在手写体数字识别任务中，深度神经网络的过拟合现象影响正确识别率，网络的识别能力有待提高。针对这个问题，国内外学者提出许多改进方案，例如快速平稳的CD准则通过引入辅助变量来改进训练过程中的混合速率，稀疏性受限玻尔兹曼机通过在最大自然函数中引入惩罚项来减小次要神经元的作用。越来越多的工作表明，网络参数的正确设置与否，会在很大程度上影响结果。
[0004]过拟合是神经网络训练过程中的常见问题之一，为了提高网络泛化能力，传统的方式有简化网络结构和提前停止训练等方法，这些方法在不同程度上发挥作用，但不易于推广。贝叶斯正则化方法通过在训练中减小网络权值，有效抑制不重要的神经元发挥作用，从而达到抑制过拟合现象的目的。为了解决DBN网络在应用于手写体数字识别任务中的过拟合现象，本发明设计了一种基于贝叶斯正则化的DBN网络，通过引入贝叶斯正则化项，有效调节训练过程中的误差减小和权值增加之间的平衡，设置合适的性能参数α和β，提高识别正确率，实现对数字图像的识别。
【发明内容】
[0005]本发明的目的在于通过提出一种基于贝叶斯正则化的深度神经网络学习方法，改进DBN网络训练目标函数，通过分析连接权值的变化趋势，调节训练过程中训练误差减小与权值增大之间的平衡，保证网络中稀疏连接发挥作用，抑制过拟合现象的发生，提高网络泛化能力，增加对数字图像的识别准确度。
[0006]本发明采用了如下的技术方案及实现步骤:
[0007]基于贝叶斯正则化的深度神经网络学习方法，包括以下步骤:
[0008](I确定输入对象及网络结构。采用含有两个隐含层的DBN网络，以数字图像作为网络输入，输入层神经元数量为一张图像含有的像素点数，设置隐含层神经元数，为保证训练精度，一般大于100，但如果太大则会造成过拟合，输出层为类别数量。
[0009](2基于贝叶斯正则化的无监督训练步骤。根据已知的DBN运算准则，首先初始化网络权值及阈值为[0，1]区间的随机值，当信号从可视层传入隐含层，公式(I)为由已知的可视层节点得到的隐含层节点的值:
【权利要求】
1.基于贝叶斯正则化的深度学习网络图像识别方法，其特征在于: 1)确定网络结构:采用含有两个隐含层的DBN网络，输入层神经元数量为一张图像含有的像素点数，设置隐含层神经元数，大于100 ； 改进DBN网络训练目标函数；该DBN由多个叠加的受限玻尔兹曼机，以下简称RBM，和一个输出层组成；DBN的训练过程分为两步:首先，使用无监督学习方法训练每一层受限玻尔兹曼机，且每个RBM的输入为上一个RBM的输出，即每一层RBM都要单独训练；第二，使用最后一层网络接收最后一个RBM的输出，用有监督的方式反向训练整个网络，对其进行微调；具体步骤如下: 2).首先，初始化网络权值及阈值为[0，1]区间的随机值，当信号从可视层传入隐含层，公式(I)为由已知的可视层节点得到的隐含层节点的值:
第二，将信号从隐含层反传回可视层；由于RBM是对称网络，因此可以得到由隐含层节点得到可视层节点的值，见公式(2):
式(I)为由已知的可视层节点得到的隐含层节点的值，(2)为由隐含层节点得到可视层节点的值中Wi和Ci分别对应每一个RBM网络中可视层第i个节点的取值和阈值，hj和bj分别对应网络中隐含层第j个节点的取值和阈值，wu为可视节点i和隐藏节点j之间的权值，表示两个神经元之间连接信号的强弱，上述值在训练之前需初始化，均取[0，1]之间的随机值，P (hj = I)表示隐含层节点hj取值为I的概率，P (Vi = I)表示可视层节点Vi取值为I的概率； 公式(3)为可视层的特征向量V和隐含层的特征向量h的联合概率分布，在训练过程中计算其极小值，为改进算法之前的目标函数:
式中P(v，h)为函数运算目标，表示可视层和隐含层的联合概率分布，W是可视层和隐含层之间的权值矩阵，V和h分别为网络可视层和隐含层神经元的取值向量，c和b分别为网络可视层和隐含层神经元的阈值向量，T表示转置，E(v, h)是特征向量V和h的数学期望值，其绝对值的大小代表h能够保存的V的信息的多少，~表示正相关； 基于贝叶斯正则化的网络训练方法见公式(4)、(5)、(6)，其中目标函数为:
Fw = a P+ β Eff (4) 式中，P为函数(3), Ew为贝叶斯正则项，α和β是性能参数，α+β =1且α > β ,分别用于控制训练过程中训练误差的变化和权值的变化；公式(4)中的P和Ew分别见(5)和(6),
式(6)中，m为单个样本的像素数量，η为隐含层节点数量； 利用马尔科夫链蒙特卡洛方法，以下简称MCMC，使RBM的可视层和隐含层互为条件进行交替求解，当其共同趋于平稳状态时，P (V，h)达到最大，然后求得P (V，h)与初始状态的联合概率分布的斜率alogp(v,h)/aθ’使用公式(7)更新权值及阈值:
式⑵为权值更新公式，其中，Θ = (W，b，C)，表示训练过程中的权值和阈值矩阵，τ为迭代次数，Η为学习速度； 用if表示第i个可视层单元在t时刻的特征向量，v°是t = O时刻的可视层特征向量即RBM的输入，h°是由v°根据公式⑴得到的隐含层特征向量，V1是在t = I时刻由11°根据公式(2)得到的可视层特征向量，以此类推，V00和h~分别是t =C?即稳定状态的可视层和隐含层的特征向量，公式(7)中的斜率由公式(8)计算得出:
式中，<hV1〉为输入特征向量与其对应的隐含层特征向量的点乘的平均值，^00V00)为马尔可夫链末端可视层特征向量与其对应的隐含层特征向量的乘积的平均值，已知<h00 V00〉是收敛的；由公式⑶可知，联合概率分布的斜率与中间状态无关，只与网络的初始状态和最终状态有关；于是权值及阈值更新公式为:
式中参数意义同公式(7)； 根据⑶快速运算准则，再运行一次公式(I)，将信号重新传给隐含层，得到新的P (hj =1)，利用(9)更新权值，至此第一层RBM训练完毕；将数据输出给第二个隐含层，重复上述步骤，训练第二层RBM，直至所有隐含层训练完毕； 3).有监督训练步骤: 根据已知的误差反向传播进行实现，首先，将输入向量沿输入端传至输出端；然后使用反向传播，计算网络的输出结果与带有标签的正确结果的误差，将误差从输出端反向传播至输入端，以修改DBN的参数；具体实现步骤如下； ①初始化BP网络的参数，设定步长A； ②前向传播，对于第I层的j单元节点，有
式中，首先判断神经元属于某一输出层为当前迭代步数，表示第I层第j个神经元的实际输出值，令dj (a)为理想输出值即正确信息，则误差
③计算权值调整大小S，然后使用反向传播调整参数； 对于输出神经元有:
对于非输出层神经兀有:
式(11)、(12)中，e」(a)为第a步中第j个神经元的误差，(Ω):表示第I层第j个神经元的实际输出值，W^i(Ci)表示第a步第1+1层第j个神经元和第I层第i个神经元的权值，考(《)表示第a步第I层第j个神经元的权值调整值，Sr Ho)表示第a步第1+1层第i个神经元的权值调整值，Σ为加和符号； ④权值调整:
η为学习速率，+ I)为第a+ι迭代步数的权值，即调整后的权值，Μ$(β)表示第a步第I层第j个神经元和第1-1层第i个神经元的权值，Sf表示第I层第j个神经元的权值调整值，表示第a步第1-1层第i个神经元的实际输出值； ⑤如果a= A,则训练结束,反之，a = a+1,返回步骤②。
【文档编号】G06N3/08GK104077595SQ201410266127
【公开日】2014年10月1日 申请日期:2014年6月15日 优先权日:2014年6月15日
【发明者】乔俊飞, 潘广源, 韩红桂, 柴伟 申请人:北京工业大学