一种能对特征进行自主决策的无监督学习算法

本发明涉及信息，具体讲是一种基于自主学习理论，对现有的深度置信网络进行了改进的addbn算法。

背景技术：

1、深度置信网络(deep belief networks，dbn)是由多层rbm组成，通常第一层为可见层，其余为隐含层。可见层作为输入接受层，用来接收输入信号，然后再将信号传输到隐藏层进行处理，隐藏层的层数是不固定的，由所处理数据的规模大小决定。一般来说，可见层和第一个隐藏层构成第一个rbm，第一个隐藏层和第二个隐藏层构成第二个rbm，依次连接，保证同层神经元无连接，层与层之间全连接。多个rbm组合可以提取出更合适更利于分类的特征，并最终将提取的特征数据输出。但dbn对优化后的特征缺乏好的分类处理能力。

技术实现思路

1、因此，为了解决上述不足，本发明在此提供一种能对特征进行自主决策的无监督学习算法；本发明所要解决的技术问题是：传统dbn本身的分类决策能力较弱。

2、本发明是这样实现的，构造一种能对特征进行自主决策的addbn算法，其特征在于；所述addbn算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策，所述addbn的步骤如下：

3、(1)确定学习目标，具体来说就是读取样本数据，并对addbn模型进行初始化操作，主要包括对样本数据的处理(归一化操作等)和划分(分为训练集和测试集)，初始化网络权值和偏移项；

4、(2)制定学习方法和学习基本原则，即对addbn模型中网络层数的选择，激励函数的选取，隐藏层神经元个数初始值和结束值的确定、学习率以及迭代次数的选择；

5、(3)对addbn模型执行隐藏层神经元个数自主选择算法，确定每一层隐藏层的神经元个数；

6、(4)重新初始化网络参数，并训练dbn模型，将dbn最高隐藏层的数据输出出来；

7、(5)以(4)的输出作为输入，训练决策树模型；

8、(6)将测试样本数据输入模型，依据步骤对样本数据进行训练并输出分类结果，检验模型的泛化能力。

9、根据本发明所述一种能对特征进行自主决策的addbn算法，其特征在于；其中在dbn模块中，最为核心的是rbm的迭代过程：

10、rbm的可见层共有p个单元，隐藏层中有q个单元；可以得到rbm的能量函数如式(5-1)：

11、

12、其中vi和hj分别代表可见层单元和隐藏层单元，wif表示隐藏层单元和可见层单元之间的权重，ai表示可见层单元vi的偏置项，而bj则表示隐藏层单元hj的偏置项；

13、因为每一层之间都是相互独立的，所以容易得到(v,h)的联合概率分布，具体如式(5-2)：

14、

15、其中z表示可见层和隐藏层之间能量值的总和，具体计算如式5-3：

16、z＝∑v,he-e(v,h)  (5-3)

17、由于层间的单元并不互相连接，所以当知道隐藏层或可见层的状态时，就可以求得隐藏层和可见层的激活概率，计算公式如5-4，5-5：

18、

19、

20、其中σ表示sigmoid函数；

21、rbm训练的核心目标就是求出模型的各个参数，可以用梯度下降法来求解，定义模型参数θ的似然函数如式5-6：

22、lnl(θ|v)＝ln∑he-e(v,h)-ln∑v,he-e(v,h)  (5-6)

23、将权值和偏置项依次代入，即可得到权值和偏置项的梯度更新计算公式，分别如式5-7，5-8和5-9：

24、

25、

26、

27、计算过程中，由于联合概率分布计算量过大，故采用对比散度算法来训练rbm网络，依据公式5-7、5-8和5-9，当训练的数据样本为n时，得到权重和偏置项的参数调整公式如式5-10，5-11和5-12：

28、

29、

30、

31、其中v表示状态向量，s表示进行gibbs采样的次数。

32、本发明具有如下优点：本发明将dbn同决策树算法结合起来，组成具备自主决策能力的addbn(autonomous decidingdeep belief networks)算法。该算法首先利用深度置信网络对原始数据进行处理，提取出优化后的特征，随后利用决策树算法对提取出来的特征进行进一步分类处理，最终得到分类结果。addbn算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策。本发明的有益效果是：addbn算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策。

技术特征：

1.一种能对特征进行自主决策的无监督学习算法，其特征在于；所述算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策，所述addbn的步骤如下：

2.根据权利要求1所述一种能对特征进行自主决策的无监督学习算法，其特征在于；其中在dbn模块中，最为核心的是rbm的迭代过程：

技术总结
本发明公开了一种能对特征进行自主决策的无监督学习算法，用于解决传统DBN本身的分类决策能力较弱的问题。本发明将DBN同决策树算法结合起来，组成具备自主决策能力的ADDBN(Autonomous DecidingDeep Belief Networks)算法。该算法首先利用深度置信网络对原始数据进行处理，提取出优化后的特征，随后利用决策树算法对提取出来的特征进行进一步分类处理，最终得到分类结果。ADDBN算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策。所述的ADDBN算法既能够保留原始特征的属性并获取更利于分类的特征，同时也能对特征进行自主决策。

技术研发人员：邢建川,陈洋,周春文,曾凤,付鱼,辛旺
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/3/11