一种基于svm技术的离散前向神经网络分类器的优化方法
【技术领域】
[0001] 本发明属于人工智能中的机器学习领域，具体涉及一种基于SVM技术的离散前向 神经网络分类器的优化方法。
【背景技术】
[0002] 离散前向神经网络(BFNN)是一种最早提出也是最广泛应用的离散前向人工神经 网络模型，采用的是有监督学习机制。虽然说离散问题可视为连续问题的特例，可用BP学习 算法之类的来解决问题，但是BFNN还是存在一些明显的优势:一方面，它更适合处理一些本 质为离散且连续技术不适用的问题，如信号处理、逻辑运算、模式分类等;另一方面，更有利 于利用VLSI技术进行其硬件实现。
[0003] 然而，到目前为止，离散前向神经网络学习算法还不够完善。主流的学习算法研究 大致可以分为两块:一个是自适应学习算法，另一个是几何构造算法。前者通常由感知机学 习规则扩展而来，后者是基于输入模式的几何分布特性，通过构造分类超平面系来获得网 络参数。但无论是自适应学习算法还是几何构造算法，在学习效果很学习效率方面都很难 应用到工程当中去。目前，比较有效的学习算法当属基于敏感性的自适应学习算法 (SBALR)，该算法是针对BFNN提出来的权参数自适应学习算法。该算法设计主要遵循三条基 本学习原则："最小扰动原则"、"有利原则"以及"任务分摊原则"，在次基础上设计了三条学 习规则，其中最为重要的学习规则是权参数自适应调节规则，具体可参照钟水明教授在 IEEE上发表的基于敏感性的二值前向神经网络的自适应学习算法。
[0004] 支持向量机（SVM)是在统计学习基础上发展起来的新一代学习算法，该算法在理 论基础上有较强的优势，它能够保证找到的极值解就是全局最优解而并非是局部最小值， 这就保证了 SVM算法对未知样本有较好的泛化能力，正因为这些优势，SVM在文本分类、图像 分类、生物信息学等众多领域获得较好的应用。
[0005] SVM在解决线性可分问题的时候能够确立一个最有超平面，来提升分类器的泛化 性能。但是在实际应用中，大部分问题都是线性不可分的。在面对非线性可分问题时，SVM的 性能很大程度上还是依赖于核函数的选择，并没有一个通用的方案，从而使得SVM在工程应 用中受到阻碍。
【发明内容】
[0006] 本发明针对离散前向神经网络(BFNN)具有明显的结构优势，但现有学习算法还难 以获得令人满意的泛化性能这一现实问题，借助SVM解决线性可分问题的技术优势，用SVM 技术来优化训练后的BFNN，能够极大地改善分类器的泛化性能，从而进一步促进BFNN在模 式识别以及电子通信领域更加广泛的应用。
[0007] 技术方案：在现有的BFNN神经网络学习泛化能力还不理想的情况下，训练样本数 据，分解神经元数集，再重新组织更完善更契合的映射关系，通过SVM技术找到更优的权参 数，并且能够通过SVM技术改善BFNN神经网络泛化性能，从而获得更优的学习性能。
[0008] 本发明为实现上述发明目的采用如下技术方案：
[0009] 步骤1)，对给定样本集S进行训练，建立映射关系，确立一个BFNN分类器。具体可描 述为先随机初始化一个离散前向神经网络，根据基于敏感性的自适应学习算法(SBALR)训 练给定样本S从而得到一个BFNN分类器；
[0010] 步骤2)，读取已获得的BFNN分类器的网络信息，包括网络所含层数L，每层所含神 经元个数n1，其中，表示1网络的层数序号，选择一个样本t(一般从给定样本集S的第一个开 始）；
[0011] 步骤3)，判断样本序号是否在给定样本集S中，如果在，则读取样本Xi，否则，则跳 出步骤3);
[0012] 步骤4)，对已训练好的BFNN分类器的网络层数进行编号，并定位网络的层号1(一 般从网络第1层）；
[0013] 步骤5)，判断网络层号是否属于该网络所含层数，如果是，则对于定位到的第1层， 对该层的神经元进行编号，并且具体定位到第1层的第j个神经元（j一般从该层第1个神经 元开始），否则，则网络中所有神经元在该样本XiT均已计算完毕，此时，需要下一个样本的 读入，跳到步骤4);
[0014] 步骤6)，判断一个神经元的编号j是否属于原网络该层的神经元个数;如果是，则 计算出该神经元在样本输入下对应的输出，形成$ = 的新的集合;否则，则说明该 层神经元对应的输入输出集均已计算完毕，则进入下一层神经元进行同样的计算；
[0015] 步骤7)，从网络的第一个神经元开始，去读取相应的样本训练集;
[0016] 步骤8)，用SVM技术对每一个神经元的相应的样本训练集进行训练， 得出新的神经元参数，代替原本的神经元参数；
[0017] 步骤9)，重复步骤8)和9)，直至所有的神经元参数都得到优化；
[0018] 步骤10)，进过上面的步骤，重新形成的网络就是经过优化后的离散前向神经网络 分类器。
[0019] 有益效果
[0020] 本发明将学界和业界已经大量使用并被证实可行且高效准确的SVM算法应用在对 离散前向神经网络(BFNN)泛化性能的优化中，既具有理论基础的支持也能得到实践经验的 支持。用SVM的分类超平面作为神经网络的权值，能够极大地改善网络泛化性能，从而进一 步促进BFNN在模式识别以及电子通信领域更加广泛的应用。
【附图说明】
[0021] 图1为离散前向神经网络示意图；
[0022]图2为训练给定样本得出BFNN流程图；
[0023]图3为统计BFNN中每一个神经元新的输入输出集流程图；
[0024]图4为用SVM技术训练新的样本集流程图。
【具体实施方式】
[0025]下面结合附图对技术方案的实施作进一步的详细描述，步骤如下：
[0026]步骤10，对给定样本集S进行训练，建立映射关系，确立一个BFNN分类器。图2可具 体表述为：
[0027] 步骤101，随机初始化一个离散前向神经网络，如图1;
[0028] 步骤 102，读入给定样本S，S= {Xi | 1 < i < N};
[0029] 步骤103，基于敏感性的自适应学习算法（SBALR)训练样本S，得出一个BFNN分类 器。
[0030] 步骤20，对于已训练好的BFNN分类器，为BFNN中每一个神经元建立输入输出集，形 成新的训练集。图3可具体表述为：
[0031] 步骤201，读取已获得的BFNN分类器的网络信息，包括网络所含层数L，每层所含 神经元个数η1，其中，表示1网络的层数序号；
[0032]步骤202,选择一个样本Xi(-般从给定样本集S的第一个开始）；
[0033]步骤203，判断样本序号是否在给定样本集S中，如果在，则进行步骤204，否则，则 跳出步骤20;
[0034] 步骤204,读取样本Xi;
[0035]步骤205,对已训练好的BFNN分类器的网络层数进行编号；
[0036]步骤206,定位网络的层号1( 一般从网络第1层）；
[0037] 步骤207，判断网络层号是否不大于网络所含层数L，如果不大于，则进行步骤208， 否则，则网络中所有神经元在该样本乂:下均已计算完毕，此时，需要下一个样本的读入，即 步骤202中i = i+l，跳到步骤203;
[0038]步骤208,对于定位到的第1层，对该层的神经元进行编号；
[0039]步骤209,具体定位到第1层的第j个神经元(j 一般从该层第1个神经元开始）；
[0040] 步骤210,判断一个神经元的编号j是否不大于原网络该层的神经元个数;如果是， 则计算出该神经元在样本输入下对应的输出，形的新的集合;否则，则说明 该层神经元对应的输入输出集均已计算完毕，则进入下一层神经元的计算，即步骤206中的 层号1 = 1+1，进入步骤207;
[0041] 步骤211，对于下一个神经元，即步骤210中的神经元编号j = j + l，同样进入步骤 210〇
[0042] 步骤30,基于每个神经元的新的样本集$ ，用SVM技术来训练样本，产 生一组新的参数代替原有神经元的参数。图4可具体描述为：
[0043]步骤301，读取已有的网络信息；
[0044] 步骤302,从网络的第一个神经元开始，去读取相应的样本训练集S; 乂山
[0045] 步骤303,用SVM技术对每一个神经元的相应的样本训练集进行训 练，得出新的神经元参数，代替原本的神经元参数；
[0046] 步骤304，重复步骤302和303，直至所有的神经元参数都得到优化；
[0047]步骤40,进过上面的步骤，重新形成的网络就是经过优化后的离散前向神经网络 分类器。
【主权项】
1. 一种基于SVM技术的离散前向神经网络分类器的优化方法，包括以下步骤： 步骤1 )，对给定样本集S进行训练，建立映射关系，确立一个BFNN分类器，具体可描述为 先随机初始化一个离散前向神经网络，根据基于敏感性的自适应学习算法(SBALR)训练给 定样本S从而得到一个BFNN分类器； 步骤2)，读取已获得的BFNN分类器的网络信息，包括网络所含层数L，每层所含神经元 个数η1，其中，表示1网络的层数序号，选择一个样本Xi; 步骤3)，判断样本序号是否在给定样本集S中，如果在，则读取样本t，否则，则跳出步骤 3)； 步骤4)，对已训练好的BFNN分类器的网络层数进行编号，并定位网络的层号1; 步骤5)，判断网络层号是否属于该网络所含层数，如果是，则对于定位到的第1层，对该 层的神经元进行编号，并且具体定位到第1层的第j个神经元，否则，则网络中所有神经元在 该样本Xrf均已计算完毕，此时，需要下一个样本的读入，跳到步骤4); 步骤6)，判断一个神经元的编号j是否属于原网络该层的神经元个数;如果是，则计算 出该神经元在样本输入下对应的输出，形成$=?,.的新的集合；否则，则说明该层 神经元对应的输入输出集均已计算完毕，则进入下一层神经元进行同样的计算； 步骤7)，从网络的第一个神经元开始，去读取相应的样本训练集 步骤8)，用SVM技术对每一个神经元的相应的样本训练集勾进行训练，得出 新的神经元参数，代替原本的神经元参数； 步骤9 )，重复步骤8)和9 )，直至所有的神经元参数都得到优化； 步骤10)，进过上面的步骤，重新形成的网络就是经过优化后的离散前向神经网络分类 器。
【专利摘要】本发明公开了一种基于SVM技术的离散前向神经网络分类器的优化方法。离散前向神经网络(BFNN)具有明显的结构优势，但现有学习算法还不太成熟，难以获得令人满意的泛化性能；而SVM技术优势在于解决线性可分问题，能确立一个最优超平面，来提升分类器的泛化性能；因此，借助于SVM技术来优化训练后的BFNN，在现有的BFNN神经网络学习泛化能力还不理想的情况下，提出的一种基于SVM技术的离散前向神经网络分类器的优化算法。该算法将训练样本数据分解神经元数集，再重新组织更完善更契合的映射关系，通过SVM技术找到更优的权参数，改善BFNN神经网络泛化性能，从而获得更优的学习性能，促进BFNN在模式识别以及电子通信领域更加广泛的应用。
【IPC分类】G06N3/08, G06K9/62
【公开号】CN105678328
【申请号】CN201610005936
【发明人】钟水明, 杨萍, 彭路, 罗波, 孙昊, 陆晓翔, 顾菁卿
【申请人】南京信息工程大学
【公开日】2016年6月15日
【申请日】2016年1月4日