一种自适应神经网络学习方法及神经网络系统与流程

本发明属于人工智能技术领域，具体涉及一种自适应神经网络学习方法及神经网络系统。

背景技术：

在人工智能学科之内，神经网络的研究成果已经被成功地移植到相当多的领域中，比如决策支持、人脸识别、知识库系统、专家系统和情感机器人等。在表示传统研究中，大多数模型一般工作在已经解释好的领域中：即对于解释的上下文，系统设计者通常都会给出一些隐含的先验约定，在这种约定下，很难随着问题求解过程的进展而将上下文、目标或表示进行转换。

目前，形象思维模拟的主要手段是以模拟与复制形象思维相关的“象智”—人工神经网络联接为主的联接机制。从计算处理方法上来说，联接机制方法另辟了新的途径，就是采用并行处理及分布式表达的方法。具体来说，这种方法用“若干个结点，每两个结点间可以连接起来的网络”表示信息。以往用以表示知识的语义网络是一个结点与一个概念对应，而人工神经网络是以结点的一种分布模式以及加权量的大小与一个概念对应，这样即使每个结点上的信息属性发生了畸变与失真，也不至于使网络所表达的概念的属性产生重大的变化。另外，有些共同的单元上的信息也可以用来表达相类似的概念，但用包括上述神经网络联接方法在内的各种方法来模拟形象思维也和逻辑思维的符号化表示一样，未能获得完全成功。

神经网络系统能够对输入进行识别，它将输入相关知识和语法规律以神经网络结构和神经元连接权值来表示，它甚至具有一定程度的容错性。神经网络系统是数据驱动的，而且分不清这些数据来源是内部还是外部，是新数据还是旧数据。神经网络训练好以后，假设输入到系统中的是训练集中不包含的数据，也就是一个新的数据样本，神经网络不能判断这个输入相对于它的知识是不是新信息，也不能主动学习这个新数据，反而用训练过程得到的知识对这个新数据样本进行错误判断。或者，在线训练过程中，神经网络没有区分那些是自己已有的知识状态，那些是外部输入数据，总是无差别处理。

技术实现要素：

本发明的目的是提供一种自适应神经网络学习方法及神经网络系统，该方法解决了现有神经网络系统不能区分新旧数据及学习的问题，能够处理和判别内外数据、新旧数据，实现在线自适应学习和识别功能。

为了达到上述目的，本发明提供了一种自适应神经网络学习方法，神经网络系统包含：输入层、隐含层、输出层和知识库，该知识库k＝(s1,s2……sm)，sb为神经网络连接权值，sb＝(v|w|y)，b＝1,2……m，y是期望输出，v和w分别为网络隐含层的连接权值和输出层的连接权值。

该方法包含：

(1)新建并初始化知识库：获得训练集合的知识，每项知识对应一组隐含层的连接权值v和输出层的连接权值w，对训练过程中的隐含层和输出层的权值进行调整，并使输出结果相似度e满足收敛条件，确定最终输出的连接权值；

(2)在线自适应学习，搜索所述知识库中任意一项知识，获得其对应的隐含层的连接权值v和输出层的连接权值w，对于某一输入数据将该组连接权值作为初始值，使用步骤1中权值的调整对连接权值进行调整，连续运算规定的学习次数n，得到实际运算的输出结果；

(3)判断输出结果和对应的期望输出的相似度是否满足要求：当输出结果与对应的期望输出的相似度达到要求时，则输出结果；当输出结果与对应期望输出相似度未达到要求时，则从知识库中按序搜索并选取新的一项知识，获取一组新的隐含层、输出层以及期望输出，重复步骤(2)，若历遍所述知识库中的所有知识，仍未找到对应的知识时，则视该数据为一项新知识的样本；

(4)按照步骤(1)中的权值的调整对连接权值进行调整，直至输出结果相似度e满足收敛条件，将对应输出层的连接权值、隐含层的连接权值和期望输出合并为一项新的知识，添加到知识库k中。

优选地，所述的网络隐含层的连接权值和输出层的连接权值均为矩阵；其中，

优选地，在步骤(1)中，所述权值的调整算法包含：

δj＝(yj-oj)f′(netj)(3)。

式(1)-(3)中，wij和vij分别为输出层和隐含层在矩阵中(i，j)的连接权值，α为比例系数，δj为矩阵中j列的学习率，f’(netj)为神经元激励函数导数，yj和oj分别为矩阵中j列的期望输出和实际输出，oi为矩阵中i排的实际输出。

优选地，在步骤(1)中，所述输出结果相似度e的收敛条件的方程为：

e＝∑ep(5)。

式(4)和(5)中，ep表示第pp个输出神经元的结果相似度，ypj和opj分别为矩阵中(p，j)的期望输出和实际输出，e表示结果相似度，用于判断网络是否达到收敛要求。

优选地，在步骤(1)中，当结果相似度e低于期望输出结果的20％时为满足相似度要求；在步骤(4)中，当结果相似度e低于期望输出结果的5％时为满足相似度要求。

本发明还提供了一种自适应神经网络系统，该神经网络系统包含：输入层、隐含层、输出层和知识库，该知识库k＝(s1,s2……sm)，sb为神经网络连接权值，sb＝(v|w|y)，b＝1,2……m，y是期望输出，v和w分别为网络隐含层的连接权值和输出层的连接权值；该神经网络系统为前向型神经网络系统，所述的输入层、隐含层和输出层依次连接以传输，所述的知识库和所述的隐含层连接。

优选地，所述的网络隐含层的连接权值和输出层的连接权值均为矩阵；其中，

本发明的自适应神经网络学习方法及神经网络系统，解决了现有神经网络系统不能区分新旧数据及学习的问题，具有以下优点：

本发明的自适应神经网络学习方法及神经网络系统将神经网络连接权值以知识的形式存储于知识库中，从而实现知识的查找、增添等处理，使得神经网络系统具有处理和判别内外数据、新旧数据功能，从而实现在线自适应学习和识别功能。而且，本发明的方法对于解释的上下文，能灵活地随着问题求解过程的进展而将上下文、目标或表示进行转换。

附图说明

图1为本发明的神经网络系统的示意图。

图2为本发明的自适应神经网络学习方法的流程图。

具体实施方式

以下结合附图和实施例对本发明的技术方案做进一步的说明。

一种自适应神经网络学习方法，如图1所示，为本发明的神经网络系统的示意图，该神经网络系统包含：输入层la＝(a1……ah……an)、隐含层lb＝(b1……bi……bp)、输出层lc＝(c1……cj……cq)和知识库k＝(s1,s2……sm)，sb为神经网络连接权值，sb＝(v|w|y)，b＝1,2……m(自然数)，y是期望输出，v和w分别为网络隐含层的连接权值和输出层的连接权值，其中，

如图2所示，为本发明的自适应神经网络学习方法的流程图，该方法包含：

(1)新建并初始化知识库：对于每一个送入到输入层的数据集合，即训练集合，都能得到一项知识，即对应的一组隐含层的连接权值v和输出层的连接权值w，学习过程中隐含层和输出层的权值调整算法为：

δj＝(yj-oj)f′(netj)(3)；

式(1)-(3)中，wij和vij分别为输出层和隐含层在矩阵中(i，j)的连接权值，α为比例系数，δj为矩阵中j列的学习率，f’(netj)为神经元激励函数导数，yj和oj分别为矩阵中j列的期望输出和实际输出，oi为矩阵中i排的实际输出。

根据输出结果相似度e是否满足收敛条件，确定最终输出的连接权值，即确定知识库中的一项知识：

e＝∑ep(5)；

式(4)和(5)中，ep表示第pp个输出神经元的结果相似度，ypj和opj分别为矩阵中(p，j)的期望输出和实际输出，e表示结果相似度，用于判断网络是否达到收敛要求。

(2)在线自适应学习，设定学习次数n，设定输出结果相似度，即误差e值，搜索知识库中任意一项知识，分离出其中对应的隐含层的连接权值v和输出层的连接权值w，对于某一输入数据应用该组连接权值作为初始值，使用步骤(1)中权值的调整对连接权值进行调整，连续运算规定的学习次数n，得到实际运算的输出结果。

(3)判断输出结果和对应的期望输出的相似度是否满足要求：如果输出结果与对应的期望输出的相似度达到要求，则输出结果，当结果相似度e低于期望输出结果的20％时为满足相似度要求；如果输出结果与对应期望输出相似度未达到要求，则从知识库中按序搜索并选取新的一项知识，即选择一组新的隐含层、输出层以及期望输出，重复步骤(2)，若历遍知识库中的所有知识，仍未找到对应的知识，即使输出结果与对应的期望输出的相似度达到要求，则视该数据为一项新知识的样本；

(4)按照步骤(1)中的公式(1)-(3)对连接权值进行调整，直至输出结果相似度e满足收敛条件，当误差低于期望输出结果的5％时为满足相似度要求，将对应输出层的连接权值、隐含层的连接权值和期望输出合并为一项新的知识，添加到知识库k中。

一种自适应神经网络系统，如图1所示，为本发明的神经网络系统的示意图，该神经网络系统为前向型神经网络系统，包含：输入层la＝(a1……ah……an)、隐含层lb＝(b1……bi……bp)、输出层lc＝(c1……cj……bq)和知识库k＝(s1,s2……sm)，sb为神经网络连接权值，sb＝(v|w|y)，b＝1,2……m，y是期望输出，v和w分别为网络隐含层的连接权值和输出层的连接权值，输入层、隐含层和输出层依次连接以传输，知识库和隐含层连接，其中，

综上所述，本发明的自适应神经网络学习方法及神经网络系统将神经网络连接权值以知识的形式存储于知识库中，从而实现知识的查找、增添等处理，使得神经网络系统具有处理和判别内外数据、新旧数据功能，从而实现在线自适应学习和识别功能。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。