专利名称：一种基于样本信息的结构设计方法及装置的制作方法
技术领域：
本发明涉及模式识别领域，尤其涉及一种基于样本信息的结构设计方法及装置。
背景技术：
Vapnik在“统计学习理论本质”一书中提到所有可用信息都包含于训练集中。如果能通过某种途径获得这些样本中所包含的信息，再将获取的信息映射到神经网络结构上去，并且这种映射保证了神经网络在学习时，已具备了该领域的初步知识。如此所设计出的网络结构必定优于根据人为主观而设计出的网络结构。传统模式识别系统中的神经网络结构设计，大致上可以分为三类一是对神经网络权连接的修剪策略，即在获得理想的训练精度之后，动态地删掉多余地权和节点；二是对隐节点地增长与修剪策略；三是子网增长地神经网络结构。无论采用何种方法，最为关键的是以Vapnik的理论为指导方针即当网络的体系结构可依样本知识进行选择，且随问题的复杂度而改变时，不仅能够确保网络的学习性能有所提高，而且也使得网络结构的大小针对特定任务十分合适，冗余性很小。传统的神经网络结构设计方法虽然在一些领域的应用取得了一定的成功，但是存在的问题也是很明显的。在神经网络的学习过程中存在如下三个方面的困难，其一是学习速度缓慢；其二是局部极小值问题；其三是针对特定问题选择合理的神经网络结构；大量应用实践证明，网络结构过大易引起网络训练速度太慢，甚至出现过拟合现象，而网络结构过小又容易造成不收敛的问题。实际应用中的网络结构确定往往带有人为主观因素，缺乏一定的理论指导。本文提出了一种充分利用学习样本中的先验知识来指导神经网络的结构设计，能够有效减少上述三方面的困难。因此，设计一种加速网络收敛和避免局部极小值的结构设计方法及装置十分必要，是模式识别领域目前急待解决的问题之一。
发明内容
本发明实施例提供一种基于样本信息的结构设计方法及装置，通过依据样本信息对样本空间进行分类，获取样本信息确定样本的基元素，并根据样本基元素对隐节点层进行分组，进而实现有效加速网络收敛，可针对特定的任务设计出大小适中的网络结构，有效避免局部极小值的出现。本发明实施例提供以下技术方案一种基于样本信息的结构设计方法及装置，包括步骤一、依据样本信息对样本空间进行分类；步骤二、获取样本信息确定样本的基元素；步骤三、依据样本基元素对隐节点层进行分组。优选的，上述步骤一中，预先依据样本信息的性质和关系将样本空间分类。优选的，上述步骤一中，样本可包含同类别样本和不同类别样本。
优选的，同类别样本为差异较小，在特征空间存在一个连续、渐变的过程。优选的，上述步骤二中，基元素是由样本的特性决定。优选的，同类样本中基元素的数目与不同类样本中类别数目一一对应。优选的，上述步骤三中，对隐节点层进行分组为每一组分别对应样本空间中的某一类。一种基于样本信息的结构设计装置，包括分类模块、基元素确定模块、分组模块， 用于通过依据样本信息对样本空间进行分类，获取样本信息确定样本的基元素，并根据样本基元素对隐节点层进行分组。优选的，上述分类模块，用于依据样本信息对样本空间进行分类。优选的，上述基元素确定模块，用于获取样本信息确定样本的基元素。优选的，上述分组模块，用于依据样本基元素对隐节点层进行分组。本发明提供的一种基于样本信息的结构设计方法及装置，通过依据样本信息对样本空间进行分类，获取样本信息确定样本的基元素，并根据样本基元素对隐节点层进行分组，进而实现有效加速网络收敛，可针对特定的任务设计出大小适中的网络结构，有效避免局部极小值的出现。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是同类样本的示意图；图2本发明实施例提供的基于样本信息的结构设计方法流程图；图3本发明实施例提供的基于样本信息的结构设计装置示意图。
具体实施例方式本发明实施例提供一种基于样本信息的结构设计方法及装置，通过依据样本信息对样本空间进行分类，获取样本信息确定样本的基元素，并根据样本基元素对隐节点层进行分组，进而实现有效加速网络收敛，可针对特定的任务设计出大小适中的网络结构，有效避免局部极小值的出现。为使本发明的目的、技术方案及优点更加清楚明白，下面参照附图并举实施例，对本发明进一步详细说明。本发明实施例提供一种基于样本信息的结构设计方法及装置，如图3所示，具体步骤包括步骤一、依据样本信息对样本空间进行分类。具体而言，在本发明实施例中，预先依据样本信息的性质和关系将样本空间分为几大类，进而实现对样本空间的分类。 在本发明实施例中，样本可包含“同类别，，样本和“不同类别，，样本。 本发明实施例中所指的“不同类别”样本含义是样本在特征空间不存在一个连续
的渐变过程，即样本之间差异较大，在特征空间完全可分。关于这一点，通过神经网络的模块化学习理论不难得以证明。划分不同样本空间，对于“不同类别”样本来说，样本有多少种类别，样本空间就有几个，隐节点层就分为几个组。本发明实施例中所指的“同类别，，样本含义是差异较小，在特征空间存在一个连续、渐变的过程。同类样本的示意图如图1所示。较为困难的问题在于“同类样本”的划分。在本发明实施例中，当网络分类器面临同类样本的划分时，同样可以采用上述结构设计方法。基于“认识”的模式识别理论中，被“认识”的事物A的每一个输入样本都对应高维特征空间1 中一个η维超球体，也就是一个球形邻域。完成对“事物Α”的认识过程就是在特征空间1 中对所有训练样本点集所形成的无穷多个球形邻域的“并”进行覆盖。在特征空间中，同类样本间存在着连续性规律。也就是特征空间的所有属于A类事物的全体点集为A，若集合A中存在任意两个元素χ与y，则对任意大于零的值ε，则必存在集合B，
权利要求
1.一种基于样本信息的结构设计方法及装置，其特征在于，所述方法包括步骤一、依据样本信息对样本空间进行分类；步骤二、获取样本信息确定样本的基元素；步骤三、依据样本基元素对隐节点层进行分组。
2.根据权利要求1所述的设计方法，其特征在于，所述步骤一中，预先依据样本信息的性质和关系将样本空间分类。
3.根据权利要求1所述的设计方法，其特征在于，在所述步骤一中，样本可包含同类别样本和不同类别样本。
4.根据权利要求3所述的设计方法，其特征在于，同类别样本为差异较小，在特征空间存在一个连续、渐变的过程。
5.根据权利要求1所述的设计方法，其特征在于，在所述步骤二中，基元素是由样本的特性决定。
6.根据权利要求5所述的设计方法，其特征在于，同类样本中基元素的数目与不同类样本中类别数目一一对应。
7.根据权利要求1所述的设计方法，其特征在于，在所述步骤三中，对隐节点层进行分组为每一组分别对应样本空间中的某一类。
8.一种基于样本信息的结构设计装置，其特征在于，所述装置包括分类模块、基元素确定模块、分组模块，用于通过依据样本信息对样本空间进行分类，获取样本信息确定样本的基元素，并根据样本基元素对隐节点层进行分组。
9.根据权利要求8所述的设计装置，其特征在于，所述分类模块，用于依据样本信息对样本空间进行分类。
10.根据权利要求8所述的设计装置，其特征在于，所述基元素确定模块，用于获取样本信息确定样本的基元素。
11.根据权利要求8所述的设计装置，其特征在于，所述分组模块，用于依据样本基元素对隐节点层进行分组。
全文摘要
本发明公开了一种基于样本信息的结构设计方法及装置，通过依据样本信息对样本空间进行分类，获取样本信息确定样本的基元素，并根据样本基元素对隐节点层进行分组，进而实现有效加速网络收敛，可针对特定的任务设计出大小适中的网络结构，有效避免局部极小值的出现。
文档编号G06N3/08GK102169546SQ20111012616
公开日2011年8月31日 申请日期2011年5月16日 优先权日2011年5月16日
发明者胡静 申请人:上海电机学院