本发明涉及人工智能领域,具体是一种基于rmmt神经网络与人工神经网络的混合使用方法。
背景技术:
人工神经网络目前是机器学习最主要的算法之一,并且其隐含层的层数是其是否可以成为深度学习的依据,可以看出人工神经网络在人工智能领域的重要性。
在利用人工神经网络进行样本训练时,容易出现过拟合的问题,为了解决这个问题,常常使用的正则化、dropout等方法来减少过拟合对于神经网络的影响。
然而这种方式并没有触及过拟合的本质问题,即过拟合产生的根本原因是,神经网络并不能直接获得对于训练模型有直接影响的特征。
rmmt,即规则矩阵多叉树,是一种可以快速创建已知规律的规则创建方法(参考内容,专利号:201710373880.0),并且在基于rmmt的神经网络(参考内容,专利号:201710371553.1)中,可以通过特征路径快速的获取影响训练模型的特征。因此可以利用其确定人工神经网络中的特征信息。
利用基于rmmt的神经网路和人工神经网络进行混合使用方法,可以使得待训练神经网络中的初始权重更加符合实际的规律,降低过拟合对于训练结果以及整个网络的影响。
技术实现要素:
本发明的目的在于提供一种基于rmmt神经网络与人工神经网络的混合使用方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于rmmt神经网络与人工神经网络的混合使用方法,其特征在于,包含以下步骤:
a、获取基于rmmt的神经网络;
b、获取输入层特征权值的最小绝对值;
c、样本处理;
d、确定神经网络结构;
e、权值初始化;
f、利用组合样本集进行训练。
作为本发明的进一步技术方案:所述步骤a具体是:从基于rmmt的神经网络中获取先前已训练的神经网络,并获取到该网络中的输入层的特征、每个特征的权值、隐含层的层数、每层隐含层中的节点数、隐含层中每个节点的权值、输出层的节点个数等信息,由此得到已有的神经网络结构中的输入层的特征向量和权值矩阵。
作为本发明的进一步技术方案:所述步骤c具体是:依据新样本(新样本中的特征完全包含了rmmt中的特征),将新样本与用于训练rmmt神经网络的样本进行组合,由于新样本的特征的个数大于等于rmmt样本的特征个数(即n≥n(r)),因此将rmmt样本中的数值进行补零处理,这样就形成了基于rmmt的样本与新样本的组合样本。
作为本发明的进一步技术方案:所述步骤e具体是:将输入层到隐含层的特征权值初始化,其中保持基于rmmt神经网络的输入层到第一层的隐含层的权值不变,将其他的神经元到第一层隐含层的权值进行初始化,并设置初始化的值小于步骤2中求得的最小值,即每个权值取值为
作为本发明的进一步技术方案:所述步骤f具体是:利用步骤c获得的组合样本矩阵,以及步骤e中权值矩阵,将其放入新的神经网络中进行训练,并得到最终新的神经网络,该神经网络即可得到最佳符合样本规律的神经网络。
与现有技术相比,本发明的有益效果是:本发明利用基于rmmt的神经网路和人工神经网络进行混合使用方法,可以使得待训练神经网络中的初始权重更加符合实际的规律,从而在网络在训练的时候,降低过拟合对于训练结果以及整个网络的影响。
附图说明
图1是本发明方案的原理图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,一种基于rmmt神经网络与人工神经网络的混合使用方法,其特征在于,包含以下步骤:
a、获取基于rmmt的神经网络。从基于rmmt的神经网络中获取先前已训练的神经网络,并获取到该网络中的输入层的特征、每个特征的权值、隐含层的层数、每层隐含层中的节点数、隐含层中每个节点的权值、输出层的节点个数等信息,由此得到已有的神经网络结构中的输入层的特征向量和权值矩阵;
b、获取输入层特征权值的最小绝对值。由于基于rmmt的神经网络中包含了该模型的主要特征(即,其训练得到的权重矩阵中的权重为该模型中的主要贡献因子),因此在与人工神经网络进行混合使用时,其基于rmmt的权重亦为主要因子,所以在新的神经网络中,其他的权值不能超过基于rmmt的神经网络中的权值。在基于rmmt的神经网络中,获取输入层中所有特征的权值求绝对值,并获取最小的绝对值;
c、样本处理。依据新样本(新样本中的特征完全包含了rmmt中的特征),将新样本与用于训练rmmt神经网络的样本进行组合,由于新样本的特征的个数大于等于rmmt样本的特征个数(即n≥n(r)),因此将rmmt样本中的数值进行补零处理,这样就形成了基于rmmt的样本与新样本的组合样本;
d、样本处理。依据新样本(新样本中的特征完全包含了rmmt中的特征),将新样本与用于训练rmmt神经网络的样本进行组合,由于新样本的特征的个数大于等于rmmt样本的特征个数(即n≥n(r)),因此将rmmt样本中的数值进行补零处理,这样就形成了基于rmmt的样本与新样本的组合样本;
e、权值初始化。根据新的神经网络结构,将输入层到隐含层的特征权值初始化,其中保持基于rmmt神经网络的输入层到第一层的隐含层的权值不变,将其他的神经元到第一层隐含层的权值进行初始化,并设置初始化的值小于步骤2中求得的最小值,即每个权值取值为(一般设置n的取值依据为,可以保证基于rmmt神经网络的权值依然为新网络中的主要影响因子)。其他的权值随机进行初始化;
f、利用组合样本集进行训练。利用步骤3获得的组合样本矩阵,以及步骤5中权值矩阵,将其放入新的神经网络中进行训练,并得到最终新的神经网络,该神经网络即可得到最佳符合样本规律的神经网络。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。