一种自适应神经网络求解方法与流程

文档序号:36607663发布日期:2024-01-06 23:11阅读:12来源:国知局

本发明涉及神经网络,更具体地说,本发明涉及一种自适应神经网络求解方法。


背景技术:

1、神经网络是一个由生物神经元组成的网络或电路,或者从现代意义上讲,是一个由人工神经元或节点组成的人工神经网络,因此,一个神经网络要么是由生物神经元组成的生物神经网络,要么是用于解决人工智能(ai)问题的人工神经网络,生物神经元的连接在人工神经网络中被建模为节点之间的权重,正的权重反映了兴奋性连接,而负值意味着抑制性连接,所有的输入都被一个权重修改并加总,这种活动被称为线性组合,最后,一个激活函数控制输出的振幅,例如,可接受的输出范围通常在0和1之间,也可以是-1和1,这些人工网络可用于预测建模、自适应控制和可通过数据集进行训练的应用,经验导致的自我学习可以在网络中发生,它可以从复杂的、看似不相关的信息集中得出结论。

2、现有技术中的神经网络求解方法在实际应用时,存在过拟合的问题,同时其泛化能力较弱,导致其适用范围小,这就导致现有技术中的神经网络求解方法实际应用效果不理想。

3、因此,需要一种自适应神经网络求解方法。


技术实现思路

1、为了克服现有技术的上述缺陷,本发明的实施例提供一种自适应神经网络求解方法,使用随机梯度下降的方法,在模型训练过程中,随机选择单个样本,用其求梯度并作为本次下降的梯度,可以有效避免过拟合,并提高模型的泛化能力,同时l2正则化,对网络中参数施加惩罚,使模型更加稳健,防止过拟合,然后采用早停法,也可以有效避免过拟合,使得本发明的适用范围广,实际应用效果较为理想,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:一种自适应神经网络求解方法,包括以下步骤:

3、步骤一:准备数据,准备包含输入变量和相应的输出控制变量的数据集;

4、步骤二:构建神经网络模型,导入所需的库和模块,通过代码创建基本的神经网络模型,确定使用三个全连接的隐藏层,每层隐藏层的神经元数量为20,激活函数为relu,最后一个输出层无激活函数;

5、步骤三:编译模型,指定损失函数、优化器和评估指标;

6、步骤四:随机梯度下降,在模型训练过程中,随机选择单个样本,用其求梯度并作为本次下降的梯度;

7、步骤五:ridge回归,l2正则化,对网络中参数施加惩罚,使用tf.contrib.layers.l2_regularizer(regularizer)函数,损失函数为loss=tf.keras.losses.mean_squared_error(y_true,y_pred)+tf.contrib.layers.l2_regularizer(regularizer)(w);

8、步骤六:早停法监视,监视验证集的误差率,当验证集的误差率不再显著降低时,停止训练。

9、在一个优选的实施方式中,所述步骤三中编译模型指定的损失函数为均方误差。

10、在一个优选的实施方式中,所述步骤三中编译模型指定的优化器为adam。

11、在一个优选的实施方式中,所述步骤三中编译模型指定的评估指标为准确率。

12、在一个优选的实施方式中,所述步骤五中损失函数的w为模型的权重。

13、本发明的技术效果和优点:

14、本发明首先准备数据,准备包含输入变量和相应的输出控制变量的数据集,构建神经网络模型,导入所需的库和模块,通过代码创建基本的神经网络模型,确定使用三个全连接的隐藏层,每层隐藏层的神经元数量为20,激活函数为relu,最后一个输出层无激活函数,编译模型,指定损失函数、优化器和评估指标,损失函数为均方误差,优化器为adam,评估指标为准确率,随机梯度下降,在模型训练过程中,随机选择单个样本,用其求梯度并作为本次下降的梯度,ridge回归,l2正则化,对网络中参数施加惩罚,使用tf.contrib.layers.l2_regularizer(regularizer)函数,损失函数为loss=tf.keras.losses.mean_squared_error(y_true,y_pred)+tf.contrib.layers.l2_regularizer(regularizer)(w),w为模型的权重,早停法监视,监视验证集的误差率,当验证集的误差率不再显著降低时,停止训练,本发明使用随机梯度下降的方法,在模型训练过程中,随机选择单个样本,用其求梯度并作为本次下降的梯度,可以有效避免过拟合,并提高模型的泛化能力,同时l2正则化,对网络中参数施加惩罚,使模型更加稳健,防止过拟合,然后采用早停法,也可以有效避免过拟合,使得本发明的适用范围广,实际应用效果较为理想。



技术特征:

1.一种自适应神经网络求解方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种自适应神经网络求解方法,其特征在于:所述步骤三中编译模型指定的损失函数为均方误差。

3.根据权利要求1所述的一种自适应神经网络求解方法,其特征在于:所述步骤三中编译模型指定的优化器为adam。

4.根据权利要求1所述的一种自适应神经网络求解方法,其特征在于:所述步骤三中编译模型指定的评估指标为准确率。

5.根据权利要求1所述的一种自适应神经网络求解方法,其特征在于:所述步骤五中损失函数的w为模型的权重。


技术总结
本发明公开了一种自适应神经网络求解方法,具体涉及神经网络技术领域,包括以下步骤:步骤一:准备数据,准备包含输入变量和相应的输出控制变量的数据集;步骤二:构建神经网络模型,导入所需的库和模块,通过代码创建基本的神经网络模型,确定使用三个全连接的隐藏层,每层隐藏层的神经元数量为20,激活函数为ReLU,最后一个输出层无激活函数。本发明使用随机梯度下降的方法,在模型训练过程中,随机选择单个样本,用其求梯度并作为本次下降的梯度,可以有效避免过拟合,并提高模型的泛化能力,同时L2正则化,对网络中参数施加惩罚,使模型更加稳健,防止过拟合,然后采用早停法,也可以有效避免过拟合,使得本发明实际应用效果较为理想。

技术研发人员:马卫民
受保护的技术使用者:知云智链信息科技(苏州)有限公司
技术研发日:
技术公布日:2024/1/15
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1