网络模型优化方法、装置、计算机设备和存储介质

文档序号:26141587发布日期:2021-08-03 14:26阅读:95来源:国知局
网络模型优化方法、装置、计算机设备和存储介质

本申请涉及机器学习技术领域,特别是涉及一种网络模型优化方法、装置、计算机设备和存储介质。



背景技术:

在工业应用和科学研究中,例如作业车间调度、组合优化、工程设计、电力调度、投资管理、图像分割、网络通信、数据挖掘等优化领域,决策者经常会遇到一类具有多个目标且随时间变化的优化问题,这类问题通常称为动态多目标优化问题。随着机器学习技术领域的发展,动态多目标优化问题也逐渐成为研究的热点课题之一。动态多目标优化问题的主要特征是本质变化,传统技术中优化算法,多是使用动态非支配排序遗传算法来应对网络模型的环境变化,并使用梯度下降优化损失函数对网络模型进行优化。

然而,动态非支配排序遗传算法中对于输入参数的随机选择,会使优化算法的运行轨迹发生偏离,梯度下降优化损失函数是一种局部搜索优化算法,容易导致网络模型只能收敛到局部最优,因此,导致网络模型的性能不佳。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种能够有效提高网络模型的性能的网络模型优化方法、装置、计算机设备和存储介质。

一种网络模型优化方法,所述方法包括:

获取目标种群,所述目标种群中包括第一数量的个体,所述个体对应待训练网络模型的一组模型参数;

基于进化参数进化所述目标种群,获得进化后种群,所述进化后种群中包含第二数量的个体,且所述第二数量大于所述第一数量;

使用所述进化后种群中的个体对所述待训练网络模型进行训练,获得训练后的所述第二数量的环境变化后个体;

从所述第二数量的环境变化后个体中获得所述第一数量的环境变化后个体;

在未达到模型优化结束条件时,更新所述进化参数,将所述第一数量的环境变化后个体作为新的目标种群,返回所述基于进化参数进化所述目标种群的步骤,直至达到所述模型优化结束条件。

在其中一个实施例中,所述获取目标种群,包括:

确定所述待训练网络模型中的各待优化模型参数;

将各所述待优化模型参数进行随机初始化,获取目标种群。

在其中一个实施例中,所述从所述第二数量的环境变化后个体中获得所述第一数量的环境变化后个体,包括:

分别对所述第二数量的个体以及所述第二数量的环境变化后个体进行等级划分,得到等级划分结果以及环境变化后等级划分结果;

基于所述等级划分结果以及环境变化后等级划分结果,计算所述第二数量的环境变化后个体对应的有效分数;

根据各所述有效分数,从所述第二数量的环境变化后个体中获得所述第一数量的环境变化后个体。

在其中一个实施例中,所述分别对所述第二数量的个体以及所述第二数量的环境变化后个体进行等级划分,得到等级划分结果以及环境变化后等级划分结果,包括:

当所述第二数量的个体对应的等级不同时,按照预设排序方式对各所述等级进行排序,获取等级排序结果;

当所述第二数量的环境变化后个体对应的环境变化后等级不同时,按照所述预设排序方式对各所述环境变化后等级进行排序,获取环境变化后等级排序结果;

分别基于所述等级排序结果以及所述环境变化后等级排序结果,得到等级划分结果以及环境变化后等级划分结果。

在其中一个实施例中,所述分别对所述第二数量的个体以及所述第二数量的环境变化后个体进行等级划分,得到等级划分结果以及环境变化后等级划分结果,包括:

当所述第二数量的个体对应的等级相同时,计算所述第二数量的个体对应的拥挤距离;

当所述第二数量的环境变化后个体对应的等级相同时,计算所述第二数量的环境变化后个体对应的环境变化后拥挤距离;

按照所述预设排序方式对各所述拥挤距离以及各所述环境变化后拥挤距离进行排序,分别得到距离排序结果以及环境变化后拥挤距离排序结果;

根据所述距离排序结果以及所述环境变化后拥挤距离排序结果,得到对应的等级划分结果以及环境变化后等级划分结果。

在其中一个实施例中,所述基于所述等级划分结果以及环境变化后等级划分结果,计算所述第二数量的环境变化后个体对应的有效分数,包括:

根据预设的等级与分数的对应关系,得到所述第二数量的个体对应的分数,以及所述第二数量的环境变化后个体对应的环境变化后分数;

基于预设的所述第二数量的个体对应的分数权重以及预设的模糊规则,确定所述第二数量的环境变化后个体对应的环境变化后分数权重;

根据所述分数、所述分数权重、所述环境变化后分数以及所述环境变化后分数权重,计算所述第二数量的环境变化后个体对应的有效分数。

在其中一个实施例中,所述根据所述分数、所述分数权重、所述环境变化后分数以及所述环境变化后分数权重,计算所述第二数量的环境变化后个体对应的有效分数,包括:

根据所述分数、所述分数权重、所述环境变化后分数以及所述环境变化后分数权重,计算所述第二数量的环境变化后个体对应的环境影响因子和待修改分数;

基于所述待修改分数与所述环境影响因子,计算所述第二数量的环境变化后个体对应的有效分数。

在其中一个实施例中,所述进化参数的更新方式,包括:

基于所述预设的模糊规则以及所述进化参数,得到临时进化参数;

确定所述临时进化参数对应的训练后网络模型的临时模型性能参数;

当所述临时模型性能参数优于所述进化参数对应的训练后网络模型的模型性能参数时,将所述进化参数更新为所述临时进化参数。

一种网络模型优化装置,所述装置包括:

种群获取模块,用于获取目标种群,所述目标种群中包括第一数量的个体,所述个体对应待训练网络模型的一组模型参数;

种群进化模块,用于基于进化参数或者基于参数调整模块更新后的进化参数进化所述目标种群,获得进化后种群,所述进化后种群中包含第二数量的个体,且所述第二数量大于所述第一数量;

模型训练模块,用于使用所述进化后种群中的个体对所述待训练网络模型进行训练,获得训练后的所述第二数量的环境变化后个体;

个体确定模块,用于从所述第二数量的环境变化后个体中获得所述第一数量的环境变化后个体;

训练结束判定模块,用于在根据所述第一数量的环境变化后个体确定达到模型优化结束条件时,网络模型优化结束;

参数调整模块,用于在所述训练结束判定模块确定未达到所述模型优化结束条件时,更新所述进化参数。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。

上述网络模型优化方法、装置、计算机设备和存储介质,通过获取目标种群,目标种群中包括第一数量的个体,个体对应待训练网络模型的一组模型参数;基于进化参数进化目标种群,获得进化后种群,进化后种群中包含第二数量的个体,且第二数量大于第一数量;使用进化后种群中的个体对待训练网络模型进行训练,获得训练后的第二数量的环境变化后个体;从第二数量的环境变化后个体中获得第一数量的环境变化后个体;在未达到模型优化结束条件时,更新进化参数,将第一数量的环境变化后个体作为新的目标种群,返回基于进化参数进化目标种群的步骤,直至达到模型优化结束条件。采用本申请实施例方法,通过选择和确定新的目标种群,可以避免遗传算法中对个体的随机选择,通过更新进化参数,可以使遗传算法适应在网络模型训练过程中产生的环境变化,从而对网络模型进行优化,能够有效提高网络模型的性能。

附图说明

图1为一个实施例中网络模型优化方法的应用环境图;

图2为一个实施例中网络模型优化方法的流程示意图;

图3为一个具体实施例中网络模型优化方法的示意图;

图4为一个具体实施例中网络模型优化方法的流程示意图;

图5为一个实施例中网络模型优化装置的结构框图;

图6为一个实施例中计算机设备的内部结构图;

图7为另一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在其中一个实施例中,本申请提供的网络模型优化方法,可以应用于如图1所示的应用环境中,其应用环境可以同时涉及终端102和服务器104,终端102通过网络或者其他通信方式与服务器104进行通信,终端102可以用于进化目标种群,服务器104可以用于对待训练网络模型进行训练。具体地,终端102获取目标种群,目标种群中包括第一数量的个体,个体对应待训练网络模型的一组模型参数;基于进化参数进化目标种群,获得进化后种群,进化后种群中包含第二数量的个体,且第二数量大于第一数量,服务器104使用进化后种群中的个体对待训练网络模型进行训练,获得训练后的第二数量的环境变化后个体;从第二数量的环境变化后个体中获得第一数量的环境变化后个体;在未达到模型优化结束条件时,终端102更新进化参数,将第一数量的环境变化后个体作为新的目标种群,返回基于进化参数进化目标种群的步骤,直至达到模型优化结束条件。

在其中一个实施例中,本申请提供的网络模型优化方法,其应用环境可以只涉及服务器104,服务器104可以用于进化目标种群,并用于对待训练网络模型进行训练。具体地,服务器104获取目标种群,并基于进化参数进化目标种群,获得进化后种群,使用进化后种群中的个体对待训练网络模型进行训练,直至达到模型优化结束条件。

在其中一个实施例中,本申请提供的网络模型优化方法,其应用环境可以只涉及终端102,终端102可以用于进化目标种群,并用于对待训练网络模型进行训练。具体地,终端102获取目标种群,并基于进化参数进化目标种群,获得进化后种群,使用进化后种群中的个体对待训练网络模型进行训练,直至达到模型优化结束条件。

其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在其中一个实施例中,如图2所示,提供了一种网络模型优化方法,以该方法应用于图1中的终端102和/或服务器104为例进行说明,包括以下步骤:

步骤s202,获取目标种群,目标种群中包括第一数量的个体,个体对应待训练网络模型的一组模型参数。

在其中一个实施例中,本申请提供的网络模型优化方法,主要是通过对传统的遗传算法进行改进,从而实现待训练网络模型的优化。其中,遗传算法(geneticalgorithm,ga)是根据大自然中生物体进化规律而设计提出的,是一种模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,可以通过模拟自然进化过程搜索最优解。遗传算法通过数学方式,将问题的求解过程转换成类似生物进化中的染色体基因的交叉、变异等过程,能够较快地获得较好的优化结果,被广泛应用于组合优化、机器学习和信号处理等领域。

在其中一个实施例中,本申请中涉及的遗传算法,主要是非支配排序遗传算法。其中,非支配排序遗传算法(non-dominatedsortinggeneticalgorithms,nsga)是一种基于帕累托(pareto)最优概念的遗传算法,在遗传算法的选择运算执行之前,种群会根据个体之间的支配与非支配关系进行排序,再进行后续运算。

在其中一个实施例中,在生物学中,种群是指同一时间生活在一定自然区域内,同种生物的所有个体。在遗传算法中,种群是进化的基本单位,种群由个体组成。其中,将在遗传算法中进行运算的种群称为目标种群,目标种群中包括第一数量的个体。将未训练的网络模型称为待训练网络模型,个体对应待训练网络模型的一组模型参数。具体地,模型参数可以包括卷积的特征映射数量、池化层类型、感受野大小等。

步骤s204,基于进化参数进化目标种群,获得进化后种群,进化后种群中包含第二数量的个体,且第二数量大于第一数量。

在其中一个实施例中,遗传算法中主要包括选择运算、交叉运算和变异运算。其中,交叉运算是指把种群中个体的部分结构加以替换重组而生成新个体的运算,也就是将交叉算子作用于目标种群。变异运算是对种群中个体的某些基因座上的基因值作变动,也就是将变异算子作用于目标种群。由此可知,进化参数包括交叉算子和变异算子中的至少一种。具体地,基于进化参数进化目标种群,将得到的下一代种群称为进化后种群。其中,进化后种群中包含第二数量的个体,且第二数量大于第一数量。

步骤s206,使用进化后种群中的个体对待训练网络模型进行训练,获得训练后的第二数量的环境变化后个体。

在其中一个实施例中,个体对应待训练网络模型的一组模型参数,可以使用进化后种群中的个体对待训练网络模型进行训练。在待训练网络模型的训练过程中,模型参数、目标函数或者约束条件等可能会随着时间动态变化,将这种动态变化称为环境变化。具体地,对待训练网络模型进行训练之后,获得训练后的环境变化后个体。其中,训练过程不会使个体的数量产生变化,因此环境变化后个体为第二数量。

在其中一个实施例中,对待训练网络模型进行训练之前,选择目标进行动态多目标优化。具体地,可以以待训练网络模型中的多个损失函数为目标,或者以待训练网络模型的模型性能参数为目标,进行动态多目标优化。

步骤s208,从第二数量的环境变化后个体中获得第一数量的环境变化后个体。

在其中一个实施例中,对待训练网络模型进行训练之后,再次进行遗传算法迭代时,由于遗传算法中输入的目标种群的大小是确定的,因此需要对进化后种群中的个体进行选择。然而,传统的遗传算法对进化后种群中的个体是随机选择的,由于随机选择可能会降低待训练网络模型的性能,因此引入计数方法,通过对环境变化后个体进行等级划分,并根据划分的等级来赋予分数,基于分数从第二数量的环境变化后个体中获得第一数量的环境变化后个体,从而提高待训练网络模型的性能。其中,等级与分数之间存在预设的对应关系,等级越高,则赋予的分数也越高。

在其中一个实施例中,等级划分可以是按照非支配排序进行划分。例如,若个体a对应的参数为1和2,个体b对应的参数为0和1,假设较大的为更优个体,由于1>0,2>1,因此个体a支配b,则个体a的pareto等级高于个体b。若个体a对应的参数为1和2,个体b对应的参数为2和1,则个体a与个体b之间无法进行比较,此时个体a与个体b的pareto等级相同。

在其中一个实施例中,在对环境变化后个体进行等级划分之后,当个体的等级不同时,可以按照预设排序方式,对个体对应的等级进行排序,选择排序在前的第一数量的环境变化后个体。当个体的等级相同时,需要计算个体对应的距离,按照预设排序方式,对个体对应的距离进行排序,选择排序在前的第一数量的环境变化后个体。具体地,预设排序方式是指由大到小的顺序进行排序的方式。距离可以是采用拥挤距离算法计算的拥挤距离,拥挤距离可以作为评判个体与相邻个体间的远近的指标。拥挤距离越大,说明种群中的个体越分散。

在其中一个实施例中,计数方法可以是波达(borda)计数方法。其中,波达计数方法是一种排序投票法,理论上是对所有候选者进行排序,并按照不同的排序名次获得相应的分数,分数最高的候选者赢得选举。具体地,可以将第二数量的环境变化后个体理解为所有候选者,根据环境变化后个体对应的分数,按照预设排序方式进行排序,选择排序在前的第一数量的环境变化后个体。其中,预设排序方式是指由大到小的顺序进行排序的方式。

步骤s210,在未达到模型优化结束条件时,更新进化参数,将第一数量的环境变化后个体作为新的目标种群,返回基于进化参数进化目标种群的步骤,直至达到模型优化结束条件。

在其中一个实施例中,模型优化结束条件可以由用户设定。具体地,模型优化结束条件可以设定为模型迭代次数或者模型性能指标。在达到模型迭代次数或者模型性能指标时,确定达到模型优化结束条件。在未达到模型迭代次数或者模型性能指标时,确定未达到模型优化结束条件。在未达到模型优化结束条件时,在此次模型训练结束之后,并进行下一次模型训练之前,可以更新进化参数,并将此次运算得到的第一数量的环境变化后个体作为新的目标种群,返回步骤s204,直至达到模型优化结束条件。

上述网络模型优化方法中,通过获取目标种群,目标种群中包括第一数量的个体,个体对应待训练网络模型的一组模型参数;基于进化参数进化目标种群,获得进化后种群,进化后种群中包含第二数量的个体,且第二数量大于第一数量;使用进化后种群中的个体对待训练网络模型进行训练,获得训练后的第二数量的环境变化后个体;从第二数量的环境变化后个体中获得第一数量的环境变化后个体;在未达到模型优化结束条件时,更新进化参数,将第一数量的环境变化后个体作为新的目标种群,返回基于进化参数进化目标种群的步骤,直至达到模型优化结束条件。采用上述实施例方法,通过选择和确定新的目标种群,可以避免遗传算法中对个体的随机选择,通过更新进化参数,可以使遗传算法适应在网络模型训练过程中产生的环境变化,从而对网络模型进行优化,能够有效提高网络模型的性能。

在其中一个实施例中,步骤s202获取目标种群,包括:

步骤s302,确定待训练网络模型中的各待优化模型参数。

在其中一个实施例中,可以通过待训练网络模型中的各待优化模型参数确定目标种群。其中,待优化模型参数可以包括卷积的特征映射数量、池化层类型、感受野大小等。

步骤s304,将各待优化模型参数进行随机初始化,获取目标种群。

在其中一个实施例中,将各待优化模型参数进行随机初始化,得到一组个体,总共随机初始化第一数量的个体,得到目标种群。其中,个体对应待训练网络模型的一组模型参数。具体地,在第一次运算时,以上述的步骤确定目标种群,在第二次运算时,将第一次模型训练结束之后获得的第一数量的环境变化后个体作为新的目标种群,以此类推。

在其中一个实施例中,步骤s208从第二数量的环境变化后个体中获得第一数量的环境变化后个体,包括:

步骤s402,分别对第二数量的个体以及第二数量的环境变化后个体进行等级划分,得到等级划分结果以及环境变化后等级划分结果。

在其中一个实施例中,按照非支配排序分别对第二数量的个体以及第二数量的环境变化后个体进行等级划分,将第二数量的个体进行等级划分之后得到的结果称为等级划分结果,将第二数量的环境变化后个体进行等级划分之后得到的结果称为环境变化后等级划分结果。

在其中一个实施例中,当第二数量的个体对应的等级不同时,按照预设排序方式对各等级进行排序,获取等级排序结果。当第二数量的环境变化后个体对应的环境变化后等级不同时,按照预设排序方式对各环境变化后等级进行排序,获取环境变化后等级排序结果。分别基于等级排序结果以及环境变化后等级排序结果,得到等级划分结果以及环境变化后等级划分结果。其中,预设排序方式是指由大到小的顺序进行排序的方式。

在其中一个实施例中,当第二数量的个体对应的等级相同时,计算第二数量的个体对应的拥挤距离。当第二数量的环境变化后个体对应的等级相同时,计算第二数量的环境变化后个体对应的环境变化后拥挤距离。按照预设排序方式对各拥挤距离以及各环境变化后拥挤距离进行排序,分别得到距离排序结果以及环境变化后拥挤距离排序结果。根据距离排序结果以及环境变化后拥挤距离排序结果,得到对应的等级划分结果以及环境变化后等级划分结果。其中,预设排序方式是指由大到小的顺序进行排序的方式。

步骤s404,基于等级划分结果以及环境变化后等级划分结果,计算第二数量的环境变化后个体对应的有效分数。

在其中一个实施例中,基于等级划分结果以及环境变化后等级划分结果,计算第二数量的环境变化后个体对应的最终分数,将最终分数称为有效分数。具体地,可以通过计算环境变化对个体的影响来确定个体对应的有效分数。

步骤s406,根据各有效分数,从第二数量的环境变化后个体中获得第一数量的环境变化后个体。

在其中一个实施例中,按照预设排序方式对有效分数进行排序,选择排序在前的第一数量的环境变化后个体。其中,预设排序方式是指由大到小的顺序进行排序的方式。

在其中一个实施例中,步骤s404基于等级划分结果以及环境变化后等级划分结果,计算第二数量的环境变化后个体对应的有效分数,包括:

步骤s502,根据预设的等级与分数的对应关系,得到第二数量的个体对应的分数,以及第二数量的环境变化后个体对应的环境变化后分数。

在其中一个实施例中,等级与分数之间存在预设的对应关系,等级越高,则赋予的分数也越高。具体地,根据第二数量的个体对应的等级划分结果,并根据预设的等级与分数的对应关系,得到第二数量的个体对应的分数。根据第二数量的环境变化后个体对应的环境变化后等级划分结果,得到第二数量的环境变化后个体对应的环境变化后分数。

步骤s504,基于预设的第二数量的个体对应的分数权重以及预设的模糊规则,确定第二数量的环境变化后个体对应的环境变化后分数权重。

在其中一个实施例中,预设的模糊规则是指mamdani模糊规则,用于通过事先掌握的一组推理规则实现从输入到输出的推理计算。具体地,可以使用环境变化量和环境变化前的模型性能参数来创建mamdani模糊规则。将环境变化前的模型性能参数、第二数量的个体对应的分数权重和环境变化量作为模糊规则的输入,将第二数量的环境变化后个体对应的环境变化后分数权重作为模糊规则的输出,从而确定第二数量的环境变化后个体对应的环境变化后分数权重。

步骤s506,根据分数、分数权重、环境变化后分数以及环境变化后分数权重,计算第二数量的环境变化后个体对应的有效分数。

在其中一个实施例中,根据第二数量的个体对应的分数以及分数权重,第二数量的环境变化后个体对应的环境变化后分数以及环境变化后分数权重,计算第二数量的环境变化后个体对应的有效分数。

在其中一个实施例中,步骤s506根据分数、分数权重、环境变化后分数以及环境变化后分数权重,计算第二数量的环境变化后个体对应的有效分数,包括:

步骤s602,根据分数、分数权重、环境变化后分数以及环境变化后分数权重,计算第二数量的环境变化后个体对应的环境影响因子和待修改分数。

在其中一个实施例中,将第二数量的环境变化后个体对应的环境影响因子表示为eoc,计算公式如下:

其中,分数表示第二数量的个体对应的分数,环境变化后分数表示第二数量的环境变化后个体对应的环境变化后分数。

在其中一个实施例中,第二数量的环境变化后个体对应的待修改分数,计算公式如下:

待修改分数=分数×分数权重+环境变化后分数×环境变化后分数权重

其中,分数和分数权重表示第二数量的个体对应的分数和分数权重,环境变化后分数和环境变化后分数权重表示第二数量的环境变化后个体对应的环境变化后分数和环境变化后分数权重。

步骤s604,基于待修改分数与环境影响因子,计算第二数量的环境变化后个体对应的有效分数。

在其中一个实施例中,有效分数的计算公式如下:

有效分数=待修改分数-eoc

其中,有效分数表示第二数量的环境变化后个体对应的有效分数,待修改分数表示第二数量的环境变化后个体对应的待修改分数,eoc表示第二数量的环境变化后个体对应的环境影响因子。

在其中一个实施例中,进化参数的更新方式,包括:

步骤s702,基于预设的模糊规则以及进化参数,得到临时进化参数。

在其中一个实施例中,预设的模糊规则是指mamdani模糊规则,用于通过事先掌握的一组推理规则实现从输入到输出的推理计算。具体地,可以使用mamdani模糊规则调整进化算子。将环境变化前的变异算子、环境变化前的交叉算子、环境变化前的模型性能参数和环境变化量作为模糊规则的输入,将环境变化后的变异算子和环境变化后交叉算子作为模糊规则的输出,从而确定临时进化参数。

步骤s704,确定临时进化参数对应的训练后网络模型的临时模型性能参数。

在其中一个实施例中,基于临时进化参数进化目标种群,得到临时进化后种群,并使用临时进化后种群中的个体对待训练网络模型进行训练,确定临时进化参数对应的训练后网络模型的临时模型性能参数。

步骤s706,当临时模型性能参数优于进化参数对应的训练后网络模型的模型性能参数时,将进化参数更新为临时进化参数。

在其中一个实施例中,当临时模型性能参数优于进化参数对应的训练后网络模型的模型性能参数时,将进化参数更新为临时进化参数,否则,不更新进化参数。

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及其中一个具体实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在其中一个具体实施例中,如图3所示,网络模型优化方法包括遗传算法运算部分和网络模型训练部分,以待训练网络模型的损失函数f1和f2为目标进行动态多目标优化。如图4所示,网络模型优化方法的具体步骤如下:

1、确定待训练网络模型中的各待优化模型参数,将各待优化模型参数进行随机初始化,得到一组个体,总共随机初始化第一数量的个体,得到目标种群;

2、基于进化参数进化目标种群,获得进化后种群,进化后种群中包含第二数量的个体,且第二数量大于第一数量;

3、使用进化后种群中的个体对待训练网络模型进行训练,获得训练后的第二数量的环境变化后个体;

4、按照非支配排序将第二数量的个体以及第二数量的环境变化后个体进行等级划分,并计算第二数量的环境变化后个体对应的有效分数,从第二数量的环境变化后个体中获得第一数量的环境变化后个体;

5、在未达到模型优化结束条件时,基于预设的模糊规则更新进化参数,将第一数量的环境变化后个体作为新的目标种群,返回步骤2,直至达到模型优化结束条件。

应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在其中一个实施例中,如图5所示,提供了一种网络模型优化装置,包括:种群获取模块510、种群进化模块520、模型训练模块530、个体确定模块540、训练结束判定模块550和参数调整模块560,其中:

种群获取模块510,用于获取目标种群,所述目标种群中包括第一数量的个体,所述个体对应待训练网络模型的一组模型参数。

种群进化模块520,用于基于进化参数或者基于参数调整模块更新后的进化参数进化所述目标种群,获得进化后种群,所述进化后种群中包含第二数量的个体,且所述第二数量大于所述第一数量。

模型训练模块530,用于使用所述进化后种群中的个体对所述待训练网络模型进行训练,获得训练后的所述第二数量的环境变化后个体。

个体确定模块540,用于从所述第二数量的环境变化后个体中获得所述第一数量的环境变化后个体。

训练结束判定模块550,用于在根据所述第一数量的环境变化后个体确定达到模型优化结束条件时,网络模型优化结束。

参数调整模块560,用于在所述训练结束判定模块确定未达到所述模型优化结束条件时,更新所述进化参数。

在其中一个实施例中,种群获取模块510包括以下单元:

待优化模型参数确定单元,用于确定所述待训练网络模型中的各待优化模型参数。

目标种群获取单元,用于将各所述待优化模型参数进行随机初始化,获取目标种群。

在其中一个实施例中,个体确定模块540包括以下单元:

等级划分单元,用于分别对所述第二数量的个体以及所述第二数量的环境变化后个体进行等级划分,得到等级划分结果以及环境变化后等级划分结果。

有效分数计算单元,用于基于所述等级划分结果以及环境变化后等级划分结果,计算所述第二数量的环境变化后个体对应的有效分数。

环境变化后个体确定单元,用于根据各所述有效分数,从所述第二数量的环境变化后个体中获得所述第一数量的环境变化后个体。

在其中一个实施例中,等级划分单元包括以下单元:

第一排序单元,用于当所述第二数量的个体对应的等级不同时,按照预设排序方式对各所述等级进行排序,获取等级排序结果。

第二排序单元,用于当所述第二数量的环境变化后个体对应的环境变化后等级不同时,按照所述预设排序方式对各所述环境变化后等级进行排序,获取环境变化后等级排序结果。

第一等级划分结果确定单元,用于分别基于所述等级排序结果以及所述环境变化后等级排序结果,得到等级划分结果以及环境变化后等级划分结果。

在其中一个实施例中,等级划分单元包括以下单元:

第一距离计算单元,用于当所述第二数量的个体对应的等级相同时,计算所述第二数量的个体对应的拥挤距离。

第二距离计算单元,用于当所述第二数量的环境变化后个体对应的等级相同时,计算所述第二数量的环境变化后个体对应的环境变化后拥挤距离。

第三排序单元,用于按照所述预设排序方式对各所述拥挤距离以及各所述环境变化后拥挤距离进行排序,分别得到距离排序结果以及环境变化后拥挤距离排序结果。

第二等级划分结果确定单元,用于根据所述距离排序结果以及所述环境变化后拥挤距离排序结果,得到对应的等级划分结果以及环境变化后等级划分结果。

在其中一个实施例中,有效分数计算单元包括以下单元:

分数确定单元,用于根据预设的等级与分数的对应关系,得到所述第二数量的个体对应的分数,以及所述第二数量的环境变化后个体对应的环境变化后分数。

分数权重确定单元,用于基于预设的所述第二数量的个体对应的分数权重以及预设的模糊规则,确定所述第二数量的环境变化后个体对应的环境变化后分数权重。

计算单元,用于根据所述分数、所述分数权重、所述环境变化后分数以及所述环境变化后分数权重,计算所述第二数量的环境变化后个体对应的有效分数。

在其中一个实施例中,计算单元包括以下单元:

待修改分数计算单元,用于根据所述分数、所述分数权重、所述环境变化后分数以及所述环境变化后分数权重,计算所述第二数量的环境变化后个体对应的环境影响因子和待修改分数。

有效分数确定单元,用于基于所述待修改分数与所述环境影响因子,计算所述第二数量的环境变化后个体对应的有效分数。

在其中一个实施例中,网络模型优化模块还包括:

进化参数更新模块,用于更新所述进化参数。

在其中一个实施例中,进化参数更新模块包括以下单元:

临时进化参数确定单元,用于基于所述预设的模糊规则以及所述进化参数,得到临时进化参数。

临时模型性能参数确定单元,用于确定所述临时进化参数对应的训练后网络模型的临时模型性能参数。

进化参数更新单元,用于当所述临时模型性能参数优于所述进化参数对应的训练后网络模型的模型性能参数时,将所述进化参数更新为所述临时进化参数。

关于网络模型优化装置的具体限定可以参见上文中对于网络模型优化方法的限定,在此不再赘述。上述网络模型优化装置中的各个模块可全部或者部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或者独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在其中一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储网络模型优化数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种网络模型优化方法。

在其中一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或者无线方式的通信,无线方式可通过wifi、运营商网络、nfc(近场通信)或者其他技术实现。该计算机程序被处理器执行时以实现一种网络模型优化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或者触控板,还可以是外接的键盘、触控板或者鼠标等。

本领域技术人员可以理解,图6和图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或者更少的部件,或者组合某些部件,或者具有不同的部件布置。

在其中一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述的网络模型优化方法的步骤。

在其中一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的网络模型优化方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或者部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(staticrandomaccessmemory,sram)或动态随机存取存储器(dynamicrandomaccessmemory,dram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1