一种基于代理模型的自适应多元优化方法

本发明属于智能计算，尤其涉及一种基于代理模型的自适应多元优化器、构建方法及应用。

背景技术：

1、目前，随着科技技术的进步，不同学科之间的结合逐渐开始变得紧密，一些如汽车、飞机等强度问题就要涉及到材料学、固体力学、空气力学等各种学科领域。随着对于工程的要求越来越高，最起初的设计模式已经无法支撑如今的工程的高标准高要求。上世纪八十年代美国兴起了多学科设计优化(multidisciplinary design optimization,mdo)，这种方法认为在进行工程优化时应当充分考虑到不同学科的协同效应，利用多学科的高精度模型协同分析以获取全局最优解。但是这种高精度多学科设计优化中遇到了关键问题便是不同学科的模型往往由专业的计算模型通过长时间的计算获得，或是由代价高昂的物理实验得出。这种庞大的开销使得工程优化变得十分困难。针对复杂问题的参数优化问题，学者们在早期一般使用网格搜索法或是经验方法，利用试算的方法优化复杂问题模型参数，通过反复测试逐一挑选的方式对一系列参数的分类结果进行最优参数选取。这种方法最大的问题是寻找效率低下且不能保证找到最优参数组，而其他传统方法如梯度下降法也存在对初始值敏感等问题。

2、bp神经网络代理模型已经在工程计算中证明了其有效性，同时代理模型所具备的减少优化开销的特点。bp神经网络是一种多层前馈神经网络，因为其强大的非线性函数的拟合能力以及较强的泛化能力而被许多学者作为一种代理模型使用，代理模型常在工程计算中通过拟合仿真代替对原始问题的复杂运算，达到节约时间开销的效果。

3、元启发优化算法的是一种新型的优化算法，它能够有效地处理多变量函数的优化问题。它的基本思想是从一个起始点出发，根据当前点的函数值，搜索最优解。元启发算法能够快速找到一个近似最优解，它还比一般的优化算法更简单，不需要计算复杂的梯度，更容易实现，元启发优化算法会根据当前点的函数值，去搜索最优解。其中，首先要确定一个初始点，然后使用一个启发式函数，比如梯度下降法或者模拟退货算法，根据当前点的函数值去搜索最优解，然后在搜索过程中不断更新当前点的函数值，直到找到一个满足要求的最优解。它具有快速找到近似最优解，解决多变量函数优化问题等有点，是一种非常有效的优化算法。

4、通过上述分析，现有技术存在的问题及缺陷为：现有技术寻找效率低下且不能保证找到最优参数组，而其他传统方法如梯度下降法也存在对初始值敏感等问题。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于代理模型的自适应多元优化方法。

2、本发明是这样实现的，一种基于代理模型的自适应多元优化器的构建方法，所述基于代理模型的自适应多元优化器的构建方法，包括以下步骤：

3、第一步，构建基于bp神经网络构建代理模型；通过随机采样得到由采样矩阵和响应矩阵组成的样本集合，在此基础上，构建基于bp神经网络的代理模型；

4、第二步，设计基于自适应策略的多元优化器，基于代理模型构建虚拟的适应度函数，模拟真实黑箱问题的响应，以设定值与代理模型估计值的偏差最小为目标，基于11种启发式优化算法构建11种寻优方案，结合精英选择策略选择最佳方案对应的启发式算法作为最终的优化器；

5、第三步，基于自适应多元优化器求解复杂优化问题，针对复杂优化问题，构建真实的适应度函数，通过优化器的自适应构建，完成问题的求解；

6、第四步，验证所设计优化器的性能，将多元优化器在多个标准数据集上进行测试，对时间开销和优化效果进行评估，并应用于svm参数优化问题，开发基于代理模型的自适应多元优化软件。

7、进一步，所述第一步，具体包括以下步骤：

8、步骤一、优化器初始化，首先对复杂优化问题进行编码，将其转换为元启发式优化算法所需个体的形式，设置用于训练bp神经网络代理模型所需样本数m；

9、步骤二、构建输入样本，利用随机数生成器在解空间中随机生成m组由k个变量构成的m×k维的输入矩阵x，同时使用线性变换的方法对复杂问题的参数进行预处理，使参数大小映射到指定的范围中；

10、步骤三、构建输出样本，将输入矩阵x解码后带入目标函数，得到输出矩阵y，并将输入矩阵x与输出矩阵y连接构成m×(k+1)维样本矩阵；

11、步骤四、初始化bp神经网络代理模型，初始化bp神经网络代理模型的输入层、隐含层，随机生成输出层之间的连接权重w以及隐含层的阈值d；

12、步骤五、训练bp神经网络代理模型，使用随机划分的方法将m×(k+1)维样本矩阵划分为训练集和测试集，将80％的数据作为训练集、20％的数据作为测证集，并基于反向传播方法修正bp神经网络代理模型的参数，最后使用测试集对训练好的模型进行测试，以此来验证代理模型的有效性。

13、进一步，所述第二步，具体包括以下步骤：

14、步骤一、初始化优化算法，设置11种启发式优化算法，多元宇宙优化算法mvo、萤火虫优化算法fa、遗传优化算法ga、粒子群优化算法pso、蜻蜓优化算法da、蝗虫优化算法goa、正余弦优化算法sca、麻雀搜索算法ssa、鲸鱼优化算法bat、竞争粒子群优化算法cso的群体大小参数，设置算法迭代次数t；

15、步骤二、构建虚拟适应度函数，采用bp神经网络代理模型代替真实的目标函数，通过代理模型输出的模拟真实的响应过程，将代理模型的响应函数作为虚拟适应度函数；

16、步骤三、设计代理模型辅助的多元优化器，以设定值与代理模型估计值的偏差最小值为目标，在指定的迭代次数下，统计并保存11种算法的适应度结果值r。

17、进一步，所述第三步，具体包括以下步骤：以真实目标函数为适应度函数，以设定值与真实值的偏差最小为目标，基于自适应的最佳优化方案，在指定的迭代次数下，完成复杂问题的求解。

18、进一步，所述第四步，具体包括以下步骤：

19、步骤一、验证自适应策略多元优化器的精度，选择了八个来自西蒙菲沙大学数据库的三维标准测试函数，测试自适应策略多元优化器对八种测试函数的拟合程度以及模型的泛化能力；

20、步骤二、应用自适应策略多元优化器，选择数据集并进行数据集的预处理，从uci数据库中选取了四个数据集heart-scale数据集、balloon数据集、vehicle数据集、wine数据集用以验证多元优化器在svm参数优化问题上的效果，对所有数据集中的分类变量进行编码，并通过归一化处理进行范围设置；

21、步骤三、实验对比分析，对比使用十一种元启发式优化算法与使用多元优化器在svm上进行十折交叉验证的时间消耗进行对比，并对多元优化器在四中数据集上的效果同多种优化算法进行比较；

22、步骤四、开发基于代理模型的自适应多元优化软件，对软件中各个模块的功能以及界面进行设计。

23、进一步，所述第一步，构建bp代理模型步骤具体为：

24、首先是样本点的获取，使用随机数生成器生成随机参数矩阵，获取构建代理模型的初始样本点，然后对样本点进行数值分析，设复杂优化问题有k个参数，则k个参数即可组成向量x，设其中第i个参数的取值范围为fieldi，则全部参数的范围为field＝[field1，field2......fieldi]，为了增强bp神经网络代理模型的精准性，设待训练数据集d，并将其划分为训练集dtrain与测试集dvalid，svm参数优化问题可以用x*表示；

25、

26、其中x*为最优参数组，v(·)用于测量根据复杂优化问题及其参数x训练处的模型在dtrain和dvalid上的性能指标p，复杂问题优化的目标便是寻找使v(·)最大的参数组x*；

27、所述第二步黑箱模型具体为：

28、将性能指标假设为一个黑箱模型，不对其内部结构与相互之间的关系进行研究，忽略其具体映射方式，直接利用bp神经网络代理模型构建该黑箱模型的代理模型，只需要以具有高精度的bp神经网络代理模型的预测响应值作为优化算法的适应度函数，便可以实现对复杂优化问题的仿真优化；

29、所述第二步中元启发式优化算法具体为：

30、元启发式优化算法由exploration与exploitation组成，exploration指在整个搜索空间内搜索最优解，exploitation指利用已有信息，依托部分优解逐步缓慢搜索最优解；元启发式优化算法分为两大类，即基于生物现象的元启发式优化算法和基于物理原理的元启发式优化算法，其中基于生物现象的元启发式算法又分为基于演化算法和基于群智能算法的元启发式优化算法；

31、所述第四步中基于代理模型的自适应多元优化软件具体模块为：

32、数据集选择模块，该部分用于选定待分类或待回归预测的数据集，“选择”按钮可以在本地选择需要的.txt、.mat和.csv类型的文件；参数设置模块分为两部分，第一部分为全局参数，包括验证折数、群体迭代次数、群体中个体数；第二部分为针对不同优化算法的参数设置，包括样本点数设置、神经网络结构设置、神经网络参数设置，同时在下拉菜单中可以选择不同的元启发式优化算法，且下方参数面板参数内容会随着选择优化方法而变化；在参数优化模块，当参数设置完成后，点击“开始”按钮进行测试，开始后会弹出进度条弹窗，显示目前算法运行进度，在优化完成后会在右下方output文本框中输出包括准确度、所选择优化算法、一系列性能指标如均方差、fp(false positive)、tp(true positive)；在使用多元优化器对svm进行参数优化时，收敛曲线窗口将显示不同优化算法在仿真问题上的收敛曲线，曲线纵坐标为100-fitness，bp神经网络效果窗口显示bp神经网络拟合程度，红色散点为实际值，蓝色折线为bp神经网络对其拟合值。

33、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于代理模型的自适应多元优化器的构建方法。

34、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于代理模型的自适应多元优化器的构建方法。

35、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于代理模型的自适应多元优化器的构建方法。

36、本发明的另一目的在于提供一种实施所述基于代理模型的自适应多元优化器的构建方法的基于代理模型的自适应多元优化器，所述基于代理模型的自适应多元优化器包括：

37、第一层为代理模型的构建，对于svm参数优化问题，随机生成向量矩阵x,其形式如下式所示：

38、

39、其中，m为样本点数，xi为根据待优化问题参数个数k随机生成的1×k的向量。将x传递给黑盒模型，即将x1作为svm参数进行svm模型训练，获取svm准确率响应值矩阵y，x与y共同构成用于训练bp神经网络代理模型的样本点；

40、bp神经网络代理模型输入层节点数为k，输出层节点为1，输出预测svm性能指标。整体训练利用bp神经网络的反向传播机制，正向传播使用sigmoid激活函数作为神经元激活函数，反向传播将正向传播计算出的响应值与真实值误差反向传递到每个隐含层与输入层节点，使用链式求导方式修正路径上的连接权值与神经元偏置值，通过反复迭代直至终止条件以完成对代理模型的训练，实现对svm训练中黑箱模型的拟合；

41、第二层为构建基于自适应策略的多元优化器，将多种元启发式优化算法组成并行优化器；本层首先为每一种元启发式优化算法设置相同的初始群体，利用代理模型结合多种元启发式优化算法实现对原始问题的仿真优化，优化算法的适应度函数为bp神经网络预测的svm模型准确度仿真值作为适应度函数；

42、首先会将种群中每一个个体传递给bp神经网络代理模型，代理模型响应值作为适应度值，判断其是否满足终止条件，不满足终止条件则根据不同优化算法的更新策略基于适应度值对种群内个体进行更新，并重新计算适应度值以判断是否满足终止条件；算法在以上步骤的循环迭代中完成对原始问题的仿真优化。完成优化后，得到元启发式优化算法优化分数，即最后一代最优适应度，如下式所示：

43、fitness＝[fitness1，fitness2...，fitnessm]

44、其中fitnessm为第m个元启发式优化算法分数。参考遗传算法的精英选择策略，最终分数的计算公式如下式所示；从而得到在svm参数优化仿真中效果最好的优化算法索引best；

45、fitnessbest＝max(fitness)

46、第三层为问题求解层，将会利用第二层中选择出的最优算法在原问题上进行优化，优化算法的适应度函数设置为svm模型实际性能指标；

47、对svm优化过程进行假设，设svm有k个参数，则k个参数即可组成向量x，设其中第i个参数的取值范围为fieldi，则全部参数的范围为fieldi＝[fieldl，field2......fieldi]；设待训练数据集d，并将其划分为训练集dtrain与验证集dvalid，svm参数优化问题就用下式表示；

48、x*＝argmax v(p，fieldx，dvalid，dtrain)

49、x∈field

50、其中x*为最优参数组，v(·)用于测量根据svm方法及其参数x训练出的模型在dtrain和dvalid上的性能指标p，svm参数优化的目标便是寻找使v(·)最大的参数组x*。

51、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

52、第一、本发明构建基于bp神经网络构建代理模型。通过随机采样得到由采样矩阵和响应矩阵组成的样本集合，在此基础上，构建基于bp神经网络的代理模型；设计基于自适应策略的多元优化器。基于代理模型构建虚拟的适应度函数，模拟真实黑箱问题的响应，以设定值与代理模型估计值的偏差最小为目标，基于11种启发式优化算法构建11种寻优方案，结合精英选择策略选择最佳方案对应的启发式算法作为最终的优化器；基于自适应多元优化器求解复杂优化问题。针对复杂优化问题，构建真实的适应度函数，通过优化器的自适应构建，完成问题的求解；验证所设计优化器的性能。将多元优化器在多个标准数据集上进行测试，对时间开销和优化效果进行评估，并应用于svm参数优化问题，开发基于代理模型的自适应多元优化软件。本发明所提出算法的精度和鲁棒性均优于单一的元启发式优化算法；以svm参数优化问题为例，所提出算法在最短的时间内选择了效果较好的优化算法并获得了最佳的模型参数。

53、第二，本发明将这种代理模型引入对复杂问题参数优化问题的研究中以节约优化过程中大量训练问题模型的带来的时间开销。本发明利用元启发式优化算法对复杂问题参数进行优化的方式，由于不同数据集所具有的不同特点导致在选择优化算法时需要依赖经验方法这一问题，提出了基于bp神经网络代理模型的多元优化器，通过训练bp神经网络代理模型并将其响应值作为群体进化优化算法的适应度函数，智能选择最优的群体进化优化算法进行优化，在保证效果的情况下很大程度减少了时间开销。

54、本发明基于bp神经网络的多元优化器。通过对复杂优化问题的分析，将问题的训练过程抽象为函数过程，通过使用bp神经网络拟合构建代理模型，并在八种标准测试函数中进行测试，实验证明多元优化器能较好的智能选择最适用于优化待优化函数的优化算法，具有较高的泛用性与较好的效果。研究了基于bp神经网络的多元优化器在svm参数优化问题中的应用，并开发配套软件。验证了算法有效性后将其应用在svm参数优化问题上，通过在heart-scale数据集上进行代码运行时间比对证明了本算法的高效性，又通过在四种uci数据库中的标准测试数据集上进行的实验，多元优化器以其稳定的效果展示了本算法在svm参数优化实际问题上的有效性。使用matlab设计基于代理模型的自适应多元优化软件，将多元优化器与多种流行的群体进化优化算法集成，以较低的使用门槛方便后续发明以图形方式使用不同的优化函数对复杂优化问题进行求解。

55、本发明的技术方案克服了技术偏见：针对传统智能优化算法在问题求解上体现出的性能差异问题，本发明提出了一种面向复杂优化问题的通用优化框架。该优化框架通过自动设计优化器，克服了传统智能优化算法泛化性不足的问题。

56、第三，基于代理模型的自适应多元优化器的构建方法提出的技术，相对于传统的优化方法和工具，带来了以下显著的技术进步：

57、1)高效率的优化过程：通过将bp神经网络用作代理模型，该方法能够快速对复杂优化问题进行预测和分析，相比于直接在复杂问题上运行优化算法，显著减少了计算时间和资源消耗。

58、2)更强的泛化能力：通过引入代理模型，该方法能够模拟真实黑箱问题的响应，使优化器具备更强的泛化能力。这使得优化器能够应对更广泛的问题类型，提升了其应用范围。

59、3)自适应策略的创新运用：结合11种启发式优化算法构建的多元优化器通过自适应策略选择最优方案，这种策略使得优化器能够根据具体问题自动调整，找到更适合的解决方案，提高了优化的精确度。

60、4)综合多算法的优势：传统优化工具通常依赖单一算法，而该方法通过结合多种算法的优势，能够更全面地解决问题，提高了优化的效率和效果。

61、5)实用性与应用范围的扩展：通过在标准数据集和实际应用(如svm参数优化)上的测试和应用，该方法的实用性和应用范围得到了显著提升。特别是在svm参数优化问题上的应用，显示了该方法在实际机器学习和数据挖掘问题中的高效性。

62、6)软件工具的开发：基于该方法开发的自适应多元优化软件为用户提供了一个易于使用、功能强大的优化工具，进一步增加了该方法的实用价值和推广潜力。

63、本发明的基于代理模型的自适应多元优化器的构建方法在优化效率、泛化能力、方法灵活性、实用性等方面取得了显著的技术进步。