基于灰支持向量回归机预测适应值的交互式集合进化方法与流程

本发明属于智能计算领域，特别是涉及一种基于灰支持向量回归机预测适应值的交互式集合进化优化方法，并用于颜色匹配方案的选型。

背景技术

20世纪90年代提出的基于启发式学习的交互式进化计算应用于求解隐式指标优化问题需要解决2个基本问题：(1)如何有效提取隐式知识；(2)如何高质量求解隐式性能指标。

对于第1个问题，主要有2种研究策略：一是在边交互边进化方式下，通过人-机交互接口直接提取隐式知识。这主要集中于适应值赋值方式的研究，如2014年出版的期刊《自动化学报》第2期“基于区间适应值交互式遗传算法的加权多输出高斯过程代理模型”采用区间数等不确定数表达适应值，反映用户的偏好特性；2017年出版的期刊《电子学报》第12期“基于熵极大化准则的非用户赋适应值交互式遗传算法”和2016年出版的期刊《appliedintelligence》第3期“predictinguser’spreferencesusingneuralnetworksandpsychologymodels”结合用户浏览行为表达个性化需求，弥补数值类型适应值偏好知识表达的不足。直接获取隐式知识计算量小，方法简单，但主观性强，信息不确定性较大，噪声含量较高。二是间接获取隐式知识，即在进化过程中挖掘隐式知识，提取有价值偏好信息。2017年出版的期刊《郑州大学学报(工学版)》第6期“.基于可能性条件偏好网络的交互式遗传算法及其应用”采用偏好网络拟合用户偏好，估计个体适应值和引导搜索；类似地，2017年出版的期刊《automatedsoftwareengineering》第3期“anarchitecturebasedoninteractiveoptimizationandmachinelearningappliedtothenextreleaseproblem”采用神经网络学习用户偏好，估计适应值。间接获取隐式知识是对偏好信息的深度挖掘，增强了算法的搜索能力，但代理模型建模比较复杂，估计误差无法测量，依然会带来大量适应值噪声。深入挖掘用户行为模式的适应值估计/表达策略有望提高隐式知识提取的效果或在更复杂的场景下提取知识，但从优化性能整体看，仅依靠提高隐式知识提取力度获得算法性能提升有很大局限性。对于第2个问题，主要通过降低用户疲劳的高效进化策略实现。采用大种群规模可以提高算法搜索能力，但这种方法需要解决大量未评价个体适应值估计问题。采用代理模型执行进化操作可以降低用户工作量，为用户节省时间开销。如2014年出版的期刊《电子学报》第8期“基于精英集选择进化个体的交互式遗传算法”构建个体精英集，选择与精英集相似的个体类别直接用于遗传操作，减轻用户负担。将上述思想结合，在大规模种群下采用进化代理模型可以显著提高算法性能。

在上述算法中,如何设计种群进化策略至关重要，由于代理模型会产生误差累积，控制误差是一个难以解决的问题。若将集合进化方法应用于大规模种群聚类进化，则可以提高搜索效率；同时，如采用代理模型重新评价已有大规模种群个体的估计适应值，则可以提高适应值精度，两者融合，取长补短，则有望改进当前交互式进化优化算法性能。经查阅相关文献，目前还不存在应用灰支持向量回归机预测适应值的交互式集合进化优化方法。如能开发出相关的高效设计系统，不仅会推动颜色匹配设计，对其他产品设计也将具有重大启发意义。

技术实现要素：

本发明所要解决的技术问题是：克服现有适应值估计技术的不足，提供一种减少适应值估计误差、降低用户负担、增强算法搜索能力且提高进化优化质量的交互式进化优化方法。

本发明的技术方案是：

首先，采用大规模种群扩大搜索空间，以有限个用户评价个体为聚类中心进行种群聚类。然后，对聚类内非聚类中心个体按融合个人浏览行为的个体相似性估计适应值，并采用灰色支持向量回归模型进一步预测个体适应值，构成集合进化个体。最后，采用集合进化策略和自适应交叉变异操作，在nsga-ii范式下实现集合进化算法。为实现本发明，需要解决个体适应值预测和集合进化策略设计2个主要问题。

(1)灰支持向量机适应值预测

将个体精确数适应值f(xk(t))，xk(t)∈x(t)记为f0＝(f0(x1(t)),f0(x2(t)),…,f0(xn(t)))，构成个体适应值原始序列。则f0的1-ago序列为f1＝(f1(x1(t)),f1(x2(t)),…,f1(xn(t)))，为了使原始数据在各个特征维度对目标函数的影响权重一致，首先对原始序列归一化：

归一化后数据序列为f0'＝(f0'(x1(t)),f0'(x2(t)),…,f0'(xn(t)))。然后，建立f0'的1-ago序列f1＝(f1'(x1(t)),f1'(x2(t)),…,f1'(xn(t)))，则灰支持向量模型记为：

式中：b为偏置项；ω为权重。1-ago变换项f1'(xk(t))代表了个体适应值输入空间向高维特征空间的非线性映射。式中未知参数ω和b使用vapnik提出的ε不敏感损失函数，由高维特征空间内的训练集估计：

由于最小化可以保证ε最小偏差，灰支持向量模型可以写成如下凸优化问题：

式中：控制模型的拟合精度；c为正则化常数，控制对超出误差的样本的惩罚程度。上式可以用lagrange乘子法求解：

可得对偶优化模型：

式中＜f1'(xi(t)),f1'(xj(t))＞代表向量内积。本发明选择核函数k(f1'(xi(t)),f1'(xj(t)))＝exp(-υ||f1'(xi(t)),f1'(xj(t))||),υ＞0，υ是核参数。将核函数代入上式，求得αk,和b后，灰支持向量回归机模型为：

式中，是对于新输入的个体适应值f1'(xnew(t))的灰支持向量机预测值。

最后，将预测值恢复为原始序列刻度，得到：

种群个体聚类、适应值预测后，形成的个体子类x1(t),x2(t),…,xnc(t)是一个个体集合，基于集合进化思想，很自然地可以将个体子类视为进化个体(集合进化个体)。

(2)集合进化策略

通过选择合适的性能指标，可将隐式性能指标优化转化为如下一般性集合决策变量优化问题：

maxf(x)＝(f1(x),f2(x),…,fid(x))

其中,为决策空间s的幂集；x＝{x1(t),x2(t),…,xnc(t)}为进化个体构成的种群；fd(x),d＝1,2,…,id是种群x的性能指标；id为转化后优化问题的维数，且远小于nc。结合隐式性能指标特点，本节给出新的集合个体比较测度，具体如下。

记第t代进化种群x(t)的第j个进化个体为其中，xj(t)为中心个体，个体适应值为m＝|xj(t)|为进化个体xj(t)包含的个体数。

采用进化个体相似度信息熵刻画多样性：

上式中，其中，xir,r＝1,2,…,g为组成个体的r个属性，是xir的属性值。xj(t)的中心个体xj(t)与其他进化个体的聚类中心相似度μ(xi(t),xj(t))越大，xj(t)与其他进化个体就越相似，种群多样性越差，此时，f2(x)越小。反之，f2(x)越大，种群各进化个体间越“松散”，种群多样性越好。

采用下式刻画分布性：

式中，d(xj(t))为xj(t)的最小拥挤距离，d^*为种群进化个体平均拥挤距离，

对于具有相同序值的进化个体，进一步采用区间灰数灰度刻画不确定性：

上式将进化个体xj(t)的适应值视为区间灰数，xj(t)的评价不确定性可以通过区间灰数灰度刻画，即gf(x)越小，进化个体的不确定性越小，反之亦反。

当x1||sparx2时，选择x＝argmin{gf(x1),gf(x2)}作为优胜个体。通过上述方法，能够对种群的任意2个集合进化个体进行优劣比较。

(3)自适应集合交叉和变异概率

针对集合进化特点，本小节给出自适应集合交叉和变异操作算子。对于同一进化个体内部的交叉概率，采用自适应交叉概率：

上式考虑了进化过程中交叉操作与集合进化个体多样性和不确定性变化之间的关系。即为了增强搜索能力，进化个体的不确定性应与交叉概率成正比；为了保留优势个体，进化个体的多样性应与交叉概率成反比，整体交叉概率应随进化逐渐减小，加强算法收敛性；反之亦反。

集合进化个体的变异操作采用单点变异方式，自适应变异概率由pm¹和pm²2部分构成：

上式体现了变异操作与进化个体的多样性与收敛性的关系。即为了保留优势个体，多样性与收敛性应与变异概率成反比，反之亦反。

式中是进化个体xj(t)中待变异个体的适应值。上式体现了变异操作与进化个体适应值的关系。即为保护优势个体不被破坏，选择变异操作的进化个体xj(t)中，适应值越大的个体，被执行变异的概率就越小。

进化个体自适应变异概率pm为：

颜色个体编码方法是：rgb颜色模式通过对红(r)、绿(g)、蓝(b)三个颜色属性的变化以及它们的叠加得到各种颜色，每一个颜色属性取值范围均为0～255。rgb颜色个体染色体采用二进制编码，编码长度为24位，其中，前8位表示红色属性，中间8位表示绿色属性，最后8位表示蓝色属性，每个颜色属性对应二进制编码范围为00000000～11111111。优化目标为事先设定的某种目标颜色，通过进化优化，用户获得对与目标颜色匹配的颜色个体。

本发明的优点和积极效果是：

1、本发明采用灰支持向量机预测非用户评价个体适应值，相比其他适应值估计策略，大大降低了估计误差，同时减轻了用户疲劳；

2、本发明采用新的集合进化策略实现进化，明显提高了搜索效率和优化质量，应用于颜色匹配问题获得良好的优化效果。

附图说明

图1为本发明的总体流程图；

图2为本发明的系统交互界面图；

图3为本发明的搜索时间对比示意图；

图4为本发明的进化代数对比示意图。

具体实施方式

参照图1-图4，对本发明实施做以下进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种基于灰支持向量回归机预测适应值的交互式集合进化计算流程如图1所示。该方法的步骤如下：

步骤1.交互界面由3部分组成，第1部分是位于界面左半部的进化模块，该模块呈现给用户12个个体(颜色块)，每个个体下方设置适应值输入文本框。同时，系统通过个体下方滑动块记录用户对每个个体的评价时间，用于计算适应值不确定度。为便于比较，个体外围设置目标颜色块，并显示与当前个体的距离值。第2部分是位于界面右上部的进化参数和信息统计模块，进化前用户可以通过拖动滚动条输入rgb颜色值，设置目标颜色。此外，该模块还显示进化开始时刻、当前进化代数、用户评价个体数、评价总耗时等统计信息。第3部分是位于界面右下部的命令按钮模块，用户单击“开始”按钮，系统初始化并产生初始种群；用户评价个体后，单击“下一步”按钮，系统在后台进行聚类、适应值估计、集合进化等进化操作，产生下一代进化种群。循环该过程，直到满足终止条件，点击“结束”按钮终止进化。

颜色个体编码方法是：rgb颜色模式通过对红(r)、绿(g)、蓝(b)三个颜色属性的变化以及它们的叠加得到各种颜色，每一个颜色属性取值范围均为0～255。rgb颜色个体染色体采用二进制编码，编码长度为24位，其中，前8位表示红色属性，中间8位表示绿色属性，最后8位表示蓝色属性，每个颜色属性对应二进制编码范围为00000000～11111111。优化目标为事先设定的某种目标颜色，通过进化优化，用户获得对与目标颜色匹配的颜色个体。

步骤2.

首先，选择部分个体xi(t),i＝1,2,…nc做为聚类中心个体，并由用户评价适应值f(xi(t))。然后，按式逐一计算种群中其他非中心个体xo(t)与各中心个体的相似度，按相似度将个体聚类，记为xi(t)＝{xi(t)},i∈{1,2,…nc}。这样，种群x(t)最后被分为nc个子类，记为x1(t),x2(t),…,xnc(t)。然后，在各个体子类内求取与各聚类中心相似度的加权平均值，估计非中心个体xo(t)适应值。为了降低适应值估计误差，对非中心个体估计适应值f(xo(t))采用灰支持向量回归机预测，得到用于后续进化的非中心个体最终适应值

步骤3.

对集合进化个体依次计算多样性、分布性和不确定性测度。

多样性测度：

分布性测度：

式中，d(xj(t))为xj(t)的最小拥挤距离，d^*为种群进化个体平均拥挤距离，

不确定性测度：

上式将进化个体xj(t)的适应值视为区间灰数，xj(t)的评价不确定性可以通过区间灰数灰度刻画，即gf(x)越小，进化个体的不确定性越小，反之亦反。

当x1||sparx2时，选择x＝argmin{gf(x1),gf(x2)}作为优胜个体。通过上述方法，能够对种群的任意2个进化个体进行优劣比较。

步骤4.

对集合进化个体采用自适应交叉和变异操作，生成同等规模临时种群。自适应交叉概率：

上式考虑了进化过程中交叉操作与集合进化个体多样性和不确定性变化之间的关系。即为了增强搜索能力，进化个体的不确定性应与交叉概率成正比；为了保留优势个体，进化个体的多样性应与交叉概率成反比，整体交叉概率应随进化逐渐减小，加强算法收敛性；反之亦反。

集合进化个体的变异操作采用单点变异方式，自适应变异概率由和部分构成：

上式体现了变异操作与进化个体的多样性与分布性的关系。即为了保留优势个体，多样性与分布性应与变异概率成反比，反之亦反。

式中是进化个体xj(t)中待变异个体的适应值。为保护优势个体不被破坏，选择变异操作的进化个体xj(t)中，适应值越大的个体，被执行变异的概率就越小。

进化个体自适应变异概率pm为：

步骤5.

将父代种群和临时种群合并，并对合并种群排序，挑选前n个个体作为子代种群；最后，对子代种群等间距划分为nc个单元，从每个单元中随机选取1个个体，共将nc个个体推荐给用户。

本发明与目前算法的比较

将“基于可能性条件偏好网络的交互式遗传算法”(probabilisticconditionalpreferencenetworkassistedinteractivegeneticalgorithm，pcpn-iga)”和“基于精英集选择进化个体的交互式遗传算法”(interactivegeneticalgorithmswithselectingindividualsusingeliteset，iga-ses)等两种相关算法作为比较算法，验证本发明在搜索效率、优化质量、减轻用户疲劳等方面的有效性。

三种方法的实验结果如图4所示。从图4可以看出本发明明显优于对比算法，具体表现为：

a.在搜索时间方面，本发明耗费的时间最少，提高了搜索效率。原因在于本发明采用集合进化策略和nsga-ii算法引擎，可以使种群分布更为均匀，多样性更好，提高了算法搜索效率。采用自适应交叉和变异操作更加强了算法的收敛性。虽然用于集合进化个体比较耗费时间较长，但整体搜索时间依然比对比算法要短。

b.在进化代数方面，本发明进化代数最少，这不仅提高了搜索效率，还减轻了用户疲劳。原因在于本发明采用基于用户浏览行为的个体相似度估计个体适应值，同时采用灰支持向量回归机对适应值进一步预测，提高了适应值精度，所以进化方向更符合人的偏好，加快了算法收敛。

下表给出了三种方法的搜索结果均值与完全匹配用户数统计。将表中数据进行显著性水平为0.05的mann-whitneyu检验。从表可以看出，在评价个体数、搜索个体数两项指标上，本发明的数量最少，且与对比方法差异显著。在最优解数上，本发明的数量虽然与对比方法差异不显著，但仍是最多的。这表明，本发明可以在相对最少的评价数量(包括进化代数)下，获得最多的满意解。这反映出本发明的优化效率最高。本发明的搜索个体数量较少是进化代数较少所致。因为对比方法也是相同种群规模的大规模种群进化，进化代数越多，搜索个体数也越多，所以，对比方法的搜索个体数较多不能说明搜索能力优于本发明。在获得完全匹配解用户数量上，本发明有3个，iga-ses有2个，pcpn-iga只有1个。这说明，对于颜色匹配这一复杂隐式性能指标优化问题，大多数用户最终获得的仍是近似解。但本发明能获得完全匹配解的用户数最多，反映出本发明的优化性能最好。通过上述分析，可以看到本发明的搜索性能最好。

a.本发明>iga-ses>pcpn-igab.本发明＝iga-ses＝pcpn-iga

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。