基于改进型杂交育种算法的胶囊网络参数优化方法及系统

本发明涉及胶囊网络，尤其涉及基于改进型杂交育种算法的胶囊网络参数优化方法及系统。

背景技术：

1、经典胶囊网络(capsule network，capsnet)结构一般由输入层、卷积层、初始化胶囊层、数字胶囊层、重构网络以及输出层构成。网络的层数越多，网络的深度就越深，胶囊网络的学习能力也越强，但任务的时间复杂度和空间复杂度也会随着网络深度的加深而增加。

2、胶囊网络除了需要训练网络的权值、偏置项、耦合系数等参数之外，还需要在开始训练网络之前对部分参数进行预设置，这一类参数被统称为超参数。胶囊网络中常见的超参数包括：胶囊网络的层数、卷积层中相关参数、初始化胶囊层中的通道个数、胶囊的维度、路由迭代次数、是否构建重构网络、优化器的选择以及重构网络中全连接层的个数等，这些参数都需要在网络开始训练之前进行人工设定。

3、大量实验及研究表明，超参数直接影响着网络模型的性能。如训练批量大小是影响网络性能的关键参数，当训练批量越大，计算速度则越快，但正确率却可能随之下降。再如卷积层中激活函数类型的选择也很重要，不同的激活函数有不同的特点，选择合适的激活函数能有效地避免网络训练收敛速度过慢，以及反向传播过程中的梯度消失问题。又如网络中卷积核的数量决定了胶囊的个数，卷积核通过在图像上按一定的步长滑动进行特征提取，应该是随着网络层数的加深，网络的拟合与分类效果越好，但网络的计算成本也随之增加。针对任务，研究人员往往只能通过经验来配置网络的超参数，然而这些超参数组合方式多样而复杂，依靠人工经验选出来的超参数组合难以达到预期效果且非常耗时，因此使用一种自动化的方法优化网络的超参数是非常有必要的。

技术实现思路

1、本发明通过提供一种基于改进型杂交育种算法的胶囊网络参数优化方法及系统，解决了现有技术中依靠人工经验选出来的超参数组合难以达到预期效果且非常耗时的技术问题。

2、本发明提供了一种基于改进型杂交育种算法的胶囊网络参数优化方法，包括：

3、将各组待优化的超参数组合编码为各种群个体，由所述各种群个体组成种群；根据所述各种群个体中各个分量所代表的超参数的取值区间为各个分量设定初始化位置，随机初始化胶囊网络模型的权重；

4、将所述种群个体解码为超参数组合输入到所述胶囊网络模型中，对所述胶囊网络模型进行迭代训练，计算所述各种群个体的适应度值；

5、根据所述适应度值的大小将所述各种群个体划分为保持系个体、恢复系个体和不育系个体；

6、针对每个保持系个体，使用莱维飞行进行个体更新，得到保持系新个体；

7、若所述保持系新个体的适应度值小于原保持系个体，用所述保持系新个体替换所述原保持系个体；若所述保持系新个体的适应度值等于或者大于所述原保持系个体，保留所述原保持系个体；

8、针对每个目标恢复系个体，将所述目标恢复系个体与另一恢复系个体进行自交操作，生成恢复系新个体；用所述恢复系新个体更新所述原目标恢复系个体；

9、针对每个不育系个体，都随机选择一个保持系个体与其进行杂交生成不育系新个体；

10、若所述不育系新个体的适应度值小于原不育系个体，用所述不育系新个体替换所述原不育系个体；若所述不育系新个体的适应度值等于或者大于所述原不育系个体，保留所述原不育系个体；

11、如果达到预设的种群的迭代次数，得到适应度值最小的种群个体为全局最优的胶囊网络超参数组合。

12、具体来说，所述计算所述各种群个体的适应度值，包括：

13、通过公式lk＝tkmax(0,m+-||vk||)2+λ(1-tk)max(0,||vk||-m-)2计算种群个体的适应度值lk；其中，vk为所述胶囊网络模型的输出向量，||vk||为所述输出向量的模，k为类别k，tk＝1，m+＝0.9，m-＝0.1，λ＝0.5。

14、具体来说，所述针对每个保持系个体，使用莱维飞行进行个体更新，得到保持系新个体，包括：

15、通过公式计算得到莱维飞行产生的路径s；其中，u～n(0,σ2)，v～n(0,1)，β∈[0,2]，n为正态分布，

16、通过公式得到所述保持系新个体；其中，为得到的保持系新个体的第d维分量，为所述目标保持系个体的第d维分量，为当前最优个体的第d维分量，step是步长缩放因子。

17、具体来说，所述针对每个目标恢复系个体，将所述目标恢复系个体与另一恢复系个体进行自交操作，生成恢复系新个体；用所述恢复系新个体更新所述原目标恢复系个体，包括：

18、判断当前目标恢复系个体是否已经达到自交次数上限；

19、若没有达到所述自交次数上限，通过公式进行自交操作，生成所述恢复系新个体；其中，为通过自交生成恢复系新个体的第d维分量，为当前最优个体的第d维分量，和分别为恢复系中第i个和第j个个体的第d维分量，r3为[0,1]之间的随机数；

20、如果所述恢复系新个体的适应度值小于所述目标恢复系个体，用所述恢复系新个体更新所述目标恢复系个体；如果所述恢复系新个体的适应度值等于或者大于所述目标恢复系个体，保留所述目标恢复系个体；

21、若达到所述自交次数上限，通过公式计算得到所述恢复系新个体；其中，为重置生成的所述恢复系新个体的第d维分量，和分别代表第d维自变量取值范围的上下限，为恢复系中第i个个体的第d维分量，r4为[0,1]之间的随机数，craze＝p(c4)sign(c4)xc，xc为常数，c4为服从[0,1]间均匀分布的随机数，pc为预设的疯狂概率；

22、用所述重置生成的恢复系新个体更新所述目标恢复系个体。

23、具体来说，所述针对每个不育系个体，都随机选择一个保持系个体与其进行杂交生成不育系新个体，包括：

24、通过公式杂交生成所述不育系新个体；其中，为第t代育种过程中杂交生成不育系新个体的第d维分量，为第t代育种时保持系中第a个个体的第d维分量，为第t代育种时不育系中第b个个体的第d维分量，r1和r2为[0,1]之间的随机数，且两者不相等，ε为随机扰动系数，其取值范围为[0.001,0.01]。

25、本发明还提供了一种基于改进型杂交育种算法的胶囊网络参数优化系统，包括：

26、初始化模块，用于将各组待优化的超参数组合编码为各种群个体，由所述各种群个体组成种群；根据所述各种群个体中各个分量所代表的超参数的取值区间为各个分量设定初始化位置，随机初始化胶囊网络模型的权重；

27、胶囊网络模型训练模块，用于将所述种群个体解码为超参数组合输入到所述胶囊网络模型中，对所述胶囊网络模型进行迭代训练，计算所述各种群个体的适应度值；

28、种群个体划分模块，用于根据所述适应度值的大小将所述各种群个体划分为保持系个体、恢复系个体和不育系个体；

29、保持系个体更新模块，用于针对每个保持系个体，使用莱维飞行进行个体更新，得到保持系新个体；若所述保持系新个体的适应度值小于原保持系个体，用所述保持系新个体替换所述原保持系个体；若所述保持系新个体的适应度值等于或者大于所述原保持系个体，保留所述原保持系个体；

30、恢复系个体更新模块，用于针对每个目标恢复系个体，将所述目标恢复系个体与另一恢复系个体进行自交操作，生成恢复系新个体；用所述恢复系新个体更新所述原目标恢复系个体；

31、不育系个体更新模块，用于针对每个不育系个体，都随机选择一个保持系个体与其进行杂交生成不育系新个体；若所述不育系新个体的适应度值小于原不育系个体，用所述不育系新个体替换所述原不育系个体；若所述不育系新个体的适应度值等于或者大于所述原不育系个体，保留所述原不育系个体；

32、最优超参数确定模块，用于如果达到预设的种群的迭代次数，得到适应度值最小的种群个体为全局最优的胶囊网络超参数组合。

33、具体来说，所述胶囊网络模型训练模块，包括：

34、胶囊网络模型训练单元，用于将所述种群个体解码为超参数组合输入到所述胶囊网络模型中，对所述胶囊网络模型进行迭代训练；

35、适应度值计算单元，用于通过公式lk＝tkmax(0,m+-||vk||)2+λ(1-tk)max(0,||vk||-m-)2计算种群个体的适应度值lk；其中，vk为所述胶囊网络模型的输出向量，||vk||为所述输出向量的模，k为类别k，tk＝1，m+＝0.9，m-＝0.1，λ＝0.5。

36、具体来说，所述保持系个体更新模块，包括：

37、莱维飞行路径获得单元，用于通过公式计算得到莱维飞行产生的路径s；其中，u～n(0,σ2)，v～n(0,1)，β∈[0,2]，n为正态分布，

38、保持系新个体获得单元，用于通过公式得到所述保持系新个体；其中，为得到的保持系新个体的第d维分量，为所述目标保持系个体的第d维分量，为当前最优个体的第d维分量，step是步长缩放因子；

39、保持系个体更新单元，用于若所述保持系新个体的适应度值小于原保持系个体，用所述保持系新个体替换所述原保持系个体；若所述保持系新个体的适应度值等于或者大于所述原保持系个体，保留所述原保持系个体。

40、具体来说，所述恢复系个体更新模块，包括：

41、自交次数判断单元，用于判断当前目标恢复系个体是否已经达到自交次数上限；

42、恢复系新个体生成单元，用于若没有达到所述自交次数上限，通过公式进行自交操作，生成所述恢复系新个体；其中，为通过自交生成恢复系新个体的第d维分量，为当前最优个体的第d维分量，和分别为恢复系中第i个和第j个个体的第d维分量，r3为[0,1]之间的随机数；

43、第一恢复系个体更新单元，用于如果所述恢复系新个体的适应度值小于所述目标恢复系个体，用所述恢复系新个体更新所述目标恢复系个体；如果所述恢复系新个体的适应度值等于或者大于所述目标恢复系个体，保留所述目标恢复系个体；

44、第二恢复系个体更新单元，用于若达到所述自交次数上限，通过公式计算得到所述恢复系新个体；其中，为重置生成的所述恢复系新个体的第d维分量，和分别代表第d维自变量取值范围的上下限，为恢复系中第i个个体的第d维分量，r4为[0,1]之间的随机数，craze＝p(c4)sign(c4)xc，xc为常数，c4为服从[0,1]间均匀分布的随机数，pc为预设的疯狂概率；用所述重置生成的恢复系新个体更新所述目标恢复系个体。

45、具体来说，所述不育系个体更新模块，包括：

46、不育系新个体生成单元，用于通过公式杂交生成所述不育系新个体；其中，为第t代育种过程中杂交生成不育系新个体的第d维分量，为第t代育种时保持系中第a个个体的第d维分量，为第t代育种时不育系中第b个个体的第d维分量，r1和r2为[0,1]之间的随机数，且两者不相等，ε为随机扰动系数，其取值范围为[0.001,0.01]；

47、不育系个体更新单元，用于若所述不育系新个体的适应度值小于原不育系个体，用所述不育系新个体替换所述原不育系个体；若所述不育系新个体的适应度值等于或者大于所述原不育系个体，保留所述原不育系个体。

48、本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

49、先将各组待优化的超参数组合编码为各种群个体，由各种群个体组成种群；根据各种群个体中各个分量所代表的超参数的取值区间为各个分量设定初始化位置，随机初始化胶囊网络模型的权重；再将种群个体解码为超参数组合输入到胶囊网络模型中，对胶囊网络模型进行迭代训练，计算各种群个体的适应度值，并根据适应度值的大小将各个种群个体划分为保持系个体、恢复系个体和不育系个体，并对不同系的个体进行更新；如果达到预设的种群的迭代次数，得到适应度值最小的种群个体为全局最优的胶囊网络超参数组合。其中，使用莱维飞行对保持系个体进行更新，提高了其跳出局部最优解的概率，进而提升了种群整体质量。本发明使用改进型杂交育种算法实现了对胶囊网络超参数的自动化配置，网络的整个超参数优化过程通过算法搜索自动化完成，不仅能够使网络的超参数配置更加合理，而且能够大大减少研究所需要的人力、物力以及时间成本。此外，本发明还将疯狂算子引入重置操作，从而降低了原始个体对重置结果的影响，在一定程度上增强了种群的多样性，进而增加了获取更优超参数组合的可能性，从而提高胶囊网络的性能。