VLSI设计中片上网络的路由优化方法、系统及设备

本发明涉及强化学习和运筹调度，特别是涉及一种vlsi设计中片上网络的路由优化方法、系统及设备。

背景技术：

1、目前，随着计算机智能化的发展，自然语言处理和运筹优化技术得到了很大程度的发展和应用，自然语言处理技术在机器翻译、信息提取和摘要、文本分类和情感分析以及语音识别等方面得到了验证和使用；运筹优化技术主要包括动态规划、启发式算法、精确算法以及现如今兴起的机器学习求解运筹优化问题等算法技术。然而在处理大型多目标优化问题的时候传统的方法逐渐显露出了运行速度慢、对处理高维度问题的效率低下且需要专家策略作为支撑等问题，因此需要一种能过够克服以上这些问题的新型的求解多目标优化问题的算法。

2、近几十年来，超大规模集成电路(very large scale integration circuit，vlsi)技术的迅猛发展使得越来越多的ip组件可以集成在单个芯片上。多核架构已经发展成为不断增长的系统性能需求的重要解释。为了利用这种多核架构的优势以及电子电路不断缩小的特征尺寸，核心之间必须进行熟练的通信。片上网络(noc)已被证明可以解决架构可扩展性难题和并发互连问题。noc架构具有通用网络的可扩展性和模块化特征，然而，noc架构的高设计复杂性和复杂配置特性使得将通用网络的通信方案实现为片上通信方法非常困难。

3、虽然目前片上网络是有通信方案的，但是目前的方案总是由于noc架构的复杂性导致计算出最优方案需要大量的时间代价，如：

4、1、路由复杂性：noc架构中可能存在大量的节点和路由器，每个节点都需要能够独立地找到最佳路径来转发数据包。这需要进行复杂的路径计算和选择算法以确保在高负载情况下仍能保持良好的性能。

5、2、物理布局：noc架构通常涉及到大量的片上资源布局，包括节点、路由器和连接线等。要在片上实现通信，需要精确规划物理布局，包括位置和连接方式以确保信号的可靠传输和最低干扰。

6、综上，如何实现无需大量的时间代价即可计算出最优方案，从而高效地通信，成为本领域技术人员亟待解决的问题。

技术实现思路

1、本发明的目的是提供一种vlsi设计中片上网络的路由优化方法、系统及设备，可实现无需大量的时间代价即可计算出最优方案，从而高效地通信。

2、为实现上述目的，本发明提供了如下方案：

3、一种vlsi设计中片上网络的路由优化方法，所述方法包括：

4、步骤s1：获取片上网络的整个通信过程的目标；所述目标包括f1和f2；f1表示在当前路由器分布情况下信号从源路由器出发访问完所有路由器并到达目标路由器时所走的线路距离之和，f2表示走完f1所需的功率代价总和；

5、步骤s2：根据片上网络的整个通信过程的目标，生成一组均匀分布的权重向量来划分原多目标路由优化问题为一组多目标子问题，得到多目标子问题集合；所述原多目标路由优化问题为将f1和f2最小化；

6、步骤s3：从所述多目标子问题集合中选出一个多目标子问题作为当前需要训练求解的问题；

7、步骤s4：为当前需要训练求解的问题生成一组随机数据，对生成的随机数据进行加工生成初始的边嵌入图表数据；

8、步骤s5：利用编码器对所述初始的边嵌入图表数据进行加工和处理，提取所述初始的边嵌入图表数据中的信息特征并最终整合成图嵌入数据；

9、步骤s6：生成解码器所需要的上下文嵌入；

10、步骤s7：利用解码器结合所述上下文嵌入和所述图嵌入数据求解出当前时间步下各条候选边的选择概率，根据选择的策略来选择下一条边；

11、步骤s8：判断当前是否构成了通信方案；

12、若步骤s8的输出结果为否，则返回步骤s6；

13、若步骤s8的输出结果为是，则执行步骤s9：根据多目标子问题的权重系数来得到多目标子问题的目标函数值，计算损失函数值，并通过策略梯度算法来训练多目标子问题对应的模型；

14、步骤s10：判断当前的损失函数值是否达到最优情况；

15、若步骤s10的输出结果为否，则返回步骤s4；

16、若步骤s10的输出结果为是，则执行步骤s11：判断当前是否已经训练完所划分的多目标子问题；

17、若步骤s11的输出结果为否，则返回步骤s3；

18、若步骤s11的输出结果为是，则执行步骤s12：将测试数据输入模型集合中生成初始的种群；所述模型集合包括每个多目标子问题对应的模型；

19、步骤s13：将当前种群作为父代种群并选择种群中的一个个体i作为当前操作的对象；

20、步骤s14：根据个体i相邻的个体i-1和个体i+1的模型参数进行基因交叉操作得到新的个体i_new；

21、步骤s15：判断新的个体i_new是否满足变异条件；

22、若步骤s15的输出结果为是，则执行步骤s16：根据测试数据在模型运行中得到的注意力兼容性评分的梯度来对新的个体i_new进行基因变异操作；

23、若步骤s15的输出结果为否，则执行步骤s17：将新的个体i_new与个体i-1、个体i、个体i+1进行优劣比较，并且进行相应的种群更新和pareto最优集合的更新；

24、步骤s18：判断是否达到了种群进化的最大迭代次数；

25、若步骤s18的输出结果为否，则返回步骤s13；

26、若步骤s18的输出结果为是，则输出最终的pareto最优解集作为最优的通信方案；所述最优的通信方案使f1和f2最小化。

27、可选地，所述生成解码器所需要的上下文嵌入，具体包括：

28、若当前节点为网络的源路由器，则通过lstm网络来生成初始的上下文嵌入，否则在lstm网络中输入当前边嵌入信息并利用多头注意力层更新对应的上下文嵌入。

29、可选地，所述选择的策略为随机采样策略或贪婪策略。

30、可选地，所述判断当前是否构成了通信方案，具体包括：

31、根据判断标准判断当前是否构成了通信方案；所述判断标准是看从源节点到目标节点之间是否构成了一条可行路径，当从源节点到目标节点之间构成了一条可行路径时，判断当前构成了通信方案，当从源节点到目标节点之间没有构成一条可行路径时，判断当前没有构成通信方案。

32、可选地，所述判断新的个体i_new是否满足变异条件，具体包括：

33、通过随机数是否大于变异概率来判断新的个体i_new是否满足变异条件；当随机数大于变异概率时，新的个体i_new满足变异条件，新的个体i_new需要进行基因变异操作；当随机数小于变异概率时，新的个体i_new不满足变异条件，新的个体i_new不需要进行基因变异操作；所述随机数的范围是0～1；所述变异概率为0.9。

34、本发明还提供了如下方案：

35、一种vlsi设计中片上网络的路由优化系统，所述系统包括：

36、目标获取模块，用于获取片上网络的整个通信过程的目标；所述目标包括f1和f2；f1表示在当前路由器分布情况下信号从源路由器出发访问完所有路由器并到达目标路由器时所走的线路距离之和，f2表示走完f1所需的功率代价总和；

37、子问题划分模块，用于根据片上网络的整个通信过程的目标，生成一组均匀分布的权重向量来划分原多目标路由优化问题为一组多目标子问题，得到多目标子问题集合；所述原多目标路由优化问题为将f1和f2最小化；

38、子问题选择模块，用于从所述多目标子问题集合中选出一个多目标子问题作为当前需要训练求解的问题；

39、边嵌入图表数据生成模块，用于为当前需要训练求解的问题生成一组随机数据，对生成的随机数据进行加工生成初始的边嵌入图表数据；

40、图嵌入数据生成模块，用于利用编码器对所述初始的边嵌入图表数据进行加工和处理，提取所述初始的边嵌入图表数据中的信息特征并最终整合成图嵌入数据；

41、上下文嵌入生成模块，用于生成解码器所需要的上下文嵌入；

42、下一条边选择模块，用于利用解码器结合所述上下文嵌入和所述图嵌入数据求解出当前时间步下各条候选边的选择概率，根据选择的策略来选择下一条边；

43、第一判断模块，用于判断当前是否构成了通信方案；

44、第一返回模块，用于当所述第一判断模块的输出结果为否时，返回所述上下文嵌入生成模块；

45、模型训练模块，用于当所述第一判断模块的输出结果为是时，根据多目标子问题的权重系数来得到多目标子问题的目标函数值，计算损失函数值，并通过策略梯度算法来训练多目标子问题对应的模型；

46、第二判断模块，用于判断当前的损失函数值是否达到最优情况；

47、第二返回模块，用于当所述第二判断模块的输出结果为否时，返回所述边嵌入图表数据生成模块；

48、第三判断模块，用于当所述第二判断模块的输出结果为是时，判断当前是否已经训练完所划分的多目标子问题；

49、第三返回模块，用于当所述第三判断模块的输出结果为否时，返回所述子问题选择模块；

50、种群生成模块，用于当所述第三判断模块的输出结果为是时，将测试数据输入模型集合中生成初始的种群；所述模型集合包括每个多目标子问题对应的模型；

51、个体选择模块，用于将当前种群作为父代种群并选择种群中的一个个体i作为当前操作的对象；

52、新的个体生成模块，用于根据个体i相邻的个体i-1和个体i+1的模型参数进行基因交叉操作得到新的个体i_new；

53、第四判断模块，用于判断新的个体i_new是否满足变异条件；

54、基因变异操作模块，用于当所述第四判断模块的输出结果为是时，根据测试数据在模型运行中得到的注意力兼容性评分的梯度来对新的个体i_new进行基因变异操作；

55、更新模块，用于当所述第四判断模块的输出结果为否时，将新的个体i_new与个体i-1、个体i、个体i+1进行优劣比较，并且进行相应的种群更新和pareto最优集合的更新；

56、第五判断模块，用于判断是否达到了种群进化的最大迭代次数；

57、第四返回模块，用于当所述第五判断模块的输出结果为否时，返回所述个体选择模块；

58、最优的通信方案输出模块，用于当所述第五判断模块的输出结果为是时，输出最终的pareto最优解集作为最优的通信方案；所述最优的通信方案使f1和f2最小化。

59、再一方面，本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的vlsi设计中片上网络的路由优化方法。

60、可选地，所述存储器为非暂态计算机可读存储介质。

61、根据本发明提供的具体实施例，本发明公开了以下技术效果：

62、本发明公开的vlsi设计中片上网络的路由优化方法、系统及设备，利用深度强化学习模型和进化算法这两者的优势，同时优化系统的多个目标，深度强化学习和进化算法将收集到的或者自己生成的数据通过深度强化学习模型来进行训练首先生成多目标问题的初步解，再通过进化算法的分解以及同步优化来生成一组近似最优的pareto前沿，为不同目标的片上通信提供了可行解，本发明根据所求解的问题设计结合图注意力网络和边特征的多头注意力机制模型，并使用强化学习训练模型，以端到端的方式快速得到问题的初始解，大幅度提升了问题求解的速度，为解决大规模集成电路设计提供了新的可能，本发明结合多任务进化算法，利用种群中个体之间的相似性进行知识的学习，其次利用模型求解测试样例时产生的注意力兼容性评分梯度来更新个体，以此来进一步提高最终解的质量，本发明通过深度强化学习的模型和算法来以黑盒训练法让模型参数自主地拟合去学习选择路径的策略，无需大量的时间代价即可计算出最优的通信方案，实现了高效地通信。