一种基于强化学习的版图布局方法、装置、设备及介质

本发明涉及计算机，尤其是一种基于强化学习的版图布局方法、装置、设备及介质。

背景技术：

1、在所有芯片从设计到生产的流程中，放置是非常关键的一环。芯片放置方法中的经典放置方法，主要可以分为三类：基于分区的方法、基于随机的方法与基于优化的方法。基于分区的方法如其名，依照递归的思想，将芯片画布分为一个个区域，将大芯片画布的放置问题转化为小芯片画布上的放置问题，从而降低整体放置的复杂度。但是分区的方法往往很难考虑全局放置的质量，低质量早期分区会导致低质量全局放置解，很难扩展到现代大规模集成电路放置中。

2、基于随机的方法主要是由爬山算法兴起，进而发展到拥有跳出局部最优解能力的模拟退火算法，并成为基于随机算法的主流。模拟退火算法借鉴了冶金中的退火思想，旨在临时选择一个更差的解，以此跳出局部最优解。基于随机的方法在小规模电路方面实现了不错的效果，但由于其时间成本太过庞大，无法作用于大规模的电路。

3、基于优化的方法由近代提出，主要是将放置问题转化为一个优化问题，寻找多个目标中的一个加权最优解。例如google在标准单元放置中所使用的力导向算法，将电路器件之间建模为类弹簧系统，通过引力与斥力寻找器件之间的最佳距离。eplace，replace等方法与之类似，将电路系统建模为静电系统。这些方法大多基于cpus，计算的时间成本较高。dreamplace将电路系统建模为静电系统，同时基于深度学习框架pytorch使用gpu对放置过程进行加速，与前两种方法相比，在不降低放置性能的情况下实现了大幅加速。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于强化学习的版图布局方法、装置、设备及介质，能够高效进行基于强化学习的版图布局。

2、一方面，本发明的实施例提供了一种基于强化学习的版图布局方法，包括：

3、获取版图布局的网表；

4、对网表进行预处理，获得布局信息；

5、基于布局信息，在目标芯片的空间画布进行初始器件布局，进而获取空间画布的初始状态作为第一状态；

6、对第一状态进行卷积神经处理，获得动作策略；

7、对第一状态和动作策略进行联合卷积，获得目标策略；目标策略表征下一阶段的布局动作；

8、根据布局信息确定下一阶段的布局器件，并结合目标策略在空间画布进行第二器件布局，进而获取空间画布的第二状态作为第一状态，然后返回对第一状态进行卷积神经处理，获得动作策略这一步骤，直至完成版图布局。

9、可选地，对网表进行预处理，获得布局信息，包括：

10、利用预训练的图神经网络，对网表进行信息提取，获得布局信息；

11、其中，布局信息包括器件参数和布局顺序。

12、可选地，对第一状态进行卷积神经处理，获得动作策略，包括：

13、通过预训练的卷积神经网络，对第一状态进行卷积神经处理，获得动作策略；

14、其中，卷积神经网络包括多层卷积层和一层全连接层。

15、可选地，方法还包括：

16、通过多层卷积层和一层全连接层设置卷积神经网络；

17、利用全连接块，对动作策略进行全连接处理，获得动作策略的预测价值；

18、通过预测价值对卷积神经网络的网络参数进行反馈调整，获得预训练的卷积神经网络。

19、可选地，对第一状态和动作策略进行联合卷积，获得目标策略，包括：

20、根据第一状态确定空间画布中的已存在的器件模块；

21、根据已存在的器件模块的尺寸，结合预设待放置空间，对动作策略的大小进行调整，获得目标策略。

22、可选地，方法还包括：

23、通过半周线长法获得空间画布进行第二器件布局的奖励值。

24、可选地，通过半周线长法获得空间画布进行第二器件布局的奖励值，包括：

25、获取空间画布在第二状态中各个器件模块的位置；

26、根据各个器件模块的位置，遍历获取各个器件模块连接的线路长度，进而根据线路长度确定奖励值。

27、另一方面，本发明的实施例提供了一种基于强化学习的版图布局装置，包括：

28、第一模块，用于获取版图布局的网表；

29、第二模块，用于对网表进行预处理，获得布局信息；

30、第三模块，用于基于布局信息，在目标芯片的空间画布进行初始器件布局，进而获取空间画布的初始状态作为第一状态；

31、第四模块，用于对第一状态进行卷积神经处理，获得动作策略；

32、第五模块，用于对第一状态和动作策略进行联合卷积，获得目标策略；目标策略表征下一阶段的布局动作；

33、第六模块，用于根据布局信息确定下一阶段的布局器件，并结合目标策略在空间画布进行第二器件布局，进而获取空间画布的第二状态作为第一状态，然后返回第四模块，直至完成版图布局。

34、可选地，装置还包括：

35、第七模块，用于通过多层卷积层和一层全连接层设置卷积神经网络；

36、第八模块，用于利用全连接块，对动作策略进行全连接处理，获得动作策略的预测价值；

37、第九模块，用于通过预测价值对卷积神经网络的网络参数进行反馈调整，获得预训练的卷积神经网络。

38、可选地，装置还包括：

39、第十模块，用于通过半周线长法获得空间画布进行第二器件布局的奖励值。

40、另一方面，本发明的实施例提供了一种电子设备，包括处理器以及存储器；

41、存储器用于存储程序；

42、处理器执行程序实现如前面的方法。

43、另一方面，本发明的实施例提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。

44、本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

45、本发明实施例首先获取版图布局的网表；对网表进行预处理，获得布局信息；基于布局信息，在目标芯片的空间画布进行初始器件布局，进而获取空间画布的初始状态作为第一状态；对第一状态进行卷积神经处理，获得动作策略；对第一状态和动作策略进行联合卷积，获得目标策略；目标策略表征下一阶段的布局动作；根据布局信息确定下一阶段的布局器件，并结合目标策略在空间画布进行第二器件布局，进而获取空间画布的第二状态作为第一状态，然后返回对第一状态进行卷积神经处理，获得动作策略这一步骤，直至完成版图布局。本发明实施例首先通过网表确定布局信息，作为后续器件布局基础，进而通过各个阶段的器件布局状态递进循环确定下一阶段的策略，每个状态和上一个状态是关联对应的，本发明实施例能够高效实现版图布局。

技术特征：

1.一种基于强化学习的版图布局方法，其特征在于，包括：

2.根据权利要求1所述的一种基于强化学习的版图布局方法，其特征在于，所述对所述网表进行预处理，获得布局信息，包括：

3.根据权利要求1所述的一种基于强化学习的版图布局方法，其特征在于，所述对所述第一状态进行卷积神经处理，获得动作策略，包括：

4.根据权利要求3所述的一种基于强化学习的版图布局方法，其特征在于，所述方法还包括：

5.根据权利要求1所述的一种基于强化学习的版图布局方法，其特征在于，所述对所述第一状态和所述动作策略进行联合卷积，获得目标策略，包括：

6.根据权利要求1所述的一种基于强化学习的版图布局方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的一种基于强化学习的版图布局方法，其特征在于，所述通过半周线长法获得所述空间画布进行所述第二器件布局的奖励值，包括：

8.一种基于强化学习的版图布局装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括处理器以及存储器；

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至7中任一项所述的方法。

技术总结
本发明公开了一种基于强化学习的版图布局方法、装置、设备及介质，方法包括：获取版图布局的网表；对网表进行预处理，获得布局信息；基于布局信息，在目标芯片的空间画布进行初始器件布局，进而获取空间画布的初始状态作为第一状态；对第一状态进行卷积神经处理，获得动作策略；对第一状态和动作策略进行联合卷积，获得目标策略；目标策略表征下一阶段的布局动作；根据布局信息确定下一阶段的布局器件，并结合目标策略在空间画布进行第二器件布局，进而获取空间画布的第二状态作为第一状态，然后返回对第一状态进行卷积神经处理，获得动作策略这一步骤，直至完成版图布局。本发明能够高效实现版图布局，可广泛应用于计算机技术领域。

技术研发人员：胡建国,沈圣智,潘家锴,黄文俊,黄宇轩
受保护的技术使用者：中山大学
技术研发日：
技术公布日：2024/1/22