一种基于强化学习的2D模式布线方法及系统

本发明涉及集成电路设计，尤其涉及一种基于强化学习的2d模式布线方法及系统。

背景技术：

1、近年来，芯片的集成度越来越高，设计规则集合的复杂度也在不断变化，使得集成电路物理设计的收敛变得愈发困难。根据给定的布线障碍信息、布线资源信息以及布线的起终点信息，将布线区域划分成由gcell网格构成的总体布线环境，结合强化学习模型选择最优的模式布线方式，得到所有待布线网的总体布线结果，该结果影响后续的物理设计流程性能。

2、总体布线作为集成电路物理设计后端的重要步骤，正在面临越来越大的求解难度。与此同时，机器学习技术正以其优越的性能逐渐进入集成电路的自动设计领域。为了更好地应对挑战，结合机器学习技术探索新型的总体布线求解方法以降低模型求解的复杂度具有重要的理论和实际意义。

技术实现思路

1、本发明提供一种基于强化学习的2d模式布线方法及系统，用以解决现有集成电路布线复杂程度高、难度大的问题。

2、本发明提供一种基于强化学习的2d模式布线方法，包括：

3、根据获取的布线区域的障碍信息、布线资源信息和待布线网信息，建立总体布线基本环境；

4、根据所述布线基本环境计算待布线网的模式布线特征；

5、根据所述总体模式布线特征建立强化学习模型，并对所述强化学习模型进行训练；

6、通过训练后的强化学习模型执行布线，生成布线结果。

7、根据本发明提供的一种基于强化学习的2d模式布线方法，所述获取布线区域的障碍信息、布线资源信息和待布线网信息，具体包括：

8、所述布线区域的障碍信息包括宏模块的位置信息；

9、所述布线资源信息包括所规定的布线轨道范围和布线网格gcell的划分方式；

10、所述待布线网信息包括布线区域的大小和待布线网的各连接点。

11、根据本发明提供的一种基于强化学习的2d模式布线方法，建立总体布线基本环境，具体包括：

12、根据所述布线资源信息构造由布线网格gcell构成的总体布线环境，计算每个gcell的可用布线容量并进行记录。

13、根据本发明提供的一种基于强化学习的2d模式布线方法，根据所述布线基本环境计算待布线网的模式布线特征，具体包括：

14、根据待布线网的起点和终点，在当前布线资源下计算l型模式的两种不同布线方式的可布性情况；

15、根据拐点位置，将l型模式分成两个线片段；

16、对每条两端点线网构造覆盖其两个连接引脚的最小矩形框，统计每个布线网格gcell包含在多少个矩形框内，得到每个布线网格gcell的线网关联度信息；

17、对待布线网的每个线片段分别计算其所覆盖的布线网格gcell的平均线网关联度；

18、对待布线网的每个线片段分别计算其各自的平均拥挤预测值，得到模式布线特征。

19、根据本发明提供的一种基于强化学习的2d模式布线方法，所述根据所述模式布线特征建立强化学习模型，并对所述强化学习模型进行训练，具体包括：

20、基于a3c方法建立强化学习模型；

21、将计算得到的模式布线特征信息输入预设的强化学习模型中，作为模型的状态表示；

22、所述强化学习模型的可选动作空间是两种l型模式布线方式，奖励函数设计为所有待布线网完成决策前，奖励值为0，所有待布线网完成决策后，奖励值为剩余的不可布线网数量的负值；

23、对所述强化学习模型进行训练，训练收敛后，执行模式布线，每当待布线网的两种l型模式布线均可执行布线时，传入强化学习模型中进行决策。

24、根据本发明提供的一种基于强化学习的2d模式布线方法，所述通过训练后的强化学习模型执行布线，生成布线结果，具体包括：

25、当待布线网的两种l型模式布线在当前布线资源下，仅有一种布线选择时，直接执行当前布线；

26、当待布线网的两种l型模式布线在当前布线资源下均可布线时，利用强化学习模型进行决策，根据决策结果执行布线；

27、完成布线后，生成布线结果，更新整体的布线资源情况。

28、本发明还提供一种基于强化学习的2d模式布线系统，所述系统包括：

29、布线环境建立模块，用于获取布线区域的障碍信息、布线资源信息和待布线网信息，建立总体布线基本环境；

30、模式布线特征计算模块，用于根据所述布线基本环境计算待布线网的模式布线特征；

31、模型建立模块，用于根据所述模式布线特征建立强化学习模型，并对所述强化学习模型进行训练；

32、结果生成模块，用于通过训练后的强化学习模型执行布线，生成布线结果。

33、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于强化学习的2d模式布线方法。

34、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于强化学习的2d模式布线方法。

35、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于强化学习的2d模式布线方法。

36、本发明提供的一种基于强化学习的2d模式布线方法及系统，通过在多种可选模式布线方式下，利用强化学习模型决策出有利于全局布线结果的布线方式。将总体布线问题转换到强化学习领域，采取归一化的特征构造方式以降低模型对总体布线文件的依赖性，提高模型的泛化性能。同时，结合强化学习模型，利用其n-step机制帮助选择更有利于全局发展的布线模式并结合其异步框架，提高训练效率。

技术特征：

1.一种基于强化学习的2d模式布线方法，其特征在于，包括：

2.根据权利要求1所述的基于强化学习的2d模式布线方法，其特征在于，所述获取布线区域的障碍信息、布线资源信息和待布线网信息，建立总体布线基本环境，具体包括：

3.根据权利要求1所述的基于强化学习的2d模式布线方法，其特征在于，根据所述布线基本环境计算待布线网的模式布线特征，具体包括：

4.根据权利要求1所述的基于强化学习的2d模式布线方法，其特征在于，根据所述模式布线特征建立强化学习模型，并对所述强化学习模型进行训练，具体包括：

5.根据权利要求1所述的基于强化学习的2d模式布线方法，其特征在于，所述通过训练后的强化学习模型执行布线，生成布线结果，具体包括：

6.一种基于强化学习的2d模式布线系统，其特征在于，所述系统包括：

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于强化学习的2d模式布线方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于强化学习的2d模式布线方法。

9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于强化学习的2d模式布线方法。

技术总结
本发明提供一种基于强化学习的2D模式布线方法及系统，包括：根据获取的布线区域的障碍信息、布线资源信息和待布线网信息，建立总体布线基本环境；根据所述总体布线基本环境计算待布线网的模式布线特征；根据所述模式布线特征建立强化学习模型，并对所述强化学习模型进行训练；通过训练后的强化学习模型执行布线，生成布线结果。本发明解决了现有集成电路布线复杂程度高、难度大的问题。

技术研发人员：蔡懿慈,李琳,周强
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/1/12