一种基于视觉强化学习的三维集成电路全局布局系统及方法

本发明涉及集成电路，具体涉及一种基于视觉强化学习的三维集成电路全局布局系统及方法。

背景技术：

1、在三维集成电路(3d-ic)中，全局布局是一个至关重要的问题，其涉及如何有效地安排和连接不同芯片层，以使设计人员在水平方向和垂直方向上分别放置电路元件，从而使更多的元件能够被放置在有限的芯片面积内。虽然在过去的几十年中，人们在芯片自动全局布局领域取得了很大进展，但实现完全自动化的设计规划仍然非常困难。目前，即使最先进的eda工具也需要物理设计工程师的手动干预和优化，以便产生可制造的全局布局。全局布局的可制造性通常包括芯片尺寸、器件密度、布线长度等方面。随着集成度的增加，芯片中使用大量的知识产权核心(ip)来实现模块化。因此，全局布局需要考虑的宏块(例如sram)数量逐渐增加，其尺寸和复杂性也随之增加。尤其针对3d-ic设计，上述问题变得格外突出。

2、全局布局是一个复杂的组合优化问题，其目标是实现宏块零重叠并减少线长。对于此问题的研究目前有两种方法，一种是基于优化的方法，比如lin y,dhar s,li w,etal.dreamplace:deep learning toolkit-enabled gpu acceleration for modern vlsiplacement[c]//proceedings of the 56th annual design automation conference2019.2019:1-6在芯片元件之间建立弹性力学模型，使其在不同的全局布局空间中运动，最终形成最优全局布局。cheng c k,kahng a b,kang i,et al.replace:advancingsolution quality and routability validation in global placement[j].ieeetransactions on computer-aided design of integrated circuits and systems,2018,38(9):1717-1730引入了基于静电的全局平滑密度成本函数和内斯特罗夫方法非线性优化器。另一种是基于学习的方法，例如mirhoseini a,goldie a,yazgan m,et al.agraph placement methodology for fast chip design[j].nature,2021,594(7862):207-212.中采用强化学习方法放置15％宏块，其余采用优化方法放置。cheng r,yan j.onjoint learning for solving placement and routing in chip design[j].advancesin neural information processing systems,2021,34:16508-16519.采用纯强化学习的方法，但没有考虑宏块的真实大小而导致重叠率极高。

3、总之，目前上述方法存在以下问题：(1)只适用于2d-ic；(2)推理速度慢，需要的计算资源较多且不能达到最优解；(3)不考虑宏块的真实大小导致重叠率不为0％，即使后期修正也有可能无解，任何重叠在实际中都是不可行的；(4)没有考虑引脚偏移问题，宏块上可能存在成百上千个引脚，不同的网络中宏块之间通过不同的引脚连接，粗略放置会导致线长的增加。

技术实现思路

1、本发明是为了解决上述问题而进行的，目的在于提供一种基于视觉强化学习的三维集成电路全局布局系统及方法。

2、本发明提供了一种基于视觉强化学习的三维集成电路全局布局系统，具有这样的特征，包括依次连接的预处理模块、环境模块和全局布局网络模块；其中，所述预处理模块设置为：对待布局三维集成电路的原始网表文件进行解析，提取出待布局三维集成电路的宏块信息和芯片信息；所述环境模块设置为：根据所述待布局三维集成电路的宏块信息和芯片信息，与所述全局布局网络模块进行交互，获取状态空间和对应的奖励函数；所述全局布局网络模块设置为：根据所述状态空间和对应的奖励函数，自动分配宏块在所述待布局三维集成电路的平面上的位置。

3、在本发明提供的基于视觉强化学习的三维集成电路全局布局系统中，还可以具有这样的特征：其中，所述宏块信息包括待布局三维集成电路的宏块位置、宏块尺寸、宏块之间的连接关系和独立宏块，所述芯片信息包括引脚网络连接关系、引脚偏移和网络编号。

4、在本发明提供的基于视觉强化学习的三维集成电路全局布局系统中，还可以具有这样的特征：其中，所述环境模块设置为：基于计算机视觉和图神经网络，采用多模态的方法获取待布局三维集成电路上下两层平面的当前状态信息，并将当前状态信息表示为对应的像素图。

5、在本发明提供的基于视觉强化学习的三维集成电路全局布局系统中，还可以具有这样的特征：其中，所述像素图包括宏块位置图、位置遮罩图、线长热力图和引脚热力图。

6、在本发明提供的基于视觉强化学习的三维集成电路全局布局系统中，还可以具有这样的特征：其中，所述全局布局网络模块为采用a2c算法设计的强化学习网络，包括彼此连接的策略网络和价值网络，所述策略网络包括重提取神经网络和分支卷积网络；所述策略网络设置为：将所述宏块位置图、所述位置遮罩图、所述线长热力图和所述引脚热力图进行拼接，输入至所述分支卷积网络，得到第一输出特征和第二输出特征；同时，将所述位置遮罩图、所述线长热力图和所述引脚热力图进行拼接，输入至所述重提取神经网络，得到第三输出特征；得到的第三输出特征与第二输出特征拼接后经过卷积层后，与所述位置遮罩图、所述线长热力图和所述引脚热力图点乘得到动作；所述价值网络设置为：将所述原始网表文件对应的网表图和宏块坐标输入图卷积神经网络，所述图卷积神经网络的输出与所述第一输出特征进行拼接后，通过全连接层输出价值。

7、2.本发明还提供了一种基于视觉强化学习的三维集成电路全局布局方法，具有这样的特征，包括以下步骤：

8、步骤s1，提供前述的基于视觉强化学习的三维集成电路全局布局系统；

9、步骤s2，将待布局三维集成电路的原始网表文件输入至预处理模块进行解析，提取出待布局三维集成电路的宏块信息和芯片信息；

10、步骤s3，环境模块接收所述待布局三维集成电路的宏块信息和芯片信息，获取当前状态空间和对应的奖励函数，并根据所述当前状态空间和对应的奖励函数，对所述全局布局网络模块进行一轮迭代；

11、步骤s4，以最小化半周长线长和零重叠为目标，重复步骤s3，更新所述全局布局网络模块中策略网络的参数和价值网络的参数，直至得到最佳策略，完成待布局三维集成电路的全局布局。

12、在本发明提供的基于视觉强化学习的三维集成电路全局布局方法中，还可以具有这样的特征：其中，所述步骤s3包括：

13、步骤s31，令k＝0，根据所述待布局三维集成电路的宏块信息和芯片信息，所述环境模块获取当前状态sk和当前内在奖励函数ri,k；

14、步骤s32，所述策略网络和所述价值网络形成的智能体读取当前状态sk，生成当前动作ak；

15、步骤s33，将当前动作ak返回至所述环境模块，生成下一状态sk+1和下一内在奖励函数ri,k+1；

16、步骤s34，判断k+1是否等于n-1，若是，则进入步骤s35；否则，令k＝k+1，返回步骤s32；

17、步骤s35，放置第n块宏块，并在所述环境模块中生成外在奖励函数re；其中，n为待布局三维集成电路的宏块数量。

18、在本发明提供的基于视觉强化学习的三维集成电路全局布局方法中，还可以具有这样的特征：其中，所述状态空间包括宏块位置图、位置遮罩图、线长热力图和引脚热力图，也可理解为宏块放置状态，即已放置的t块宏块的位置、相互连接关系、引脚连接关系，以及下一个宏块的可放置位置、下一个宏块与已放置宏块的连接关系、引脚连接关系；其中，1＜t＜n。

19、在本发明提供的基于视觉强化学习的三维集成电路全局布局方法中，还可以具有这样的特征：其中，所述奖励函数包括内在奖励函数和外在奖励函数；所述策略网络的参数和所述价值网络的参数通过所述内在奖励函数、所述外在奖励函数和所述价值网络输出的价值进行更新。

20、发明的作用与效果

21、根据本发明所涉及的三维集成电路全局布局系统及方法，因为设计了一套完整的强化学习网络，结合计算机视觉合理地提取整体和局部信息，设置了合适的环境以方便智能体与之交互。所以，本发明的三维集成电路全局布局系统及方法能够在减少计算量的同时自动分配宏块位置，从而完成全局布局，为3d-ic全局布局任务提供了快速合理的解决方案。