一种改进的深度确定性策略梯度算法的电路参数优化方法

1.本发明涉及电路参数优化技术领域，具体涉及一种改进的深度确定性策略梯度算法的电路参数优化方法。


背景技术：

2.模拟集成电路在电路系统中起着不可或缺的作用，在电子市场绝大多数电子设备内部都要模拟电路的参与，设计模拟电路依然是一项需要大量耗费时间和精力的艰巨工作，但是市面上大部分的eda软件都不支持模拟电路的具体参数优化，而且时间效率也较低。与数字集成电路(ic)设计相比，参数演化复杂的电压参考等模拟集成电路设计，应同时考虑功耗、温度系数(tc)、线路灵敏度(ls)等多种因素。因此，人工设计周期长、效率低，产生了自动电路设计的要求。
3.与数字集成电路中成熟的电子设计自动化(eda)技术不同，一些模拟集成电路中带隙电压参考、误差放大器、传统ldo等自动设计系统的设计报道较少。同时目前现有技术方案还存在以下问题：电路参数优化速度慢，电路优化性能指标权重分配不够完善，人工干预较多，优化方法耗时等缺点。


技术实现要素：

4.本发明的目的在于提供一种改进的深度确定性策略梯度算法的电路参数优化方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：
6.一种改进的深度确定性策略梯度算法的电路参数优化方法，包括以下步骤：
7.s1、根据hspice仿真工具对电路的性能指标进行初始仿真，得到仿真网表数据。
8.s2、将电路仿真网表数据作为模拟集成电路自定义的系统环境。
9.s3、根据初始仿真网表数据，获取网表中的最优仿真数据作为系统奖励值。
10.s4、对电路系统环境，增加约束条件，增加电路可行性。
11.优选的，在所述步骤s1中，一个电路的功耗大小由电路总电流决定，在电路正常工作的情况下，电流越小越好，因此必须给电路工作的电流也设置约束条件，使得在算法自动优化时确保电流不会太大，以保证电路功耗在一个合理的范围，设定电流范围为50na～500na。
12.优选的，在所述步骤s1中，采用分层序列法实现多目标优化，将优化目标序列列为ftc(x)，fls(x)，fcurrent(x)，对温度系数(tc)目标求优解，在电路中，温度系数越小代表电路性能越好，对ftc(x)找出符合约束条件的较优解，作为集合r0。
13.优选的，在所述步骤s2中，线路灵敏度(ls)求优解，在电路中，线路灵敏度越小代表电路性能越好，在集合r0中对fls(x)找出符合约束条件的较优解，更新优解集合r0作为集合r1，最后对电流(current)求优解，在电路中，电流越小代表电路功耗越低，在集合r1中对fcurrent(x)找出符合约束条件的较优解，更新优解集合r1作为最后优解集合r2，并在集
合r2中找出最优解，作为多目标的共同最优解(r{max})，作为最后系统的奖励值r。
14.优选的，在所述步骤s3中，模拟集成电路自动设计中，网表相当于一个图，为更好地与模拟集成电路进行智能学习交互，本发明将图神经网络更替以往ddpg算法中的actor网络和critic网络，将网表作为网络输入，其具体网络更新与训练为：改进actor网络为图神经网络(actor-graph网络)，输入st为模拟集成电路结构mos管的饱和状态、跨导、结构节点电压、电路电流和初始网表数据。在模拟集成电路中，l和w分别代表mos管的沟道长和沟道宽，m指m个mos管并联，mos管的实际宽度为w与m的乘积，通过actor-graph网络输出mos管的w、l和m值调整改变后的最新值作为动作at，更新获得最新网表，进行多目标数据处理后，使得q最大，q值根据电路系统的奖励r，以及将下一时刻的状态s'和动作现实网络得到的动作a'输入到状态现实网络而得到的q值的折现值加和得到，q越大说明网络训练得越好，改进critic网络为图神经网络(critic-graph网络)，根据状态动作对(st，at)预测输出其action value q(st，at)，q值越精确，网络训练得越好，target actor网络和target critic网络同时也更替为图神经网络，actor-graph网络每步会在经验池中更新，而target actor网络是隔一段时间将actor-graph的网络参数拷贝到target actor网络中，实现target actor网络的更新。这种“滞后”更新是为了保证在训练actor-graph网络时训练的稳定性。critic-graph网络和target critic网络也是一样。
15.优选的，在所述步骤s3中，由初始状态s0，通过actor-graph网络得到动作a0’，采用自适应噪声n得到动作a0＝a0’+n，将a0输入到电路系统环境中，得到s1和r1，得到experience(s0，a0，s1，r1)，将experience放入经验池中，以此类推，再随机从经验池中选取一批experience进行网络的训练，在网络训练中，不断更新actor-graph网络和critic-graph网络，以获取最大系统奖励值为目标，不断优化电路参数，得到更好的奖励值，即获得更好的电路性能指标。
16.优选的，在所述步骤s3中，选取一批experience进行网络训练，进行智能参数优化，actor-graph网络的loss函数就是-q，-q越小越好，q值由critic-graph网络得到，q值越大，则说明网络训练越好，则电路的性能指标也越好，将experience的s0输入到actor-graph网络中，得到预测的动作a0_predict，不加噪声，将s0和a0_predict输入到critic-graph网络中，得到q值，以-q作为loss函数，以此不断修改actor-graph网络。
17.优选的，在所述步骤s4中，传到critic-graph网络得到更好的q值，即更好的电路性能指标，critic-graph网络则需要对预测的q值越精确越好，它的loss函数为critic-graph网络对初始状态的输出值q值与target-critic网络对下一个状态的输出值q值的差值，差值越小越好，说明预测值q值越准确，越可以准确地对actor-graph网络进行评分得到q值，以此更加准确地修改更新网络，在网络训练与优化中，在规定好相应的学习率，步长和迭代次数等参数后，增加监控机制，即将优化过程中优化效果最好的相应系统奖励值(电路性能指标)和对应的优化参数输出，即最后的系统输出值。
18.优选的，在所述步骤s4中，以全mos电压基准源电路为例，则网表中最优的温度系数(tc)、线路灵敏度(ls)和电流(current)进行多数据目标处理优化，这在步骤2中有详细讲到，将处理后的最终数据作为系统奖励值。
19.优选的，在所述步骤s4中，推导输出电压时，是利用了vds≥4vt条件来进行简化，常温下vt为26mv，则mos管的vds需大于104mv，而vref＝vds6+vds7，即vref的最小电压应该
是有一个限定值，且如果电路正常工作的话，输出电压也不能太高，因此在利用算法寻优时应该给予一定的输出电压范围，设定输出电压范围为0.3～1.2v。
20.本发明的有益效果是：
21.本发明通过不断进行网络更新优化，使生成的电路性能参数可以达到甚至优于人工设计水平的模拟集成电路，以获取最大系统奖励值为目标，不断优化电路参数，得到更好的奖励值，即获得更好的电路性能指标。
附图说明
22.图1为本发明实施例的电路参数示意图；
23.图2为本发明实施例actor-graph网络示意图；
24.图3为本发明实施例critic-graph网络示意图；
25.图4为本发明a实施例ctor-graph网络的更新示意图；
26.图5为本发明实施例critic-graph网络的更新示意图；
27.图6为本发明实施例控制系统的模块组成结构示意图。
28.图中：1、仿真模块；2、输出模块；3、预测模块；4、估算模块；5、智能优化模块；6、智能管理模块；7、取电模块。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.请参阅图1-6，本发明提供的改进的深度确定性策略梯度算法的电路参数优化方法，包括以下步骤：
31.s1、根据hspice仿真工具对电路的性能指标进行初始仿真，得到仿真网表数据；
32.其中，一个电路的功耗大小由电路总电流决定，在电路正常工作的情况下，电流越小越好，因此必须给电路工作的电流也设置约束条件，使得在算法自动优化时确保电流不会太大，以保证电路功耗在一个合理的范围，设定电流范围为50na～500na，采用分层序列法实现多目标优化，将优化目标序列列为ftc(x)，fls(x)，fcurrent(x)，对温度系数(tc)目标求优解，在电路中，温度系数越小代表电路性能越好，对ftc(x)找出符合约束条件的较优解，作为集合r0；
33.s2、将电路仿真网表数据作为模拟集成电路自定义的系统环境；
34.对线路灵敏度(ls)求优解，在电路中，线路灵敏度越小代表电路性能越好，在集合r0中对fls(x)找出符合约束条件的较优解，更新优解集合r0作为集合r1，最后对电流(current)求优解，在电路中，电流越小代表电路功耗越低，在集合r1中对fcurrent(x)找出符合约束条件的较优解，更新优解集合r1作为最后优解集合r2，并在集合r2中找出最优解，作为多目标的共同最优解(r{max})，作为最后系统的奖励值r；
35.s3、根据初始仿真网表数据，获取网表中的最优仿真数据作为系统奖励值。
36.在模拟集成电路自动设计中，网表相当于一个图，为更好地与模拟集成电路进行
智能学习交互，本发明将图神经网络更替以往ddpg算法中的actor网络和critic网络，将网表作为网络输入，其具体网络更新与训练为：改进actor网络为图神经网络(actor-graph网络)，输入st为模拟集成电路结构mos管的饱和状态、跨导、结构节点电压、电路电流和初始网表数据。在模拟集成电路中，l和w分别代表mos管的沟道长和沟道宽，m指m个mos管并联，mos管的实际宽度为w与m的乘积，通过actor-graph网络输出mos管的w、l和m值调整改变后的最新值作为动作at，更新获得最新网表，进行多目标数据处理后，使得q最大，q值根据电路系统的奖励r，以及将下一时刻的状态s'和动作现实网络得到的动作a'输入到状态现实网络而得到的q值的折现值加和得到，q越大说明网络训练得越好，改进critic网络为图神经网络(critic-graph网络)，根据状态动作对(st，at)预测输出其action value q(st，at)，q值越精确，网络训练得越好，target actor网络和target critic网络同时也更替为图神经网络，actor-graph网络每步会在经验池中更新，而target actor网络是隔一段时间将actor-graph的网络参数拷贝到target actor网络中，实现target actor网络的更新。这种“滞后”更新是为了保证在训练actor-graph网络时训练的稳定性。critic-graph网络和target critic网络也是一样，由初始状态s0，通过actor-graph网络得到动作a0’，采用自适应噪声n得到动作a0＝a0’+n，将a0输入到电路系统环境中，得到s1和r1，得到experience(s0，a0，s1，r1)，将experience放入经验池中，以此类推，再随机从经验池中选取一批experience进行网络的训练，在网络训练中，不断更新actor-graph网络和critic-graph网络，以获取最大系统奖励值为目标，不断优化电路参数，得到更好的奖励值，即获得更好的电路性能指标，选取一批experience进行网络训练，进行智能参数优化，actor-graph网络的loss函数就是-q，-q越小越好，q值由critic-graph网络得到，q值越大，则说明网络训练越好，则电路的性能指标也越好，将experience的s0输入到actor-graph网络中，得到预测的动作a0_predict，不加噪声，将s0和a0_predict输入到critic-graph网络中，得到q值，以-q作为loss函数，以此不断修改actor-graph网络；
37.s4、对电路系统环境，增加约束条件，增加电路可行性；
38.传到critic-graph网络得到更好的q值，即更好的电路性能指标，critic-graph网络则需要对预测的q值越精确越好，它的loss函数为critic-graph网络对初始状态的输出值q值与target-critic网络对下一个状态的输出值q值的差值，差值越小越好，说明预测值q值越准确，越可以准确地对actor-graph网络进行评分得到q值，以此更加准确地修改更新网络；在网络训练与优化中，在规定好相应的学习率，步长和迭代次数等参数后，增加监控机制，即将优化过程中优化效果最好的相应系统奖励值(电路性能指标)和对应的优化参数输出，即最后的系统输出值。
39.以全mos电压基准源电路为例，则网表中最优的温度系数(tc)、线路灵敏度(ls)和电流(current)进行多数据目标处理优化，这在步骤2中有详细讲到，将处理后的最终数据作为系统奖励值，在推导输出电压时，是利用了vds≥4vt条件来进行简化，常温下vt为26mv，则mos管的vds需大于104mv，而vref＝vds6+vds7，即vref的最小电压应该是有一个限定值，且如果电路正常工作的话，输出电压也不能太高，因此在利用算法寻优时应该给予一定的输出电压范围，设定输出电压范围为0.3～1.2v。
40.仿真模块1输出端信号连接有估算模块4接收端，估算模块4输出端信号连接有智能优化模块5接收端和输出模块2接收端，智能优化模块5输出端和输出模块2输出端信号连
接有智能管理模块6接收端和预测模块3接收端，智能管理模块5输出端和预测模块3输出端信号连接有取电模块7接收端。
41.本发明通过自定义电路系统环境，将网表数据中的电路性能指标数据处理后作为系统奖励值，再通过改进actor网络和critic网络为图神经网络，仿真网表作为图论输入，以获取最大系统奖励值为目标，不断进行网络更新优化，不断优化mos管参数，通过监控机制，最终输出最优电路性能指标和对应的mos管参数，最终实现模拟集成电路的自动参数优化，使其生成的电路性能参数可以达到甚至优于人工设计水平的模拟集成电路，以获取最大系统奖励值为目标，不断优化电路参数，得到更好的奖励值，即获得更好的电路性能指标。
42.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
43.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。