1.本发明属于多智能体强化学习
技术领域：
：，特别涉及一种交通信号协同控制方法，可用于城市路网的自适应交通信号控制。
背景技术：
：：2.目前我国大型城市交通拥堵问题日益严重，更新缓慢的道路基础设施以及无法适应交通流变化的固定相位交通信号灯使得城市路网中的交通流无法被有效疏导从而造成大面积的交通拥堵。针对这一问题，自适应交通信号控制atsc技术被提出用于应对实时多变的交通流。传统的自适应交通信号控制方法通常是基于时间间隔或时间损耗的。基于时间损耗的控制方法根据路口驶来车辆的时间损失来控制交通信号的相位状态延长。基于时间间隔的方法选择在检测到连续的车流间有足够的时间间隔时切换交通信号相位。3.近年来，强化学习rl方法在atsc领域兴起。与传统的基于时间损失或时间间隔的方法不同，rl采用参数化的网络模型，其输入来自真实的交通场景，输出是通过最大化奖励函数所得到的控制策略。经典的rl方法以q-learning为代表，采用q-table存储动作价值，但该方法在高维数据问题中的应用受到限制。针对这一问题，深度神经网络端到端的学习方式被应用于rl算法中，得到改进后的rl算法被称为深度强化学习drl算法，其在众多复杂的高维数据任务中取得了突破性的表现。深度强化学习drl可分为两种主要的方法：基于价值的和基于策略的。基于价值的方法，例如深度q-learning，采用深度神经网络拟合状态价值函数并采用一步时间误差来更新网络参数。基于策略的方法，例如策略迭代和策略梯度，采用深度神经网络对状态价值函数进行参数化，并利用随机梯度下降的优化方法更新其参数。后来，一种ac方法被提出，该方法是基于价值和基于策略两种学习方法的结合体，通过使用critic网络对每个actor的动作价值进行评估，并引导他们优化自己的策略。ac方法在价值估计上的方差更小，且比基于策略的方法收敛更快，在交通信号控制方面优于q-learning方法。4.申请公布号为cn112201060a的专利中提出了一种基于ac方法的单交叉口交通信号控制方法，其实现步骤为：获取固定时间间隔的路网车辆位置信息和速度信息，以及对应时刻的信号灯状态；对采集的训练数据进行预处理，获得车辆队列-信号灯状态的集合；利用车辆队列-信号灯状态集，更新actor网络和critic网络参数；根据最终的收敛模型，可以得到基于ac的单交叉口交通信号最优配时方案，即下一时刻的最优信号。与现有技术相比，该发明通过人工智能方法，获取了交通运行过程中所隐藏的重要交通信息，最终得到了比传统定时方法通行效率更高的配时方案。但该专利只研究了单交叉路口信号控制问题，无法实现多交叉路口的协同控制，不适用于城市路网。5.尽管drl方法在交通信号控制中表现良好，但对于城市路网，训练所需的联合动作空间随所控制的交通信号灯数量呈指数级增长，极其高维的联合动作空间对于单一集中式的drl方法在训练上难以达到收敛。在这种情况下，多智能体强化学习marl方法被提出。该方法在早期采用分布式独立控制的drl对城市路网中各路口的交通信号进行独立控制。但由于各智能体之间没有通信，每个智能体只考虑最大化自己的回报，在同时与环境交互而不相互协作的情况下，这种早期分布式独立控制的marl算法在收敛性上表现很差。为了获得更好的收敛性，marl方法得到了改进，即在分布控制的基础上加入了集中评价机制，主要思想是利用集中式的critic网络和分布式的actor网络来控制路网中的交通信号，通过提高每个智能体的环境观测能力使智能体能够在控制策略中考虑彼此的动作，从而实现各路口信号灯控制的有限合作。然而，目前集中式评价的marl方法仍存在信誉分配问题，即中心critic网络只能根据联合动作策略向所有智能体返回相同的价值，这样每个智能体单独对全局网络的贡献无法被准确地评估，导致每个智能体的策略改进的方向不准确，因此目前的集中式marl方法在路网交通信号控制中的合作效率低，导致在交通效率上路网的平均车辆行程延迟较高。技术实现要素：6.本发明目的在于针对上述现有技术的不足，提出一种交通信号协同控制方法，以集中式critic网络中高效的协作奖励分配机制设计，为路网中分布控制的信号灯智能体提供准确的个体协作策略改进指导，提高信号灯智能体间的合作效率，降低路网的平均车辆行程延迟，实现路网中交通信号的高效协同控制。7.为实现上述目的，本发明采取的技术方案包括如下步骤：8.(1)构建路网交通信号控制仿真环境：9.构建由路口集合i＝{i1,i2,…,in,…,in}及与其对应智能体集合a＝{a1,a2,…,an,…,an}组成的交通信号协同控制场景，其中，n为路口集合中的路口总数，an表示对应n个智能体中的第n个智能体，in表示n个路口中的第n个路口，每个路口中均存在车道集合表示路口in的m个车道中的第m个车道，m为车道集合中的车道总数，0≤n≤n,0≤m≤m，n≥2，m≥2；10.(2)获取训练样本集y：11.每个智能体an采集t个时间步长的交通状态信息，每个时间步长的交通状态信息包括：各路口智能体在每个时刻t下的交通状态观察stn、执行动作utn、执行动作后得到的协作奖励0≤t≤t，用t个时间步长的交通状态信息构成样本规模为n×t的训练样本集y；12.(3)构建drma网络模型h：13.(3a)建立由7个全连接层依次级联组成的critic神经网络；14.(3b)建立由5个全连接层依次级联组成的actor神经网络；15.(3c)将critic神经网络和actor神经网络并行排布构成drma网络模型h；16.(4)设计drma网络模型h的目标优化函数j：17.根据路网中的信号灯智能体通过actor网络π输出策略执行相应动作的机制，采用动作价值qπ评估智能体在交通状态st下执行动作ut的价值，设计drma网络模型h的如下目标优化函数，以使智能体的动作价值qπ的期望达到最大：[0018][0019]其中，j(θπ)为actor网络π输出策略条件下路网中智能体动作价值qπ的期望值，θπ为actor网络π的神经网络参数；[0020](5)对drma网络模型h进行迭代训练：[0021](5a)初始化迭代次数为e，最大迭代次数为e，e≥2000，e＝1；[0022](5b)将训练集y作为drma网络模型h的输入，actor网络根据当前时刻t的联合交通状态信息st输出每个智能体要执行的动作概率分布pθπ，同时critic网络根据当前时刻t每个智能体选择执行的动作utn和联合交通状态信息st评估智能体执行动作utn后获得的价值qπ，随后critic网络根据qπ得到每个智能体在合作中的个体贡献并反馈给actor网络，actor网络根据每个时刻的得到其参数θπ的更新方向[0023](5c)采用梯度上升法并行更新actor网络参数θπ和critic网络参数θc，更新过程按照时间步长依次进行，每t个时间步长更新记作一次迭代训练，其中，t≥3000，为一次迭代训练的最大时间步长，执行一次迭代训练后，e＝e+1；[0024](5d)重复执行(5b)和(5c)，直到满足e≥e，则训练结束，得到的训练好的drma网络模型为h*；[0025](6)获取交通信号协同控制方案：[0026](6a)采集路网当前最新的交通状态信息，构建与(2)中训练样本y结构相同的测试样本f；[0027](6b)将测试样本f输入至训练好的drma网络模型h*，该模型中的actor网络根据测试样本f输出每个时刻全局智能体的动作概率分布；[0028](6c)每个智能体根据最大概率原则输出各自最优的协作动作得到全局智能体的最优协作动作集合该集合为该路网的交通信号协同控制方案。[0029]本发明与现有技术相比，具有以下优点：[0030]1)本发明通过集中式critic网络评估每个智能体在路网交通信号协同控制中不同的个体贡献，对各智能体的actor网络参数反馈各自相应的改进方向，能够激励各智能体高效地进行协作学习，克服了现有集中式评价方法存在的信誉分配问题，提高了路网中信号灯智能体间的合作效率，降低了路网的平均车辆行程延迟。[0031]2)本发明在所构建的训练样本中对各智能体的奖励进行了空间加权以加强各彼此间的合作，通过该空间加权奖励，各智能体能够接收周围邻居在同一时刻所执行的动作以及返回的奖励，将彼此独立的奖励机制相互耦合，进一步加强了智能体在路网交通信号控制中的协作效率。附图说明[0032]图1为本发明的实现流程图；[0033]图2为本发明中drma网络模型h的结构示意图；[0034]图3为分别用本发明和现有方法对目标路网进行交通信号控制的仿真对比图；[0035]图4为分别用本发明和现有方法对目标路网进行车辆行程延迟的仿真对比图。具体实施方式[0036]具体实现方式[0037]以下结合附图对本发明的实施例和效果进一步详细描述。[0038]参照图1，本实例的实现步骤如下：[0039]步骤1，构建路网交通信号控制仿真环境。[0040]构建由路口集合i及与其对应智能体集合a组成的交通信号协同控制场景，公式表示如下：[0041]i＝{i1,i2,…,in,…,in}[0042]a＝{a1,a2,…,an,…,an}[0043]其中，n为路口集合中的路口总数，an表示对应n个智能体中的第n个智能体，in表示n个路口中的第n个路口，每个路口中均存在车道集合ln，公式表示如下：[0044][0045]其中，表示路口in的m个车道中的第m个车道，m为车道集合中的车道总数，0≤n≤n,0≤m≤m，n≥2，m≥2；[0046]本实施例中，采用lust城市路网作为交通信号控制场景，k＝22，m＝24。[0047]步骤2，获取训练样本集y。[0048]2.1)采集t时刻路口in第m条车道上的车辆数计算路口in所有车道上的车辆总数stn：[0049][0050]式中，stn记作智能体an在时刻t下的交通状态观察；[0051]2.2)采集智能体an在时刻t下的执行动作utn，即该时刻交通灯的相位信号动作，本实施例中，交通灯的信号动作采用8相位模式；[0052]2.3)采集t时刻路口in处的车辆流出量和流入量计算该时刻路口in处的车辆净流出量[0053][0054]式中，rtn记作智能体an在t时刻执行动作后收到的奖励；[0055]2.4)对2.3)中智能体an的奖励rtn进行空间加权，获得智能体an的协作奖励[0056][0057]其中，k(n)表示智能体an的相邻智能体集合，α为空间加权因子，协作奖励使智能体能够考虑周围邻居的执行动作和奖励以加强彼此间的协作，本实施例中，α＝0.8；[0058]2.5)将t时刻在步骤2.1)、2.2)、2.4)中得到的智能体an的交通状态观察stn、执行动作utn和协作奖励三者集合构成一个训练样本yn,t：[0059][0060]2.6)对n个智能体重复进行步骤2.1)至步骤2.5)，按照时间步长共进行t步，本实施例中，t＝3600，获得n×t个训练样本，构成训练样本集y，形式如下：[0061][0062]其中，yn,t表示智能体an在t时刻构建的一个训练样本。[0063]步骤3，构建drma网络模型h。[0064]参照图2，本步骤的具体实现如下：[0065]3.1)建立由7个全连接层依次级联组成的critic神经网络；[0066]该critic神经网络中顺次级联的7个全连接层为：输入层→第一隐藏层→第二隐藏层→第三隐藏层→第四隐藏层→第五隐藏层→线性输出层；[0067]该critic神经网络的输入数据是规模为n×m+n维的联合状态向量，五个隐藏层的神经元规模依次为380、250、160、80、20，每个隐藏层的输出均使用relu函数激活，输出层输出的数据为n维的联合价值向量。[0068]3.2)建立由5个全连接层依次级联组成的actor神经网络；[0069]该actor神经网络中顺次级联的5个全连接层为：输入层→第一隐藏层→第二隐藏层→第三隐藏层→softmax输出层；[0070]该actor神经网络的输入数据是m维的局部交通状态观察向量，三个隐藏层的神经元规模依次为256、128、64，每个隐藏层的输出均使用relu函数激活，softmax层输出智能体执行动作的概率分布向量；[0071]3.3)将critic神经网络和actor神经网络并行排布构成drma网络模型h，其中：[0072]actor网络负责收集局部交通状态并执行局部最优协作控制动作；[0073]critic网络负责根据全局交通状态对actor网络输出的动作策略进行价值评估并反馈给actor网络，为actor网络提供参数优化方案。[0074]步骤4，设计drma网络模型h的目标优化函数j。[0075]根据路网中的信号灯智能体通过actor网络π输出策略执行相应动作的机制，采用动作价值qπ评估智能体在交通状态st下执行动作ut的价值，设计drma网络模型h的如下目标优化函数，以使智能体的动作价值qπ的期望达到最大：[0076][0077]其中，j(θπ)为actor网络π输出策略条件下路网中智能体动作价值qπ的期望值，θπ为actor网络π的神经网络参数。[0078]步骤5，对drma网络模型h进行迭代训练。[0079]5.1)初始化迭代次数为e，最大迭代次数为e，e≥2000，e＝1，本实施例中，e＝2000；[0080]5.2)critic网络通过训练集y计算每个智能体的个体贡献并反馈给actor网络，以计算actor网络的参数优化方向[0081]5.2.1)将训练集y作为drma网络模型h的输入，critic网络根据当前时刻t路网中智能体的联合动作ut和全局交通状态信息st计算全局动作价值qπ：[0082][0083]式中，为全局智能体的空间加权协作奖励，γ为未来回报折扣因子，本实施例中，γ＝0.99；[0084]5.2.2)critic网络根据全局动作价值qπ和全局智能体动作ut计算得出每个智能体在交通信号协同控制中的个体贡献并反馈给actor网络：[0085][0086]式中，表示对除智能体an自身外其他智能体在t时刻后的联合动作价值估计，ut＝(utn,ut-n)表示全局的执行动作分为两个部分：自身执行动作utn和其他智能体的执行动作集合ut-n，表示actor网络根据当前时刻t智能体an的局部观察stn输出执行动作的概率分布；[0087]5.2.3)actor网络根据critic网络在每个时刻t输出的个体贡献得出其参数θπ的更新方向[0088][0089]式中，θπ为actor网络π的神经网络参数，为对θπ求梯度的运算。[0090]5.3)采用梯度上升法并行更新actor网络参数θπ和critic网络参数θc，公式如下：[0091][0092][0093]其中，θ'π为更新后的actor网络参数，θ'c为更新后的critic网络参数；为智能体an获得的未来折扣回报期望的梯度，其作为actor网络的优化步长，βπ为actor网络的学习率，为critic网络的优化步长，βc为critic网络的学习率，本实施例中，βπ＝0.05，βc＝0.001；δt表示一步时间误差，作为critic网络进行优化的损失函数，根据空间加权奖励和动作价值qπ计算得到：[0094]本步骤的更新过程按照时间步长依次进行，每t个时间步长更新记作一次迭代训练，本实施例中，t＝3600，为一次迭代训练的最大时间步长，执行一次迭代训练后，e＝e+1；[0095]5.4)重复执行5.2)和5.3)，直到满足e≥e，则训练结束，得到的训练好的drma网络模型为h*。[0096]步骤6，获取交通信号协同控制方案。[0097]6.1)采集路网当前最新的交通状态信息，构建与(2)中训练样本y结构相同的测试样本f；[0098]6.2)将测试样本f输入至训练好的drma网络模型h*，该模型中的actor网络根据测试样本f输出每个时刻全局智能体的动作概率分布；[0099]6.3)每个智能体根据最大概率原则输出各自最优的协作动作得到全局智能体的最优协作动作集合该集合为该路网的交通信号协同控制方案。[0100]以下结合仿真对本发明的效果作进一步说明：[0101]一、仿真条件[0102]本发明仿真实验的硬件条件为：intelxeongold5218cpu和geforcertx2080tigpu。[0103]本发明仿真实验的软件条件为：ubuntu20.04操作系统和sumo1.14.1交通仿真平台。[0104]仿真实验的具体参数如表1所示：[0105]表1：仿真实验参数表[0106][0107][0108]二、仿真实验内容及结果分析：[0109]仿真实验1：在上述仿真条件下，分别使用本发明和现有方法ia2c和ma2c，在目标路网中获取交通信号协同控制方案，结果如图3，其中，纵坐标为全局动作价值qπ表示所使用方法对路网交通效率提升的收益，横坐标为迭代训练次数；[0110]现有的ia2c方法是一种分布式独立控制的交通信号控制方法，该方法中的每个智能体在路网中彼此独立，只负责优化各自局部的交通信号控制方案，同时与环境交互而不相互协作。[0111]现有的ma2c方法是一种集中式评价的交通信号控制方法，该方法中的每个智能体能够在控制策略中考虑彼此的动作并以此进行协作，每个智能体通过合作收到统一的奖励回报来更新参数，即每个智能体被分配相同的信誉。[0112]从图3可以看出，本发明的训练曲线最先收敛，且收敛后的全局动作价值qπ最高，表明本发明在交通信号协同控制中的智能体协作效率是最高的，且获得的交通效率提升收益是最大的。[0113]仿真实验2，在上述仿真条件下，分别使用本发明和现有方法ia2c、ma2c和fixedphase，在目标路网中进行车辆行程延迟对比，结果如图4，其中左侧纵坐标为车辆平均行程延迟d，计算公式为：式中v为路网中导入的最大车辆数，ttio为每辆车的实际行程时间，ttif为每辆车的理想行程时间；右侧纵坐标为车辆数，横坐标为时刻。[0114]现有的fixedphase方法是一种采用固定相位模型信号的交通灯控制方案。[0115]从图4可以看出，随着路网中车辆数的变化趋势，本发明的交通信号协同控制方案在目标路网中的车辆平均行程延迟是最低的，表明本发明对目标路网的交通疏导是最有效的。[0116]以上描述仅使本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本
发明内容和原理后，都可以在不背离本发明原理、结构的请看下，进行形式和细节上的各中修改和改变，但是这些基于本发明思想的修正和改变仍然在本发明的权利要求保护范围之内。当前第1页12当前第1页12