一种基于云边协同的参数自学习信号控制方法与流程

本发明涉及交通信号控制，尤其涉及一种基于云边协同的参数自学习信号控制方法。

背景技术：

1、针对日益严重的城市交通拥堵和绿灯时间浪费问题，随着检测感知手段的不断迭代升级，智能化的信号控制方法越发重要。当前交通控制方法主要有两类：一类是基于运筹优化和控制理论的交通控制算法，比如全感应控制、半感应控制、自适应控制等，其基本原理为输入过车流量、排队长度等数据通过控制模型产出信号周期、绿信比等控制参数，这类方法在众多路口取得了一定效果，但其严重依赖各种交通参数配置，需要大量专业的交通从业人员的人工经验，且不同路口需要反复调参，难以泛化推广，当交通流没有按照历史发展，发生突变时，参数设置固定导致控制方案不合理。另一类是基于机器学习、深度学习的控制策略自生成算法。这类算法通过提取路口运行特征，设定优化目标，直接产生信号方案。过于依赖训练样本，在测试集上的取得的效果往往在真实环境下发难以达到。

2、在中国专利文献上公开的一种“基于联邦强化学习的多路口智能交通信号灯控制方法及系统”，其公开号为cn113643553a，通过对真实路口进行建模，使用交通模拟软件cityflow模拟城市交通和交通流量，对每个强化学习智能体使用强化学习算法，根据路口车流情况对交通信号灯实时控制，且结合云边协同的联邦强化学习框架，引入类似联邦学习的梯度共享与参数传递过程，在车辆平均行驶时间方面取得了较好的控制效果，但是该专利实际路况相关信息的获取基本依赖于交通模拟软件，难以实现实时性全天候全场景应用，并且在强化学习智能体时主要通过观测计算各条定向道路上的压力，没有采用更为合适的路口观测方法和交通参数实现参数自学习过程，使其适配各种交通流条件以及交通饱和场景。

技术实现思路

1、本发明旨在解决交通信号算法控制严重依赖交通参数配置、过于依赖训练样本以及难以实现实时性全天候全场景应用等问题。

2、以上技术问题是通过以下技术方案解决的：一种基于云边协同的参数自学习信号控制方法，包括：

3、s1、采集交通全息轨迹数据，判别各个相位的交通状态，根据选定的交通参数之间关系控制信号灯持续时间；

4、s2、从交通全息轨迹数据中提取全息感应控制参数定义参数自学习动作空间，并采用路口元胞结构构建方法构建状态矩阵定义参数自学习状态空间，训练参数自学习模型；

5、s3、建立云边协同控制架构，进行数据交互，实时控制交通信号。

6、通过雷达、雷视一体机等检测设备可以采集路口车辆全方位的运行轨迹，包含车辆轨迹位置、车辆速度、通过检测区时间等数据，并从车辆轨迹位置中提取出过车流量、车辆速度、排队长度、交通密度等交通相关参数。传统感应控制根据过车的时间间隔进行相位延长，本方法增加对各个相位的交通状态进行判别，使得获取数据实时性更强，数据分析计算结果更为精准。基于运筹优化的控制算法能够提升其需要的全量数据准确性，因此可选用基于全息数据的边缘感应信号控制方法来实现交通实时控制。参数自学习方法在训练完成所有数据后得到一系列训练参数，然后根据训练参数来预测新样本的值，这时不再依赖之前的训练数据了，参数值也是确定的。通过参数自学习方法在采集的全息数据中提取全息感应控制所需参数，以从路口全息数据中提取状态空间，以全息感应控制参数为行动空间，排队均衡度为行动评价指标，建立全息感应控制的参数自学习模型，摆脱对交通模拟软件的依赖、减免大量专业人员根据人工经验进行参数配置、反复调参。由于应用所述基于全息数据的边缘感应控制算法需要获取实时数据和即时响应控制，对消息传输延迟有极大要求；采用所述参数自学习方法，也需要大量的样本数据和较高的算力，并且自学习过程中会存在“试错”动作产生，直接于实际路口进行学习容易造成交通隐患，因此可以通过搭建云边协同控制架构，与所述方法适配进行交通信号控制，云边协同控制体系包括云端到边缘计算节点的消息传输机制及数据交互机制、控制驱动同步机制、云边链路管理及异常降级机制，从而形成云端策略生成、参数学习，边缘数据交互，实时控制的云边协同交通信号控制体系。

7、作为优选，在步骤s1中，交通全息轨迹数据包括各个相位的交通状态信息，交通状态信息包括交通密度和车头时距，根据选定的交通参数之间关系控制信号灯持续时间包括：s101、基于交通流理论，根据各个相位的交通密度判断路口交通状态；

8、s102、设定车头时距阈值，计算当前相位的车头时距；

9、s103、根据车头时距与车头时距阈值的关系、交通密度，结合全息感应算法判断是否需要延长绿灯时间。

10、交通密度是判别车道状态的关键参数之一，通过采集设备捕捉各个相位的交通状态后，基于2002年09月人民交通出版社出版的《交通流理论》，可计算各个相位对应的交通密度，交通密度相关知识包括理论阻塞密度和最佳密度。车头时距是运行全息感应算法进行条件判定的核心要素，车头时距表示从当前时刻至上一辆车到达的时刻之间的时间间隔，若本相位还没有车到达，则其初始值为从当前时刻至相位开始时刻之间的时间间隔。预先设定用于比较的车头时距阈值，若车头时距越小，说明车辆到达的频率越高，此时需要相应的延长相位绿灯时间；若车头时距大于预设阈值，说明到达车辆排布稀疏，就没有必要延长相位绿灯时间，可在最小绿灯时间结束后就切换到下一个相位。计算获取的各个相位交通密度与当前相位的车头时距代入全息感应算法流程进行信号灯时长控制。

11、作为优选，结合全息感应算法判断是当其他相位的交通密度小于理论阻塞密度时，若当前相位的车头时距超过车头时距阈值，则不延长绿灯时间，若当前相位的车头时距不超过车头时距阈值，则延长绿灯时间；当其他相位的交通密度等于理论阻塞密度时，若当前相位的交通密度不超过最佳密度时，则进行相位切换，若当前相位的交通密度超过最佳密度时，则逐一延长各个相位的绿灯时间。当其他相位交通密度未达到理论阻塞密度时，说明此时实际路况较为顺畅，仅需依据当前相位的车头时距与车头时距阈值之间的关系判断是否延长绿灯时间；一般情况下，当其他相位接近理论阻塞密度，且当前相位交通密度较小时，需要及时切换相位以放行拥堵相位，此时暂不考虑当前相位车头时距；当前相位交通密度超过最佳密度时，说明路口多相位拥堵，需逐一放行相位以消散车辆。边缘感应控制采取全息感应算法的方式科学灵活地对路口不同的交通情况施以控制，及时缓解各条定向道路上可能存在的压力。

12、作为优选，在步骤s2中，定义参数自学习动作空间和状态空间，包括：

13、s201、根据路口交通全息轨迹数据，采用路口元胞结构构建方法构建车辆状态矩阵；

14、s202、根据当前路口交通信号灯实际情况，构建路口信号状态矩阵；

15、s203、采用卷积神经网络算法对叠加两矩阵的结果进行当前时刻特征向量的提取，将每个时刻的特征向量序列化作为信号周期特征，再通过transformer算法，将信号周期特征整合为一个特征向量，定义为状态空间；

16、s204、学习交通饱和情景下保证各个相位排队均衡的绿灯极限延长时间，将各个相位的绿灯极限延长时间组成的序列定义为动作空间；

17、s205、采用ddpg算法生成学习参数，基于定义的状态空间和动作空间，进行参数模型训练。

18、参数自学习模型的建立从路口全息数据中提取状态空间，以全息感应控制参数为行动空间，排队均衡度为行动评价指标。通过设计的路口元胞结构构建方法将路口车道信息转化为车辆状态矩阵，并结合当前路口交通信号灯的实际状况构建路口信号状态矩阵。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，将上述2个同样大小的二维状态矩阵叠加，形成2*m*n的三维特征矩阵后，采用cnn(卷积神经网络)提取该三维矩阵特征并展平成一维的特征向量，表示当前时刻的特征，cnn算法可应用如文献[1]王晓蒲,霍剑青,刘同怀.用相关卷积运算提取特征信息的神经网络对手写数字的识别方法[j].自动化学报,1996(01):123-125.doi:10.16383/j.aas.1996.01.020.中所介绍。为了将信号周期特征整合为一个特征向量，可采用transformer算法，引入注意力机制，可发现红灯末、绿灯末等关键序列节点的数据，能够较好地提取一整个信号周期交通运行的特征向量，应用transformer算法时可采用如文献[1]张英俊,白小辉,谢斌红.cnn-transformer特征融合多目标跟踪算法[j/ol].计算机工程与应用:1-14[2023-06-16].http://kns.cnki.net/kcms/detail/11.2127.tp.20230411.1035.002.html.所介绍的方式。在参数提取的过程中先应用卷积神经网络算法对两种包含实时性信息内容的状态矩阵进行特征向量的提取，再由transformer算法将信号周期特征整合为一个特征向量，由此形成的状态空间能够良好表征路口实际交通状况，为后续进行边缘控制的精准程度提供保障。由前述步骤可知，单点全息感应控制可有效的减少路口空放问题，对于饱和场景都会延长至绿灯极限延长时间，在拥堵条件下无法保证各个相位负载均衡，建立参数学习的目标为在饱和场景下，绿灯极限延长时间能保证各个相位的排队均衡，以各个相位的绿灯极限延长时间组成的序列作为参数自学习动作空间，实现资源分配均衡。最后利用ddpg算法生成学习参数，ddpg是一种深度确定性的策略梯度算法，主要引入了经验回放和双网络，能够基于连续的动作空间学习，并且较之actor-critic能够更好的收敛。主要包括四个神经网络：actor当前网络、actor目标网络、critic当前网络以及critic目标网络。ddpg算法可采用如文献[1]翟建伟.基于深度q网络算法与模型的研究[d].苏州大学,2017.中所介绍方式。定义的动作空间和状态空间将按照此学习网络进行训练，将训练得到的参数模型应用于实际环境，根据当前交通状态生成极限延长时间，作为s1中全息感应边缘控制算法的控制参数，测试训练模型在真实环境下可以达到较佳效果，从而实现稳定优良的交通控制效果。

19、作为优选，在步骤s201中，采用路口元胞结构构建方法构建车辆状态矩阵，包括：s20101、将路口中某个车道的最大检测范围划分为若干个固定长度的元胞，元胞内包含车辆的位置信息和速度值；

20、s20102、将每个车道的元胞状态设为行，每个路口车道设为列；

21、s20103、将每个元胞内的车辆速度值进行最高限速的归一化处理作为该位置的值，根据是否存在停车速度，用不同的固定值表示，由此构建车辆状态矩阵。

22、将路口中一个车道的最大检测范围，划分为有限个长为7m的元胞，每个元胞内含有的车辆位置和速度信息可以描述当前车道的实时状态，再把每个车道的元胞状态作为行，路口所有车道作为列，形成矩阵。为了便于分析处理，可将每个元胞的车辆速度值进行最高限速的归一化作为该位置的值,由于实际计算时，无车辆与车速为0两种情况结果相同，若存在停车速度为0，则以-1表示用以区分。路口信号状态矩阵根据路口信号灯实际状况构建，采用包含实时路况信息的双矩阵经过处理提取得到的特征向量为实时交通控制提供重要基础。

23、作为优选，在步骤s202中，构建路口信号状态矩阵是将每个车道的交通信号灯的不同状态用对应不同的固定值表示，构建与车辆状态矩阵大小相同的路口信号状态矩阵。路口信号状态矩阵设置为与交通状态矩阵大小相同，便于后续进行叠加处理，提取特征向量。

24、作为优选，在步骤s204中，排队均衡的指标为交叉口间各个方向排队长度间方差。交叉口排队均衡指标d(q)为交叉口间各方向的排队长度{q1，q2，...，qn}间方差，实现交叉口各方向的资源分配均衡。

25、作为优选，在步骤s3中，建立云边协同控制架构，包括：

26、s301、通过云端到边缘计算节点的消息传输通道进行数据交互，消息传输通道交互数据包括交通状态信息和云端完成训练的参数模型；

27、s302、建立控制驱动同步机制，控制驱动包括将信号方案转化为可通过通信协议与控制设备交互、发送控制命令的程序，同步是建立所述边缘计算节点后，边缘产生方案与中心原有控灯命令的控制方式和优先级的同步确定；

28、s303、应用云边链路管理和异常降级控制，云端中心统一管理信息包括边缘设备信息，异常降级情况包括边缘设备异常和路口与云端中心通信异常。

29、云边协同控制包括云端到边缘计算节点的消息传输机制、数据交互机制、控制驱动同步机制、云边链路管理、异常降级机制。消息传输机制、数据交互机制保证各类数据正常交互，通过将信号方案转化为可通过通信协议与控制设备交互、发送控制命令的程序实现控制驱动，并同步确定边缘产生的方案与中心控灯命令的控制方式和优先级等。应用云边链路管理和异常降级控制，由中心端统一管理所有的边缘计算节点，包含设备的id、ip、端口等信息管理，控制命令下发链路，在边缘设备异常时，中心端可直接与设备进行通信。在路口与中心通信异常时，边缘计算节点也能自主控制信号设备，保证路口通信效率，提高证控制系统的稳定性。通过建立云端策略生成、参数学习，边缘数据交互的方式，形成实时控制的云边协同交通信号控制体系。

30、作为优选，在步骤s3中，交通状态信息经过初步预处理数据格式相同，云端完成训练的参数模型的初始状态输入包括交通状态信息。边缘节点接入多源数据，包括雷达轨迹数据、实时过车数据、排队长度数据、交通密度数据等等，这些数据经过初步的预处理，转换为统一格式数据，便于在消息传输通道中传输，保证通信效率，并将这些数据上送至云端作为模型训练的初始状态输入，云端训练好的模型通过消息传输通道下载到边缘计算节点，实现数据交互。

31、本发明的有益效果是：在传统感应控制根据过车的时间间隔进行延长相位的基础上，通过交通全息轨迹数据，对各个相位的交通状态进行判别，优先放行拥堵相位，实时控制能力强。基于运筹优化方法的全息感应控制，结合本发明设计的路口元胞结构构建方法，设计参数自学习方法，使得其适配各种交通流条件，并且能够适配饱和场景，实现交通控制全天候全场景应用。建立云边协同控制体系，充分利用云边计算特性，保障了全息感应算法的实时性，避免了参数学习需要的算力和试错成本。