启发式随机搜索交通信号灯配时优化方法、系统与流程

本发明属于智能交通系统领域，特别涉及一种启发式随机搜索交通信号灯配时优化方法、系统。

背景技术：

在智能交通(intelligenttransportationsystems,its)系统中，交通路口的信号灯的配时方案对交通效率的影响显著。许多研究者和工程师都认识到，良好的配时方案是当前智能交通系统中最重要的因素，能够有效缓解交通拥堵，提升出行效率。

在交通场景中，信号控制方案d与拥堵情况w之间不存在一个明确的可以计算梯度的映射关系因而如何通过优化控制方案来缓解交通拥堵一直没有很好的办法。现有的信号灯配时方案主要分为以下三类，分别是基于数学模型的方案，基于启发式方法的模型和基于人工智能方法的模型。

基于数学模型的方案不需要任何训练和测试，通过对路口流量历史数据的统计，结合经验值，直接找到一个理论上的最优解或者次优解，韦伯斯特方法便是其中的典型代表。这种方法依赖于数学模型建立和经验参数的选取，每一次方案的更新都需要重新对路口流量重新进行统计，无法满足当前多变的交通需求模式。模型的精度也会随着交通场景复杂度的提升而迅速降低，以致于无法使用。

基于启发式方法的方案主要是通过运用现有的启发式方法，结合仿真模型，迭代更新配时方案，如遗传算法等。这类方案的性能取决于启发式函数的设计，需要专门的专家针对特定的环境特定的场景进行设计，无法对所有场景适应，无法大规模推广。

基于人工智能方法的方案近年来获得了大量的关注。由于信号配时不是一个典型的分类/回归问题，深度学习的方法无法直接应用到信号配时领域。强化学习方法在决策问题领域具有重要的优势，结合了强化学习和深度学习二者优势的深度强化学习在信号控制领域得到了研究。但强化学习本身面临着众多的问题。首先是深度强化学习面临着可复现性、可重用性和鲁棒性的挑战。深度强化学习对网络参数的配置，甚至是一个随机数种子，都异常敏感，难以稳定的训练和复现现有的方法，饱受诟病；其次，深度强化学习也需要人工设定奖励函数，同样需要专家来进行设计；最后，以深度强化学习为代表的方法都需要巨大的算力以完成神经网络大量参数的更新，而在实际交通场景中，这个条件可能是难以满足的。此类方法展现出良好的前景，但仍然需要进一步完善。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决现有交通信号灯配时优化方法复杂度高、优化时长较长的问题，本发明的第一方面，提出了一种启发式随机搜索交通信号灯配时优化方法，该方法包括以下步骤：

步骤s1，获取由待优化路段各路口交通信号相位时长构成的第一相位时长向量；

步骤s2，获取n个探索噪声，并分别对n个探索噪声的各个元素取其相反数，获取n个反方向的探索噪声；所述探索噪声为与第一相位时长向量同维的噪声向量；

步骤s3，依据所述n个探索噪声、所述n个反方向的探索噪声，获取第一相位时长向量的2n个添加噪声的向量表示，作为2n个第二相位时长向量；并基于待优化路段的交通场景仿真模型获取各第二相位时长向量对应的性能指标；

步骤s4，获取前n/2个最优的性能指标对应第二相位时长向量及其中所添加的探索噪声，并基于该n/2个探索噪声分别获取其反方向的探索噪声对应的第二相位时长向量及性能指标；

步骤s5，基于步骤s4得到的n个性能指标，按照预设的相位时长向量调整算法计算得到相位时长向量调整向量；

步骤s6，基于第一相位时长向量，依据步骤s5得到的相位时长向量调整向量得到第三相位时长向量；

步骤s7，将第三相位时长向量作为第一相位时长向量，执行步骤s2，直至达到预设的迭代终止条件，并将最后一次迭代得到的第三相位时长向量作为优化输出。

在一些优选实施方式中，所述噪声向量采用标准正态分布随机生成，且生成的噪声独立同分布。

在一些优选实施方式中，所述相位时长向量调整向量，其计算方法为：

其中，为步骤s4中获取的前n/2个最优的性能指标中第i个性能指标，为对应第二相位时长向量中探索噪声的反方向的探索噪声对应的第二相位时长向量性能指标，δi为对应第二相位时长向量中噪声向量。

在一些优选实施方式中，所述第三相位时长向量，其获取方法为：

其中，dj+1表示第j+1次迭代过程中得到的第三相位时长向量；α是更新步长，为人工设定值；β为预设的缩减因子；σ为步骤s4中获取的前n/2个性能指标最优的第二相位时长向量及其对应的n/2个反方向第二相位时长向量共n个相位时长向量对应的性能指标的方差。

在一些优选实施方式中，所述预设的缩减因子β，其设置方法为：

其中，β1、β2均为优化所迭代次数设定的预设值，e^j为自然对数函数的底数，j为迭代次数。

在一些优选实施方式中，β1、β2分别为优化所迭代次数的1/6和5/6。

在一些优选实施方式中，所述预设的迭代终止条件为设定的迭代次数，或者所述性能指标大于设定阈值。

在一些优选实施方式中，所述性能指标为拥堵指数。

本发明的第二方面提出了一种启发式随机搜索交通信号灯配时优化系统，该系统包括原始相位时长向量获取模块、探索噪声获取模块、性能指标计算模块、性能指标选取模块、相位时长向量调整向量获取模块、第三相位时长向量获取模块、迭代模块；

所述原始相位时长向量获取模块，配置为获取由待优化路段各路口交通信号相位时长构成的第一相位时长向量；

所述探索噪声获取模块，配置为获取n个探索噪声，并分别对n个探索噪声的各个元素取其相反数，获取n个反方向的探索噪声；所述探索噪声为与第一相位时长向量同维的噪声向量；

所述性能指标计算模块，配置为依据所述n个探索噪声、所述n个反方的向探索噪声，获取第一相位时长向量的2n个添加噪声的向量表示，作为2n个第二相位时长向量；并基于待优化路段的交通场景仿真模型获取各第二相位时长向量对应的性能指标；

所述性能指标选取模块，配置为获取前n/2个最优的性能指标对应第二相位时长向量及其中所添加的探索噪声，并基于该n/2个探索噪声分别获取其反方向的探索噪声对应的第二相位时长向量及性能指标；

所述相位时长向量调整向量获取模块，配置为基于所述性能指标选取模块得到的n个性能指标，按照预设的相位时长向量调整算法计算得到相位时长向量调整向量；

所述第三相位时长向量获取模块，配置为基于第一相位时长向量，依据所述相位时长向量调整向量获取模块得到的相位时长向量调整向量得到第三相位时长向量；

所述迭代模块，配置为将第三相位时长向量作为第一相位时长向量，并依次通过探索噪声获取模块、性能指标计算模块、性能指标选取模块、相位时长向量调整向量获取模块、第三相位时长向量获取模块进行再次优化，并在达到预设的迭代终止条件时，将最后一次迭代得到的第三相位时长向量作为优化输出。

本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的启发式随机搜索交通信号灯配时优化方法。

本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的启发式随机搜索交通信号灯配时优化方法。

本发明有益效果：

本发明提出一种启发式随机搜索交通信号灯配时优化方法，能够在有限的计算资源的情况下，在可接受的时间范围内对交通路口信号灯配时方案进行优化，鲁棒性好，可实施性强。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本发明一种实施例的启发式随机搜索交通信号灯配时优化方法流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一种启发式随机搜索交通信号灯配时优化方法，该方法包括以下步骤：

步骤s1，获取由待优化路段各路口交通信号相位时长构成的第一相位时长向量；

步骤s2，获取n个探索噪声，并分别对n个探索噪声的各个元素取其相反数，获取n个反方向的探索噪声；所获取的探索噪声为与第一相位时长向量同维的噪声向量；

步骤s3，依据所述n个探索噪声、所述n个反方向的探索噪声，获取第一相位时长向量的2n个添加噪声的向量表示，作为2n个第二相位时长向量；并基于待优化路段的交通场景仿真模型获取各第二相位时长向量对应的性能指标；

步骤s4，获取前n/2个最优的性能指标对应第二相位时长向量及其中所添加的探索噪声，并基于该n/2个探索噪声分别获取其反方向探索噪声对应的第二相位时长向量及性能指标；

步骤s5，基于步骤s4得到的n个性能指标，按照预设的相位时长向量调整算法计算得到相位时长向量调整向量；

步骤s6，基于第一相位时长向量，依据步骤s5得到的相位时长向量调整向量得到第三相位时长向量；

步骤s7：将第三相位时长向量作为第一相位时长向量，执行步骤s2，直至达到预设的迭代终止条件，并将最后一次迭代得到的第三相位时长向量作为优化输出。

为了更清晰地对本发明进行说明，下面结合图1对本方发明方法一种实施例中各步骤进行展开详述。下文先对本实施例中用到的交通场景仿真模型进行说明，然后再对本发明具体实施例进行描述。

1、交通场景仿真模型

本发明的一种实施例的启发式随机搜索交通信号灯配时优化方法使用交通场景仿真模型来获取第二相位时长向量对应的性能指标。交通场景仿真模型基于sumo(simulationofurbanmobility)仿真软件建立，下面以sumo仿真软件为例介绍仿真模型建立的具体的方法。

(1)获取交通场景仿真模型建立所需的数据。

交通场景仿真模型建立所需的数据包括：路口车流量、路口等待时车间距离、路口信号灯原配时方案、路口渠化方式以及路网各区域的拥堵指数。路口车流量通过交通数据采集装置如环形线圈检测器或视频检测器或全球定位系统(gps)或自动车辆定位(automaticvehiclelocation，或avl)装置获取。路口等待时车间距离指在路口红灯等待时，前车车尾到后车车头的平均距离，通过实际路口统计结合经验值获取。路口渠化方式、路口信号灯原配时方案和拥堵指数通过交通管理部门获取。

(2)利用获取到的数据建立交通场景仿真模型。

通过获取的路口渠化方式建立交通场景仿真模型的地图；通过分析路口车流量数据，获取其时空特征，进而以此为依据调整sumo的内置参数；根据路口等待时车间距离来调整仿真中的排队长度参数，通过拥堵指数来衡量仿真模型的精度，使得拥堵情况在仿真模型中尽量和真实一致。将路口信号灯原配时方案作为仿真模型的原始信号控制方案。

本实施例中采用拥堵指数作为性能指标，当然，还可以采用其他指标来评价交通状况，此处不再一一列举。

对待优化路段的交通信号灯配时进行优化，需要采用以上方法获得待优化路段的交通场景仿真模型，并在本发明方法中通过该模型来获取各种配时方案下的交通状况的性能指标，以表示对应配时方案优劣。

2、启发式随机搜索交通信号灯配时优化方法实施例

本发明的一种实施例的启发式随机搜索交通信号灯配时优化方法，如图1所示，包括以下步骤：

步骤s1，获取由待优化路段各路口交通信号相位时长构成的第一相位时长向量。

将交通路口实际使用的配时方案转化为一个按顺序排列的向量，作为第一相位时长向量。待优化路段的情况多种多样，一般都包括多个路口，因此可以逐路口、逐时段、逐相位确定一个顺序，将这些固定顺序后的相位对应的相位视窗转化成一个向量。例如存在a,b两个路口，a路口全天分为两个时段time1和time2，每个时段内分别有4个和8个相位，各相位对应的时长(单位：秒)为10,3,10,3和12,3,12,3,12,3,12,3；b路口全天分为3个时段time1，time2，time3，每个时段内分别有4个、4个和8个相位，各相位对应的时长(单位：秒)为10,3,10,3和10,3,10,3以及12,3,12,3,12,3,12,3，则按照路口、时段、相位固定顺序后得到的对应的相位时长向量为[103103123123123123103103103103123123123123]，即第一相位时长向量。

本实施例中对多个路口逐路口、逐时段、逐相位进行排序，当然还可以按照其他排序规则进行排序，其排序方法不影响本发明交通信号灯配时优化。

步骤s2，获取n个探索噪声，并分别对n个探索噪声的各个元素取其相反数，获取n个反方向的探索噪声；所述探索噪声为与第一相位时长向量同维的噪声向量。

通过随机数生成器生成n个探索噪声，记为这些探索噪声每一个都和第一相位时长向量同维度，同时这些噪声独立且服从标准正态分布。在本实施例中，n为预设正整数。在其他实施例中，探索噪声在满足独立同分布的前提下也可采用其他的分布形式。

将通过随机数生成器获取的n个探索噪声的各个元素取其相反数，生成n个对应的反方向的探索噪声,记为本实施例中反方向表示向量中各元素的负值变换，即正值变为负值、负值变为正值，例如探索噪声对应的噪声向量为[1-23]，则生成与之对应的反方向的探索噪声对应的噪声向量为[-12-3]。

步骤s3，依据所述n个探索噪声、所述n个反方向的探索噪声，获取第一相位时长向量的2n个添加噪声的向量表示，作为2n个第二相位时长向量；并基于待优化路段的交通场景仿真模型获取各第二相位时长向量对应的性能指标。

通过同维度向量加法算术运算，分别利用各探索噪声，对第一相位时长向量进行噪声添加，得到与各探索噪声对应的第二相位时长向量。例如第一相位时长向量为[1039]，添加的探索噪声为[10-1]，将两个向量中各元素进行相加，得到的该探索噪声对应的第二相位时长向量为[1138]。将n个探索噪声，及与其对应的n个反方向的探索噪声构成2n个探索噪声分别与第一相位时长向量进行向量相加，得到2n个第二相位时长向量。

将第二相位时长向量转化为基于sumo的待优化路段交通场景仿真模型能够接受的配时信号，并行的在仿真环境中执行，仿真结束后得到各第二相位时长向量对应的性能指标数据。

步骤s4，将步骤s3中得到的2n个性能指标进行排序，得到前n/2个最优的性能指标对应第二相位时长向量及其中所添加的探索噪声，并基于该n/2个探索噪声分别获取其反方向的探索噪声对应的第二相位时长向量及性能指标。

该步骤中获取反方向的探索噪声的方法与步骤s2中的方法一致，此处不再赘述。

该步骤中，前n/2个最优的性能指标的获取，可以通过所述的排序后获取，也可以通过其他方法获取，例如逐次选择最优性能指标的方式获取，每次提取后将被提取的性能指标从性能指标集合中删除，通过n/2提取，获取n/2个最优的性能指标。

在获得前n/2个最优的性能指标之后，再对应各性能指标对应的第二相位时长向量，并得到所获取各第二相位时长向量中所添加的探索噪声，然后对获得的探索噪声对应其反方向的探索噪声，获取反方向的探索噪声对应的第二相位时长向量及其性能指标，一正、一反操作，共选出n个第二相位时长向量及其对应的性能指标。

步骤s5，基于步骤s4得到的n个性能指标，按照预设的相位时长向量调整算法计算得到相位时长向量调整向量。

相位时长向量调整算法采用迭代法，通过式(1)计算得到相位时长向量调整向量，作为优化方向。

其中，为步骤s4中获取的前n/2个最优的性能指标中第i个性能指标，为对应第二相位时长向量中探索噪声的反方向的探索噪声对应的第二相位时长向量性能指标。δi为对应第二相位时长向量中噪声向量。

步骤s6，基于第一相位时长向量，依据步骤s5得到的相位时长向量调整向量得到第三相位时长向量；

首先计算基于步骤s4得到的n个性能指标的方差，用此方差缩放步长，通过公式(2)计算第三相位时长向量

其中，dj+1表示第j+1次迭代过程中得到的第三相位时长向量；α是更新步长，为人工设定值；β为预设的缩减因子；σ为步骤s4中获取的前n/2个性能指标最优的第二相位时长向量及其对应的n/2个添加反方向探索噪声的第二相位时长向量共n个相位时长向量对应的性能指标的方差。β满足sigmoid函数的形式，计算方法为：

其中，β1、β2均为优化所迭代次数设定的预设值，β1、β2可分别设置为优化所迭代次数的1/6和5/6。e^j为自然对数函数的底数，j为迭代次数。

步骤s7，将第三相位时长向量作为第一相位时长向量，执行步骤s2，直至达到预设的迭代终止条件，并将最后一次迭代得到的第三相位时长向量作为优化输出。

预设的迭代终止条件为设定的迭代次数，或者最后一次迭代得到的第三相位时长向量对应的性能指标大于设定阈值，或者其他预设的迭代终止条件。在终止条件得到满足之前重复步骤s2～s7，当达到预设的迭代终止条件后结束循环迭代过程，将最后一次迭代得到的第三相位时长向量作为优化输出。

本发明实施例的一种启发式随机搜索交通信号灯配时优化系统，该系统包括原始相位时长向量获取模块、探索噪声获取模块、性能指标计算模块、性能指标选取模块、相位时长向量调整向量获取模块、第三相位时长向量获取模块、迭代模块；

原始相位时长向量获取模块，配置为获取由待优化路段各路口交通信号相位时长构成的第一相位时长向量；

探索噪声获取模块，配置为获取n个探索噪声，并分别n个探索噪声的各个元素取其相反数，获取n个反方向的探索噪声；所述探索噪声为与第一相位时长向量同维的噪声向量；

性能指标计算模块，配置为依据所述n个探索噪声、所述n个反方的向探索噪声，获取第一相位时长向量的2n个添加噪声的向量表示，作为2n个第二相位时长向量；并基于待优化路段的交通场景仿真模型获取各第二相位时长向量对应的性能指标；

性能指标选取模块，配置为获取前n/2个最优的性能指标对应第二相位时长向量及其中所添加的探索噪声，并基于该n/2个探索噪声分别获取其反方向的探索噪声对应的第二相位时长向量及性能指标；

相位时长向量调整向量获取模块，配置为基于所述性能指标选取模块得到的n个性能指标，按照预设的相位时长向量调整算法计算得到相位时长向量调整向量；

第三相位时长向量获取模块，配置为基于第一相位时长向量，依据所述相位时长向量调整向量获取模块得到的相位时长向量调整向量得到第三相位时长向量；

迭代模块，配置为将第三相位时长向量作为第一相位时长向量，并依次通过探索噪声获取模块、性能指标计算模块、性能指标选取模块、相位时长向量调整向量获取模块、第三相位时长向量获取模块进行再次优化，并在达到预设的迭代终止条件时，将最后一次迭代得到的第三相位时长向量作为优化输出。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例提供的启发式随机搜索交通信号灯配时优化系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

本发明实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的启发式随机搜索交通信号灯配时优化方法。

本发明实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的启发式随机搜索交通信号灯配时优化方法。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。