一种智能车路系统的运行状况监测方法与流程

本发明属于智能交通控制技术领域，具体涉及智能车路系统运行状况监测方法。

背景技术：

随着经济的快速发展与人民生活水平的提高，我国大幅增长的机动车保有量对城市现有道路服务设施提出了挑战，车路协同技术在近年逐渐兴起并成为智能交通控制技术领域研究的热点。智能车路系统(ivis)的发展也取得了阶段性的成果，但现有的ivis运行状况监测方法主要是针对车路协同基本功能的定性分析而提出，由于ivis复杂度高，各个系统之间的独立性差，在处理交通大数据时并不能成体系地对ivis的运行状况进行分析，这就减慢了智能车路协同系统端边云架构的有效协同作用，使影响行驶安全的不确定因素大大增加，因此，需要一种ivis综合监测方法，对现有智能交通系统的运行状况进行监测。

技术实现要素：

本发明基于以上现有技术的不足，提出一种智能车路系统的运行状况监测方法，通过研究ivis多目标决策系统集成化方法，针对ivis层级中要素的异质性和同质性特征，从交叉口、路段、路网等多维度建立ivis运行状况指标集，形成多维度ivis指标体系，以解决上述技术问题。

本发明针对ivis强耦合现象、参数跳变等特性，结合熵权法与加权总均方根偏差计算进行组合赋权，确定各指标的权重，通过计算各指标的权值来确定指标集。

本发明针对ivis指标集数量大及非线性的特点，在ddpg网络中使用门控cnn结构对数据指标集进行连续型操作，挖掘指标集浅层与深层之间的关系，有效降低梯度消失现象，保留了ivis非线性的特性，使神经网络收敛速度更快，从而更全面的分析ivis运行状况。

本发明的ivis运行状况综合监测步骤，具体包括：

(1)从交叉口、路段、路网等维度建立ivis指标矩阵，得出运行状况指标集。

(2)针对ivis指标参数多且量纲不同的特性，采用阈值法进行数值的规范化处理。

(3)运用熵权法判断各指标的离散程度，计算指标所占的权重。

(4)运用加权总均方根偏差计算法，来衡量指标值之间的计算偏差，反映出测评的精确度。

(5)利用熵权-加权总均方根偏差计算对ivis指标集进行组合赋权。

(6)将指标集导入深度强化学习神经网络，利用门控cnn结构进行多层卷积，提取特征值，运用强化学习ddpg网络，通过训练最大化目标函数得到最优指标集，进行ivis运行状况的综合分析。

本发明技术方案具有如下优点：

a.本发明在确定指标参数时，由于在复杂交通环境下ivis指标集数量大及参数跳变的特点，运用熵权法和加权总均方根偏差计算对指标集进行组合赋权，合理规避了指标绝对集中的可能性，大大提高了指标集的精确性，从而对ivis运行状态进行综合分析。

b.本发明在ddpg网络中设置门控cnn结构，通过挖掘指标集浅层与深层之间的关系，有效降低梯度消失现象，加快神经网络的收敛速度，以适合在不同的交通环境下，具有广泛的适用性。

附图说明

图1是本发明总流程图；

图2是基于深度强化学习的ivis综合分析模型。

具体实施方式

下面结合附图对本专利的具体实施方式进行详细说明。需要指出的是，该具体实施方式仅仅是对本专利优选技术方面的举例，并不能理解为对本专利保护范围的限制。

步骤1：建立ivis指标矩阵

在复杂交通环境下，车车与车路实现实时信息交互，结合交叉口、路段、路网等维度，得出ivis运行状况指标。

表1ivis运行状况指标

设ivis系统级运行方案为m个，运行状况指标为n个，则每个方案都可由各测试目标的具体指标构成。m个方案的指标值矩阵m为：

式中，i为ivis系统级运行状况方案序号，i＝1,2,3km；j为状况指标序号，j＝1,2,3kn；fij表示第i个运行方案中的第j项分析指标的原始数据值。

步骤2：ivis指标标准化

对ivis指标的参数多且量纲不同的特性，本发明采用阈值法进行数值的规范化处理，阈值法是用指标实际值和阈值相比得到指标值的无量纲化方法。令fij的最大值为ax，最小值为by，则标准化后的ivis系统指标矩阵为g，g＝(gij)m×n，则：

步骤3：熵权法

通过计算熵值来判断各指标的离散程度，指标的离散程度越大，该指标对ivis系统级测评的影响越大，其熵值越小。

(1)计算pij，即第i个ivis系统级运行方案下第j个指标所占的比重：

(2)根据熵值的定义，计算第j个指标的熵值ej：

(3)计算第j个指标的差异系数gj：gj＝1-ej

(4)计算第j个指标的熵权wj，计算各指标的权重。

步骤4：加权总均方根偏差计算

随着指标数的增多，均方根误差是用来衡量指标值之间的偏差，用表示。运用加权总均方根偏差计算法对相对偏差值进行计算，所得结果为加权总均方根偏差，用wj表示。

式中为δij相对偏差；为第i项指标的权值，为m项指标权值的平均值，可通过下式计算得出：

其相对偏差δij为：

步骤5：组合赋权

在对ivis进行运行状况分析时，各项指标所占的重要程度是不同的。采用熵权法时，若指标值绝对集中，则相应的权重wi则趋近于0，将导致重要程度高的指标信息丢失，结合加权总均方根偏差计算法对ivis指标进行权重计算。由熵权法得到的权重向量wi和加权总均方根偏差计算法得到的wj之和求平均得到权重w，计算公式为：

即ivis系统指标集的权重为w，得到赋权后的状况分析指标集。

步骤6：基于深度强化学习的综合分析模型

本发明将指标集分为训练集和测试集，模型训练由前向、误差反向传播、梯度计算、应用，以及参数更新等多个过程。通过使用经验回放和目标网络来消除数据指标集的相关性。根据actor-critic框架，采用异策略，即actor通过随机策略进行探索，而critic采用确定性策略。

在强化学习ddpg神经网络中使用门控cnn(卷积神经网络)结构对数据指标集进行连续型操作有效缓解梯度传播，降低梯度弥散现象，保留了模型的非线性能力，使模型收敛速度更快。mlp则是使用给定的大小的神经元和激活函数将多个隐藏层堆叠在一起。基于深度强化学习的综合分析模型具体步骤如图2所示

将状况指标集作为cnn卷积神经网络的输入，即为x。通过将没有非线性函数的卷积层输出值经过sigmod非线性激活函数，控制输出值传入池化层，实现门控机制。

其中，hl(x)为卷积层的输出值，w和v是不同的卷积核，卷积核宽度为k，输出通道数为n，b和c是偏置参数。将指标集经过多层门控cnn实现特征提取后，得cnn的输出指标集h。

将h作为ddpg网络的输入，以权重θ^q和θ^μ对critic网络q(st,at|θ^q)和actor网络μ(s|θ^μ)进行初始化，并用权重θ^q'←θ^q，θ^μ'←θ^μ初始化目标网络q'和μ'。根据t时刻状态采用确定性策略μ(st|θ)来选择动作at,得到的奖励值r(st,at)，新的状态st+1以及奖励期望值q^μ(st,at|θ)。

at＝μ(st|θ^μ)

q^μ(st,at|θ)＝e[r(st,at)+γq^μ(st+1,μ(st+1))]

其中，状态st代表t时刻下ivis的环境状态，at代表t时刻下ivis选取的交通信号灯相位，奖励值r(st,at)代表ivis在状态st执行动作at所返回的单步奖励值。随机性策略输出的是动作a的概率，确定性策略μ输出的即是动作值a。q^μ(st+1,μ(st+1))表示使用确定性策略μ在st+1状态时选取动作所获得的回报期望值，γ为衰变系数。

通过actor网络执行动作，critic网络基于actor的动作进行评判，利用adam优化器更新目标网络参数权重θ^μ与θ^q，从而更新状况指标集，即：

θ^q'←τθ^q+(1-τ)θ^q'

θ^μ'←τθ^μ+(1-τ)θ^μ'

其中，τ一般取0.001。jβ(μ)为目标函数，是在状态s根据ρ^β分布所得到的q^μ(st,μ(st))的期望值。

通过训练最小化critic网络的损失函数，最大化目标函数jβ(μ)，来衡量使用确定性策略μ的好坏，从而得到最优ivis状况指标集，根据各项指标对现有ivis的具体运行状况进行成体系的分析，加快车路协同系统的有效协同作用。