基于马尔科夫决策过程模型的车辆位置跟踪方法与流程

本发明涉及目标跟踪技术领域，具体涉及一种基于马尔科夫决策过程模型的车辆位置跟踪方法。

背景技术：

车联网使用GPS、车载终端等设备通过无线通信技术实现用户信息平台上对车辆的相关信息的有效利用。车联网利用相关设备提供的车辆位置信息与历史行车数据信息，将这些信息存储到云端，进行数据融合、数据挖掘等分析工作为用户提供更好地位置定位、道路匹配等服务，使用户能够更好地了解道路交通状况，合理规划道路选择，缓解交通压力。实时的位置定位信息，还可以用于提供道路交通状况的预警。这需要用到车辆的位置数据信息，由于其具有很强的不确定性与随机性。

现有的车辆位置定位方法，包括车辆运动轨迹模型、离散线性误差模型、基于优化控制算法的模型等，都是基于目标车辆分析，而未从传感器本身出发，具有很强的不确定性与随机性。

技术实现要素：

本发明的目的在于提供一种基于马尔科夫决策过程模型的车辆位置跟踪方法，对目标车辆进行实时精确的位置跟踪。

实现本发明目的的技术方案为：一种基于马尔科夫决策过程模型的车辆位置跟踪方法，包括以下步骤：

步骤1、建立二维道路网络模型；

步骤2、定义传感器簇的状态、动作以及奖励，建立马尔可夫决策过程模型，利用强化学习得到传感器簇的最优动作序列以实现初步跟踪；

步骤3、利用基于RSSI的高斯权重定位算法进行目标车辆的精确跟踪。

本发明与现有技术相比，其显著优点为：通过本发明提出的通过建立二维道路网络模型与马尔科夫决策过程模型得到传感器簇的最优动作序列；传感器簇利用最优动作序列进行状态转移到达最优状态，实现初步跟踪；在此基础上利用基于RSSI的高斯权重定位算法实现对目标车辆位置坐标的精确跟踪。

附图说明

图1是本发明基于马尔科夫决策过程模型的车辆位置跟踪方法流程图。

图2是传感器簇跟踪情况图。

图3是基于RSSI的高斯权重定位算法与传统定位算法的比较图。

具体实施方式

本发明提供一种基于MDP的车辆位置定位算法。当目标车辆处于某一坐标点时，以传感器簇为目标，通过建立马尔科夫决策过程，利用强化学习中的Q-learning算法得到传感器簇的最优动作序列实现初步的目标跟踪；在此基础上，利用基于RSSI的高斯权重定位算法对目标车辆进行了精确的跟踪定位。

如图1所示，定位方法包括以下步骤：

步骤1、建立二维道路网络模型；具体为：

将实际中的道路地图投影到二维平面上的笛卡尔直角坐标系中。道路主要分为三种类型，包括：平行于X轴或Y轴的单一道路，用其首尾坐标表示；相互垂直并且分别平行于X、Y轴的两条道路，用首尾坐标以及交点坐标表示；不平行于X轴和Y轴的单一道路，用首尾坐标以及两条平行于X轴和Y轴分别通过首尾坐标点的延长线焦点表示。其余各种复杂道路皆可分为上述三种道路类型的组合。

步骤2、定义传感器簇的状态、动作以及奖励，建立马尔可夫决策过程模型，利用强化学习得到传感器簇的最优动作序列以实现初步跟踪；具体为：

S21、每个传感器簇的簇值可取0或1；簇值为0时，传感器簇处于休眠状态，簇值为1时传感器簇处于工作状态；各个传感器簇的簇值所构成的二进制数组合即传感器簇的状态；每个传感器簇的动作子值可取0或1；当传感器簇对应动作子值为1时状态改变，为0时状态保持不变；各个动作子值得所构成的二进制数组合即传感器簇的动作；状态与状态之间的转移满足：

st+1＝st∧ak,k＝0,1,...,N

st为当前时刻传感器簇的状态值，st+1为下一时刻传感器簇的状态值，ak为采取的动作值，N为状态集合或动作集合内的元素个数。

S22、在目标车辆处于某一坐标的情况下，定义直接奖励：当目标车辆位于簇值为1的传感器簇的工作范围内时，直接奖励为正奖励；当目标车辆位于簇值为0的传感器的工作范围内时，直接奖励为负奖励；当目标车辆位于簇值为1的传感器的工作范围外时，直接奖励为负奖励；当目标车辆位于簇值为0的传感器的工作范围外时，直接奖励为0。建立马尔科夫决策过程，利用强化学习中的Q-learning算法计算各个Q值：

st为当前时刻传感器簇的状态值，st+1为下一时刻传感器簇的状态值，at为当前时刻采取的动作值，a'为动作集合中的任意动作元素，r为直接奖励，α为学习率，γ为奖励折扣值。通过迭代计算得到最终的Q表，根据Q表得到目标车辆当前坐标下传感器簇的最优动作序列，传感器簇利用最优动作序列进行状态转移到最优的状态，即距离车辆较近的传感器处于工作状态，距离车辆较远的传感器处于休眠状态，实现初步跟踪。

步骤3、利用基于RSSI的高斯权重定位算法进行目标车辆的精确跟踪；具体为：

S31、对于处于工作状态下的传感器簇内的每一个传感器，利用RSSI测距公式得到其距离目标车辆的距离di，将得到的距离集合由小到大进行排序。传感器簇内共有3N个传感器，排序后每个距离对应的传感器的位置坐标为(xi,yi),i＝1,2,...,3N，令目标车辆的具体位置坐标为(x,y)，可得到：

依次取三个方程一共取N次，化简为：

利用最小二乘法得到目标车辆的具体位置坐标共有N个坐标。每个坐标对应一个平均距离：

利用高斯函数定义各个坐标点的权重为：

σ为坐标点的影响程度，取值范围为[0.1,0.2]。

最终目标车辆的坐标为：

下面通过实施例和附图对本发明进行详细说明。

实施例

本发明利用pycharm软件对所述方法进行实施。令目标车辆实际位置在二维道路网络模型中的映射为(2.1,3.2)。共有四个传感器簇，传感器簇的初始状态为{0000}。假设传感器簇的状态转移概率近似为1。

图2为传感器簇跟踪情况图。黑色圆为目标车辆；方块为传感器簇，当为黑色时表示处于休眠状态，当为白色时表示处于工作状态。可以观察到，传感器随着目标车辆的运动，不断利用最优动作序列进行状态转移到达最优状态以实现初步跟踪。

图3为基于RSSI的高斯权重定位算法与传统三点定位算法的比较图，对两种算法分别进行了100次的仿真，得到的目标车辆坐标点。可以观察到基于RSSI的高斯权重定位算法得到的结果明显优于传统的定位算法。