一种基于经纬度填补技术的路网公交流量补齐方法与流程

本发明属于交通数据处理，涉及一种基于经纬度填补技术的路网公交流量补齐方法。

背景技术：

1、公交流量是判定公交方面的交通的拥挤状况的依据，从而决定当前采取何种交通管理措施，以及对未来交通变化趋势和道路建设规划给出量化的指导依据，因此公交流量的获取和缺失公交流量的补齐占有十分重要的位置。但目前公交流量的补齐存在两方面的问题。一方面，为了加大对能耗和排放的监管，公交车辆逐步实现了车辆的obd(车载诊断系统，是一种近年来快速发展的在用车排放监管工具)诊断功能，但由于只有部分车辆的obd数据开放，所以无法直接利用obd数据中的定位信息来估算车流量；另一方面，目前可以获取的定位数据主要来源于车辆的gps定位数据，但其数据常常因为采样间隔过大或信号丢失等问题，出现较为严重的缺失现象。

2、车载诊断系统(on-board diagnostics，obd)是一种近年来快速发展的在用车排放监管工具。obd包括硬件和软件，硬件由电子控制单元(electronic control unit，ecu)、故障指示灯、各类传感器(节气门位置、燃油喷射系统、车速、冷却液温度、氧传感器等)组成。软件包括故障诊断代码以及标定相关的文件。其通过在线接入汽车电脑接口，可以记录车辆发动机、排放后处理装置、有关故障代码等信息，快速地判断出车辆发生故障的位置并给出合适的车辆维修方案，从而降低维修的时间成本。

3、gps轨迹数据作为空间大数据中的一种地理-时间序列数据，包含有移动载体丰富的移动信息与空间位置(如：采集位置、时间、航向等信息)，且具有来源广、获取成本低、实时性强等特点。目前，gps轨迹数据的来源主要包括志愿者共享、公共服务平台提供(如：出租车公司、公交车公司等)或专业人员采集等。

4、gps原始数据因经度问题产生误差、gps数据漂移、“假行驶”现象等，由于各种因素(如gps信号弱、传输错误等原因)导致采集数据错误、丢失等情况的发生使得gps原始数据存在问题。数据的主要问题包括部分数据(整条或某些字段)缺失、数据异常大或异常小、部分数据重复、数据存在逻辑错误等。

5、针对数据质量问题，目前存在大量的理论研究和实际应用，包括数据质量评价、数据清洗等。数据质量评价是数据质量管理的基础，它会合理的评价数据的质量状况，帮助用户更好地了解数据的质量水平，为决策提供更有利的基础。数据清洗是根据数据质量评价结果，使用相关技术清洗缺失、错误、重复、不一致的数据，提高数据质量和可用性，将脏数据转化为满足数据质量要求的数据。

6、在gps系统中，存在着各种类型的误差，影响数据的准确性。gps测量的误差按误差性质可分为系统误差与偶然误差两类。偶然误差主要包括信号的多路径效应,系统误差主要包括卫星的星历误差、卫星钟差、接收机钟差以及大气折射的误差等。其中系统误差无论从误差的大小还是对定位结果的危害性讲都比偶然误差要大得多,它是gps测量的主要误差源。

7、漂移点就是一种主要的gps误差结果，是轨迹异常检测的重要研究部分。目前，处理车辆gps静态漂移主要有两种方法，分别是借助硬件设备改善数据传输过程中的诸多问题和利用模型算法处理静态数据。

8、硬件设备指的是利用车载惯性传感器辅助gps定位，但是惯性传感器具有组成结构复杂、成本相对较高和可移植性差等缺点，因此硬件设备更针对于无人驾驶汽车，并不适用于公共交通领域。

9、利用模型算法处理静态数据检测修正漂移点，主要聚集在从时间和空间分布、空间距离、偏差和密度等维度对漂移点进行监测和修正。

10、1、基于时间序列算法指的是参照时间顺序对gps漂移点进行监测和控制。该算法的优点是关键参数值都是可以人工控制、调整的,以适应不同特点的数据集合及移动对象，以保证相关的gps软件产品不受数据类型和来源的限制。

11、2、基于空间的处理方法指的是从轨迹特征进行监测和修正。该方法法不依赖任何硬件设备，成本低廉，具有创新性以及良好的稳定性、可移植性，但是实现正常轨迹和异常轨迹的直观对比，而轨迹聚类目前主要用来挖掘轨迹频繁模式，在异常轨迹检测研究中很少使用。

12、在补足替换被污染的数据和缺失数据方面，方法简要地归纳为以下三类：

13、1、基于预测原理

14、基于预测原理的这类方法一般是在某个检测点位的历史数据基础上建立预测模型，并利用模型的预测值来替换该检测点位当前的问题数据或填补缺失数据。平滑自回归模型(arima)就是一种属于此类的典型方法。

15、2、基于插值原理

16、基于插值原理的这类方法就是基于历史或近邻数据利用现有插值方法进行填补。这类方法中，比较简便直观的一种方法是将从同一检测位所获取的前几天同一时刻的数据通过一定的处理(如加权平均)来修复有问题的数据。因此，这种模型也常常被称为历史模型。另一种方法是参考近邻几个检测点位的数据，并通过平均或是加权平均的方法来估计缺失或被污染的数据。例如，k-nn算法就是属于此类的一种典型方法。

17、3、基于统计学习

18、基于统计学习的这类方法就是在观测值的基础上学习出一种模式(或分布)，继而在反复(抽样)方式下推断出可能的替代值。其中，最为典型的方法就是马尔科夫模特卡罗(mcmc)，其基本思想就是将要修复的数据视作为一个待估参数，通过多次抽样的方式来估计该数据的替代值。

19、综上，现有的技术和方法并没有用到新的数据源和技术来进行流量补齐，即没有将obd数据和gps数据相融合的方法来进行路网公交流量补齐。因此，本专利从该角度出发，基于obd和gps数据的推理测算模型，利用公交车行驶路线固定等特点，细化公交车位置信息，基于细化数据建立路网公交流量测算方法，对路网公交流量补齐进行补齐，提高数据修复的精准度。

技术实现思路

1、本发明的目的是针对现有的技术存在上述问题，提出了一种基于经纬度填补技术的路网公交流量补齐方法，本发明要解决的技术问题是：如何通过obd数据和gps数据相融合的方法来进行路网公交流量补齐，从而提高路网公交流量数据修复的精准度。

2、本发明的目的可通过下列技术方案来实现：

3、一种基于经纬度填补技术的路网公交流量补齐方法，其步骤如下：

4、步骤一，数据质量分析：采集并整理公交微观obd数据与gps数据，并在此基础上分析obd和gps数据源的数据质量及特征，主要分析其是否有随机漂移、偏离路网等问题，并将obd和gps数据与公交线网进行匹配；由于gps数据常常因为采样间隔过大或信号丢失等问题，出现较为严重的缺失现象，需要根据gps数据中缺失的位置确定数据插补的位置。

5、步骤二，基于obd数据的速度估计：设定数据填补的周期(即设置数据插补的时间间隔)，并基于obd数据进行速度估计，具体步骤如下：

6、(1)确定相应公交线路的历史obd数据；

7、(2)从对应的工作日或非工作日，以及相应时间入手，确定所需的obd数据片段；

8、(3)确定缺失路段所对应的历史obd数据中相应的速度数据；

9、(4)如果待研究路段有部分gps点数据，以此为基础，估算相应的速度；否则，则以历史obd数据中的速度进行估算。

10、以历史obd数据中的速度进行估算过程中，在分析历史obd数据中不同道路等级及各路段的相应速度值后，采取k近邻算法来估算速度。

11、k近邻算法步骤如下：

12、(1)选取异常数据出现的同一监测点的正常数据作为数据源，选取连续数据为一组，建立历史数据状态向量库xn；

13、(2)识别异常数据，选取异常数据前后两个时间间隔的正常数据，建立异常数据状态向量x；

14、(3)计算异常数据状态向量x与历史数据状态向量xn之间的欧氏距离d，对其距离按照从小到大进行排序，记为di；

15、(4)选取距离最小的点所出现频率最高的数据作为速度的估算值。

16、步骤三，基于公交线网进行经纬度填补：在确定时间(填补周期)及速度(步骤二中所得的速度)的基础上，可直接计算出相应的距离间隔，并以此作为确定经纬度坐标的依据，由于公交车行驶路线固定，基于路网信息确定车辆当前时刻所处路段，即可进行gps数据缺失部分的填补，据此即可集计出每条公交线路路段的公交车流量，从而实现路段级公交车流量补齐。

17、与现有技术相比，本基于经纬度填补技术的路网公交流量补齐方法具有以下优点：

18、本方法针对路网公交流量数据的缺失现象，基于公交gps数据和公交obd数据两类动态数据，构建推理测算模型，提出基于预测技术的路网公交流量补齐方法。本方法通过建立obd定位数据与gps数据之间的关系，在确定时间及速度的基础上，计算出距离间隔，确定公交经纬度坐标，利用公交车行驶路线固定等特点，细化公交车位置信息，确定公交的经纬度坐标后进行缺失部分的填补，即基于obd数据对gps数据进行预测补齐。该填补方法能够较好地将缺失数据进行填补，为道路路段上的公交车流量估计奠定了良好的基础，能够提高路网公交流量数据修复的精准度。