高速公路多源异构数据的数据质量评价与控制方法
【技术领域】
[0001] 本发明涉及数据处理领域，特别是涉及一种高速公路多源异构数据的数据质量评 价与控制方法。
【背景技术】
[0002] 高速公路多源异构数据的数据质量评价指标的选择是反映数据质量好坏的关键 因素，也是数据控制的前提。高速公路上通过检测器采集到的交通数据，由于设备故障、传 输中断、事件发生、天气因素等方面的原因将不可避免的出现错误和丢失的情况，为了准确 反映实际的交通状况并满足用户的数据应用需求，必须对原始数据进行质量的评价与控 制，保证数据的准确性、一致性、完整性以及实时性，为交通规划、管理和控制以及交通诱导 等应用领域提供良好的数据基础。
[0003] 目前，已有的方法主要用于评价和控制缺失数据以及错误数据，评价方法较为简 单，评价原理基本相同。从使用效果上看，已有成果存在准确率偏低、误判率偏高，且容易将 异常交通状态数据评价为错误数据等问题。
【发明内容】
[0004] 本发明的目的是为了解决现有对高速公路上采集到的数据处理存在的技术的不 足，而提供一种高速公路多源异构数据的数据质量评价与控制方法，本发明提供了通过本 方法保证交通数据的后续应用。
[0005] 本发明对于交通流的基本三参数即流量、速度以及占有率进行数据分析，具体步 骤为：
[0006] 步骤一、构建时空数据：统一多源异构感知数据数据格式，定义时刻t，η个不同 类型的数据源对监测对象产生的m维感知数据集，即称为多源异构感知数据，表示为Dc = ((Ic1, dc2,…，dcj，其中（Ici= {TypeNo LaneNoi, DetectorNoi, date, tj, parameteria, Parameteri,2，…，Parameteri, k，Mj，其中TypeNo表示类型编号，LaneNo表示车道编号， DetectorNo表示检测器序号，date表示日期，&表示数据采集时间，parameter i,m表示第 m交通数据参数，k为检测器可以输出的交通信息参数最大数目，M为质量标志，默认为1。 TypeNo, LaneNo, DetectorNo, date，h共同构成数据记录主键。
[0007] 步骤二、实时判别并修正时间点：针对检测器上传到数据中心的原始交通数据进 行实时性评判，识别出延时数据并进行时间点修正，保证每条数据记录的时间点均在规定 的标准时间下，将一天24小时以各检测器检测周期为时间间隔划分为标准时间周期。
[0008] 步骤三、判别数据是否空间完整：针对检测器上传至数据中心并已经过时间点修 正的数据记录，进行完整性程度评判，识别出同时段空间缺失数据并标记，包括检测器未检 测到的数据以及单条数据的记录字段值不完整的数据。
[0009] 步骤四、判别数据与指标范围是否准确，针对已经过完整性判别的存在的数据记 录进行准确性评判，识别出错误数据并标记。
[0010] 步骤五、在经过上述步骤后，对于保留下来为标记的数据要进行进一步检验，评判 数据参数是否满足一致性，对不满足一致性的数据进行删除并标记，为最后的控制做准备。 [0011] 步骤六、基于时空维度的数据修复，利用考虑时空相关性的多维数据修复方法对 数据质量性标志位为〇的数据记录进行修复，首先对故障数据相关数据、相关序列进行提 取；接下来进行相关系数的计算；确定相关数据与故障数据的权重，最终计算得故障数据 的重构值：
【主权项】
1. 一种一种高速公路多源异构数据的数据质量评价与控制方法，包括以下步骤： 步骤一、构建时空数据：统一多源异构感知数据数据格式，定义时刻t，η个不同类 型的数据源对监测对象产生的m维感知数据集，即称为多源异构感知数据，表示为Dc = ((Ic1, dc2,…，dcj，其中（Ici= {TypeNo LaneNoi, DetectorNoi, date, tj, parameteria, Parameteri,2，…，Parameteri,k，Mj，其中i为感知数据记录标号，且i〈n，TypeNo表示类型 编号，LaneNo表示车道编号，DetectorNo表示检测器序号，date表示日期，h表示数据采集 时间，parameter,表示第m交通数据参数，k为检测器可以输出的交通信息参数最大数目， M为质量标志，默认为1。TypeNo, LaneNo, DetectorNo, date，&共同构成数据记录主键。 步骤二、实时判别并修正时间点：针对检测器上传到数据中心的原始交通数据进行实 时性评判，识别出延时数据并进行时间点修正，保证每条数据记录的时间点均在规定的标 准时间下，将一天24小时以各检测器检测周期为时间间隔划分为标准时间周期。 步骤三、判别数据是否空间完整：针对检测器上传至数据中心并已经过时间点修正的 数据记录，进行完整性程度评判，识别出同时段空间缺失数据并标记，包括检测器未检测到 的数据以及单条数据的记录字段值不完整的数据。 步骤四、判别数据与指标范围是否准确，针对已经过完整性判别的存在的数据记录进 行准确性评判，识别出错误数据并标记。 步骤五、在经过上述步骤后，对于保留下来未标记的数据要进行进一步检验，评判数据 参数是否满足一致性，对不满足一致性的数据进行删除并标记，为最后的控制做准备。 步骤六、基于时空维度的数据修复，利用考虑时空相关性的多维数据修复方法对数据 质量性标志位为0的数据记录进行修复，首先对故障数据相关数据、相关序列进行提取；接 下来进行相关系数的计算；确定相关数据与故障数据的权重，最终计算得故障数据的重构 IU 值.Data = ^DataiWl '=1 〇 步骤七、依据步骤二、步骤三、步骤四和步骤五的故障数据的记录，利用步骤六的重构 值更新历史数据库。
【专利摘要】本发明公开了一种高速公路多源异构数据的数据质量评价与控制方法，首先构建时空数据统一感知数据格式；识别原始数据延时并进行时间点修正；接下来进行完整性程度评判，识别出同时间段上空间缺失数据并标记，包括检测器未检测到的数据以及不完整的数据；之后对数据记录根据交通特性进行准确性评判，识别出错误数据并标记；然后评判数据参数是否符合一致性；再利用时空相关性的对数据质量标志位为0的进行多维数据修复；最后更新数据库；本发明的优点是充分利用多源信息资源，从准确性、一致性、完整性、实时性四个方面确保交通数据的质量，并结合高速公路实际利用时空相关性对多维数据修复，为后续交通信息融合奠定基础。
【IPC分类】G06F17-30
【公开号】CN104731970
【申请号】CN201510166823
【发明人】于德新, 林赐云, 张伟, 王树兴, 周户星, 邢雪, 杨庆芳, 王薇, 龚勃文, 郑黎黎
【申请人】吉林大学, 山东高速股份有限公司
【公开日】2015年6月24日
【申请日】2015年4月9日