一种交通数据修复的云处理方法及其系统的制作方法
【技术领域】
[0001] 本发明属于城市道路交通流数据处理技术领域，特别设及一种交通数据修复的云 处理方法及其系统。
【背景技术】
[0002] 在城市道路交通控制系统运行过程中，系统中的各个数据采集设备可能会由于各 种设备故障而丢失检测数据，另外，由于每个设备都需要不间断地通过有线或无线的方式 向控制中屯、发送检测数据，通信网络的故障也会导致不同程度的数据缺失。在该些情况下， 就需要通过数据修复模型来补充缺失的数据，可W说数据修复是交通数据深化处理之前进 行的一项重要准备工作。
[0003] W专利CN201010288050. 6、CN201210004829. X为代表的传统的数据修复方法往 往是直接建立较为理想的数据修复模型，应用各种数据修复算法对交通采集数据进行处 理，没有考虑到实际城市道路交通现场较为复杂的数据采集情况；而且，该些方法主要是用 在后期的数据深化处理应用中，没有设及在数据采集前期的数据修复，处理效率较低，也没 有实现适用于城市道路交通控制的交通数据修复整体解决方案。考虑到城市道路交通系 统固有的较强的非线性、模糊性与不确定性特点，W及交通系统对多方面、多层次交通信息 采集处理的需求，在智慧交通系统建设中采用传统的数据修复处理模型难W得到理想的效 果。
【发明内容】
[0004] 为了克服已有交通数据修复的处理方式的可靠性较差、性能较低、扩展性较差的 不足，本发明提供采用云处理方式对交通数据信息进行修复处理，是一种高可靠性、高性 能和强扩展性的交通数据修复的云处理方法及其系统。
[0005] 本发明解决其技术问题所采用的技术方案是：
[0006] 所述云处理方法包含数据采集过程与数据处理过程，包括如下步骤；（1)所述数 据采集过程W路段为最小处理单位，所述路段为两个相邻交叉口之间的单向道路，采集每 个路段的交通数据；并W固定的数据采集周期C。上传交通数据；
[0007] 所述交通数据中，数据头部包含开始标识与数据属性信息，数据尾部包含结束标 识，头部和尾部之间为数据内容部分；
[000引 （2)所述数据处理过程的处理步骤如下：
[0009] (2. 1)接收路段交通数据；
[0010] (2. 2)进入新的数据处理周期，查看是否存在数据缺失信号，如果存在，则进入步 骤（2. 3)，并记录步骤化3)处理时间tpi，否则进入步骤化4);
[0011] (2. 3)清除数据缺失信号，并在;时间段内反复发送缺失数据恢复请求，并准备 2 接收回复数据，如果在时间段内能够收到一条回复的稳定数据，则将该稳定数据设置 为上一数据处理周期采集数据；如果在;时间段内不能收到一条稳定数据，则判断上一 周期存在数据缺失，采用数据缺失修复方法对上一周期进行数据修复；
[001引 （2. 4)等待（C0-tM)时间并准备接收采集数据，如果在（C0-tM)时间段内能够接受 到采集数据，则进入步骤（2. 5)，否则设置一个数据缺失信号，返回步骤（2.2);
[0013] (2. 5)判断所接收数据是否受损，如果不存在数据受损或者数据为非严重受损，贝U 判断数据为稳定数据，返回步骤（2.2);如果存在数据受损，进入步骤化6);
[0014] (2. 6)发送受损数据恢复请求，如果能够收到一条回复的稳定数据，则将受损数据 替换为该稳定数据，否则设置一个数据缺失信号；返回步骤（2. 2)。
[0015] 进一步，所述步骤（2. 5)中，判断是否为受损数据的方法为：
[0016] (2. 5. 1)如果采集数据中不包含有数据头部，则该数据为严重受损数据；
[0017] (2. 5. 2)如果采集数据中不包含有数据尾部，则该数据为严重受损数据；
[0018] (2. 5. 3)如果采集数据中包含有超过一个数据头部或超过一个数据尾部，则该数 据为严重受损数据；
[0019] (2. 5. 4)比较采集数据的数据内容部分的数据长度与数据头部表示的数据长度， 如果数据内容部分长度较大，则该数据为严重受损数据；如果数据内容部分长度较小，采用 方法化5. 5);
[0020] (2. 5. 5)计算采集数据的数据头部与尾部的或值〇HT= Ox巧lOxFY，如果有〇ht = OxFO,则分析数据内容部分预设的几个重要交通参数数据是否有效，如果有效，则该数据为 稳定数据，否则该数据为严重受损数据。
[0021] 再进一步，所述步骤（1)中，数据内容部分中包含时间数据，该时间数据为经过规 则化处理的原始采集时间数据，对原始采集时间数据进行规则化处理的步骤为：
[0022] (1. 1)启动交通数据采集单元，将启动时间设定为数据采集周期的右规则化时间 t邸；
[0023] (1.2)进入新的数据采集周期，设定该数据采集周期的左规则化时间为tu= tec;
[0024] (1.如计算该数据采集周期的右规则化时间tw= tu+C。，其中，C。为数据采集周期 时间；
[0025] (1. 4)获取原始采集数据，如果在之前能够正常获取到交通数据，则转入步骤 (1.5)，否则，转入步骤（1.扣；
[0026] (1. W计算所采集的原始数据采集时间tee与左规则化时间之间的时间差t = tce-tu，如果有《Ae < ，则将发送数据中的时间数据设定为tu，否则将时间数据设定为 tw，转入步骤（1.2)开始新的数据采集周期。
[0027] 一种交通数据修复的云处理方法实现的云处理系统，所述云处理系统包括交通数 据采集单元、交通数据采集管理单元和云处理单元，其中，
[002引所述交通数据采集单元，用于实时采集该路段的交通数据，并W固定的数据采集 周期c。将交通数据上传到云处理单元和交通数据采集管理单元；W路段为最小处理单位， 所述路段为两个相邻交叉口之间的单向道路；每个路段包含至少一个交通数据采集单元； 每个路段对应一个交通数据采集管理单元，用于管理该路段上的所有交通数据采集单元； 若干个路段组成一个云处理区域，该区域包含一个云处理单元，用于进行交通数据实时修 复处理并管理区域内所有交通数据采集管理单元。
[0029] 交通数据采集管理单元实时接收所属路段中所有交通数据采集单元的上传数据， 并将上传数据设定一定的有效时间，对超过有效时间的数据进行删除；同时，在接收到云处 理单元的数据请求时向云处理单元发送数据。
[0030] 所述云处理单元包含数据处理模块与协作管理模块，其中，数据处理模块不间断 接收实时交通采集数据，将采集数据按照采集时间排序，并根据上传数据的特征将采集数 据分为稳定交通数据、受损交通数据与缺失交通数据=类，对不同类型的采集数据采用不 同的数据处理方法进行处理；协作管理模块负责管理所属交通数据采集管理单元，并根据 所属交通数据采集管理单元的状态动态调整分配交通数据采集管理单元所管理的交通数 据采集单元。
[0031] 所述交通数据采集单元采集的交通数据中，数据头部包含开始标识与数据属性信 息，数据尾部包含结束标识，头部和尾部之间为数据内容部分。
[0032] 所述交通数据采集单元所发送的数据内容中包含时间数据，该时间数据为经过规 则化处理的原始采集时间数据。
[0033] 所述云处理系统包括中屯、管理节点与至少一个云处理节点，中屯、管理节点包含一 个中屯、控制单元与一个中屯、服务单元；每个云处理节点包含一个云处理单元、一个云存储 单元与一个云服务单元。
[0034] 所述云存储单元同时存储云处理单元修复处理前与修复处理后的数据，同时按照 预定时间定时备份处理数据；云服务单元中设置单元数据服务接口，用于访问云存储单元 中存储数据。
[0035] 本发明的有益效果主要表现在；通过对交通数据采集管理单元与云处理单元的分 布式设计，确保了数据修复的稳定性与可靠性；在云处理架构与数据管理系统中通过对子 模块的动态优化调整实现了系统负载均衡，提升了系统的整体性能；同时，在数据管理系统 中提供的数据服务接口可简单高效的方式实现对交通数据的访问，满足了系统高扩展 性的需求。
【附图说明】
[0036] 图1为本发明实施例中所述云处理系统架构示意图。
[0037] 图2为交通采集管理单元结构示意图。
[003引图3为交通数据采集数据流图。
[0039] 图4为本发明实施例交通采集数据示意图。