一种交通流数据收集方法及系统的制作方法
【技术领域】
[0001] 本发明涉及交通领域数据收集，尤其涉及一种针对交通流（卡口、违法）数据收集 方法及系统。
【背景技术】
[0002] 在今天的大交通IT环境中，信息化建设在交通领域遍地开花，各厂商卡口、违法 设备已遍布在城市道路上发挥着各自功能作用，基本上都已接入到网络环境中，由于建设 初期，全国没有统一进行规划，各省市县各自为政建立了各自的交通安全管理平台，大小平 台很多，厂商也较多，设备种类也较多，相关设备产生的信息标准不一，信息中字典都也无 法统一，相关信息也是千奇百怪，一个厂家只能用这个厂家的平台，其他厂家设备如果想接 入需要专门进行接口开发，由于设备随着新技术的发展各厂商设备的硬件、软件版本也不 断升级，导致一套平台的建设涉及多版本，多厂家，多种设备，多标准、多版本等维护，即便 能把各类数据接入平台中，需要大量定制，故障和稳定性较差，对运维人员要求变得越来越 高，对管理者提出了很大的挑战，各种突发故障排除起来也越来随着近些年来的信息化建 设越困难，对信息分析及大数据分析变的越来越困难，关联分析、大数据相关分析的需求也 越来越迫切，而这一切都需要把信息进行标准化的处理。
[0003] 步骤的加快，要建设一个稳定、可靠的交通安全管理平台，各项标准化的要求也随 之而来，如何实现交通信息标准化，这个问题就摆在各厂家及建设者面前。虽然国家相关部 门进行规范化的要求，由于存在新老系统，新老设备等问题，各地在建设过程中完全遵循标 准变得不可操作，迫切需要一个方法来帮助解决新老系统原始数据、新老设备数据、各厂家 平台格式不一、各厂家字典不一、数据类型不一问题，使其标准化程。
【发明内容】
[0004] 本发明所要解决的技术问题是，提供一种交通流数据收集方法及系统，以解决现 有交通流数据格式、类型复杂多样无法整合的问题。
[0005] 为了解决上述技术问题，本发明公开了一种交通流数据收集方法，该方法包括：
[0006] 获取交通流原始数据；
[0007] 按照预设模板提取所述交通流原始数据的原始信息；
[0008] 将所提取的原始信息转换为统一格式并存储。
[0009] 可选地，上述方法中，获取交通流数据的方式包括远程获取和/或本地获取。
[0010] 可选地，上述方法中远程获取交通流数据包括从如下一种或几种位置获取：
[0011] 消息中间件、文件传输协议FTP、共享目录、数据库。
[0012] 可选地，上述方法中，本地程获取交通流数据包括从如下一种或几种位置获取：
[0013] 本地目录、本地文件。
[0014] 本发明还公开了一种交通流数据收集系统，该系统包括：
[0015] 收集单元，获取交通流原始数据；
[0016] 提取单元，按照预设模板提取所述交通流原始数据的原始信息；
[0017] 转换单元，将所提取的原始信息转换为统一格式并存储。
[0018] 可选地，上述系统中，所述收集单元获取交通流数据的方式包括远程获取和/或 本地获取。
[0019] 可选地，上述系统中，远程获取交通流数据包括从如下一种或几种位置获取：
[0020]消息中间件、文件传输协议FTP、共享目录、数据库。
[0021] 可选地，上述系统中，本地程获取交通流数据包括从如下一种或几种位置获取：
[0022] 本地目录、本地文件。
[0023] 本申请技术方案实现了交通领域中信息的整合及信息的标准化，不仅可为交通管 理者和建设者提供有效的基础数据，获得可靠、有用的分析数据，还可以促进和不断完善交 通业务的服务水平。
【附图说明】
[0024] 图1为本发明实施例提供的数据收集过程工作原理图；
[0025] 图2为本发明实施例提供的收集配置模板工作原理图；
[0026] 图3为本发明实施例提供的收集插件模板工作原理图；
[0027] 图4为本发明实施例提供的数据收集引擎工作原理图；
[0028] 图5为本发明实施例中通过对本地文件各类格式jpg、txt、ini、一条记录多jpg 等文件的不意图；
[0029] 图6为本发明实施例中将本地文件转换成的简单格式信息示意图；
[0030] 图7为本发明实施例中标准化操作示意图；
[0031] 图8为本发明实施例中标准化字段字典转换示意图；
[0032] 图9为本发明实施例中常见jpg文件类型示意图；
[0033] 图10为本发明实施例中txt和记录长度不一时，jpg文件示意图；
[0034] 图11为本发明实施例中最后几位按顺序不一致类型的示意图；
[0035] 图12为本发明实施例中日期毫秒不一致同条记录类型的示意图；
[0036] 图13为本发明实施例中日期分开类型的示意图；
[0037] 图14为本发明实施例中Txt和jpg共存且中文及无规律字符存在，jpg文件示意 图；
[0038] 图15为本发明实施例中INI和jpg共存类型示意图；
[0039] 图16为本发明实施例中规律性不强类示意图。
【具体实施方式】
[0040] 为使本发明的目的、技术方案和优点更加清楚明白，下文将结合附图对本发明技 术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中 的特征可以任意相互组合。
[0041] 目前，在交通领域中信息的整合及信息的标准化对交通安全的运行和管理极其重 要，不仅可为交通管理者和建设者提供有效的基础数据，获得可靠、有用的分析数据，还可 以促进和不断完善交通业务的服务水平。
[0042] 因此，本实施例提供一种交通流数据收集方法，可以对各原始交通流数据进行有 效及精确的信息标准化的收集，以满足复杂数据的信息整合需求。本实施例提供的交通流 数据收集方法，主要包括以下操作：
[0043] 获取交通流数据（本实施例中的交通流数据至少包括交通卡口和违法数据等）； [0044] 通过标准化方式将各种获取原始数据转化成同一种格式实现。
[0045] 利用数据处理引擎对源数据可自动匹配进行映射转换实现。
[0046] 利用自动化过程对原始缺失信息进行补全，对原始信息字典进行转合规字典处 理。
[0047] 通过收集引擎可针对原始信息进行加工处理后可自动分发卡口，违法数据进行存 储。
[0048] 其中，获取交通流数据的方式可以通过主动或被动方式，本实施例不作特别限定。
[0049] 另外，获取的交通流数据有多种来源，例如，本地数据、远程数据（db、ftp、share) 和消息中间件数据。
[0050] 其中，本地数据可以是第三方格式的图片（jpg) -张或多张，也可以是文本（int 类型）+图片名称命名方式、或者txt文件+图片名称命名方式，又或者图片记录隐藏在图 片字节方式等进行数据收集过程。
[0051] 远程数据可以针对数据通过自动化配置获取针对oracle、sqlserver、mysql等主 流的数据进行收集。
[0052] 可以远程对FTP(File Transfer Protocol，文件传输协议）数据进行远程自动化 配置采集。
[0053] 可以远程对共享目录（share)下的进行远程自动化收集。
[0054] 消息中间件数据的获取可以从第三方通信中获取。例如，可针对webservice方 式，获取xml数据信息。
[0055] 通过配置模板和模板插件进行原始信息格式转换可实时将原始数据进行属性的 一一映射和转换。
[0056] 按照上述方法操作时，在格式转换的过程中，如果需要对原始缺失信息进行补全， 则对原始信息字典要进行转合规字典处理。即收集到的原始信息，由于部分属性缺失和原 始的字典不统一，需对部分属性字典进行转换，在标准化格式过程中，对于部分字段属性缺 失，字典不标准的情况，收集引擎对缺失信息和字典要进行自动配置识别转换、自动补全入 库。
[0057] 其中，字典补全方式可参见如下：
[0058] 原始非标一〉标准映射
[0059]
[0060] 属性补全方式：进行Default，可参见如下：
[0061]
[0062] 以下是本实施例提供的一种平台卡口、违法标准属性的举例说明。
[0063] 表1为标准化卡口属性表：
[0064]
[0065]
[0066] 表2为标准化违法属性表：
[0067]
[0068]
[0069]
[0070] 下面结合附图和具体应用，对上述方法作进一步详细说明。
[0071] 首先，结合介绍交通流数据的具体获取过程，该过程如图1所示，包括如下操作：
[0072] 模块1〇1、收集工具模块；
[0073] 在本模块中，包括远程登陆工具集、本地工具集。远程登陆工具主要是针对消息中 间件、？1?、81^代目录、013(〇四(316、1115^91、891861^61')数据库客户端登陆工具；本地工具集 主要是指针对本地目录、文件（txt，ini，jpg)的读取工具箱，从而很好的为获取数据提供 一个可靠的通道。
[0074] 模块102、数据源配置模块；
[0075] 本模块中，提供工具集登陆信息的自定义配置模板，通过此配置可自动生成前台 页面，提供自动化UI配置界面，供用户添加配置信息保存模板，为收集引擎提供基础登陆 配置信息、目录相关配置信息，由于第三方数据源较多且事先也无法直接相关配置信息，往 往都是现场进行配置，有这样一个可配置模板，可灵活应对很多场景，且界面提供相关对配 置在线验证功能，为收集引擎减少由于配置问题导致异常提高了可靠的保障。
[0076] 配置模板本模块提供了 ：本地文件、ftp、db等
[0077] 本地文件模板样例如下：
[0078] 〈？xml version = ' 1. 0, encoding = 〃UTF - 8〃？>
[0079] 〈plugin type = ' local' >
[0080] 〈entry Name= 'filepath' Text=' 源目录 'type= 'string' length= '500'>
[0081] <value>C: \Users\admin\Desktop\选图\