一种基于大数据的机动车套牌识别方法
【技术领域】
[0001 ]本发明涉及一种基于大数据的机动车套牌识别方法。
【背景技术】
[0002]—直以来，套牌机动车在全国各地屡见不鲜，严重影响了道路交通安全秩序，侵犯了他人的合法权益，是当前道路交通违法中一项突出而难以解决的问题。套牌机动车的识别主要是通过集中卡口、电子警察等过车信息采集系统采集的过车信息，以车牌号码、车牌种类作为分析条件，以公安部门基准车辆信息库作为分析准则，按照如下3种分析原理进行比对分析过滤:
[0003]1、根据一个车牌号码的车辆不可能有两种车身颜色的原理；
[0004]2、根据一个车牌号码的车辆不可能有两种车辆类型的原理；
[0005]3、根据一个车牌号码的车辆不可能“同时”或“很短时间内”出现在两个不同路口的原理。
[0006]目前大部分套牌机动车识别采用数据集中比对的方式，具体实现示意图如图1所示。采用这种方式在技术实现上比较简单，只需对采集的每一条实时过车信息与公安部门基准车辆信息进行比对即可。但是这种方式的弊端也显而易见，首先随着卡口、电子警察覆盖的范围越来越广，以及路面行驶车辆的迅猛增长，所产生、积累的过车信息成指数级增长，存储的数据容量达到PB级别，随之而来的用于存储这些过车信息的硬件成本也会成指数级增长，在项目资金一定的范围内这种方式不能满足高效存储和访问的需求。其次套牌机动车分析需要对每一辆经过卡口的车辆进行处理，运算量和并行处理的数量很大，采用数据集中比对方式难以满足套牌分析的高并发读写需求。
【发明内容】
[0007]本发明涉及一种在卡口过车海量数据环境下的机动车套牌识别方法，采用分布式并行计算，能高效、准确地识别套牌机动车。
[0008]本发明一种基于大数据的机动车套牌识别方法，包括以下步骤:
[0009]步骤1、以前端接入的卡口、电子警察的过车数据作为输入值，通过Map函数将过车数据映射成不同的数据区块，分配给各服务器集群进行处理；
[0010]步骤2、各服务器集群中各集群节点分别处理对应数据区块的任务，将各个数据区块的相关过车数据分别与公安部门基准车辆信息进行比对，对应各数据区块分别产生中间结果数据集；
[0011]步骤3、将各中间结果数据集作为输入值，通过Reduce函数进行去冗余归并，即如果存在两条或者两条以上号牌种类、号牌号码相同的数据，则合并成一条，否则不进行合并；
[0012]步骤4、将合并后的结果保存至套牌机动车库中。
[0013]本发明采用Hadoop作为基础架构，Hadoop最核心的设计就是HDFS和MapReduce。HDFS是一种分布式存储系统，用来部署在低廉的硬件上，为海量的数据提供分布式的存储结构;MapRedUCe是一种编程模型，用于大规模数据集的并行运算，是将一个大作业拆分为多个小作业的框架，用户需要做的就是决定拆成多少份，以及定义作业本身，本发明把对数据集的大规模操作分发给网络上的每个节点进行运算，每个节点会周期性的返回它所完成的工作和最新的状态，从而实现了大数据的分布式并行计算功能。
【附图说明】
[0014]图1为传统车辆套牌分析原理示意图；
[0015]图2为MapReduce工作流程示意图；
[0016]图3为本发明工作流程示意图。
[0017]以下结合附图和具体实施例对本发明作进一步详述。
【具体实施方式】
[0018]本发明运用HDFS存储和管理过车数据，通过计算机网络将分散在不同服务器上存储过车信息的存储节点进行连接，利用MapReduce分布式数据处理的能力，把套牌比对分析任务分散到各个集群节点，实现并行比对计算。
[0019]MapReduce处理数据过程主要分成2个阶段:Map阶段和Reduce阶段，通过Map函数将套牌机动车分析比对任务分散到各服务器集群上，在各集群节点上进行分析比对，产生中间结果后，再通过Reduce方法接收中间结果，进行去重处理后输出最终的套牌车辆分析结果。
[0020]如图2所示，本发明一种基于大数据的机动车套牌识别方法，包括以下步骤:
[0021]步骤1、以前端接入的卡口、电子警察的过车数据作为输入值，通过Map函数将过车数据映射成不同的数据区块，分配给各服务器集群进行处理；
[0022]步骤2、各服务器集群中各集群节点分别处理对应数据区块的任务，将各个数据区块的相关过车数据分别与公安部门基准车辆信息进行比对，对应各数据区块分别产生中间结果数据集；
[0023]步骤3、将各中间结果数据集作为输入值，通过Reduce函数进行去冗余归并，即如果存在两条或者两条以上号牌种类、号牌号码相同的数据，则合并成一条，否则不进行合并；
[0024]步骤4、将合并后的结果保存至套牌机动车库中。
[0025]本发明采用Hadoop作为基础架构。Hadoop最核心的设计就是HDFS和MapReduce。HDFS是一种分布式存储系统，用来部署在低廉的硬件上，为海量的数据提供分布式的存储结构;MapRedUCe是一种编程模型，用于大规模数据集的并行运算，是将一个大作业拆分为多个小作业的框架，用户需要做的就是决定拆成多少份，以及定义作业本身，本发明把对数据集的大规模操作分发给网络上的每个节点进行运算，每个节点会周期性的返回它所完成的工作和最新的状态，从而实现了大数据的分布式并行计算功能。
[0026]以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
【主权项】
1.一种基于大数据的机动车套牌识别方法，其特征在于包括以下步骤: 步骤1、以前端接入的卡口、电子警察的过车数据作为输入值，通过Map函数将过车数据映射成不同的数据区块，分配给各服务器集群进行处理； 步骤2、各服务器集群中各集群节点分别处理对应数据区块的任务，将各个数据区块的相关过车数据分别与公安部门基准车辆信息进行比对，对应各数据区块分别产生中间结果数据集； 步骤3、将各中间结果数据集作为输入值，通过Reduce函数进行去冗余归并，即如果存在两条或者两条以上号牌种类、号牌号码相同的数据，则合并成一条，否则不进行合并；步骤4、将合并后的结果保存至套牌机动车库中。
【专利摘要】本发明一种基于大数据的机动车套牌识别方法，运用HDFS存储和管理过车数据，通过计算机网络将分散在不同服务器上存储过车信息的存储节点进行连接，利用MapReduce分布式数据处理的能力，把套牌比对分析任务分散到各个集群节点，实现并行比对计算，实现了对海量过车数据的处理，解决了过车信息成指数级增长，而无法满足高效存储和访问的需求，通过本发明，无需购买高性能服务器，即可在廉价的服务器上以及在大数据环境下高效、准确地识别出套牌机动车，本发明不仅适用于机动车套牌分析系统，也适用于其它类似的车辆比对分析系统。
【IPC分类】G08G1/017
【公开号】CN105448099
【申请号】CN201510929267
【发明人】黄智珍
【申请人】南威软件股份有限公司
【公开日】2016年3月30日
【申请日】2015年12月14日