一种基于大数据跨域比对的车辆首次出现分析方法及系统与流程

文档序号:14719002发布日期:2018-06-17 00:17阅读:268来源:国知局

本发明涉及智能交通领域,更具体的说,是涉及一种基于大数据跨域比对的车辆首次出现分析方法及系统。



背景技术:

当前我国刑事犯罪处于高发态势,犯罪涉及多时空、多区域。犯罪行为人利用车辆快速作案,快速逃离等特点作案,给侦查部门带来了巨大的挑战,传统的侦查手段已不能适应当前高效率、高质量打击刑事犯罪的要求。近年来,侦查机关应利用现代信息技术变革侦查模式,拓展侦查思维,转变侦查观念,创新侦查方法,建设大量涉车视频,包括治安卡口、治安监控、电子警察、交通监控等,在打击各类涉车违法犯罪活动中发挥了重要作用。对于涉车犯罪案件,通过车辆可识别特征对车辆进行追踪和认定,在此基础上进行车辆轨迹侦查有其现实必要性。将综合运用交通智能卡口及视频监控数据查找犯罪嫌疑人轨迹作为打击刑事犯罪的核心战斗力。

另外,随着物联网技术及传感器技术的不断推广,各类基于大范围车辆监测数据的智能交通应用快速发展,车辆的行踪是全面了解车辆驾驶行为的必备信息。涉车案件中往往犯罪嫌疑人会跨出经常出现区域异地作案,而每一个交通要素在时空中的移动变化,会表现为一组或多组时空数据,且物、时间、空间三者是一一对应关系,通常情况下各交通要素都会在某一固定的区域活动,基于这一普遍的规律,通过分析、挖掘和研判,能够有效地捕获犯罪车辆踪迹,为后续研判跟踪奠定基础,为公安民警办理涉车案件提供支撑,具有重要的意义和实际应用价值。

在进行车辆首次出现分析时,主要利用治安卡口、电子警察、社会治安监控等监控设施进行实时人工监控、排查、跟踪,这种方法效率低下,耗时耗力,需要大量的人力投入,而且追踪结果受交通监控设备状态、操作人员业务水平、时间,甚至天气等客观因素影响。另外,也有一定程度上解放劳动力的技术手段,比如很多基于实时视频、实时卡口电警、实时电子围栏等数据的智能研判系统或者装置,但这些系统或装置开发成本都比较高、技术难度大、对使用者水平要求高,最重要的是这些系统往往需要实时数据的支撑,然而现实中的很多研判往往是事后研判,如果事后研判对象不再出现就会给研判造成困境。

因此,基于车辆通行历史记录的数据挖掘是相当重要的,不仅仅是因为这种方法廉价、技术难度低、操作简单、智能化能提高公安进行车辆侦查的效率,更是因为历史数据的客观存在性、不可抵赖性能更加真实地反映分析目标的状态和事件的真相。



技术实现要素:

有鉴于此,有必要针对上述问题,提供一种基于大数据跨域比对的车辆首次出现分析方法及系统,能够通过挖掘海量数据,判断车辆在某区域内有无历史行车记录进而判断该车辆是否出现过。。

为了实现上述目的,本发明的技术方案如下:

一种基于大数据跨域比对的车辆首次出现分析方法,包括以下步骤:

S1、建立车辆出现次数统计队列,统计区域内当天之前出现的每台车辆通行信息,并把统计信息更新到车辆出现次数统计队列中;

S2、判断出现车辆是否在车辆出现次数统计队列中,若不在则判定此辆车在当天为首次出现;

S3、若车辆在当天内为首次出现,则进一步判断车辆在当天之前N天内是否出现过,若没有出现则判断该车辆在记录区域内为首次出现。

作为优选的,所述步骤S1中,记录区域为一个或多个区域。

作为优选的,所述N≧15。

一种基于大数据跨域比对的车辆首次出现分析系统,包括基础数据源平台、大数据计算中心和应用管理系统;

所述基础数据源平台用于采集各个区域车辆出现信息;

所述大数据运算中心包括定时计算单元、数据存储单元和快速响应单元;所述数据存储单元用于即时写入车辆出现信息,并建立索引关键词以对车辆通行记录进行索引;所述定时计算单元用于定时分析数据存储单元中的数据,建立并即时更新车辆出现次数统计队列;所述快速响应单元用于检索车辆是否出现在车辆出现次数统计队列中,若不在则判断车辆为首次出现;

所述应用管理系统用于对车辆信息进行进一步处理。

作为优选的,所述定时计算单元采用基于Hadoop的数据库仓库工具Hive增量分析指定时间段N内的通行数据,分别统计各车牌在各区域的出现次数;车辆出现次数统计队列采用Zookeeper+Solr搭建Solrcloud分布式集群索引服务,以“车牌号码+区域代码”为主键并作为索引关键词存储,同时记录出现次数和最后一次出现时间。

作为优选的,所述数据采集单元按照数据日期分区,并以车牌号码和区域代码为索引关键词对车辆通行记录建立索引。

作为优选的,所述基础数据源平台包括卡口系统、电警系统、车侦系统和辅助卡口系统以及高速ETC等。

作为优选的,所述大数据计算中心还包括数据采集单元和消息处理单元;所述数据采集单元用于从基础数据源平台采集数据,并将数据即时写入数据存储单元;所述消息处理单元用于将车辆通行信息发送到应用管理中心并提供消息转发、消息订阅服务以及推送告警消息到应用系统。

作为优选的,所述快速响应单元采用MapReduce+Hbase对数据集的大规模并发操作分发给网络上的每个节点,每个节点会周期性的返回它所完成工作和最新状态的特点,高效处理源源不断输入的车辆通行数据,判断车牌是否在当天的当前区域只出现一次,并且以“车牌号码+区域代码”为索引,检索该车牌是否在车辆出现次数统计队列中。

与现有技术相比,本发明的有益效果在于:具有性能好、效率高、反应快、可操作性强等优点,采用实时分析与定时分析相结合的方式,使该分析方法更高效更实用,能够通过挖掘海量数据,判断车辆在某区域内有无历史行车记录进而判断该车辆是否出现过。

附图说明

图1为本发明实施例1所述方法的流程图;

图2为本发明实施例2中系统的结构框图;

图3为本发明实施例2中控制方法流程图。

具体实施方式

下面结合附图和实施例对本发明所述的一种基于大数据跨域比对的车辆首次出现分析方法及系统作进一步说明。

以下是本发明所述的的最佳实例,并不因此限定本发明的保护范围。

实施例1

图1示出了本发明的一种基于大数据跨域对比的车辆首次出现分析方法的流程框图,包括以下步骤:

S1、建立车辆出现次数统计队列,统计区域内当天之前出现的每台车辆通行信息,并把统计信息更新到车辆出现次数统计队列中;并记录车辆出现次数及最后一次出现的时间;

S2、判断出现车辆是否在车辆出现次数统计队列中,若不在则判定此辆车在当天为首次出现,若为首次出现则进入步骤S3,并将车辆出现数据加入到车辆出现次数统计队列;若不是首次出现,则更新车辆出现次数统计队列中的对应车辆信息;

S3、若车辆在当天内为首次出现,则进一步判断车辆在当天之前N天内是否出现过,若没有出现则判断该车辆在记录区域内为首次出现。

作为优选的,所述步骤S1中,记录区域为一个或多个区域。

作为优选的,所述N≧15。

实施例2

图2示出了本实施例中一种基于大数据跨域对比的车辆首次出现分析系统,包括基础数据源平台、大数据计算中心和应用管理系统;

所述基础数据源平台用于采集各个区域车辆出现信息;

所述大数据运算中心包括定时计算单元、数据存储单元和快速响应单元;所述数据存储单元用于即时车辆出现信息,并建立索引关键词以对车辆通行记录进行索引;所述定时计算单元用于定时分析数据存储单元中的数据,建立并即时更新车辆出现次数统计队列;所述快速响应单元用于检索车辆是否出现在车辆出现次数统计队列中,若不在则判断车辆为首次出现;

所述应用管理系统用于对车辆信息进行进一步处理。

作为优选的,所述定时计算单元采用基于Hadoop的数据库仓库工具Hive增量分析指定时间段内的通行数据,分别统计各车牌在各区域的出现次数;车辆出现次数统计队列采用Zookeeper+Solr搭建Solrcloud分布式集群索引服务,以“车牌号码+区域代码”为主键并作为索引关键词存储,同时记录出现次数和最后一次出现时间。

作为优选的,所述快速响应单元采用MapReduce对数据集的大规模操作分发给网络上的每个节点,每个节点会周期性的返回它所完成工作和最新状态的特点,高效处理源源不断输入的车辆通行数据,判断车牌是否在当天的当前区域只出现一次,并且以“车牌号码+区域代码”为索引,检索该车牌是否在车辆出现次数统计队列中。

快速响应单元和定时计算单元共同维护车辆出现次数统计队列,使车辆出现次数统计队列保持最新可用状态;因为若需要判断前N天内的数据可能存在海量的数据,如果逐条分析,势必给系统造成极大压力;然而通过定时维护车辆出现次数统计队列,不需要分析当前车辆在指定周期N内的所有记录,大大提高系统响应效率。

作为优选的,所述数据采集单元按照数据日期分区,并以车牌号码和区域代码为索引关键词对车辆通行记录建立索引。

作为优选的,所述基础数据源平台包括卡口系统、电警系统、车侦系统和辅助卡口系统以及高速ETC等。

作为优选的,所述大数据计算中心还包括数据采集单元和消息处理单元;所述数据采集单元用于从基础数据源平台采集数据,并将数据即时写入数据存储单元;所述消息处理单元用于将车辆通行信息发送到应用管理中心并提供消息转发、消息订阅服务以及推送告警消息到应用系统。

在实际分析过程中,需要先初始化系统参数,读取纳入计算的“分析区域”、定时分析的“时间范围”和定时执行的“时间周期’等参数配置;

从系统初始化参数列表中读取数据的“空间范围”,即可以指定系统只分析部分区域的数据,一般情况下不设置时系统默认分析全部数据,“时间范围”R即指示“定时计算单元”可以多长的时间周期内符合条件的车辆记为首次出现,以及“定时计算单元”定时执行任务的“时间周期”T,系统默认为每天零点执行。

在具体分析过程中,首先,启动定时计算单元,增量分析指定时段内车辆通行数据;定时计算单元根据系统配置的定时调度策略T和数据的“时间范围”R,增量分析数据存储单元中的车辆通行数据,统计各车牌出现次数,判断车辆是否在车辆出现次数统计队列中,即判断车辆是否在“时间范围”R内出现过,如果出现过则更新原记录,否则将记录追加到“车辆出现次数统计队列”中。

数据采集单元将最新车辆通行数据即时输入到数据存储单元和快速响应单元。

快速响应单元判断车牌是否在当天只出现1次,并且判断该车牌是否在车辆出现次数统计队列中,将判定为首次出现的车辆通行信息发给消息处理单元。

消息处理单元将车辆通行信息发送到应用管理系统,所述应用管理系统用于提供消息订阅、转发和警告。

以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1