一种基于大数据的交通警情研判分析系统及方法与流程

本发明涉及交通警情研判领域，特别是涉及一种基于大数据的交通警情研判分析系统及方法。

背景技术：

随着经济的快速发展，城市交通发展增速，交通管理部门对掌控当前交通警情形势的需求日益强烈，使得警情分析与研判工作成为其实现辅助指挥决策的重要手段。现有技术中的警情研判分析系统只是对单一或几个维度警情数据进行查询统计，没有进行多维度、多样本数据分析，导致对警情研判分析统计数据较片面，没有全方位进行警情统计分析。

由于通过警情数据分析研判能够对警情统计、警情研判等对交通事故的预警有很重要的指导意义。现有技术中公安交管部门使用的警情统计分析系统是基于关系型数据库的警情研判分析系统，该系统存在着系统仅仅能够简单的数据统计带来数据资源的浪费和统计分析效率的低下的缺陷，无法适应警情研判数据量增多和数据维度加深的信息需求。

因此，如何对警情全方位进行全范围了解、分析和预警，提供更好的支持，就成为本领域技术人员亟需解决的问题。

技术实现要素：

本发明的目的在于提供一种基于大数据的交通警情研判分析系统及方法，以克服现有技术中存在的上述缺陷。

本发明的基于大数据的交通警情研判分析系统可以对警情全方位进行了解分析，并基于大数据的交通警情研判分析系统应用于对交通警情研数据搜集、统计、研判分析。

为实现上述目的，本发明提供一种基于大数据的交通警情研判分析系统，其包括以下设备：数据采集模块、数据存储模块、数据分析模块和业务系统模块；所述数据采集模块包括有三台合一警情数据模块、其他业务系统模块和在线填报数据者模块；所述数据储存模块包括动态数据储存模块和静态数据储存模块，所述动态数据储存模块包括多个hadoop相关组件，所述静态数据储存模块包括依次连接的本体模型模块、映射模型模块和多个hadoop相关组件；数据分析模块和业务系统模块均包括计算机设备。

优选地，数据采集模块构成数据采集层；数据存储模块构成数据存储层；数据分析模块构成数据分析层；业务系统模块构成业务层。

优选地，hadoop相关组件的核心部分包括hdfs和mapreduce，hdfs为数据采集层数据存储提供支持，mapreduce为海量数据提供计算支持。

为实现上述目的，本发明提供一种应用上述分析系统的基于大数据的交通警情研判分析方法，采用hadoop相关组件和计算模型框架应用相应流程设计构成，其包括以下步骤：

(1)数据采集层主要采集交通警情数据，其对三台合一警情数据、其他业务系统数据和现场录入数据进行采集，其采集的数据包括警情类型、时间、地点和描述，在采集之后将所述数据上传至数据储存层；

(2)数据储存层主要存放历史及实施警情数据，其将数据采集层采集的数据储存在动态数据储存模块和静态数据储存模块中，其中警情数据主要存放在静态数据存储模块中，并按照一年25万条数据量设计；

(3)数据分析层主要对数据储存层中的警情数据进行分析、清洗和过滤，去掉不关注数据，提取主要内容，供业务层使用；

(4)业务层主要对警情进行研判分析给使用者提供相应的警情数据，主要功能有警情概览、警情查询、警情统计、警情地图、警情热力图和预警规则。

优选地，所述业务层可以根据操作者需求可生成预制模板报表和定制模板报表。

优选地，所述预制模板报表具有四个专题，其包括今日警情专题、高发警情类型专题、警情高发辖区专题和警情高发时段专题。

优选地，所述预制模板报表是通过对日、周、月和年基本警情统计数据的研判分析，按照警情研判样本、研判维度和研判结果输送的选择形成。

优选地，所述定制模板报表根据操作者的需求，通过第一步数据清洗、第二步数据分组、第三部确定业务对象、第四步数据过滤、第五步产生目标对象和第六步业务层展示形成。

本发明的有益效果：

本发明提出的基于大数据的交通警情研判分析系统设计方法，解决现有技术中智能交通业务系统对大量数据做统计研判分析时普遍基于关系型数据库的系统出现的一些弊端；本发明基于hadoop架构设计，具有很高的可扩展性、高效性和可靠性，在对大数据处理分析能力方面有显著提高。同时本发明基于大数据架构，采用多样本、多维度统计研判，支持业务系统定制化业务，支持业务系统应用扩展。本发明是在面对当前交管警情业务量急剧上升，交管业务需求急剧深入发展情况下形成，在保证对业务支撑同时，考虑了后续可扩展、可升级等需求，可更好的服务于交通警情业务管理和支撑，基于此设计方法的警情研判系统可适用于智能交通及其他业务系统设计。

附图说明

图1为本发明的系统架构图；

图2为本发明的警情热力图；

图3为本发明的研判样本选择示意图；

图4为本发明的研判维度选择示意图；

图5为本发明的定制模板报表示意图；

图6为本发明的数据过滤流程示意图。

具体实施方式

为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图对本发明的实施例进行详细说明。

在本发明一宽泛实施例中一种基于大数据的交通警情研判分析系统，其包括以下设备：数据采集模块、数据存储模块、数据分析模块和业务系统模块；所述数据采集模块包括有三台合一警情数据模块、其他业务系统模块和在线填报数据者模块；所述数据储存模块包括动态数据储存模块和静态数据储存模块，所述动态数据储存模块包括多个hadoop相关组件，所述静态数据储存模块包括依次连接的本体模型模块、映射模型模块和多个hadoop相关组件；数据分析模块和业务系统模块均包括计算机设备。

在本发明一宽泛实施例中本发明提供应用上述分析系统的基于大数据的交通警情研判分析方法，采用hadoop相关组件和计算模型框架应用相应流程设计构成，其包括以下步骤：

(1)数据采集层主要采集交通警情数据，其对三台合一警情数据、其他业务系统数据和现场录入数据进行采集，其采集的数据包括警情类型、时间、地点和描述，在采集之后将所述数据上传至数据储存层；

(2)数据储存层主要存放历史及实施警情数据，其将数据采集层采集的数据储存在动态数据储存模块和静态数据储存模块中，其中警情数据主要存放在静态数据存储模块中，并按照一年25万条数据量设计；

(3)数据分析层主要对数据储存层中的警情数据进行分析、清洗和过滤，去掉不关注数据，提取主要内容，供业务层使用；

(4)业务层主要对警情进行研判分析给使用者提供相应的警情数据，主要功能有警情概览、警情查询、警情统计、警情地图、警情热力图和预警规则。

本发明提供的一种基于大数据的交通警情研判分析系统及方法，与现有技术相比具有以下优点：

本发明提出的基于大数据的交通警情研判分析系统设计方法，解决现有技术中智能交通业务系统对大量数据做统计研判分析时普遍基于关系型数据库的系统出现的一些弊端；本发明基于hadoop架构设计，具有很高的可扩展性、高效性和可靠性，在对大数据处理分析能力方面有显著提高。同时本发明基于大数据架构，采用多样本、多维度统计研判，支持业务系统定制化业务，支持业务系统应用扩展。本发明是在面对当前交管警情业务量急剧上升，交管业务需求急剧深入发展情况下形成，在保证对业务支撑同时，考虑了后续可扩展、可升级等需求，可更好的服务于交通警情业务管理和支撑，基于此设计方法的警情研判系统可适用于智能交通及其他业务系统设计。

对本发明实施例进行描述如下：

一种基于大数据的交通警情研判分析系统，其包括以下设备：数据采集模块、数据存储模块、数据分析模块和业务系统模块；所述数据采集模块包括有三台合一警情数据模块、其他业务系统模块和在线填报数据者模块；所述数据储存模块包括动态数据储存模块和静态数据储存模块，所述动态数据储存模块包括多个hadoop相关组件，所述静态数据储存模块包括依次连接的本体模型模块、映射模型模块和多个hadoop相关组件；数据分析模块和业务系统模块均包括计算机设备。

数据采集模块构成数据采集层；数据存储模块构成数据存储层；数据分析模块构成数据分析层；业务系统模块构成业务层。

hadoop相关组件的核心部分包括hdfs和mapreduce，hdfs为数据采集层数据存储提供支持，mapreduce为海量数据提供计算支持。

本发明提供一种应用上述分析系统的基于大数据的交通警情研判分析方法，采用hadoop相关组件和计算模型框架应用相应流程设计构成，其包括以下步骤：

(1)数据采集层主要采集交通警情数据，其对三台合一警情数据、其他业务系统数据和现场录入数据进行采集，其采集的数据包括警情类型、时间、地点和描述，在采集之后将所述数据上传至数据储存层；

(2)数据储存层主要存放历史及实施警情数据，其将数据采集层采集的数据储存在动态数据储存模块和静态数据储存模块中，其中警情数据主要存放在静态数据存储模块中，并按照一年25万条数据量设计；

(3)数据分析层主要对数据储存层中的警情数据进行分析、清洗和过滤，去掉不关注数据，提取主要内容，供业务层使用；

(4)业务层主要对警情进行研判分析给使用者提供相应的警情数据，主要功能有警情概览、警情查询、警情统计、警情地图、警情热力图和预警规则。

所述业务层可以根据操作者需求可生成预制模板报表和定制模板报表。

所述预制模板报表具有四个专题，其包括今日警情专题、高发警情类型专题、警情高发辖区专题和警情高发时段专题。

所述预制模板报表是通过对日、周、月和年基本警情统计数据的研判分析，按照警情研判样本、研判维度和研判结果输送的选择形成。

所述定制模板报表根据操作者的需求，通过第一步数据清洗、第二步数据分组、第三部确定业务对象、第四步数据过滤、第五步产生目标对象和第六步业务层展示形成。

根据附图1-6对本发明进行详细描述。

本发明要解决的主要技术问题是，提供一种基于大数据的交通警情研判分析系统设计方法。

基于大数据的交通警情研判分析系统应用于交通警情研数据搜集、统计、研判分析。

为解决上述问题，本发明提供了一种基于大数据的交通警情研判分析系统设计方法，整体考虑采用hadoop相关组件和计算模型进行整体架构设计和应用响应流程设计。

hadoop框架的核心部分包括hdfs和mapreduce，hdfs为底层数据存储提供支持，mapreduce为海量数据提供计算支持。主要优势体现在其可扩展性、高效性和可靠性等方面。基于hadoop框架设计的大数据交通警情研判分析系统总体架构如图一所示。该总体架构主要分为数据采集层、数据存储层、数据分析层、上层应用系统层。

1.数据采集层：主要采集的数据为交通警情数据，包括警情类型、时间、地点、描述等，主要来源有三台合一警情数据、其他业务系统数据(指挥调度系统等)、现场录入数据等；(“三警合一”，即将110，122，119三种不同警种，合并一起)

2.数据存储层：存放历史及实时警情数据。警情数据主要存放在静态数据存储区，按照一年25万条数据量设计；

3.数据分析层：对警情数据进行分析、清洗、过滤等，去掉不关注数据，提取主要内容，如日、周、月、年基本警情统计数据，其主要依据业务系统内容进行过滤，同时提取基本支撑数据，供上层业务系统使用；

4.应用系统层：主要指各个业务应用系统，本文指警情研判分析系统。主要功能有警情概览、警情查询、警情统计、警情地图、警情热力图、预警规则等；

支持预制模板和定制报表两种模式，预制模板下设如下四个专题：今日警情专题、高发警情类型专题、警情高发辖区专题和警情高发时段专题；

今日警情专题：输出今日警情发展态势、今日警情类型分布、今日警情级别分布、今日警情辖区分布四张图，刷新周期可设置，支持5分钟、15分钟、30分钟和60分钟四种；可以回查七天内的当日警情专题；四张图命名分别固定为；今日警情发展态势、今日警情类型分布、今日警情级别分布、今日警情辖区分布；图表上方显示当前日期和时间(若为当天数据则显示日期+时间，比如为昨天或前天等的数据则只显示日期，如2016年5月26日)

以警情统计为例说明：警情统计可以按照常规报表统计和自定义报表统计；

常规报表统计可以包括：24小时警情发展态势、今日警情类型分析、今日警情级别分析、今日警情辖区分布等；

自定义报表：设计见图5；

具体说明一下如果进行业务数据过滤，以按照辖区统计当日警情数量为例说明如何进行数据过滤，结合图6说明：

数据采集层采集到的警情数据源有多处，很多警情信息分散，说明不一致，但是基本都有基础实体，每个实体基本都包括警情内容，警情发生时间，警情地点等基本信息，但是各个数据源偏重点可能不一样，比如三台合一数据关注警情基本信息，警情调度信息不关注，比如业务系统(如指挥调度系统)的警情数据可能比较完善，警情基本内容、警情调度信息、警情附件信息等均有全面说明；再比如在线填报的警情数据可能有和其他数据源数据重复的现象。

第一步：数据清洗，要把警情研判系统关注的基本警情数据提取出来，包括警情基本信息(内容、时间、地点、辖区、警情级别、警情类别、接警人、接警人所属机构、接警人电话、报警人信息等)、警情调度信息(如警情状态、派警人信息、反馈信息、督办信息等)、警情附属信息(如相关车辆信息、伤亡人员信息、设施损毁信息等)；

第二步：数据分组。数据清洗后，提取到基础的警情数据，但基础警情数据数量庞大、凌乱，需要进行分组进行后续支撑。研判系统业务分析，基本分组按照，日、月、年分组；

第三步：设计业务对象。经过上述两步骤，整理出警情基本分组信息。按照业务功能设计对象。如按照辖区统计当日警情数量，关键信息有辖区id，辖区负责人信息，联系方式，当日辖区警情数量；

第四步：数据过滤。按照业务对象，从分组数据中进行数据过滤，需要分组提取出结转信息，如按照辖区统计警情数量(日、月、年)；

第五步：产生目标对象。如按照辖区统计当日警情数量，目标对象信息有辖区id、辖区名称、当日警情数量；

第六步：业务层展示。业务层基于第五步的数据进行业务展示。完成整个业务数据提取。

本发明提出的设计方法采用大数据架构设计，提出从多样本、多维度进行警情数据统计研判，提出主要应用场景及主要数据统计研判同时，支持定制化统计分析研判，支持不同关注重点分析。如下例：

主要应用场景介绍

警情高发辖区专题：输出本月警情按辖区分布、警情月度同比分析、警情月度环比分析三张图；

警情高发时段专题：输出本月警情按时段分布(含早平峰、早高峰、平峰、晚高峰、晚平峰五个时段，早高峰时段和晚高峰时段可配置，早平峰为00:00到早高峰起始点，平峰为早高峰结束点到晚高峰起始点，晚平峰为晚高峰结束点到23:59)、警情月度同比分析和警情月度环比分析三张图；

警情热力图：生成一个时间段内(如一个月)的警情热力图分布，如图2；

同时支持多样本、多维度警情统计研判；

样本选择、维度选择主要设计参考图3、图4；

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。