本发明涉及大数据技术领域，尤其是一种基于PGIS和云计算的警务大数据挖掘与分析平台。
背景技术：
在公知的技术领域，随着警务信息化不断推进，大量的警务信息系统中积累了大量的案件、嫌疑人等公安数据，但这些海量数据被存储在不同的数据源中，且存在非常大的数据质量问题，可能是不同的格式，难以综合分析；由于是不同业务系统采集和管理的侧重点也不同，出现了越来越多的信息孤岛和信息碎片化的死结问题。在现在的大数据互联网时代，迫切需要深入实施科技强警战略，从海量数据的高端、深层次的综合应用提高公安工作的能力水平。并且公安工作在日常执法执勤的过程中会接触到大量的数据，情报的分析主要依靠大量的人工、重复性的工作，而且在独立的数据源中进行分析由于数据的不完整或者缺失容易带来判断失误、线索中断等；高价值的情报往往极少，而且价值极高，但通常时效性极强，而当前国内警务工作的分析手段决定了其获取情报需要较长时间，在领导层和决策层进行分析的时候，需要进行大量的手工报表统计，不但工作量大而且分析过程慢，不能及时准确的指导工作。
技术实现要素：
针对现有技术存在的不足，本发明的目的在于提供一种可解决上述问题的基于PGIS和云计算的警务大数据挖掘与分析平台，通过公安数据仓库模块解决了数据存储的标准格式不统一这个问题，通过警务大数据挖掘模块解决了在众多数据源中如何快速挖掘自己所需对案情有帮助的数据，提高警务人员工作效率的问题。
本发明解决其技术问题所采用的技术方案是：一种基于PGIS和云计算的警务大数据挖掘与分析平台，包括：
数据接口模块，用于同警用地理信息系统对接，实现数据的互联互通；
公安数据仓库模块，所述公安数据仓库模块依次包括：用于获取源数据的基础数据层、用于实现数据仓库模型设计的数据仓库层和用于对复杂犯罪数据进行分析的前段应用层；
警务大数据预处理及存储模块，用于对汇集到公安数据仓库模块中的海量数据进行预处理，使其符合大数据存储要求，并对处理好后的数据进行存储；
警务大数据挖掘模块，用于在大量的、不完全的、模糊的随机的实际应用数据中，提取隐含在其中但又是潜在有用的警务信息。
本发明进一步设置为：数据接口模块对接的包括公安部级、省公安厅级、市级公安局级的警用地理信息系统中的一种或多种，还包括业务应用系统。
本发明进一步设置为：业务应用系统包括：警务指挥调度系统、人口系统、案事件系统、消防接处警系统、交通管理系统中的一种或多种。
本发明进一步设置为：公安数据仓库模块中的基础数据层的源数据来源包括：社会化信息采集系统、特种行业社会信息采集系统、娱乐场所治安信息管理系统、酒店旅馆业管理系统、视频管理系统、警务室管理系统中的一种或者多种。
本发明进一步设置为：公安数据仓库模块中的数据仓库层包括：主题确定模块、维度设计模块、粒度划分模块、创建事实报表模块。
本发明进一步设置为：公安数据仓库模块中的前端应用层包括：查询系统、优化的并行联机分析处理OLAP系统、决策分析系统和数据挖掘系统。
本发明进一步设置为：公安数据仓库模块中的前端应用层由中心比对服务器组及报警处理服务器、信息发布及系统管理服务器、地理信息系统组成且通过公安网连接。
本发明进一步设置为：公安数据仓库模块采用HIVE数据仓库工具。
本发明进一步设置为：警务大数据预处理及存储模块包括：用于对细节数据进行概化的数据规约模块、用于减少下一步工作需处理的数据量的维度规约模块、用于存储预处理后数据的基于云计算的HDFS分布式文件系统以及用于管理数据的基于Hadoop的Hive工具。
本发明进一步设置为：警务大数据挖掘模块包括可视化分析模块、数据挖掘算法模块、预测性分析模块、数据质量和数据管理模块。
本发明进一步设置为：数据挖掘算法模块采用利用关联数据挖掘算法并结合犯罪心理学、犯罪行为学技术，在基于MapReduce云计算的环境下而形成的并行频繁模式树数据挖掘算法。
本发明的有益效果是：实现真正意义上的警务信息资源共享互通，借助灵活有效的大数据挖掘和分析研判工具，建立决策分析和可视化的多维分析系统，达到发现犯罪趋势和犯罪模式，预测犯罪的目的。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明中公安数据仓库模块的结构示意图；
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示的本发明的优选实施例，一种基于PGIS和云计算的警务大数据挖掘与分析平台，包括：
数据接口模块，用于同警用地理信息系统对接，实现数据的互联互通；
公安数据仓库模块，所述公安数据仓库模块依次包括：用于获取源数据的基础数据层、用于实现数据仓库模型设计的数据仓库层和用于对复杂犯罪数据进行分析的前段应用层；
警务大数据预处理及存储模块，用于对汇集到公安数据仓库模块中的海量数据进行预处理，使其符合大数据存储要求，并对处理好后的数据进行存储；
警务大数据挖掘模块，用于在大量的、不完全的、模糊的随机的实际应用数据中，提取隐含在其中但又是潜在有用的警务信息。
数据接口模块对接的包括公安部级、省公安厅级、市级公安局级的警用地理信息系统中的一种或多种，还包括业务应用系统。公安部或省或市公安部门某一节点的PGIS(警用地理信息系统)平台主要由“一个PGIS平台软件、两个基础支撑环境、三个地理数据库”构成。可基于PGIS平台中的PGIS平台软件开发各类PGIS应用。完成和部、省、市PGIS平台的互联互通联调，实现全国的联网运行。
业务应用系统包括：警务指挥调度系统、人口系统、案事件系统、消防接处警系统、交通管理系统中的一种或多种，通过上述系统汇集所需的基础源数据。
公安数据仓库模块中的基础数据层的源数据来源包括：社会化信息采集系统、特种行业社会信息采集系统、娱乐场所治安信息管理系统、酒店旅馆业管理系统、视频管理系统、警务室管理系统中的一种或者多种，该层由分布的、异构的数据源组成，需经抽取、转换和加载后按主题存放在公安数据仓库模块中。
公安数据仓库模块中的数据仓库层包括：主题确定模块、维度设计模块、粒度划分模块、创建事实报表模块，通过确立主题、维度的设计、粒度的划分、创建事实报表等几个步骤，建立多维数据模型和业务模型，以便应用于下一层联机分析处理OLAP和数据分析、数据挖掘。
公安数据仓库模块中的前端应用层包括：查询系统、优化的并行联机分析处理OLAP系统、决策分析系统和数据挖掘系统。该层满足对复杂犯罪数据的分析，支持高层决策。优化的并行联机分析处理技术OLPA,包括多维分析处理和可视化处理,通过切片、切块、下钻、上钻和旋转操作可以得到如案情进程的多维分析决策模型，并可将分析结果以图表等形式直观的展示在决策者眼前。使用一种高效的云计算下的频繁模式树挖掘算法对海量数据进行数据挖掘，对挖掘结果进行分析，建立高效犯罪预测模型。
公安数据仓库模块中的前端应用层由中心比对服务器组及报警处理服务器、信息发布及系统管理服务器、地理信息系统组成且通过公安网连接。
公安数据仓库模块采用HIVE数据仓库工具。
警务大数据预处理及存储模块包括：用于对细节数据进行概化的数据规约模块、用于减少下一步工作需处理的数据量的维度规约模块、用于存储预处理后数据的基于云计算的HDFS分布式文件系统以及用于管理数据的基于Hadoop的Hive工具。为了提高整个系统运行效率，需要对汇集到数据仓库中的海量数据进行预处理。使用数据规约的方法对数据进行预处理，其目的在于减少数据挖掘和决策分析的工作量。根据警务数据的特点，本项目从数值规约和纬度规约两方面来进行数据规约，数值规约是对细节数据进行概化，纬度规约是减少下一步工作需处理的数据量。
在海量数据的处理上，Hadoop具有高可靠型，高扩展性，高效性，以及高容错性等特点，本发明基于云计算，采用Hadoop开源技术进行架构，将使用数据规约方法进行预处理后的数据，存入HDFS分布式文件系统中，利用Hadoop的Hive工具进行管理。为了进一步提高整个系统运行效率，对HDFS系统进行优化，提出一种新的方法，改善HDFS中海量小数据文件的存储效率及数据安全性和访问控制安全，减少重复数据的概率，减少存储容量需求。
警务大数据挖掘模块包括可视化分析模块、数据挖掘算法模块、预测性分析模块、数据质量和数据管理模块。可视化分析模块，让数据自己说话，让用户直观的感受到结果。数据挖掘算法模块，数据挖掘涉及的技术方法很多，有多种分类法，这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。预测性分析模块，预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。数据质量和数据管理模块，利用日常维护，确保数据质量优良。
数据挖掘算法模块采用利用关联数据挖掘算法并结合犯罪心理学、犯罪行为学技术，在基于MapReduce云计算的环境下而形成的并行频繁模式树数据挖掘算法。PGIS系统所收集的警务数据，数据量巨大，类型多样。为了从这些海量数据中提取有效数据，本发明使用了数据挖掘中的关联数据挖掘算法，结合犯罪心理学、犯罪行为学等技术，针对海量数据借助于云平台，提出了一种改进的基于MapReduce的云计算下的并行频繁模式树挖掘算法，该算法能够高效地对海量数据进行挖掘，对于挖掘结果，设置合适的支持度和信任度进行评估。使用法学、心理学等知识同时注意融入个体之间的差异，利用机器学习中的逻辑回归模型分析预测犯罪行为，建立高效的犯罪预测预警模型，提高犯罪预测的准确度。同时，使用可视化算法调用服务，将数据挖掘结果和犯罪预测预警模型以表格、直方图等形式直观的显示在决策者面前，帮助决策者作出正确决策。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。