一种警务大数据处理系统的制作方法
【技术领域】
[0001]本申请涉及大数据技术领域，尤其涉及一种警务大数据处理系统。
【背景技术】
[0002]在大数据时代，海量数据如:互联网，特征，图片，语音，视频等，无法保证有效的存储，质量难以保证，如何能在海量信息中快速的提取有价值的信息，是当前警务行业建设的重点和难点。目前通过现有大数据技术，可以通过Storm，MapReduce，Mahout以及Pregel等多种方案结合的方式实现。其中Storm是一个开源的、大数据处理系统，与其他系统不同，它旨在用于分布式实时处理且与语言无关。MapReduce是一种编程模型，用于大规模数据集的并行运算。Mahout是一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Pregel主要绘制大量网上信息之间关系的“图形数据库”。
[0003]为了完成多种大数据分析任务，现有技术需要在一个组织内融合多种大数据技术，就不得不与多套特定系统打交道，一方面引入了不容小觑的运维复杂性，另一方面还免不了要在多个系统间频繁进行代价高昂的数据转储(ETL，Extract-Transf orm-Load，抽取、转换、加载)，例如:在传统MapReduce是近乎不可能完成交互式即席查询。
[0004]目前国内的警务系统相对落后，只提供相对简单的功能，导致在破案过程，无法得到更加及时和准确的线索，以及警务人员警力严重不足的问题，严重影响到了抓捕罪犯的效果。
【发明内容】
[0005]本申请实施例提出了一种警务大数据处理系统，用以提升警务系统的效率。
[0006]本申请实施例提供了一种警务大数据处理系统，包括:
[0007]数据准备模块，用于对从数据源获得的警务相关数据进行处理，使其符合数据存储模块的存储要求；
[0008]数据存储模块，用于存储所述数据准备模块处理后的警务相关数据；
[0009]数据计算模块，采用SPARK计算系统，用于对所述数据存储模块存储的警务相关数据进行计算；
[0010]数据应用模块，用于人机接口。
[0011]有益效果如下:
[0012]在本发明实施例中，通过大数据技术的手段，通过对案件的精准定位，通过对作案手法的技术分析，把有限的警力投放到关键的地点，缓解了警力不足又提高了破案率。目前通过大数据技术多种产品的结合可以实现这种获取精准信息的目的，但对于警务行业来说，时间是最重要的，缩短抓捕嫌疑犯的时间，就减少了对社会的危害，从实时性来说要求是较高的。Spark做为高效的内存分布式计算技术极大的提高了大数据的处理速度，一栈式的解决方案减少了多系统之间数据转换的成本，和多系统的学习以及维护成本，也由于无缝的融合提高了效率。从系统维护角度来说，如果使用多种大数据技术结合的实施方案，由于技术种类的繁多，导致各种技术都要有专门的维护人员，降低了维护的效率，spark的一栈式系统，通过一种技术解决了实时流处理，批量处理，迭代计算等多项任务，节约了维护成本，同时由于各种功能之间的无缝连接缩短了处理时间，为警务人员增加了宝贵的破案时间。
【附图说明】
[0013]下面将参照附图描述本申请的具体实施例，其中:
[0014]图1示出了本申请实施例中警务大数据处理系统的结构示意图；
[0015]图2示出了本申请实施例中警务大数据处理系统的完善功能示意图。
【具体实施方式】
[0016]为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明书中的实施例及实施例中的特征可以互相结合。
[0017]发明人在发明过程中注意到:在大数据时代，海量数据如:互联网，特征，图片，语音，视频等，无法保证有效的存储，质量难以保证，如何能在海量信息中快速的提取有价值的信息，是当前警务行业建设的重点和难点。大数据Spark技术，通过在一套软件栈内完成实时交互式查询，迭代计算，批量计算等各种大数据分析任务，达到快速精准的抓取重要信息最终快速破案等目的。
[0018]为了完成多种大数据分析任务，现有技术需要在一个系统内融合多种大数据技术，就不得不与多套特定系统打交道，一方面引入了不容小觑的运维复杂性，另一方面还免不了要在多个系统间频繁进行代价高昂的数据转储(ETL)，相反，Spark不但可以实现实时查询，而且相对于MapReduce上的批量计算、迭代型计算以及基于Hive的SQL (StructuredQuery Language，结构化查询语言)查询，更是可以带来一到两个数量级的效率提升。
[0019]基于此，发明人提出了一种基于Spark技术的警务大数据处理系统，具体如图1所示，包括:
[0020]数据准备模块101，用于对从数据源获得的警务相关数据进行处理，使其符合数据存储模块的存储要求；
[0021]数据存储模块102，用于存储数据准备模块101处理后的警务相关数据；
[0022]数据计算模块103，采用SPARK计算系统，用于对数据存储模块102存储的警务相关数据进行计算；
[0023]数据应用模块104，用于人机接口。
[0024]在具体实现中，数据准备模块101，可以用于对从数据源获得的警务相关数据进行处理具体包括以下之一或任意组合:抽取、转换、加载;文件导入;网络爬取。
[0025]数据存储模块102中可以存储以下之一或任意组合:实时流数据;结构化数据;非结构化数据。
[0026]其中，数据存储模块102存储的结构化数据可以包括专题库和/或元数据库。数据存储模块102存储的非结构化数据可以包括全文、图片和/或多媒体。
[0027]数据计算模块103可以包括SPARK流处理模块，用于进行实时轨迹分析，并通过对实时轨迹的分析对案件进行信息布控和预警。
[0028]具体来说，SPARK流处理模块(Streaming)进行的实时轨迹分析，可以包括户口变动轨迹、航班轨迹、住宿轨迹、上网轨迹、车辆轨迹、通讯轨迹等。对案件、事件、人员、车辆等的轨迹进行叠加的分析，以及通过实时数据信息对案件进行信息布控和预警。
[0029]数据计算模块103可以包括SPARK机器学习模块(MLlib)，用于建立分析模型进行串并案件分析，以及进行挖掘分析和统计分析。
[0030]具体来说，SPARK机器学习模块建立各种分析模型，例如:通过作案手法，选择动机，选择处所等建立评分模型进行串并案件分析。以及建立以决策主体为中心的分析模型库、相关知识库、情报研究方法库、预警模型库，以进行有效的挖掘分析和统计分析。
[0031]数据计算模块103可以包括SPARK图计算模块(GraphX)，用于建立关系网，并根据所