超大规模数据动态粒度切分装置的制作方法

本实用新型涉及数据处理装置，具体的讲是适用于超大规模数据动态粒度切分的装置。

背景技术：

随着云计算和大数据技术的发展，需要处理的数据量越来越庞大，如何在业务处理中高效处理和访问相关数据成为数据分析技术的研究热点。在此形势下，对计算机信息处理技术也有了更高的要求。因此，加强对大数据背景下的计算机信息处理技术的研究，具有重要的现实意义。

近些年来，我国公安信息化建设发展迅猛，公安行业的大规模信息化装备部署运行，产生了海量的数据，既有传统的结构化数据，也有大量文档、图片、视频、栅格、矢量、文本等非结构化数据。据不完全统计，截至2015年底，全国公安机关掌握的数据资源已达数百类、上万亿条、EB级规模。目前，公安数据的年增长率超过50％，并且数据产生汇集的速度越来越快，数据呈阶梯式增长。公安数据中蕴藏着人、事、物、组织和案件等丰富的信息，充分利用这些信息，挖掘海量数据背后隐藏的关联关系，对于维护社会大局稳定、预防和打击犯罪、辅助指挥决策都具有重要的价值。因此，警务数据处理模型也越来越复杂，时效性要求越来越高。

然而，现有的计算架构无法针对如此规模庞大的数据资源，进行快速复杂处理，其关键瓶颈之一是现有技术对大数据的处理采用的是自然粒度全数据加载的方法，存在大量数据冗余，因此难以实现对实时数据资源的快速处理。

技术实现要素：

本实用新型提供了一种超大规模数据动态粒度切分装置，可对实时数据边处理边存储，以及对数据进行动态粒度切分和数据预测加载，更高效率的对原始数据进行动态粒度切分。

本实用新型的超大规模数据动态粒度切分装置，具有包括装置外壳的本体，在本体上设有实时数据接入接口和存量数据接入接口，在本体内设有系统配置主机，以及与所述系统配置主机相连、且与实时数据接入接口和存量数据接入接口连接的数据接入接口，数据接入接口通过数据处理器与存储装置连接，存储装置还与用于对数据粒度处理的决策单元连接，并与所述决策单元一同连接至系统配置主机，在决策单元中包含有对数据粒度进行计算处理的粒度处理器和与所述粒度处理器配合的粒度缓存装置。其中系统配置主机可以是单片机或是CPU类型的数据处理设备，实时数据接入接口和存量数据接入接口可以根据实际需要设置为串口结构或其他现有的接口结构。

通过实时数据接入接口和存量数据接入接口两种类型的接口分别接收对应的数据，并经数据处理器可以对两种数据进行清理，包括对数据进行校验等，目的在于删除重复信息、纠正数据中存在的错误，并提供数据的一致性。其中实时数据接入接口对接收到的实时数据通过数据处理器存入存储装置中。存储装置可以根据需要进行缓存存储装置和/或永久存储装置的设置。所示的存量数据接入接口对接收到的存量数据通过数据处理器的在线重删技术处理后可节约出数据存储空间，在线重删技术是在数据存储到存储装置上的同时进行重复数据删除的操作，在数据存储到永久存储装置之前重复的数据便已经被去除掉了。

进一步的，本体上还设有与本体内的日志采集器对应的日志传输接口，所述日志采集器与所述系统配置主机连接。日志采集器可按照设定格式或自定义格式自动采集日志数据，并可通过日志传输接口导出到外接设备中进行查看。

进一步的，本体内设有温度监测器和湿度监测器，所述的温度监测器和湿度监测器通过系统配置主机将监测信号传递给设于本体上的温/湿度显示屏，以对本体内的温度和适度进行监测，保证良好的运行环境。温度监测器和湿度监测器均可采用现有的检测设备。

进一步的，本体内设有通过一体机管理主机连接至所述系统配置主机的状态监测服务器，状态监测服务器通过系统配置主机将监测信号传递给设于本体上的状态显示屏。状态监测服务器用于对各种装置的运行状态进行监测，例如内存使用率、存储装置剩余空间、数据处理器的使用率等。

进一步的，系统配置主机还连接有可与外接设备连接的外部数据接入接口，通过外部数据接入接口可以连接其他主机等设备，将外接数据导入到系统配置主机中。

在此基础上，本体上设有散热进风口和散热出风口，有利于对本体内进行通风散热。

可选的，本体上设有指示灯，用于对电源、运行状态等进行提示。

本实用新型中涉及到的各种处理程序均是基于对应的现有硬件设备的常规数据处理方式，均可由本领域技术人员按照常规手段得以实现。

本实用新型的超大规模数据动态粒度切分装置，能够实现对数据边处理边存储，并且通过对存量数据和重复数据的清理节约了大量的存储空间，大幅度提高了对复杂数据结构动态粒度划分的速度，还能够预测加载数据，更进一步的提高了对数据的查询效率。

以下结合实施例的具体实施方式，对本实用新型的上述内容再作进一步的详细说明。但不应将此理解为本实用新型上述主题的范围仅限于以下的实例。在不脱离本实用新型上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本实用新型的范围内。

附图说明

图1为本实用新型大数据安全防护装置的本体的正面示意图。

图2为图1的背面示意图。

图3为图1内部的结构示意图。

具体实施方式

如图1至图3所示本实用新型的超大规模数据动态粒度切分装置，具有包括装置外壳的本体。本体上设有散热进风口1和散热出风口2，用于对本体内部进行通风散热。本体上设有电源插口6、网络连接接口10、实时数据接入接口7和存量数据接入接口8，在本体内设有系统配置主机，以及与所述系统配置主机相连、且与实时数据接入接口7和存量数据接入接口8连接的数据接入接口。数据接入接口通过CPU类型的数据处理器与存储装置连接，存储装置可以根据需要进行缓存存储装置和/或永久存储装置的设置。存储装置还与用于对数据粒度处理的决策单元连接，并与所述决策单元一同连接至系统配置主机。在决策单元中包含有对数据粒度进行计算处理的CPU类型的粒度处理器和与所述粒度处理器配合的粒度缓存装置。

本体上还设有与本体内的日志采集器对应的日志传输接口9，所述日志采集器与所述系统配置主机连接，可将运行日志进行导出。本体内还设有对本体内部的温度和适度进行监测的温度监测器和湿度监测器，以及通过一体机管理主机连接至所述系统配置主机的状态监测服务器，所述的温度监测器和湿度监测器可通过系统配置主机将监测信号传递给设于本体上的温/湿度显示屏5上进行显示。状态监测服务器通过系统配置主机将监测信号传递给设于本体上的状态显示屏3上显示。

当需要导入外接数据时，可以通过与系统配置主机连接的外部数据接入接口连接外接设备后，将数据导入。本体上还设有指示灯4，当接通电源时指示灯4会点亮进行提示，当本体内部有设备运行状态异常或者内存、数据处理器、存储装置等使用率达到阈值时，指示灯4也会进行闪烁提示。