一种基于分布式存储的消防大数据管理方法及系统与流程

本发明属于数据管理，具体涉及一种基于分布式存储的消防大数据管理方法及系统。

背景技术：

1、随着信息化技术的发展，在消防监督管理的重点区域安装不同类型探测器、网络摄像头等基础设备，并将所有设备与大数据平台进行连接，构建起现代化特征且能够提高消防监督管理工作智慧化的消防物联网平台。随着物联网设备的不断增加，数据的产生量呈现出指数级增长，传统数据存储和处理架构对数据的调度效率低下，构建专门数据库用于存储大数据据成本过高，且存在因系统故障导致的数据信息丢失等问题。

技术实现思路

1、为解决现有技术中存在的上述问题，本发明提供了一种基于分布式存储的消防大数据管理方法及系统，

2、本发明的目的可以通过以下技术方案实现：

3、s1：实时获取传感器数据、消防物资数据、消防人员数据、路网数据、车辆和装备数据并建立大数据集，将所述大数据集推送至临时缓冲区，在所述临时缓冲区内对所述大数据进行格式化处理得到数据流文件，通过数据流文件的映射信息将所述数据流文件传输至分布式集群系统；

4、s2：在所述分布式集群系统内根据所述数据流文件创建缓存队列，通过并行执行任务框架对所述缓存队列产生的数据包进行压缩编码设置后写入分布式存储节点；

5、s3：建立通信节点和监听节点，所述监听节点用于监听存储节点内数据的变化和存储节点数的变化；所述通信节点用于将客户端的读写请求转化为事务提案并分配调配id，根据所述调配id和所述监听节点进行协调配置管理，同步管理分布式集群系统；

6、s4：通过设置集成管理列表对网络节点、存储节点进行统一配置管理；设置控制平台对分布式集群、调度任务和数据源进行调控管理。

7、具体地，所述临时缓冲区由文件存储服务器组成的环形缓冲区结构，对接收的大数据集进行序列化管理。

8、具体地，所述格式化处理方法为：将所述大数据集转换为数据属性表、数据字段、实时数据切片信息、数据索引组成的元数据，并根据所述大数据集进入临时缓冲区的时间为所述元数据添加时间戳。

9、具体地，所述并行执行任务框架包括应用层、核心层、基础架构层；所述应用层用于将所述缓存队列的数据流文件封装为批处理任务，所述核心层用于加载和控制所述应用层封装的批处理任务，所述基础架构层提供所述应用层和所述核心层的调度接口。

10、具体地，所述压缩编码设置方法为基于字节计算数据包信源的平均信息量，通过所述平均信息量确定编码字符的平均最小比特数，基于数据包信源进行编码压缩，压缩后所占空间为：其中，c(s)为压缩后所占空间，s为信源，i为字符计数，n为数据包字符长度，pi为数据包中字符出现概率，m为信源的字符总数。

11、具体地，所述同步管理方式为：创建临时表存放读取的待同步数据，通过时间配置表存放已处理后的数据的时间戳并获取数据交换时间戳，根据所述数据交换时间戳从存储节点中获取待读取数据并存至所述临时表，根据所述通信节点的调配id将所述临时表中的待读取数据插入更新目标节点中，并同时更新所述时间配置表。

12、具体地，所述调控管理包括调度器、控制器、执行器；所述控制器接收前端应用的请求并生成任务处理流程，所述调度器用于对所述任务处理流程进行划分得到任务依赖关系，将任务提交至所述执行器并同时启动监听任务；所述监听任务用于接收所述执行器返回的任务完成相应数据包，根据所述任务依赖关系对任务执行节点进行排序。

13、一种基于分布式存储的消防大数据管理系统，包括：数据采集传输模块、数据存储模块、数据分析模块、数据管理模块；

14、所述数据采集传输模块用于实时获取传感器数据、消防物资数据、消防人员数据、路网数据、车辆和装备数据并建立大数据集，将所述大数据集推送至临时缓冲区，在所述临时缓冲区内对所述大数据进行格式化处理得到数据流文件，通过数据流文件的映射信息将所述数据流文件传输至分布式集群系统；

15、所述数据存储模块用于在所述分布式集群系统内根据所述数据流文件创建缓存队列，通过并行执行任务框架对所述缓存队列产生的数据包进行压缩编码设置后写入分布式存储节点；

16、所述数据分析模块用于建立通信节点和监听节点，所述监听节点用于监听存储节点内数据的变化和存储节点数的变化；所述通信节点用于将客户端的读写请求转化为事务提案并分配调配id，根据所述调配id和所述监听节点进行协调配置管理，同步管理分布式集群系统；

17、所述数据管理模块用于通过设置集成管理列表对网络节点、存储节点进行统一配置管理；设置控制平台对分布式集群、调度任务和数据源进行调控管理。

18、本发明的有益效果为：

19、(1)通过设置数据采集传输模块，利用物联网推广移动终端应用，提高信息采集主动性，规范监督管理、火灾救援相关数据，实现多部门一体化共享信息，提高信息采集的精准化、高效化以及采集手段多样化，精准指导火灾救援、消防检查等工作的开展。

20、(2)通过对数据进行格式化处理，在不同数据源之间保持数据的一致性，以及清理和校验大规模数据以确保其质量；通过对系统节点进行数据调度任务分配，根据分配的任务进行评价和估计，并且不断更新实时任务，优化系统性能，根据需求快速扩展或缩减计算和存储资源，而无需投入大量资本成本。

技术特征：

1.一种基于分布式存储的消防大数据管理方法，其特征在于，包括：

2.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述临时缓冲区由文件存储服务器组成的环形缓冲区结构，对接收的大数据集进行序列化管理。

3.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述格式化处理方法为：将所述大数据集转换为数据属性表、数据字段、实时数据切片信息、数据索引组成的元数据，并根据所述大数据集进入临时缓冲区的时间为所述元数据添加时间戳。

4.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述并行执行任务框架包括应用层、核心层、基础架构层；所述应用层用于将所述缓存队列的数据流文件封装为批处理任务，所述核心层用于加载和控制所述应用层封装的批处理任务，所述基础架构层提供所述应用层和所述核心层的调度接口。

5.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述压缩编码设置方法为基于字节计算数据包信源的平均信息量，通过所述平均信息量确定编码字符的平均最小比特数，基于数据包信源进行编码压缩，压缩后所占空间为：其中，c(s)为压缩后所占空间，s为信源，i为字符计数，n为数据包字符长度，pi为数据包中字符出现概率，m为信源的字符总数。

6.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述同步管理方式为：创建临时表存放读取的待同步数据，通过时间配置表存放已处理后的数据的时间戳并获取数据交换时间戳，根据所述数据交换时间戳从存储节点中获取待读取数据并存至所述临时表，根据所述通信节点的调配id将所述临时表中的待读取数据插入更新目标节点中，并同时更新所述时间配置表。

7.根据权利要求1所述的一种基于分布式存储的消防大数据管理方法，其特征在于，所述调控管理包括调度器、控制器、执行器；所述控制器接收前端应用的请求并生成任务处理流程，所述调度器用于对所述任务处理流程进行划分得到任务依赖关系，将任务提交至所述执行器并同时启动监听任务；所述监听任务用于接收所述执行器返回的任务完成相应数据包，根据所述任务依赖关系对任务执行节点进行排序。

8.一种基于分布式存储的消防大数据管理系统，其特征在于，包括：数据采集传输模块、数据存储模块、数据分析模块、数据管理模块；

技术总结
本发明涉及一种基于分布式存储的消防大数据管理方法及系统，属于数据管理技术领域。其中，该方法包括：实时获取消防数据并建立大数据集，将大数据集推送至临时缓冲区进行格式化处理得到数据流文件，通过数据流文件的映射信息将数据流文件传输至分布式集群系统；在分布式集群系统内创建数据流文件对应的缓存队列，通过并行执行任务框架对缓存队列产生的数据包进行压缩编码设置后写入分布式存储节点；通过通信节点和监听节点对分布式存储节点进行协调配置管理，同步管理分布式集群系统；通过集成管理列表对存储节点进行统一配置管理；设置控制平台对分布式集群、调度任务和数据源进行调控管理。实现了数据的快速处理、稳定存储和高可靠度传输。

技术研发人员：姚建文,段俊洲
受保护的技术使用者：宇消安全科技（上海）有限公司
技术研发日：
技术公布日：2024/5/16