一种大数据管理系统的制作方法

本发明涉及大数据技术领域，具体为一种大数据管理系统。

背景技术：

随着计算机技术的飞速发展，各行各领域数据呈几何级快速增长。这些数据来自各个方面，从搜集天气情况的感测器、数码图片、在线的视频资料，到网络购物的交易记录，手机的全球定位系统信号等，伴随着数据规模的急剧膨胀，各行业累计的数据量越来越大，数据类型也越来越多，数据结构越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，传统的串行数据库系统已经难以适应这种飞速增长的应用需求，在生产实践中表现出的能力明显不足，无法满足大数据时代的管理要求，为此，我们提出了一种大数据管理系统投入使用，以解决上述问题。

技术实现要素：

本发明的目的在于提供一种大数据管理系统，以解决上述背景技术中提出的传统串行数据处理方式不能满足大数据管理要求的问题。

为实现上述目的，本发明提供如下技术方案：一种大数据管理系统，包括数据采集模块，所述数据采集模块电性输出连接数据预处理单元，所述数据预处理单元电性输出连接数据存储系统，所述数据存储系统分别电性输出连接数据分类模块和数据索引单元，所述数据分类模块和数据索引单元均电性输出连接数据整合单元，所述数据整合单元分别电性输出连接查询访问端口和数据分析系统，所述数据分析系统电性输出连接数据建模单元，所述数据建模单元电性输出连接数据服务系统，所述数据服务系统电性输出连接数据结果展示单元，所述数据服务系统电性双向连接运维管理单元。

优选的，所述数据存储系统包括综合数据管理系统，所述综合数据管理系统分别电性双向连接综合数据库、实时数据库和分布式文件系统，所述综合数据库电性输出连接数据库同步发布单元。

优选的，所述实时数据库内部包括数据库管理单元、内存数据库和硬盘数据库，所述分布式文件系统包括源数据管理、访问控制和冗余文件解析模块。

优选的，所述数据分析系统包括分布式调度单元，所述分布式调度单元电性输入连接分布式计算模型，所述分布式计算模型分别电性双向连接数据转换模块、数据聚合单元、数据关联单元和数据挖掘单元。

优选的，所述数据服务系统包括分布式数据总线，所述分布式数据总线分别电性双向连接服务管理系统、数据访问服务和业务逻辑服务，所述数据访问服务和业务逻辑服务均电性输出连接数据缓存模块。

优选的，所述数据访问服务内部包括数据库访问单元、实时数据访问单元和文件系统访问单元，所述业务逻辑服务包括推荐系统、智能解析模块和统计报表单元。

优选的，所述运维管理单元包括监测传感器单元、数据源和仪表组件，所述监测传感器单元、数据源和仪表组件均电性输出连接采集配置单元，所述采集配置单元电性输出连接中继节点，所述中继节点电性输出连接信号放大单元，所述信号放大单元电性输出连接控制终端。

与现有技术相比，本发明的有益效果是：该系统支持数据采集点的地理分布和网络跨域，支持不同业务系统的不同数据类型的采集，能够实时的对数据进行抓取，检测数据的前后状态变化，在满足一致性要求的基础上，能够安全、可靠、快速有效的对多类型、多格式、多特性的数据进行存储，通过数据分类聚合和数据索引标记等技术对数据进行处理，并提供统一高效的查询访问服务，对海量的数据进行分析探索和挖掘，搜寻数据的模式及特征，寻找数据背后的信息变化，通过分析结构概念化和系统化，并多维度多样化立体的对数据信息进行展示，满足当今社会信息数据膨胀式发展所必需的数据管理要求。

附图说明

图1为本发明系统框图；

图2为本发明数据存储系统框图；

图3为本发明数据分析系统框图；

图4为本发明数据服务系统框图；

图5为本发明运维管理单元系统框图；

图6为本发明工作流程图。

图中：1数据采集模块、2数据预处理单元、3数据存储系统、31综合数据管理系统、32综合数据库、33数据库同步发布单元、34实时数据库、35分布式文件系统、4数据分类模块、5数据索引单元、6查询访问端口、7数据分析系统、71分布式调度单元、72分布式计算模型、73数据转换模块、74数据聚合单元、75数据关联单元、76数据挖掘单元、8数据建模单元、9数据服务系统、91分布式数据总线、92服务管理系统、93数据访问服务、94业务逻辑服务、95数据缓存模块、10数据结果展示单元、11运维管理单元、111监测传感器单元、112数据源、113仪表组件、114采集配置单元、115中继节点、116信号放大单元、117控制终端、12数据整合单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-6，本发明提供一种技术方案：一种大数据管理系统，包括数据采集模块1，所述数据采集模块1电性输出连接数据预处理单元2，所述数据预处理单元2电性输出连接数据存储系统3，所述数据存储系统3分别电性输出连接数据分类模块4和数据索引单元5，所述数据分类模块4和数据索引单元5均电性输出连接数据整合单元12，所述数据整合单元12分别电性输出连接查询访问端口6和数据分析系统7，所述数据分析系统7电性输出连接数据建模单元8，所述数据建模单元8电性输出连接数据服务系统9，所述数据服务系统9电性输出连接数据结果展示单元10，所述数据服务系统9电性双向连接运维管理单元11。

其中，所述数据存储系统3包括综合数据管理系统31，所述综合数据管理系统31分别电性双向连接综合数据库32、实时数据库34和分布式文件系统35，所述综合数据库32电性输出连接数据库同步发布单元33，所述实时数据库34内部包括数据库管理单元、内存数据库和硬盘数据库，所述分布式文件系统35包括源数据管理、访问控制和冗余文件解析模块，所述数据分析系统7包括分布式调度单元71，所述分布式调度单元71电性输入连接分布式计算模型72，所述分布式计算模型72分别电性双向连接数据转换模块73、数据聚合单元74、数据关联单元75和数据挖掘单元76，所述数据服务系统9包括分布式数据总线91，所述分布式数据总线91分别电性双向连接服务管理系统92、数据访问服务93和业务逻辑服务94，所述数据访问服务93和业务逻辑服务94均电性输出连接数据缓存模块95，所述数据访问服务93内部包括数据库访问单元、实时数据访问单元和文件系统访问单元，所述业务逻辑服务94包括推荐系统、智能解析模块和统计报表单元，所述运维管理单元11包括监测传感器单元111、数据源112和仪表组件113，所述监测传感器单元111、数据源112和仪表组件113均电性输出连接采集配置单元114，所述采集配置单元114电性输出连接中继节点115，所述中继节点115电性输出连接信号放大单元116，所述信号放大单元116电性输出连接控制终端117。

工作原理：在步骤系统初始化中，对整个系统首先进行初始化，完成后执行系统故障检测步骤，若出现异常时，返回上一步骤进行重新初始化，若正常，则执行数据分析步骤，在数据分析步骤中对大数据进行分析，完成后进行数据整合，将各种类型的数据整合处理后，通过数据结果展示输出，则完成这个数据管理过程。

通过数据采集模块1对多种类、多来源的全业务流程数据进行采集获取，利用数据预处理单元2进行层级化的抽取、过滤等处理，数据存储系统3能够在满足一致性要求的基础上，安全可靠的对多类型、多格式、多特性的数据进行存储，利用数据分类模块4和数据索引单元5对存储后的数据进行分类与索引处理，经由数据整合单元12整合零散的源数据，查询访问端口6可外接查询设备对系统信息实时查询，通过数据分析系统7，从存放在数据存储系统3中的大量源数据和用户行为数据中获取价值信息，利用数据建模单元8建立数据模型，通过数据服务系统9经由数据结果展示单元10对分析结果概念化和系统化，并多维度和多样化立体的进行展示，利用运维管理单元11配置和控制权限管理，监控报警以及故障管理，在数据存储系统3中，通过综合数据管理系统31综合管理综合数据库32、实时数据库34和分布式文件系统35，由数据库同步发布单元33实时的发布综合数据库32中的信息，在数据分析系统7中，通过分布式调度单元71控制分布式计算模型72，实现数据转换。数据聚合、数据关联和数据的挖掘功能，数据分析全面，分析能力强，在数据服务系统9中，利用分布式数据总线91分别控制服务管理系统92、数据访问服务93和业务逻辑单元94，能够全面的对终端分散的源数据进行深化处理，并由数据缓存模块95实施缓存，在运维管理单元11中，通过对监测传感器111、数据源112和仪表组件113中的数据信息经由采集配置单元114实时采集，通过中继节点115和信号放大单元116对信号源信号放大，并将放大后的信号传输至控制终端117中，该系统能够满足当今社会信息数据膨胀式发展所必需的数据管理要求。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。