基于多维数据集的数据处理系统的制作方法

文档序号:12598137阅读:588来源:国知局

本发明涉及数据访问,具体涉及基于多维数据集的数据处理系统。



背景技术:

联机分析技术是一种常用的商业智能分析方法,多维数据集是进行联机分析处理分析的基础,多维数据集中都包含一个事实表,事实表存储分析主题中主要的业务数据,对应一个数据库表或视图,其中我们也是通过建立多维数据集生成用户扩展字段事实表。

出于用户业务需要的灵活性,现在使用的业务系统也具有用户扩展字段功能。例如,当考核系统部署后并未定义有哪些考核指标,这个时候随着业务的发展,用户相继定义了数量、得分、奖金这类考核指标,但是这些指标都是用户需要扩展的字段,系统的部署这时候也没有完全生成。要根据这类用户扩展字段为维度进行多维数据分析,就会需要系统后台人工操作执行并产生新的多维数据集而且占用大量的时间和系统资源,不仅浪费时间,而且效率低下。



技术实现要素:

本发明所要解决的技术问题是海量数据的访问效率低下,时间占用太多,目的在于提供基于多维数据集的数据处理系统,减少用户扩展字段为维度进行多维数据分析而占用的时间和系统资源。

本发明通过下述技术方案实现:

基于多维数据集的数据处理系统,包括:

数据采集模块:从各类数据源收集数据到数据处理中心,针对所收集的各类数据进行初步加工,即格式检查和标准化处理;

多维数据集处理模块:针对采集到的各类数据分别存储用户输入的扩展字段,为扩展字段定义扩展属性,通过视图定义将扩展字段转换为多行形式的视图,将多行形式的视图作为事实表根据扩展属性与预设的维表关联生成多维数据集;通过触发器调用所述视图定义的存储过程动态更新所述视图定义对应的视图;将多维数据集与分析软件进行链接,对所述扩展字段进行转置展示,同时对多维数据集进行多维分析;

数据存储管理模块:针对经过所述多维数据集处理模块处理的数据进行存储管理,所述数据存储管理模块包括数据存储、数据入库存储、数据处理、数据清除、数据安全控制、数据备份与恢复、数据迁移与回迁、数据归档和数据访问接口;

数据服务模块:将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互,实现客户对数据的访问需求,所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理;

数据监控模块:对所述数据采集模块中的数据收集过程、多维数据集处理模块的多维度数据集、数据服务模块中的数据访问过程进行监控记录和处理。在数据处理的过程中,从大量数据中查找需要访问的资料采用一般的方式很费时间,使用多维数据集可以节约时间和精力,减少繁琐的查询工作。

数据存储管理模块具有集中化备份管理、集中化复制管理、连续数据保护、分析和报告和简化管理的优点,提高了数据库可用性、增加了应用程序正常运行时间、减少了业务风险。

进一步地,扩展属性映射到数据源视图中的维度表或视图中的一列或多列。

进一步地,分析软件包括excel数据透视表。

本发明与现有技术相比,具有如下的优点和有益效果:解决海量数据的访问效率低下,浪费时间的问题,减少用户扩展字段为维度进行多维数据分析而占用的时间和系统资源。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:

图1为本发明结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。

实施例

如图1所示,基于多维数据集的数据处理系统,包括:

数据采集模块:从各类数据源收集数据到数据处理中心,针对所收集的各类数据进行初步加工,即格式检查和标准化处理;在本实施例中数据采集模块的数据采集主要针对数字信号。

多维数据集处理模块:针对采集到的各类数据分别存储用户输入的扩展字段,为扩展字段定义扩展属性,通过视图定义将扩展字段转换为多行形式的视图,将多行形式的视图作为事实表根据扩展属性与预设的维表关联生成多维数据集;通过触发器调用所述视图定义的存储过程动态更新所述视图定义对应的视图;将多维数据集与分析软件进行链接,对所述扩展字段进行转置展示,同时对多维数据集进行多维分析;本实施例中多维数据集基于OLAP工具的开发环境、统计分析、时间序列分析、财政报告、用户接口、多层体系结构、图表的功能。

数据存储管理模块:针对经过所述多维数据集处理模块处理的数据进行存储管理,所述数据存储管理模块包括数据存储、数据入库存储、数据处理、数据清除、数据安全控制、数据备份与恢复、数据迁移与回迁、数据归档和数据访问接口;本实施例中数据存储管理模块使用了SAN的存储方式,SAN主要包括存储和备份设备、光纤通道网络连接部件、应用和管理软件,SAN的优势在于网络部署容易、高速存储性能和良好的扩展能力。

数据服务模块:将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互,实现客户对数据的访问需求,所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理;

数据监控模块:对所述数据采集模块中的数据收集过程、多维数据集处理模块的多维度数据集、数据服务模块中的数据访问过程进行监控记录和处理。在数据处理的过程中,从大量数据中查找需要访问的资料采用一般的方式很费时间,使用多维数据集可以节约时间和精力,减少繁琐的查询工作。对所述扩展字段进行行列转置展示包括对所述扩展字段进行行列转置展示。分析软件包括excel数据透视表。

以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1