一种数据库管理平台系统的制作方法

1.本发明涉及数据挖掘技术领域，特别是数据库管理平台系统。


背景技术：

2.报表是工厂生产数据提炼的精粹，但生产人员时刻面对大量基础数据计算分析与填报，大部分报表采用人工定时、定点手工计算的方式进行填写，对填写人员数据抄写精确性、时效性及数据计算准确性有着较高的要求，花费大量的生产时间。由于报表需要人工输入，大量的手动计算和数据输入使得上送报表数据准确性无法保证，需要大量时间核对。计算机屏幕上输出的报表不够友好，一般只是输出到pdf、excel文档，再用打印机打印。传统的报表系统实现方式单一，运维人员经常需花费大量时间用excel设计制作个性化报表。由于缺少验算模块，使得上送报表中的数据逻辑缺乏少自检机制，可能发生数据采集和提取的错误无法被自动发现。


技术实现要素：

3.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
4.鉴于上述和/或现有的数据库管理平台系统中存在的问题，提出了本发明。
5.因此，本发明所要解决的问题在于如何提供数据库管理平台系统。
6.为解决上述技术问题，本发明提供如下技术方案：数据库管理平台系统，其包括，。
7.作为本发明所述数据库管理平台系统的一种优选方案，其中，包括：
8.报表模块100，所述报表模块100包括发布与部署功能；
9.分析模块200，所述分析模块200包括基础数据管理功能；
10.数据挖掘模块300，所述数据挖掘模块300包括系统监控功能：
11.所述报表模块100、分析模块200与数据挖掘模块300按顺序串联排布，数据从报表模块100进入系统。
12.作为本发明所述数据库管理平台系统的一种优选方案，其中：所述报表模块100用于实现数据的格式化显示及图形化显示。
13.作为本发明所述数据库管理平台系统的一种优选方案，其中：所述分析模块200利用olap引擎复杂的查询能力、数据对比、数据抽取和报表来进行探测式数据分析。
14.作为本发明所述数据库管理平台系统的一种优选方案，其中：所述数据挖掘模块300使用datamining引擎按照预定的规则对数据库和数据仓库中已有的数据进行信息开采、挖掘和分析；
15.所述datamining引擎在数据挖掘模块300中的应用分为两大类：预测型模式和描述型模式。
16.作为本发明所述数据库管理平台系统的一种优选方案，其中：所述datamining引
擎的应用类型包括
17.预测型模式是可以根据数据项的值精确确定某种结果的模式；
18.描述型模式是对数据中存在的规则做一种描述，或者根据数据的相似性把数据分组。
19.作为本发明所述数据库管理平台系统的一种优选方案，其中：所述datamining引擎使用决策树算法进行数据挖掘算法计算。
20.作为本发明所述数据库管理平台系统的一种优选方案，其中所述决策树算法的计算公式是：
[0021][0022]
所述s是数据样本集合，qa是子集合不同性的样例比例；
[0023]
数据挖掘模块(300)通过属性划分进行熵减少的期望训练，其计算公式为：
[0024][0025]
其中v(e)是属性e的值域，s是样本集合，sv是s中在属性e上值等于e的样本集合。
[0026]
作为本发明所述数据库管理平台系统的一种优选方案，其中：所述报表模块(100)将存入数据按照存储时间与存储权限分成第一类别p1、第二类别p2、第三类别p3、第四类别p4；
[0027]
当存入数据是暂存低权限数据放入p1；
[0028]
当存入数据是暂存高权限数据放入p2；
[0029]
当存入数据是长期低权限数据放入p3；
[0030]
当存入数据是长期高权限数据放入p4；
[0031]
所述第一类别与第二类别数据分别放入独立的数据服务器中，由磁盘阵列相连接，第三类别与第四类别数据分别放入独立的应用服务器中。
[0032]
作为本发明所述数据库管理平台系统的一种优选方案，其中：所述数据挖掘模块300中的数据库访问端口在分布式、异构异质的系统中提供公共沟通与协作机制，采用了对象化实现技术、xml数据格式定义、二次开发接口，使之与平台无关。
[0033]
作为本发明所述数据库管理平台系统的一种优选方案，其中：所述异构异质系统提供支撑异构、分布环境下系统运行的基础功能及统一工作机制。
[0034]
本发明有益效果为数据库管理平台系统相比于原有系统，拥有相对更少的错误率，相对更快的数据查询速度与相对效率更高的数据挖掘效率，查询速度达到了原有系统三分之一的数据查询速度达到了0.90s，数据挖掘效率达到了原有效率的三倍达到了3.11g/s。
附图说明
[0035]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0036]
图1为实施例1中数据库管理平台系统的系统总体架构图。
[0037]
图2为实施例1中数据库管理平台系统的存储模式图。
[0038]
图3为实施例1中数据库管理平台系统的系统结构图。
具体实施方式
[0039]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
[0040]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0041]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0042]
实施例1
[0043]
参照图1到图3，为本发明第一个实施例，该实施例提供了数据库管理平台系统，数据库管理平台系统包括
[0044]
报表模块100，所述报表模块100包括发布与部署功能；
[0045]
分析模块200，所述分析模块200包括基础数据管理功能；
[0046]
数据挖掘模块300，所述数据挖掘模块300包括系统监控功能：
[0047]
所述报表模块100、分析模块200与数据挖掘模块300按顺序串联排布，数据从报表模块100进入系统，其如图3所示。
[0048]
从图3可以看出，综合报表系统可以概括为：“一个平台，三大组件，七大引擎”。
[0049]
一个平台即统一的“智能运维统计分析系统”，作为与业务无关的智能分析处理的基础平台，该平台集成了部件化的九大核心工作引擎，所谓“7+x”核心工作平台，指的是：报表及图表引擎、olap引擎、datamining引擎、数据交换管理引擎、流数据计算引擎、调度管理引擎、监控引擎。
[0050]
该平台具有以下功能：
[0051]
报表及图表引擎：实现数据的格式化显示及图形化显示；
[0052]
olap引擎：实现在线联机分析功能，实现维度转换、上钻、下钻、旋转，维度组合，度量值组合等操作；可利用olap复杂的查询能力、数据对比、数据抽取和报表来进行探测式数据分析。
[0053]
datamining引擎：与olap的探测式数据分析不同，数据挖掘是按照预定的规则对数据库和数据仓库中已有的数据进行信息开采、挖掘和分析，从中识别和抽取隐含的模式和有趣知识，为决策者提供决策依据。数据挖掘的任务是从数据中发现模式。模式有很多种，按功能可分为两大类：预测型模式和描述型模式；预测型模式是可以根据数据项的值精确确定某种结果的模式。挖掘预测型模式所使用的数据也都是可以明确知道结果的。描述型模式是对数据中存在的规则做一种描述，或者根据数据的相似性把数据分组。描述型模式不能直接用于预测。在实际应用中，根据模式的实际作用，可细分为分类模式、回归模式、时间序列模式、聚类模式、关联模式和序列模式6种。其中包含的具体算法有货篮分析、聚类
检测、神经网络、决策树方法、遗传算法、连接分析、基于范例的推理和粗集以及各种统计模型。
[0054]
数据交换管理引擎：实现不同系统之间的数据交换及通信；
[0055]
调度管理引擎：通过配置的方式，实现多任务的自动或并发执行的容器；
[0056]
数据库访问引擎：实现异构平台、异构数据库的数据库访问封装，支持mdx查询、jdbc访问、标准sql查询等；
[0057]
该平台还实现如下的目标：
[0058]
标准化：提供支撑异构、分布环境下系统运行的基础功能及统一工作机制；
[0059]
开放性：在分布式、异构异质的系统中提供公共沟通与协作机制，采用了对象化实现技术、xml数据格式定义、二次开发接口，使之与平台无关；
[0060]
基础化：抽象了支持业务系统的底层公共功能，形成包含构成公共运行环境所需各项要素——协同、交互、数据；
[0061]
安全化：提供多元化、安全的应用系统基础服务环境。
[0062]
作为本发明所述数据库管理平台系统的一种优选方案，其中：所述datamining引擎使用决策树算法进行数据挖掘算法计算。
[0063]
作为本发明所述数据库管理平台系统的一种优选方案，其中所述决策树算法的计算公式是：
[0064][0065]
所述s是数据样本集合，qa是子集合不同性的样例比例；
[0066]
数据挖掘模块300通过属性划分进行熵减少的期望训练，这样信息收益可以定义为样本按照某种属性划分是造成熵减少的期望，可以区分训练样本中正负样本的能力，其计算公式是:
[0067][0068]
其中v(e)是属性e的值域，s是样本集合，sv是s中在属性e上值等于e的样本集合。原理就是把每个属性的信息增益作为划分样本的标准，在所有属性的信息增益中选择具有最高信息增益的属性作为总集合的属性，创建一个结点，对属性的每个值创建分支，据此划分样本。
[0069]
本系统不仅是一个自动生成报表的应用软件,而且是整个电厂企业报表业务的综合管理系统，建立了模板库和报表库，模板和报表集中存储，全局共享；设计了灵活的权限管理方案；报表转发机制允许将生成的报表或其中部分sheet以文本、网页、excel文件等格式向外转发；计划任务管理允许系统按照用户定制的计划自动执行生成报表、转发文件等任务；系统状态管理可以轻松完成系统的备份、恢复和移植等工作,降低系统故障造成的损失。
[0070]
1)加强数据挖掘能力
[0071]
本系统支持多数据源,同一报表可以展示不同数据源的数据,新数据源可以被方便地引入系统。数据查询支持简单的结构化查询和复杂的存储过程；数据统计和计算既可以使用数据库和excel软件的内置函数、自定义函数，也可以使用本系统提供的计算工具；
统计和计算以数据集二维矩阵形式为基础，既可以对单个数值单行单列矩阵进行计算，也具备批量数据运算的能力。
[0072]
2)计算量平台设计
[0073]
对于常用的计算量,通过模板机制自动写入数据库,形成计算量平台,在设计报表模板时,可以直接从计算量平台内提取数据。这既避免了重复写公式的工作,提高了模板制作效率,又解决了非本部门用户不了解具体计算公式的问题,同时避免了报表生成过程中的重复计算,降低了系统的负荷。
[0074]
3)注重用户体验。
[0075]
本系统设计过程充分考虑用户的感受，尽量简化操作步骤，所有操作均实现界面化,且使用网页在线操作。全局数据集的设计以及数据定义与映射关系相结合的模板设置模式，既保证了模板设置的灵活性，又使模板制作过程更加清晰、简洁。
[0076]
4)充分发挥excel和数据库本身的功能
[0077]
excel软件本身具有丰富的格式定义、强大的计算统计功能以及vba编程接口，数据库本身具有丰富的计算函数，本系统完全支持并充分发挥了这些固有的功能。
[0078]
作为本发明所述数据库管理平台系统的一种优选方案，其中：所述报表模块(100)将存入数据按照存储时间与存储权限分成第一类别p1、第二类别p2、第三类别p3、第四类别p4；
[0079]
当存入数据是暂存低权限数据放入p1；
[0080]
当存入数据是暂存高权限数据放入p2；
[0081]
当存入数据是长期低权限数据放入p3；
[0082]
当存入数据是长期高权限数据放入p4；
[0083]
所述第一类别与第二类别数据分别放入独立的数据服务器中，由磁盘阵列相连接，第三类别与第四类别数据分别放入独立的应用服务器中。
[0084]
作为本发明所述数据库管理平台系统的一种优选方案，其中：所述数据挖掘模块300中的数据库访问端口在分布式、异构异质的系统中提供公共沟通与协作机制，采用了对象化实现技术、xml数据格式定义、二次开发接口，使之与平台无关。
[0085]
作为本发明所述数据库管理平台系统的一种优选方案，其中：所述异构异质系统提供支撑异构、分布环境下系统运行的基础功能及统一工作机制，如图2所示。
[0086]
实施例2
[0087]
本发明第二个实施例，其不同于第一个实施例的是：还包括
[0088]
基于数据驱动的智能运维统计分析高级应用系统需要接入大量的数据，本系统在嘉陵江公司集控中心现有平台基础之上建立高级应用，通过综合数据平台横向获取安全i、ii、iii中监控系统、水情系统等等各系统数据，并进行事务计算。
[0089]
根据四川电网调度信息系统现状和业务需求，接入并规范各数据源，建设业务报表模型，包括：生产报表、水调报表、电量报表、运行日志报表、辅机报表等。此类报表需对运行设备进行数据收集，同时还需结合运维人员的专业化知识和经验，完成此类运行报表的开发工作。辅机运行报表的开发将使辅机运行工况更为实时化、更为直观化。
[0090]
运行人员平均每日凌晨处理报表时长达到了2个小时以上，嘉陵江公司集控人员也较少，而需填报的报表则容易影响监盘工作的高效开展。若按照单人每小时工资200元估
算，该报表系统的投入，嘉陵江公司每年可节省至少29.2万元的人力成本，
[0091]
其中计算方式为200元*2小时*2人*365日＝292000元，
[0092]
所以报表系统的投入可在两年内收回成本，该成本仅按照人员工资进行计算，未将省调考核导致的电量损失计算在内。
[0093]
实施例2中的系统硬件配置如下：
[0094][0095]
[0096]
通过辅机性能统计，可以形象的了解辅机在机组各个工况下的运行时间间隔及运行时长，尤其是今年省调要求投入agc，辅机设备明显启停次数加多，更需要对辅机设备进行深入的监视，保证各个平台的平稳运行，及时发现问题，避免投入后导致机组非停而遭到省调考核。
[0097][0098]
在进行数据对比分析后可以明显看出，数据库管理平台系统相比于原有系统，拥有相对更少的错误率，相对更快的数据查询速度与相对效率更高的数据挖掘效率，查询速度达到了原有系统三分之一的数据查询速度达到了0.90s，数据挖掘效率达到了原有效率的三倍达到了3.11g/s。
[0099]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。