专利名称：基于关系型联机分析处理的智能数据聚集方法及其系统的制作方法
技术领域：
本发明涉及一种智能数据处理方法，更具体的说，涉及一种基于关系型连接分析处理的智能数据处理方法。
背景技术：
数据仓库系统中，查询速度是一个很棘手的问题，目前对于大数据量的事实表查询，查询的速度非常的慢。特别是在关系型联机分析处理(ROLAP)中的查询，如果要想提高查询的速度，就必须先根据业务需求把聚集表建立起来。但往往企业的业务分析是很复杂的，可能随时都会根据当前的状况改变查询的方式，粒度，维度等。这就给提前建立聚集表带来了难度，这时如果没有聚集表，就会去查询事实表，但事实表往往非常大，查询起来非常的慢。关系型联机分析处理(ROLAP)在数据分析中是一种很常用的方法，他的优点是存储空间小，但查询效率低，在建立聚集的维护方面，需要大量的人力资源去做维护。而基于多维的联机分析(Multidimension OLAP，M0LAP)在数据分析中查询效率较高，但需求提前做聚集，并需要较大空间。发明内容
本发明所要解决的技术问题是，克服现有技术的缺点，提供一种查询效率高、占用空间小并且节省人力成本的基于关系型联机分析处理的智能数据聚集方法。
本发明的另一目的是，提供能够实现本方法的基于关系型联机分析处理的智能数据聚集系统。
为了解决以上技术问题，本发明提供一种基于关系型联机分析处理的智能数据聚集方法，按如下步骤进行(1)建立聚集表，并建立聚集表与维度表和事实表的关系；(2)分析聚集表与维度表和事实表的关系，生成数据提取、转化和加载的数据处理模块；(3)数据处理模块在数据库中定时启动，将事实表中的数据定时增加到聚集表中。
(4)系统查询数据时，根据匹配聚集知识库中的信息的情况，判断查询的是聚集表还是事实表。
本发明进一步限定的技术方案是步骤(1)中，建立聚集表的方法为(I )获得查询语句的查询频度、查询所用的时间或者报表模型的查询频度、查询所用的时间；(II )根据步骤(I )中的数据，找到查询频度较大的和查询时间较大的查询语句或者报表模型；(III)分析获得的查询语句的维度、测度和粒度；如果是报表模型，则需要把模型转换成查询语句形式。
(IV )根据分析出查询语句的特点，包含的维度、测度和粒度，在数据仓库中创建具有最优查询时间和粒度的聚集表。
进一步的所述步骤(1)中，还建立了聚集管理表、维度字典表和测度字典表，所述维度字典表和测度字典表通过外键与聚集管理表相关联，用于根据聚集管理表的权重去寻找需要查询的聚集表。
进一步的步骤(4)中，匹配聚集知识库中的信息的方法为根据系统查询时传进来的信息，先在维度字典表和测度字典表中找到相应的编码，再判断聚集表中是否有匹配信息且是否已经建立了聚集表，如果有匹配信息，则视为找到聚集表，则查询聚集表；否则， 查询事实表。
进一步的步骤(4)中，系统查询数据时的步骤为(a)根据前台的查询请求的维度与测度查询聚集管理表，如果有匹配数据，执行步骤 (b)，如果无匹配数据，执行步骤(C)；(b)返回相应聚集表名称，查询语句根据返回表名直接对数据库查询，查询结果在界面展示；(c)执行步骤(b)后，对此聚集表在聚集管理表中出现的次数进行判断，如果等于0，执行步骤(d)，如果大于0小于阀值，执行步骤(e)，如果大于阀值执行步骤(f)；(d)将此聚集表插入聚集管理表中，查询事实表，给界面返回数据；(e)查询聚集管理表，给界面返回数据，并更新聚集管理表中此聚集表出现的次数；(f)建立相应聚集表并更改聚集管理表中此聚集表的状态后，返回界面信息询问是否查询事实表，如果是，则查询事实表给界面返回数据，如果否，则直接返回界面。
同时，本发明还公布了基于关系型联机分析处理的智能数据聚集系统，所述系统包括事实表模块用于存储实际的明细数据；聚集表模块用于存储事实表数据的汇总数据；维度表模块用于存储聚集表的相关维度；数据处理模块用于将事实表中的数据定时增加到聚集表中；定时器模块用于定时开启数据处理模块。
对本发明的系统的进一步限定方案为所述系统还包括聚集管理表模块、维度字典表模块和测度字典表模块，所述维度字典表模块和测度字典表模块通过外键与聚集管理表模块相关联，用于根据聚集管理表模块的权重去寻找需要查询的聚集表模块。
进一步的所述系统还包括阀值设置器，用于设定阀值控制系统建立新的聚集表模块。
本发明的有益效果是这种方法可极大的简化在数据仓库中建立聚集表的流程， 方便维护聚集表，提高工作效率，可减少数据仓库人员人工的去建立聚集汇总表的过程。在 BI系统中，由于所有的分析都是通过拖放维度和测度去分析业务数据的，数据分析人员随时都可能会更改分析的方法，当分析完毕后，得出结果，最后沉淀下来，形成一个固定的查询或者分析的报表，这个查询或分析报表是要经常使用的，就需要考虑效率问题，这时就需要人工建立聚集查询汇总表。此方法就是根据这个经常查询的报表或者分析报表，自动的建立聚集汇总表。建立完毕后，系统又会自动能识别到这个聚集汇总表，这样，就极大的提高的工作效率和减少了数据仓库人员的维护工作量，提高数据仓库系统的查询速度，特别是提高关系型联机分析处理速度，降低维护成本。
图1为本发明的基于关系型联机分析处理的智能数据聚集方法。
具体实施方式
本实施例提供的一种基于关系型联机分析处理的智能数据聚集系统，所述系统包括事实表模块用于存储实际的明细数据；聚集表模块，用于存储事实表数据的汇总数据；维度表模块用于存储聚集表的相关维度；数据处理模块用于将事实表中的数据定时增加到聚集表中；定时器用于定时开启数据处理模块。
所述系统还包括聚集管理表模块、维度字典表模块和测度字典表模块，所述维度字典表模块和测度字典表模块通过外键与聚集管理表相关联，用于根据聚集管理表模块的权重去寻找需要查询的聚集表模块。所述维度字典表模块中存储的是维度名称，属性，层次，名称，层次级别，维度编码等信息。所述测度字典表模块中存储的是测度字段，名称，编码，公式等信息。所述聚集管理表模块中存储的是聚集名称，维度编码，测度编码，权重，公式等{曰息。
所述系统还包括阀值设置器，用于设定阀值控制系统建立新的聚集表。
本发明公开的基于关系型联机分析处理的智能数据聚集系统的工作方法按如下步骤进行(1)建立聚集表，并建立聚集表与维度表和事实表的关系。同时，建立聚集管理表、维度字典表和测度字典表，所述维度字典表和测度字典表通过外键与聚集管理表相关联，用于根据聚集管理表的权重去寻找需要查询的聚集表。
建立聚集表的方法为(I )获得查询语句的查询频度、查询所用的时间或者报表模型的查询频度、查询所用的时间；(II )根据步骤(I )中的数据，找到查询频度较大的和查询时间较大的查询语句或者报表模型；(III)分析获得的查询语句的维度、测度和粒度；如果是报表模型，则需要把模型转换成查询语句形式。
(IV )根据分析出查询语句的特点，包含的维度、测度和粒度，在数据仓库中创建具有最优查询时间和粒度的聚集表。
(2)分析聚集表与维度表和事实表的关系，生成数据提取、转化和加载的数据处理模块；(3)数据处理模块在数据库中定时启动，将事实表中的数据定时增加到聚集表中。
(4)系统查询数据时，根据匹配聚集知识库中的信息的情况，判断查询的是聚集表还是事实表。
匹配聚集知识库中的信息的方法为根据系统查询时传进来的信息，先在维度字典表和测度字典表中找到相应的编码，再判断聚集表中是否有匹配信息且是否已经建立了聚集表，如果有匹配信息，则视为找到聚集表，则查询聚集表；否则，查询事实表。
系统查询数据时的步骤为(a)根据前台的查询请求的维度与测度查询聚集管理表，如果有匹配数据，执行步骤 (b)，如果无匹配数据，执行步骤(C)；(b)返回相应聚集表名称，查询语句根据返回表名直接对数据库查询，查询结果在界面展示；(c)执行步骤(b)后，对此聚集表在聚集管理表中出现的次数进行判断，如果等于0，执行步骤(d)，如果大于0小于阀值，执行步骤(e)，如果大于阀值执行步骤(f)；(d)将此聚集表插入聚集管理表中，查询事实表，给界面返回数据；(e)查询聚集管理表，给界面返回数据，并更新聚集管理表中此聚集表出现的次数；(f)建立相应聚集表并更改聚集管理表中此聚集表的状态后，返回界面信息询问是否查询事实表，如果是，则查询事实表给界面返回数据，如果否，则直接返回界面。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
权利要求
1.基于关系型联机分析处理的智能数据聚集方法，其特征在于按如下步骤进行(1)建立聚集表，并建立聚集表与维度表和事实表的关系；(2)分析聚集表与维度表和事实表的关系，生成数据提取、转化和加载的数据处理模块；(3)数据处理模块在数据库中定时启动，将事实表中的数据定时增加到聚集表中；(4)系统查询数据时，根据匹配聚集知识库中的信息的情况，判断查询的是聚集表还是事实表。
2.根据权利要求1所述的基于关系型联机分析处理的智能数据聚集方法，其特征在于步骤(1)中，建立聚集表的方法为(I )获得查询语句的查询频度、查询所用的时间或者报表模型的查询频度、查询所用的时间；(II )根据步骤(I )中的数据，找到查询频度较大的和查询时间较大的查询语句或者报表模型；(III)分析获得的查询语句的维度、测度和粒度；如果是报表模型，则需要把模型转换成查询语句形式；(IV)根据分析出查询语句的特点，包含的维度、测度和粒度，在数据仓库中创建具有最优查询时间和粒度的聚集表。
3.根据权利要求1所述的基于关系型联机分析处理的智能数据聚集方法，其特征在于所述步骤(1)中，还建立了聚集管理表、维度字典表和测度字典表，所述维度字典表和测度字典表通过外键与聚集管理表相关联，用于根据聚集管理表的权重去寻找需要查询的聚集表。
4.根据权利要求1或3所述的基于关系型联机分析处理的智能数据聚集方法，其特征在于步骤(4)中，匹配聚集知识库中的信息的方法为根据系统查询时传进来的信息，先在维度字典表和测度字典表中找到相应的编码，再判断聚集表中是否有匹配信息且是否已经建立了聚集表，如果有匹配信息，则视为找到聚集表，则查询聚集表；否则，查询事实表。
5.根据权利要求1-3中任一权利要求所述的基于关系型联机分析处理的智能数据聚集方法，其特征在于步骤(4)中，系统查询数据时的步骤为(a)根据前台的查询请求的维度与测度查询聚集管理表，如果有匹配数据，执行步骤 (b)，如果无匹配数据，执行步骤(C)；(b)返回相应聚集表名称，查询语句根据返回表名直接对数据库查询，查询结果在界面展示；(c)执行步骤(b)后，对此聚集表在聚集管理表中出现的次数进行判断，如果等于0，执行步骤(d)，如果大于0小于阀值，执行步骤(e)，如果大于阀值执行步骤(f)；(d)将此聚集表插入聚集管理表中，查询事实表，给界面返回数据；(e)查询聚集管理表，给界面返回数据，并更新聚集管理表中此聚集表出现的次数；(f)建立相应聚集表并更改聚集管理表中此聚集表的状态后，返回界面信息询问是否查询事实表，如果是，则查询事实表给界面返回数据，如果否，则直接返回界面。
6.基于关系型联机分析处理的智能数据聚集系统，其特征在于所述系统包括事实表模块用于存储实际的明细数据；聚集表模块用于存储事实表数据的汇总数据； 维度表模块用于存储聚集表的相关维度； 数据处理模块用于将事实表中的数据定时增加到聚集表中； 定时器模块用于定时开启数据处理模块。
7.根据权利要求5所述的基于关系型联机分析处理的智能数据聚集系统，其特征在于所述系统还包括聚集管理表模块、维度字典表模块和测度字典表模块，所述维度字典表模块和测度字典表模块通过外键与聚集管理表模块相关联，用于根据聚集管理表模块的权重去寻找需要查询的聚集表模块。
8.根据权利要求5所述的基于关系型联机分析处理的智能数据聚集系统，其特征在于所述系统还包括阀值设置器，用于设定阀值控制系统建立新的聚集表模块。
全文摘要
本发明公开了一种基于关系型联机分析处理的智能数据聚集方法，按如下步骤进行(1)建立聚集表，并建立聚集表与维度表和事实表的关系；(2)分析聚集表与维度表和事实表的关系，生成数据提取、转化和加载的数据处理模块；(3)数据处理模块在数据库中定时启动，将事实表中的数据定时增加到聚集表中。(4)系统查询数据时，根据匹配聚集知识库中的信息匹配，判断查询的是聚集表还是事实表。本发明公开的方法，查询效率高、占用空间小并且节省人力成本。
文档编号G06F17/30GK102521374SQ20111042754
公开日2012年6月27日 申请日期2011年12月20日 优先权日2011年12月20日
发明者吴斌, 袁红岗, 高峡 申请人:南京捷梭软件科技有限公司