本发明涉及数据分析
技术领域：
：，更具体地，涉及一种大容量数据分析方法和装置。
背景技术：
：实现多维数据分析是数据仓库系统需要具备的一个主要功能,它接受用户的多维数据查询请求,生成多维数据集，联机分析处理(on_lineanalyticalprocessing，olap)是数据仓库技术的一个重要组成部分。olap技术是通过olap服务器，将数据仓库的数据抽取和转换为多维数据结构,以反映用户所能理解的企业的真实的“维”,然后通过多维分析工具对信息的多个角度、多个侧面,进行快速、一致和交互的存取，从而使分析人员、经理和管理人员能够对数据进行深入的分析和观察。其中，数据抽取和转换工具将数据按照一定的要求，导入到多维数据仓库中，数据仓库的使用者通过前端访问和分析工具，对多维数据分析产生的数据集按照一定的方式进行显示输出。而多维数据分析，则根据前端工具输入的数据查询请求获取数据，并生成一定格式的数据集。一般使用开源建模工具mechanicalapdl和ansysworkbench，但是过于复杂的操作流程影响了用户的体验，降低了使用效率。由于数据层的限制，应用层在实现数据的查询功能时，对中小规模的数据能够做到即时的响应，但是对数据库中存储的海量数据和大数据平台中存储的数据，难以保证查询的实时性。其次，olap查询引擎一般使用mondrian，它用mdx语言实现查询，只支持从关系型数据库中读取数据，但是对大数据平台缺少对接接口而且支持的聚合函数有限。此外，olap查询引擎不具有对数据的深度分析和数据挖掘能力。技术实现要素：本发明提供一种克服上述问题或者至少部分地解决上述问题的一种大容量数据分析方法和装置。根据本发明的一个方面，提一种大容量数据分析方法，包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在server对象的mdstores集合上调用addnew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在database.mdstores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在server对象的mdstores集合上设置olapmode属性，选择多维数据集的存储方式；通过向process方法指定一个可选参数来选择多维数据集的处理方式。作为优选的，所述多维数据集的存储方式包括多维olap、关系olap和混合olap。作为优选的，设定维度的粒度具体包括：在多维数据集中创建度量，指定度量在源数据库中的位置、类型和大小，并指出度量的聚合方式。一种大容量数据分析设备，包括：多个处理器、多个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述大容量数据分析方法。一种大容量数据分析设备，包括：多个处理器；以及与所述处理器通信连接的多个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述大容量数据分析方法。一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述大容量数据分析方法。本发明提出的一种大容量数据分析方法和装置，在dso、adomd及mdx(多维数据表达式)等技术的基础上，构造了一个多维数据分析器.本文描述的实现方式能被嵌入到其他的应用程序中，以实现整个数据仓库应用的集成，减少非专业用户使用管理工具的复杂性。附图说明图1为本发明的大容量数据分析方法示意图；图2为本发明的大容量数据分析装置示意图。具体实施方式下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。如图1所示，图中示出了一种大容量数据分析方法，包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在server对象的mdstores集合上调用addnew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在database.mdstores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在server对象的mdstores集合上设置olapmode属性，选择多维数据集的存储方式；多维数据集的存储方式包括多维olap(olapmodemolapindex)、关系olap(olapmoderolap)和混合olap(olapmodehybridindex)。通过向process方法指定一个可选参数来选择多维数据集的处理方式。microsoftsqlserver2000及以上版本都提供了相关的数据仓库开发技术，使得用户可以根据需要开发自己的应用程序，多维表达式mdx(multi-dimensionalexpress)支持对多维数据集的操作。adomd是ado的扩展，它允许基于com的应用程序通过用于olap的oledb接口实现对多维数据源的操作。包括在olap数据库中对多维数据集层次结构的只读访问；查询处理和数据检索功能.dso(decisionsupportobject，决策支持对象)提供了对olap数据库的管理能力。本实施例中，在分析服务器和数据透视表服务的基础上，对多维数据集当中的数据进行多维分析，由用户自己选择数据源的向导；可以由用户自己选择分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集。同时系统也将本地多维数据集列表显示，用户可直接选择一个多维数据集作为多维数据分析的数据源。在多维分析模块中，通过adomd对象模型和pivottableservice提供的服务，访问多维数据集。列表显示出多维数据集的所有维度和度量值。由用户自己选择数据显示的维度和度量值，根据用户选择的维度和度量值，构造mdx查询语句进行多维查询分析，利用adomd对象模型的cellset对象存储多维分析结果，最后显示多维数据，供用户查看数据。在server对象的mdstores集合上调用addnew方法创建分析服务数据库.语法形式如下：dsoserver.mdstores.addnew数据库名调用datasources集合的addnew方法，添加包括连接字符串在内的相关属性,为分析数据库指定一个新的数据源。在database.mdstores集合上创建多维数据集：创建一个多维数据集名:setdsocube＝dsodb.mdstores.addnew；设置多维数据集的数据源:dsocube.datasources.addnewdsodb.datasources(数据源名).name；指定事实表:dsocube.sourcetable＝事实表名在多维数据集中增加维度:dsocube.dimensions.addnew维度名；在多维数据集中创建度量,首先需要指定度量；在源数据库中的位置、类型和大小；其次，需要指出度量怎样被聚合。本实施例公开一种大容量数据分析设备，包括：多个处理器；以及与所述处理器通信连接的多个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述大容量数据分析方法，例如包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在server对象的mdstores集合上调用addnew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在database.mdstores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在server对象的mdstores集合上设置olapmode属性，选择多维数据集的存储方式；通过向process方法指定一个可选参数来选择多维数据集的处理方式。图2是示出本申请实施例的大容量数据分析设备的结构框图。参照图2，所述大容量数据分析设备，包括：处理器(processor)810、存储器(memory)830、通信接口(communicationsinterface)820和总线840；其中，所述处理器810、存储器830、通信接口820通过所述总线840完成相互间的通信；所述通信接口820用于该测试设备与显示装置的通信设备之间的信息传输；所述处理器810用于调用所述存储器830中的程序指令，以执行上述各方法实施例所提供的大容量数据分析方法，例如包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在server对象的mdstores集合上调用addnew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在database.mdstores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在server对象的mdstores集合上设置olapmode属性，选择多维数据集的存储方式；通过向process方法指定一个可选参数来选择多维数据集的处理方式。本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的大容量数据分析方法，例如包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在server对象的mdstores集合上调用addnew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在database.mdstores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在server对象的mdstores集合上设置olapmode属性，选择多维数据集的存储方式；通过向process方法指定一个可选参数来选择多维数据集的处理方式。本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的大容量数据分析方法，例如包括：选择数据源的向导、分析服务的提供者、分析服务器的位置、以及多维数据库和多维数据集；在server对象的mdstores集合上调用addnew方法创建分析服务数据库，添加包括连接字符串在内的相关属性，为分析服务数据库指定一个新的数据源；在database.mdstores集合上创建多维数据集，创建事实表、维度表，定义度量的数据列，并根据业务要求，设定维度的粒度；在server对象的mdstores集合上设置olapmode属性，选择多维数据集的存储方式；通过向process方法指定一个可选参数来选择多维数据集的处理方式。综上所述，本发明提出一种大容量数据分析方法和装置，在dso、adomd及mdx(多维数据表达式)等技术的基础上，构造了一个多维数据分析器.本文描述的实现方式能被嵌入到其他的应用程序中，以实现整个数据仓库应用的集成，减少非专业用户使用管理工具的复杂性。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12