基于MDL文件的数据提取方法、装置、设备及存储介质与流程

本发明属于计算机技术领域，尤其涉及一种基于mdl文件的数据提取方法、装置、设备及存储介质。

背景技术：

商业智能也称作bi(businessintelligence)，随着商业智能技术的不断普及，现在很多单位都开始搭建适合自己业务分析的商务智能系统。ibm的cognos是近年来bi项目中大量采用的工具之一，cognos展现的报表基于统一的元数据模型，统一的元数据模型为应用提供了统一、一致的视图，用户可以在浏览器中自定义报表，格式灵活，元素丰富，而且可以通过querystudio进行开放式查询，cognos还具有独特的穿透钻取(drillthrough)、切片(slice)、切块(dice)、以及旋转(pivot)等功能，使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解，有效地将各种相关的信息关联起来，使用户在分析汇总数据的同时能够深入到自己感兴趣的细节数据中，以便更全面地了解情况，做出正确决策。cognos凭借其高性能的大用户数和大数据量的数据访问分析能力、灵活易用的报表制作能力、高安全性、高可扩展性、易用性和低部署成本等优势，在业界得到较广泛的应用。

在实际应用中，通过cognos中的多维数据设计工具transfomer建立多维数据模型(即mdl文件)，通过mdl文件可以对不同数据源中的数据进行存储，从而可以满足用户从多角度多层次进行数据查询和分析的需要。然而，目前，从mdl文件中查询或提取数据时，只能通过cognos打开对应的mdl文件，再手工打开每一部分的数据源(datasource)，复制出对应的sql代码，以查询或提取出相应的数据，此查询或提取数据的方法步骤多、耗时长，且易受机器性能影响，大量查询时严重影响工作效率，导致用户体验较差。

技术实现要素：

本发明的目的在于提供一种基于mdl文件的数据提取方法、装置、设备及存储介质，旨在解决现有技术只能通过cognos等软件打开对应的mdl文件，导致从mdl文件中查询或提取数据步骤繁琐、耗时长、效率低的问题。

一方面，本发明提供了一种基于mdl文件的数据提取方法，所述方法包括下述步骤：

根据接收到的脚本启动指令运行预先编译的目标数据提取脚本；

当所述目标数据提取脚本接收到用户发送的数据提取请求时，根据所述数据提取请求得到目标多维数据模型，其中，所述目标多维数据模型为目标mdl文件；

根据得到的所述目标mdl文件，所述目标数据提取脚本从所述目标mdl文件中批量提取目标数据。

优选地，所述目标数据提取脚本从所述目标mdl文件中批量提取目标数据的步骤，包括：

所述目标数据提取脚本接收所述用户根据所述目标多维数据模型输入预设数据源的维表信息和度量信息；

所述目标数据提取脚本根据接收到的所述维表信息和所述度量信息从所述目标多维数据模型中提取对应的结构化查询语言脚本；

所述目标数据提取脚本根据所述结构化查询语言脚本从所述数据源中提取出对应的目标数据。

进一步优选地，所述目标数据提取脚本根据接收到的所述维表信息和所述度量信息从所述目标多维数据模型中提取对应的结构化查询语言脚本的步骤，包括：

所述目标数据提取脚本根据所述维表信息和所述度量信息分析所述目标mdl文件中存储的维表与维表、维表与事实表之间的映射关系，根据所述映射关系提取所述结构化查询语言脚本。

进一步优选地，根据所述映射关系提取所述结构化查询语言脚本的步骤，包括：

当所述目标数据提取脚本根据所述映射关系提取到多个不同的结构化查询语言脚本时，将所述多个不同的结构化查询语言脚本合成为一个结构化查询语言脚本，并对合成后的所述结构化查询语言脚本进行语句检查。

另一方面，本发明提供了一种基于mdl文件的数据提取装置，所述装置包括：

目标脚本启动单元，用于根据接收到的脚本启动指令运行预先编译的目标数据提取脚本；

数据模型获得单元，用于当所述目标数据提取脚本接收到用户发送的数据提取请求时，根据所述数据提取请求得到目标多维数据模型，其中，所述目标多维数据模型为目标mdl文件；以及

目标数据提取单元，用于根据得到的所述目标mdl文件，所述目标数据提取脚本从所述目标mdl文件中批量提取目标数据。

优选地，所述目标数据提取单元包括：

源信息接收单元，用于所述目标数据提取脚本接收所述用户根据所述目标多维数据模型输入预设数据源的维表信息和度量信息；

语言脚本提取单元，用于所述目标数据提取脚本根据接收到的所述维表信息和所述度量信息从所述目标多维数据模型中提取对应的结构化查询语言脚本；以及

数据提取子单元，用于所述目标数据提取脚本根据所述结构化查询语言脚本从所述数据源中提取出对应的目标数据。

进一步优选地，所述语言脚本提取单元包括：

脚本提取子单元，用于所述目标数据提取脚本根据所述维表信息和所述度量信息分析所述目标mdl文件中存储的维表与维表、维表与事实表之间的映射关系，根据所述映射关系提取所述结构化查询语言脚本。

进一步优选地，所述脚本提取子单元包括：

语言脚本合并单元，用于当所述目标数据提取脚本根据所述映射关系提取到多个不同的结构化查询语言脚本时，将所述多个不同的结构化查询语言脚本合成为一个结构化查询语言脚本，并对合成后的所述结构化查询语言脚本进行语句检查。

另一方面，本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于mdl文件的数据提取方法所述的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于mdl文件的数据提取方法所述的步骤。

本发明通过预先编译的目标数据提取脚本从目标mdl文件中批量提取目标数据，从而通过轻量级的目标数据提取脚本实现从mdl文件中批量提取数据，解决了通过cognos、matlab等软件打开mdl文件耗时长、及步骤繁琐的问题，提高了数据提取的便利性、快捷性和效率。

附图说明

图1是本发明实施例一提供的基于mdl文件的数据提取方法的实现流程图；

图2是本发明实施例二提供的对实施例一步骤s103的实现流程图；

图3是本发明实施例三提供的基于mdl文件的数据提取装置的结构示意图；

图4是本发明实施例四提供的基于mdl文件的数据提取装置中目标数据提取单元的结构示意图；以及

图5是本发明实施例五提供的计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的基于mdl文件的数据提取方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s101中，根据接收到的脚本启动指令运行预先编译的目标数据提取脚本。

本发明实施例适用于数据处理平台、设备或系统，例如个人计算机、服务器等。在本发明实施例中，脚本通常是由应用程序临时调用并执行，该应用程序可以为系统应用程序或者第三方应用程序，当数据处理平台、设备或系统接收到用户发送的脚本启动指令时，根据该脚本启动指令运行目标数据提取脚本，其中，脚本启动指令包含目标数据提取脚本的名称，目标数据提取脚本(script)是使用一种特定的描述性语言，依据一定的格式编写的可执行文件，又称作宏或批处理文件。

在根据接收到的脚本启动指令运行预先编译的目标数据提取脚本之前，优选地，搭建python环境，并通过python编写该目标数据提取脚本，从而降低系统成本，并提高目标数据提取脚本的可读性、可维护性、以及可扩展性。

在步骤s102中，当目标数据提取脚本接收到用户发送的数据提取请求时，根据数据提取请求得到目标多维数据模型，其中，该目标多维数据模型为目标mdl文件。

在本发明实施例中，模型定义语言(modeldefinitionlanguage，简称mdl)文件是以美国标准信息交换码(americanstandardcodeforinformationinterchange，ascll)文件存储，且mdl文件可供联机分析处理系统(on-lineanalyticalprocessing，olap)中的cognos报表工具powerplay生成对应的立方体cube，以供用户从多个角度探索和分析数据集。当该目标数据提取脚本接收到用户通过命令提示符(cmd命令)或者目标数据提取脚本提供的接口(api)发送的数据提取请求时，目标数据提取脚本对该数据提取请求进行解析，得到数据提取请求中包含的、待提取数据对应的目标多维数据模型的存储路径，该存储路径可以为本地存储路径，也可以为云端存储路径，目标数据提取脚本再根据该存储路径得到目标多维数据模型，其中，该目标多维数据模型在cognos中存储为目标模型定义语言(modeldefinitionlanguage，mdl)文件，也即目标mdl文件。

在根据数据提取请求得到目标多维数据模型之前，优选地，通过cognos8.4版本中的多维数据设计工具transfomer生成mdl格式的目标多维数据模型，从而提高了目标多维数据模型的兼容性和可移植性。

在步骤s103中，根据得到的目标mdl文件，目标数据提取脚本从该目标mdl文件中批量提取目标数据。

在本发明实施例中，根据用户的数据提取需求，目标数据提取脚本从目标mdl文件中批量提取或者查询对应的目标数据。

在本发明实施例中，通过预先编译的目标数据提取脚本从目标mdl文件中批量提取目标数据，从而通过轻量级的目标数据提取脚本实现从mdl文件中批量提取数据，解决了通过cognos、matlab等软件打开mdl文件耗时长、及步骤繁琐的问题，提高了数据提取的便利性、快捷性和效率。

实施例二：

图2示出了本发明实施例二提供的实施例一步骤s103的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s201中，目标数据提取脚本接收用户根据目标多维数据模型输入预设数据源的维表信息和度量信息。

在本发明实施例中，目标多维数据模型是由多个维度和指标(即度量)组成、可以自由钻取的模型，也即是将源数据划分为不同维度和不同度量的数据进行存储,其中，维度为每个数据所对应的多个方面，例如，一个销售额数据可以对应销售时间、销售地点、产品等多个方面，而每个维度均可以包括多个子维度，且该多个子维度可以属于不同的层次，例如，销售时间维度可以包括多个时间子维度，且各个时间子维度可以属于年份、季度、月份等三个层次中的任一层次，在数据仓库中，维度成员存放于维表中。度量为每个数据所代表的实际含义，比如，一个数据可以代表销售额、库存量、订单量等含义，其存在与事实表中。在本发明实施例中，目标数据提取脚本根据存储路径获得目标多维数据模型后，读取获得的目标多维数据模型的内容，并显示输出，接收用户根据显示输出的目标多维数据模型内容输入预设数据源的维表信息和度量信息，以用于从该数据源中提取出想要的数据，其中，预设数据源包括内部数据源和外部数据源，内部数据源中存储的是来自于企业自身在日常业务活动中长时间积累、存储在gosl和/或者gort(例如，sqlserver、oracle、db2等)数据库中的数据总集，外部数据源中存储的是除企业自身以外的第三方平台的数据，例如利用网络爬虫等工具在网络上抓取企业比较感兴趣的数据。

优选地，目标多维数据模型能够从多个不同数据源连接数据，其中，各数据源能够存储在不同的数据仓库中，或者各数据源中的数据能够以不同的存储格式存储，从而通过多数据源降低了transfomer处理的数据的总量，提高了目标多维数据模型的性能，进而提高了多数据源中数据的管理性能。例如，目标多维数据模型中的一个数据源来自从一个数据仓库提取数据的excel表，而另一个数据源来自从另一个不同的数据仓库提取数据的.iqd文件。

在步骤s202中，该目标数据提取脚本根据接收到的维表信息和度量信息从目标多维数据模型中提取对应的结构化查询语言脚本。

在本发明实施例中，目标数据提取脚本根据接收到的维表信息和度量信息从目标多维数据模型中提取对应的结构化查询语言(structuredquerylanguage，sql)脚本。

在目标数据提取脚本根据接收到的维表信息和度量信息从目标多维数据模型中提取对应的结构化查询语言脚本时，优选地，目标数据提取脚本根据接收到的维表信息和度量信息分析mdl文件中存储的维表与维表、维表与事实表之间的映射关系，根据该映射关系提取对应的sql脚本。

进一步优选地，该映射关系包括不同数据立方体之间各表的映射关系、以及不同cognos版本形成的mdl文件之间的关联关系，从而提高了后续提取数据的完整性。

进一步优选地，当根据该映射关系提取到多个不同的sql脚本时，将该多个不同的sql脚本合成为一个sql脚本，并对合成后的sql脚本进行语句检查，以确定该sql脚本的正确性，从而提高了后续提取数据的完整性和正确性。

在步骤s203中，该目标数据提取脚本根据结构化查询语言脚本从数据源中提取出对应的目标数据。

在本发明实施例中，目标数据提取脚本根据解析出的sql脚本中包含的表信息(例如，表名、表类型、表与事实表的关联信息)从对应的内部数据源和外部数据源中提取出对应的数据，以供用户进行数据修改、删除、添加等操作。

在本发明实施例中，首先，目标数据提取脚本接收用户根据目标多维数据模型输入预设数据源的维表信息和度量信息，然后，根据接收到的维表信息和度量信息从目标多维数据模型中提取对应的结构化查询语言脚本，最后，根据结构化查询语言脚本从数据源中提取出对应的目标数据，从而通过轻量级的目标数据提取脚本实现从mdl文件中批量提取数据，解决了通过cognos、matlab等软件打开mdl文件耗时长、及步骤繁琐的问题，提高了数据提取的便利性、快捷性和效率。

实施例三：

图3示出了本发明实施例三提供的基于mdl文件的数据提取装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

目标脚本启动单元31，用于根据接收到的脚本启动指令运行预先编译的目标数据提取脚本。

本发明实施例适用于数据处理平台、设备或系统，例如个人计算机、服务器等。在本发明实施例中，脚本通常是由应用程序临时调用并执行，该应用程序可以为系统应用程序或者第三方应用程序，当数据处理平台、设备或系统接收到用户发送的脚本启动指令时，根据该脚本启动指令运行目标数据提取脚本，其中，脚本启动指令包含目标数据提取脚本的名称，目标数据提取脚本(script)是使用一种特定的描述性语言，依据一定的格式编写的可执行文件，又称作宏或批处理文件。

在根据接收到的脚本启动指令运行预先编译的目标数据提取脚本之前，优选地，搭建python环境，并通过python编写该目标数据提取脚本，从而降低系统成本，并提高目标数据提取脚本的可读性、可维护性、以及可扩展性。

数据模型获得单元32，用于当目标数据提取脚本接收到用户发送的数据提取请求时，根据数据提取请求得到目标多维数据模型，其中，该目标多维数据模型为目标mdl文件。

在本发明实施例中，模型定义语言(modeldefinitionlanguage，简称mdl)文件是以美国标准信息交换码(americanstandardcodeforinformationinterchange，ascll)文件存储，且mdl文件可供联机分析处理系统(on-lineanalyticalprocessing，olap)中的cognos报表工具powerplay生成对应的立方体cube，以供用户从多个角度探索和分析数据集。当该目标数据提取脚本接收到用户通过命令提示符(cmd命令)或者目标数据提取脚本提供的接口(api)发送的数据提取请求时，目标数据提取脚本对该数据提取请求进行解析，得到数据提取请求中包含的、待提取数据对应的目标多维数据模型的存储路径，该存储路径可以为本地存储路径，也可以为云端存储路径，目标数据提取脚本再根据该存储路径得到目标多维数据模型，其中，该目标多维数据模型在cognos中存储为目标模型定义语言(modeldefinitionlanguage，mdl)文件，也即目标mdl文件。

在根据数据提取请求得到目标多维数据模型之前，优选地，通过cognos8.4版本中的多维数据设计工具transfomer生成mdl格式的目标多维数据模型，从而提高了目标多维数据模型的兼容性和可移植性。

目标数据提取单元33，用于根据得到的目标mdl文件，目标数据提取脚本从该目标mdl文件中批量提取目标数据。

在本发明实施例中，根据用户的数据提取需求，目标数据提取脚本从目标mdl文件中批量提取或者查询对应的目标数据。

在本发明实施例中，基于mdl文件的数据提取装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例四：

图4示出了本发明实施例四提供的目标数据提取单元33的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

源信息接收单元41，用于该目标数据提取脚本接收用户根据目标多维数据模型输入预设数据源的维表信息和度量信息。

在本发明实施例中，目标多维数据模型是由多个维度和指标(即度量)组成、可以自由钻取的模型，也即是将源数据划分为不同维度和不同度量的数据进行存储,其中，维度为每个数据所对应的多个方面，例如，一个销售额数据可以对应销售时间、销售地点、产品等多个方面，而每个维度均可以包括多个子维度，且该多个子维度可以属于不同的层次，例如，销售时间维度可以包括多个时间子维度，且各个时间子维度可以属于年份、季度、月份等三个层次中的任一层次，在数据仓库中，维度成员存放于维表中。度量为每个数据所代表的实际含义，比如，一个数据可以代表销售额、库存量、订单量等含义，其存在与事实表中。在本发明实施例中，目标数据提取脚本根据存储路径获得目标多维数据模型后，读取获得的目标多维数据模型的内容，并显示输出，接收用户根据显示输出的目标多维数据模型内容输入预设数据源的维表信息和度量信息，以用于从该数据源中提取出想要的数据，其中，预设数据源包括内部数据源和外部数据源，内部数据源中存储的是来自于企业自身在日常业务活动中长时间积累、存储在gosl和/或者gort(例如，sqlserver、oracle、db2等)数据库中的数据总集，外部数据源中存储的是除企业自身以外的第三方平台的数据，例如利用网络爬虫等工具在网络上抓取企业比较感兴趣的数据。

优选地，目标多维数据模型能够从多个不同数据源连接数据，其中，各数据源能够存储在不同的数据仓库中，或者各数据源中的数据能够以不同的存储格式存储，从而通过多数据源降低了transfomer处理的数据的总量，提高了目标多维数据模型的性能，进而提高了多数据源中数据的管理性能。例如，目标多维数据模型中的一个数据源来自从一个数据仓库提取数据的excel表，而另一个数据源来自从另一个不同的数据仓库提取数据的.iqd文件。

语言脚本提取单元42，用于该目标数据提取脚本根据接收到的维表信息和度量信息从目标多维数据模型中提取对应的结构化查询语言脚本。

在本发明实施例中，目标数据提取脚本根据接收到的维表信息和度量信息从目标多维数据模型中提取对应的结构化查询语言(structuredquerylanguage，sql)脚本。

在目标数据提取脚本根据接收到的维表信息和度量信息从目标多维数据模型中提取对应的结构化查询语言脚本时，优选地，目标数据提取脚本根据接收到的维表信息和度量信息分析mdl文件中存储的维表与维表、维表与事实表之间的映射关系，根据该映射关系提取对应的sql脚本。

进一步优选地，该映射关系包括不同数据立方体之间各表的映射关系、以及不同cognos版本形成的mdl文件之间的关联关系，从而提高了后续提取数据的完整性。

进一步优选地，当根据该映射关系提取到多个不同的sql脚本时，将该多个不同的sql脚本合成为一个sql脚本，并对合成后的sql脚本进行语句检查，以确定该sql脚本的正确性，从而提高了后续提取数据的完整性和正确性。

数据提取子单元43，用于该目标数据提取脚本根据结构化查询语言脚本从数据源中提取出对应的目标数据。

在本发明实施例中，目标数据提取脚本根据解析出的sql脚本中包含的表信息(例如，表名、表类型、表与事实表的关联信息)从对应的内部数据源和外部数据源中提取出对应的数据，以供用户进行数据修改、删除、添加等操作。

优选地，语言脚本提取单元42包括：

脚本提取子单元421，用于目标数据提取脚本根据维表信息和度量信息分析目标mdl文件中存储的维表与维表、维表与事实表之间的映射关系，根据映射关系提取结构化查询语言脚本。

进一步优选地，脚本提取子单元421包括：

语言脚本合并单元4211，用于当目标数据提取脚本根据映射关系提取到多个不同的结构化查询语言脚本时，将多个不同的结构化查询语言脚本合成为一个结构化查询语言脚本，并对合成后的结构化查询语言脚本进行语句检查。

在本发明实施例中，基于mdl文件的数据提取装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

实施例五：

图5示出了本发明实施例五提供的计算机设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的计算机设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述基于mdl文件的数据提取方法实施例中的步骤，例如图1所示的步骤s101至步骤s103，以及图2所示的步骤s201至步骤s203。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如图3所示单元31至33的功能，以及图4所示单元41至43的功能。

在本发明实施例中，通过预先编译的目标数据提取脚本从目标mdl文件中批量提取目标数据，从而通过轻量级的目标数据提取脚本实现从mdl文件中批量提取数据，解决了通过cognos、matlab等软件打开mdl文件耗时长、及步骤繁琐的问题，提高了数据提取的便利性、快捷性和效率。

本发明实施例的计算机设备可以为个人计算机、笔记本电脑。该计算机设备5中处理器50执行计算机程序52时实现基于mdl文件的数据提取方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

实施例六：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于mdl文件的数据提取方法实施例中的步骤，例如，图1所示的步骤s101至步骤s103，以及图2所示的步骤s201至步骤s203。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至33的功能，以及图4所示单元41至45的功能。

在本发明实施例中，通过预先编译的目标数据提取脚本从目标mdl文件中批量提取目标数据，从而通过轻量级的目标数据提取脚本实现从mdl文件中批量提取数据，解决了通过cognos、matlab等软件打开mdl文件耗时长、及步骤繁琐的问题，提高了数据提取的便利性、快捷性和效率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。