本发明涉及计算机技术领域，特别是涉及一种生成数据立方体的监控方法和系统。
背景技术：
在目前的各类应用中，联机分析处理(olap，onlineanalyticalprocessing)系统是数据仓库的主要应用之一，通过生成数据立方体(cube)，将结果存储在某多个维度值所映射的空间中，将原始数据转化为贴近用户所理解的业务维度的，提供从各种可能地视角观察信息的软件技术，便于分析师、管理者和执行者来快速、一致、交互地访问数据。为从多个数据中心提取数据并生成数据立方体，需要将数据从源系统同步到目标系统，再经过联机分析处理系统预计算。然而，在进行预计算时，往往是采用手动进行构建，在构建过程中容易出现错误，不能及时预警，并且，即便预计算成功也可能会出现数据错误，导致影响目标系统的数据使用。
技术实现要素：
本发明实施例提供了一种生成数据立方体的监控方法，包括：根据预设的监控规则，实时获取执行生成数据立方体的任务的日志信息；根据预设的预警规则和所获取的日志信息，判断在执行任务时是否出现异常；以及如果出现异常，则生成预警信息。
可选地，所述监控规则包括获取任务开始时刻和/或任务结束时刻。
可选地，所述预警规则包括以下任意一项或多项：如果任务开始时刻相对于预定开始时刻有延迟，则表明执行任务时出现异常；如果任务结束时刻相对于预定结束时刻有延迟，则表明执行任务时出现异常；或者如果任务执行时间长于预定时间阈值，则表明执行任务时出现异常。
可选地，所述任务执行时间是根据任务开始时刻和任务结束时刻计算的。
可选地，所述监控规则和所述预警规则是记录在配置文件中的，并允许被动态修改。
可选地，所述生成数据立方体的监控方法还包括将所述预警信息发送到用户终端。
本发明实施例还提供了一种生成数据立方体的监控系统，包括：接收模块，被配置为用于根据预设的监控规则，实时获取执行生成数据立方体的任务的日志信息；处理模块，被配置为用于根据预设的预警规则和所获取的日志信息，判断在执行任务时是否出现异常；以及预警模块，被配置为用于如果出现异常，生成预警信息。
可选地，所述监控规则包括获取任务开始时刻和/或任务结束时刻。
可选地，所述处理模块还包括判断模块，用于判断以下任意一项或多项：
如果任务开始时刻相对于预定开始时刻有延迟，则表明执行任务时出现异常；如果任务结束时刻相对于预定结束时刻有延迟，则表明执行任务时出现异常；或者如果任务执行时间长于预定时间阈值，则表明执行任务时出现异常。
可选地，所述生成数据立方体的监控系统还包括计算模块，用于根据任务开始时刻和任务结束时刻计算所述任务执行时间。
可选地，所述生成数据立方体的监控系统还包括配置文件，用于记录所述监控规则和所述预警规则，并允许被动态修改。
可选地，所述生成数据立方体的监控系统还包括发送模块，被配置为用于将所述预警信息发送到用户终端。
本发明实施例还提供了一种生成数据立方体的监控系统，所述系统包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据预设的监控规则，实时获取执行生成数据立方体的任务的日志信息；根据预设的预警规则和所获取的日志信息，判断在执行任务时是否出现异常；以及如果出现异常，则生成预警信息。
本发明实施例还提供了一种可读存储介质，所述可读存储介质存储计算机指令，所述计算机指令用于执行根据预设的监控规则，实时获取执行生成数据立方体的任务的日志信息；根据预设的预警规则和所获取的日志信息，判断在执行任务时是否出现异常；以及如果出现异常，则生成预警信息。
附图说明
为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本发明实施例的生成数据立方体的监控方法的流程图；
图2示意性示出了根据本发明另一实施例的生成数据立方体的监控方法的流程图；
图3示意性示出了根据本发明实施例的生成数据立方体的监控系统的结构框图；
图4示意性示出了根据本发明实施例的处理模块的结构框图；
图5示意性示出了根据本发明另一实施例的生成数据立方体的监控系统的结构框图。
图6示意性示出了根据本发明实施例的生成数据立方体的监控系统的结构框图。
具体实施方式
根据结合附图对本发明示例性实施例的以下详细描述，本发明的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本发明中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。
在本说明书中，下述用于描述本发明原理的各种实施例只是说明，不应该以任何方式解释为限制发明的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不背离本发明的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同参考数字用于相似功能和操作。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本申请公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本申请公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用。在本申请公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。
数据仓库是为各种级别的决策制定过程提供支持的各种类型数据的战略集合。数据仓库是出于分析性报告和决策支持的目的而创建的。简单的说就是将日常生产活动中所产生的历史数据按照用户感兴趣的侧重点进行存储，以便于日后进行联机分析处理数据挖掘。数据仓库中存储着大量的历史数据，并定期从生产活动数据库中导入新的数据。数据仓库中的历史数据即为联机分析处理数据挖掘的原始数据。
联机分析处理系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作。通过对信息或者多维数据的多种可能的观察形式进行快速、稳定一致和交互性的存取，使分析人员、管理人员或者执行人员能够从多种角度对数据进行深入观察以达到复杂分析和数据预测目的一类软件技术。该软件技术其特点包括：快速性、可分析性、多维性、信息性。
在联机分析处理系统中，信息被抽象视为一个数据立方体，数据立方体是一类多维矩阵，让用户从多个角度探索和分析数据集。它包括维度和度量。维度是人们观察数据的特定角度，是考虑问题是的一类属性，属性集合构成一个维。例如企业常常从时间的角度来观察产品的销售，因此时间可以作为一个维，其他常见的维度还有例如地区维度和商品维度。度量是用户感兴趣的一个测量值或者要分析展示的数据，即指标。比如网站的浏览量、访问量，再如电子商务的订单量、销售额等。多维分析就是指对以多维形式组织起来的数据采取切片、切块、旋转、上卷、下钻等各种分析动作，以求从多维度剖析数据，使最终用户能从多个角度观察数据库中的数据，从而获取包含在数据中深层次的信息。
为从多个数据中心提取数据进行联机分析处理数据挖掘，需要将数据从源系统同步到目标系统，再经过联机分析处理系统预计算，生成数据立方体。然而在实现本发明过程中，发明人发现现有技术中至少存在如下问题，在进行预计算时是采用手动进行构建，在构建过程中容易出现错误，不能及时预警，并且，即便预计算成功也可能会出现数据错误，导致影响目标系统的数据使用。
图1示意性示出了根据本发明实施例的生成数据立方体的监控方法的流程图。
如图1所示，该方法开始于步骤s10。
在步骤s11，根据预设的监控规则，实时获取执行生成数据立方体的任务的日志信息。
根据本发明实施例，该监控规则可以是预先设定的，例如可以包括获取任务开始时刻和/或任务结束时刻。
在步骤s12，根据预设的预警规则和所获取的日志信息，判断在执行任务时是否出现异常。
根据本发明实施例，该预警规则是预先设定的，例如可以包括以下内容的任意一项或多项：如果任务开始时刻相对于预定开始时刻有延迟，则表明执行任务时出现异常；如果任务结束时刻相对于预定结束时刻有延迟，则表明执行任务时出现异常；或者如果任务执行时间长于预定时间阈值，则表明执行任务时出现异常。执行时间可以直接获取，也可以实现为通过任务开始时刻和任务结束时刻计算得到。
根据本发明实施例，步骤s11中的监控规则和/或步骤s12中的预警规则可以被记录在配置文件中，并且允许被动态修改。即，可以根据配置文件中的预警规则和所获取的日志信息，判断在执行任务时是否出现异常。例如，该配置文件可以包括以下的任意一项或多项：任务名称、任务类型、执行时间、任务状态、任务执行次数、是否启用监控、执行监控时需要获取的信息(例如任务开始时刻和/或任务结束时刻)、预定开始时刻、预定结束时刻、预定时间阈值，等等。
在步骤s13，如果出现异常，则生成预警信息。
如前所述，在步骤s12中判断了在执行任务时是否出现异常，根据异常情况，生成预警信息。
根据本发明实施例，例如，预警信息可以包括以下任意一项或多项：任务开始时刻相对于预定开始时刻有延迟；任务结束时刻相对于预定结束时刻有延迟；或者任务执行时间长于预定时间阈值。
根据本发明实施例，本发明对任务执行未发生异常时，是否生成预警信息不做限定。例如，根据预设的预警规则和所获取的日志信息，判断在执行任务时没有出现异常，可以生成预警信息，该预警信息可以包括任务执行未发现异常的信息、任务结束时刻的信息或任务执行时间的信息。
该方法在步骤s14结束。
例如，在某次同步数据准备生成数据立方体时，设置配置文件中生成数据立方体的预定开始时刻为9:00:00，预定结束时刻为10:00:00，预定时间阈值为60分钟。设置监控规则包括获取任务名称、执行时间、任务开始时刻、和任务结束时刻。
在步骤s11，根据预设的监控规则，实时获取执行生成数据立方体的任务的日志信息。该信息包括任务开始时刻为8:58:46，任务结束时刻为10:18:46，执行时间80分钟。
在步骤s12，根据预设的预警规则和所获取的日志信息，判断在执行任务时是否出现异常。包括判断任务开始时刻8:58:46早于预定开始时刻9:00:00，判断任务开始时刻无异常；任务结束时刻10:18:46晚于预定结束时刻10:00:00，判断任务结束时刻有异常；以及任务执行时间80分钟长于预定时间阈值60分钟，判断任务执行时间有异常。
在步骤s13，根据判断出的异常情况，则生成预警信息，包括：
任务开始时刻相对于预定开始时刻无延迟；任务结束时刻相对于预定结束时刻有延迟；以及任务执行时间长于预定时间阈值。
本发明实施例实现了生成数据立方体过程的自动监控，解决了以往需要人工手动监控的弊端，节省了时间成本和人力成本。
图2示意性示出了根据本发明另一实施例的生成数据立方体的监控方法的流程图。
如图2所示，本发明实施例与前述实施例的区别在于，在步骤s13之后，还包括步骤s21，将所述预警信息发送到用户终端。
根据本发明实施例，例如，所述用户终端可以是个人电脑，所述将预警信息发送到用户终端可以是将预警信息以电子邮件形式发送给用户。所述用户终端也可以是手机，所述将预警信息发送到用户终端可以是将预警信息以短信、电子邮件、应用消息等形式发送给用户。所述终端还可以是例如智能穿戴设备等其他可通讯的用户终端，本发明对此不做限制。
根据本发明实施例，配置文件还可以包括以下内容的任意一项或多项：电话列表、电子邮件列表、是否发送邮件标识、是否发送短信标识、或者预警消息发送次数等。当获得预警信息后，可以根据配置文件中配置的方式，将预警信息发送到用户终端。
本发明实施例实现了成功或者失败的预警信息能够自动地发送到终端设备，及时提醒相关人员或设备处理该结果。
图3示意性示出了根据本发明实施例的生成数据立方体的监控系统的结构框图。
如图3所示，生成数据立方体的监控系统300，包括接收模块310、处理模块320以及预警模块330。
接收模块310，例如执行上文参考图1描述的步骤s11的操作，被配置为用于根据预设的监控规则，实时获取执行生成数据立方体的任务的日志信息。
处理模块320，例如执行上文参考图1描述的步骤s12的操作，被配置为用于根据预设的预警规则和所获取的日志信息，判断在执行任务时是否出现异常。
预警模块330，例如执行上文参考图1描述的步骤s13的操作，被配置为用于如果出现异常，生成预警信息。
根据本发明实施例，生成数据立方体的监控系统还包括配置文件，用于记录所述监控规则和所述预警规则，并允许被动态修改。
图4示意性示出了根据本发明实施例的处理模块的结构框图。
如图4所示，处理模块320可以包括判断模块322，被配置为用于判断执行任务时是否出现异常。例如，如果任务开始时刻相对于预定开始时刻有延迟，则表明执行任务时出现异常；或者如果任务结束时刻相对于预定结束时刻有延迟，则表明执行任务时出现异常；或者如果任务执行时间长于预定时间阈值，则表明执行任务时出现异常。
处理模块320还可以包括计算模块321，被配置为用于根据任务开始时刻和任务结束时刻计算所述任务执行时间。
图5示意性示出了根据本发明另一实施例的生成数据立方体的监控系统的结构框图。
如图5所示，本发明实施例的生成数据立方体的监控系统与前述实施例的区别在于，还包括发送模块340，例如执行上文参考图2描述的步骤s21的操作，被配置为用于将所述预警信息发送到用户终端。
图6示意性示出了根据本发明实施例的生成数据立方体的监控系统的结构框图。
如图6所示，生成数据立方体的监控系统600包括处理器610，例如通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器610还可以包括用于缓存用途的板载存储器。处理器610可以是用于执行参考图1或图2描述的根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
生成数据立方体的监控系统600还可以包括具有非易失性或易失性存储器形式的至少一个可读存储介质620，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。
可读存储介质620包括计算机程序621，该计算机程序621包括代码/计算机可读指令，其在由处理器610执行时使得处理器610可以执行例如上面结合图1或图2所描述的方法流程及其任何变形。
计算机程序621可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序621中的代码可以包括一个或多个程序模块，例如包括模块621a、模块621b、……。本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器610执行时，使得处理器610可以执行例如上面结合图1或图2所描述的方法流程及其任何变形。
根据本发明的实施例，生成数据立方体的监控系统600还可以包括用于从其他实体接收信号的输入单元630、以及用于向其他实体提供信号的输出单元640。输入单元630和输出单元640可以被布置为单一实体或者是分离的实体。输入单元630和输出单元640可以在处理器610的控制下，用于训练系统600与外界的交互。
结合图3或图4所示，根据本发明的实施例，接收模块310、处理模块320、计算模块321、判断模块322、预警模块330以及发送模块340，可以实现为参考图6描述的计算机程序模块，其在被处理器610执行时，可以实现上面描述的相应操作。
本发明的一个或多个实施例实现了生成数据立方体过程的自动监控，解决了以往需要人工手动监控的弊端，节省了时间成本和人力成本。成功或者失败的预警信息能够自动地发送到终端设备，及时提醒相关人员或设备处理该结果。
当然，本发明的任一实施方式不一定需要同时达到以上所述的所有优点。
尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。