用于数据仓库的日志分析方法和装置制造方法
【专利摘要】本发明实施例公开了一种用于数据仓库的日志分析方法和装置。所述用于数据仓库的日志分析方法包括：生成记录日志之间的依赖关系的元数据；根据所述元数据对日志是否异常进行检查；若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。本发明实施例公开的用于数据仓库的日志分析方法和装置保证了及时、准确的检查数据仓库中日志数据的异常。
【专利说明】用于数据仓库的日志分析方法和装置
【技术领域】
[0001 ] 本发明实施例涉及网络数据通信【技术领域】，尤其涉及一种用于数据仓库的日志分析方法和装置。
【背景技术】
[0002]随着大数据时代的来临，数据仓库技术受到了人们的青睐。数据仓库是支持管理决策过程、面向主体、集成、非易失、随时间不断变化的数据集合。它是一个信息提供平台，为用户提供各种手段从数据中获取信息和知识。也就是说，数据仓库为支持海量存储和高层决策分析提供了 一种解决方案。
[0003]数据仓库本身是一来与大量的日志数据而运行的。但是，数据仓库内部日志的数据量非常之大。一个普通规模的数据仓库系统每天产生的日志条目通常在亿的数量级。而且，数据仓库系统的日志都是实时产生的，所以要求对数据仓库系统的日志的异常检查手段的实时性较高。因此，通过原有的人工手段对数据仓库系统的日志数据进行及时、准确的异常检查会十分困难。
【发明内容】
[0004]有鉴于此，本发明实施例提出一种用于数据仓库的日志分析方法和装置，以保证及时、准确的检查数据仓库中日志数据的异常。
[0005]第一方面，本发明实施例提供了一种用于数据仓库的日志分析方法，所述方法包括:
[0006]生成记录日志之间的依赖关系的元数据；
[0007]根据所述元数据对日志是否异常进行检查；
[0008]若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
[0009]第二方面，本发明实施例提供了一种用于数据仓库的日志分析装置，所述装置包括:
[0010]元数据生成模块，用于生成记录日志之间的依赖关系的元数据；
[0011]第一日志检查模块，用于根据所述元数据对日志是否异常进行检查；
[0012]提示修改模块，用于若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
[0013]本发明实施例提供的用于数据仓库的日志分析方法和装置，通过生成记录日志之间的依赖关系的元数据，根据所述元数据对日志是否异常进行检查，若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志，从而保证了及时、准确的检查数据仓库中日志数据的异常。
【专利附图】
【附图说明】
[0014]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0015]图1是本发明第一实施例提供的用于数据仓库的日志分析方法的流程图；
[0016]图2是本发明第一实施例提供的日志之间的依赖关系的示意图；
[0017]图3是本发明第二实施例提供的用于数据仓库的日志分析方法的流程图；
[0018]图4是本发明第二实施例提供的入库以后日志之间的依赖关系的示意图；
[0019]图5是本发明第三实施例提供的用于数据仓库的日志分析方法中根据元数据对日志是否异常进行检查的流程图；
[0020]图6是本发明第四实施例提供的用于数据仓库的日志分析方法的流程图；
[0021]图7是本发明第四实施例提供的可以实施所述日志分析方法的数据仓库系统的结构图；
[0022]图8是本发明第五实施例提供的用于数据仓库的日志分析装置的结构图。
【具体实施方式】
[0023]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。
[0024]图1及图2示出了本发明的第一实施例。
[0025]图1是本发明第一实施例提供的用于数据仓库的日志分析方法的流程图。所述用于数据仓库的日志分析方法由用于数据仓库的日志分析装置执行。并且，所述用于数据仓库的日志分析装置集成与数据仓库系统的服务器中。参见图1，所述用于数据仓库的日志分析方法包括:
[0026]S110，生成记录日志之间的依赖关系的元数据。
[0027]数据仓库系统中的日志记录着数据仓库系统基本配置信息和数据仓库内的各种事件。这些事件包括数据仓库系统中关键模块的启动、关闭，管理员对数据仓库系统及其关键模块的维护操作以及用户对数据仓库系统的各种使用操作。由于数据仓库系统本身的规模巨大，其产生的日志的数据量也十分巨大。
[0028]在数据仓库系统的日志数据中，有一些日志数据以依赖与所述数据仓库系统中已有的其他日志数据而产生的。例如一条记录用户对音乐库中一首歌曲的播放行为的日志，该条日志的各个数据字段如下表所示:
[0029]
【权利要求】
1.一种用于数据仓库的日志分析方法，其特征在于，包括: 生成记录日志之间的依赖关系的元数据； 根据所述元数据对日志是否异常进行检查； 若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
2.根据权利要求1所述的方法，其特征在于，所述元数据用于记录下游日志对上游日志的依赖关系。
3.根据权利要求1所述的方法，其特征在于，根据所述元数据对日志是否异常进行检查包括: 读取所述元数据记录的日志之间的依赖关系； 根据所述日志之间的依赖关系，对日志进行血统分析。
4.根据权利要求3所述的方法，其特征在于，根据所述日志之间的依赖关系，对日志进行血统分析包括: 根据所述日志之间的依赖关系，并依据系统上线时间，检查所述依赖关系中上游日志与下游日志的数据 一致性。
5.根据权利要求1所述的方法，其特征在于，在根据所述元数据对日志是否异常进行检查之前，还包括: 根据预先定义的日志规范对日志的格式规范性进行检查。
6.根据权利要求5所述的方法，其特征在于，根据预先定义的日志规范对日志的格式规范性进行检查包括: 根据预先定义的日志规范对日志是否重复记录、日志的记录频率以及日志的记录时机进行检查。
7.根据权利要求1所述的方法，其特征在于，在生成记录日志之间的依赖关系的元数据之前，还包括: 将日志进行规范化处理，并将经过规范化处理的日志存入数据库。
8.一种用于数据仓库的日志分析装置，其特征在于，包括: 元数据生成模块，用于生成记录日志之间的依赖关系的元数据； 第一日志检查模块，用于根据所述元数据对日志是否异常进行检查； 提示修改模块，用于若检查出异常的日志，向用户提示所述日志的异常，和/或修改异常的日志。
9.根据权利要求8所述的装置，其特征在于，所述元数据用于记录下游日志对上游日志的依赖关系。
10.根据权利要求8所述的装置，其特征在于，所述第一日志检查模块包括: 元数据读取单元，用于读取所述元数据记录的日志之间的依赖关系； 血统分析单元，用于根据所述日志之间的依赖关系，对日志进行血统分析。
11.根据权利要求10所述的装置，其特征在于，所述血统分析单元具体用于: 根据所述日志之间的依赖关系，并依据系统上线时间，检查所述依赖关系中上游日志与下游日志的数据一致性。
12.根据权利要求8所述的装置，其特征在于，还包括: 第二日志检查模块，用于在根据所述元数据对日志是否异常进行检查之前，根据预先定义的日志规范对日志的格式规范性进行检查。
13.根据权利要求12所述的装置，其特征在于，所述第二日志检查模块具体用于: 根据预先定义的日志规范对日志是否重复记录、日志的记录频率以及日志的记录时机进行检查。
14.根据权利要求8所述的装置，其特征在于，还包括: 日志入库模块，用于在生成记录日志之间的依赖关系的元数据之前，将日志进行规范化处理，并将经过规范化处理的日志存入数据库。
【文档编号】G06F11/34GK104036034SQ201410305348
【公开日】2014年9月10日 申请日期:2014年6月30日 优先权日:2014年6月30日
【发明者】韩杰娇 申请人:百度在线网络技术（北京）有限公司