平台化日志分析的计算方法及装置的制造方法
【技术领域】
[0001] 本发明涉及一种平台化日志分析的计算方法及装置，尤其涉及一种针对平台化日 志分析中避免冗余计算和冗余存储的计算方法及装置。
【背景技术】
[0002] 数据平台一般可向用户提供日志分析服务，比如将日志存储在HDFS中，用户编写 Map/Reduce作业交给Hadoop平台执行，在流式计算的Storm里也是由用户编写类似的任 务。通过这样的平台化服务，每个用户只需要花费少量学习成本就可以实现各自的日志分 析需求。然而平台化所带来的一个缺陷在于计算和存储资源的浪费，两个用户很可能需求 非常接近但是却不知道对方的存在，计算的内容大多是重复的；也可能两者的计算互相关 联，但计算时却都以整个数据库作为输入对象进行遍历，这些现象都导致了严重的计算、存 储资源浪费。
【发明内容】
[0003] 本发明的目的在于提供一种平台化日志分析的计算方法及装置。
[0004] 为实现上述发明目的之一，本发明一实施方式提供了一种平台化日志分析的计算 方法，所述方法包括：
[0005] 接收第一条件组，形成第一计算规则；
[0006] 接收第二条件组，形成第二计算规则；
[0007] 若所述第二计算规则对应的预期结果集是所述第一计算规则对应的结果集的子 集，则将所述第一计算规则的结果集作为所述第二计算规则匹配的输入数据。
[0008] 作为本发明一实施方式的进一步改进，所述方法包括：
[0009] 若所述第二计算规则对应的预期结果集和所述第一计算规则对应的结果集相同， 则将所述第一计算规则的结果集作为所述第二计算规则的结果集。
[0010] 作为本发明一实施方式的进一步改进，每个条件组均包括相应的关联维度、计算 数值列和计算方法。
[0011] 作为本发明一实施方式的进一步改进，所述若所述第二计算规则对应的预期结果 集算是所述第一计算规则对应的结果集的子集，具体包括：
[0012] 若所述第二计算规则的关联维度是所述第一计算规则的关联维度的子集，且所述 第一计算规则的计算数值列包括所述第二计算规则的计算数值列，所述第一计算规则的计 算方法包括所述第二计算规则的计算方法，则所述第二计算规则对应的预期结果集是所述 第一计算规则对应的结果集的子集。
[0013] 作为本发明一实施方式的进一步改进，所述每个计算规则中均包括更新周期；所 述方法还包括：
[0014] 根据所述更新周期更新所述第一计算规则的结果集。
[0015] 作为本发明一实施方式的进一步改进，每个条件组均包括节点符号，所述方法还 包括：
[0016] 通过至少两个日志模型的节点符号，将至少两个日志模型进行关联计算。
[0017] 为实现上述发明目的之一，本发明一实施方式提供了一种平台化日志分析的计算 方法，所述方法包括：
[0018] 接收第一条件组，形成第一计算规则；
[0019] 接收第二条件组，形成第二计算规则；
[0020] 若所述第二计算规则对应的预期结果集和所述第一计算规则对应的结果集相同， 则将所述第一计算规则的结果集作为所述第二计算规则的结果集。
[0021] 作为本发明一实施方式的进一步改进，每个条件组均包括相应的关联维度、计算 数值列和计算方法。
[0022] 作为本发明一实施方式的进一步改进，所述
[0023] 所述第二计算规则对应的预期结果集和所述第一计算规则对应的结果集相同，具 体包括：
[0024] 若所述第二计算规则的关联维度、计算数值列、计算规则和第一计算规则的关联 维度、计算数值列和计算方法相同，则所述第二计算规则对应的预期结果集和所述第一计 算规则对应的结果集相同。
[0025] 作为本发明一实施方式的进一步改进，所述每个计算规则中均包括更新周期；所 述方法还包括：
[0026] 根据所述更新周期更新所述第一计算规则的结果集。
[0027] 作为本发明一实施方式的进一步改进，每个条件组均包括节点符号，所述方法还 包括：
[0028] 通过至少两个日志模型的节点符号，将至少两个日志模型进行关联计算。
[0029] 为实现上述发明目的之一，本发明一实施方式提供了一种平台化日志分析的计算 装置，所述平台化日志分析的计算装置包括：
[0030] 分析处理模块，用于分别接收第一条件组和第二条件组，并分别对应形成第一计 算规则和第二计算规则；
[0031] 比对配置模块，用于若所述第二计算规则对应的预期结果集是所述第一计算规则 对应的结果集的子集，则将所述第一计算规则的结果集作为所述第二计算规则匹配的输入 数据。
[0032] 作为本发明一实施方式的进一步改进，所述比对配置模块还用于：
[0033] 判断所述第二计算规则对应的预期结果集和所述第一计算规则对应的结果集是 否相同，若是，则将所述第一计算规则的结果集作为所述第二计算规则的结果集。
[0034] 作为本发明一实施方式的进一步改进，每个条件组均包括相应的关联维度、计算 数值列和计算方法。
[0035] 作为本发明一实施方式的进一步改进，所述比对配置模块还用于：
[0036] 判断所述第二计算规则的关联维度是否是所述第一计算规则的关联维度的子集， 且所述第一计算规则的计算数值列是否包括所述第二计算规则的计算数值列，所述第一计 算规则的计算方法是否包括所述第二计算规则的计算方法，若都是，则所述第二计算规则 对应的预期结果集是所述第一计算规则对应的结果集的子集。
[0037] 作为本发明一实施方式的进一步改进，所述每个计算规则中均包括更新周期；所 述平台化日志分析的计算装置还包括更新模块，所述更新模块用于根据所述更新周期更新 所述第一计算规则的结果集。
[0038] 作为本发明一实施方式的进一步改进，每个条件组均包括节点符号，所述平台化 日志分析的计算装置还包括关联模块，所述关联模块用于通过至少两个日志模型的节点符 号，将至少两个日志模型进行关联计算。
[0039] 为实现上述发明目的之一，本发明一实施方式提供了一种平台化日志分析的计算 装置，所述平台化日志分析的计算装置包括：
[0040] 分析处理模块，用于分别接收第一条件组和第二条件组，并分别对应形成第一计 算规则和第二计算规则；
[0041] 比对配置模块，用于若所述第二计算规则对应的预期结果集和所述第一计算规则 对应的结果集相同，则将所述第一计算规则的结果集作为所述第二计算规则的结果集。
[0042] 作为本发明一实施方式的进一步改进，每个条件组均包括相应的关联维度、计算 数值列和计算方法。
[0043] 作为本发明一实施方式的进一步改进，所述比对配置模块还用于：
[0044] 判断所述第二计算规则的关联维度、计算数值列、计算规则是否和第一计算规则 的关联维度、计算数值列和计算方法相同，若是，则所述第二计算规则对应的预期结果集和 所述第一计算规则对应的结果集相同。
[0045] 作为本发明一实施方式的进一步改进，所述每个计算规则中均包括更新周期；所 述平台化日志分析的计算装置还包括更新模块，所述更新模块用于根据所述更新周期更新 所述第一计算规则的结果集。
[0046] 作为本发明一实施方式的进一步改进，每个条件组均包括节点符号，所述平台化 日志分析的计算装置还包括关联模块，所述关联模块用于通过至少两个日志模型的节点符 号，将至少两个日志模型进行关联计算。
[0047] 与现有技术相比，本发明的有益效果是：可以通过判断计算规则之间的关联程度， 优化计算方式，避免冗余计算和冗余存储。
【附图说明】
[0048] 图1是本发明一实施方式中对SQL进行统计分析的示意图。
[0049] 图2是本发明一实施方式的平台化日志分析的计算方法的流程图；
[0050] 图3是本发明一实施方式中供用户配置的可视化建模的界面示意图；
[0051] 图4是本发明一实施方式中针对SQL进行统计分析与先前技术的对比示意图；
[0052] 图5是本发明一实施方式中将两个日志模型进行关联的示意图；
[0053] 图6是本发明一实施方式中供用户配置报表的界面示意图；
[0054] 图7是本发明另一实施方式的平台化日志分析的计算方法的流程图；
[0055] 图8是本发明一实施方式的平台化日志分析装置的模块图。
【具体实施方式】
[0056] 以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不 限制本发明，本领域的普通技术人员根据这些实施方式所轻易做出的结构、方法、或功能上 的变换均包含在本发明的保护范围内。
[0057] 如果每个高速收费站都将过往车辆信息打成日志，通过日志我们可以分析得到例 如每个收费站的车流量、G25高速流量是否过高、各来源占比、国庆期间进入上海总车辆数、 浙A123XX的嫌犯车辆的逃亡路线等各种各样有价值的信息。在日志分析的过程中，首先会 对原始的日志做字符串解析，得到结构化的数据：
[0058]
[0059] 上表中每行记录均对应一行日志，这些结构化的记录可以看做是一张数据库中的 表，而日志分析的过程就是对这张表执行不同的SQL计算。
[0060] 如图1所示，将日志分析过程理解为数据库表的SQL计算过程进行分析，第1条 SQL产出的是各个城市+高速+收费站在某个时间段内各自的收费总额（比如上个小时杭 州市在转塘收费站上收取的通往G25高速的过路费总额）；第2条SQL则只关心各个城市 的收费总额；第3条SQL则只关心各个高速的收费总额；第4条SQL和第2条SQL相同。我 们假设表中的记录有N条，那这4条SQL各自独立计算所需要的计算复杂度至少是4*N(不 考虑索引等因素，最少要全表遍历4遍）。而在实际场景中，N可能是个天文数字