一种日志数据筛选方法及装置与流程

本发明涉及通信技术领域，尤其涉及一种日志数据筛选方法及装置。

背景技术：

目前，随着app(应用程序，Application)数量的增长，app的用户越来越多，基于此，对用户的筛选也越来越重要。目前，一般在每次筛选用户时，均使用与产品经理事先约定的条件来开发程序，以进行用户的筛选。由于该方式是产品经理根据自身需求来进行用户筛选，这样则导致产品经理的筛选需求发生变化时，均需要调整筛选，从而需要专门开发一套程序来满足产品经理的筛选需求，这种方式显然需要程序开发人员进行大量重复性劳动，效率较低。

技术实现要素：

本发明旨在解决现有技术中对用户的筛选效率较低的问题，提出了一种日志数据筛选方法及装置。

根据本发明的一个方面，提供了一种日志数据筛选方法，包括：接收筛选参数以及筛选规则的选择指令；接收日志数据；使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选。

可选的，上述方法还包括：在接收筛选参数之前，显示预设的筛选规则和/或显示预设的筛选规则的标识。

可选的，使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选，包括：如果选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的筛选参数对日志数据进行筛选；如果选择指令表明当前至少有两个筛选规则被选择，则将至少两个筛选规则以及与至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；使用组合筛选条件对日志数据进行筛选。

可选的，上述方法还包括：在使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选之前，根据选择指令从数据库中获取预先存储的筛选规则。

可选的，上述预设的筛选规则包括：筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算；

筛选出连续预设时间段内均出现预设信息的日志数据的计算方法；按照数值大小关系筛选日志数据的计算方法；筛选出包含预设字符串的日志数据的计算方法；筛选出指定时间段内的日志数据的计算方法。

根据本发明的第二个方面，提供了一种日志数据筛选装置，包括：第一接收模块，用于接收筛选参数以及筛选规则的选择指令；第二接收模块，用于接收日志数据；筛选模块，用于使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选。

可选的，上述装置还包括：显示模块，用于在接收筛选参数之前，显示预设的筛选规则和/或显示预设的筛选规则的标识。

可选的，上述筛选模块包括：第一筛选单元，用于如果选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的筛选参数对日志数据进行筛选；组合单元，用于如果选择指令表明当前至少有两个筛选规则被选择，则将至少两个筛选规则以及与至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；第二筛选单元，用于使用组合筛选条件对日志数据进行筛选。

可选的，上述装置还包括：获取模块，用于在使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选之前，根据选择指令从数据库中获取预先存储的筛选规则。

可选的，上述预设的筛选规则包括：筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算；筛选出连续预设时间段内均出现预设信息的日志数据的计算方法；按照数值大小关系筛选日志数据的计算方法；筛选出包含预设字符串的日志数据的计算方法；筛选出指定时间段内的日志数据的计算方法。

根据本发明实施例提供的日志数据的筛选方法，可以通过配置平台提供多种不同的筛选方案，通过读取配置信息来使用多种不同的筛选规则来筛选日志数据，无需根据不同的筛选需求专门开发筛选应用程序，提高了日志数据筛选的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明第一实施例提供的日志数据筛选方法的流程图；

图2是本发明第一实施例中涉及的数据结构示意图；

图3是本发明第二实施例中涉及到的系统的架构示意图；

图4是本发明第二实施例中涉及的日志数据筛选方法的流程图；

图5是本发明第三实施例中提供的日志数据筛选装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例

本实施例提供了一种日志数据筛选方法，图1是该方法的流程图，如图1所示，该方法包括如下处理：

步骤101：接收筛选参数以及筛选规则的选择指令；

在该步骤101中，选择指令具体可以是用户发出的，用于选择指定的筛选规则，筛选参数可以是用户通过输入设备输入的，该参数可以是具体的数值、文本信息或字符串，其中，筛选规则具体可以包括以下几种：

筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算，该处所涉及的逻辑运算为与、或、非逻辑运算，例如，指定筛选某个日志数据只能是abc或者bca不能是aaa。

筛选出连续预设时间段内均出现预设信息的日志数据的计算方法，提供连续出现的验证方法，例如，指定连续五个日期都出现abc的日志数据。

按照数值大小关系筛选日志数据的计算方法，即比较大小的筛选方法，例如，筛选大于或小于某一数值的数据。

筛选出包含预设字符串的日志数据的计算方法，即匹配指定的字符串，例如，筛选含有某一指定字符串的日志数据。

筛选出指定时间段内的日志数据的计算方法，即，提供根据时间段筛选的方法，例如：输入区分日、月、季度以及年的数据。

本发明实施例中所涉及的筛选规则可以是预先设置的，该筛选规则可以保存于数据库中。在执行筛选任务时，可以预先将预设的筛选规则以一定的方式被用户获知，以便用户根据筛选需求选择合适的筛选规则，基于此，在上述步骤101之前，本实施例提供的方法还可以包括：显示预设的筛选规则和/或显示预设筛选规则的标识，故，在使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选之前，需要根据选择指令从数据库中获取预先存储的筛选规则。

步骤102：接收日志数据；

如图2所示，在本实施例中，可以维护一个任务表、筛选参数表以及方法映射表，在开始一个筛选任务之前，可以在任务表中记录任务名称，以及本次筛选任务的日志输入路径；筛选参数表中记录本次筛选任务的筛选条件，该筛选条件包括：筛选参数、筛选规则的ID(身份标识)、筛选任务的ID以及参数的序号；方法映射表中记录预设筛选规则与调用筛选规则之间的映射关系。

步骤103：使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选。

具体的，使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选，包括：如果选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的参数对日志数据进行筛选；如果选择指令表明当前至少有两个筛选规则被选择，则将至少两个筛选规则以及与至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；使用组合筛选条件对日志数据进行筛选。

根据本发明实施例提供的日志数据的筛选方法，可以通过配置平台提供多种不同的筛选方案，通过读取配置信息来使用多种不同的筛选规则来筛选日志数据，无需根据不同的筛选需求专门开发筛选应用程序，提高了日志数据筛选的效率。

第二实施例

本实施例以使用离线统计分析平台hadoop为例，对使用上述第一实施例中所提供的日志数据筛选方法对日志数据进行筛选的流程进行说明。

首先，结合附图3对本实施例中所涉及到的系统的架构进行简要说明：

其中，数据层包括应用程序(APP)以及日志服务器，传输层包括日志聚合系统以及分布式文件系统，计算层包括hadoop以及hbase，本实施例中所涉及到的筛选流程即在计算层中实现。

如图4所示，本实施例涉及的日志数据筛选流程包括：

步骤401：初始化筛选规则：在筛选计算开始时，先到数据库中读取预先存储的筛选规则；

步骤402：输入日志数据；

步骤403：筛选器使用读取到的筛选规则以及用户输入的筛选参数对输入的日志数据进行筛选；

步骤404：输出筛选出的符合条件的日志数据。

第三实施例

本实施例提供了一种日志数据筛选装置，如图5所示，该装置50包括如下组成部分：

第一接收模块51，用于接收筛选参数以及筛选规则的选择指令；

第二接收模块52，用于接收日志数据；

筛选模块53，用于使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选。

进一步的，上述装置50还可以包括：显示模块，用于在接收筛选参数之前，显示预设的筛选规则和/或显示预设筛选规则的标识。

其中，上述筛选模块53具体包括：

第一筛选单元，用于如果选择指令表明当前有一个筛选规则被选择，则根据该被选择的筛选规则以及与该筛选规则对应的参数对日志数据进行筛选；

组合单元，用于如果选择指令表明当前至少有两个筛选规则被选择，则将至少两个筛选规则以及与至少两个筛选规则分别对应的筛选参数进行组合，得到组合筛选条件；

第二筛选单元，用于使用组合筛选条件对日志数据进行筛选。

进一步的，上述装置50还可以包括：获取模块，用于在使用与选择指令对应的筛选规则根据筛选参数对接收到的日志数据进行筛选之前，根据选择指令从数据库中获取预先存储的筛选规则。

其中，本实施例中所涉及到的预设筛选规则具体可以包括：筛选存在与逻辑关系的日志数据和/或筛选存在或逻辑关系的日志数据和/或筛选存在非逻辑关系的日志数据的逻辑运算；筛选出连续预设时间段内均出现预设信息的日志数据的计算方法；按照数值大小关系筛选日志数据的计算方法；筛选出包含预设字符串的日志数据的计算方法；筛选出指定时间段内的日志数据的计算方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。