基于日志数据根据时间帧筛选案例的方法与系统与流程

1.本发明涉及信息系统技术领域，具体为一种基于日志数据根据时间戳筛选案例的方法与系统。


背景技术：

2.计算机系统因其良好的可扩展性和高速计算等优点而被广泛应用于网络服务、数据库等领域，计算机系统在运作过程中都会产生事件记录，事件记录组合形成日志文件。事件记录中包含有时间戳、消息、服务器工作站应用程序运行记录等信息以及数据库系统等对象的相关活动记录。从日志文件所记录的日志信息，可以实现失效分析、发现事件间的特征与规律、寻找失效现象或日志与事件之间的关联等。
3.在信息系统中，信息处理与流转的行为过程通常被视为事件，事件以业务日志数据方式被信息系统记录，以便系统管理人员对业务系统的运行状态进行监控与审计。业务日志数据通常以时间序列的形式记录在持久性存储器中，在实际生产业务中由于业务日志数据会涉及到多事务、多资源，导致每个事件记录在业务日志数据表中时是离散型分布的，前后每一条数据并不存在绝对的顺位，也难以从中获取到某段时间内与业务相关联的业务流程数据。因此，需要对日志事件进行关联分析，以便于准确筛选出用于失效分析或表征特征与规律的案例。
4.当前市面上大部分日志分析软件仅用于对信息系统中发生的事件进行归类与统计，更多是关注事件维度的监控与定位，例如：事件发生的频率、事件发生的时间、事件触发的资源。因日志数据的记录方式主要面向于事件而非业务，所以很难从日志记录中获取前后事件发生的关联性，导致事件发生的根因排查存在一定困难，目前，常用的目标案例筛选主要基于时间帧实现，现有基于时间戳时间范围获取业务日志的流程办法如下：选定查找事件日志的时间起始；b、根据分析需求既定的时间范围，编辑sql数据语句，设定开始时间戳、结束时间戳，通过对应字段从日志数据表中提取时间范围内的日志数据。日志分析方面需要专业分析人员通过编写特定的sql数据查询语句对数据库中的日志数据进行筛选、组合、排查。这些都需要分析人员对业务及数据的结构有深刻的理解。
5.但以上方法存在如下问题：（1）提取出来的日志数据在时间轴上是顺位状态，但在业务层面没有连贯状态，因此，无法在业务层面提供更多用于关联分析的价值信息。
6.（2）提取日志数据时设定了开始和结束两个时间戳，在数据绝对筛选与裁剪时，位于时间戳附近的整体业务（即整体案例）被割裂。例如有些业务在开始时间戳之前就已开始，有些业务在结束时间戳之后尚未结束，这种绝对裁剪会对日志数据造成信息损失，对业务流程发现与挖掘造成不可逆影响。


技术实现要素：

7.针对现有技术中存在的上述不足，本发明提供了一种基于日志数据根据时间帧筛选案例的方法，其可通过时间帧方式对事件日志进行快速且有效的提取具有业务关联性的日志数据，同时针对日志中存在的错误时间戳，或者超出分析范围的日志进行裁剪过滤，为业务流程发现与流程挖掘分析带来便利。
8.为实现上述目的，本发明采用如下技术方案：一种基于日志数据根据时间帧筛选案例的方法，该方法基于计算机系统实现，其特征在于，该方法包括：s1、获取业务事件的日志数据：根据时间日志分析需求，提取业务事件的日志数据并存储；s2、采用流程发现算法对日志数据进行筛选、顺位处理与归类；s3、基于归类后的日志数据，生成事件案例表并存储；s4、根据提取需求，设定时间戳、时间戳区间，所述时间戳包括开始时间戳、结束时间戳，所述时间戳区间指包含开始时间戳、结束时间戳在内的开始时间戳与结束时间戳之间的时间范围；从所述事件案例表中提取时间戳区间内的相关临时日志数据，所述临时日志数据指日志数据中开始时间戳与结束时间戳时间范围内的数据；s5、设定过滤模式，采用不同过滤模式对临时日志数据进行过滤，获取有效案件日志数据；所述过滤模式包括至少三种：第一过滤模式、第二过滤模式、第三过滤模式；所述第一过滤模式指：从所述日志数据中获取与时间戳区间有交集的第一案例日志数据；所述第二过滤模式指：将所述日志数据中非完整案例日志数据裁剪去除，时间戳区间内剩余的日志数据作为第二案例日志数据；所述第三过滤模式指：将时间戳区间内的所有临时日志数据作为第三案例日志数据；采用相应过滤模式对日志数据进行过滤的具体步骤包括：s51、获取所述临时日志数据中被开始时间戳、结束时间戳分别切断的开始案例、结束案例；s52、选择过滤模式，并采用相应过滤模式对所述日志数据进行过滤，获取有效案件日志数据，有效案件日志数据为第一案例日志数据、第二案例日志数据、第三案例日志数据中的一种；采用相应过滤模式对所述日志数据进行过滤指：选择第一过滤模式，将被时间戳裁剪掉的裁剪日志数据与临时日志数据相加，或选择第二过滤模式，将临时日志数据与非完整案例日志数据相减，或选择第三过滤模式，将时间戳区间内的所有临时日志数据作为第三案例日志数据；s6、输出有效案件日志数据以及被开始时间戳、结束时间戳分别切断的开始案例、结束案例。
9.其进一步特征在于，步骤s1中，提取相关临时日志数据的步骤包括：s11、根据时间日志分析需求，定义业务活动对象；s12、访问业务信息系统数据库，定位日志记录表；s13、根据步骤s11中定义的活动对象、事件名称相关字段，在日志记录表中寻找与业务活动对象对应的事件名称；
s14、将业务活动对象对应的事件名称组成一个集合；s15、通过数据库提供的查询接口，查询并提取集合中事件名称相关字段所有对应的日志数据；s16、从日志数据中，选定与业务案例有对应关系的相关字段作为案例字段；s17、将日志数据载入计算机存储器中存储；进一步的，步骤s2中，采用流程发现算法对日志数据进行筛选、顺位处理与归类的步骤包括：s21、设定流程发现算法的参数：案例字段、事件字段、时间戳字段；s22、采用流程发现算法对日志数据进行计算，根据案例字段对活动事件日志数据进行筛选、顺位、归类，获取事件归类数据，所述活动事件日志数据指日志数据中与业务活动对象相关的数据；s23、将所述事件归类数据载入缓存器中缓存；进一步的，步骤s3中，将所述事件归类数据放入表中，生成事件案例表并缓存；进一步的，步骤s51中，选取步骤包括：s511、选取时间戳大于等于开始时间戳的所述临时日志数据中最早一条记录的第一事件活动，选取时间戳小于等于结束时间戳的所述临时日志数据中最晚一条记录的第二事件活动；s512、将与所述第一事件活动对应的完整案例作为开始案例，将所述第二事件活动对应的完整案例作为结束案例，开始案例与结束案例为被时间戳切断的案例；进一步的，步骤s52中，采用相应过滤模式对所述日志数据进行过滤，包括：s521、选择第一过滤模式，在所述案例表中找寻被时间戳截断的案例，根据事件活动与案例对应的完整性，得到被时间戳裁剪掉的裁剪日志据；将裁剪日志数据与临时日志数据相加，获得与时间戳有交集的第一案例日志数据；s522、选择第二过滤模式，在所述案例表中找寻非完整案例日志数据；将临时日志数据与非完整案例日志数据相减，获取时间戳区间内的第二案例日志数据；s523、选择第三过滤模式，将时间戳区间内的所有临时日志数据作为第三案例日志数据，该模式不进行案例完整性校验。
10.一种用于实现上述基于日志数据根据时间帧筛选案例的方法的系统，该系统包括计算机系统，其特征在于，所述计算机系统包括数据处理器、存储器、显示设备，所述数据处理器中设置有依次连接的分析提取模块、分类模块；所述显示设备中设置有时间戳设定模块、过滤模块，所述分析提取模块用于对业务事件进行分析、并提取业务事件的日志数据；所述分类模块用于对所述日志数据进行筛选、顺位处理与归类；所述时间戳设定模块用于设定时间戳区间；所述过滤模块用于设定过滤模式，并采用所选择的过滤模式对所述日志数据进行过滤，获取时间戳区间内的有效案件日志数据；所述过滤模式包括至少三种：第一过滤模式、第二过滤模式、第三过滤模式；所述第一过滤模式指：从所述日志数据中获取与时间戳区间有交集的第一案例日志数据；所述第二过滤模式指：将所述日志数据中非完整案例日
志数据裁剪去除，时间戳区间内剩余的日志数据作为第二案例日志数据；所述第三过滤模式指：将时间戳区间内的所有临时日志数据作为第三案例日志数据；采用相应过滤模式对所述日志数据进行过滤指：选择第一过滤模式，将被时间戳裁剪掉的裁剪日志数据与临时日志数据相加，或选择第二过滤模式，将临时日志数据与非完整案例日志数据相减，或选择第三过滤模式，将时间戳区间内的所有临时日志数据作为第三案例日志数据；所述有效案件日志数据为第一案例日志数据、第二案例日志数据、第三案例日志数据中的一种；所述存储器用于对日志数据、中间数据及筛选案例结果进行存储；所述显示设备调用所述存储器存储的数据并通过交互界面进行输出显示。
11.其进一步特征在于，所述存储器包括持久性存储器、缓存器，所述持久性存储器用于存储日志数据；所述缓存器用于缓存中间数据、筛选案例结果；所述中间数据包括事件归类数据与事件案例表；所述筛选案例结果至少包括：有效案件日志数据以及被开始时间戳、结束时间戳分别切断的开始案例、结束案例。
12.采用本发明上述方法可以达到如下有益效果：本方法先通过流程发现算法梳理事件在业务层的顺位，并对事件日志数据进行推导与归类，然后通过不同的过滤模式对案件归类数据进行筛选过滤，从而获得有效案件日志数据。对日志数据筛选过滤前，首先采用流程发现算法梳理事件在业务层顺位，并对事件日志数据进行推导与归类，有利于确保被时间戳截断的日志数据属于同一整体案例，同时也确保了时间戳区间内其它未被截断的案例为整体案例，从而有利于后续裁剪过滤时对时间戳区间及附近的案例进行准确识别。
13.本技术筛选方法中，采用不同过滤模式对案件归类数据中的临时日志数据进行过滤前，利用时间帧（或时间戳）对案例完整性进行分析，确保了时间戳范围内以及与时间戳临近的案例在业务层面处于连贯状态，从而有利于为业务层面事件日志关联分析提供有用的价值信息。
14.业务人员可根据实际业务活动分析需求，灵活选择其中一种过滤模式对事件日志进行关联或非关联分析，因此，本技术基于日志数据根据时间帧筛选案例的系统中，三种过滤模式的设定，提高了该系统的应用范围。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明方法流程图；图2为本发明系统结构框图；图3为本发明时间戳区间调整前发生事件的日志数据曲线图；图4为本发明时间戳区间调整后发生事件的日志数据曲线图；附图标记：计算机系统1、分析提取模块101、分类模块102、时间戳设定模块103、过滤模块104、显示设备21、交互界面201。
具体实施方式
17.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
18.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
19.针对现有技术中存在的仅采用事件归类与统计，监控与定位事件维度的方式，难以从日志数据中获取前后事件发生的关联性，导致事件发生的根因排查存在一定困难的技术问题，以及无法在业务层面提供更多用于关联分析的价值信息，绝对裁剪会对日志数据造成信息损失，影响了业务流程发现与挖掘准确性的技术问题，以下提供了一种基于日志数据根据时间帧筛选案例的方法的具体实施例，见图1，该方法基于计算机系统实现，该方法包括：s1、获取业务事件的日志数据：根据时间日志分析需求，提取业务事件的日志数据并存储，具体步骤包括：s11、根据时间日志分析需求，定义业务活动对象；业务活动对象例如审计开单、审计流程；s12、访问业务信息系统数据库，根据原业务信息系统设计规范定位日志记录表；s13、根据步骤s11中定义的活动对象、事件名称相关字段，在日志记录表中寻找与业务活动对象对应的事件名称；s14、将业务活动对象对应的事件名称组成一个集合；s15、通过数据库提供的查询接口，查询并提取集合中事件名称相关字段所有对应的日志数据；s16、从日志数据中，选定与业务案例有对应关系的相关字段作为案例字段；s17、将日志数据载入持久性存储器中存储。
20.s2、采用流程发现算法对日志数据进行筛选、顺位处理与归类，具体步骤包括：s21、配置流程发现算法的参数：案例字段、事件字段、时间戳字段；以上参数为对日志数据映射出的三个必备字段。
21.s22、采用流程发现算法对日志数据进行计算，根据案例字段对活动事件日志数据进行筛选、顺位、归类，获取事件归类数据，活动事件日志数据指日志数据中与业务活动对象相关的数据。流程发现算法（例如alpha 算法）通过定义四种日志数据中活动间的关系来获取流程模型，该模型以业务流程对象为核心，以业务完整性为主导方向。
22.采用流程发现算法对日志数据进行计算时，首先定义了四种基于日志数据的次序关系：紧邻、因果、并行、无关，其中紧邻关系也叫做直接跟随关系，例如日志数据中的活动x与活动y，当x＞y，并且当且仅当存在一条轨迹使得活动x后面紧跟着y，因果关系指：x-＞y，当前仅当x＞y且非y＞x；并行关系指：x//y，当前仅当x＞y且y＞x，无关关系指：x≠y，当且仅当非x＞y且非y＞x；其次，基于次序关系生成足迹矩阵；最后，基于足迹矩阵，根据案例字
段实现日志数据筛选、顺位、归类。
23.s23、将事件归类数据载入缓存器中缓存。
24.s3、基于归类后的日志数据，将事件归类数据放入表中，生成事件案例表并缓存。
25.s4、根据提取需求，设定时间戳，时间戳包括开始时间戳,结束时间戳。从事件案例表中提取时间戳时间范围内的相关临时日志数据，具体地，s41、根据需要提取业务事件，设定开始时间戳、结束时间戳；s42、提取与业务活动对象相关的临时日志数据，临时日志数据指日志数据中开始时间戳与结束时间戳时间范围内的数据，临时日志数据虽然在时间戳区间内，但因其未考虑案例事件的关联性，其所包含的业务信息（即日志数据）存在被截断情况，无法直接利用，因此采用以下步骤s5对临时日志数据进行裁剪过滤。
26.s5、设定过滤模式，过滤模式包括至少三种：第一过滤模式、第二过滤模式、第三过滤模式，第一过滤模式指：从日志数据中获取与时间戳区间有交集的第一案例日志数据；第二过滤模式指：将日志数据中非完整案例日志数据裁剪，获取时间戳区间内的第二案例日志数据；第三过滤模式指：将时间戳区间内的所有临时日志数据作为第三案例日志数据。
27.采用不同过滤模式对临时日志数据进行裁剪过滤，获取有效案件日志数据，具体步骤包括：s51、选取临时日志数据中被开始时间戳、结束时间戳分别切断的开始案例、结束案例，选取步骤包括：s511、选取时间戳大于等于开始时间戳的临时日志数据中最早一条记录的第一事件活动，选取时间戳小于等于结束时间戳的临时数据中最晚一条记录的第二事件活动；s512、将与第一事件活动对应的完整案例作为开始案例，将第二事件活动对应的完整案例作为结束案例，开始案例与结束案例为被时间戳切断的案例。
28.s52、选择过滤模式，并采用相应过滤模式对日志数据进行裁剪过滤，获取有效案件日志数据，有效案件日志数据为第一案例日志数据、第二案例日志数据或第三案例日志数据中的一种，包括s521、选择第一过滤模式，在案例表中找寻被时间戳截断的案例，根据事件活动与案例对应的完整性，得到被时间戳裁剪掉的裁剪日志数据；将裁剪日志数据与临时日志数据相加，获得与时间戳有交集的第一案例日志数据。
29.该第一过滤模式中保留了时间戳区间内以及被时间戳截断案例的所有日志数据内容，因此，被筛选案例的日志数据内容更全面，避免了因信息损失而影响事件日志关联分析准确性的问题出现，有利于提高事件日志分析准确性。例如在审计流程分析中，将时间戳区间设定为一个月，采用第一种过滤模式，开始案例为上月审计中未结束审计流程的案例，结束案例为本月（即时间戳区间内）未结束审计流程的案例，将上月未结束审计流程案例与本月未结束审计流程案例与本月审计完整流程案例（即时间戳区间内的所有完整案例）顺位综合，有利于对审计流程进行全面准确分析。
30.s522、选择第二过滤模式，在案例表中找寻非完整案例日志数据；将临时日志数据与非完整案例日志数据相减，获取时间戳区间内的第二案例日志数据；
该第二种过滤模式中时间戳区间内的不完整案例被裁剪，仅保留了时间戳区间内的完整案例（即整体案例）日志数据，将不属于该时间段范围内的日志数据去除，有利于提升该时间戳区间内事件日志关联分析的精确性。例如在审计流程分析中，将时间戳区间设定为一个月，采用第二种过滤模式，将上月未结束审计流程案例与本月未结束审计流程案例去除，有利于仅对本月完整审计流程案例进行精确分析。
31.s523、选择第三过滤模式，将时间戳区间内的所有临时日志数据作为第三案例日志数据，该模式不进行案例完整性校验。
32.该第三种过滤模式中保留了时间戳区间内的所有日志数据，即既包含该时间戳区间内的完整案例日志数据，也包含与开始时间戳、结束时间戳临近的非完整案例的部分日志数据内容，有利于确保案例在业务层面的连贯性，从而进一步提高事件日志分析准确性。例如在审计流程案例分析中，将时间戳区间设定为一个月，采用第三种过滤模式，将上月未结束审计流程案例中的剩余流程（即临时日志数据中最早一条记录的第一事件活动）与本月未结束审计流程案例中的已在本月完成的流程（即临时数据中最晚一条记录的第二事件活动）均算作本月审计流程分析内容，有利于将本月内的完整审计流程案例中的流程与上月未结束审计流程案例中的剩余流程、本月未结束审计流程案例中的已在本月完成的流程进行连贯分析。
33.s6、输出时间戳时间范围内的有效案件日志数据以及被开始时间戳、结束时间戳分别切断的开始案例、结束案例。有效案件日志数据的输出以及被开始时间戳、结束时间戳分别切断的开始案例、结束案例的输出，确保了分析人员能够获得时间戳区间范围内以及被时间戳切断的所有完整案例的日志数据，避免了绝对裁剪对日志数据造成信息损失而影响关联分析。
34.一种基于日志数据根据时间帧筛选案例的系统，该系统包括计算机系统1，见图2，计算机系统1用于根据时间帧筛选业务案例，计算机系统1包括数据处理器、存储器、显示设备21，显示设备包括用于显示的交互界面201。数据处理器中设置有依次连接的分析提取模块101、分类模块102，显示设备21中设置有时间戳设定模块、过滤模块，分析提取模块101用于对业务事件进行分析、并提取业务事件的日志数据；分类模块102用于对日志数据进行筛选、顺位处理与归类；时间戳设定模块103用于设定时间戳区间；过滤模块104用于设定或选择过滤模式，并采用所选择的过滤模式对日志数据进行过滤，获取时间戳区间内的有效案件日志数据；存储器用于对日志数据、中间数据及筛选案例结果进行存储，本实施例中，存储器包括持久性存储器、缓存器，持久性存储器用于存储日志数据；缓存器用于缓存中间数据、有效案件日志数据，中间数据包括事件归类数据与事件案例表，筛选案例结果包括：有效案件日志数据以及被开始时间戳、结束时间戳分别切断的开始案例、结束案例；业务设备调用存储器存储的数据并通过显示设备进行输出显示。
35.图3、图4提供了系统中交互界面201所显示的时间帧对应事件的日志数据曲线，其中横轴表示时间线，代表日志数据的开始时间到结束时间，纵轴表示发生事件的数量堆积，通过该图，可以从全局观察在不同时间戳区间内事件发生的频率与状态，有利于分析人员快速、直观的获取时间帧区间范围内的事件数量堆积情况。
36.通过本方法及系统，事件日志数据在通过时间帧区间范围提取的情况下，可以保障业务数据的完整性、灵活性，不会造成意外的信息丢失，也保障了日志数据的业务价值，
使业务流程发现与挖掘工作得以便利与准确进行。
37.以上的仅是本技术的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在发明的保护范围之内。