业务日志收集及预警系统和业务日志收集及预警方法与流程

本申请设计数据收集及处理技术领域，更具体地说，涉及一种业务日志收集及预警系统和业务日志收集及预警方法。

背景技术：

在IT技术领域，巨量数据的集合称之为大数据，大数据是一种具有海量、高增长率和多样化特性的信息资产，这一信息资产对于某一行业或者某企业来讲都具有巨大应用意义。随着大数据技术的发展，业务日志的存储技术越来越被企业所重视，搭建业务日志的存储平台可以使企业对内部的业务日志进行收集和存储，并对存储的业务日志进行集中管理，提前发现这些业务日志中的异常并处理对减少企业的损失具有重大意义；并且业务日志的存储平台可以使企业的业务系统集成度更高，便于管理，另外业务日志的集中存储也便于进行企业不同业务日志之间的关联性分析，对企业管理和发展具有重大意义。

但是，现有技术中的业务日志存储平台的通用性较差且不具有预警功能，当随着企业的发展出现新的业务日志种类需要存储或数据量过大需要业务日志存储平台进行自动预警时，需要专业的技术人员进行脚本编写以实现对业务日志存储平台的升级，这个过程不仅复杂而且一般的企业人员无法掌握脚本编写的技术。

技术实现要素：

为解决上述技术问题，本发明提供了一种业务日志收集及预警系统和业务日志收集及预警方法，以实现提供一种通用性较好且具有预警功能的业务日志收集及预警系统的目的。

为实现上述技术目的，本发明实施例提供了如下技术方案：

一种业务日志收集及预警系统，包括：

接收部，用于获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集，根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；

配置部，用于获取预警规则；

调度部，用于根据所述预警规则调用预警任务；

解析部，用于解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中；

显示部，用于显示所述预警结果。

优选的，所述预设要素为日期。

优选的，所述预警规则由至少一个预设参数构成，所述预设参数包括业务日志种类、时间段、字段值、预设规则和出现次数。

优选的，所述调度部具体用于设定预设频率，并根据所述预设频率及预警规则调用预警任务。

优选的，所述接收部为日志搜集处理框架。

一种业务日志收集及预警方法，包括：

获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集；

根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；

获取预警规则；

根据所述预警规则调用预警任务；

解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果；

将所述预警结果存储于数据库中；

显示所述预警结果。

优选的，所述预设要素为日期。

优选的，所述预警规则由至少一个预设参数构成，所述预设参数包括日志种类、时间段、字段值、预设规则和出现次数。

优选的，所述根据所述预警规则调用预警任务包括：

设定预设频率；

根据所述预设频率及预警规则调用预警任务。

优选的，所述获取配置信息包括：

通过日志搜集处理框架生成配置信息。

从上述技术方案可以看出，本发明实施例提供了一种业务日志收集及预警系统和业务日志收集及预警方法，其中，所述业务日志收集及预警系统的接收部用于获取配置信息并根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中，所述配置信息中包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集，当企业需要对待接收业务日志种类进行更改时，只需要利用所述接收部输入新的配置信息即可根据新的配置信息进行业务日志的收集和存储。

另外，所述业务日志收集及预警系统还可以通过所述配置部进行预警规则的输入，通过所述调度部和解析部调用和解析预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中，实现对业务日志的预警；同样的，当需要对预警规则进行更新时，只需要通过所述配置部输入新的预警规则即可，因此所述业务日志收集及预警系统的通用性更高，不需要专业的技术人员进行脚本编写对系统进行更新，可以仅通过简单的配置信息和预警规则的更新实现新的业务日志种类的收集存储，以及根据新的预警规则实现预警功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请的一个实施例提供的一种业务日志收集及预警系统的结构示意图；

图2为本申请的一个实施例提供的一种业务日志收集及预警方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供了一种业务日志收集及预警系统，如图1所示，包括：

接收部100，用于获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集，根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；

配置部200，用于获取预警规则；

调度部300，用于根据所述预警规则调用预警任务；

解析部400，用于解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中；

显示部500，用于显示所述预警结果。

需要说明的是，所述预设业务日志种类集合中包含有常用来源的业务日志种类，比如存储在数据库中的业务日志，syslog业务日志、以文本形式存储的业务日志以及以http方式或webservice方式发送的业务日志数据等。本申请对所述预设业务日志种类集合中所包括的具体的业务日志种类并不做限定，具体视实际情况而定。所述配置信息包括的待接收业务日志种类为所述预设业务日志种类集合的子集，即当企业需要对待接收业务日志种类进行更改时，可以通过向所述接收部100输入不同的配置信息即可实现对需要收集和预警的业务日志的更新，这种更新可以是在原来需要收集和预警的业务日志的种类的基础上的增加，也可以是在原来需要收集和预警的业务日志种类的基础上的删除，还可以是完全替换原来需要收集和预警的业务日志种类。

另外，所述接收规则是针对不同种类的业务日志的数据密码，比如针对存储在数据库中的业务日志而言，由于数据库本身不具备发送功能，需要所述接收部100去数据库中获取数据，因此需要针对这种类型的业务日志设置相应的接收规则。同样的，其他种类的业务日志也同样需要相应的接收规则，由于根据不同种类的业务日志设置相应的接收规则的方法已为本领域技术人员所熟知，本申请在此不作赘述。

另外，所述业务日志收集及预警系统还可以通过所述配置部200进行预警规则的输入，通过所述调度部300和解析部400调用和解析预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中，实现对业务日志的预警；同样的，当需要对预警规则进行更新时，只需要通过所述配置部200输入新的预警规则即可，因此所述业务日志收集及预警系统的通用性较高，可以通过简单的配置信息和预警规则的更新实现新的业务日志种类的收集存储，以及根据新的预警规则实现预警功能。

还需要说明的是，所述搜索服务器优选为Elasticsearch，但其他种类的搜索服务器也可，存储所述预警结果的数据库优选为mysql数据库，同样的，其他种类的数据库也适用于本申请提供的所述业务日志收集及预警系统。

在上述实施例的基础上，在本申请的一个实施例中，所述预设要素为日期。

在本实施例中，所述接收部100根据所述配置信息接收业务日志后，按照日期为索引将其存储于搜索服务器中，以便所述解析部400在预警过程中便于对存储于所述搜索服务器中的业务日志的统计分析。这是因为一般对于业务日志的预警都具有较强的时效性，按照日期为索引进行存储有利于降低所述解析部400对存储于所述搜索服务器中的业务日志进行统计分析的工作量，提升工作效率。

但在本申请的其他实施例中，所述预设要素还可以为业务日志种类或业务日志大小或业务日志名称。本申请对所述预设要素的具体种类并不做限定，具体视实际情况而定。

在上述实施例的基础上，在本申请的另一个实施例中，所述预警规则由至少一个预设要素构成，所述预设要素包括业务日志种类、时间段、字段值、预设规则和出现次数。

在本实施例中，所述预警规则具有通用的表达式，所述表达式为某类业务日志在某个时间段内某个字段值符合某种特定规则的日志出现的次数。其中包括的预设要素(业务日志种类、时间段、字段值、预设规则和出现次数)可以根据实际情况进行组合(至少包括一项所述预设要素)，并且所述预设要素的值也可以根据实际情况进行设定。本申请对此并不做限定，具体是实际情况而定。比如以身份证号作为所述字段值的具体内容，当存储于所述搜索服务器中的业务日志中出现符合身份证号规则的数字串时，则认为该业务日志为异常业务日志，将该业务日志的生成时间、包含的内容以及预警原因的描述等录入文本中，生成所述预警结果存入数据库并进行显示，以实现对异常业务日志的预警。另外还可以以某一类业务日志种类作为所述预警规则的构成，比如当A类业务日志为某一企业禁止出现的业务日志时，当对存储于所述搜索服务器中的业务日志进行统计分析时，只要发现所述A类业务日志时，即可将该业务日志的生成时间、包含的内容以及预警原因的描述等录入文本中，生成所述预警结果存入数据库并进行显示，以实现对异常业务日志的预警。

在上述实施例的基础上，在本申请的又一个实施例中，所述调度部300具体用于设定预设频率，并根据所述预设频率及预警规则调用预警任务。

在本实施例中，所述预设频率是指每隔若干时间调用预警任务的频率，比如在设定好所述预警规则后，所述调度部300可以在每天的某个时间点进行预警任务的调用，也可以每隔十分钟或每隔一小时进行预警任务的调用。所述预设频率的大小可以根据实际的安全等级需求而定，当需要进行频繁的对存储于所述搜索服务器中的业务日志进行预警时，可以将所述预设频率设置的小一些，比如每一分钟或每五分钟等；当对存储于所述搜索服务器中的业务日志的预警需求较低时，可以将所述预设频率的大小设置的大一些，比如每24小时或每小时等。本申请对所述预设频率的具体取值并不做限定，具体视实际情况而定。

在上述实施例的基础上，在本申请的一个优选实施例中，所述接收部100为日志搜集处理框架。比如logstash等，本申请对上述日志搜集处理框架的具体种类并不做限定，具体视实际情况而定。

相应的，本申请实施例还提供了一种业务日志收集及预警方法，如图2所示，包括：

S101：获取配置信息，所述配置信息包括待接收业务日志种类及接收规则，所述待接收业务日志种类为预设业务日志种类集合的子集；

S102：根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中；

S103：获取预警规则；

S104：根据所述预警规则调用预警任务；

S105：解析所述预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果；

S106：将所述预警结果存储于数据库中；

S107：显示所述预警结果。

需要说明的是，所述预设业务日志种类集合中包含有常用来源的业务日志种类，比如存储在数据库中的业务日志、syslog业务日志、以文本形式存储的业务日志以及以http方式或webservice方式发送的业务日志数据等，本申请对所述预设业务日志种类集合中所包括的具体的业务日志种类并不做限定，具体视实际情况而定。所述配置信息包括的待接收业务日志种类为所述预设业务日志种类集合的子集，即当企业需要对待接收业务日志种类进行更改时，可以通过输入不同的配置信息的方式实现对需要收集和预警的业务日志的更新，这种更新可以是在原来需要收集和预警的业务日志的种类的基础上的增加，也可以是在原来需要收集和预警的业务日志种类的基础上的删除，还可以是完全替换原来需要收集和预警的业务日志种类。

另外，所述接收规则是针对不同种类的业务日志的数据密码，比如针对数据库业务日志而言，数据库本身不具备发送功能，需要所述接收部100去数据库中获取数据，因此需要针对这种类型的数据库业务日志设置相应的接收规则。同样的，其他种类的业务日志也同样需要相应的接收规则，由于根据不同种类的业务日志设置相应的接收规则的方法已为本领域技术人员所熟知，本申请在此不作赘述。

另外，所述业务日志收集及预警系统还可以通过配置预警规则，然后调用和解析预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果的方式实现对业务日志的预警；同样的，当需要对预警规则进行更新时，只需要输入新的预警规则即可，因此所述业务日志收集及预警系统的通用性较高，可以通过简单的配置信息和预警规则的更新实现新的业务日志种类的收集存储，以及根据新的预警规则实现预警功能。

还需要说明的是，所述搜索服务器优选为Elasticsearch，但其他种类的搜索服务器也可，存储所述预警结果的数据库优选为mysql数据库，同样的，其他种类的数据库也适用于本申请提供的所述业务日志收集及预警系统。

在上述实施例的基础上，在本申请的一个实施例中，所述预设要素为日期。

在本实施例中，所述接收部100根据所述配置信息接收业务日志后，按照日期为索引将其存储于搜索服务器中，以便所述解析部400在预警过程中便于对存储于所述搜索服务器中的业务日志的统计分析。这是因为一般对于业务日志的预警都具有较强的时效性，按照日期为索引进行存储有利于降低所述解析部400对存储于所述搜索服务器中的业务日志进行统计分析的工作量，提升工作效率。

但在本申请的其他实施例中，所述预设要素还可以为业务日志种类或业务日志大小或业务日志名称。本申请对所述预设要素的具体种类并不做限定，具体视实际情况而定。

在上述实施例的基础上，在本申请的另一个实施例中，所述预警规则由至少一个预设要素构成，所述预设要素包括业务日志种类、时间段、字段值、预设规则和出现次数。

在本实施例中，所述预警规则具有通用的表达式，所述表达式为某类业务日志在某个时间段内某个字段值符合某种特定规则的日志出现的次数。其中包括的预设要素(业务日志种类、时间段、字段值、预设规则和出现次数)可以根据实际情况进行组合(至少包括一项所述预设要素)，并且所述预设要素的值也可以根据实际情况进行设定。本申请对此并不做限定，具体是实际情况而定。比如以身份证号作为所述字段值的具体内容，当存储于所述搜索服务器中的业务日志中出现符合身份证号规则的数字串时，则认为该业务日志为异常业务日志，将该业务日志的生成时间、包含的内容以及预警原因的描述等录入文本中，生成所述预警结果并进行显示，以实现对异常业务日志的预警。另外还可以以某一类业务日志种类作为所述预警规则的构成，比如当A类业务日志为某一企业禁止出现的业务日志时，当对存储于所述搜索服务器中的业务日志进行统计分析时，只要发现所述A类业务日志时，即可将该业务日志的生成时间、包含的内容以及预警原因的描述等录入文本中，生成所述预警结果存入数据库并进行显示，以实现对异常业务日志的预警。

在上述实施例的基础上，在本申请的又一个实施例中，所述根据所述预警规则调用预警任务包括：

设定预设频率；

根据所述预设频率及预警规则调用预警任务。

在本实施例中，所述预设频率是指每隔若干时间调用预警任务的频率，比如在设定好所述预警规则后，所述调度部300可以在每天的某个时间点进行预警任务的调用，也可以每隔十分钟或每隔一小时进行预警任务的调用。所述预设频率的大小可以根据实际的安全等级需求而定，当需要进行频繁的对存储于所述搜索服务器中的业务日志进行预警时，可以将所述预设频率设置的小一些，比如每一分钟或每五分钟等；当对存储于所述搜索服务器中的业务日志的预警需求较低时，可以将所述预设频率的大小设置的大一些，比如每24小时或每小时等。本申请对上述预设频率的具体取值并不做限定，具体视实际情况而定。

在上述实施例的基础上，在本申请的一个优选实施例中，所述获取配置信息包括：

通过日志搜集处理框架生成配置信息。

在本申请的一个实施例中，所述日志搜集处理框架为logstash，本申请对上述日志搜集处理框架的具体种类并不做限定，具体视实际情况而定。

综上所述，本申请实施例提供了一种业务日志收集及预警系统和业务日志收集及预警方法，其中，所述业务日志收集及预警系统的接收部100用语获取配置信息并根据所述配置信息接收业务日志并按照预设要素创建索引存储于搜索服务器中，所述配置信息中包括待接收业务日志种类及接受规则，所述待接收业务日志种类为预设业务日志种类集合的子集，当企业需要对待接收业务日志种类进行更改时，只需要利用所述接收部100输入新的配置信息即可根据新的配置信息进行业务日志的收集和存储。

另外，所述业务日志收集及预警系统还可以通过所述配置部200进行预警规则的输入，通过所述调度部300和解析部400调用和解析预警任务，并根据解析后的预警任务对存储于所述搜索服务器中的业务日志进行统计分析，生成预警结果存储于数据库中，实现对业务日志的预警；同样的，当需要对预警规则进行更新时，只需要通过所述配置部200输入新的预警规则即可，因此所述业务日志收集及预警系统的通用性更高，不需要专业的技术人员进行脚本编写对系统进行更新，可以仅通过简单的配置信息和预警规则的更新实现新的业务日志种类的收集存储，以及根据新的预警规则实现预警功能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。