一种日志审计的装置、系统和方法
【专利摘要】本发明提供了一种日志审计的装置、系统和方法，该日志审计的装置与外设的至少两个设备相连，通过收集单元中的每一个收集进程，当空闲时，接收外设的至少两个设备发送的日志文件；通过归一化单元中的每一个归一化进程确定归一化规则，当空闲时，解析日志文件属性，根据归一化规则和所述日志文件属性，确定日志文件的关联属性；通过日志关联单元中的每一个关联进程，确定关联规则和告警规则，当接收到关联属性时，根据关联规则，进行日志关联，当日志关联满足所述告警规则时，触发告警单元；通过告警单元进行日志审计告警。本发明提供的方案实现了日志审计进程负载均衡。
【专利说明】
一种日志审计的装置、系统和方法
技术领域
[0001 ]本发明涉及计算机技术领域，特别涉及一种日志审计的装置、系统和方法。
【背景技术】
[0002]网络设备、服务器、应用服务等通用计算机软硬件以及各种特定业务系统在运行过程中会产生大量日志信息，而日志信息能够反应出计算机软硬件以及业务系统等的运行状态，而对日志进行审计是了解运行状态的重要手段之一。
[0003]目前，日志审计的主要方式是，为每个待监测的设备分配收集进程以及多个处理进程以对该设备进行日志审计，例如:为设备I分配收集进程1、处理进程I及处理进程2，设备2分配收集进程2、处理进程3及处理进程4，那么，当设备I没有日志审计，而设备2有较多的日志需要审计的时候，该收集进程1、处理进程I及处理进程2将空闲状态，而收集进程2、处理进程3及处理进程4处于满负载状态，造成日志审计进程负载不均衡。
【发明内容】
[0004]本发明实施例提供了一种日志审计的装置、系统和方法，实现了日志审计进程负载均衡。
[0005]—种日志审计的装置，与外设的至少两个设备相连，包括:收集单元、归一化单元、日志关联单元及告警单元，其中，
[0006]所述收集单元，包括:至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件，并将所述日志文件发送给所述归一化单元；
[0007]所述归一化单元，包括:至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收所述收集单元发送的所述日志文件，解析所述日志文件属性，根据所述归一化规则和所述日志文件属性，确定所述日志文件的关联属性，将所述关联属性发送给所述日志关联单元；
[0008]所述日志关联单元，包括:至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到所述关联属性时，根据所述关联规则，进行日志关联，当所述日志关联满足所述告警规则时，触发所述告警单元；
[0009]所述告警单元，用于在接收到触发时，进行日志审计告警。
[0010]优选地，上述日志审计的装置，进一步包括:规则引擎，其中，
[0011 ]所述规则引擎，用于接收至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID;
[0012]所述归一化单元中，每一个归一化进程，用于加载所述规则引擎，根据所述归一化规则，为日志文件分配对应的任务对象，并为任务对象配置关联属性，并根据所述关联规贝Ij，为所述任务对象确定对应的RuleID，并根据RuleID，将所述任务对象和关联属性发送给所述日志关联单元中的目标关联进程；
[0013]所述日志关联单元中，每一个关联进程，当作为目标关联进程时，用于接收所述归一化单元发送的任务对象和关联属性，根据所述关联属性，设置任务对象，对所述任务对象进行加I操作。
[0014]优选地，上述日志审计的装置，进一步包括:缓存区域和数据库，其中，
[0015]所述缓存区域，用于设置时间阈值，缓存所述归一化单元配置的任务对象，并当缓存对象达到所述时间阈值时，将缓存的任务对象存储到所述数据库，并删除缓存的任务对象；
[0016]所述日志关联单元中，每一个关联进程，当作为目标关联进程时，进一步用于根据所述关联属性，在所述缓存区域查找对应的任务对象，如果查找到所述任务对象，则对所述任务对象进行加I操作，否则，在所述数据库中查找任务对象，如果在所述数据库中查找到任务对象，则对所述任务对象进行加I操作，否则，增加新的任务对象给所述缓存区域。
[0017]优选地，上述日志审计的装置，进一步包括:设置单元，其中，
[0018]所述设置单元，用于为所述归一化单元中的每一个收集进程和所述日志关联单元中的每一个关联进程设置处理类及关联关系；
[0019]所述归一化单元中，每一个收集进程间，用于根据所述设置单元设置的处理类，对接收到的日志文件进行归一化处理；
[0020]所述日志关联单元中，每一个关联进程，用于根据所述设置单元设置的处理类，对接收到的日志文件进行日志关联；
[0021 ]所述每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，根据所述关联关系，进行数据交互。
[0022]优选地，上述日志审计的装置，应用于storm集群中，其中，
[0023]所述storm集群中，每一个节点，用于安装所述日志审计的装置中的任意一个或多个收集进程、归一化进程及关联进程。
[0024]—种日志审计的系统，其特征在于，包括:上述任意一种日志审计的装置和至少两个设备，其中，
[0025]所述至少两个设备中，每一个设备，用于向所述日志审计的装置发送日志文件。
[0026]—种日志审计的方法，设置至少一个收集进程、至少两个归一化进程及至少两个关联进程，为每一个归一化进程确定归一化规则，并为每一个关联进程确定关联规则和告警规则，还包括:
[0027]确定所述至少一个收集进程中空闲的收集进程；
[0028]利用空闲的收集进程接收外设的至少两个设备发送的日志文件；
[0029]确定所述至少两个归一化进程中的空闲的归一化进程；
[0030]利用空闲归一化进程解析所述日志文件的属性，根据所述归一化规则和所述日志文件的属性，确定所述日志文件的关联属性；
[0031]确定所述至少两个关联进程中的空闲关联进程；
[0032]根据所述关联规则，利用空闲关联进程进行日志关联，当所述日志关联满足所述告警规则时，进行日志审计告警。
[0033]优选地，上述方法进一步包括:
[0034]利用规则引擎设置至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID;
[0035]所述每一个归一化进程确定归一化规则，包括:每一个归一化进程加载所述规则引擎设置的至少一种归一化规则和关联规则设置对应的RuleID;
[0036]所述根据所述归一化规则和所述日志文件的属性，确定所述日志文件的关联属性，包括:根据所述归一化规则，为日志文件分配对应的任务对象，为任务对象配置关联属性，并为所述任务对象确定对应的RuleID;
[0037]所述确定所述至少两个关联进程中的空闲关联进程，包括:根据RulelD，确定目标关耳关进程；
[0038]所述利用空闲关联进程进行日志关联，包括:利用目标关联进程进行日志关联。
[0039]优选地，上述方法进一步包括:设置缓存区域和数据库；
[0040]在所述缓存区域设置时间阈值；
[0041 ]在所述为日志文件分配对应的任务对象之后，在所述利用目标关联进程进行日志关联之前，进一步包括:利用所述缓存区域缓存所述任务对象，并当缓存对象达到所述时间阈值时，将缓存的任务对象存储到所述数据库，并删除缓存的任务对象；
[0042]所述利用目标关联进程进行日志关联，包括:根据所述关联属性，在所述缓存区域查找对应的任务对象，如果查找到所述任务对象，则对所述任务对象进行加I操作，否则，在所述数据库中查找任务对象，如果在所述数据库中查找到任务对象，则对所述任务对象进行加I操作，否则，增加新的任务对象给所述缓存区域。
[0043]优选地，上述方法进一步包括:为每一个收集进程和每一个关联进程设置处理类及关联关系;
[0044]根据所述关联关系，所述每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，进行数据交互；
[0045]所述确定空闲的进程，包括:根据日志文件属性，确定目标处理类，并在所述目标处理类中，确定空闲的进程。
[0046]本发明实施例提供了一种日志审计的装置、系统和方法，该日志审计的装置，与外设的至少两个设备相连，包括:收集单元、归一化单元、日志关联单元及告警单元，其中，收集单元，包括:至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件;归一化单元，包括:至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收收集单元发送的所述日志文件，解析日志文件属性，根据归一化规则和日志文件属性，确定日志文件的关联属性；日志关联单元，包括:至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到所述关联属性时，根据关联规则，进行日志关联，当日志关联满足告警规则时，触发告警单元;告警单元，用于在接收到触发时，进行日志审计告警，由于本发明实施例提供的各种进程在空闲时能够对多个设备产生的日志进行日志解析和关联，实现了日志审计进程负载均衡。
【附图说明】
[0047]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]图1是本发明一个实施例提供的一种日志审计的装置的结构示意图；
[0049]图2是本发明另一个实施例提供的一种日志审计的装置的结构示意图；
[0050]图3是本发明又一个实施例提供的一种日志审计的装置的结构示意图；
[0051]图4是本发明一个实施例提供的一种日志审计的系统的结构示意图；
[0052]图5是本发明一个实施例提供的一种日志审计的方法的流程图；
[0053]图6是本发明另一个实施例提供的一种日志审计的方法的流程图；
[0054]图7是本发明一个实施例提供的进程间的关联关系的结构示意图；
[0055]图8是本发明一个实施例提供的日志分配关联进程的规则示意图。
【具体实施方式】
[0056]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]如图1所示，本发明实施例提供一种日志审计的装置，与外设的至少两个设备相连，包括:收集单元101、归一化单元102、日志关联单元103及告警单元104，其中，
[0058]收集单元101，包括:至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件，并将日志文件发送给归一化单元102;
[0059]归一化单元102，包括:至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收收集单元101发送的日志文件，解析日志文件属性，根据归一化规则和日志文件属性，确定日志文件的关联属性，将关联属性发送给日志关联单元103;
[0060]日志关联单元103，包括:至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到关联属性时，根据关联规则，进行日志关联，当日志关联满足告警规则时，触发告警单元104;
[0061]告警单元104，用于在接收到触发时，进行日志审计告警。
[0062]如图2所示，在本发明另一实施例中，上述日志审计的装置进一步包括:规则引擎201，其中，
[0063]规则引擎201，用于接收至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID ；
[0064]归一化单元102中，每一个归一化进程，用于加载规则引擎201，根据归一化规则，
为日志文件分配对应的任务对象，并为任务对象配置关联属性，并根据关联规则，为任务对象确定对应的RulelD，并根据RulelD，将任务对象和关联属性发送给日志关联单元103中的目标关联进程；
[0065]日志关联单元103中，每一个关联进程，当作为目标关联进程时，用于接收归一化单元102发送的任务对象和关联属性，根据关联属性，设置任务对象，对任务对象进行加I操作。
[0066]如图3所示，在本发明又一实施例中，上述日志审计的装置，进一步包括:缓存区域301和数据库302，其中，
[0067]缓存区域301，用于设置时间阈值，缓存归一化单元102配置的任务对象，并当缓存对象达到时间阈值时，将缓存的任务对象存储到数据库302，并删除缓存的任务对象；
[0068]日志关联单元103中，每一个关联进程，当作为目标关联进程时，进一步用于根据关联属性，在缓存区域301查找对应的任务对象，如果查找到任务对象，则对任务对象进行加I操作，否则，在数据库302中查找任务对象，如果在数据库302中查找到任务对象，则对任务对象进行加I操作，否则，增加新的任务对象给缓存区域301。
[0069]在本发明另一实施例中，上述日志审计的装置，进一步包括:设置单元(图中未示出)，其中，
[0070]设置单元，用于为归一化单元102中的每一个收集进程和日志关联单元103中的每一个关联进程设置处理类及关联关系；
[0071]归一化单元102中，每一个收集进程间，用于根据设置单元设置的处理类，对接收到的日志文件进行归一化处理；
[0072]日志关联单元103中，每一个关联进程，用于根据设置单元设置的处理类，对接收到的日志文件进行日志关联；
[0073]每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，根据关联关系，进行数据交互。
[0074]在本发明又一实施例中，上述日志审计的装置应用于storm集群中，其中，
[0075]storm集群中，每一个节点，用于安装日志审计的装置中的任意一个或多个收集进程、归一化进程及关联进程。
[0076]如图4所示，本发明实施例提供一种日志审计的系统，该系统包括:上述任意一种日志审计的装置401和至少两个设备402，其中，
[0077]至少两个设备402中，每一个设备，用于向日志审计的装置401发送日志文件。
[0078]上述装置/系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
[0079]如图5所示，本发明实施例提供了一种日志审计的方法，该方法可以包括以下步骤:
[0080]步骤501:设置至少一个收集进程、至少两个归一化进程及至少两个关联进程；
[0081 ]步骤502:为每一个归一化进程确定归一化规则，并为每一个关联进程确定关联规则和告警规则；
[0082]步骤503:确定至少一个收集进程中空闲的收集进程；
[0083]步骤504:利用空闲的收集进程接收外设的至少两个设备发送的日志文件；
[0084]步骤505:确定至少两个归一化进程中的空闲的归一化进程；
[0085]步骤506:利用空闲归一化进程解析日志文件的属性，根据归一化规则和日志文件的属性，确定日志文件的关联属性；
[0086]步骤507:确定至少两个关联进程中的空闲关联进程；
[0087]步骤508:根据关联规则，利用空闲关联进程进行日志关联，当日志关联满足告警规则时，进行日志审计告警。
[0088]在本发明一个实施例中，上述方法进一步包括:利用规则引擎设置至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID;步骤502的【具体实施方式】，包括:每一个归一化进程加载规则引擎设置的至少一种归一化规则和关联规则设置对应的RulelD；步骤505的【具体实施方式】，包括:根据归一化规则，为日志文件分配对应的任务对象，为任务对象配置关联属性，并为任务对象确定对应的RuleID;步骤507的【具体实施方式】，包括:根据RuleID，确定目标关联进程;步骤508的【具体实施方式】，包括:利用目标关联进程进行日志关联，通过规则引擎用户可以按照自己的需求设置各种规则，实现了规则设置的灵活性，例如:用户利用规则引擎设置规则1、规则2等等，该规贝IJl和规则2可以直接通过进程加载规则引擎实现配置。
[0089]在本发明一个实施例中，为了保证日志关联的准确性，同时保证日志审计的效率，上述方法进一步包括:设置缓存区域和数据库;在所述缓存区域设置时间阈值;利用缓存区域缓存任务对象，并当缓存对象达到时间阈值时，将缓存的任务对象存储到数据库，并删除缓存的任务对象;步骤508的【具体实施方式】，包括:根据关联属性，在缓存区域查找对应的任务对象，如果查找到任务对象，则对任务对象进行加I操作，否则，在数据库中查找任务对象，如果在数据库中查找到任务对象，则对任务对象进行加I操作，否则，增加新的任务对象给缓存区域。
[0090]在本发明一个实施例中，为了实现分类处理日志，同时保证各进程间的通信，上述方法进一步包括:为每一个收集进程和每一个关联进程设置处理类及关联关系;根据关联关系，每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，进行数据交互;确定空闲的进程，包括:根据日志文件属性，确定目标处理类，并在目标处理类中，确定空闲的进程。
[0091]以审计某一网站帐户登录的频次，从而判断该网站是否被恶意攻击或恶意访问为例，详细说明日志审计的方法，如图6所示，该方法可以包括以下步骤:
[0092]步骤601:设置至少一个收集进程、至少两个归一化进程及至少两个关联进程；
[0093]在该步骤中，可以基于Topology架构构建不同的进程，其中，Topology是由spout和boIt组成的，spout负责向bolt发送消息，bolt负责处理消息，并把消息发送给下一个bolt。在该步骤中需要定义spout和bolt的处理类，以及它们之间的连接关系，从而实现设置至少一个收集进程、至少两个归一化进程及至少两个关联进程。如图7所示，spoutA为一个收集进程，bo 11A和bo I tB是归一化进程;bo I tC和bo I tD是关联进程，其中，spout A与bo 11A和bo ItB交互数据;bo ItA和bo ItB与bo ItC和bo ItD交互数据。
[0094]步骤602:利用规则引擎设置至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID及网站帐户登录的频次；
[°°95] 在该步骤中，可以通过Topology架构中的spoutB设置至少一种归一化规则和至少一种关联规则，该spoutB将归一化规则和关联规则发送给boltA和1301丨13，1301丨4和130]^13再将关联规则发送给boltC和boltD，为了使关联规则比较容易查找，一种关联规则设置对应的RulelD。
[0096]步骤603:设置缓存区域和数据库，在缓存区域设置时间阈值；
[0097]在该步骤设置的缓存区域和数据库主要是为了缓存和存储任务对象如某一网站登录频次统计。
[0098]步骤604:将至少一个收集进程、至少两个归一化进程及至少两个关联进程分散到s tr om集群中的各个节点上；
[0099]该步骤可以使归一化进程和关联进程设置在不同的节点上，保证进程间相对独立，能够为多个设备服务器提供服务，从而保证进程负载的均衡。
[0100]步骤605:在各个节点加载规则引擎；
[0101]步骤606:为各个节点中的归一化进程确定归一化规则，并为关联进程确定关联规则和告警规则；
[0102]例如:为boltA和boltB确定归一化规则，以通过boltA和boltB对日志进行分类;为bo I tC确定关联规则I对应Ru I e I;为bo I tD确定关联规则2对应Ru I e2。
[0103]步骤607:确定各个节点中空闲的收集进程；
[0104]步骤608:利用各个节点中空闲的收集进程接收外设的至少两个设备发送的网站登录日志文件；
[0105]步骤609:利用收集进程确定各个节点中空闲的归一化进程；
[0106]步骤610:利用空闲归一化进程解析网站登录日志文件的属性，根据归一化规则和日志文件的属性，确定任务对象；
[0107]如图8所示，通过步骤607至步骤610，确定出bo ItA和bo ItB空闲，确定为boltA分配1gl和log2;为boltB分配log3、log4及log5，对日志文件的属性如日志文件名称等等进行解析。
[0108]步骤611:为任务对象配置关联属性及对应的RuleID;
[0109]在该步骤中，给日志对应的任务对象增加关联属性即相似性属性如需要包括日志所属设备，表示同一设备的日志关联，并根据关联规则如对登陆频次进行统计等等。如图8所示，根据日志的相似属性，为1gl配置Rulel;为10〖2、log3、log4及log5配置Rule2。
[0110]步骤612:确定至少两个关联进程中的空闲关联进程；
[0111]步骤613:根据RulelD，在空闲关联进程中确定目标关联进程；
[0112]如图8所示，将 1gl 分配给13011:(];将1(^2、1(^3、1(^4及1(^5分配给1301七0。
[0113]步骤614:根据关联规则和任务对象的关联属性及对应的RuleID，目标关联进程查找缓存区域是否存在该任务对象，如果是，则执行步骤615;否则，执行步骤616;
[0114]该任务对象为对网站登录频次的统计，在该步骤中，如果之前对该网站已经有登录记录，那么会在缓存区域有缓存任务对象。
[0115]步骤615:对缓存区域中的任务对象的频次执行加I操作，判断该任务对象总频次是否达到频次阈值，如果是，则执行步骤617;否则，执行步骤608;
[0116]例如:可以设置频次阈值为100次，即在24内某一帐户登录超过100次即认定该帐户被恶意攻击。
[0117]步骤616:目标关联进程查找数据库是否存在该任务对象，如果是，则执行步骤618，否则，执行步骤619;
[0118]步骤617:进行告警，并将任务对象频次清零，执行步骤608;
[0119]该步骤的告警可以通过邮件或者短消息的方式发送给用户，以让用户及时对其账户进行处理。
[0120]步骤618:对将该任务对象加载到缓存区域，执行步骤615;
[0121]步骤619:将任务对象存储到缓存区域，并当任意任务对象在缓存区域中的时间达到时间阈值时，存储到数据库中。
[0122]根据上述方案，本发明的各实施例，至少具有如下有益效果:
[0123]1.该日志审计的装置，与外设的至少两个设备相连，包括:收集单元、归一化单元、日志关联单元及告警单元，其中，收集单元，包括:至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件；归一化单元，包括:至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收收集单元发送的所述日志文件，解析日志文件属性，根据归一化规则和日志文件属性，确定日志文件的关联属性；日志关联单元，包括:至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到所述关联属性时，根据关联规则，进行日志关联，当日志关联满足告警规则时，触发告警单元；告警单元，用于在接收到触发时，进行日志审计告警，由于本发明实施例提供的各种进程在空闲时能够对多个设备产生的日志进行日志解析和关联，实现了日志审计进程负载均衡。
[0124]2.通过Storm集群的方式，将多个进程分散到各个节点上，可以接收多个设备的日志，并对多个设备的日志并行进行日志审计，实现了资源共享。
[0125]3.本发明实施例提供至少两个归一化进程和至少两个关联进程，而且通过将符合同一规则的日志被同一关联进程处理，便于对日志的关联性进行统计，同时有效的提高了日志审计的效率。
[0126]4.在关联进程进行关联统计时，通过缓存区域和数据库结合的方式缓存和存储任务对象，当缓存区域缓存的任务对象达到一定时间阈值时，将任务对象存储到数据库，这样保证缓存区域的缓存效率，同时在进行任务对象的关联时，首先查找缓存区域中，然后查找数据库，即以缓存区域为主，数据库为辅，从而进一步有效地提高了日志审计的效率。
[0127]需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃.....”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
[0128]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
[0129]最后需要说明的是:以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
【主权项】
1.一种日志审计的装置，其特征在于，与外设的至少两个设备相连，包括:收集单元、归一化单元、日志关联单元及告警单元，其中， 所述收集单元，包括:至少一个收集进程，每一个收集进程，用于当空闲时，接收外设的至少两个设备发送的日志文件，并将所述日志文件发送给所述归一化单元； 所述归一化单元，包括:至少两个归一化进程，每一个归一化进程，用于确定归一化规则，当空闲时，接收所述收集单元发送的所述日志文件，解析所述日志文件属性，根据所述归一化规则和所述日志文件属性，确定所述日志文件的关联属性，将所述关联属性发送给所述日志关联单元； 所述日志关联单元，包括:至少两个关联进程，每一个关联进程，用于确定关联规则和告警规则，当接收到所述关联属性时，根据所述关联规则，进行日志关联，当所述日志关联满足所述告警规则时，触发所述告警单元； 所述告警单元，用于在接收到触发时，进行日志审计告警。2.根据权利要求1所述的日志审计的装置，其特征在于，进一步包括:规则引擎，其中， 所述规则引擎，用于接收至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID; 所述归一化单元中，每一个归一化进程，用于加载所述规则引擎，根据所述归一化规则，为日志文件分配对应的任务对象，并为任务对象配置关联属性，并根据所述关联规则，为所述任务对象确定对应的RuleID，并根据RuleID，将所述任务对象和关联属性发送给所述日志关联单元中的目标关联进程； 所述日志关联单元中，每一个关联进程，当作为目标关联进程时，用于接收所述归一化单元发送的任务对象和关联属性，根据所述关联属性，设置任务对象，对所述任务对象进行加I操作。3.根据权利要求2所述的日志审计的装置，其特征在于，进一步包括:缓存区域和数据库，其中， 所述缓存区域，用于设置时间阈值，缓存所述归一化单元配置的任务对象，并当缓存对象达到所述时间阈值时，将缓存的任务对象存储到所述数据库，并删除缓存的任务对象；所述日志关联单元中，每一个关联进程，当作为目标关联进程时，进一步用于根据所述关联属性，在所述缓存区域查找对应的任务对象，如果查找到所述任务对象，则对所述任务对象进行加I操作，否则，在所述数据库中查找任务对象，如果在所述数据库中查找到任务对象，则对所述任务对象进行加I操作，否则，增加新的任务对象给所述缓存区域。4.根据权利要求1至3任一所述的日志审计的装置，其特征在于，进一步包括:设置单元，其中， 所述设置单元，用于为所述归一化单元中的每一个收集进程和所述日志关联单元中的每一个关联进程设置处理类及关联关系； 所述归一化单元中，每一个收集进程间，用于根据所述设置单元设置的处理类，对接收到的日志文件进行归一化处理； 所述日志关联单元中，每一个关联进程，用于根据所述设置单元设置的处理类，对接收到的日志文件进行日志关联； 所述每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，根据所述关联关系，进行数据交互。5.根据权利要求1至3任一所述的日志审计的装置，其特征在于，应用于storm集群中，其中， 所述storm集群中，每一个节点，用于安装所述日志审计的装置中的任意一个或多个收集进程、归一化进程及关联进程。6.—种日志审计的系统，其特征在于，包括:权利要求1至5任一所述日志审计的装置和至少两个设备，其中， 所述至少两个设备中，每一个设备，用于向所述日志审计的装置发送日志文件。7.—种日志审计的方法，其特征在于，设置至少一个收集进程、至少两个归一化进程及至少两个关联进程，为每一个归一化进程确定归一化规则，并为每一个关联进程确定关联规则和告警规则，还包括: 确定所述至少一个收集进程中空闲的收集进程； 利用空闲的收集进程接收外设的至少两个设备发送的日志文件； 确定所述至少两个归一化进程中的空闲的归一化进程； 利用空闲归一化进程解析所述日志文件的属性，根据所述归一化规则和所述日志文件的属性，确定所述日志文件的关联属性； 确定所述至少两个关联进程中的空闲关联进程； 根据所述关联规则，利用空闲关联进程进行日志关联，当所述日志关联满足所述告警规则时，进行日志审计告警。8.根据权利要求7所述的方法，其特征在于，进一步包括: 利用规则引擎设置至少一种归一化规则和至少一种关联规则，并为每一种关联规则设置对应的RuleID; 所述每一个归一化进程确定归一化规则，包括:每一个归一化进程加载所述规则引擎设置的至少一种归一化规则和关联规则设置对应的RuleID; 所述根据所述归一化规则和所述日志文件的属性，确定所述日志文件的关联属性，包括:根据所述归一化规则，为日志文件分配对应的任务对象，为任务对象配置关联属性，并为所述任务对象确定对应的RuleID; 所述确定所述至少两个关联进程中的空闲关联进程，包括:根据RulelD，确定目标关联进程； 所述利用空闲关联进程进行日志关联，包括:利用目标关联进程进行日志关联。9.根据权利要求8所述的方法，其特征在于，进一步包括:设置缓存区域和数据库； 在所述缓存区域设置时间阈值； 在所述为日志文件分配对应的任务对象之后，在所述利用目标关联进程进行日志关联之前，进一步包括:利用所述缓存区域缓存所述任务对象，并当缓存对象达到所述时间阈值时，将缓存的任务对象存储到所述数据库，并删除缓存的任务对象； 所述利用目标关联进程进行日志关联，包括:根据所述关联属性，在所述缓存区域查找对应的任务对象，如果查找到所述任务对象，则对所述任务对象进行加I操作，否则，在所述数据库中查找任务对象，如果在所述数据库中查找到任务对象，则对所述任务对象进行加I操作，否则，增加新的任务对象给所述缓存区域。10.根据权利要求7至9任一所述的方法，其特征在于，进一步包括:为每一个收集进程和每一个关联进程设置处理类及关联关系； 根据所述关联关系，所述每一个收集进程之间、每一个关联进程之间及每一个收集进程与每一个关联进程之间，进行数据交互； 所述确定空闲的进程，包括:根据日志文件属性，确定目标处理类，并在所述目标处理类中，确定空闲的进程。
【文档编号】G06F17/30GK106095575SQ201610415448
【公开日】2016年11月9日
【申请日】2016年6月14日 公开号201610415448.9, CN 106095575 A, CN 106095575A, CN 201610415448, CN-A-106095575, CN106095575 A, CN106095575A, CN201610415448, CN201610415448.9
【发明人】杨继伟
【申请人】上海浪潮云计算服务有限公司