专利名称：一种大日志分析的方法及系统的制作方法
技术领域：
本发明涉及计算机信息安全领域，尤其涉及一种大日志分析的方法及系统。
背景技术：
随着信息技术的发展，数据量迅速增长，数据的积累也越来越大。在进行数据的传输、交换和处理时，安全性是一个重要的考虑因素，为此，许多与信息处理相关的设备(如防火墙、入侵监测系统、路由器和服务器等)都会产生日志，其中记录了设备上和网络中每天发生的各种各样的事情，可以通过对日志的查询和统计来了解各个设备和整个网络的状况。但是如此海量的日志数据怎样才能够更好更快地统计分析出来是管理员面临的一个难题，目前业界有SME\S0C\SM\SEM等日志管理产品，其中都涉及到日志采集和分析模块，这些产品的日志大部分瓶颈都在分析服务器IO上，对海量日志的处理速度很慢，导致采集分析整体效率都不是很高，这无疑会影响上游使用日志的系统(前端应用)，用户体验不到及时性。同时，长时间的海量日志处理，长时间的处在IO峰值，甚至导致日志采集分析系统的崩盘，日志采集分析服务器的死机，严重影响系统的使用。所以，有必要提出一种新的技术，可以使分析服务器快速处理海量日志的同时减少分析服务器的负担，提升整体日志采集分析性能，而且能够保证数据库中分析结果及时更新。
发明内容
本发明的目的是为了克服现有技术的缺陷，提供一种大日志分析的方法及系统，使得日志分析效率和实时性都得到保证，同时数据库中分析结果也能够及时更新。
本发明提供的一种大日志分析的方法，具体流程为:首先是日志中心将大日志文件分成η个模块，通过加密传输到各个节点；其次是节点主机将日志分析处理，并将分析结果加密传送到数据中心；最后是数据中心将各个节点的日志分析结果整理合并后存入数据库中。其中，η取决于拥有的节点数。此外，本发明还提供了一种大日志分析的系统，该系统包括三大模块，一是作业调度模块，处理日志中心的源日志；二是任务追踪模块，分析节点中的日志；三是数据并集模块，将数据中心的日志分析结果合并以及数据库更新。本发明技术方案带来的有益效果:通过本发明不但能够减轻日志中心资源消耗，避免影响日志收集，保证日志收集质量，而且能够提高日志分析效率与实时性，保证数据库中分析结果能及时更新。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本发明实施例中日志统计分析的方法的网络拓扑图；图2是本发明实施例中日志统计分析的系统的架构图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明公开了一种大日志分析的方法，首先是日志中心将大日志文件分成η个模块，通过加密传输到各个节点；其次是节点主机将日志分析处理，并将分析结果加密传送到数据中心；最后是数据中心将各个节点的日志分析结果整理合并后存入数据库中。其中，η取决于拥有的节点数。如图1所示为该发明的拓扑图。此外，本发明还公开了一种大日志分析的系统，该系统包括三大模块，一是作业调度模块，处理日志中心的源日志，二是任务追踪模块，分析节点中的日志，三是数据并集模块，将数据中心的日志分析结果合并以及数据库更新。如图2所示为该发明的架构图。1、在日志中心中，作业调度模块会确定执行计划，把大日志切割成η个日志块，并根据SSL协议对日志块封装加密后传输到不同的节点。如果对日志块分配节点失败(如节点暂时连接不上或宕机)，作业调度模块会重新为日志块分配节点。2、在节点中，任务跟 踪模块会实时监听日志中心发过来的日志块，一旦节点接收到日志块信息时，任务跟踪模块首先对日志块进行解密，然后对日志块进行分析，把分析结果进行加密并把它发往数据中心。3、在数据中心中，数据并集模块实时监听节点发过来的日志分析结果，一旦数据中心接收到日志分析结果，数据并集模块对这分析结果进行解密后合并，再更新到数据库中。通过本发明不但能够减轻日志中心资源消耗，避免影响日志收集，保证日志收集质量，而且能够提高日志分析效率与实时性，保证数据库中分析结果能及时更新。以上对本发明实施例所提供的一种大日志分析的方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
权利要求
1.一种大日志分析的方法，其特征在于，该方法的具体流程为:首先是日志中心将大日志文件分成η个模块，通过加密传输到各个节点；其次是节点主机将日志分析处理，并将分析结果加密传送到数据中心；最后是数据中心将各个节点的日志分析结果整理合并后存入数据库中。
2.根据权利要求1所述的方法，其特征在于，η取决于拥有的节点数。
3.一种大日志分析的系统，其特征在于，该系统包括三大模块，一是作业调度模块，处理日志中心的源日志；二是任务追踪模块，分析节点中的日志；三是数据并集模块，将数据中心的日志分析结果合并以及数据库更新。
4.根据权利要求3所述的系统，其特征在于，在日志中心中，作业调度模块会确定执行计划，把大日志切割成η个日志块，并根据SSL协议对日志块封装加密后传输到不同的节点。
5.根据权利要求4所述的系统，其特征在于，如果对日志块分配节点失败，例如，节点暂时连接不上或宕机，作业调度模块会重新为日志块分配节点。
6.根据权利要求3所述的系统，其特征在于，在节点中，任务跟踪模块会实时监听日志中心发过来的日志块，一旦节点接收到日志块信息时，任务跟踪模块首先对日志块进行解密，然后对日志块进行分析，把分析结果进行加密并把它发往数据中心。
7.根据权利要求3所述的系统，其特征在于，在数据中心中，数据并集模块实时监听节点发过来的日志分析结果，一旦数据中心接收到日志分析结果，数据并集模块对这分析结果进行解密后合并，再 更新到数据库中。
全文摘要
本发明公开了一种大日志分析的方法，该方法首先是日志中心将大日志文件分成n个模块，通过加密传输到各个节点；其次是节点主机将日志分析处理，并将分析结果加密传送到数据中心；最后是数据中心将各个节点的日志分析结果整理合并后存入数据库中。此外，本发明还公开了一种大日志分析的系统。通过本发明不但能够减轻日志中心资源消耗，避免影响日志收集，保证日志收集质量，而且能够提高日志分析效率与实时性，保证数据库中分析结果能及时更新。
文档编号H04L29/06GK103227730SQ20131013935
公开日2013年7月31日 申请日期2013年4月19日 优先权日2013年4月19日
发明者柯宗贵, 柯宗庆, 杨育斌, 沈志亮 申请人:蓝盾信息安全技术股份有限公司