日志管理系统和实现方法
【技术领域】
[0001]本发明涉及计算机技术领域，特别涉及日志管理系统和实现方法。
【背景技术】
[0002]在计算机通信技术中，为了记录应用访问者的访问行为，在网络侧会产生大量的日志。网络侧会将这些日志保存起来，以便后续查询。
[0003]目前，对日志进行管理的方法包括:应用运行节点根据应用访问者的访问行为产生日志，并在自身中保存日志；后续，当需要查询日志时，获取对应的应用运行节点的IP地址，从该应用运行节点上查询日志。
[0004]由以上描述可以看出，在现有技术中，日志是分散保存在各个应用运行节点上的，也就是说，不同应用运行节点产生的日志分散保存，由于应用运行节点数量众多且IP地址不同，这样，用户查询日志时，不易获取具体需要查询的应用运行节点的IP地址。进一步地，由于日志分散保存，不易对日志进行综合管理，降低了业务实现的灵活性。
【发明内容】
[0005]本发明实施例提供日志管理系统和方法，解决日志分散管理的问题。
[0006]第一种日志管理系统，包括:
[0007]日志推送单元，用于保存预定义的日志格式，将一个以上应用运行节点产生的日志按照所述日志格式推送到日志收集单元；
[0008]日志收集单元，收集接收到的日志，对日志进行缓存，将日志以事件形式发送给日志存储单元，并监测日志是否已存储到日志存储单元，如果是，则删除所缓存的日志；
[0009]日志存储单元，存储所接收到的日志；
[0010]日志计算分析单元，根据分析计算规则对日志存储单元中存储的日志进行分析和计算，接收到日志服务控制单元发来的查询请求后，访问日志存储单元，获取相应的日志，返回给日志服务控制单元；
[0011]日志服务控制单元，向日志计算分析单元发送分析计算规则，以及发送查询请求，向用户提供接收到的日志。
[0012]所述日志计算分析单元以流的形式访问所述日志存储单元中的数据。
[0013]第二种日志管理系统，包括:
[0014]日志推送引擎，位于paas平台的一个以上应用运行节点中，用于保存预定义的日志格式，将一个以上应用运行节点产生的日志按照所述日志格式推送到flume节点；
[0015]flume节点，用于收集接收到的日志，对日志进行缓存，将日志以事件形式发送给HDFS，并监测日志是否已存储到HDFS，如果是，则删除所缓存的日志；
[0016]HDFS,存储所接收到的日志；
[0017]impala节点，根据分析计算规则对HDFS中存储的日志进行分析和计算，接收到日志服务控制单元发来的查询请求后，访问HDFS，获取相应的日志，返回给日志服务控制单元;
[0018]日志服务控制单元，向impala节点发送分析计算规则以及发送查询请求，向用户提供接收到的日志。
[0019]第二种日志管理系统中，所述impala节点以流的形式访问所述HDFS中的数据。
[0020]第二种日志管理系统中，所述impala节点进一步提供SQL语义，以查询所述HDFS中的数据。
[0021]一种日志管理方法，应用于上述第一种日志管理系统的任意一种结构中，该方法包括:
[0022]一个以上的日志推送单元将一个以上应用运行节点产生的日志按照预设日志格式推送到日志收集单元；
[0023]日志收集单元收集接收到的日志，对日志进行缓存，将日志以事件形式发送给日志存储单元，
[0024]日志存储单元存储所接收到的日志；
[0025]日志收集单元监测日志是否已存储到日志存储单元，如果是，则删除所缓存的日志；
[0026]日志计算分析单元根据日志服务控制单元发来的分析计算规则对日志存储单元中存储的日志进行分析和计算；
[0027]日志计算分析单元接收到日志服务控制单元发来的查询请求后，访问日志存储单元，获取相应的日志，返回给日志服务控制单元；
[0028]日志服务控制单元向用户提供接收到的日志。
[0029]一种日志管理方法，应用于上述第二种日志管理系统的任意一种结构中，该方法包括:
[0030]日志推送引擎将一个以上应用运行节点产生的日志按照所述日志格式推送到flume节点；
[0031 ] flume节点收集接收到的日志，对日志进行缓存，将日志以事件形式发送给HDFS，并监测日志是否已存储到HDFS，如果是，则删除所缓存的日志；
[0032]日志服务控制单元向impala节点发送分析计算规则，impala节点根据分析计算规则对HDFS中存储的日志进行分析和计算；
[0033]日志服务控制单元向impala节点发送日志查询请求，impala节点访问HDFS，获取相应的日志，返回给日志服务控制单元；
[0034]日志服务控制单元向用户提供接收到的日志。
[0035]所述impala节点访问HDFS包括:所述impala节点以流的形式访问所述HDFS中的数据。
[0036]进一步包括:所述impala节点进一步提供SQL语义，以查询所述HDFS中的数据。
[0037]本发明实施例提供了一种日志管理系统和方法，利用日志推送单元、日志收集单元、日志存储单元、日志计算分析单元和日志服务控制单元的配合操作，能够实现日志的统一收集、存储、管理和查询，从而解决了日志分散管理的问题，比如，由于统一查询日志，因此使用统一的地址进行查询，避免了现有技术中用户查询日志时，不易获取具体需要查询的应用运行节点的IP地址。再如，由于日志集中保存，可以对日志进行综合管理，提高了业务实现的灵活性。
[0038]进一步地，本发明实施例提供的一种分布式日志管理系统实现方法，可以解决在paas平台中多租户的应用日志分散存放不便查看的问题；解决日志分散存放不便管理的问题；解决将这些日志数据收集到一起，供后续分析使用这一技术难题。同时，通过HDFS存储服务，既可以支撑海量日志数据的快速存储，又可以通过impala技术实现日志数据的快速分析查询。本发明实施例有多节点日志数据统一维护管理、海量日志数据快速存储查询、使用简便、降低配置难度、降低运维管理难度等特点，具有很好的推广使用价值。
【附图说明】
[0039]图1是本发明一个实施例中日志管理系统的结构示意图。
[0040]图2是本发明另一个实施例中日志管理系统的结构示意图。
[0041]图3是本发明一个实施例中日志管理方法的流程图。
[0042]图4是本发明另一个实施例中日志管理方法的流程图。
【具体实施方式】
[0043]本发明一个实施例提出了一种日志管理系统，参见图1，该系统包括:
[0044]日志推送单元101，用于保存预定义的日志格式，将一个以上应用运行节点产生的日志按照所述日志格式推送到日志收集单元102 ;
[0045]日志收集单元102，收集接收到的日志，对日志进行缓存，将日志以事件形式发送给日志存储单元103，并监测日志是否已存储到日志存储单元103，如果是，则删除所缓存的日志；
[0046]日志存储单元103，存储所接收到的日志；
[0047]日志计算分析单元104，根据分析计算规则对日志存储单元103中存储的日志进行分析和计算，接收到日志服务控制单元105发来的查询请求后，访问日志存储单元103，获取相应的日志，返回给日志服务控制单元105 ;
[0048]日志服务控制单元105，向日志计算分析单元104发送分析计算规则，以及发送查询请求，向用户提供接收到的日志。
[0049]本发明另一个实施例提出了另一种日志管理系统，参见图2，该系统尤其适用于paas平台中多租户的应用日志的管理，并且，可以基于flume技术搜集日志、HDFS技术存储日志和impala技术进行日志分析查询，基于这些技术的联合使用可以更好的对日志进行管理。基于此情况的本发明实施例的系统结构图可以参见图2所示，包括:
[0050]日志推送引擎201，位于paas平台的一个以上应用运行节点中，用于保存预定义的日志格式，将一个以上应用运行节点产生的日志按照所述日志格式推送到flume节点202 ；
[0051]flume节点202，用于收集接收到的日志，对日志进行缓存，将日志以事件形式发送给HDFS 203，并监测日志是否已存储到HDFS 203，如果是，则删除所缓存的日志；
[0052]HDFS 203，存储所接收到的日志；
[0053]impala节点204，根据分析计算规则对HDFS 203中存储的日志进行分析和计算，接收到日志服务控制单元205发来的查询请求后，访问HDFS 203，获取相应的日志，返回给日志服务控制单元205 ;
[0054]日志服务控制单元205，向impala节点204发送分析计算规则以及发送查询请求，向用户提供接收到的日志。
[0055]基于图2所示系统，在本发明的一些实施例中，impala节点204以流的形式访问所述HDFS 203中的数据。
[0056]基于图2所示系统，在本发明的一些实施例中，impala节点204进一步提供SQL语义，以查询所述HDFS 203中的数据。
[0057]基于图2所示系统，在本发明的一些实施例中，日志推送引擎201通过Log