一种海量日志管理云平台的制作方法
【技术领域】
[0001]本发明涉及计算机应用领域，尤其涉及一种海量日志管理云平台。
【背景技术】
[0002]传统的日志分析系统，通常是以本地安装的方式收集设备的日志，先是将日志发送到本地服务器上，经过分析或不经分析直接存储到数据库中，再通过管理界面进行搜索和分析日志数据。
[0003]传统的日志分析系统，在分析日志时，会遇到以下问题:
1.在日志容量增大后，系统的日志存储、查询、分析性能均出现下降，因为没有良好的水平扩展能力，系统性能往往受限于硬件性能。
[0004]2.没有对日志进行全文索引的能力。
[0005]3.单点故障。当系统中的硬件存储设备出现故障后，数据会丢失难以找回。
【发明内容】
[0006]为解决上述技术问题，本发明提供了一种海量日志管理云平台，帮助软件开发人员或网络运维人员更方便地查看和分析日志，从而提高开发效率和分析问题的效率。
[0007]为了实现上述目的，本发明采用如下技术方案。
[0008]一种海量日志管理云平台，包括日志收集系统、日志处理系统、日志索引与存储系统、日志查询应用系统。
[0009]所述日志收集系统，用于将日志收集到平台中，是一个分布式、可靠、和高可用的海量日志聚合的系统。它支持收集sysl0g、HTTP、L0g4J、文件、文件变化等多种协议和格式的日志。
[0010]所述日志处理系统包括日志消息处理子系统和实时流处理子系统。
[0011]日志消息处理子系统，用来解耦日志消息的收集与日志消息的分析、存储之间的逻辑关系，使得系统更加灵活、可靠。在存储系统宕掉时，日志消息处理子系统的持久化机制可以保证日志不会丢失。
[0012]实时流处理子系统，用来将日志消息实时的分发给各后端处理系统。
[0013]所述日志索引与存储系统，包括半结构化存储系统、全文索引系统和非结构化存储系统。
[0014]半结构化存储系统，用于存储、查询日志的结构化数据，是一个灵活的存储机制，可以将日志拆分成自定义的字段来保存。而传统的关系型存储方式必须在用户使用前提前定义好字段。另外，该系统也具有TB级数据量存储的能力。
[0015]全文索引系统，可以提供日志的全文检索，为系统提供可在TB级的日志中实时检索日志的能力。它提供基于复制及分片技术的全文索引集群。并提供同义词、近义词、中文分词能力。
[0016]非结构化存储系统，对日志进行备份及离线分析处理。
[0017]所述日志查询应用系统，是一个分布式的查询和分析日志的应用系统。该系统能够以表格、柱状图、线形图等多种形式展示收集到的经过分析后的日志，能够接近实时的展示日志信息，并可根据制定的策略进行告警。
[0018]本发明的有益效果包括:
本发明的海量日志管理云平台不是本地日志管理系统，而是一个云端日志管理系统，能够对日志进行全文索引，使搜索和分析日志更加快速；采用云端存储不再局限于存储硬件的容量；能够解决因单点故障引起的日志数据丢失问题。日志处理系统中增加日志消息处理子系统，它负责将接收的日志转发给实时流处理子系统，实现日志的收集与处理的解耦。如果出现日志索引或储存系统异常时，日志消息处理子系统可以自动的临时将消息持久化到硬盘中，这样可以让系统接收到的日志不会因为索引或储存系统的异常而丢失。
[0019]当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
【附图说明】
[0020]图1是本发明海量日志管理云平台的结构示意图。
[0021]其中，00、日志所在服务器；01、日志收集系统；02、日志处理系统；021、日志消息处理子系统；022、实时流处理子系统；03、日志索引与存储系统；031、半结构化存储系统；032、全文索引系统；033、非结构化存储系统；04、日志查询应用系统；05、用户。
【具体实施方式】
[0022]下面结合附图与实施例对本发明作进一步说明。
[0023]如图1所示，一种海量日志管理云平台，包括日志收集系统01、日志处理系统02、日志索引与存储系统03、日志查询应用系统04。
[0024]日志所在服务器00将日志通过syslog的形式发给日志收集系统01。
[0025]所述日志收集系统01，处在平台的最前端，用于将日志收集到平台中，是一个海量日志聚合系统集群，是一个分布式的、高可靠的日志收集系统。它支持收集syslog、HTTP、Log4J、文件、文件变化等多种协议和格式的日志。
[0026]它有以下特点:
a)高可用性。可用性(availablity)指固定周期内系统无故障运行总时间。要想提高系统的可用性，就需要消除系统的单点，提高系统的冗余度。
[0027]b)高可靠性。可靠性(reliability)是指在数据流的传输过程中，保证日志的可靠传递。当节点出现故障时，日志能够被传送到其他节点上而不会丢失。日志收集服务提供了三种级别的可靠性保障，从强到弱依次分别为:端到端保障(end-to-end)，收到数据首先将日志写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送；本地保障(Store on failure),当日志接收方crash时，将日志写到本地，待恢复后，继续发送；无确认保障(Best effort),日志发送到接收方后，不会进行确认。
[0028]c)可扩展性。日志收集服务采用了三层架构，分别为代理采集(agent)、收集服务(collector)和存储服务(storage)，每一层均可以水平扩展。其中，所有agent和collector由master统一管理，这使得系统容易监控和维护，且master允许有多个，这就避免了单点故障问题。
[0029]d)支持负载均衡和容错。
[0030]所述日志处理系统02包括日志消息处理子系统021和实时流处理子系统022。[0031 ]日志消息处理子系统021，用来解耦日志消息的收集与日志消息的分析、存储之间的逻辑关系，使得系统更加灵活、可靠。在存储系统宕掉时，日志消息处理子系统的持久化机制可以保证日志不会丢失。
[0032]实时流处理子系统022，用来将日志消息实时的分发给各后端处理系统。
[0033]所述日志索引与存储系统03，包括半结构化存储系统031、全文索引系统032和非结构化存储系统033。
[0034]半结构化存储系统031，用于存储、查询日志的结构化数据，一个灵活的存储机制，可以将日志拆分成自定义的字段来保存。而传统的关系型存储方式必须在用户使用前提前定义好字段。另外，该系统也具有TB级数据量存储的能力。
[0035]全文索引系统032，可以提供日志的全文检索，为系统提供可在TB级的日志中实时检索日志的能力。它提供基于复制及分片技术的全文索引集群。并提供同义词、近义词、中文分词能力。
[0036]非结构化存储系统033，对日志进行备份及离线分析处理。
[0037]所述日志查询应用系统04，是一个分布式的查询和分析日志的应用系统。该系统能够以表格、柱状图、线形图等多种形式展示收集到的经过分析后的日志，能够接近实时的展示日志信息，并可根据制定的策略进行告警。
[0038]用户05可通过浏览器访问所述日志查询应用系统04。
[0039]上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【主权项】
1.一种海量日志管理云平台，其特征是，包括日志收集系统(01)、日志处理系统(02)、日志索引与存储系统(03)、日志查询应用系统(04); 所述日志收集系统(01)，用于将日志收集到平台中； 所述日志处理系统(02)包括日志消息处理子系统(021)和实时流处理子系统(022);日志消息处理子系统(021)，用来解耦日志消息的收集与日志消息的分析、存储之间的逻辑关系；实时流处理子系统(022)，用来将日志消息实时的分发给各后端处理系统； 所述日志索引与存储系统(03 )，包括半结构化存储系统(031)、全文索引系统(032 )和非结构化存储系统(033);半结构化存储系统(031)，用于存储、查询日志的结构化数据；全文索引系统(032)，提供日志的全文检索；非结构化存储系统(033)，对日志进行备份及离线分析处理； 所述日志查询应用系统(04)，能够展示收集到的经过分析后的日志，能够实时的展示日志信息，并根据制定的策略进行告警。2.如权利要求1所述的海量日志管理云平台，其特征是，所述日志收集系统(01)是一个分布式、可靠、和高可用的海量日志聚合的系统。3.如权利要求1或2所述的海量日志管理云平台，其特征是，所述日志收集系统(01)支持收集syslog、HTTP、Log4J、文件、文件变化的协议和格式的日志。4.如权利要求1所述的海量日志管理云平台，其特征是，在存储系统宕掉时，所述日志消息处理子系统(021)的持久化机制保证日志不会丢失。5.如权利要求1所述的海量日志管理云平台，其特征是，所述半结构化存储系统(031)将日志拆分成自定义的字段来保存。6.如权利要求1或5所述的海量日志管理云平台，其特征是，所述半结构化存储系统(031)具有TB级数据量存储的能力。7.如权利要求1所述的海量日志管理云平台，其特征是，所述全文索引系统(032)，能够在TB级的日志中实时检索日志。8.如权利要求1所述的海量日志管理云平台，其特征是，所述全文索引系统(032)，提供基于复制及分片技术的全文索引集群，提供同义词、近义词、中文分词能力。9.如权利要求1所述的海量日志管理云平台，其特征是，所述日志查询应用系统(04)，是一个分布式的查询和分析日志的应用系统。
【专利摘要】本发明公开了一种海量日志管理云平台，包括日志收集系统（01）、日志处理系统（02）、日志索引与存储系统（03）、日志查询应用系统（04）。本发明是一个云端日志管理系统，能够对日志进行全文索引，使搜索和分析日志更加快速；采用云端存储不再局限于存储硬件的容量；能够解决因单点故障引起的日志数据丢失问题。日志处理系统（02）中增加日志消息处理子系统（021），它负责将接收的日志转发给实时流处理子系统（022），实现日志的收集与处理的解耦。如果出现日志索引或储存系统异常时，日志消息处理子系统（021）可以自动的临时将消息持久化到硬盘中，这样可以让系统接收到的日志不会因为索引或储存系统的异常而丢失。
【IPC分类】G06F17/30
【公开号】CN104933114
【申请号】CN201510305445
【发明人】李文君, 张明, 梁鹏飞
【申请人】山东蚁巡网络科技有限公司
【公开日】2015年9月23日
【申请日】2015年6月8日