专利名称：一种日志处理方法、设备和系统的制作方法
技术领域：
本发明涉及通信领域，尤其涉及一种日志处理方法、设备和系统。
背景技术：
在现有的传统互联网业务中，日志是一个必不可少的部分，通过对业务日志的分析处理，我们可以了解到业务的经营状况，同时在服务器出现健康问题的时候，也可以通过日志定位问题所在，方便问题的解决。当前，日志文件都是以原始的格式存放于文件系统或者数据库系统，在对业务运营数据进行分析和统计的时候，需要对原始格式的日志数据文件进行处理分析，得到想要的统计结果。现有技术中互联网业务运营数据分析和统计以及web服务器、业务服务器运行状况监控的流程如图1所示步骤SlOl 提交产品运营数据统计分析、监控需求或产品业务模块性能、健康状况监控需求；步骤S102 根据需求进行分析，设计针对特定需求的实施方案；步骤S103 进行系统设计和系统编码，以对原始日志文件进行特定的分析和处理；步骤S104:交付使用。对每一个业务运营数据统计的需求中，都需要经过图1所示的流程，针对特定的需求设计编码，从原始日志中获取想要的统计结果，从而导致开发成本高，开发周期很长。
发明内容
本发明实施例在于提供一种日志处理方法、一种日志处理设备和一种日志处理系统，通过设置的配置文件信息对日志文件进行整理，生成业务项目对应的结构化数据，解决了现有技术中开发成本高的问题，缩短了开发周期。为了达到上述技术效果，本发明实施例提出了一种日志处理方法，包括获取网络侧发送的日志文件；根据预先设置的配置文件信息整理所述日志文件；将整理出的文件信息处理为与业务项目对应的结构化数据，并将所述结构化数据存储在结构化存储系统中。优选地，所述日志处理方法还包括根据业务项目的统计需求实时修改配置文件信息。优选地，所述根据预先设置的配置文件信息整理所述日志文件的步骤包括根据所述配置文件信息将所述日志文件整理出业务项目统计需求的文件信息。优选地，所述将整理出的文件处理为与业务项目对应的结构化数据的步骤包括周期性地调用业务项目对应的实时处理脚本分析整理出的文件信息，生成与业务项目对应的结构化数据。
4
优选地，所述生成与业务项目对应的结构化数据的步骤之后，还包括根据所述结构化数据对业务的健康状况进行监控，并进行报警处理；或/和根据所述结构化数据对业务热点进行自动发现和自动预警。相应地，本发明实施例公开了一种日志处理设备，包括获取模块，用于获取网络侧发送的日志文件；整理模块，用于根据预先设置的配置文件信息整理所述获取模块获取的日志文件；结构化处理模块，用于将所述整理模块整理出的文件信息处理为与业务项目对应的结构化数据，并将所述结构化数据存储在结构化存储系统中。优选地，所述日志处理设备还包括配置文件信息设置模块，用于根据业务项目的统计需求实时修改配置文件信息。优选地，所述整理模块根据所述配置文件信息设置模块设置的配置文件信息将所述获取模块获取的日志文件整理出业务项目统计需求的文件信息。优选地，所述结构化处理模块包括分析生成单元，用于周期性地调用业务项目对应的实时处理脚本分析所述整理模块整理出的文件信息，生成与业务项目对应的结构化数据；发送单元，用于将所述分析生成单元生成的所述结构化数据发送给结构化存储系统进行存储。相应地，本发明实施例公开了一种日志处理系统，包括网络侧服务器和日志分发器，所述日志处理系统还包括至少一个日志处理设备，所述日志处理设备为上述的日志处理设备；所述网络侧服务器将生成的日志文件发送给所述日志分发器，所述日志分发器按照负载均衡策略将所述日志文件转发向所述日志处理设备，由所述日志处理设备对所述日志文件进行处理。优选地，所述日志处理系统还包括至少一个结构化存储系统，用于存储结构化数据。优选地，所述日志处理系统还包括监控报警设备，用于根据所述结构化数据对业务的健康状况进行监控，并进行报警处理；或/和发现预警设备，用于根据所述结构化数据对业务热点进行自动发现和自动预警。实施本发明实施例，通过设置的配置文件信息对日志文件进行整理，生成业务项目对应的结构化数据，解决了现有技术中开发成本高的问题，缩短了开发周期，提高了对海量日志的处理能力，通过实时地修改配置文件信息，能够快速敏捷灵活地满足各种统计需求，实时地得到统计结果，并且可以灵活地通过添加日志处理设备和结构化存储系统进行系统的扩容，而且支持业务热点的实时自动发现和自动预警，能够对系统业务模块的健康状况做到实时自动报警。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是现有技术中日志处理方法的流程示意图；图2是本发明实施例日志处理方法的流程示意图；图3是本发明实施例的日志处理系统的结构示意图；图4是本发明实施例的日志处理设备的结构示意图；图5是本发明日志处理系统的另一实施例的结构示意图。
具体实施例方式为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。请参阅图2示出的本发明实施例日志处理方法的流程示意图，包括步骤S201 获取网络侧发送的日志文件；具体地，日志文件是由网络侧服务器按照特定的格式生成，如，以“ I I，，分割的 "key = value”格式等，该网络侧服务器可以为web服务器或业务服务器等，相应的日志系统有log4j、log^XX、Iogkplus等等，网络侧服务器可以通过用户数据包协议(UDPJser Datagram Protocol)方式将生成的日志文件发送给日志分发器，日志分发器根据负载均衡策略将收到的日志文件以UDP方式转发向本端的日志处理设备，日志处理设备获取到网络侧发送的日志文件。需要说明的是，该日志处理设备即为处理海量互联网服务日志信息的平台，具有通用的，可实时收集和处理海量日志信息功能。步骤S202 根据预先设置的配置文件信息整理所述日志文件；具体地，日志处理设备根据业务项目的统计需求预先设置配置文件信息，该配置文件信息包括需要统计的业务项目信息，即处理海量互联网服务日志信息的平台预先设有该配置文件信息，如txt格式的配置文件，技术人员只需按照格式填写对应的配置文件信息即可完成设置，如技术人员需要统计某业务的某项指标(如数目)，那么技术人员只需打开txt格式的配置文件按照格式填写数目项对应的配置文件信息即可，日志处理设备将根据设置好的数目项对应的配置文件信息整理所述日志文件，具体地，例如获取的日志文件是以“ I I ”分割的“key = value”格式而生产的，那么日志处理设备将日志文件中的key为数目的相关信息进行整理，如，整理出以数目为文件名的一组文件。步骤S203 将整理出的文件信息处理为与业务项目对应的结构化数据，并将所述结构化数据存储在结构化存储系统中。具体地，日志处理设备对步骤S202中整理出的文件信息进行处理，将需要统计的项目处理为结构化数据，并存储在结构化存储系统中，结构化存储系统可以为关系型数据库，或者BigTable类型的结构化存储系统，如hadoop/hkise等。后续地，相关的业务数据分析设备可以根据存储在结构化存储系统中的结构化数据直接快速地进行数据的进一步分析，如进行业务数据报表的生成、业务数据对比、业务数据查询等相关服务，或者直接提供线上服务使用。需要说明的是，技术人员可以根据业务项目的统计需求实时地修改配置文件信息，即，日志处理设备根据技术人员实时地修改操作可以实时地对配置文件信息进行删除、 更改或添加统计项目或日志处理功能，实时修改的配置文件信息可以实时生效、无需重启日志处理设备，大大降低了现有技术中完成同样功能的开发所需的成本，简化了流程，节省了时间，从而提高了日志处理效率。还需要说明的是，日志处理设备可以通过启动多个实例来进行扩展，即可以灵活地通过添加日志处理设备和结构化存储系统进行扩展，日志分发器保证负载均衡。进一步地，步骤S203可以具体为，日志处理设备周期性地(如每5分钟)调用业务项目对应的实时处理脚本分析步骤S202整理出的文件信息，生成与业务项目对应的结构化数据，如，日志处理设备周期性地调用数目统计项目对应的实时处理脚本，分析以数目为文件名的一组文件，生成与数目统计项目对应的结构化数据，然后将所述结构化数据存储在结构化存储系统中。再进一步地，步骤S203后，监控报警设备可以根据某一周期内的结构化数据对业务的健康状况进行监控，并进行报警处理，或发现预警设备可以根据所述结构化数据对业务热点进行自动发现和自动预警，如热门榜单、热点关注、用户访客、用户轨迹等数据的统计，并通过邮件或者短信通知技术人员或其他相关用户，当前可以应用到搜吧、图片搜索、 音乐搜索、视频搜索、博客搜索、QQ书签、搜索华尔兹等等中去。上面详细说明了本发明日志处理方法的流程示意图，下面对应地，详细说明本发明实施例的日志处理系统的结构。如图3示出的本发明实施例的日志处理系统的结构示意图，日志处理系统包括网络侧服务器31、日志分发器32、至少一个日志处理设备33和至少一个结构化存储系统34， 具体地，日志处理系统也可以包括多个网络侧服务器31和日志分发器32，本实施例以包括一个网络侧服务器31、一个日志分发器32、一个日志处理设备33以及一个结构化存储系统 34为例进行说明，网络侧服务器31将生成的日志文件发送给日志分发器32，日志分发器 32按照负载均衡策略将所述日志文件转发向日志处理设备33，由日志处理设备33对所述日志文件进行处理，日志处理设备33即为处理海量互联网服务日志信息的平台，具有通用的，可实时收集和处理海量日志信息功能，日志处理设备33将处理后的日志数据存储到结构化存储系统34中。日志处理设备33包括获取模块331、整理模块332和结构化处理模块333，其中获取模块331用于获取网络侧发送的日志文件；具体地，日志文件是由网络侧服务器31按照特定的格式生成，如，以“ I I ”分割的 "key = value”格式等，网络侧服务器31可以为web服务器或业务服务器等，相应的日志系统有log4j、log4cxx, log4cplus等等，网络侧服务器31可以通过UDP方式将生成的日志文件发送给日志分发器32，日志分发器32根据负载均衡策略将收到的日志文件以UDP方式转发向日志处理设备33，日志处理设备33的获取模块331获取到日志文件。整理模块332用于根据预先设置的配置文件信息整理获取模块331获取的日志文件；具体地，日志处理设备33根据业务项目的统计需求预先设置配置文件信息，该配置文件信息包括需要统计的业务项目信息，即处理海量互联网服务日志信息的平台预先设有该配置文件信息，如txt格式的配置文件，技术人员只需按照格式填写对应的配置文件信息即可完成设置，如技术人员需要统计某业务的某项指标(如数目)，那么技术人员只需打开txt格式的配置文件按照格式填写数目项对应的配置文件信息即可，整理模块332将根据设置好的数目项对应的配置文件信息整理所述日志文件，具体地，例如获取模块331 获取的日志文件是以“ I I ”分割的“key = value”格式而生产的，那么整理模块332将日志文件中的key为数目的相关信息进行整理，如，整理出以数目为文件名的一组文件。结构化处理模块333用于将整理模块332整理出的文件信息处理为与业务项目对应的结构化数据，并将所述结构化数据存储在结构化存储系统34中。具体地，结构化存储系统34可以为关系型数据库，或者BigTable类型的结构化存储系统，如hadoop/tAase等。后续地，相关的业务数据分析设备可以根据存储在结构化存储系统34中的结构化数据可以直接快速地进行数据的进一步分析，如进行业务数据报表的生成、业务数据对比、业务数据查询等相关服务，或者直接提供线上服务使用。下面结合图4，进一步说明本发明实施例中日志处理设备33的结构，日志处理设备33包括获取模块331、整理模块332和结构化处理模块333外，还包括配置文件信息设置模块334，用于根据业务项目的统计需求实时修改配置文件信息，具体地，技术人员可以根据业务项目的统计需求通过配置文件信息设置模块334实时地修改配置文件信息，即， 配置文件信息设置模块334可以实时地对配置文件信息进行删除、更改或添加统计项目或日志处理功能，实时修改的配置文件信息可以实时生效、无需重启日志处理设备，大大降低了现有技术中完成同样功能的开发所需的成本，简化了流程，节省了时间，从而提高了日志处理效率；整理模块332根据配置文件信息设置模块334设置的配置文件信息将获取模块 331获取的日志文件整理出业务项目统计需求的文件信息。进一步地，结构化处理模块333包括分析生成单元3331和发送单元3332，其中分析生成单元3331用于周期性地调用业务项目对应的实时处理脚本分析整理模块332整理出的文件信息，生成与业务项目对应的结构化数据；发送单元3332用于将分析生成单元3331生成的所述结构化数据发送给结构化存储系统34进行存储。具体地，分析生成单元3331周期性地(如每5分钟)调用业务项目对应的实时处理脚本分析整理模块332整理出的文件信息，生成与业务项目对应的结构化数据，如，分析生成单元3331周期性地调用数目统计项目对应的实时处理脚本，分析以数目为文件名的一组文件，生成与数目统计项目对应的结构化数据，然后通过发送单元3332将所述结构化数据存储在结构化存储系统34中。如图5示出的本发明日志处理系统的另一实施例的结构示意图，日志处理系统包括网络侧服务器31、日志分发器32、日志处理设备33和结构化存储系统34外，还包括监控报警设备35和发现预警设备36，其中监控报警设备35用于根据所述结构化数据对业务的健康状况进行监控，并进行报警处理；发现预警设备36用于根据所述结构化数据对业务热点进行自动发现和自动预
Sfc目。具体地，监控报警设备35可以根据某一周期内的结构化数据对业务的健康状况进行监控，并进行报警处理，以及发现预警设备36可以根据所述结构化数据对业务热点进行自动发现和自动预警，如热门榜单、热点关注、用户访客、用户轨迹等数据的统计，并通过邮件或者短信通知技术人员或其他相关用户，当前可以应用到搜吧、图片搜索、音乐搜索、 视频搜索、博客搜索、QQ书签、搜索华尔兹等等中去。需要说明的是，日志处理设备33可以通过启动多个实例来进行扩展，日志处理系统即可以灵活地通过添加日志处理设备33和结构化存储系统34进行扩展，日志分发器32 保证负载均衡。综上所述，通过上述实施例，根据设置的配置文件信息对日志文件进行整理，生成业务项目对应的结构化数据，解决了现有技术中开发成本高的问题，缩短了开发周期，提高了对海量日志的处理能力，通过实时地修改配置文件信息，能够快速敏捷灵活地满足各种统计需求，实时地得到统计结果，并且可以灵活地通过添加日志处理设备和结构化存储系统进行系统的扩容，而且支持业务热点的实时自动发现和自动预警，能够对系统业务模块的健康状况做到实时自动报警。需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。 基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。以上所揭露的仅为本发明实施例中的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
权利要求
1.一种日志处理方法，其特征在于，包括 获取网络侧发送的日志文件；根据预先设置的配置文件信息整理所述日志文件；将整理出的文件信息处理为与业务项目对应的结构化数据，并将所述结构化数据存储在结构化存储系统中。
2.如权利要求1所述的方法，其特征在于，还包括 根据业务项目的统计需求实时修改配置文件信息；所述根据预先设置的配置文件信息整理所述日志文件的步骤包括 根据所述配置文件信息将所述日志文件整理出业务项目统计需求的文件信息。
3.如权利要求1或2所述的方法，其特征在于，所述将整理出的文件处理为与业务项目对应的结构化数据的步骤包括周期性地调用业务项目对应的实时处理脚本分析整理出的文件信息，生成与业务项目对应的结构化数据。
4.如权利要求3所述的方法，其特征在于，所述生成与业务项目对应的结构化数据的步骤之后，还包括根据所述结构化数据对业务的健康状况进行监控，并进行报警处理；或/和根据所述结构化数据对业务热点进行自动发现和自动预警。
5.一种日志处理设备，其特征在于，包括 获取模块，用于获取网络侧发送的日志文件；整理模块，用于根据预先设置的配置文件信息整理所述获取模块获取的日志文件； 结构化处理模块，用于将所述整理模块整理出的文件信息处理为与业务项目对应的结构化数据，并将所述结构化数据存储在结构化存储系统中。
6.如权利要求5所述的日志处理设备，其特征在于，还包括配置文件信息设置模块，用于根据业务项目的统计需求实时修改配置文件信息； 所述整理模块根据所述配置文件信息设置模块设置的配置文件信息将所述获取模块获取的日志文件整理出业务项目统计需求的文件信息。
7.如权利要求6所述的日志处理设备，其特征在于，所述结构化处理模块包括分析生成单元，用于周期性地调用业务项目对应的实时处理脚本分析所述整理模块整理出的文件信息，生成与业务项目对应的结构化数据；发送单元，用于将所述分析生成单元生成的所述结构化数据发送给结构化存储系统进行存储。
8.一种日志处理系统，包括网络侧服务器和日志分发器，其特征在于，所述日志处理系统还包括至少一个日志处理设备，所述日志处理设备为如权利要求5-7任一项所述的日志处理设备；所述网络侧服务器将生成的日志文件发送给所述日志分发器，所述日志分发器按照负载均衡策略将所述日志文件转发向所述日志处理设备，由所述日志处理设备对所述日志文件进行处理。
9.如权利要求8所述的日志处理系统，其特征在于，所述日志处理系统还包括至少一个结构化存储系统，用于存储结构化数据。
10.如权利要求9所述的日志处理系统，其特征在于，所述日志处理系统还包括 监控报警设备，用于根据所述结构化数据对业务的健康状况进行监控，并进行报警处理；或/和发现预警设备，用于根据所述结构化数据对业务热点进行自动发现和自动预警。
全文摘要
本发明实施例公开了日志处理方法，包括获取网络侧发送的日志文件；根据预先设置的配置文件信息整理所述日志文件；将整理出的文件信息处理为与业务项目对应的结构化数据，并将所述结构化数据存储在结构化存储系统中。相应地，本发明实施例还公开了一种日志处理设备以及日志处理系统，实施本发明实施例，解决了现有技术中开发成本高的问题，缩短了开发周期，提高了对海量日志的处理能力，通过实时地修改配置文件信息，能够快速敏捷灵活地满足各种统计需求，实时地得到统计结果，并且可以灵活地通过添加日志处理设备和结构化存储系统进行系统的扩容，而且支持业务热点的实时自动发现和自动预警，能够对系统业务模块的健康状况做到实时自动报警。
文档编号H04L12/24GK102208991SQ201010138020
公开日2011年10月5日 申请日期2010年3月29日 优先权日2010年3月29日
发明者刘占亮, 李锐, 赵琳霖 申请人:腾讯科技(深圳)有限公司