分布式计算环境的日志动态分析系统的制作方法
【技术领域】
[0001 ]本发明具体涉及一种分布式计算环境的日志动态分析系统。
【背景技术】
[0002]电力领域中应用的计算机系统在运行会产生大量的系统日志，其中包括了设备固件中的运行日志、数据库日志、应用软件日志、监控平台日志等，这些日志在不断持续增长并以各自不同的形式定义其日志结构和描述信息。如果计算机系统发生异常，会产生上述各种日志文件中的联动记录，造成海量日志难以快速定位分析，诊断信息千丝万缕，难以定位故障源头，造成故障修复困难，导致生产服务失效的风险。为了提高运维质量，满足运维工作中稳定高效技术保障的要求，通常需要运维人员具备较高的日志分析水平。由于传统日志处理技术适用面窄，日志处理内容数据量大，导致面对持续增长的日志内容无法进行快速有效的日志分析处理。
[0003]日志动态分析技术是日志处理技术中的一个高级实现，是用于将海量的、持续增长的日志内容进行实时计算、动态处理、异步数据分析的一种方法，它适用于分布式计算环境中通用的应用服务集群、数据库集群等常见部署架构中，它能够识别并捕获应用软件日志、数据库日志、文件型日志等，并采用专门的方法对持续增长的日志内容中进行实时流式处理、并提供针对用户行为日志等非结构化日志的异步离线分析处理，形成一个适用面广、处理海量日志的数据分析架构。但是现有的日志动态分析技术大部分采用顺序批处理方式进行，这种处理方式无法适用各种类型日志文件，其处理分析机制属于事后分析，在实时性方面无法得到保障，在事前预警需求方面无法满足需求。
【发明内容】
[0004]本发明的目的在于提供一种能够处理各种类型日志文件、并且利用实时数据进行实时日志分析、处理和监控的分布式计算环境的日志动态分析系统。
[0005]本发明提供的这种分布式计算环境的日志动态分析系统，包括网关-日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口 ；网关-日志生成代理服务用于计算机系统的日志定位以及重新生成日志副本，并将日志副本传输给日志传输服务；日志传输服务用于将网关-日志生成代理服务生成的日志副本传输给日志收集控制器；日志收集控制器用于将接收的日志副本进行存储;实施流处理服务将日志收集控制器收集的日志信息进行实时计算和特征匹配，生成流式处理的数据信息和异常统计信息；日志数据分析接口用于对分布式计算环境的日志动态分析系统的用户提供实时数据分析结果的查询接口。
[0006]所述的网关-日志生成代理服务包括代理通讯协议模块和日志收集压缩模块;代理通讯协议模块为支持TCP/IP网络协议、Socket安全套接字和IPX数据交换协议的通讯接口，日志收集压缩部分包含用于获取日志的重定向模块和日志压缩模块:获取日志的重定向模块将日志发生计算机上的日志源进行重定向输出，形成日志副本，将此日志副本传输给日志压缩模块。
[0007]所述的重定向输出包括如下步骤:
51.日志定位:通过扫描日志发生计算机上的文件系统、系统注册表信息，获取日志的文件路径、通过注册表匹配机制确认日志类型，定位日志文件所在的位置；
52.重定向生成日志副本:当步骤SI完成日志定位后，对日志发生对象进行日志文件获取、并构建生成日志副本的发生器进程，副本的生成方式与日志发生对象的日志类型对应。
[0008]所述的副本的生成方式包括文件型日志副本生成方式、设备日志副本生成方式、应用软件日志副本生成方式和数据库日志的副本生成方式;文件型日志副本通过文件复制的方式完成副本生成，设备日志副本通过单独的进程获取设备固件的日志数据提取方式生成，应用软件日志副本生成方式通过开源日志工具log4j开发者工具、Verbose调试开关接口的输出文件提取生成，数据库日志副本生成方式为通过代理程序读取数据库DML日志记录和数据表进行行记录连续读取、抄送给副本的方式生成。
[0009]所述的日志传输服务包括如下步骤:
51.若日志副本为文件型日志副本和应用软件日志副本，则建立异步消息处理机制:将重定向生成日志副本文件按照消息队列的方式进行封装、并通过设置包括消息队列深度、消息分段在内的参数将副本文件截取为每一个消息控制在4M大小的消息段，通过消息传输队列的JMS进程连接日志收集控制器的消息接收队列进程中；传输过程采用消息压缩、分段提交、接收解压三个步骤完成；
52.若日志副本为数据库型日志副本，则建立连续数据捕获机制:读取日志副本行记录，记录每一个增删改和事务操作，将每一个记录封装为一个SQL指令，通过TCP/IP协议将这些指令传递给日志收集控制器，日志收集控制器收到SQL指令后，进行解析处理。
[0010]所述的实时流处理服务包括实时计算控制器、通知服务、异常统计、实时结果展示、时间戳、日志解析器和日志搜索器;实时计算控制器用于处理消息并完成实时计算，通过实时计算实现对不断增长的日志信息的业务数据进行统计与分析;通知服务通过配置日志解析器中的通知触发器进行监控警告服务，并能够提供符合SNMP v3协议的MIB库进行通知服务;异常统计用于对日志中的错误、警告信息进行标记，并对错误类型和范围通过数据字典进行标记分类，根据分类号和标记编号对日志错误和警告进行统计、排序;实时结果展示通过对实时计算的日志信息和异常统计信息进行实时显示;时间戳是实时计算过程中，为了对日志事件进行时间定义的一个有效方法，时间戳用于通过同步位于实时流处理服务的时间服务进程来统一各个计算资源组的系统时间，保证日志动态分析过程中的时间一致性；日志解析器用于将实时计算结果按照配置解析规则进行筛选，并对日志副本中包含的代码字符利用数据字典功能进行自定义的对应转换；日志搜索器用于动态分析过程中进行日志搜索。
[0011]本发明采用软件嵌入分布式计算环境实现，为分布式计算环境中的每个计算节点提供访问日志、系统日志、业务数据日志的收集、并针对这三种日志类型分别应用不同的处理方式来满足日志结构差异化和海量增长的数据量，同时将日志动态收集后的数据进行集中处理、通过封装了日志收集层在分布式计算环境的各个节点的通讯协议和处理方法，来执行数据分级、异常统计、通知服务、实时结果展示，然后利用实时数据分析层的处理结果结合外部业务系统提供的日志密集型应用功能实现的功能通用接口，提供数据动态追踪、系统监控、用户行为轨迹、功能测试覆盖率等能力，为改进业务系统的精准日志数据多源性、建立全面统计模型提供参考依据。本发明能够处理各种类型日志文件，并且利用实时数据进行实时日志分析、处理和监控。
【附图说明】
[0012]图1为本发明的系统结构示意图。
[0013]图2为本发明的日志收集的实现流程示意图。
【具体实施方式】
[0014]如图1所示为本发明的系统结构示意图:本发明提供的这种分布式计算环境的日志动态分析系统，基于分布式测试环境建立的，所述分布式计算环境是基于TCP/IP协议连接的分布在多个计算机组的提供网关、计算服务、存储服务、业务应用逻辑服务的服务器资源组。该系统包括网关-日志生成代理服务、日志传输服务、日志收集控制器、实时流处理服务和日志数据分析接口。
[0015]其中，其中网关-日志生成代理服务是一个运行在日志发生计算机上的代理服务程序，该服务程序由代理通讯协议和日志收集压缩两个部分组成。代理通讯协议部分被设计为能够支持TCP/IP网络协议，S