一种集成化硬件平台的日志解析方法和系统与流程

本发明涉及集成化硬件平台领域，尤其涉及一种集成化硬件平台的日志解析方法和系统。该方法和系统使得日志结果通过可视化图形、表格的方式呈现给用户，更使得自动故障检测成为可能。
背景技术：
：集成化硬件平台具备动态伸缩扩展能力，根据应用场景的业务需求，采用多种功能模块（如功能板卡）组合而成，功能模块由多种芯片、组件端口构成，再由平台相应的主控程序进行控制协同工作。这种集成化硬件平台在开发调试、使用优化及维护的过程中，各个组成单元，如板卡、芯片、组件及端口等均会输出工作的日志信息，以便用户了解系统的运行状态，发现并排除系统的故障。现有处理方法为平台的各个组成单元各自产生文本化的原始日志信息，保存在不同的存储位置，然后通过专业人员阅读日志信息的方式对系统的运行状态进行分析。这种方式由于整个集成化硬件平台由众多网元构成，当平台发生故障或性能受到质疑时，缺乏统一直观的日志数据视图，难以定位分析故障或性能瓶颈。现有的处理方法依赖于人工检视，直接对原始日志信息进行分析和处理，主要存在以下各方面的不足之处：1、原始日志信息存在冗余信息，没有统一的格式，内容因不同组件而异，缺乏规范化的关键信息要素要求等因素日志导致晦涩难以理解，无法面向硬件平台的初级维护人员和基于平台二次开发人员提供平台运行日志信息服务。2、各硬件单元的原始日志信息散落于各单元对应的日志文件中，因某个事件在各单元触发的日志信息记录难以汇聚在同一视图内，难以通过还原事件触发的日志信息汇聚分析，定位分析故障或性能瓶颈。3、原始日志信息中包含的系统运行各种性能因素数据以文本的形式进行记录，缺乏直观数据的变化关联性趋势，进而难以对性能参数（负载量、接收时间、处理时间、发送时间等）的内在联系进行对比分析。技术实现要素：针对现有技术无法实现集成化硬件平台日志快速分析的技术问题，本发明公开了一种集成化硬件平台的日志解析方法和系统。本发明的技术方案如下：一种集成化硬件平台的日志解析方法，其具体包括以下的步骤：步骤S101、采集集成化硬件平台上每个硬件的日志，并根据日志内容进行归类；逐类分析归类后的日志文件，将同一类别的日志文件采用同一个日志规范和同一个标准接口进行描述；依据规范及接口采集集成化硬件平台上每个硬件的日志。步骤S102、对集成化硬件平台上的每个硬件以及硬件上的应用进行建模，获取硬件与硬件之间，应用与硬件平台之间的逻辑关系；步骤S102也可以先于步骤S101进行，或者这两个步骤同时进行。步骤S103、将原始日志数据与模型的元素进行关联后存储，所述模型的元素包括硬件以及硬件上的应用；步骤S104、将硬件和/或应用的性能参数、时间及过程记录、错误告警等日志信息以图形或表格的方式在同一视图内呈现。在视图中呈现硬件、应用还是二者的结合可以根据需要进行灵活的选择。通过上述方法，将硬件的性能参数、时间及过程记录、错误告警等日志信息以图形或表格的方式在同一视图内呈现，方便用户查看。在此基础上，还能实现基于平台的故障日志分析提供故障告警，进一步方便用户的使用。更进一步地，上述方法还包括设定不同参数的报警阈值，当参数达到报警阈值的时候，发出报警信号。比如可以在图表上采用鲜艳的颜色（例如红色）来表示。本发明还公开了一种集成化硬件平台的日志解析系统，其具体包括日志文件规范单元、建模单元、模型与日志关联单元、视图绘制单元；所述日志文件规范单元用于采集集成化硬件平台上每个硬件的日志，并根据日志内容进行归类；逐类分析归类后的日志文件，将同一类别的日志文件采用同一个日志规范和同一个标准接口进行描述；所述建模单元用于对集成化硬件平台上的每个硬件以及硬件上的应用进行建模，获取硬件与硬件之间，应用与硬件平台之间的逻辑关系；所述模型与日志关联单元用于将原始日志数据与模型的元素进行关联后存储，所述模型的元素包括硬件以及硬件上的应用；所述视图绘制单元用于将硬件和/或应用的性能参数、时间及过程记录、错误告警等日志信息以图形或表格的方式在同一视图内呈现。通过上述系统，将硬件的性能参数、时间及过程记录、错误告警等日志信息以图形或表格的方式在同一视图内呈现，方便用户查看。在此基础上，还能实现基于平台的故障日志分析提供故障告警，进一步方便用户的使用。更进一步地，上述系统还包括报警单元，所述报警单元用于设定不同参数的报警阈值，当参数达到报警阈值的时候，发出报警信号。比如可以在图表上采用鲜艳的颜色（例如红色）来表示。通过采用以上的技术方案，本发明的有益效果为：将硬件平台的关键、时间及过程记录、错误告警等日志信息以曲线、图表等方式在同一视图内可视化地呈现给用户，方便对比分析。还能实现基于平台的故障日志分析提供故障告警，进一步方便用户的使用。附图说明图1为本发明的具体实现流程图。图2为步骤逻辑关系时序图。图3为本发明的系统架构图。图4为本发明的系统应用拓扑图。具体实施方式下面结合说明书附图，详细说明本发明的具体实施方式。本发明公开了一种集成化硬件平台的日志解析方法，其具体包括以下的步骤：步骤S101、采集集成化硬件平台上每个硬件的日志，并根据日志内容进行归类；逐类分析归类后的日志文件，将同一类别的日志文件采用同一个日志规范和同一个标准接口进行描述；日志规范举例：日志的来源及用途不同，日志输出的内容差异较大，如某一集成化硬件HP平台将日志分为三类：（1）用户调用日志，即应用软件调用HP运行库接口的日志，主要记录每次调用的执行状态、执行结果及执行参数。（2）统计型日志，即统计组件输入输出端口的流量、平均执行时间、最小执行时间和最大执行时间。（3）事件型日志，即HP运行库内部事件的记录日志，用于输出HP运行库内部的状态。（1）用户调用日志-格式案例时间级别类型来源类型来源地址API编号执行状态执行结果参数备注（2）统计型日志-格式案例时间级别类型（数据接收、数据发送）来源类型来源地址端口号成功流量失败流量调用次数平均时间最小时间最大时间（3）事件型日志-格式案例时间级别类型来源类型来源地址信息HP平台的日志生成者与日志解析系统中的日志消费者之间采用ICE中间件进行通信。日志消费者启动后需主动注册到日志生产者，并订阅日志数据后，日志生产者会将日志推送给日志消费者。日志消费者退订日志数据后，日志生产者不再推送日志给日志消费者。日志生产者和消费者接口定义示例：步骤S102、对集成化硬件平台上的每个硬件以及硬件上的应用进行建模，获取硬件与硬件之间，应用与硬件平台之间的逻辑关系；步骤S102也可以先于步骤S101进行，或者这两个步骤同时进行。步骤S103、将原始日志数据与模型的元素进行关联后存储，所述模型的元素包括硬件以及硬件上的应用；步骤S104、将硬件和/或应用的性能参数、时间及过程记录、错误告警等日志信息以图形或表格的方式在同一视图内呈现。图2为四个步骤的逻辑关系时序图。在视图中呈现硬件、应用还是二者的结合可以根据需要进行灵活的选择。通过上述方法，将硬件的性能参数、时间及过程记录、错误告警等日志信息以图形或表格的方式在同一视图内呈现，方便用户查看。在此基础上，还能实现基于平台的故障日志分析提供故障告警，进一步方便用户的使用。更进一步地，上述方法还包括设定不同参数的报警阈值，当参数达到报警阈值的时候，发出报警信号。比如可以在图表上采用鲜艳的颜色（例如红色）来表示。本发明具备以下的技术优势：分类汇聚，日志解析应用系统可实现集成化硬件平台各个组成单元的不同类别日志的接入汇聚，只需通过配置系统运行的参数条件和日志解析规则文件，即可统一接收和处理来自各个组成单元的运行日志信息。语义化检索，通过原始日志数据与包含关键语义说明的平台模型及应用模型的关联，完成日志晦涩信息的翻译，实现模型信息语义化的日志检索能力。灵活性，当硬件平台发生改变，例如增加或删除某些组成单元时，只需在日志解析应用系统中修改平台模型，即可完成系统日志解析范围扩展。便利性，日志解析应用系统汇总所有组成单元的日志信息，实现日志的级别分类展示，形成统一的界面化检索视图，可迅速定位到发生错误的硬件平台，极大地提高了系统开发和维护人员的工作效率。关键性能参数可视化，日志解析应用系统可以实时统计硬件平台的运行数据，将关键性能参数以图表、曲线等形式进行可视化分析，避免了以往处理办法中由人工统计日志中运行数据带来的不便。采用汇聚一体化的日志解析应用系统替代传统的日志信息处理方法，将日志接收、处理、展示等过程合理地分布到系统的各个模块，可有效地解决人工检视时容易犯错，硬件平台变更后无法实施更新，难以准确定位到发生错误的硬件平台等缺点。本发明核心设计思想是，提供可适配的日志规范及接口标准，实现集成化硬件平台各个组成单元的日志接入汇聚；通过建模工具支持硬件平台内各单元组成逻辑模型及其应用逻辑模型图形化及配以关键语义说明；日志解析存储模块实现原始日志数据与模型元素进行关联后序列化存储，进而提供与模型信息语义化的日志检索支撑能力，基于平台的故障日志分析提供故障告警，将硬件平台的关键、时间及过程记录、错误告警等日志信息以曲线、图表等方式在同一视图内可视化呈现方便对比分析。各模块的功能如下：平台模型模块，以图形或表格的方式展示、编辑集成化硬件平台模型。应用模型模块，以图形或表格的方式展示、编辑集成化硬件平台的应用模型。日志检索模块，该模块由日志接口、日志解析、日志检索、日志显示构成；日志解析完成在日志的接收导入；日志检索完成日志的语义化检索；日志展示提供图形化的方式展示日志。性能参数可视化模块，该模块可将日志中的性能参数、时间及过程记录、错误告警等日志信息以曲线、图表可视化的呈现硬件平台的性能参数及相互之间的关联关系。系统配置模块，提供图形化向导界面，引导用户完成程序运行所需的基本参数配置。运行状态模块，提供运行状态监控交互界面，可以实时显示系统运行状态，对关键信息进行提示，供专业人员对系统运行状态进行监控。故障分析模块，包括原始数据异常生成异常报警、比对程序执行故障报警、比对结果各种指标阀值报警等。告警形式：可以为短信、邮件、系统蜂鸣或高亮等形式。本发明还公开了一种集成化硬件平台的日志解析系统，其具体包括日志文件规范单元、建模单元、模型与日志关联单元、视图绘制单元；所述日志文件规范单元用于采集集成化硬件平台上每个硬件的日志，并根据日志内容进行归类；逐类分析归类后的日志文件，将同一类别的日志文件采用同一个日志规范和同一个标准接口进行描述；所述建模单元用于对集成化硬件平台上的每个硬件以及硬件上的应用进行建模，获取硬件与硬件之间，应用与硬件平台之间的逻辑关系；所述模型与日志关联单元用于将原始日志数据与模型的元素进行关联后存储，所述模型的元素包括硬件以及硬件上的应用；所述视图绘制单元用于将硬件和/或应用的性能参数、时间及过程记录、错误告警等日志信息以图形或表格的方式在同一视图内呈现。通过上述系统，将硬件的性能参数、时间及过程记录、错误告警等日志信息以图形或表格的方式在同一视图内呈现，方便用户查看。在此基础上，还能实现基于平台的故障日志分析提供故障告警，进一步方便用户的使用。更进一步地，上述系统还包括报警单元，所述报警单元用于设定不同参数的报警阈值，当参数达到报警阈值的时候，发出报警信号。比如可以在图表上采用鲜艳的颜色（例如红色）来表示。上述的实施例中所给出的系数和参数，是提供给本领域的技术人员来实现或使用发明的，发明并不限定仅取前述公开的数值，在不脱离发明的思想的情况下，本领域的技术人员可以对上述实施例做出种种修改或调整，因而发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。当前第1页1 2 3