错误日志的处理方法、系统、电子设备和存储介质与流程

本发明涉及日志信息处理技术领域，具体地说，涉及一种错误日志的处理方法、系统、电子设备和存储介质。

背景技术：

目前与软件系统错误相关的监控系统主要有全链路追踪系统和软件日志收集系统。

当软件系统发生错误时，首先在网关收集所有的出错请求，然后在全链路追踪系统中获取每个出错请求的追踪id，再根据追踪id在日志收集系统中查出一整条完整的调用链，根据该调用链可以查询出错请求的出错原因。

随着后端服务大都采用微服务架构，出错请求的调用链越来越深，根据调用链查询出错原因需要花费大量时间。根据使用统计，80％以上的出错请求根据软件服务的第一行错误堆栈信息就可获知相关的出错信息，并依此设计解决方案；无需花费大量时间查找完整的调用链。

可见，采用全链路追踪的方法不能够快速、清晰、简明地展示软件服务的出错信息。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

有鉴于此，本发明提供一种错误日志的处理方法、系统、电子设备和存储介质，解决现有技术的方法不能够快速、清晰、简明地展示软件服务的出错信息的问题。

根据本发明的一个方面，提供一种错误日志的处理方法，包括：获得应用发生错误事件生成的错误堆栈的第一行日志信息；将各个错误事件的第一行日志信息与所属的应用对应存储；统计各个应用的错误事件数，并解析各个应用的各个错误事件的第一行日志信息，获得各个错误事件的错误类型；以错误事件数为维度生成各个应用的错误事件的第一展示图；以及至少以错误类型为维度生成各个应用的错误事件的第二展示图，每个应用的第二展示图与其第一展示图相链接。

优选地，上述的处理方法中，所述以错误事件数为维度生成各个应用的错误事件的第一展示图的方法是：按照数量与高度的映射关系，生成表示每个应用的错误事件数的柱形条；将各个应用的柱形条按照高度从高到低排序，形成各个应用的错误事件的第一展示图。

优选地，上述的处理方法中，所述至少以错误类型为维度生成各个应用的错误事件的第二展示图的方法是：根据错误类型获得错误优先级；按照错误优先级对每个应用的各个错误类型的错误事件进行区分，生成每个应用的错误事件的第二展示图；每个应用的第二展示图中，每个错误事件显示有第一行日志信息以及链接至其错误堆栈的追踪id。

优选地，上述的处理方法中，所述按照错误优先级对每个应用的各个错误类型的错误事件进行区分的方法是：按照不同的错误优先级，对每个应用的不同错误类型的错误事件添加不同的颜色标记进行区分。

优选地，上述的处理方法中，所述根据错误类型获得错误优先级的方法是：查看预设的错误类型和错误优先级的映射表；根据映射表获得错误类型对应的错误优先级；其中，一个错误优先级对应一个或多个错误类型。

优选地，上述的处理方法中，所述每个应用的第二展示图与其第一展示图相链接的方法是：在每个应用的第一展示图上设置跳转指针；当应用的第一展示图的跳转指针被触发时跳转至该应用的第二展示图。

优选地，上述的处理方法中，实时地获得应用发生错误事件生成的错误堆栈的第一行日志信息。

优选地，上述的处理方法中，所述将各个错误事件的第一行日志信息与所属的应用对应存储的方法是：获得错误事件所属的应用的标识信息；将各个错误事件的第一行日志信息与所属应用的标识信息对应存储；其中，应用的标识信息包括应用名和应用所在服务器ip。

优选地，上述的处理方法中，所述获得应用发生错误事件生成的错误日志的方法是：发生错误事件的应用推送错误日志至缓存，从缓存中获取错误事件的错误日志；或者监控应用运行，在应用发生错误事件时拉取错误事件的错误日志。

根据本发明的一个方面，提供一种错误日志的处理系统，包括：收集模块，用于获得应用发生错误事件生成的错误堆栈的第一行日志信息；存储模块，用于将各个错误事件的第一行日志信息与所属的应用对应存储；解析模块，用于统计各个应用的错误事件数，并解析各个应用的各个错误事件的第一行日志信息，获得各个错误事件的错误类型；展示模块，用于以错误事件数为维度生成各个应用的错误事件的第一展示图；以及至少以错误类型为维度生成各个应用的错误事件的第二展示图，每个应用的第二展示图与其第一展示图相链接。

根据本发明的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的错误日志的处理方法的步骤。

根据本发明的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的错误日志的处理方法的步骤。

本发明与现有技术相比的有益效果在于：

通过获取和存储错误事件的第一行日志信息减少系统资源占用量和计算量；通过解析错误事件的第一行日志信息，可以快速且准确地获得错误信息，通过可视化的展示图，从错误事件数、错误类型等维度清晰简明地展示各个应用的错误事件，方便软件开发人员快速定位问题，并优先挑选有价值的问题去解决，提高开发效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明实施例中一种错误日志的处理方法的步骤示意图；

图2示出本发明实施例中一种相链接的第一展示图和第二展示图的示意图；

图3示出本发明实施例中一种错误日志的处理方法的数据流转示意图；

图4示出本发明实施例中一种错误日志的处理系统的模块示意图；

图5示出本发明实施例中一种电子设备的示意图；

图6示出本发明实施例中一种计算机可读存储介质的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。

参照图1所示，在本发明的一些实施例中，错误日志的处理方法包括但不限于以下步骤：

s10、获得应用发生错误事件生成的错误堆栈的第一行日志信息。

在优选的实施方式中，实时或准实时地获得应用发生错误事件生成的错误堆栈的第一行日志信息。具体的时间间隔可以根据实际需要调整，例如每隔5秒获取一次，每隔1秒获取一次，每隔0.1秒获取一次等等。

由于软件系统的错误超过百分之八十可以通过错误堆栈的第一行日志信息准确地获知错误类型，因此本发明的错误日志的处理方法通过获取和解析第一行日志信息，减少系统的资源占用量，减小计算量。即使少部分错误事件无法通过解析第一行日志信息准确获得错误类型，通过展示第一行日志信息，对可以供软件开发人员参考，对查询错误事件的原因有重要帮助。

进一步的，在一些实施例中，可以通过应用主动推送的方式获得错误堆栈的第一行日志信息。具体来说，发生错误事件的应用会主动推送(push)错误事件的预设时间段内的错误堆栈至缓存，监控系统从缓存中可以直接获取错误事件的错误堆栈的第一行日志信息。在另一些实施例中，可以通过调用或拉取(pull)的方式获得错误堆栈的第一行日志信息。具体来说，监控系统实时监控应用运行，在应用发生错误事件时获取错误事件的错误堆栈的第一行日志信息。

在一些实施例中，若除错误堆栈的第一行日志信息外还有其他需要收集的信息，可以根据需要获取收集。

s20、将各个错误事件的第一行日志信息与所属的应用对应存储。

第一行日志信息显示错误堆栈的error:message，将错误事件的第一行日志信息与所属的应用对应存储，后续通过分析第一行日志信息即可获知错误事件的基本错误信息。

在一些实施例中，将各个错误事件的第一行日志信息与所属的应用对应存储的方法是：获得错误事件所属的应用的标识信息，并将各个错误事件的第一行日志信息与所属应用的标识信息对应存储。其中应用的标识信息包括应用名和应用所在服务器ip，应用名用于区分不同的应用，应用所在服务器ip表明该应用的地址，通过应用名和应用所在服务器ip，可以准确地定位应用。

s30、统计各个应用的错误事件数，并解析各个应用的各个错误事件的第一行日志信息，获得各个错误事件的错误类型。

其中，应用的错误事件数表明应用发生的错误总数，从数量的维度体现应用的出错情况。解析应用的错误事件的第一行日志信息可以获知错误事件的基本信息，至少包括该错误事件的错误类型。在多数情况下，通过解析第一行日志信息所获得的错误事件的基本信息，相关的软件开发人员即可获知错误原因并采取解决措施。

s40、以错误事件数为维度生成各个应用的错误事件的第一展示图。

其中，第一展示图可以是任意可视化的展示图，例如柱形图、直方图、折线图等等。

在一些实施例中，生成第一展示图的方法是：按照数量与高度的映射关系，生成表示每个应用的错误事件数的柱形条，并将各个应用的柱形条按照高度从高到低排序，形成各个应用的错误事件的第一展示图。

具体地，以柱形图为例，参照图2所示。横轴表示应用的标识信息，如图示的应用a、应用b和应用c。纵轴标示应用的错误事件数。在一个具体的实例中，获取到应用a的错误事件数为20，根据数量与高度的映射关系，生成表示应用a的错误事件数的柱形条11；获取到应用b的错误事件数为10，根据数量与高度的映射关系，生成表示应用b的错误事件数的柱形条12；获取到应用c的错误事件数为5，根据数量与高度的映射关系，生成表示应用c的错误事件数的柱形条13。然后将应用a、应用b和应用c的柱形条按照高度从高到低排序，形成图示的第一展示图1。

在实际运用中，应用可以包括成千上百个，此处不再重复举例。

除柱形图外，还可生成其他类型的展示图。例如按照数量与弧长的映射关系，生成表示每个应用的错误事件数的扇形区，将各个应用的扇形区按大小排序，形成各个应用的错误事件的饼图。或者按照数量与半径的映射关系，生成表示每个应用的错误事件数的波点，形成各个应用的错误事件的波点图。

s50、至少以错误类型为维度生成各个应用的错误事件的第二展示图，每个应用的第二展示图与其第一展示图相链接。

在一些实施例中，至少以错误类型为维度生成各个应用的错误事件的第二展示图的方法是：根据错误类型获得错误优先级；按照错误优先级对每个应用的各个错误类型的错误事件进行区分，生成每个应用的错误事件的第二展示图；每个应用的第二展示图中，每个错误事件显示有第一行日志信息以及链接至其错误堆栈的追踪id。

进一步的，在一些实施例中，按照错误优先级对每个应用的各个错误类型的错误事件进行区分的方法是：按照不同的错误优先级，对每个应用的不同错误类型的错误事件添加不同的颜色标记进行区分。例如红色标记用来表示错误优先级高，需要紧急处理；黄色标记用来表示错误优先级中等，可以稍缓处理；绿色标记用来表示错误优先级低，可以暂不处理。

在其他实施例中，还可以采用其他的标记方法，或者排序等方法区分不同错误优先级的错误事件，只要能清晰地展示各个错误优先级的错误事件，使得软件开发人员快速了解即可。

进一步的，在一些实施例中，根据错误类型获得错误优先级的方法是：查看预设的错误类型和错误优先级的映射表；根据映射表获得错误类型对应的错误优先级；其中，一个错误优先级对应一个或多个错误类型。

例如需要紧急处理的错误类型均对应高错误优先级，可以稍缓处理的错误类型均对应中错误优先级；可以暂不处理的错误类型均对应低错误优先级。

其中各个应用的第二展示图也可以是任意可视化的展示图，每个应用的第二展示图与其第一展示图相链接的方法是：在每个应用的第一展示图上设置跳转指针；当应用的第一展示图的跳转指针被触发时跳转至该应用的第二展示图。

参照图2所示，以生成应用b的第二展示图120为例。获取到应用b的错误事件中，错误类型b1和错误类型b2对应错误事件的错误优先级高，图中用圈b1和圈b2表示，其中圈b1和圈b2内各可以包括一件或多件错误事件。错误类型b3和错误类型b4对应错误事件的错误优先级中等，图中用圈b3和圈b4表示，其中圈b3和圈b4内各可以包括一件或多件错误事件。错误类型b5对应错误事件的错误优先级低，图中用圈b5表示，其中圈b5内可以包括一件或多件错误事件。

为进一步区分不同错误优先级的错误事件，可以将错误类型b1和错误类型b2对应的错误事件标记为红色，表示需要紧急处理；将错误类型b3和错误类型b4对应的错误事件标记为黄色，表示可以稍缓处理；将错误类型b5对应的错误事件标记为绿色，表示可以暂不处理。通过将不同错误类型的错误事件进行分类，并标记上不同的颜色，可以简明清晰地展示不同错误优先级的不同错误类型的错误事件。

进一步的，第二展示图120中，可以通过相链接的表格的形式显示每个错误事件的第一行日志信息以及链接至其错误堆栈的追踪id。如图2所示，错误类型b1中包括错误事件b11、错误事件b12和错误事件b13，错误事件b11、错误事件b12和错误事件b13各自的第一行日志信息以及链接至其错误堆栈的追踪id通过表格1200进行展示。

上述实施例通过收集和存储应用发生错误事件的前后预设时段内生成的错误堆栈的第一行日志信息，既可以通过第一行日志信息准确地获知错误事件的错误类型并借此分析出现问题的原因，又可以极大减小系统资源的占用量，减小计算量，提高处理效率；同时，通过多个维度对各个应用的错误事件进行直观展示，使得软件开发人员快速掌握错误事件的信息，优先挑选有价值的错误去解决，提高开发效率。

参照图3所示，示意出一些实施例中错误日志的处理方法的数据流转过程。首先是数据收集的过程。应用a和应用b采用主动推送(push)错误日志的方式。其中应用a将错误日志推送至一缓存(例如pushgateway)3中，存储服务器(例如prometheus)4按照从缓存3中拉取错误日志。应用a中需要引入特定的客户端包，按照存储服务器4特定的格式发送或者打印错误日志。应用b推送错误日志不需要引入特定的客户端包，而是通过http请求的方式将错误日志发送到中间层转换服务器2，中间层转换服务器2引入客户端包，按照特定格式将错误日志推送至缓存3中。应用c的错误日志的获取方式是被动拉取，应用c也引入特定的客户端包，根据存储服务器4的请求按照特定格式发送错误日志。应用a、应用b和应用c可分别根据实际情况采用不同的方式收集错误日志。

其次是数据存储的过程。存储服务器4通过向缓存或者应用收集数据并存储。收集数据的时间间隔可以是15秒，为了达到数据准实时展示的效果，可以将数据收集的时间间隔缩短，比如5秒，1秒，甚至更短的时间间隔。

最后是数据解析展示的过程。展示服务器(例如grafana)5通过promql查询语句向存储服务器4发起查询，例如可以查询每个应用的错误事件数，或者查询每个应用的不同错误类型的错误事件，并按照不同的维度进行可视化展示。

通过可视化展示，可以准实时查看各个应用的出错情况，快速准定位问题，或者进一步通过追踪标识(traceid)深入查询错误原因。

本发明的实施例还提供一种错误日志的处理系统。参照图4所示，在一些实施例中，错误日志的处理系统6包括但不限于以下模块：

收集模块601，用于获得应用发生错误事件生成的错误堆栈的第一行日志信息。

在一些实施例中，收集模块601用于执行上述任意实施例中的s10。

存储模块602，用于将各个错误事件的第一行日志信息与所属的应用对应存储。

在一些实施例中，存储模块602用于执行上述任意实施例中的s20。

解析模块603，用于统计各个应用的错误事件数，并解析各个应用的各个错误事件的第一行日志信息，获得各个错误事件的错误类型。

在一些实施例中，解析模块603用于执行上述任意实施例中的s30。

展示模块604，用于以错误事件数为维度生成各个应用的错误事件的第一展示图；以及至少以错误类型为维度生成各个应用的错误事件的第二展示图，每个应用的第二展示图与其第一展示图相链接。在一些实施例中，展示模块604用于执行上述任意实施例中的s40和s50。

上述的错误日志的处理系统6通过收集模块601和存储模块602收集和存储应用发生错误事件生成的错误堆栈的第一行日志信息，可以减小系统资源的占用量，减小计算量；通过解析模块603解析错误事件的第一行日志信息，可以快速且准确地获得错误事件的错误类型；通过展示模块604从错误事件数、错误类型等维度清晰简明地展示各个应用的错误事件，方便软件开发人员快速定位问题，并优先挑选有价值的问题去解决，提高开发效率。

本发明实施例还提供一种电子设备，包括处理器和存储器，存储器中存储有可执行指令，处理器被配置为经由执行可执行指令来执行上述实施例中的错误日志的处理方法的步骤。

如上所述，本发明的电子设备能够通过准实时地收集和存储错误事件的第一行日志信息，实现减小系统资源的占用量，减小计算量；通过解析错误事件的第一行日志信息，实现快速准确地获得错误事件的错误类型等相关信息；通过可视化展示，从错误事件数、错误类型等维度清晰简明地展示各个应用的错误事件，方便软件开发人员快速定位问题，并优先挑选有价值的问题去解决，提高开发效率。

图5是本发明实施例中电子设备的结构示意图，应当理解的是，图5仅仅是示意性地绘示出各个模块，这些模块可以是虚拟的软件模块或实际的硬件模块，这些模块的合并、拆分及其余模块的增加都在本发明的保护范围之内。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。

下面参照图5来描述根据本发明的这种实施方式的电子设备700。图5显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：至少一个处理单元710、至少一个存储单元720、连接不同平台组件(包括存储单元720和处理单元710)的总线730、显示单元740等。

其中，存储单元存储有程序代码，程序代码可以被处理单元710执行，使得处理单元710执行本说明书上述错误日志的处理方法部分描述的根据本发明各种示例性实施方式的步骤。例如，处理单元710可以分别执行如图1所示的步骤。

存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)7201和/或高速缓存存储单元7202，还可以进一步包括只读存储单元(rom)7203。

存储单元720还可以包括具有一组(至少一个)程序模块7205的程序/实用工具7204，这样的程序模块7205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器760可以通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。

本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述实施例的错误日志的处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述错误日志的处理方法部分描述的根据本发明各种示例性实施方式的步骤。

如上所述，本发明的计算机可读存储介质能够通过准实时地收集和存储错误事件的第一行日志信息，实现减小系统资源的占用量，减小计算量；通过解析错误事件的第一行日志信息，实现快速准确地获得错误事件的错误类型等相关信息，通过可视化展示，从错误事件数、错误类型等维度清晰简明地展示各个应用的错误事件，方便软件开发人员快速定位问题，并优先挑选有价值的问题去解决，提高开发效率。

图6是本发明的计算机可读存储介质的结构示意图。参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。