日志文件处理方法、装置、计算机设备及存储介质与流程

本申请涉及互联网技术领域，尤其涉及一种日志文件处理方法、装置、计算机设备及存储介质。

背景技术：

目前，互联网时代下各种应用程序均会产生日志文件，但日志文件的格式以及数据类型各式各样，面对不同类型的日志文件，由于格式不统一导致处理较为繁琐。同时新系统、跨环境也会存在多种不同文件格式或数据格式的日志文件，随着对日志文件中的数据进行处理，比如日志数据中的信息新增，需要新增字段信息，需要底层重新开放或重新解析等，均会导致日志文件处理较为繁琐。此外，由于业务变化较快，需要不断的修改数据处理逻辑，才能满足业务需求，也会给日志文件处理造成麻烦。因此，需要提供一种日志文件处理方法以解决上述问题。

技术实现要素：

本申请提供了一种日志文件处理方法、装置、计算机设备及存储介质，旨在提高日志文件的处理速度，同时降低开发人员的工作量。

本申请提供了一种日志文件处理方法，其包括：

获取应用程序产生的日志文件，识别所述日志文件对应的文件格式；

根据文件格式和文件解析规则之间预设的对应关系，确定识别到的文件格式对应的文件解析规则；

根据确定的文件解析规则解析所述日志文件以得到统一编码规范文件，通过预设文本分析规则分析所述统一编码规范文件以获取日志字段；

根据所述日志字段生成数据维度统计表，并将所述数据维度统计表与历史的数据维度统计表作比对以获取差异信息；

根据所述差异信息生成告警信息，并输出所述告警信息。

本申请提供了一种日志文件处理装置，其包括：

获取识别单元，用于获取应用程序产生的日志文件，识别所述日志文件对应的文件格式；

规则确定单元，用于根据文件格式和文件解析规则之间预设的对应关系，确定识别到的文件格式对应的文件解析规则；

解析分析单元，用于根据确定的文件解析规则解析所述日志文件以得到统一编码规范文件，通过预设文本分析规则分析所述统一编码规范文件以获取日志字段；

生成比对单元，用于根据所述日志字段生成数据维度统计表，并将所述数据维度统计表与历史的数据维度统计表作比对以获取差异信息；

生成输出单元，用于根据所述差异信息生成告警信息，并输出所述告警信息。

本申请还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请提供的任意一项所述的日志文件处理方法的步骤。

本申请还提供了一种计算机存储介质，其中所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行本申请提供的任意实施例所述的日志文件处理方法的步骤。

本申请实施例提供了日志文件处理方法、装置、计算机设备及存储介质，通过将日志文件转换成统一编码规范文件；通过预设文本分析规则分析所述统一编码规范文件以获取日志字段；根据所述日志字段生成数据维度统计表，并将所述数据维度统计表与历史的数据维度统计表做比对以获取差异信息；根据所述差异信息生成告警信息，并输出所述告警信息。由此实现了对不同格式的日志文件的管理，减少由于上游数据变化所带来的影响，进而减少开发人员的工作量，实现了对于各种应用的日志信息进行动态监控。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种日志文件处理方法的示意流程图；

图2是图1中日志文件处理方法的子步骤示意流程图；

图3是图1中日志文件处理方法的子步骤示意流程图；

图4是本申请一实施例提供的一种日志文件处理装置的示意性框图；

图5是本申请另一实施例提供的一种日志文件处理装置的示意性框图；

图6是本申请又一实施例提供的一种日志文件处理装置的示意性框图；

图7是本申请一实施例提供的一种计算机设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1是本申请一实施例提供的一种日志文件处理方法的示意流程图。该日志文件处理方法可应用在服务器中，如图1所示，该日志文件处理方法包括步骤s101～s106。

s101、获取应用程序产生的日志文件，识别所述日志文件对应的文件格式。

具体地，所述日志文件包括各种应用程序产生的日志信息，由于是各种应用程序产生的日志信息，所以该日志文件可能具有不同的文件格式或者数据格式，文件格式比如为：txt格式、xml格式、csv格式或data格式等。

其中，所述识别所述日志文件对应的文件格式，具体是根据预设文件格式集合识别所述日志文件对应的文件格式。

具体地，可以读取所述日志文件的后缀名，根据读取到的后缀名通过预设文件格式集合识别所述日志文件对应的文件格式，该预设文件格式集合包括多个预设关键字及其对应的文件格式，比如txt或xml等，对应的文件格式分别为txt格式和xml格式。比如，如果识别到日志文件的后缀名为.txt，则可以识别出该日志文件的文件格式为txt格式。

在一实施例中，所述识别所述日志文件对应的文件格式，还可包括另一识别文件格式的步骤，如图2所示，该步骤具体包括以下内容：

s101a、扫描所述日志文件的日志内容以识别所述日志文件对应文件编码方式；s101b、根据所述文件编码方式识别所述日志文件对应的文件格式。

具体地，除了基于所述预设文件格式集合通过日志文件的后缀名识别该日志文件的格式外，还可通过扫描日志文件的日志内容分析出该日志文件所采用的文件编码方式，并根据所述文件编码方式识别所述日志文件对应的文件格式，可以弥补上述格式识别方法的不足，同时又提高了识别日志文件对应的文件格式的准确度。

比如，分析日志文件是采用xml的文件编码方式，则可根据该xml的文件编码方式识别出该日志文件对应的文件格式为xml格式。该识别步骤方法可以弥补通过预设文件格式集合方式识别的不足。比如，某些日志文件没有后缀名，或者是后缀名包括多个关键字造成无法确认，造成通过预设文件格式集合无法识别出该日志文件的格式，则可通过该识别文件步骤方式去识别该日志文件的文件格式。

s102、根据文件格式和文件解析规则之间预设的对应关系，确定识别到的文件格式对应的文件解析规则。

具体地，所述文件格式包括：txt格式、xml格式、csv格式或data格式。所述文件解析规则包括：txt解析规则、xml解析规则、csv解析规则和data解析规则等。预设的对应关系是指分别txt解析规则、xml解析规则、csv解析规则和data解析规则分别与txt格式、xml格式、csv格式和data格式相对应。

由此可以根据该对应关系确定上述识别到的文件格式对应的文件解析规则。比如，上述步骤中识别到日志文件的文件格式为xml格式，则可以确定该xml格式对应的文件解析规则为xml解析规则。

s103、根据确定的文件解析规则解析所述日志文件以得到统一编码规范文件，通过预设文本分析规则分析所述统一编码规范文件以获取日志字段。

具体地，所述统一编码规范文件具体为统一编码txt规范文件，当然也可以其他格式规范文件，该文件解析规则用于将具有不同文件格式的日志文件统一转换成统一编码txt规范文件，该文件解析规则包括txt解析规则、xml解析规则、csv解析规则和data解析规则。

在一实施例中，如图3所示，步骤s103包括子步骤s103a至s103d。其中，s103a、通过文本分析模型分析所述统一编码规范文件以得到特殊字段和分隔符；s103b、根据所述特殊字段和分隔符对所述统一编码规范文件的文件内容进行分割以得到日志字段；s103c、将所述特殊字段发送至分布式系统，以使所述分布式系统对所述特殊字段进行解析以获取所述特殊字段对应的特殊日志字段；s103d、接收所述分布式系统反馈的所述特殊日志字段作为所述日志字段。

具体地，可以将大量的统一编码规范文件作为训练样本，采用文本分析算法对该训练样本进行训练以得到文本分析模型。再通过该文本分析模型分析当前解析得到的统一编码规范文件以获取特殊字段和分隔符，特殊字段比如为加密字段等，分割符比如为：逗号、#、/或者\等符号，由此以便根据所述特殊字段和分隔符对所述统一编码规范文件的文件内容进行分割以得到日志字段。

比如，通过文本分析模型分析出该统一编码规范文件的分隔符为逗号，则可将“455，userid:＝1555，clientno＝asdds，role:＝a、b、c...”分割成：“455”、“userid:＝1555”、“clientno＝asdds”、“role:＝a、b、c”等日志字段。

由于该特殊字段可能为加密字段，只有对该加密字段进行解密后才能得到特殊日志字段，因此可将所述特殊字段发送至分布式系统，以使所述分布式系统进行解析获取所述特殊字段对应的特殊日志字段；并接收所述分布式系统反馈的特殊日志字段并设置为所述日志字段。通过分布式系统进行特殊字段进行解密，由此可提高数据处理效率。

s104、根据所述日志字段生成数据维度统计表，并将所述数据维度统计表与历史的数据维度统计表作比对以获取差异信息。

具体地，所述根据所述日志字段生成数据维度统计表，包括：根据所述日志字段建立临时数据表；扫描所述临时数据表，根据所述临时数据表生成数据维度统计表。

其中，所述临时数据表和数据维度统计表的格式不同，比如临时数据表为txt格式，数据维度统计表为orc格式，orc格式更适合分布式系统进行分析处理，由此方便对该数据维度统计表进行对比或在数据量较大时通过分布式系统进行分析对比。

具体地，将该数据维度统计表与历史的数据维度统计表做比对以获取差异信息，其中该差异信息包括：新增字段信息和缺失字段信息等，这些差异信息表明应用程序的变换和异常等情况。

s105、根据所述差异信息生成告警信息，并输出所述告警信息。

具体地，根据该差异信息分析出异常原因并生成相应的告警信息，并输出该告警信息。具体可通过定时扫描告警信息并发送告警邮件。

其中，根据所述差异信息生成告警信息包括两种情况：针对新增字段信息和针对缺失的字段信息。对于新增字段信息，可将新增字段信息导入对应的日志分区数据，结合日志分区数据具体分析新增字段信息对应的硬件信息及异常原因，再根据新增字段信息及异常原因生成告警信息；对于缺失的字段信息，从历史的数据维度统计表中获取其对比字段信息并生成告警信息。根据告警信息生成相应的告警邮件，并发送该告警邮件至相应的终端以使管理人员对异常进行分析处理。

在本实施例中，上述日志文件处理方法通过将具有不同文件格式的日志文件转换成统一编码规范文件，利用预设文本分析规则分析所述统一编码规范文件以获取日志字段；根据所述日志字段生成数据维度统计表，并将所述数据维度统计表与历史的数据维度统计表做比对以获取差异信息；根据所述差异信息生成告警信息，并输出所述告警信息。该方法实现了对不同格式的日志文件的管理，减少由于上游数据变化所带来的影响，进而减少开发的工作量，实现了对于日志接入信息进行动态监控。

图4是本申请实施例提供的一种日志文件处理装置的示意性框图。如图4所示，对应于以上日志文件处理方法，本申请还提供一种日志文件处理装置。该日志文件处理装置包括用于执行上述日志文件处理方法的单元，该装置可以被配置于服务器中。

如图4所示，该日志文件处理装置400包括：获取识别单元401、规则确定单元402、解析分析单元403、生成比对单元404和生成输出单元405。

获取识别单元401，用于获取应用程序产生的日志文件，识别所述日志文件对应的文件格式。

在一实施例中，如图5所示，获取识别单元401还包括：扫描识别子单元4011和格式识别子单元4012。

其中，扫描识别子单元4011，用于扫描所述日志文件的日志内容以识别所述日志文件对应文件编码方式；格式识别子单元4012，用于根据所述文件编码方式识别所述日志文件对应的文件格式。

规则确定单元402，用于根据文件格式和文件解析规则之间预设的对应关系，确定识别到的文件格式对应的文件解析规则。

解析分析单元403，用于根据确定的文件解析规则解析所述日志文件以得到统一编码规范文件，通过预设文本分析规则分析所述统一编码规范文件以获取日志字段。

在一实施例中，如图6所示，解析分析单元403包括：模型分析子单元4031、字段分割子单元4032、字段发送子单元4033和字段接收子单元4034。

其中，模型分析子单元4031，用于通过文本分析模型分析所述统一编码规范文件以得到特殊字段和分隔符；字段分割子单元4032，用于根据所述特殊字段和分隔符对所述统一编码规范文件的文件内容进行分割以得到日志字段；字段发送子单元4033，用于将所述特殊字段发送至分布式系统，以使所述分布式系统对所述特殊字段进行解析以获取所述特殊字段对应的特殊日志字段；字段接收子单元4034，用于接收所述分布式系统反馈的所述特殊日志字段作为所述日志字段。

生成比对单元404，用于根据所述日志字段生成数据维度统计表，并将所述数据维度统计表与历史的数据维度统计表作比对以获取差异信息。

生成输出单元405，用于根据所述差异信息生成告警信息，并输出所述告警信息。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的日志文件处理装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述装置可以实现为一种计算机程序的形式，计算机程序可以在如图7所示的计算机设备上运行。

请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备700可以是服务器。

参照图7，该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。

该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种日志文件处理方法。

该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。

该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种日志文件处理方法。

该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现如下步骤：

获取应用程序产生的日志文件，识别所述日志文件对应的文件格式；

根据文件格式和文件解析规则之间预设的对应关系，确定识别到的文件格式对应的文件解析规则；

根据确定的文件解析规则解析所述日志文件以得到统一编码规范文件，通过预设文本分析规则分析所述统一编码规范文件以获取日志字段；

根据所述日志字段生成数据维度统计表，并将所述数据维度统计表与历史的数据维度统计表作比对以获取差异信息；

根据所述差异信息生成告警信息，并输出所述告警信息。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述通过预设文本分析规则分析所述统一编码规范文件以获取日志字段时，具体实现如下步骤：

通过文本分析模型分析所述统一编码规范文件以得到特殊字段和分隔符；

根据所述特殊字段和分隔符对所述统一编码规范文件的文件内容进行分割以得到日志字段。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述根据所述特殊字段和分隔符对所述统一编码规范文件的文件内容进行分割以得到日志字段之后，还实现如下步骤：

将所述特殊字段发送至分布式系统，以使所述分布式系统对所述特殊字段进行解析以获取所述特殊字段对应的特殊日志字段；以及接收所述分布式系统反馈的所述特殊日志字段作为所述日志字段。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述识别所述日志文件对应的文件格式时，具体实现如下步骤：

根据预设文件格式集合识别所述日志文件对应的文件格式。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述识别所述日志文件对应的文件格式时，具体实现如下步骤：

扫描所述日志文件的日志内容以识别所述日志文件对应文件编码方式；根据所述文件编码方式识别所述日志文件对应的文件格式。

在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述根据所述日志字段生成数据维度统计表时，具体实现如下步骤：

根据所述日志字段建立临时数据表；扫描所述临时数据表，根据所述临时数据表生成数据维度统计表。

应当理解，在本申请实施例中，处理器720可以是中央处理单元(centralprocessingunit，cpu)，该处理器720还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域技术人员可以理解，图7中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本领域普通技术人员可以理解的是实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。如本发明实施例中，该计算机程序可存储于计算机系统的存储介质中，所述计算机程序被处理器执行时使所述处理器执行如下步骤：

获取应用程序产生的日志文件，识别所述日志文件对应的文件格式；

根据文件格式和文件解析规则之间预设的对应关系，确定识别到的文件格式对应的文件解析规则；

根据确定的文件解析规则解析所述日志文件以得到统一编码规范文件，通过预设文本分析规则分析所述统一编码规范文件以获取日志字段；

根据所述日志字段生成数据维度统计表，并将所述数据维度统计表与历史的数据维度统计表作比对以获取差异信息；

根据所述差异信息生成告警信息，并输出所述告警信息。

在一实施例中，所述计算机程序被处理器执行时使所述处理器执行所述通过预设文本分析规则分析所述统一编码规范文件以获取日志字段时，具体执行如下步骤：

通过文本分析模型分析所述统一编码规范文件以得到特殊字段和分隔符；

根据所述特殊字段和分隔符对所述统一编码规范文件的文件内容进行分割以得到日志字段。

在一实施例中，所述计算机程序被处理器执行时使所述处理器执行所述根据所述特殊字段和分隔符对所述统一编码规范文件的文件内容进行分割以得到日志字段之后，还执行如下步骤：

将所述特殊字段发送至分布式系统，以使所述分布式系统对所述特殊字段进行解析以获取所述特殊字段对应的特殊日志字段；以及接收所述分布式系统反馈的所述特殊日志字段作为所述日志字段。

在一实施例中，所述计算机程序被处理器执行时使所述处理器执行所述识别所述日志文件对应的文件格式时，具体执行如下步骤：

根据预设文件格式集合识别所述日志文件对应的文件格式。

在一实施例中，所述计算机程序被处理器执行时使所述处理器执行所述识别所述日志文件对应的文件格式时，具体执行如下步骤：

扫描所述日志文件的日志内容以识别所述日志文件对应文件编码方式；根据所述文件编码方式识别所述日志文件对应的文件格式。

在一实施例中，所述计算机程序被处理器执行时使所述处理器执行所述根据所述日志字段生成数据维度统计表时，具体执行如下步骤：

根据所述日志字段建立临时数据表；扫描所述临时数据表，根据所述临时数据表生成数据维度统计表。

该计算机可读存储介质可以是磁碟、光盘、u盘、移动硬盘、只读存储器(rom，read-onlymemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的日志文件处理装置和方法，可以通过其它的方式实现。例如，以上所描述的日志文件处理装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。