一种日志解析方法、装置、电子设备及可读存储介质与流程

本发明涉及网络信息安全和网络管理技术领域，具体涉及一种日志解析方法、装置、电子设备及可读存储介质。

背景技术：

系统日志(syslog)是一种在网络环境中广泛使用的日志，其可以被各种操作系统、网络设备和安全设备官方所支持。web服务器通过访问日志记录了网站和应用被访问的时间、访问来源、访问结果等重要的用户数据，通过对访问日志进行解析为标准的格式便于统一采集、管理和分析，并为系统的很多业务分析和系统功能改善提供数据支持。目前现有的日志解析方式主要是取出操作日志的资源字段，针对该字段的每一个资源，调用单条资源的解析接口，然后返回所需的该资源的其他信息，操作日志获取这些信息并按照原有资源的顺序对这些信息进行拼接；针对每一条操作日志的资源字段，调用批量接口送入所有的资源已有信息，操作日志一次性获取对应资源的其他信息，并按照原有资源的顺序对这些信息进行拼接。这种解析方式存在的问题主要有网络吞吐量低，每一次调用资源解析接口仅仅只做一条操作日志资源字段的解析工作，网络吞吐量低，延时长；不同的操作日志对应的资源可能存在重复，这种情况下存在重复解析的情况，在重复资源很多的情况下会造成很大的资源浪费。

技术实现要素：

本申请的目的旨在至少能解决上述的技术缺陷之一。本申请所采用的技术方案如下：

第一方面，本申请实施例公开了一种日志解析方法，所述方法包括：

获取预设时段内的系统日志信息；

将所述预设时段内的日志信息集中发送至日志解析接口进行解析。

可选地，在将所述预设时段内的日志信息集中发送至日志解析接口进行解析之前，所述方法还包括：

对所述获取的预设时段内的系统日志信息进行去重处理。

可选地，所述系统日志信息至少包括：包括事件类型和字段。

可选地，所述方法还包括：

获取日志信息解析结果；

建立所述解析结果与字段/事件类型的映射关系。

可选地，在建立所述解析结果与字段/事件类型的映射关系之后，所述方法还包括：

根据所述解析结果与字段/事件类型的映射关系，将所述解析结果与所述各日志进行关联。

第二方面本申请实施例提供了一种日志解析装置，所述装置可以包括：接口模块和解析模块，其中，

所述接口模块，用于获取预设时段内的系统日志信息，并将所述预设时段内的日志信息集中发送至日志解析接口；

所述解析模块，用于对发送至日志解析接口的日志信息进行解析。

可选地，所述装置还包括信息处理模块，用于对所述获取的预设时段内的系统日志信息进行去重处理。

可选地，所述装置还包括：映射模块，其中，

所述接口模块，用于获取日志信息解析结果；

所述映射模块，用于建立所述解析结果与字段/事件类型的映射关系。

第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，执行上述任一实施例中所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。

本申请提供的日志解析方案，获取预设时段内的系统日志信息；将所述预设时段内的日志信息集中发送至日志解析接口进行解析。本申请实施例提供的技术方案带来的有益效果包括以下至少之一：

(1)一次性返回所有需要资源字段的解析信息，大大增加网络吞吐量，降低了网络延时；

(2)避免重复解析相同的资源，大大增加了资源的解析效率；

(3)一次性将需要的资源信息缓存起来，后续资源解析可大大提升解析速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种日志解析方法的流程示意图；

图2为本申请实施例提供的一种日志解析装置的结构示意图；

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

此外应理解，本申请实施例中“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c可以是单个，也可以是多个。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

基于背景技术中介绍的现有银行交日志解析过程中存在的各种问题，本发明的以下实施例就是提供一种日志解析方法以解决上述至少之一的缺陷。

图1示出了本申请实施例提供的一种日志解析的流程示意图，，如图1所示，该方法主要可以包括：

s101、获取预设时段内的系统日志信息；

s102、将所述预设时段内的日志信息集中发送至日志解析接口进行解析。

在本申请可选实施例中，在将所述预设时段内的日志信息集中发送至日志解析接口进行解析之前，所述方法还包括：

对所述获取的预设时段内的系统日志信息进行去重处理。

在本申请可选实施例中，所述系统日志信息至少包括：包括事件类型和字段。

在本申请可选实施例中，所述方法还包括：

获取日志信息解析结果；

建立所述解析结果与字段/事件类型的映射关系。

在本申请可选实施例中，在建立所述解析结果与字段/事件类型的映射关系之后，所述方法还包括：

根据所述解析结果与字段/事件类型的映射关系，将所述解析结果与所述各日志进行关联。

以日志中的id字段为例，对本申请实施例的实现过程说明如下：

假设log1,log2,...,logm的资源字段信息分别为id11|id12|…|id1n1，id21|id22|…|id2n2，...，idm1|idm2|…|idmnm，n1，n2，nm分别表示log1，log2，...，logm的资源字段包含的资源数目，在同一条操作日志中多个资源之间使用”|”符号连接。先将所有待资源解析的id搜集起来，去掉重复的id，然后调用资源的批量解析接口。得到资源解析后的所有信息，这里用rm表示这些信息。rm信息和id信息一一对应，将得到的rm信息和原有的id信息做一个映射。根据这种映射关系可一次性将操作日志log1,log2,...,logm与资源解析后的信息对应起来，也即根据根据前文中得到的id和rm映射关系，完成每个log的rm拼接，从而完成多条操作日志的一次性高效解析。

基于图1所示的日志解析方法，另一方面本申请实施例提供了一种日志解析装置，如图2所示，装置可以包括201接口模块和202解析模块，其中，

所述201接口模块，用于获取预设时段内的系统日志信息，并将所述预设时段内的日志信息集中发送至日志解析接口；

所述202解析模块，用于对发送至日志解析接口的日志信息进行解析。

可选地，所述装置还包括203信息处理模块，用于对所述获取的预设时段内的系统日志信息进行去重处理。

可选地，所述装置还包括：204映射模块，其中，

所述201接口模块，用于获取日志信息解析结果；

所述204映射模块，用于建立所述解析结果与字段/事件类型的映射关系。

可以理解的是，本实施例中的日志解析的上述各组成设备具有实现图1中所示的实施例中的方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块或装置。上述模块和装置可以是软件和/或硬件，上述各模块和装置可以单独实现，也可以多个模块和装置集成实现。对于上述各模块和装置的功能描述具体可以参见图1中所示实施例中的方法的对应描述，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

可以理解的是，本发明实施例示意的结构并不构成对日志解析装置的具体结构的具体限定。在本申请另一些实施例中，日志解析装置可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本申请实施例提供了一种电子设备，包括处理器和存储器；

存储器，用于存储操作指令；

处理器，用于通过调用操作指令，执行本申请任一实施方式中所提供的日志解析方法。

作为一个示例，图3示出了本申请实施例所适用的一种电子设备的结构示意图，如图3所示，该电子设备2000包括：处理器2001和存储器2003。其中，处理器2001和存储器2003相连，如通过总线2002相连。可选的，电子设备2000还可以包括收发器2004。需要说明的是，实际应用中收发器2004不限于一个。可以理解的是，本发明实施例示意的结构并不构成对电子设备2000的具体结构的具体限定。在本申请另一些实施例中，电子设备2000可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实。可选地，电子设备还可以包括显示屏2005，用于显示图像，或需要时接收用户的操作指令。

其中，处理器2001应用于本申请实施例中，用于实现上述方法实施例所示的方法。收发器2004可以包括接收机和发射机，收发器2004应用于本申请实施例中，用于执行时实现本申请实施例的电子设备与其他设备通信的功能。

处理器2001可以是cpu(centralprocessingunit，中央处理器)，通用处理器，dsp(digitalsignalprocessor，数据信号处理器)，asic(applicationspecificintegratedcircuit，专用集成电路)，fpga(fieldprogrammablegatearray，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器2001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。

处理器2001也可以包括一个或多个处理单元，例如：处理器2001可以包括应用处理器(applicationprocessor，ap)，调制解调处理器，图形处理器(graphicsprocessingunit，gpu)，图像信号处理器(imagesignalprocessor,isp)，控制器，存储器，视频编解码器，数字信号处理器(digitalsignalprocessor,dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessingunit,npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是电子设备2000的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器2001中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器2001中的存储器为高速缓冲存储器。该存储器可以保存处理器2001刚用过或循环使用的指令或数据。如果处理器2001需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器2001的等待时间，因而提高了系统的效率。

处理器2001可以运行本申请实施例提供的日志解析方法，以便于降低用户的操作复杂度、提高终端设备的智能化程度，提升用户的体验。处理器2001可以包括不同的器件，比如集成cpu和gpu时，cpu和gpu可以配合执行本申请实施例提供的日志解析方法，比如日志解析方法中部分算法由cpu执行，另一部分算法由gpu执行，以得到较快的处理效率。

总线2002可包括一通路，在上述组件之间传送信息。总线2002可以是pci(peripheralcomponentinterconnect，外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture，扩展工业标准结构)总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器2003可以是rom(readonlymemory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(randomaccessmemory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electricallyerasableprogrammablereadonlymemory，电可擦可编程只读存储器)、cd-rom(compactdiscreadonlymemory，只读光盘)，也可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflashstorage，ufs)，或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

可选的，存储器2003用于存储执行本申请方案的应用程序代码，并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序代码，以实现本申请任一实施方式中所提供的日志解析方法。

存储器2003可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器2001通过运行存储在存储器2003的指令，从而执行电子设备2000的各种功能应用以及数据处理。存储器2003可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，应用程序的代码等。存储数据区可存储电子设备2000使用过程中所创建的数据(比如相机应用采集的图像、视频等)等。

存储器2003还可以存储本申请实施例提供的日志解析方法对应的一个或多个计算机程序。该一个或多个计算机程序被存储在上述存储器2003中并被配置为被该一个或多个处理器2001执行，该一个或多个计算机程序包括指令，上述指令可以用于执行上述相应实施例中的各个步骤。

当然，本申请实施例提供的日志解析方法的代码还可以存储在外部存储器中。这种情况下，处理器2001可以通过外部存储器接口运行存储在外部存储器中的日志解析方法的代码，处理器2001可以控制运行日志解析流程。

显示屏2005包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay，lcd)，有机发光二极管(organiclight-emittingdiode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的，amoled)，柔性发光二极管(flexlight-emittingdiode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantumdotlightemittingdiodes，qled)等。在一些实施例中，电子设备2000可以包括1个或n个显示屏2005，n为大于1的正整数。显示屏2005可用于显示由用户输入的信息或提供给用户的信息以及各种图形用户界面(graphicaluserinterface，gui)。例如，显示屏2005可以显示照片、视频、网页、或者文件等。

本申请实施例提供的电子设备，适用于上述方法任一实施例，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述方法实施例所示的日志解析方法。

本申请实施例提供的计算机可读存储介质，适用于上述方法任一实施例，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的方法。本申请实施例提供的计算机程序产品，适用于上述方法任一实施例，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

本申请提供的日志解析方案，获取预设时段内的系统日志信息；将所述预设时段内的日志信息集中发送至日志解析接口进行解析。本申请实施例提供的技术方案能够一次性返回所有需要资源字段的解析信息，大大增加网络吞吐量，降低了网络延时；避免重复解析相同的资源，大大增加了资源的解析效率；一次性将需要的资源信息缓存起来，后续资源解析可大大提升解析速度。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以丢弃，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(readonlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，还可以做出若干改进和润饰，这些变化、替换、改进和润饰也应视为都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。