一种日志存储方法、装置、电子设备及存储介质与流程

文档序号:33556354发布日期:2023-03-22 12:03阅读:21来源:国知局
1.本技术涉及数据处理
技术领域
:,具体而言,涉及一种日志存储方法、装置、电子设备及计算机存储介质。
背景技术
::2.在设备系统内执行指定的事件时,会生成相应的日志文件,用于记录该指定事件的具体执行信息。在以往的日志存储形式中,每个事件均需输出一条日志,用于描述事件的过程。然而,随着业务应用的发展,在同一时间内,相同的事件重复性的产生,导致频繁生产日志信息,每次生成日志后,均需要对数据库进行读取操作,增加日志入库的压力,会导致日志入库失败现象。3.现有技术在对日志文件进行处理时存在很多问题,如在日志合并时,需要逐层搜索各合并行数下的日志合并序列,不利于日志合并效率,或者在需要追加数据时不修改旧的数据,导致几次追加的数据之间有keyrange覆盖,键值对对不再有序。技术实现要素:4.本技术实施例的目的在于提供一种日志存储方法、装置、电子设备及存储介质,可以缓解日志入库的压力,减少日志入库失败的概率,减少重复性读取日志信息和频繁生产日志信息的弊端,提高日志的存储效率,缩短入库时间。5.第一方面,本技术实施例提供了一种日志存储方法,所述方法包括:6.生成日志信息;7.获取正式缓存区的状态;8.根据所述正式缓存区的状态和所述日志信息进行计数操作,获得计数后的日志信息;9.将所述计数后的日志信息存入数据库。10.在上述实现过程中,根据正式缓存区的状态和日志信息进行技术操作,可以准确地获知日志信息是否需要归并入库,可以缓解日志信息入库的压力,减少日志信息入库失败的概率,减少重复性读取日志信息和频繁生产日志信息的弊端,提高日志信息的存储效率,缩短入库时间。11.进一步地,在所述生成日志信息的步骤之后,还包括:12.将所述日志信息存储至临时缓存区。13.在上述实现过程中,将日志信息存储至临时缓存区,可以缓解日志信息的存储压力,避免待入库的日志信息过多造成数据冗余。14.进一步地,所述根据所述正式缓存区的状态和所述日志信息进行计数操作,获得计数后的日志信息的步骤,包括:15.判断所述正式缓存区的状态是否存储所述日志信息;16.若否,将所述日志信息从所述临时缓存区转存至所述正式缓存区,对所述正式缓存区进行计数操作,获得计数后的日志信息;17.若是,根据所述日志信息和所述正式缓存区存储的日志信息对所述正式缓存区进行初始化计数。18.在上述实现过程中,根据正式缓存区是否存储有日志信息的状态进行技术,可以明确地获得正式缓存区的存储情况,避免正式缓存区存储过多的日志信息,导致日志信息入库失败,有效缩短日志信息的存储时间。19.进一步地,所述根据所述日志信息和所述正式缓存区存储的日志信息对所述正式缓存区进行初始化计数的步骤,包括:20.获取所述正式缓存区存储的日志信息;21.判断所述日志信息和所述正式缓存区存储的日志信息是否一致;22.若是,获取所述正式缓存区的当前计数,对所述当前计数进行初始化计数;23.若否,将所述正式缓存区存储的日志信息存入数据库,将所述日志信息从所述临时缓存区转存至所述正式缓存区。24.在上述实现过程中,通过判断日志信息和正式缓存区存储的日志信息决定是否进行初始化技术,能够准确地得到需要存入正式缓存区的日志信息或需要存入数据库的日志信息,有效减少发生日志信息存储错乱的概率,避免数据库存入错误的日志信息。25.进一步地,所述对所述当前计数进行初始化计数的步骤,包括:26.判断所述当前计数是否达到预设计数;27.若是,将所述正式缓存区存储的日志信息存入所述数据库,对所述当前计数进行初始化计数;28.若否,对所述正式缓存区进行计数操作,获得计数后的日志信息。29.在上述实现过程中,若当前计数达到预设计数,表明正式缓存区存储的日志信息达到了入库要求,需要将其存入数据库并初始化后重新计数,可以提高日志信息的入库效率,避免出错。30.进一步地,所述判断所述日志信息和所述正式缓存区存储的日志信息是否一致的步骤,包括:31.获取所述日志信息的参数;32.获取所述正式缓存区存储的日志信息的参数;33.判断所述日志信息的参数和所述正式缓存区存储的日志信息的参数是否一致。34.在上述实现过程中,根据日志信息的参数和正式缓存区存储的日志信息的参数判断二者是否一致,可以提高比对效率,正确识别到日志信息。35.第二方面,本技术实施例还提供了一种日志存储装置,所述装置包括:36.生成模块,用于生成日志信息;37.获取模块,用于获取正式缓存区的状态;38.计数模块,用于根据所述正式缓存区的状态和所述日志信息进行计数操作,获得计数后的日志信息;39.存储模块,用于将所述计数后的日志信息存入数据库。40.在上述实现过程中,根据正式缓存区的状态和日志信息进行技术操作,可以准确地获知日志信息是否需要归并入库,可以缓解日志信息入库的压力,减少日志信息入库失败的概率,减少重复性读取日志信息和频繁生产日志信息的弊端,提高日志信息的存储效率,缩短入库时间。41.进一步地,所述存储模块还用于:42.将所述日志信息存储至临时缓存区。43.在上述实现过程中,将日志信息存储至临时缓存区,可以缓解日志信息的存储压力,避免待入库的日志信息过多造成数据冗余。44.第三方面,本技术实施例提供的一种电子设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。45.第四方面,本技术实施例提供的一种计算机可读存储介质,所述存储介质上存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如第一方面任一项所述的方法。46.第五方面,本技术实施例提供的一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行如第一方面任一项所述的方法。47.本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。48.并可依照说明书的内容予以实施,以下以本技术的较佳实施例并配合附图详细说明如后。附图说明49.为了更清楚地说明本技术实施例的技术方案,下面将对本技术实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本技术的某些实施例,因此不应被看作是对范围值的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。50.图1为本技术实施例提供的日志存储方法的流程示意图;51.图2为本技术实施例提供的日志存储装置的结构组成示意图;52.图3为本技术实施例提供的电子设备的结构组成示意图。具体实施方式53.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行描述。54.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本技术的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。55.下面结合附图和实施例,对本技术的具体实施方式作进一步详细描述。以下实施例用于说明本技术,但不用来限制本技术的范围值。56.实施例一57.图1是本技术实施例提供的日志存储方法的流程示意图,如图1所示,该方法包括:58.s1,生成日志信息;59.s2,获取正式缓存区的状态;60.s3,根据正式缓存区的状态和日志信息进行计数操作,获得计数后的日志信息;61.s4,将计数后的日志信息存入数据库。62.在上述实现过程中,根据正式缓存区的状态和日志信息进行技术操作,可以准确地获知日志信息是否需要归并入库,可以缓解日志信息入库的压力,减少日志信息入库失败的概率,减少重复性读取日志信息和频繁生产日志信息的弊端,提高日志信息的存储效率,缩短入库时间。63.本技术实施例可以解决当存在大量相同流量访问时,将所产生的日志信息进行合并计数,当达到一定计数时,进行数据库入库操作,减少对数据库的读写操作。64.进一步地,在生成日志信息的步骤之后,还包括:65.将日志信息存储至临时缓存区。66.在上述实现过程中,将日志信息存储至临时缓存区,可以缓解日志信息的存储压力,避免待入库的日志信息过多造成数据冗余。67.生成日志信息,并放置在临时缓存区中。68.进一步地,s3包括:69.判断正式缓存区的状态是否存储日志信息;70.若否,将日志信息从临时缓存区转存至正式缓存区,对正式缓存区进行计数操作,获得计数后的日志信息;71.若是,根据日志信息和正式缓存区存储的日志信息对正式缓存区进行初始化计数。72.在上述实现过程中,根据正式缓存区是否存储有日志信息的状态进行技术,可以明确地获得正式缓存区的存储情况,避免正式缓存区存储过多的日志信息,导致日志信息入库失败,有效缩短日志信息的存储时间。73.进一步地,根据日志信息和正式缓存区存储的日志信息对正式缓存区进行初始化计数的步骤,包括:74.获取正式缓存区存储的日志信息;75.判断日志信息和正式缓存区存储的日志信息是否一致;76.若是,获取正式缓存区的当前计数,对当前计数进行初始化计数;77.若否,将正式缓存区存储的日志信息存入数据库,将日志信息从临时缓存区转存至正式缓存区。78.在上述实现过程中,通过判断日志信息和正式缓存区存储的日志信息决定是否进行初始化技术,能够准确地得到需要存入正式缓存区的日志信息或需要存入数据库的日志信息,有效减少发生日志信息存储错乱的概率,避免数据库存入错误的日志信息。79.查看正式缓存区是否有日志信息,若是,则将存储在临时缓存区的日志信息与正式缓存区的日志信息进行对比,若否,则将存储在临时缓存区的日志转存至正式缓存区中,并将正式缓存区的count计数设置为1。80.若存储在临时缓存区的日志信息与正式缓存区的信息一致,则查看正式缓存区的count计数;否则,将正式缓存区存储的日志信息进行入库操作,并将临时缓存区的日志信息转存至正式缓存区中。81.进一步地,对当前计数进行初始化计数的步骤,包括:82.判断当前计数是否达到预设计数;83.若是,将正式缓存区存储的日志信息存入数据库,对当前计数进行初始化计数;84.若否,对正式缓存区进行计数操作,获得计数后的日志信息。85.在上述实现过程中,若当前计数达到预设计数,表明正式缓存区存储的日志信息达到了入库要求,需要将其存入数据库并初始化后重新计数,可以提高日志信息的入库效率,避免出错。86.若count计数未到达预设计数,则count计数加1,若count计数达到预设计数,则将正式缓存区的日志信息存入数据库,count计数进行初始化后开始重新计数。87.进一步地,判断日志信息和正式缓存区存储的日志信息是否一致的步骤,包括:88.获取日志信息的参数;89.获取正式缓存区存储的日志信息的参数;90.判断日志信息的参数和正式缓存区存储的日志信息的参数是否一致。91.在上述实现过程中,根据日志信息的参数和正式缓存区存储的日志信息的参数判断二者是否一致,可以提高比对效率,正确识别到日志信息。92.本技术实施例提供了基于数组结构的日志信息合并、入库方式,当设备产生日志信息时,将当前的日志信息存入临时缓存区,与正式缓存区的日志信息进行对比,若临时缓存区存储的日志信息与正式缓存区存储的日志信息需要对比的参数一致,则认为是存储在临时缓存区的日志信息需要归并,正式缓存区的count计数加1;当count计数累计到预设计数后,将存储在正式缓存区的日志信息进行入库操作,正式缓存区的count计数进行初始化(可选地,可以将初始化计数设置为1),开始重新计数;若需要对比的参数不一致,则认为存储在临时缓存区的日志信息为新的日志信息,不需要归并,正式缓存区的存储日志信息进行入库,并将临时缓存区的日志信息转存至正式缓存区中。93.示例性地,本技术实施例可应用于下一代防火墙中的日志模块,如访问控制日志、数据过滤日志、病毒过滤日志等模块日志,使用本技术实施例提出的一种数组结构,将同一时间下大量相同的日志信息进行归并后再进行入库操作,减少系统对数据库的频繁读写操作,其系统实现架构和实现流程如下:94.客户端a第一次访问服务器b的web端口,对应连接会立即生成日志信息,协议为超文本传输协议(hypertexttransferprotocol,http),计数为1;客户端a紧接着再访问服务器b的web端口,由于源口相同,后台已在前一条日志信息基础上开始计数,此时web页面无新日志生成。95.客户端aping(基于xml_rpc标准协议的更新通告服务)服务器b,由于协议、目的端口均已变化,会先将上一个缓存计数的日志信息生成后,对应ping连接才会立即生成日志信息,计数为1。web页面上可查看到两个日志信息,一条协议是http的,计数为2,另一条协议是控制报文协议(internetcontrolmessageprotocol,icmp)的,计数为1。96.现有技术中基于日志合并树结构的轻量级合并方法,其目的在于在日志合并树进行后台dtable合并时减少读写放大,通过将下层overlapdtables中的元数据存储在上层victimdtable中,通过调整dtable的键值范围平衡dtables的追加数据量,由此降低日志合并树合并操作的开销,消除日志合并树的读写放大的技术问题。97.本技术实施例相比于日志合并树结构的轻量级合并方法,以数组结构形式将相邻的两条日志信息进行对比归并,优化了对日志归并的处理过程,以数组结构信息进行日志信息对比,当日志信息计数达到一定阈值后,才进行日志信息入库操作,减少对数据库的读写操作。98.实施例二99.为了执行上述实施例一对应的方法,以实现相应的功能和技术效果,下面提供一种日志存储装置,如图3所示,该装置包括:100.生成模块1,用于生成日志信息;101.获取模块2,用于获取正式缓存区的状态;102.计数模块3,用于根据正式缓存区的状态和日志信息进行计数操作,获得计数后的日志信息;103.存储模块4,用于将计数后的日志信息存入数据库。104.在上述实现过程中,根据正式缓存区的状态和日志信息进行技术操作,可以准确地获知日志信息是否需要归并入库,可以缓解日志信息入库的压力,减少日志信息入库失败的概率,减少重复性读取日志信息和频繁生产日志信息的弊端,提高日志信息的存储效率,缩短入库时间。105.进一步地,存储模块4还用于:106.将日志信息存储至临时缓存区。107.在上述实现过程中,将日志信息存储至临时缓存区,可以缓解日志信息的存储压力,避免待入库的日志信息过多造成数据冗余。108.进一步地,计数模块3还用于:109.判断正式缓存区的状态是否存储日志信息;110.若否,将日志信息从临时缓存区转存至正式缓存区,对正式缓存区进行计数操作,获得计数后的日志信息;111.若是,根据日志信息和正式缓存区存储的日志信息对正式缓存区进行初始化计数。112.在上述实现过程中,根据正式缓存区是否存储有日志信息的状态进行技术,可以明确地获得正式缓存区的存储情况,避免正式缓存区存储过多的日志信息,导致日志信息入库失败,有效缩短日志信息的存储时间。113.进一步地,计数模块3还用于:114.获取正式缓存区存储的日志信息;115.判断日志信息和正式缓存区存储的日志信息是否一致;116.若是,获取正式缓存区的当前计数,对当前计数进行初始化计数;117.若否,将正式缓存区存储的日志信息存入数据库,将日志信息从临时缓存区转存至正式缓存区。118.在上述实现过程中,通过判断日志信息和正式缓存区存储的日志信息决定是否进行初始化技术,能够准确地得到需要存入正式缓存区的日志信息或需要存入数据库的日志信息,有效减少发生日志信息存储错乱的概率,避免数据库存入错误的日志信息。119.进一步地,计数模块3还用于:120.判断当前计数是否达到预设计数;121.若是,将正式缓存区存储的日志信息存入数据库,对当前计数进行初始化计数;122.若否,对正式缓存区进行计数操作,获得计数后的日志信息。123.在上述实现过程中,若当前计数达到预设计数,表明正式缓存区存储的日志信息达到了入库要求,需要将其存入数据库并初始化后重新计数,可以提高日志信息的入库效率,避免出错。124.进一步地,计数模块3还用于:125.获取日志信息的参数;126.获取正式缓存区存储的日志信息的参数;127.判断日志信息的参数和正式缓存区存储的日志信息的参数是否一致。128.在上述实现过程中,根据日志信息的参数和正式缓存区存储的日志信息的参数判断二者是否一致,可以提高比对效率,正确识别到日志信息。129.上述的日志存储装置可实施上述实施例一的方法。上述实施例一中的可选项也适用于本实施例,这里不再详述。130.本技术实施例的其余内容可参照上述实施例一的内容,在本实施例中,不再进行赘述。131.实施例三132.本技术实施例提供一种电子设备,包括存储器及处理器,该存储器用于存储计算机程序,该处理器运行计算机程序以使电子设备执行实施例一的日志存储方法。133.可选地,上述电子设备可以是服务器。134.请参见图3,图3为本技术实施例提供的电子设备的结构组成示意图。该电子设备可以包括处理器31、通信接口32、存储器33和至少一个通信总线34。其中,通信总线34用于实现这些组件直接的连接通信。其中,本技术实施例中设备的通信接口32用于与其他节点设备进行信令或数据的通信。处理器31可以是一种集成电路芯片,具有信号的处理能力。135.上述的处理器31可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。136.存储器33可以是,但不限于,随机存取存储器(randomaccessmemory,ram),只读存储器(readonlymemory,rom),可编程只读存储器(programmableread-onlymemory,prom),可擦除只读存储器(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储器(electricerasableprogrammableread-onlymemory,eeprom)等。存储器33中存储有计算机可读取指令,当计算机可读取指令由所述处理器31执行时,设备可以执行上述图1方法实施例涉及的各个步骤。137.可选地,电子设备还可以包括存储控制器、输入输出单元。存储器33、存储控制器、处理器31、外设接口、输入输出单元各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通信总线34实现电性连接。处理器31用于执行存储器33中存储的可执行模块,例如设备包括的软件功能模块或计算机程序。138.输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是,但不限于,鼠标和键盘等。139.可以理解,图3所示的结构仅为示意,电子设备还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。140.另外,本技术实施例还提供一种计算机可读存储介质,其存储有计算机程序,该计算机程序被处理器执行时实现实施例一的日志存储方法。141.本技术实施例还提供一种计算机程序产品,该计算机程序产品在计算机上运行时,使得计算机执行方法实施例所述的方法。142.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的装置来实现,或者可以用专用硬件与计算机指令的组合来实现。143.另外,在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。144.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。145.以上所述仅为本技术的实施例而已,并不用于限制本技术的保护范围值,对于本领域的技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围值之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。146.以上所述,仅为本技术的具体实施方式,但本技术的保护范围值并不局限于此,任何熟悉本
技术领域
:的技术人员在本技术揭露的技术范围值内,可轻易想到变化或替换,都应涵盖在本技术的保护范围值之内。因此,本技术的保护范围值应所述以权利要求的保护范围值为准。147.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1