一种日志记录管理方法和系统的制作方法

文档序号:6424683阅读:284来源:国知局
专利名称:一种日志记录管理方法和系统的制作方法
技术领域
本发明涉及微波设备中日志管理技术领域。具体来说,涉及到一种日志记录的管理方法和系统。
背景技术
随着硬件设备的层出不穷,系统对设备的信息记录要求也越来越高。记录的日志信息不但要准确,方便定位,而且还要及时有效地进行存储。因此,如何对系统中各种设备信息的采集,以及对采集到的日志信息进行有效地保存,成为必须解决的问题。在此情况下,系统应该具备一种合理的采集、上报日志记录,并保存日志信息的机制。 第CN200810066666. I号中国专利提供的日志管理方法是在内存空间中缓存日志信息,通过判断记录条数,确定是否写日志文件保存日志记录。此方法只是对记录条数进行判断,即如果长时间没有达到指定记录条数,会使缓存的日志记录不能及时上报进行写日志文件操作,近而出现了日志信息被“饿死”,迟迟不能被保存。第CN02156052专利的动态日志记录方法是根据程序运行的周期动态记录日志数据到若干个不同的日志文件中,当到任意时间周期时,将该时刻的日志数据写入到时间周期对应的该日志文件中,并同时清除前一时间周期对应的日志文件中的日志数据。该方法不足之处在于不能保证日志记录数目,特别是重要日志很可能在一个时间周期后,被非重要的日志记录的文件所覆盖。目前在采集日志方面的方法主要有实时上报日志内容与批量上报日志内容。实时上报日志内容能够使日志信息能够及时得到保存,但操作闪存(flash)过于频繁。而批量上报日志记录可以减少对flash空间的读写操作,延长存储器的寿命,但其不足之处在于缺少及时性。在日志记录文件管理方面主要有循环保存日志文件,以减少对存储器空间的占用。

发明内容
本发明要解决的技术问题是提供一种日志记录的管理方法及系统,保证日志记录的及时上报,减少存储器空间的占用。为了解决上述问题,本发明提供了一种日志记录管理方法,包括周期性检测缓存,检测到缓存中有日志记录时,上报所述日志记录;以及,当缓存中的日志记录数目大于等于动态上报门限时,上报所述缓存中的日志记录,所述动态上报门限根据已上报日志记录条数与已上报日志记录次数生成。进一步的,上述方法还可具有以下特点,所述动态上报门限为所述已上报日志记录条数与已上报日志记录次数的比值。进一步的,上述方法还可具有以下特点,所述方法还包括将上报的所述日志记录写入日志文件中,判断所述日志文件是否满足日志压缩条件,如果满足,压缩所述日志文件,保存所述日志文件的压缩文件。
进一步的,上述方法还可具有以下特点,所述日志压缩条件是判断日志文件大小是否大于预设的日志文件大小门限,如果是,则满足日志压缩条件。进一步的,上述方法还可具有以下特点,所述方法还包括,压缩所述日志文件后,判断已保存的压缩文件数目是否大于预设的压缩文件数目门限,如果是,删除最早保存的压缩文件。进一步的,上述方法还可具有以下特点,压缩所述日志文件后,还为所述压缩文件建立索引值,且新建立的压缩文件的索引值大于已建立的压缩文件的索引值;所述删除保存的最早的压缩文件包括删除索引值最小的压缩文件。本发明还提供一种日志记录管理系统,包括日志采集模块和日志管理模块,其中 日志采集模块用于周期性检测缓存,检测到缓存中有日志记录时,上报所述日志记录至日志管理模块;以及,当缓存中的日志记录数目大于等于动态上报门限时,上报所述缓存中的日志记录至日志管理模块,所述动态上报门限根据已上报日志记录条数与已上报日志记录次数生成。进一步的,上述系统还可具有以下特点,所述日志采集模块用于将所述已上报日志记录条数与已上报日志记录次数的比值作为所述动态上报门限。进一步的,上述系统还可具有以下特点,所述日志管理模块用于将上报的所述日志记录写入日志文件中,判断所述日志文件是否满足日志压缩条件,如果满足,压缩所述日志文件,保存所述日志文件的压缩文件。进一步的,上述系统还可具有以下特点,所述日志管理模块是用于判断日志文件大小是否大于预设的日志文件大小门限,如果是,则判断所述日志文件满足日志压缩条件。进一步的,上述系统还可具有以下特点,所述日志管理模块还用于压缩所述日志文件后,判断已保存的压缩文件数目是否大于预设的压缩文件数目门限,如果是,删除最早保存的压缩文件。进一步的,上述系统还可具有以下特点,所述日志管理模块还用于压缩所述日志文件后,为所述压缩文件建立索引值,且新建立的压缩文件的索引值大于已建立的压缩文件的索引值;所述删除保存的最早的压缩文件是指删除索引值最小的压缩文件。本发明通过定时上报以及单位上报次数上报的日志记录数目达到动态上报门限时上报,从而在满足日志记录及时上报的同时,使上报次数达到最小,进而延长存储器寿命。以及,通过压缩日志文件,以及删除过早的日志文件,避免日志文件过多占用存储器空间。


图I为本发明系统结构图;图2为本发明中日志文件管理的工作流程图;图3为本发明中采集日志记录的工作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。本发明对日志管理进行两方面优化,上报信息方面,在满足及时上报日志信息的情况下,进行批量上报日志信息内容。文件管理方面动态确定文件压缩条件,并对压缩后的日志信息文件循环保存,以减少对存储器空间的占用。日志采集模块通过定时上报信息与动态上报门限相结合的方法,将信息上报至日志管理模块。在保证批量处理的同时亦能保证上报日志信息的及时性。当缓存中的日志记录数目大于等于已上报日志记录条数与已上报日志记录次数的比值时,上报日志记录,从而在满足日志记录及时上报的同时,使上报次数达到最小,进而延长存储器寿命。日志文件大小在达到或超过日志文件大小门限L时,对日志文件进行压缩,使其进一步减少对存储器空间占用。该L值由M确定。当压缩文件数目超过压缩文件数目门限P之后,对最早保存的压缩文件进行删除。
本发明提供一种日志记录管理方法,包括周期性检测缓存,检测到缓存中有日志记录时,上报所述日志记录;当缓存中的日志记录数目大于等于动态上报门限时,上报所述缓存中的日志记录,所述动态上报门限根据已上报日志记录条数与已上报日志记录次数生成。所述动态上报门限可为已上报日志记录条数与已上报日志记录次数的比值。也可以在该比值基础上修改为其他值。将上报的日志记录按类型进行分类,记录到相应的日志文件中;判断所述日志文件是否满足日志压缩条件,如果满足,压缩所述日志文件,保存所述日志文件的压缩文件。所述日志压缩条件是判断日志文件大小是否大于预设的日志文件大小门限,如果是,则满足日志压缩条件。也可以设定其他日志压缩条件,比如,是否已保存指定条数的日志记录,或者,是否已保存指定时间周期内的日志记录。进一步的,判断已保存的压缩文件数目是否大于预设的压缩文件数目门限,如果是,删除最早保存的压缩文件。其中,所述删除保存的最早的压缩文件包括压缩所述日志文件后,还为所述压缩文件建立索引值,且新建立的压缩文件的索引值大于已建立的压缩文件的索引值;具体的可以按如下方式建立索引值,生成压缩文件后,将已有的压缩文件的最大索引值加一个值Q,Q > 0,得到当前建立的压缩文件的索引值。所述删除保存的最早的压缩文件即删除索引值最小的压缩文件。当然,也可以为每个压缩文件保存其建立时间;所述删除保存的最早的压缩文件包括查找各压缩文件的建立时间,将建立时间最早的压缩文件删除。本发明对此不限定。
其中,已上报日志记录条数与已上报日志记录次数的比值即为单位上报次数上报的日志记录数目。其中,各受控板将日志记录缓存到本地的内存中,日志记录内容格式进行统一规定,按照“记录时间+自身属性+[子系统名称_模块名称_状态名称]+记录信息内容”格式记录日志。该格式仅为示例,也可采取其他格式,只包括其中一种或多种信息,或者,包括与日志记录相关的其他信息。统一日志记录格式可以方便后续对日志记录进行提取,方便定位分析问题。
主控板在本地创建三种日志文件,分别是异常、操作、运行三种类型。接收到上报的日志记录后,将该日志记录按照类型记录到指定类型的日志文件中。每次更新日志文件之后对该日志文件的大小进行检测,当该日志文件大小超过日志文件大小门限L时,对其进行压缩,生成并保存该日志文件的压缩文件,以减少日志文件占用的存储空间。为该压缩文件设置一索引值,该压缩文件的索引值为当前已保存的压缩文件的索引值中的最大索引值加Q,Q > O0其中L值大小可以由M,保存日志的时间间隔T (比如,需保存N天的日志记录)及检测周期t (即检测缓存中是否有新日志记录的检测周期)确定,即L*P= (M*T/t)*—条日志记录大小。日志文件L的大小也根据需要其他方式指定,本发明对此不作限定。生成压缩文件后,对现有的压缩文件个数进行统计,当其超过压缩文件数目门限P时,则对当前压缩文件索引值最小的文件进行删除,使得压缩文件得到循环保存,既减少日志文件存储所占的空间,又能保存一定的日志记录。
本发明的实例结构图如图I所示,包括包含日志采集模块和日志管理模块,其中日志采集模块负责采集日志信息并缓存至本地,通过判断上报因子是否被触发来决定是否将日志记录上报至日志管理模块。日志管理模块负责处理上报的日志记录。对上报的日志记录的类型进行解析,对不同类型的日志记录进行分别处理,具体为写入到不同的日志文件中。日志采集模块和日志管理模块可使用进程实现,即使用日志采集进程和日志管理进程实现。如图2所示,日志管理模块接收到日志记录后的过程,包括步骤201,将日志记录写入日志文件;步骤202,检测当前日志文件大小,如果当前日志文件大小小于等于L,则结束,否贝U,执行步骤203 ;步骤203,压缩日志文件,生成压缩文件;步骤204,检测压缩文件数目是否大于P,如果是,执行步骤205,否则,执行步骤206 ;步骤205,删除最早生成的压缩文件;步骤206,建立压缩文件的索引值,该压缩文件的索引值为已有的压缩文件的索引值中的最大索引值加Q,结束,Q为大于O的任意值。如图3所示,为日志采集模块进行日志上报的流程图,包括日志采集模块实时采集各受控板生成的日志记录。其中每条日志记录格式为记录时间+自身属性+[子系统名称_模块名称_状态名称]+记录信息内容。记录时间为获取的系统时间。子系统名称、模块名称和状态名称确定日志生成的确切位置。采取统一格式记录日志信息的目的在于方便后续对日志内容的数据挖掘。日志采集模块在采集日志记录的同时也自测上报因子是否触发。本发明中上报因子为循环定时触发与动态上报门限触发。循环定时触发条件为在定时检测是否有采集到日志记录。日志采集模块会把采集到的日志记录缓存至本板的内存当中,同时统计日志条数。如果在指定时间到达,则读本板内存,如果有缓存的日志记录,则循环定时条件被触发,上报日志记录至主控板的日志管理模块。如果没有,则不进行处理。动态上报门限触发因子是指当缓存中的日志记录数目大于等于已上报日志记录条数与已上报日志记录次数的比值时,触发上报因子。步骤301,到达定时检测周期;步骤302,检测是否有日志文件,如果没有则等待下一检测周期到达,如果有则进入步骤305 ;步骤303,获取单位上报次数上报的日志记录数目,即动态上报门限M ;步骤304,判断缓存中的日志记录数目是否到达动态上报门限M,如果是,执行步骤305,否则,等待下一次判断;
步骤305,触发上报因子,上报日志记录,结束。其中,步骤301 302与步骤303 304之间无顺序关系,303 304实时执行。其中,在上报日志记录后,更新单位上报次数上报的日志记录数目。本发明提供一种日志记录管理系统,包括日志采集模块和日志管理模块,其中所述日志采集模块用于周期性检测缓存,检测到缓存中有日志记录时,上报所述日志记录至日志管理模块;以及,当缓存中的日志记录数目大于等于动态上报门限时,上报所述缓存中的日志记录,所述动态上报门限根据已上报日志记录条数与已上报日志记录次数生成。 所述日志采集模块用于将所述已上报日志记录条数与已上报日志记录次数的比值作为所述动态上报门限。其中,所述日志管理模块用于将上报的所述日志记录写入日志文件中,判断所述日志文件是否满足日志压缩条件,如果满足,压缩所述日志文件,保存所述日志文件的压缩文件。其中,所述日志管理模块是用于判断日志文件大小是否大于预设的日志文件大小门限,如果是,则判断所述日志文件满足日志压缩条件。其中,所述日志管理模块还用于压缩所述日志文件后,判断已保存的压缩文件数目是否大于预设的压缩文件数目门限,如果是,删除最早保存的压缩文件。其中,所述日志管理模块还用于压缩所述日志文件后,为所述压缩文件建立索引值,且新建立的压缩文件的索引值大于已建立的压缩文件的索引值;所述删除保存的最早的压缩文件是指删除索引值最小的压缩文件。本发明通过定时上报以及达到动态上报门限时上报,从而在满足日志记录及时上报的同时,使上报次数达到最小,进而延长存储器寿命。以及,通过压缩日志文件,以及删除过早的日志文件,避免日志文件过多占用存储器空间。显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
权利要求
1.一种日志记录管理方法,其特征在于,包括 周期性检测缓存,检测到缓存中有日志记录时,上报所述日志记录;以及, 当缓存中的日志记录数目大于等于动态上报门限时,上报所述缓存中的日志记录,所述动态上报门限根据已上报日志记录条数与已上报日志记录次数生成。
2.如权利要求I所述的方法,其特征在于,所述动态上报门限为所述已上报日志记录条数与已上报日志记录次数的比值。
3.如权利要求I所述的方法,其特征在于,所述方法还包括 将上报的所述日志记录写入日志文件中,判断所述日志文件是否满足日志压缩条件,如果满足,压缩所述日志文件,保存所述日志文件的压缩文件。
4.如权利要求3所述的方法,其特征在于,所述日志压缩条件是判断日志文件大小是否大于预设的日志文件大小门限,如果是,则满足日志压缩条件。
5.如权利要求3或4所述的方法,其特征在于,所述方法还包括,压缩所述日志文件后,判断已保存的压缩文件数目是否大于预设的压缩文件数目门限,如果是,删除最早保存的压缩文件。
6.如权利要求5所述的方法,其特征在于, 压缩所述日志文件后,还为所述压缩文件建立索引值,且新建立的压缩文件的索引值大于已建立的压缩文件的索引值; 所述删除保存的最早的压缩文件包括 删除索引值最小的压缩文件。
7.—种日志记录管理系统,其特征在于,包括日志采集模块和日志管理模块,其中 日志采集模块用于周期性检测缓存,检测到缓存中有日志记录时,上报所述日志记录至日志管理模块;以及,当缓存中的日志记录数目大于等于动态上报门限时,上报所述缓存中的日志记录至日志管理模块,所述动态上报门限根据已上报日志记录条数与已上报日志记录次数生成。
8.如权利要求7所述的系统,其特征在于,所述日志采集模块用于将所述已上报日志记录条数与已上报日志记录次数的比值作为所述动态上报门限。
9.如权利要求7所述的系统,其特征在于,所述日志管理模块用于 将上报的所述日志记录写入日志文件中,判断所述日志文件是否满足日志压缩条件,如果满足,压缩所述日志文件,保存所述日志文件的压缩文件。
10.如权利要求9所述的系统,其特征在于,所述日志管理模块是用于判断日志文件大小是否大于预设的日志文件大小门限,如果是,则判断所述日志文件满足日志压缩条件。
11.如权利要求9或10所述的系统,其特征在于,所述日志管理模块还用于压缩所述日志文件后,判断已保存的压缩文件数目是否大于预设的压缩文件数目门限,如果是,删除最早保存的压缩文件。
12.如权利要求11所述的系统,其特征在于, 所述日志管理模块还用于压缩所述日志文件后,为所述压缩文件建立索引值,且新建立的压缩文件的索引值大于已建立的压缩文件的索引值;所述删除保存的最早的压缩文件是指删除索引值最小的压缩文件。
全文摘要
本发明提供一种日志记录管理方法,包括周期性检测缓存,检测到缓存中有日志记录时,上报日志记录;以及,当缓存中的日志记录数目大于等于已上报日志记录条数与已上报日志记录次数的比值时,上报所述缓存中的日志记录。本发明还提供一种日志记录管理系统,日志采集模块周期性检测缓存,检测到缓存中有日志记录时,上报至日志管理模块;以及,当缓存中的日志记录条数大于等于已上报日志记录条数与已上报日志记录次数的比值时,进行上报。本发明在满足日志记录及时上报的同时,使上报次数达到最小,进而延长存储器寿命,以及,通过压缩日志文件,以及删除过早的日志文件,避免日志文件过多占用存储器空间。
文档编号G06F17/30GK102799514SQ201110134759
公开日2012年11月28日 申请日期2011年5月24日 优先权日2011年5月24日
发明者邵永春 申请人:中兴通讯股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1