日志数据传输方法、系统及日志服务器的制造方法_3

文档序号:8395800阅读:来源:国知局
tewayServer_INFO_log.20120831.final 文件。
[0085]8、采用所述新增量日志文件 GatewayServer_INFO_log.20120831.final 替换在先的旧增量日志文件 GatewayServer_INFO_log.20120831.final ο
[0086]9、对增量文件 GatewayServer_INFO_log.20120831.final 文件进行格式化并导入数据库,例如,该文件的一行内容为[20518] [1190676800] [0AA0000FE33C52012083100155221307]2012083000:22:08.063INFOiUpdate TransLog Success,对应的是进程号、线程号、流水号、时间戳、级别、O分隔符、内容、7列内容,但是系统指令例如AWK (文本处理工具)等会认为上述内容为8列,因为系统对于以上内容只能根据空格来判断列数,但是在时间列的日期和时间之间存在一个空格,会认为它是两列,需要对这两列进行合并处理,形成一列。然后以出去分割符的6列内容为数据库的表字段,生成SQL (结构化查询语言),插入日志数据库,每读一行,处理一次,直到读完全部文件。
[0087]10、采用新的日志文件GatewayServer_INFO_log.20120831.new替换旧的日志文件 GatewayServer_INFO_log.20120831.0ld。
[0088]11、若在将所述增量日志文件写入日志数据库中发生错误,则将写入的日志数据进行回滚。
[0089]需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
[0090]参照图3,示出了本发明一种日志数据传输系统实施例的结构框图,具体可以包括以下模块:
[0091]应用服务器401和日志服务器402,所述应用服务器与日志服务器相连,所述日志服务器与日志数据库403相连;在本发明实施例中,所述日志服务器还可以包括以下模块:
[0092]日志采集模块404,适于日志服务器定时从所述应用服务器抓取日志数据,并将所述日志数据写入日志数据库中;
[0093]日志删除模块405,适于删除应用服务器中已写入日志数据库的日志数据。
[0094]在具体实现中,应用服务器401生成日志数据后,由日志服务器的日志采集模块404定时从所述应用服务器401抓取日志数据,然后根据所述抓取的日志数据生成新日志文件,再将所述新日志文件与旧日志文件进行比较,生成增量日志文件,然后将所述增量日志文件写入日志数据库中,最后日志删除模块405从所述应用服务器401中删除所述已写入日志数据库403的日志数据。
[0095]在本发明的一种优选实施例中,所述模块404具体可以包括以下子模块:
[0096]日志数据抓取子模块,适于日志服务器定时从所述应用服务器抓取日志数据;
[0097]日志文件生成子模块,适于根据所述抓取的日志数据生成新日志文件;
[0098]判断子模块,适于判断所述日志服务器中是否存在旧日志文件;
[0099]创建子模块,适于创建一个空文件作为旧日志文件;
[0100]比较子模块,适于将所述新日志文件与旧日志文件进行比较;
[0101]本发明的一种优选实施例中,所述比较子模块还可以包括以下单元:
[0102]提取模块单元,适于提取所述新日志文件与旧日志文件比较生成的新增内容新比较文件;
[0103]第一替换模块单元,适于将所述新比较文件替换在先的旧比较文件;
[0104]冗余数据删除模块单元,适于去除所述新比较文件中的冗余数据后,生成新的增量日志文件;
[0105]第二替换模块单元,适于将所述新增量日志文件替换在先的旧增量日志文件。
[0106]记录子模块;适于将所述增量日志文件写入日志数据库中;
[0107]日志删除子模块,适于删除应用服务器中已写入日志数据库的日志数据;
[0108]回滚子模块,适于所述增量日志文件写入日志数据库中发生错误时,将写入的日志数据进行回滚。
[0109]在具体实现中,应用服务器生成日志数据后,由日志服务器定时从所述应用服务器抓取日志数据,然后根据所述抓取的日志数据生成新日志文件,再将所述新日志文件与旧日志文件进行比较,生成增量日志文件,然后将所述增量日志文件写入日志数据库中,最后从所述应用服务器中删除所述已写入日志数据库的日志数据。
[0110]对于系统实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0111]本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
[0112]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0113]在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
[0114]类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】,其中每个权利要求本身都作为本发明的单独实施例。
[0115]本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0116]此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0117]本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的日志数据传输设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
[0118]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1