于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0119]本发明实施例公开了 Al、一种日志数据传输方法，包括:
[0120]定时从应用服务器抓取日志数据；
[0121]根据所述抓取的日志数据生成新日志文件；
[0122]根据所述新日志文件生成增量日志文件；
[0123]将所述增量日志文件写入日志数据库中；以及
[0124]从所述应用服务器中删除所述已写入日志数据库的日志数据。
[0125]A2、如权利要求Al所述的方法，其特征在于，所述根据所述新日志文件生成增量日志文件的步骤进一步包括:
[0126]若所述日志数据库中存在旧日志文件，将所述新日志文件与旧日志文件进行比较，以生成增量日志文件。
[0127]A3、如权利要求Al或A2所述的方法，其特征在于，所述根据所述新日志文件生成增量日志文件的步骤进一步包括:
[0128]若所述日志服务器中不存在旧日志文件，则创建一个空文件作为旧日志文件；以及
[0129]将所述新日志文件与旧日志文件进行比较，以生成增量日志文件。
[0130]A4、如权利要求A2或A3所述的方法，其特征在于，所述将所述新日志文件与旧日志文件进行比较，以生成增量日志文件的步骤进一步包括:
[0131]将所述新日志文件与旧日志文件进行比较，提取新增内容生成新比较文件；
[0132]采用所述新比较文件替换在先的旧比较文件；
[0133]去除所述新比较文件中的冗余数据后，生成新的增量日志文件；以及
[0134]采用所述新增量日志文件替换在先的旧增量日志文件。
[0135]A5、如权利要求A1-A4中任一项所述的方法，其特征在于，所述方法还包括:
[0136]采用所述新日志文件替换旧日志文件。
[0137]A6、如权利要求A1-A5中任一项所述的方法，其特征在于，所述定时从应用服务器抓取日志数据的步骤进一步包括:
[0138]定时从所述应用服务器抓取当天的全量日志数据。
[0139]A7、如权利要求A1-A6中任一项所述的方法，其特征在于，所述方法还包括:
[0140]若在将所述增量日志文件写入日志数据库中发生错误，则将写入的日志数据进行回滚。
[0141]本发明实施例还公开了 B8、一种日志服务器，包括:
[0142]日志数据抓取子模块，适于定时从应用服务器抓取日志数据；
[0143]日志文件生成子模块，适于根据所述抓取的日志数据生成新日志文件；
[0144]比较子模块，适于将所述新日志文件与旧日志文件进行比较，生成增量日志文件；
[0145]记录子模块，适于将所述增量日志文件写入日志数据库中；以及
[0146]日志删除模块，适于删除应用服务器中已写入日志数据库的日志数据。
[0147]B9、如权利要求B8所述的日志服务器，其特征在于，还包括:
[0148]判断子模块，适于判断所述日志服务器中是否存在旧日志文件。
[0149]B10、如权利要求B9所述的日志服务器，其特征在于，若所述日志服务器中存在旧日志文件，则所述比较子模块还适于:
[0150]将所述新日志文件与已存在的旧日志文件进行比较，生成所述增量日志文件。
[0151]B11、如权利要求B9所述的日志服务器，其特征在于，若所述日志服务器中不存在旧日志文件，则所述日志服务器还包括:
[0152]创建子模块，适于创建一个空文件作为旧日志文件；
[0153]其中，所述比较子模块还适于:
[0154]将所述新日志文件与创建的旧日志文件进行比较，生成所述增量日志文件。
[0155]B12、如权利要求B8-B11中任一项所述的日志服务器，其特征在于，所述日志服务器进一步包括:
[0156]提取单元，适于提取所述新日志文件与旧日志文件比较生成的新增内容以生成新比较文件；
[0157]第一替换单元，适于用所述新比较文件替换在先的旧比较文件；
[0158]冗余数据删除单元，适于去除所述新比较文件中的冗余数据后，生成新的增量日志文件；以及
[0159]第二替换单元，适于将所述新增量日志文件替换在先的旧增量日志文件。
[0160]B13、如权利要求B8-B12中任一项所述的日志服务器，其特征在于，所述日志服务器还包括:
[0161 ] 第三替换子模块，适于将新日志文件替换旧日志文件。
[0162]B14、如权利要求B8-B13中任一项所述的日志服务器，其特征在于，所述日志服务器还包括:
[0163]回滚子模块，适于所述增量日志文件写入日志数据库中发生错误时，将写入的日志数据进行回滚。
[0164]本发明实施例还公开了 C15、一种日志数据传输系统，其特征在于，所述日志数据传输系统包括应用服务器和权利要求B8-B14中任一项所述的日志服务器。
【主权项】
1.一种日志数据传输方法，包括: 定时从应用服务器抓取日志数据； 根据所述抓取的日志数据生成新日志文件； 根据所述新日志文件生成增量日志文件； 将所述增量日志文件写入日志数据库中；以及 从所述应用服务器中删除所述已写入日志数据库的日志数据。
2.如权利要求1所述的方法，其特征在于，所述根据所述新日志文件生成增量日志文件的步骤进一步包括: 若所述日志数据库中存在旧日志文件，将所述新日志文件与旧日志文件进行比较，以生成增量日志文件。
3.如权利要求1或2所述的方法，其特征在于，所述根据所述新日志文件生成增量日志文件的步骤进一步包括: 若所述日志服务器中不存在旧日志文件，则创建一个空文件作为旧日志文件；以及 将所述新日志文件与旧日志文件进行比较，以生成增量日志文件。
4.如权利要求2或3所述的方法，其特征在于，所述将所述新日志文件与旧日志文件进行比较，以生成增量日志文件的步骤进一步包括: 将所述新日志文件与旧日志文件进行比较，提取新增内容生成新比较文件； 采用所述新比较文件替换在先的旧比较文件； 去除所述新比较文件中的冗余数据后，生成新的增量日志文件；以及 采用所述新增量日志文件替换在先的旧增量日志文件。
5.如权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括: 采用所述新日志文件替换旧日志文件。
6.如权利要求1-5中任一项所述的方法，其特征在于，所述定时从应用服务器抓取日志数据的步骤进一步包括: 定时从所述应用服务器抓取当天的全量日志数据。
7.如权利要求1-6中任一项所述的方法，其特征在于，所述方法还包括: 若在将所述增量日志文件写入日志数据库中发生错误，则将写入的日志数据进行回滚。
8.一种日志服务器，包括: 日志数据抓取子模块，适于定时从应用服务器抓取日志数据； 日志文件生成子模块，适于根据所述抓取的日志数据生成新日志文件； 比较子模块，适于将所述新日志文件与旧日志文件进行比较，生成增量日志文件； 记录子模块，适于将所述增量日志文件写入日志数据库中；以及 日志删除模块，适于删除应用服务器中已写入日志数据库的日志数据。
9.如权利要求8所述的日志服务器，其特征在于，还包括: 判断子模块，适于判断所述日志服务器中是否存在旧日志文件。
10.一种日志数据传输系统，其特征在于，所述日志数据传输系统包括应用服务器和权利要求8所述的日志服务器。
【专利摘要】本发明公开了一种日志数据传输方法、系统及日志服务器，其中所述日志数据传输方法包括：定时从应用服务器抓取日志数据；根据所述抓取的日志数据生成新日志文件；根据所述新日志文件生成增量日志文件；将所述增量日志文件写入日志数据库中；以及从所述应用服务器中删除所述已写入日志数据库的日志数据。上述日志数据传输方法、系统及日志服务器能降低日志数据丢失的风险及减少存储的冗余。
【IPC分类】G06F11-34, G06F17-30
【公开号】CN104714880
【申请号】CN201510155666
【发明人】柴昱
【申请人】北京奇虎科技有限公司, 奇智软件（北京）有限公司
【公开日】2015年6月17日
【申请日】2012年9月25日