一种日志存储方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据处理领域，特别是涉及一种日志存储方法及系统。
【背景技术】
[0002]一般而言，现有系统往往都不太注重日志的收集。有的干脆是没有日志模块，或者没有充分利用日志模块，有些系统的日志模块严重依赖原有系统，耦合性太高，难以单独使用。再者，有些系统为了日志文件的获取，花费大量的时间、精力，技术实现上也往往多种多样比较复杂繁琐，难以统一。一般而言，日志文件往往是普通文本文件，是随时间规则不断累积追加，而且，一般对实时性要求不高，没必要对每一条日志都实时上报，这样会验证占用系统资源。第三，日志往往是鸡肋，不甘心舍弃，又无法承担大量日志文件的存储。
【发明内容】
[0003]鉴于以上所述现有技术的缺点，本发明的目的在于提供一种日志存储方法与系统，用于解决现有技术中不能简单方便且实时并发的存储海量日志的问题。
[0004]为实现上述目的及其他相关目的，本发明提供一种日志存储方法，包括以下步骤:生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
[0005]可选的，每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。
[0006]可选的，所述监听到有新的日志文件生成的步骤包括:判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件。
[0007]可选的，所述监听到有日志文件的更新的步骤包括:判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件。
[0008]可选的，所述本地采用分布式文件系统对所述日志文件进行存储。
[0009]为实现上述目的及其他相关目的，本发明还提供一种日志存储系统，包括:日志生成模块，用于生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；监听模块，用于以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；存储模块，与所述日志生成模块和所述监听模块电连接，用于若所述监听模块监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若所述监听模块监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
[0010]可选的，每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。
[0011]可选的，所述监听模块判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件时，判断有新的日志文件生成。
[0012]可选的，所述监听模块判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件时，判断有日志文件的更新。
[0013]可选的，所述本地采用分布式文件系统对所述日志文件进行存储。
[0014]如上所述，本发明的日志存储方法与系统，通过FTP协议对系统生成的日志记录于日志文件中，并以预设时间周期监听是否有新生成的日志文件或是否有更新的日志文件，且通过FTP协议传输大量的日志文件，若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，通过FTP协议传输并存储于本地，而不用占用太多资源，以高时效且并发性的将新生成的日志文件以及有更新的日志文件存储于本地分布式文件系统中，本发明可有效的对海量的日志进行存储，通用性以及实用性强。
【附图说明】
[0015]图1显示为本发明的一种日志存储方法在一具体实施例中的流程示意图。
[0016]图2显示为本发明的一种日志存储系统在一具体实施例中的模块示意图。
[0017]元件标号说明
[0018]I日志存储系统
[0019]11日志生成模块
[0020]12监听模块
[0021]13存储模块
[0022]Sll ?S14 步骤
【具体实施方式】
[0023]以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的【具体实施方式】加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0024]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0025]请参阅图1，显示为本发明的一种日志存储方法在一具体实施例中的流程示意图。所述日志存储方法包括以下步骤
[0026]Sll:生成一日志文件于FTP服务器中，记录系统运行日志于所述日志文件中，且当所述日志文件中存储的系统运行日志大于一预设容量时，重新生成一日志文件于FTP服务器中以继续记录系统运行日志；对每个日志文件设置唯一的文件名，且记录每个日志文件的最后更新时间。使用FTP服务器，可以开放FTP服务器上相应权限以让注册通过或预先设置的客户端可以随时访问到。所述FTP服务器还可将日志文件所在目录共享出来，以方便从目录进入，遍历各目录下的日志文件。
[0027]S12:以预设时间周期监听所述FTP服务器中是否有新的日志文件生成或是否有日志文件的更新；若监听到有新的日志文件生成，则转向步骤S13 ;且若监听到有日志文件的更新，则转向步骤S14。
[0028]S13:若监听到有新的日志文件生成，则通过FTP协议将新生成的日志文件传输且存储于本地；可选的，若判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名不相同的日志文件，则说明所述FTP服务器中存在新的日志文件。
[0029]S14:且若监听到有日志文件的更新，则提取所述被更新的日志文件的更新部分以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。可选的，若判断到所述FTP服务器中存在与本地中所存储的日志文件的文件名相同，且最后更新时间不同的日志文件，则说明存在有日志文件的更新。例如，还对日志文件的日志记录的行号进行保存，且当判断有日志文件更新后，提取上次提取的行号之后的记录为更新部分，以重新生成一新的日志文件，并通过FTP协议传输并存储于本地。
[0030]优选的，于本实施例中，所述本地采用分布式文件系统对所述日志文件进行存储，分布式文件系统即HDFS，所述分布式文件