专利名称：一种日志缓存系统及方法
技术领域：
本发明涉及计算机网络领域，尤其涉及一种日志缓存系统及方法。
背景技术：
传统的日志回收系统就是将不同客户端提交的日志进行接收、汇总和保存。而且提高服务器性能的所做的各种优化也是在日志回收服务器本身上做。因此这种单一型的日志回收系统具有一定的局限性。例如，当提交日志的客户端较多，且每台客户端每秒钟可能会发送多条日志信息时，日志回收系统每秒钟都需要接收大量的日志信息，日志回收服务器的网络带宽会被大量数据包所阻塞，而且日志回收服务器每秒钟能接收的日志总数是有上限的，当收到的日志数量超过或者远超过上限时，很容易造成日志信息丢失，甚至导致日志回收系统无法正常工作甚至瘫痪；传统的日志回收服务器会将最新日志、无效日志和超时日志都依次处理了，因为只有最新日志具有意义，无效日志和超时日志都没有了处理价值，造成了不必要的服务器资源浪费，同时处理大量的无效数据也降低了日志回收服务器的处理性能。
发明内容
本发明提供了一种日志缓存系统及方法，可以有效解决上述所提出的问题，具体发明如下
一种日志缓存系统，包括
接收模块，用于接收客户端提交的日志信息，其中，所述的日志信息包括日志标识码、 日志类型，日志提交时间和日志内容；
配置模块，根据日志类型生成日志配置信息，其中，所述的日志配置信息包括日志需要更新的标识，日志的有效时长，日志队列打包发送长度；
存储模块，用于根据日志类型把缓存按队列形式分配并把日志信息数据进行存储形成日志信息缓存队列；
打包模块，用于实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数
据；
回收服务器，用于接收打包日志信息数据。所述的接收模块包括
第一读取单元，从配置模块中读取接收的日志信息中日志类型的日志配置信息；
判断单元，根据所读取日志需要更新的标识判断接收的日志信息是否有需要更新到缓存队列中；
如果日志信息需要更新到缓存队列中，则根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；
如果检索出有需要更新的日志标识码，则将接收的日志信息与原日志信息进行替换， 如果没有检索出有需要更新的日志标识码，则直接将接收的日志信息保存到缓存队列的末
4端;
如果日志信息不需要更新，则根据日志类型将接收日志信息保存到缓存队列末端。所述的打包模块包括
第二读取单元，根据日志类型从配置模块中读取所有类型的日志配置信息；
循环处理单元，根据第二读取单元读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息。所述的根据第二读取单元读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息包括
判断缓存队列的日志信息的数据量是否超出预设值，
如果超出预设值，则根据日志地址、日志提交时间及日志的有效时长确定日志是否超时，如果日志没有超时，则将日志从缓存队列中按照预设值数据量取出日志信息数据进行打包并发送到回收服务器，否则将超时的日志丢弃；
如果没超出预设值，则直接将打包的日志信息数据发送到回收服务器。一种日志缓存的方法，适用于所述的一种日志缓存系统，包括
接收客户端提交的日志信息，其中，所述的日志信息包括日志标识码、日志类型，日志提交时间和日志内容；
根据日志类型生成日志配置信息，其中，所述的日志配置信息包括日志需要更新的标识，日志的有效时长，日志队列打包发送长度
根据日志类型把缓存按队列形式分配并把日志信息数据进行存储形成日志信息缓存队列；
实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据；
将打包日志信息数据发送到回收系统服务器上。所述的接收客户端提交的日志信息包括
从配置模块中读取接收的日志信息中日志类型的日志配置信息；
根据所读取日志需要更新的标识判断接收的日志信息是否有需要更新到缓存队列
中；
如果日志信息需要更新到缓存队列中，则根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；
如果检索出有需要更新的日志标识码，则将接收的日志信息与原日志信息进行替换， 如果没有检索出有需要更新的日志标识码，则直接将接收的日志信息保存到缓存队列的末端;
如果日志信息不需要更新，则根据日志类型将接收日志信息保存到缓存队列末端。所述的实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据包括
根据日志类型从配置模块中读取所有类型的日志配置信息；
根据读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息。所述的根据读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息包括判断缓存队列的日志信息的数据量是否超出预设值，
如果超出预设值，则根据日志地址、日志提交时间及日志的有效时长确定日志是否超时，如果日志没有超时，则将日志从缓存队列中按照预设值数据量取出日志信息数据进行打包并发送到回收服务器，否则将超时的日志丢弃；
如果没超出预设值，则直接将打包的日志信息数据发送到回收服务器。本发明所提出的一种日志缓存系统及方法，其中所提出的一种日志缓存系统由接收模块、配置模块、存储模块、打包模块、回收系统服务器组成，通过接收客户端日志信息的数据并设置相应的配置信息，进行分析判断后发送给打包模块进行打包确认，最终发送到回收服务器；而所提出的适用此系统的方法则通过对接收客户端日志信息，然后进行根据配置信息将缓存队列日志打包一起发送给日志回收服务器；通过上述所提出的系统及方法可以有效提高网络宽带速度、减少了日志丢失同时也提高了日志回收服务器的处理性能。
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图I为一种日志缓存系统结构图2为一种日志缓存的方法流程图3为一种日志缓存的方法中日志信息处理方法流程图4为一种日志缓存的方法中打包日志方法流程图5为一种日志缓存的方法中向回收服务器发送日志的方法流程图。
具体实施例方式为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明。一种日志缓存系统，如图I所示，包括
101接收模块，用于接收客户端提交的日志信息，其中，所述的日志信息包括日志标识码、日志类型，日志提交时间和日志内容；
102配置模块，根据日志类型生成日志配置信息，其中，所述的日志配置信息包括日志需要更新的标识，日志的有效时长，日志队列打包发送长度；
103存储模块，用于根据日志类型把缓存按队列形式分配并把日志信息数据进行存储形成日志信息缓存队列；
104打包模块，用于实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据；
105回收服务器，用于接收打包日志信息数据。所述的接收模块101，包括
101-1第一读取单元，从配置模块102中读取接收的日志信息中日志类型的日志配置信息；
101-2判断单元，根据所读取日志需要更新的标识判断接收的日志信息是否有需要更新到缓存队列中；
如果日志信息需要更新到缓存队列中，则根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；
如果检索出有需要更新的日志标识码，则将接收的日志信息与原日志信息进行替换， 如果没有检索出有需要更新的日志标识码，则直接将接收的日志信息保存到缓存队列的末端;
如果日志信息不需要更新，则根据日志类型将接收日志信息保存到缓存队列末端。所述的打包模块104包括
104-1第二读取单元，根据日志类型从配置模块102中读取所有类型的日志配置信息； 104-2循环处理单元，根据第二读取单元读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息。所述的根据第二读取单元读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息包括
判断缓存队列的日志信息的数据量是否超出预设值，
如果超出预设值，则根据日志地址、日志提交时间及日志的有效时长确定日志是否超时，如果日志超时，则将超时的日志丢弃，否则将日志从缓存队列中按照预设值数据量取出日志信息数据进行打包并发送到回收服务器，
如果没超出预设值，则直接将打包的日志信息数据发送到回收服务器105。一种日志缓存的方法，适用于所述的一种日志缓存系统，如图2所示，包括
S201接收客户端提交的日志信息，其中，所述的日志信息包括日志标识码、日志类
型，日志提交时间和日志内容；
S202根据日志类型生成日志配置信息，其中，所述的日志配置信息包括日志需要更新的标识，日志的有效时长，日志队列打包发送长度
S203根据日志类型把缓存按队列形式分配并把日志信息数据进行存储形成日志信息缓存队列；
S204实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据；
S205将打包日志信息数据发送到回收服务器。所述的接收客户端提交的日志信息，如图3所示，包括
S301从配置模块中读取接收的日志信息中日志类型的日志配置信息；
S302根据所读取日志需要更新的标识判断接收的日志信息是否有需要更新到缓存队列中；
如果日志信息需要更新到缓存队列中，则执行步骤S303根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；
如果检索出有需要更新的日志标识码，则执行步骤S304将接收的日志信息与原日志信息进行替换，如果没有检索出有需要更新的日志标识码，则步骤S305直接将接收的日志信息保存到缓存队列的末端；
如果日志信息不需要更新，则步骤S305根据日志类型将接收日志信息保存到缓存队列末端。S303根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；
S304将接收的日志信息与原日志信息进行替换；
S305根据日志类型将接收日志信息保存到缓存队列末端。所述的实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据， 如图4所示,包括
S401根据日志类型从配置模块中读取所有类型的日志配置信息；
S402根据读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息。所述的根据读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息，如图5所不,包括
S501循环处理开始；
S502判断缓存队列的日志信息的数据量是否超出预设值，
如果超出预设值，则执行步骤S503根据日志地址、日志提交时间及日志的有效时长确定日志是否超时，如果日志没有超时，则执行步骤S504将日志从缓存队列中按照预设值数据量取出日志信息数据进行打包并发送到回收服务器，否则执行步骤S505将超时的日志丢弃；
如果没超出预设值，则执行S506将打包的日志信息数据发送到回收服务器；
S503根据日志地址、日志提交时间及日志的有效时长确定日志是否超时；
S504将日志从缓存队列中按照预设值数据量取出日志信息数据进行打包；
S505将超时的日志丢弃；
S506将打包的日志信息数据发送到回收服务器。本发明提出一种日志缓存系统及方法，所提出的系统由接模块接收客户端日志信息数据并通过配置模块进行相应的信息配置与对存储模块中的建立的缓存队列进行判断， 然后发送给打包模块；打包模对需要更新的日志信息进行再次判断后进行打包处理，最终发送向回收服务器；又提出了适合此系统的方法，通过对接收客户端日志信息，然后进行根据配置信息将缓存队列日志打包一起发送给日志回收服务器；通过上述所提出的系统及方法可以有效提高网络宽带速度、减少了日志丢失同时也提高了日志回收服务器的处理性倉泛。虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。
权利要求
1.一种日志缓存系统，包括接收模块，用于接收客户端提交的日志信息，其中，所述的日志信息包括日志标识码、 日志类型，日志提交时间和日志内容；配置模块，根据日志类型生成日志配置信息，其中，所述的日志配置信息包括日志需要更新的标识，日志的有效时长，日志队列打包发送长度；存储模块，用于根据日志类型把缓存按队列形式分配并把日志信息数据进行存储形成日志信息缓存队列；打包模块，用于实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据；回收服务器，用于接收打包日志信息数据。
2.如权利要求I所述的系统，其特征在于，所述的接收模块包括第一读取单元，从配置模块中读取接收的日志信息中日志类型的日志配置信息；判断单元，根据所读取日志需要更新的标识判断接收的日志信息是否有需要更新到缓存队列中；如果日志信息需要更新到缓存队列中，则根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；如果检索出有需要更新的日志标识码，则将接收的日志信息与原日志信息进行替换， 如果没有检索出有需要更新的日志标识码，则直接将接收的日志信息保存到缓存队列的末端;如果日志信息不需要更新，则根据日志类型将接收日志信息保存到缓存队列末端。
3.如权利要求I所述的系统，其特征在于，所述的打包模块包括第二读取单元，根据日志类型从配置模块中读取所有类型的日志配置信息；循环处理单元，根据第二读取单元读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息。
4.如权利要求3所述的系统，其特征在于，所述的根据第二读取单元读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息包括判断缓存队列的日志信息的数据量是否超出预设值，如果超出预设值，则根据日志地址、日志提交时间及日志的有效时长确定日志是否超时，如果日志没有超时，则将日志从缓存队列中按照预设值数据量取出日志信息数据进行打包并发送到回收服务器，否则将超时的日志丢弃；如果没超出预设值，则直接将打包的日志信息数据发送到回收服务器。
5.—种日志缓存的方法，适用于所述的一种日志缓存系统，包括接收客户端提交的日志信息，其中，所述的日志信息包括日志标识码、日志类型，日志提交时间和日志内容；根据日志类型生成日志配置信息，其中，所述的日志配置信息包括日志需要更新的标识，日志的有效时长，日志队列打包发送长度根据日志类型把缓存按队列形式分配并把日志信息数据进行存储形成日志信息缓存队列；实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据；将打包日志信息数据发送到回收服务器上。
6.如权利要求5所述的方法，其特征在于，所述的接收客户端提交的日志信息包括从配置模块中读取接收的日志信息中日志类型的日志配置信息；根据所读取日志需要更新的标识判断接收的日志信息是否有需要更新到缓存队列中；如果日志信息需要更新到缓存队列中，则根据日志需要更新的标识在对应日志类型的缓存队列中依次检索出需要更新的日志标识码；如果检索出有需要更新的日志标识码，则将接收的日志信息与原日志信息进行替换， 如果没有检索出有需要更新的日志标识码，则直接将接收的日志信息保存到缓存队列的末端;如果日志信息不需要更新，则根据日志类型将接收日志信息保存到缓存队列末端。
7.如权利要求5所述的方法，其特征在于，所述的实时监控缓存队列的数据量长度并根据日志配置信息打包日志信息数据包括根据日志类型从配置模块中读取所有类型的日志配置信息；根据读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息。
8.如权利要求7所述的方法，其特征在于，所述的根据读取的日志的有效时长及日志队列打包发送长度循环处理所有类型的日志信息并打包日志信息包括判断缓存队列的日志信息的数据量是否超出预设值，如果超出预设值，则根据日志地址、日志提交时间及日志的有效时长确定日志是否超时，如果日志没有超时，则将日志从缓存队列中按照预设值数据量取出日志信息数据进行打包并发送到回收服务器，否则将超时的日志丢弃；如果没超出预设值，则直接将打包的日志信息数据发送到回收服务器。
全文摘要
本发明提出一种日志缓存系统及方法，所提出的系统由接模块接收客户端日志信息数据并通过配置模块进行相应的信息配置与对存储模块中的建立的缓存队列进行判断，然后发送给打包模块；打包模对需要更新的日志信息进行再次判断后进行打包处理，最终发送向回收服务器；又提出了适合此系统的方法，通过对接收客户端日志信息，然后进行根据配置信息将缓存队列日志打包一起发送给日志回收系统；通过上述所提出的系统及方法可以有效提高网络宽带速度、减少了日志丢失同时也提高了日志回收服务器的处理性能。
文档编号H04L29/06GK102611611SQ20111041287
公开日2012年7月25日 申请日期2011年12月13日 优先权日2011年12月13日
发明者孙晋超, 杨祖明, 王亮 申请人:北京安天电子设备有限公司