用户日志收集和处理系统以及方法
【技术领域】
[0001]本发明属于信息技术领域，具体涉及用户日志收集和处理系统以及方法。
【背景技术】
[0002]在系统运行过程中产生日志文件，可以记录系统的运行状况和用户的操作行为，当系统运行缓慢或者异常退出时，可以通过查看日志文件，快速定位问题、修复缺陷，使系统恢复正常运行。并且随着互联网技术的发展，用户日志也成了一个非常重要的信息。
[0003]例如，一些大型电子商务网站或者社交网站，可以通过对用户日志的挖掘，通过用户日志找出用户的潜在访问模式，从而设计出更便于用户访问的网页组织模式;然而如何在这些海量的日志中挖掘出对企业有用的信息，并以此作出决策是一项任务庞大而又重要的工作。因为，用户日志是由众多用户生成的，用户日志具有数据源多样性、海量性、传输条件不确定性等特点。
[0004]因此，对用户日志进行分析、存储和管理需要配置很高的硬件和技术，随着互联网技术的发展，现在技术领域中，分布式存储和计算已经成为一种流行的用户日志收集和处理方法，但是这种用户日志收集和处理方法即使将数据分类存储，需要存储的数据也还是较为庞大，数据量庞大不但对数据库造成较大的压力，而且读取操作也费时间。
【发明内容】
[0005]为解决上述技术问题，本发明提供了一种用户日志收集和处理系统以及方法，该系统对所有用户日志进行缓冲、暂存再存储，通过该系统可以延迟存储用户日志，并且将有用的用户日志存储起来，解决了数据库的压力。
[0006]为达到上述目的，本发明的技术方案如下:
[0007]—种用户日志收集和处理系统，其包括:用户日志采集客户端、用户日志管理服务器和用户日志管理页面，所述用户日志采集客户端对若干用户端不同应用的日志进行采集;所述用户日志管理服务器接收所述用户日志采集客户端发送的日志数据，并进行标记、缓存、分析、筛选、存储、存档处理;所述用户日志管理页面提供与用户交互的界面，在所述界面中用户可以查找日志，并且可以对所述用户日志采集客户端和所述用户日志管理服务器进行系统配置和维护，分析用户的操作行为；
[0008]所述用户日志管理服务器包括:
[0009]触发器，所述触发器触发来自所述用户日志采集客户端的日志数据的日志点；
[0010]标记模块，所述标记模块对所述日志数据进行标记；
[0011 ]暂存盘，所述暂存盘将标记后的所述日志数据暂时存储；
[0012]扫描模块，所述扫描模块中的扫描程序对所述暂存盘中暂时存储的日志数据进行扫描；
[0013]分析模块，所述分析模块分析所述扫描模块扫描后的日志数据；
[0014]筛选模块，所述筛选模块将经过所述分析模块分析后的日志数据进行筛选，筛选出有用的日志数据和暂时没用的日志数据；
[0015]数据库，所述数据库用于存储有用的日志数据。
[0016]在本发明的一个较佳实施例中，进一步包括，所述用户日志采集客户端可根据自定义日志格式、日志类型、日志内容、不同的应用、不同内容不同格式或者其它关键字，有选择地采集日志数据。
[0017]在本发明的一个较佳实施例中，进一步包括，所述用户日志管理页面供管理员、普通用户使用。
[0018]在本发明的一个较佳实施例中，进一步包括，一种用户日志收集和处理方法，
[0019]步骤一、用户在所述用户日志采集客户端产生一个操作行为，操作行为触发所述触发器，从而触发了所述用户日志管理服务器的日志点；
[0020]步骤二、日志数据在所述用户日志管理服务器中缓冲，所述标记模块对所述日志数据进行标记；
[0021 ]步骤三、标记后的日志数据暂时存储在所述暂存盘中；
[0022]步骤四、所述扫描模块中的扫描程序对暂存后的所述日志数据进行扫描；
[0023]步骤五、所述分析模块对经过扫描后的所述日志数据进行分析，然后通过所述筛选模块进行筛选，筛选出有用的日志数据；
[0024]步骤六、筛选出来的有用的日志数据存储到所述数据库中，将暂时没用的日志数据存档；
[0025]步骤七、所述用户日志管理服务器中的扫描模块定时对存档的数据扫描，重复所述步骤四到步骤六的步骤。
[0026]在本发明的一个较佳实施例中，进一步包括，所述数据库中还存储一些不需要显示在所述用户日志管理页面中，但是后续分析需要的数据内容。
[0027]在本发明的一个较佳实施例中，进一步包括，步骤五中所述筛选模块完成对日志数据的筛选后间隔I Os循环进行步骤四。
[0028]在本发明的一个较佳实施例中，进一步包括，步骤五中所述筛选模块的筛选方式包括:对用户日志格式的筛选或对业务内容的筛选，其中，所述对用户日志格式的筛选包括:对应不同的应用、不同业务内容对应的不同格式。
[0029]在本发明的一个较佳实施例中，进一步包括，步骤二中所述标记模块对日志数据进行标记，后续具有相同标记的日志数据则无需存储在所述数据库中。
[0030]本发明的有益效果是:
[0031]本发明的系统对所有用户日志进行缓冲、暂存再存储，通过该系统可以延迟存储用户日志，并且将有用的用户日志存储起来，解决了数据库的压力。
【附图说明】
[0032]为了更清楚地说明本发明实施例技术中的技术方案，下面将对实施例技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本发明的系统框图。
[0034]图2为本发明的方法流程图。
【具体实施方式】
[0035]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]实施例
[0037]如图1所示，本实施例中公开了一种用户日志收集和处理系统，其包括:用户日志采集客户端、用户日志管理服务器和用户日志管理页面。
[0038]其中，上述用户日志采集客户端对若干用户端不同应用的日志进行采集，上述用户日志采集客户端包括若干个用户端，上述用户日志采集客户端可根据自定义日志格式、日志类型、日志内容、不同的应用、不同内容不同格式或者其它关键字，有选择地采集日志数据。
[0039]上述用户日志管理服务器接收上述用户日志采集客户端发送的日志数据，并进行标记、缓存、分析、筛选、存储、存档处理;上述用户日志管理页面提供与用户交互的界面，在上述界面中用户可以查找日志，并且可以对上述用户日志采集客户端和上述用户日志管理服务器进行系统配置和维护，分析用户的操作行为;上述用户日志管理页面可以供管理员、普通用户使