一种大数据量的日志记录方法及装置制造方法
【专利摘要】本发明涉及一种大数据量的日志记录方法及装置，包括以下步骤：客户端向互联网网站发送访问请求，互联网网站根据访问请求访问数据库，得到响应信息，并将响应信息返回给客户端；互联网网站将访问请求保存成访问日志，并将访问日志发送给日志模块；日志模块对访问日志进行解析，并将解析后的访问日志保存到日志文件中；在预定的时间段内重复执行步骤1至步骤3，分别将每次接收到访问请求后得到的访问日志保存到日志文件中；导入模块将每个预定的时间段内保存于日志模块中的日志文件导入数据库。本发明能够大大地提高在大并发量大数据量的环境下日志处理的性能，降低了数据库的压力，减少了系统因日志产生的额外的性能消耗。
【专利说明】一种大数据量的日志记录方法及装置
【技术领域】
[0001]本发明涉及一种日志记录方法，特别涉及一种大数据量的日志记录方法。
【背景技术】
[0002]随着互联网的发展，许多企事业单位都拥有自己的IT网站系统。然而在网站的运营过程中，运营分析是必不可少的。分析的过程必然依赖着原始记录的日志，一旦大并发情况下，日志的处理将显得尤为重要。采用传统的过滤器拦截实时入库的日志记录方式必然会大量占用系统资源，影响系统业务的处理效率。而本发明就针对大并发时提供的高性能的记录与查询技术，最小程度地影响被监控系统本身的性能。
[0003]存在问题:在处理小并发时，代码的编写和处理过程显得过于繁琐，因而显得没必要。
【发明内容】
[0004]本发明所要解决的技术问题是提供一种能够高效的处理大并发大数据量下的对日志进行记录的大数据量的日志记录方法及装置。
[0005]本发明解决上述技术问题的技术方案如下:一种大数据量的日志记录方法，包括以下步骤:
[0006]步骤1:客户端向互联网网站发送访问请求，互联网网站根据访问请求访问数据库，得到响应信息，并将响应信息返回给客户端；
[0007]步骤2:互联网网站将访问请求保存成访问日志，并将访问日志发送给日志模块；
[0008]步骤3:日志模块对访问日志进行解析，并将解析后的访问日志保存到日志文件中；
[0009]步骤4:在预定的时间段内重复执行步骤I至步骤3，分别将每次接收到访问请求后得到的访问日志保存到日志文件中；
[0010]步骤5:导入模块将每个预定的时间段内保存于日志模块中的日志文件导入数据库。
[0011]本发明的有益效果是:本发明能够大大地提高在大并发量大数据量的环境下日志处理的性能，降低了数据库的压力，减少了系统因日志产生的额外的性能消耗。
[0012]在上述技术方案的基础上，本发明还可以做如下改进。
[0013]进一步，所述步骤I和步骤2采用异步方式同时进行。
[0014]进一步，导入模块具体为SQLLDR导入命令。
[0015]进一步，所述步骤4中预定的时间为I小时。
[0016]进一步，一种大数据量的日志记录装置，包括客户端，互联网网站，日志模块，导入模块和数据库；
[0017]所述客户端，用于向互联网网站发送访问请求，接收响应信息；
[0018]所述互联网网站，用于不断接收访问请求，根据访问请求访问数据库，得到响应信息，并将响应信息返回给客户端；将访问请求保存成访问日志，并将访问日志发送给日志模块；
[0019]所述日志模块，用于不断接收访问日志，对访问日志进行解析，并将在每个预定的时间段内、每次解析后的访问日志保存到日志模块中的日志文件中；
[0020]所述导入模块，用于将每个预定的时间段内保存于日志模块中的日志文件导入数据库；
[0021 ] 所述数据库，用于接收日志文件，并记录日志文件。
[0022]进一步，互联网网站采用异步方式同时执行根据访问请求访问数据库、得到响应信息、并将响应信息返回给客户端和将访问请求保存成访问日志，并将访问日志发送给日志模块。
[0023]进一步，导入模块具体为SQLLDR导入命令。
[0024]进一步，所述导入模块中预定的时间为I小时。
【专利附图】
【附图说明】
[0025]图1为本发明方法步骤流程图；
[0026]图2为本发明装置结构图。
[0027]附图中，各标号所代表的部件列表如下:
[0028]1、客户端，2、互联网网站，3、日志模块，4、导入模块，5、数据库。
【具体实施方式】
[0029]以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0030]如图1所示，为本发明方法步骤流程图，图2为本发明装置结构图。
[0031]实施例1
[0032]一种大数据量的日志记录方法，包括以下步骤:
[0033]步骤1:客户端I向互联网网站2发送访问请求，互联网网站2根据访问请求访问数据库5，得到响应信息，并将响应信息返回给客户端I ;
[0034]步骤2:互联网网站2将访问请求保存成访问日志，并将访问日志发送给日志模块
3；
[0035]步骤3:日志模块3对访问日志进行解析，并将解析后的访问日志保存到日志文件中；
[0036]步骤4:在预定的时间段内重复执行步骤I至步骤3，分别将每次接收到访问请求后得到的访问日志保存到日志文件中；
[0037]步骤5:导入模块4将每个预定的时间段内保存于日志模块中的日志文件导入数据库5。
[0038]所述步骤I和步骤2采用异步方式同时进行。导入模块4具体为SQLLDR导入命令。所述步骤4中预定的时间为I小时。
[0039]一种大数据量的日志记录装置，包括客户端1，互联网网站2，日志模块3，导入模块4和数据库5 ；[0040]所述客户端1，用于向互联网网站2发送访问请求，接收响应信息，
[0041]所述互联网网站2，用于不断接收访问请求，根据访问请求访问数据库5，得到响应信息，并将响应信息返回给客户端I ;将访问请求保存成访问日志，并将访问日志发送给日志模块3 ；
[0042]所述日志模块3，用于不断接收访问日志，对访问日志进行解析，并将在每个预定的时间段内、每次解析后的访问日志保存到日志模块3中的日志文件中；
[0043]所述导入模块4，用于将每个预定的时间段内保存于日志模块3中的日志文件导入数据库5 ；
[0044]所述数据库5，用于接收日志文件，并记录日志文件。
[0045]互联网网站2采用异步方式同时执行根据访问请求访问数据库5、得到响应信息、并将响应信息返回给客户端I和将访问请求保存成访问日志，并将访问日志发送给日志模块3。
[0046]导入模块4具体为SQLLDR导入命令。所述导入模块4中预定的时间为I小时。
[0047]以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种大数据量的日志记录方法，其特征在于，包括以下步骤: 步骤1:客户端(I)向互联网网站(2)发送访问请求，互联网网站(2)根据访问请求访问数据库(5)，得到响应信息，并将响应信息返回给客户端(I)； 步骤2:互联网网站(2)将访问请求保存成访问日志，并将访问日志发送给日志模块(3)； 步骤3:日志模块(3)对访问日志进行解析，并将解析后的访问日志保存到日志文件中； 步骤4:在预定的时间段内重复执行步骤I至步骤3，分别将每次接收到访问请求后得到的访问日志保存到日志文件中； 步骤5:导入模块(4)将每个预定的时间段内保存于日志模块中的日志文件导入数据库(5)。
2.根据权利要求1所述的日志记录与查询方法，其特征在于:所述步骤I和步骤2采用异步方式同时进行。
3.根据权利要求2所述的日志记录与查询方法，其特征在于:导入模块(4)具体为SQLLDR导入命令。
4.根据权利要求3所述的日志记录与查询方法，其特征在于:所述步骤4中预定的时间为I小时。
5.一种大数据量的日志记录装置，其特征在于:包括客户端(1)，互联网网站(2)，日志模块(3)，导入模块(4)和数据库(5); 所述客户端(1)，用于向互联网网站(2)发送访问请求，接收响应信息， 所述互联网网站(2)，用于不断接收访问请求，根据访问请求访问数据库(5)，得到响应信息，并将响应信息返回给客户端(I);将访问请求保存成访问日志，并将访问日志发送给日志模块(3)； 所述日志模块(3 )，用于不断接收访问日志，对访问日志进行解析，并将在每个预定的时间段内、每次解析后的访问日志保存到日志模块(3)中的日志文件中； 所述导入模块(4)，用于将每个预定的时间段内保存于日志模块(3)中的日志文件导入数据库(5)； 所述数据库(5)，用于接收日志文件，并记录日志文件。
6.根据权利要求5所述的大数据量的日志记录装置，其特征在于:互联网网站(2)采用异步方式同时执行根据访问请求访问数据库(5)、得到响应信息、并将响应信息返回给客户端(I)和将访问请求保存成访问日志,并将访问日志发送给日志模块(3 )。
7.根据权利要求2所述的日志记录与查询方法，其特征在于:导入模块(4)具体为SQLLDR导入命令。
8.根据权利要求3所述的日志记录与查询方法，其特征在于:所述导入模块(4)中预定的时间为I小时。
【文档编号】H04L12/24GK103475519SQ201310407729
【公开日】2013年12月25日 申请日期:2013年9月9日 优先权日:2013年9月9日
【发明者】陆洋智 申请人:北京思特奇信息技术股份有限公司