一种用于大数据日志分析的处理方法
【专利摘要】本发明公开了一种用于大数据日志分析的处理方法，它包括1用户通过前台页面输入用户标示、业务标示、查询时间点和扩展时间段；2后台系统获取前台页面输入参数信息，以固定的时间间隔为单位分解任务；3将分解后的各个任务与数据库中存储的已完成的任务比对，过滤出已完成的任务；4将比对后未完成的任务通过服务器端下发至各个客户端；5各个客户端接收到任务后，启动查询程序，并将查询结果数据上报到缓存；6所有查询任务完成，将查询结果数据送至前台页面供用户读取；解决了广电业务系统数据日志分析采用传统的数据分析不具备通用性且可能出现比较复杂的算法，并且每次分析结果不能为后期分析提供可用的数据等问题。
【专利说明】—种用于大数据日志分析的处理方法
【技术领域】
[0001]本发明属于广电业务监控系统技术，尤其涉及一种用于大数据日志分析的处理方法。
【背景技术】
[0002]随着广电业务系统用户数量的急剧增加，系统出现错误和定位错误越来越复杂，常规定位错误一般是通过分析错误日志去定位，一般是根据用户投诉发生问题的时间，然后从海量的日志文件中找到日志文件，然后再从日志文件中找到投诉用户出现问题的异常日志，但是由于用户多、并发大，系统每时每刻都生成大量的日志，给问题的定位和修复带来了很大的困难，传统的数据分析一般针对特定的数据结构通过特定的算法优化从而达到加快效率的目的，不具备通用性且可能出现比较复杂的算法，并且每次分析结果不能为后期分析提供可用的数据，同时处理效率低等。
【发明内容】
[0003]本发明要解决的技术问题:提供一种用于大数据日志分析的处理方法，以解决广电业务系统数据日志分析采用传统的数据分析一般针对特定的数据结构通过特定的算法优化从而达到加快效率的目的，不具备通用性且可能出现比较复杂的算法，并且每次分析结果不能为后期分析提供可用的数据且查询处理效率低等问题。
[0004]本发明技术方案:
一种用于大数据日志分析的处理方法，它包括下述步骤:
步骤1、用户通过前台页面输入用户标示、业务标示、查询时间点和扩展时间段；
步骤2、后台系统获取前台页面输入参数信息，以固定的时间间隔为单位分解任务； 步骤3、将分解后的各个任务与数据库中存储的已完成的任务比对，过滤出已完成的任
务;
步骤4、将比对后未完成的任务通过服务器端下发至各个客户端；
步骤5、各个客户端接收到任务后，启动查询程序，并将查询结果数据上传到缓存，并且通知服务器端相应任务已经完成；
步骤6、所有查询任务完成后，服务器端从缓存获取查询结果数据送至数据库，并查询结果数据送至前台页面供用户读取。
[0005]步骤2所述的以固定的时间间隔，其时间间隔为20分钟。
[0006]步骤5中上报到缓存的查询结果数据在所有查询任务完成后，统一送至服务器端存储。
[0007]本发明的有益效果:
通过本发明，以时间为单位进行任务切分，进行比对后下发到各个客户端Agent通过多线程分析日志，加快日志分析效率；通过任务切分，缩短每一个任务的时间周期，提高成功率，分析完成的数据可为下次分析提供可用数据，任务切分时间间隔设为20分钟，是考虑到客户发现故障后，上报故障的反应时间一般在20分钟左右，因此时间间隔设为20分钟，以提高查询效率，减少客户等待时间，缓冲中的结果数据在所有查询任务完成后统一送至服务器，是为了减少服务器的负担，加快处理过程中的处理效率；本发明解决了广电业务系统数据日志分析采用传统的数据分析一般针对特定的数据结构通过特定的算法优化从而达到加快效率的目的，不具备通用性且可能出现比较复杂的算法，并且每次分析结果不能为后期分析提供可用数据及查询处理效率低等问题。
[0008]【具体实施方式】:
一种用于大数据日志分析的处理方法，它包括下述步骤:
步骤1、用户通过前台页面输入用户标示、业务标示、查询时间点和扩展时间段；一般是以时间点及扩展时间段的分钟数是3个整数为可选值:20分钟、40分钟、I小时，秒数为0，这主要是考虑到收视端用户发现故障后，上报故障的反应时间。
[0009]步骤2、后台系统获取前台页面输入参数信息，以固定的时间间隔为单位分解任务；其时间间隔为20分钟最优,也可随意设置时间间隔。
[0010]步骤3、后台系统将分解后的各个任务与数据库中存储的已完成的任务比对，过滤出已完成的任务；已经完成的任务不需要重复查询，直接输出存储在服务器中的结果即可。
[0011]步骤4、将比对后未完成的任务通过服务器端下发至各个客户端；
步骤5、各个客户端接收到任务后，启动查询程序，并将查询结果数据上报到缓存，进行暂存，并通知服务器该任务已经完成；
步骤6、通过心跳判断，当所有查询任务完成后，服务器端从缓存获取查询结果数据送至数据库，并查询结果数据送至前台页面供用户读取。
【权利要求】
1.一种用于大数据日志分析的处理方法，它包括下述步骤: 步骤1、用户通过前台页面输入用户标示、业务标示、查询时间点和扩展时间段； 步骤2、后台系统获取前台页面输入参数信息，以固定的时间间隔为单位分解任务； 步骤3、将分解后的各个任务与数据库中存储的已完成的任务比对，过滤出已完成的任务; 步骤4、将比对后未完成的任务通过服务器端下发至各个客户端； 步骤5、各个客户端接收到任务后，启动查询程序，并将查询结果数据上传到缓存，并且通知服务器端相应任务已经完成； 步骤6、所有查询任务完成后，服务器端从缓存获取查询结果数据送至数据库，并查询结果数据送至前台页面供用户读取。
2.根据权利要求1所述的一种用于大数据日志分析的处理方法，其特征在于:步骤2所述的以固定的时间间隔，其时间间隔为20分钟。
3.根据权利要求1所述的一种用于大数据日志分析的处理方法，其特征在于:步骤5中上报到缓存的查询结果数据在所有查询任务完成后，统一送至服务器端存储。
【文档编号】G06F17/30GK103488774SQ201310453556
【公开日】2014年1月1日 申请日期:2013年9月29日 优先权日:2013年9月29日
【发明者】曾敬鸿, 邓翔宇 申请人:贵州省广播电视信息网络股份有限公司