一种终端日志抓取方法、装置及系统的制作方法
【技术领域】
[0001]本发明涉及互联网技术领域，尤其涉及一种终端日志抓取方法、装置及系统。
【背景技术】
[0002]互联网/移动互联网领域中的各种终端软件，在运行过程中会产生日志(包括错误日志、运行日志)记录在终端。常见的日志策略是在发生错误时终端主动上报错误日志给云端供分析问题。该方法很有效，但也有一些缺点例如:I.上报信息以错误日志为主，因为运行日志信息量太大，如果全部上报的话，有效信息比例低，浪费终端流量和云端的存储空间；2.云端处于被动接收日志的状态，没法精准主动地抓取终端日志。
[0003]在实际应用中，经常发生终端遇到运行问题或者错误，需要在云端分析，但却没有相应的终端日志。在实际系统中，大多数是通过终端主动上报来实现此功能，云端只是被动地接受日志，且限于错误日志，因为如果所有终端都上报运行日志，数据总量太大而不现实，而且容易遇到需要抓取的特定终端没有上报日志到云端的情况。
[0004]为了解决上述提及的由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题，已经成为了本领域技术人员亟待解决的技术问题。
【发明内容】
[0005]本发明实施例提供的一种终端日志抓取方法、装置及系统，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
[0006]本发明实施例提供的一种终端日志抓取方法，包括:
[0007]定期进行数据库扫描，并确定所述数据库中存在有未处理的策略记录；
[0008]根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端；
[0009]获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志。
[0010]可选地，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端之前还包括:
[0011]当确定用户账号对应的业务处理异常时，将所述用户账号与当前时间记录在所述数据库中。
[0012]可选地，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端之前还包括:
[0013]将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字记录再所述数据库中。
[0014]可选地，根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端具体包括:
[0015]根据所述数据库中未处理的所述策略记录确定相对应的用户账户，并根据所述用户账户与对应的所述客户端建立TCP长连接；
[0016]将所述策略记录相对应的要求上报日志信息发送至所述客户端，所述要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字。
[0017]可选地，获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志具体包括:
[0018]获取到所述客户端根据所述要求上报日志指令、所述日志时间段及所述要求上报日志对应的所述关键字确定的所述指定日志；
[0019]将接收到的所述指定日志标记为已处理。
[0020]本发明实施例提供的一种终端日志抓取装置，包括:
[0021]日志抓取策略模块，用于定期进行数据库扫描，并确定所述数据库中存在有未处理的策略记录；
[0022]网络层模块，用于根据未处理的所述策略记录确定对应的客户端，并与所述客户端建立连接关系，并将所述策略记录相对应的要求上报日志信息发送至所述客户端；
[0023]云端日志收集模块，用于获取到所述客户端根据所述要求上报日志信息上报的与所述要求上报日志信息相对应的指定日志。
[0024]可选地，所述终端日志抓取装置还包括:
[0025]策略数据库，用于当确定用户账号对应的业务处理异常时，将所述用户账号与当前时间进行记录。
[0026]可选地，所述策略数据库，还用于将获取到的通过人工输入的用户账户、当前时间、要求上报日志对应的关键字进行记录。
[0027]可选地，网络层模块具体包括:
[0028]确定子模块，用于根据所述数据库中未处理的所述策略记录确定相对应的用户账户，并根据所述用户账户与对应的所述客户端建立TCP长连接；
[0029]发送子模块，用于将所述策略记录相对应的要求上报日志信息发送至所述客户端，所述要求上报日志信息包括要求上报日志指令、日志时间段及要求上报日志对应的关键字。
[0030]可选地，云端日志收集模块具体包括:
[0031 ]获取子模块，用于获取到所述网络层模块转发的所述客户端根据所述要求上报日志指令、所述日志时间段及所述要求上报日志对应的所述关键字确定的所述指定日志；
[0032]标记子模块，用于将接收到的所述指定日志标记为已处理。
[0033]本发明实施例提供的一种终端日志抓取系统，包括:
[0034]客户端，以及本实施例中提及的任意一种所述的终端日志抓取装置；
[0035]所述客户端与所述终端日志抓取装置建立有通信连接关系；
[0036]所述客户端，用于将所述终端日志抓取装置发送的所述要求上报日志信息相对应的指定日志。
[0037]可选地，所述客户端具体包括:
[0038]客户端网络层模块，用于获取所述终端日志抓取装置发送的根据未处理的所述策略记录相对应的要求上报日志信息，或者将所述要求上报日志信息对应的指定日志上报至所述终端日志抓取装置；
[0039]日志处理模块，用于根据所述要求上报日志信息，在本地日志文件中，查找到相对应的所述指定日志。
[0040]从以上技术方案可以看出，本发明实施例具有以下优点:
[0041 ]本发明实施例提供的一种终端日志抓取方法、装置及系统，其中，终端日志抓取方法包括:定期进行数据库扫描，并确定数据库中存在有未处理的策略记录;根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端;获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志。本实施例中，通过定期进行数据库扫描，并确定数据库中存在有未处理的策略记录，然后根据未处理的策略记录确定对应的客户端，并与客户端建立连接关系，并将策略记录相对应的要求上报日志信息发送至客户端，最后获取到客户端根据要求上报日志信息上报的与要求上报日志信息相对应的指定日志，实现了云端主动抓取终端日志的功能，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
【附图说明】
[0042]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0043]图1为本发明实施例中提供的一种终端日志抓取方法的一个实施例的流程示意图；
[0044]图2为本发明实施例中提供的一种终端日志抓取方法的另一个实施例的流程示意图；
[0045]图3为本发明实施例中提供的一种终端日志抓取方法的另一个实施例的流程示意图；
[0046]图4为本发明实施例中提供的一种终端日志抓取装置的一个实施例的结构示意图；
[0047]图5为本发明实施例中提供的一种终端日志抓取装置的另一个实施例的结构示意图；
[0048]图6为本发明实施例中提供的一种终端日志抓取系统的一个实施例的结构示意图；
[0049]图7为图2和图3所示实施例的应用例。
【具体实施方式】
[0050]本发明实施例提供的一种终端日志抓取方法、装置及系统，解决了目前由于运行日志信息量太大，以及云端被动接收日志所导致的抓取终端日志的精确性低的技术问题。
[0051]为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0052]请参阅图1，本发明实施例中提供的一种终端日志抓