本发明涉及电子技术领域，尤其涉及一种日志数据处理方法及装置。
背景技术：
为了挖掘数据价值，目前it(informationtechnology，信息技术)领域基于日志数据分析各种产品和平台非常丰富，从it到dt(datatechnology，数据处理)时代的变迁让数据分析逐渐成为主流，应用场景包括用户行为分析、安全入侵分析、交通流量预测、物联网、购物推荐系统等等，这类业务首先基于大数据平台的日志数据打点输出，其次收集日志数据，然后存储日志数据，最后分析大数据的模型逐渐成为事实标准。
在现有技术方案中，日志数据分析流程如下，第一，应用日志打点和生成日志；第二，分布式并行抓取日志数据；第三，传输日志数据集成存储汇总；第四，日志数据分析；第五，界面呈现分析和统计结果。另外，为了平衡应用性能和日志打点的性能损耗，可以配置高性能cpu(centralprocessingunit，中央处理器)来处理业务高峰时期的大量日志打点，或者在应用服务上开启采样开关减少日志输出。但是，上述方案仍然存在如下缺点：第一，应用服务器产生大量日志数据(日志打点)，同时日志数据经过网络传输到数据平台，将严重消耗应用节点的cpu性能(日志输出量和cpu消耗成正比)，虽然配置高性能的cpu可以解决上述问题，但是在业务低谷时cpu基本空闲，严重浪费资源；第二，应用服务器输出的日志数据包含大量无用信息，占用大量存储空间；第三，虽然开启采样开关可以减少日志输出，但是日志数据的不完整影响数据分析结果准确性。
技术实现要素：
本发明实施例提供一种日志数据处理方法及装置。可以解决现有技术方案中日志数据分析效率低和准确性低的技术问题。
第一方面，本申请提供了一种日志数据处理方法，包括：
首先从应用服务器获取应用运行的业务日志数据，并从数据平台获取接口排序数据，其中，接口排序数据包括多种日志处理方式中每种日志处理方式的调用次数；然后根据每种日志处理方式的调用次数，从多种日志处理方式中选取目标日志处理方式；最后使用目标日志处理方式对业务日志数据进行处理，通过获取数据平台统计的分析热点需求来确定日志处理方式，在对日志数据分析之前采用确定的日志处理方式对日志数据进行预处理，减少业务日志数据的数量，进而提高日志数据分析效率和日志分析的准确性。
在另一种可能的设计中，所述多种日志处理方式至少包括保留所述业务日志数据中日志分析阶段需要的字段、对所述业务日志数据中与预设关键字匹配的内容进行计数、在预设时间范围内对所述业务日志数据中的相同内容进行计数和时间戳标注、以及建立所述业务日志数据中的指定字段的索引，按照上述方式对大量的业务日志数据进行预处理，可以减少日志数据输出，加快日志数据索引速度。
在另一种可能的设计中，可以根据所述每种日志处理方式的调用次数，确定所述每种日志处理方式的优先级；从所述多种日志处理方式中选取所述优先级最高的日志处理方式作为所述目标日志处理方式，从而通过感知数据平台的分析热点需求来选取日志处理方式，满足日志数据分析的实时性。
在另一种可能的设计中，在从应用服务器获取应用运行的业务日志数据之后，可以确定所述业务日志数据的读写操作方式；当所述业务日志数据的读写操作方式为数据写入操作时，执行所述从数据平台获取接口排序数据的操作步骤；当所述业务日志数据的读写操作方式为数据读取操作时，不再执行以下操作步骤。
在另一种可能的设计中，将经过处理的所述业务日志数据存储到所述数据平台，从而节省应用服务器的本地日志存储空间，同时解决了本地日志存储和传输消耗cpu的问题。
第二方面，本申请提供了一种日志数据处理装置，该日志数据处理装置被配置为实现上述第一方面中日志数据处理装置所执行的方法和功能，由硬件/软件实现，其硬件/软件包括与上述功能相应的单元。
第三方面，本申请提供了一种日志数据处理设备，包括：处理器、存储器和通信总线，其中，所述通信总线用于实现所述处理器和存储器之间连接通信，处理器执行所述存储器中存储的程序用于实现上述第一方面提供的日志数据处理的处理方法中的步骤。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种日志处理系统的结构示意图；
图2是本发明提出的一种日志处理方法的第一实施例的流程示意图；
图3是本发明提出的一种日志处理方法的第二实施例的流程示意图；
图4是本发明实施例提供的一种日志处理装置的结构示意图；
图5是本发明实施例提供的一种日志处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1是本发明实施例提供的一种日志处理系统的结构示意图。如图所示，本发明实施例中的系统包括应用服务器、协处理器和数据平台，其中，应用服务器可以包括业务模块和日志模块，业务模块用于执行各种业务逻辑，日志模块用于在业务模块执行业务逻辑时打印日志数据；协处理器，如arm64(advancedriscmachines，risc微处理器)或fpga(fieldprogrammablegatearray，现场可编程逻辑门阵列)，可以包括日志直通模块、日志预处理模块和接口排序模块，接口排序模块用于从数据平台获取接口排序数据，并将接口排序数据传输到日志预处理模块，日志预处理模块用于根据接口排序数据选取日志处理方式，并使用选取的日志处理方式对日志数据进行预处理，日志直通模块用于将经过预处理的日志数据传输到数据平台；数据平台可以包括日志存储模块和日志分析模块，日志存储模块用于存储经过预处理后的业务日志数据，日志分析模块用于统计协处理器所使用的日志处理方式的调用数据。
请继续参考图2，图2是本发明提出的一种日志处理方法的第一实施例的流程示意图。本发明实施例的执行主体为协处理器，如图所示，本发明实施例中的方法包括：
s201，从应用服务器获取应用运行的业务日志数据，并从数据平台获取接口排序数据，所述接口排序数据包括多种日志处理方式中每种日志处理方式的调用次数。
具体实现中，接口排序数据为与数据平台关联的所有处理器处理业务日志数据所采用的日志处理方式的调用次数，在应用服务器接收到业务请求之后，应用服务器运行各种应用并打印业务日志数据，并将业务日志数据输出到协处理器；数据平台存储有大量处理器处理业务日志数据所采用的日志处理方式的调用次数，在协处理器获取到应用服务器传输的业务日志数据之后，可以从数据平台获取这些统计数据。
可选的，在从应用服务器获取应用运行的业务日志数据之后，可以确定所述业务日志数据的读写操作方式；当所述业务日志数据的读写操作方式为数据写入操作时，执行所述从数据平台获取接口排序数据的操作步骤；当所述业务日志数据的读写操作方式为数据读取操作时，不再执行以下操作步骤。
s202，根据所述每种日志处理方式的调用次数，从所述多种日志处理方式中选取目标日志处理方式。
具体实现中，可以根据所述每种日志处理方式的调用次数，确定所述每种日志处理方式的优先级；从所述多种日志处理方式中选取所述优先级最高的日志处理方式作为所述目标日志处理方式。进一步的，如果某种日志处理方式的调用次数最多，可以将该日志处理方式的优先级设置为最高优先级，从而通过感知数据平台的分析热点需求来选取日志处理方式，满足日志数据分析的实时性。
可选的，可以对多种日志处理方式的优先级进行排序，从所述多种日志处理方式选取优先级排在前n位的日志处理方式，其中，n为大于等于1的整数。
s203，使用所述目标日志处理方式对所述业务日志数据进行处理。
具体实现中，所述多种日志处理方式至少包括保留所述业务日志数据中日志分析阶段需要的字段、对所述业务日志数据中与预设关键字匹配的内容进行计数、在预设时间范围内对所述业务日志数据中的相同内容进行计数和时间戳标注、以及建立所述业务日志数据中的指定字段的索引。可以选取其中至少一种日志处理方式，并采用选取的日志处理方式对业务日志数据进行预处理，从而减少日志数据输出，加快日志数据索引速度。
例如：如图1所示，日志预处理模块包括多个日志处理接口(top1接口、top2接口、top3接口、……)，每种日志处理接口使用不同的日志处理方式对业务日志数据进行处理，可以选取top1接口、top2接口和top3接口同时对业务日志数据进行处理，并获取每种日志处理接口处理日志业务数据之后的结果，最后将该结果传输都数据平台。
需要说明的是，该方法可以应用于用户行为分析、安全入侵分析、交通流量预测和购物推荐系统，通过上述方法对用户行为分析、安全入侵分析、交通流量预测和购物推荐系统输出的业务日志数据进行预处理，减少日志输出数量和数据量，降低应用服务器日志打点的性能损耗、减少日志存储数量、加快数据分析性能。
请继续参考图3，图3是本发明提出的一种日志处理方法的第二实施例的流程示意图。如图所示，本发明实施例中的方法包括：
s301，应用服务器向协处理器发送应用运行的业务日志数据。执行如上述实施例相同的步骤，本实施例不再赘述。
s302，数据平台向协处理发送接口排序数据。执行如上述实施例相同的步骤，本实施例不再赘。
s303，协处理器根据所述每种日志处理方式的调用次数，从所述多种日志处理方式中选取目标日志处理方式。执行如上述实施例相同的步骤，本实施例不再赘述。
s304，协处理器使用所述目标日志处理方式对所述业务日志数据进行处理。执行如上述实施例相同的步骤，本实施例不再赘述。
s305，协处理器将经过处理的所述业务日志数据存储到所述数据平台，从而节省应用服务器的本地日志存储空间，同时解决了本地日志存储和传输消耗cpu的问题。
在本发明实施例中，首先从应用服务器获取应用运行的业务日志数据，并从数据平台获取接口排序数据，然后根据每种日志处理方式的调用次数，从多种日志处理方式中选取目标日志处理方式；最后使用目标日志处理方式对业务日志数据进行处理，通过获取数据平台统计的分析热点需求来确定日志处理方式，在对日志数据分析之前采用确定的日志处理方式对日志数据进行预处理，减少业务日志数据的数量，进而提高日志数据分析效率和日志分析的准确性。
如图4所示，图4是本发明实施例提供的一种日志数据处理装置的结构示意图。如图所示，本发明实施例中的装置包括：
数据获取模块401，用于从应用服务器获取应用运行的业务日志数据，并从数据平台获取接口排序数据，所述接口排序数据包括多种日志处理方式中每种日志处理方式的调用次数。
具体实现中，接口排序数据为与数据平台关联的所有处理器处理业务日志数据所采用的日志处理方式的调用次数，在应用服务器接收到业务请求之后，应用服务器运行各种应用并打印业务日志数据，并将业务日志数据输出到协处理器；数据平台存储有大量处理器处理业务日志数据所采用的日志处理方式的调用次数，在协处理器获取到应用服务器传输的业务日志数据之后，可以从数据平台获取这些统计数据。
可选的，在从应用服务器获取应用运行的业务日志数据之后，可以确定所述业务日志数据的读写操作方式；当所述业务日志数据的读写操作方式为数据写入操作时，执行所述从数据平台获取接口排序数据的操作步骤。
方式选取模块402，用于根据所述每种日志处理方式的调用次数，从所述多种日志处理方式中选取目标日志处理方式。
具体实现中，可以根据所述每种日志处理方式的调用次数，确定所述每种日志处理方式的优先级；从所述多种日志处理方式中选取所述优先级最高的日志处理方式作为所述目标日志处理方式。进一步的，如果某种日志处理方式的调用次数最多，可以将该日志处理方式的优先级设置为最高优先级，从而通过感知数据平台的分析热点需求来选取日志处理方式，满足日志数据分析的实时性。
可选的，可以对多种日志处理方式的优先级进行排序，从所述多种日志处理方式选取优先级排在前n位的日志处理方式，其中，n为大于等于1的整数。
数据处理模块403，用于使用所述目标日志处理方式对所述业务日志数据进行处理。
具体实现中，所述多种日志处理方式至少包括保留所述业务日志数据中日志分析阶段需要的字段、对所述业务日志数据中与预设关键字匹配的内容进行计数、在预设时间范围内对所述业务日志数据中的相同内容进行计数和时间戳标注、以及建立所述业务日志数据中的指定字段的索引。可以选取其中至少一种日志处理方式，并采用选取的日志处理方式对业务日志数据进行预处理，从而减少日志数据输出，加快日志数据索引速度。
例如：如图1所示，日志预处理模块包括多个日志处理接口(top1接口、top2接口、top3接口、……)，每种日志处理接口使用不同的日志处理方式对业务日志数据进行处理，可以选取top1接口、top2接口和top3接口同时对业务日志数据进行处理，并获取每种日志处理接口处理日志业务数据之后的结果，最后将该结果传输都数据平台。
可选的，如图4所示，本发明实施例中的装置还可以包括：
数据发送模块404，用于将经过处理的所述业务日志数据存储到所述数据平台，从而节省应用服务器的本地日志存储空间，同时解决了本地日志存储和传输消耗cpu的问题。
在本发明实施例中，首先从应用服务器获取应用运行的业务日志数据，并从数据平台获取接口排序数据，然后根据每种日志处理方式的调用次数，从多种日志处理方式中选取目标日志处理方式；最后使用目标日志处理方式对业务日志数据进行处理，通过获取数据平台统计的分析热点需求来确定日志处理方式，在对日志数据分析之前采用确定的日志处理方式对日志数据进行预处理，减少业务日志数据的数量，进而提高日志数据分析效率和日志分析的准确性。
请继续参考图5，图5是本发明提出的一种日志数据处理设备的结构示意图。如图所示，该设备可以包括：至少一个处理器501，例如cpu，至少一个通信接口502，至少一个存储器503和至少一个通信总线504。其中，通信总线504用于实现这些组件之间的连接通信。其中，本发明实施例中设备的通信接口502用于与其他节点设备进行信令或数据的通信。存储器503可以是高速ram存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器503可选的还可以是至少一个位于远离前述处理器501的存储装置。存储器503中存储一组程序代码，且处理器501执行所述存储器503中存储的程序，执行上述日志数据装置所执行的方法、或实现上述日志数据装置所实现的功能。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(英文：read-onlymemory，简称：rom)、随机存取器(英文：randomaccessmemory，简称：ram)、磁盘或光盘等。
以上对本发明实施例所提供的内容下载方法及相关设备、系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。