一种数据采集方法、装置、设备、系统及存储介质与流程

本申请涉及数据采集领域，尤其涉及一种数据采集方法、装置、设备、系统及存储介质。

背景技术：

随着大数据技术的发展，现在几乎所有的手机厂商和应用商都在采集自己的大数据。采集的数据量越来越大，在采集过程中，应用要不断的先将采集的数据记录下来，然后实时或者定时的上报到对应的大数据服务器中。

该方案存在的问题是：

1.应用采集数据的效率较低。

2.应用在运行过程中进行采集数据，会降低应用的运行速度。

技术实现要素：

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据采集方法、装置、设备、系统及存储介质。

第一方面，本申请实施例提供了一种数据采集方法，方法应用于服务器，方法包括：

获取应用程序所在的客户端上传的系统日志；

获取所述应用程序的应用数据的统计字段；

从所述系统日志中确定与所述统计字段对应的字段内容；

根据所述字段内容生成所述应用程序的应用数据。

可选的，所述获取所述应用程序的应用数据的统计字段，包括：

获取所述应用程序所在的客户端发送的应用数据；

对所述应用数据进行分析，得到所述统计字段。

可选的，所述从所述系统日志中确定与所述统计字段对应的字段内容，包括：

获取所述应用程序的程序标识；

查找所述系统日志中与所述程序标识对应的日志数据；

利用机器学习库中的查找规则，在所述日志数据中查找用于计算与所述统计字段对应的字段内容的数据；

利用所述机器学习库中的计算规则和查找到的数据，计算与所述统计字段对应的字段内容。

可选的，所述方法还包括：

将利用所述查找规则在所述日志数据中查找用于计算与所述统计字段对应的字段内容的数据的方式记录成一个新的查找规则；

将所述新的查找规则加入到所述机器学习库中；

将利用所述计算规则和查找到的数据计算与所述统计字段对应的字段内容的方式记录成一个新的计算规则；

将所述新的计算规则加入到所述机器学习库中。

第二方面，本申请实施例提供了一种数据采集方法，方法应用于服务器，方法包括：

获取多个客户端分别上传的系统日志和应用数据；

将每个所述客户端的应用数据和各自对应的系统日志进行比对，得到机器学习库和多个第一比对结果，所述第一比对结果包括：关联字段及与所述关联字段对应的字段内容；

根据多个所述第一比对结果和多个所述应用数据确定第一准确率；

若所述第一准确率大于预设阈值，则生成停止采集通知，并发送给所述客户端。

可选的，所述机器学习库包括：查找规则和计算规则，所述方法还包括：

若所述第一准确率不大于所述预设阈值，则分别对所述查找规则和所述计算规则进行调整；

利用调整后查找规则和调整后计算规则确定多个第二比对结果；

根据多个所述第二比对结果和多个所述应用数据确定第二准确率；

若所述第二准确率大于所述预设阈值，则生成所述停止采集通知，并发送给所述客户端。

第三方面，本申请实施例提供了一种数据采集装置，包括：第一获取模块、第二获取模块、确定模块和生成模块；

所述第一获取模块，用于获取应用程序所在的客户端上传的系统日志；

所述第二获取模块，用于获取所述应用程序的应用数据的统计字段；

所述确定模块，用于从所述系统日志中确定与所述统计字段对应的字段内容；

所述生成模块，用于根据所述字段内容生成所述应用程序的应用数据。

第四方面，本申请实施例提供了一种数据采集设备，包括：处理器、存储器、通信接口和总线；

所述处理器、所述存储器与所述通信接口通过所述总线完成相互间的通信；

所述通信接口用于外部设备之间的信息传输；

所述处理器用于调用所述存储器中的程序指令，以执行如第一方面和第二方面中任一项所述方法的步骤。

第五方面，本申请实施例提供了一种数据采集系统，包括：服务器和客户端；

所述客户端和所述服务器连接，用于上传系统日志给所述服务器；

所述服务器，用于获取所述客户端上传的所述系统日志，获取应用程序的应用数据的统计字段，从所述系统日志中确定与所述统计字段对应的字段内容，根据所述字段内容生成所述应用程序的应用数据。

第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面和第二方面中任一项所述方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请提供一种数据采集方法，方法应用于服务器，方法包括：获取应用程序所在的客户端上传的系统日志；获取应用程序的应用数据的统计字段；从系统日志中确定与统计字段对应的字段内容；根据字段内容生成应用程序的应用数据，这样，由于可以利用系统日志生成应用程序的应用数据，所以，客户端无需在上传系统日志的同时还要上传应用程序的应用数据，大大减少需要采集的数据量，因此，该方法可以缓解现有技术中存在的应用采集数据的效率较低和降低应用的运行速度的问题，达到了提高应用采集数据的效率及提高应用的运行速度的技术效果；

本申请还提供一种数据采集方法，方法应用于服务器，方法包括：获取多个客户端分别上传的系统日志和应用数据；将每个客户端的应用数据和各自对应的系统日志进行比对，得到机器学习库和多个第一比对结果，第一比对结果包括：关联字段及与关联字段对应的字段内容；根据多个第一比对结果和多个应用数据确定第一准确率；若第一准确率大于预设阈值，则生成停止采集通知，并发送给客户端，这样，若第一准确率大于预设阈值，说明服务器可以利用机器学习库和系统日志确定应用数据，所以，客户端无需上传应用数据，大大减少需要采集的数据量，因此，该方法可以缓解现有技术中存在的应用采集数据的效率较低和降低应用的运行速度的问题，达到了提高应用采集数据的效率及提高应用的运行速度的技术效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为实现本发明各个实施例一可选的移动终端的硬件结构示意图；

图2为本发明实施例提供的数据采集方法的流程图；

图3为本发明实施例提供的数据采集装置的结构示意图；

图4为本发明实施例提供的数据采集设备的结构示意图；

图5为本发明实施例提供的数据采集系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供一种数据采集方法、装置、设备、系统及存储介质，可以缓解现有技术中存在的应用采集数据的效率较低和降低应用的运行速度的问题，达到了提高应用采集数据的效率及提高应用的运行速度的技术效果。

现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。

移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

图1为实现本发明各个实施例一可选的移动终端的硬件结构示意图。

移动终端100可以包括无线通信单元110、a/v(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。

无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。

广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括tv广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与tv或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(dmb)的电子节目指南(epg)、数字视频广播手持(dvb-h)的电子服务指南(esg)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(dmb-t)、数字多媒体广播-卫星(dmb-s)、数字视频广播-手持(dvb-h)，前向链路媒体(mediaflo@)的数据广播系统、地面数字广播综合服务(isdb-t)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。

移动通信模块112将无线电信号发送到基站(例如，接入点、节点b等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。

无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括wlan(无线lan)(wi-fi)、wibro(无线宽带)、wimax(全球微波互联接入)、hsdpa(高速下行链路分组接入)等等。

短程通信模块114是用于支持短程通信的模块。短程通信技术的一些示例包括蓝牙tm、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、紫蜂tm等等。

位置信息模块115是用于检查或获取移动终端的位置信息的模块。位置信息模块的典型示例是gps(全球定位系统)。根据当前的技术，gps模块115计算来自三个或更多卫星的距离信息和准确的时间信息并且对于计算的信息应用三角测量法，从而根据经度、纬度和高度准确地计算三维当前位置信息。当前，用于计算位置和时间信息的方法使用三颗卫星并且通过使用另外的一颗卫星校正计算出的位置和时间信息的误差。此外，gps模块115能够通过实时地连续计算当前位置信息来计算速度信息。

a/v输入单元120用于接收音频或视频信号。a/v输入单元120可以包括相机121和麦克风122，相机121对在视频捕获模式或图像捕获模式中由图像捕获装置获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元151上。经相机121处理后的图像帧可以存储在存储器160(或其它存储介质)中或者经由无线通信单元110进行发送，可以根据移动终端的构造提供两个或更多相机121。麦克风122可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由移动通信模块112发送到移动通信基站的格式输出。麦克风122可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

用户输入单元130可以根据用户输入的命令生成键输入数据以控制移动终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键盘、锅仔片、触摸板(例如，检测由于被接触而导致的电阻、压力、电容等等的变化的触敏组件)、滚轮、摇杆等等。特别地，当触摸板以层的形式叠加在显示单元151上时，可以形成触摸屏。

感测单元140检测移动终端100的当前状态，(例如，移动终端100的打开或关闭状态)、移动终端100的位置、用户对于移动终端100的接触(即，触摸输入)的有无、移动终端100的取向、移动终端100的加速或减速移动和方向等等，并且生成用于控制移动终端100的操作的命令或信号。例如，当移动终端100实施为滑动型移动电话时，感测单元140可以感测该滑动型电话是打开还是关闭。另外，感测单元140能够检测电源单元190是否提供电力或者接口单元170是否与外部装置耦接。

接口单元170用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。识别模块可以是存储用于验证用户使用移动终端100的各种信息并且可以包括用户识别模块(uim)、客户识别模块(sim)、通用客户识别模块(usim)等等。另外，具有识别模块的装置(下面称为"识别装置")可以采取智能卡的形式，因此，识别装置可以经由端口或其它连接装置与移动终端100连接。接口单元170可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端和外部装置之间传输数据。

另外，当移动终端100与外部底座连接时，接口单元170可以用作允许通过其将电力从底座提供到移动终端100的路径或者可以用作允许从底座输入的各种命令信号通过其传输到移动终端的路径。从底座输入的各种命令信号或电力可以用作用于识别移动终端是否准确地安装在底座上的信号。输出单元150被构造为以视觉、音频和/或触觉方式提供输出信号(例如，音频信号、视频信号、警报信号、振动信号等等)。输出单元150可以包括显示单元151、音频输出模块152、警报单元153等等。

显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100处于电话通话模式时，显示单元151可以显示与通话或其它通信(例如，文本消息收发、多媒体文件下载等等)相关的用户界面(ui)或图形用户界面(gui)。当移动终端100处于视频通话模式或者图像捕获模式时，显示单元151可以显示捕获的图像和/或接收的图像、示出视频或图像以及相关功能的ui或gui等等。

同时，当显示单元151和触摸板以层的形式彼此叠加以形成触摸屏时，显示单元151可以用作输入装置和输出装置。显示单元151可以包括液晶显示器(lcd)、薄膜晶体管lcd(tft-lcd)、有机发光二极管(oled)显示器、柔性显示器、三维(3d)显示器等等中的至少一种。这些显示器中的一些可以被构造为透明状以允许用户从外部观看，这可以称为透明显示器，典型的透明显示器可以例如为toled(透明有机发光二极管)显示器等等。根据特定想要的实施方式，移动终端100可以包括两个或更多显示单元(或其它显示装置)，例如，移动终端可以包括外部显示单元(未示出)和内部显示单元(未示出)。触摸屏可用于检测触摸输入压力以及触摸输入位置和触摸输入面积。

音频输出模块152可以在移动终端处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将无线通信单元110接收的或者在存储器160中存储的音频数据转换音频信号并且输出为声音。而且，音频输出模块152可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出模块152可以包括扬声器、蜂鸣器等等。

警报单元153可以提供输出以将事件的发生通知给移动终端100。典型的事件可以包括呼叫接收、消息接收、键信号输入、触摸输入等等。除了音频或视频输出之外，警报单元153可以以不同的方式提供输出以通知事件的发生。例如，警报单元153可以以振动的形式提供输出，当接收到呼叫、消息或一些其它进入通信(incomingcommunication)时，警报单元153可以提供触觉输出(即，振动)以将其通知给用户。通过提供这样的触觉输出，即使在用户的移动电话处于用户的口袋中时，用户也能够识别出各种事件的发生。警报单元153也可以经由显示单元151或音频输出模块152提供通知事件的发生的输出。

存储器160可以存储由控制器180执行的处理和控制操作的软件程序等等，或者可以暂时地存储己经输出或将要输出的数据(例如，电话簿、消息、静态图像、视频等等)。而且，存储器160可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。

存储器160可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等等。而且，移动终端100可以与通过网络连接执行存储器160的存储功能的网络存储装置协作。

控制器180通常控制移动终端的总体操作。例如，控制器180执行与语音通话、数据通信、视频通话等等相关的控制和处理。另外，控制器180可以包括用于再现(或回放)多媒体数据的多媒体模块181，多媒体模块181可以构造在控制器180内，或者可以构造为与控制器180分离。控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。

电源单元190在控制器180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。

这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理装置(dspd)、可编程逻辑装置(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制器180中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器160中并且由控制器180执行。

基于上述移动终端硬件结构，提出本发明方法各个实施例。

首先，对于本申请实施例提供的一种数据采集方法进行详细介绍，数据采集方法应用于服务器，如图2所示，数据采集方法可以包括步骤s101至步骤s104：

s101，获取应用程序所在的客户端上传的系统日志。

其中，为了提高系统日志的获取速度，服务器可以将系统日志直接写入服务器的kafka服务中，将系统日志以文件形式存储在kafka中。

举例说明，客户端可以将经过压缩的系统日志定时上传给服务器。

s102，获取所述应用程序的应用数据的统计字段。

示例性的，统计字段可以包括以下至少之一：下载应用时间、应用包名、下载应用时长、打开应用时间、运行应用时长和关闭应用时间。

其中，统计字段可以是用户指定的，也可以是服务器从应用程序的应用数据中分析得到的。

s103，从所述系统日志中确定与所述统计字段对应的字段内容。

其中，服务器可以先接收客户端上传的经过压缩的系统日志，然后对经过压缩的系统日志进行解压缩，得到用于确定与所述统计字段对应的字段内容的系统日志。

s104，根据所述字段内容生成所述应用程序的应用数据。

本申请实施例提供一种数据采集方法，方法应用于服务器，方法包括：获取应用程序所在的客户端上传的系统日志；获取应用程序的应用数据的统计字段；从系统日志中确定与统计字段对应的字段内容；根据字段内容生成应用程序的应用数据，这样，由于可以利用系统日志生成应用程序的应用数据，所以，客户端无需在上传系统日志的同时还要上传应用程序的应用数据，大大减少需要采集的数据量，因此，该方法可以缓解现有技术中存在的应用采集数据的效率较低和降低应用的运行速度的问题，达到了提高应用采集数据的效率及提高应用的运行速度的技术效果，同时，也能够提高用户体验。

在本申请的又一实施例中，在前述步骤s101至步骤s104的实施例的基础上，步骤s102可以包括步骤s1021至步骤s1022：

s1021，获取所述应用程序所在的客户端发送的应用数据。

其中，应用数据可以是安装在客户端上的应用程序和/或应用程序中心采集的。应用数据可以以json字符串形式存在。应用数据可以包括多个统计字段及与每个统计字段分别对应的字段内容。

示例性的，应用数据可以表示为：{"imei":"123","downloadtime":"2018-10-2723:30:31","downloadpackage":"org.tencent.wechat","spenttime":"50231"}。这条应用数据可以解释为：国际移动设备识别码为123的客户端，下载应用包名为org.tencent.wechat的应用程序的时间为2018-10-2723:30:31，下载应用时长为50231。或者，应用数据可以表示为：{"imei":"123","starttime":"2018-10-2713:23:32","openpackage":"org.tencent.wechat","runtime":"100230"}。这条应用数据可以解释为：国际移动设备识别码为123的客户端，打开应用包名为org.tencent.wechat的应用程序的时间为2018-10-2713:23:32，运行应用时长为100230。

s1022，对所述应用数据进行分析，得到所述统计字段。

本申请实施例中，获取应用程序的应用数据的统计字段，包括：获取应用程序所在的客户端发送的应用数据；对应用数据进行分析，得到统计字段，所以，服务器可以从应用程序的应用数据中分析得到统计字段。

在本申请的又一实施例中，在前述步骤s101至步骤s104的实施例的基础上，步骤s103可以包括步骤s1031至步骤s1034：

s1031，获取所述应用程序的程序标识。

其中，一个系统日志中可以包括多个应用程序的日志数据，所以，要在系统日志中查找每个应用序程的日志数据。

s1032，查找所述系统日志中与所述程序标识对应的日志数据。

其中，日志数据可以是tcp下载的日志数据。

s1033，利用机器学习库中的查找规则，在所述日志数据中查找用于计算与所述统计字段对应的字段内容的数据。

其中，机器学习库可以是预先学习得到的。机器学习库可以包括：查找规则和计算规则。

举例说明，若统计字段包括：下载应用时间、应用包名和下载应用时长，则服务器利用查找规则在日志数据中查找数据，利用查找到的数据计算与下载应用时间、应用包名和下载应用时长分别对应的字段内容。具体的，服务器利用应用包名及预设的应用包名和进程名之间的对应关系，确定日志数据中的与应用包名对应的进程名。服务器根据查找规则，在日志数据中查找与进程名对应的第一次下载开始时间(字段内容)和第一次下载完成时间(字段内容)。

举例说明，若统计字段包括：应用包名、打开应用时间、运行应用时长和关闭应用时间，则服务器利用查找规则在日志数据中查找数据，利用查找到的数据计算与应用包名、打开应用时间、运行应用时长和关闭应用时间分别对应的字段内容。具体的，服务器利用应用包名及预设的应用包名和进程名之间的对应关系，确定日志数据中的与应用包名对应的进程名。服务器根据查找规则，在日志数据中查找与进程名对应的第一次运行开始时间(字段内容)和第一次运行关闭时间(字段内容)。

s1034，利用所述机器学习库中的计算规则和查找到的数据，计算与所述统计字段对应的字段内容。

举例说明，若统计字段包括：下载应用时间、应用包名和下载应用时长，则服务器利用第一次下载开始时间(字段内容)、第一次下载完成时间(字段内容)和计算规则，计算与下载应用时间和下载应用时长分别对应的字段内容。具体的，服务器可以将第一次下载开始时间确定为与下载应用时间对应的字段内容。服务器可以利用第一次下载开始时间和第一次下载完成时间，计算与下载应用时长对应的字段内容。

举例说明，若统计字段包括：应用包名、打开应用时间、运行应用时长和关闭应用时间，则服务器可以利用第一次运行开始时间(字段内容)、第一次运行关闭时间(字段内容)和计算规则，计算与打开应用时间、运行应用时长和关闭应用时间分别对应的字段内容。具体的，服务器可以将第一次运行开始时间确定为与打开应用时间对应的字段内容。服务器可以将第一次运行关闭时间确定为与关闭应用时间对应的字段内容。服务器可以利用第一次运行开始时间和第一次运行关闭时间，计算与运行应用时长对应的字段内容。

在本申请的又一实施例中，在前述步骤s1031至步骤s1034的实施例的基础上，数据采集方法还可以包括步骤s11至步骤s14：

s11，将利用所述查找规则在所述日志数据中查找用于计算与所述统计字段对应的字段内容的数据的方式记录成一个新的查找规则。

s12，将所述新的查找规则加入到所述机器学习库中。

s13，将利用所述计算规则和查找到的数据计算与所述统计字段对应的字段内容的方式记录成一个新的计算规则。

s14，将所述新的计算规则加入到所述机器学习库中。

本申请实施例中，在前述步骤s1031至步骤s1034的实施例的基础上，所述方法还包括：将利用所述查找规则在所述日志数据中查找用于计算与所述统计字段对应的字段内容的数据的方式记录成一个新的查找规则；将所述新的查找规则加入到所述机器学习库中；将利用所述计算规则和查找到的数据计算与所述统计字段对应的字段内容的方式记录成一个新的计算规则；将所述新的计算规则加入到所述机器学习库中，这样，机器学习库可以不断更新，不断学习，使得利用机器学习库生成的应用数据更加准确，更加真实。

在本申请的又一实施例中，对于本申请实施例提供的一种数据采集方法进行详细介绍，方法应用于服务器，数据采集方法可以包括步骤s201至步骤s204：

s201，获取多个客户端分别上传的系统日志和应用数据。

s202，将每个所述客户端的应用数据和各自对应的系统日志进行比对，得到机器学习库和多个第一比对结果，所述第一比对结果包括：关联字段及与所述关联字段对应的字段内容。

其中，机器学习库可以包括：查找规则和计算规则。

具体的，以服务器分别与五个客户端连接为例进行说明。五个客户端分别为：a客户端、b客户端、c客户端、d客户端和e客户端。a客户端上传a系统日志和a应用数据给服务器。b客户端上传b系统日志和b应用数据给服务器。c客户端上传c系统日志和c应用数据给服务器。d客户端上传d系统日志和d应用数据给服务器。e客户端上传e系统日志和e应用数据给服务器。

在步骤s202中，服务器将a系统日志和a应用数据进行比对，得到a比对结果。服务器将b系统日志和b应用数据进行比对，得到b比对结果。服务器将c系统日志和c应用数据进行比对，得到c比对结果。服务器将d系统日志和d应用数据进行比对，得到d比对结果。服务器将e系统日志和e应用数据进行比对，得到e比对结果。

其中，以得到a比对结果为例进行说明。在a系统日志和a应用数据进行比对的过程中，服务器可以在a系统日志中查找与a应用数据对应的a日志数据，查找到a日志数据中的用于计算得到a比对结果的数据，把查找规则加入机器学习库中。然后，利用查找到的数据计算得到a比对结果，把计算规则加入机器学习库中。

举例说明，若a比对结果包括：下载应用时间(关联字段)、与下载应用时间对应的字段内容、下载应用时长(关联字段)和与下载应用时长对应的字段内容，则得到a比对结果的过程可以如下：服务器可以在a系统日志中查找与a应用数据对应的a日志数据，在a日志数据中查找用于计算与下载应用时间对应的字段内容的第一次下载开始时间(字段内容)，在a日志数据中查找用于计算与下载应用时长对应的字段内容的第一次下载开始时间(字段内容)和第一次下载完成时间(字段内容)，把查找规则加入机器学习库中。然后，服务器可以将第一次下载开始时间计算为与下载应用时间对应的字段内容。服务器可以利用第一次下载开始时间和第一次下载完成时间，计算与下载应用时长对应的字段内容。把计算规则加入机器学习库中。

s203，根据多个所述第一比对结果和多个所述应用数据确定第一准确率。

其中，计算应用数据的总个数。对于每个应用数据，判断应用数据和与应用数据对应的第一比对结果是否相同，统计与对应的第一比对结果相同的应用数据的数量。利用相同数量除以总个数，计算得到第一准确率。这仅仅是个示例性的确定第一准确率的过程。

s204，若所述第一准确率大于预设阈值，则生成停止采集通知，并发送给所述客户端。

其中，可以根据实际应用需求设置预设阈值。示例性的，预设阈值可以设置为0.95。若想要提高数据采集过程的准确性和真实性，可以提高预设阈值的值。

其中，停止采集通知可以包括不需客户端采集的数据字段，不需客户端采集的数据字段可以为应用数据的部分统计字段，也可以为应用数据的全部统计字段。若不需客户端采集的数据字段为应用数据的部分统计字段，那么客户端只需要上传与另一部分数据字段对应的应用数据，所以，减少客户端需要采集的数据量，因此，该方法可以缓解现有技术中存在的应用采集数据的效率较低和降低应用的运行速度的问题，达到了提高应用采集数据的效率及提高应用的运行速度的技术效果。

本申请实施例提供一种数据采集方法，方法应用于服务器，方法包括：获取多个客户端分别上传的系统日志和应用数据；将每个客户端的应用数据和各自对应的系统日志进行比对，得到机器学习库和多个第一比对结果，第一比对结果包括：关联字段及与关联字段对应的字段内容；根据多个第一比对结果和多个应用数据确定第一准确率；若第一准确率大于预设阈值，则生成停止采集通知，并发送给客户端，这样，若第一准确率大于预设阈值，说明服务器可以利用机器学习库和系统日志确定应用数据，所以，客户端无需上传应用数据，大大减少需要采集的数据量，因此，该方法可以缓解现有技术中存在的应用采集数据的效率较低和降低应用的运行速度的问题，达到了提高应用采集数据的效率及提高应用的运行速度的技术效果。

在本申请的又一实施例中，在前述步骤s201至步骤s204的实施例的基础上，所述数据采集方法还可以包括步骤s21至步骤s24：

s21，若所述第一准确率不大于所述预设阈值，则分别对所述查找规则和所述计算规则进行调整。

s22，利用调整后查找规则和调整后计算规则确定多个第二比对结果。

s23，根据多个所述第二比对结果和多个所述应用数据确定第二准确率。

s24，若所述第二准确率大于所述预设阈值，则生成所述停止采集通知，并发送给所述客户端。

在本申请的又一实施例中，对于本申请实施例提供的一种数据采集装置进行详细介绍，如图3所示，数据采集装置可以包括：第一获取模块31、第二获取模块32、确定模块33和生成模块34。

所述第一获取模块31，用于获取应用程序所在的客户端上传的系统日志。

所述第二获取模块32，用于获取所述应用程序的应用数据的统计字段。

所述确定模块33，用于从所述系统日志中确定与所述统计字段对应的字段内容。

所述生成模块34，用于根据所述字段内容生成所述应用程序的应用数据。

在本申请的又一实施例中，对于本申请实施例提供的一种数据采集设备进行详细介绍，如图4所示，数据采集设备可以包括：处理器401、存储器402、通信接口403和总线404。

所述处理器401、所述存储器402与所述通信接口403通过所述总线404完成相互间的通信。

所述通信接口403用于外部设备之间的信息传输。

示例性的，外部设备可以为用户设备ue。

所述处理器401用于调用所述存储器402中的程序指令，以执行如上述任一项实施例所述数据采集方法的步骤。

具体而言，所述处理器401用于执行所述数据采集程序，以实现以下步骤：获取应用程序所在的客户端上传的系统日志；获取所述应用程序的应用数据的统计字段；从所述系统日志中确定与所述统计字段对应的字段内容；根据所述字段内容生成所述应用程序的应用数据。

具体而言，所述处理器401用于执行所述数据采集程序，以实现以下步骤：获取多个客户端分别上传的系统日志和应用数据；将每个所述客户端的应用数据和各自对应的系统日志进行比对，得到机器学习库和多个第一比对结果，所述第一比对结果包括：关联字段及与所述关联字段对应的字段内容；根据多个所述第一比对结果和多个所述应用数据确定第一准确率；若所述第一准确率大于预设阈值，则生成停止采集通知，并发送给所述客户端。

在本申请的又一实施例中，对于本申请实施例提供的一种数据采集系统进行详细介绍，数据采集系统可以包括：服务器和客户端。

其中，服务器可以和一个客户端连接，也可以分别与多个客户端连接。以服务器分别与四个客户端连接为例进行说明。如图5所示，数据采集系统可以包括：服务器51、客户端52、客户端53、客户端54和客户端54，服务器51分别与客户端52、客户端53、客户端54和客户端54连接。

所述客户端和所述服务器连接，用于上传系统日志给所述服务器。

其中，客户端52、客户端53、客户端54和客户端54分别上传各自的系统日志给服务器51。

所述服务器，用于获取所述客户端上传的所述系统日志，获取应用程序的应用数据的统计字段，从所述系统日志中确定与所述统计字段对应的字段内容，根据所述字段内容生成所述应用程序的应用数据。

其中，以客户端52为例进行说明，服务器51获取客户端52上传的系统日志，获取应用程序的应用数据的统计字段，从系统日志中确定与统计字段对应的字段内容，根据字段内容生成应用程序的应用数据。

在本申请的又一实施例中，对于本申请实施例提供的一种计算机可读存储介质进行详细介绍，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述任一项实施例所述数据采集方法的步骤。

其中，所述计算机可读存储介质可以存储有一个或者多个计算机指令。其中，所述计算机可读存储介质可以包括易失性存储器，例如随机存取存储器；所述计算机可读存储介质也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；所述计算机可读存储介质还可以包括上述种类的存储器的组合。

具体而言，所述计算机指令使所述计算机执行以下步骤：获取应用程序所在的客户端上传的系统日志；获取所述应用程序的应用数据的统计字段；从所述系统日志中确定与所述统计字段对应的字段内容；根据所述字段内容生成所述应用程序的应用数据。

具体而言，所述计算机指令使所述计算机执行以下步骤：获取多个客户端分别上传的系统日志和应用数据；将每个所述客户端的应用数据和各自对应的系统日志进行比对，得到机器学习库和多个第一比对结果，所述第一比对结果包括：关联字段及与所述关联字段对应的字段内容；根据多个所述第一比对结果和多个所述应用数据确定第一准确率；若所述第一准确率大于预设阈值，则生成停止采集通知，并发送给所述客户端。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(applicationspecificintegratedcircuits，asic)、数字信号处理器(digitalsignalprocessing，dsp)、数字信号处理设备(dspdevice，dspd)、可编程逻辑设备(programmablelogicdevice，pld)、现场可编程门阵列(field-programmablegatearray，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。