数据处理方法和装置与流程

本申请涉及数据处理领域，具体而言，涉及一种数据处理方法和装置。

背景技术：

在对应用程序(俗称App)相关数据进行采集时，一般是在终端触发某一事件或执行某一指令时获取所需的各类数据，并将采集到的数据通过网络发送到指定接收地址，例如，在终端用户访问目标APP时，数据采集系统采集终端数据并发送给目标服务器。但是，APP终端用户不一定随时都处于联网状态，在APP终端用户未联网时或者在网络不通畅的情况下会导致发送的数据丢失。此外，如果APP终端用户不是处于WIFI环境下，而是在移动通信网络环境下发送数据则会造APP终端用户额外的流量消耗，增加APP终端用户的网络通信成本。

针对相关技术中应用程序终端在网络不通畅的情况下发送数据存在丢失的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种数据处理方法和装置，以解决应用程序终端用户在网络不通畅的情况下发送的数据丢失的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据处理方法。该数据处理方法包括：采集终端访问应用程序时的终端数据；检测终端所处的网络环境；判断网络环境是否适于发送终端数据；以及在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区。

进一步地，判断网络环境是否适于发送终端数据包括：判断网络环境是否处于联网状态；在判断出网络环境处于联网状态时，则确定网络环境适于发送终端数据；以及在判断出网络环境不是处于联网状态时，则确定网络环境不适于发送终端数据。

进一步地，判断网络环境是否适于发送终端数据包括：判断网络环境是否为WIFI网络环境；在判断出网络环境是WIFI网络环境时，则确定网络环境适于发送终端数据；以及在判断出网络环境不是WIFI网络环境时，则确定网络环境不适于发送终端数据。

进一步地，判断网络环境是否适于发送终端数据包括：判断网络环境是否为WIFI 网络环境；在判断出网络环境不是WIFI网络环境时，则确定网络环境不适于发送终端数据；在判断出网络环境是WIFI网络环境时，检测WIFI网络环境的网速，得到WIFI网络环境的网速；判断WIFI网络环境的网速是否大于预设阈值；在判断出WIFI网络环境的网速大于预设阈值时，则确定网络环境适于发送终端数据；以及在判断出WIFI网络环境的网速不大于预设阈值时，则确定网络环境不适于发送终端数据。

进一步地，在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区包括：生成终端数据的时间戳；以及将时间戳和终端数据存储至本地存储区。

进一步地，在判断出网络环境适于发送终端数据时，该方法还包括：判断本地存储区是否存储有第一数据，其中，第一数据为未发送的应用程序的终端数据；以及在判断出本地存储区存储有第一数据，则按照时间戳的顺序发送第一数据。

为了实现上述目的，根据本申请的另一方面，提供了一种数据处理装置，该数据处理装置包括：采集单元，用于采集终端访问应用程序时的终端数据；第一检测单元，用于检测终端所处的网络环境；第一判断单元，用于判断网络环境是否适于发送终端数据；以及存储单元，用于在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区。

进一步地，第一判断单元包括：第一判断模块，用于判断网络环境是否处于联网状态；以及第一确定模块，用于在判断出网络环境处于联网状态时，确定网络环境适于发送终端数据，在判断出网络环境不是处于联网状态时，确定网络环境不适于发送终端数据。

进一步地，存储单元包括：生成模块，用于生成终端数据的时间戳；以及存储模块，用于将时间戳和终端数据存储至本地存储区。

进一步地，该装置还包括：第二判断单元，用于判断本地存储区是否存储有第一数据，其中，第一数据为未发送的应用程序的终端数据；以及发送单元，用于在判断出本地存储区存储有第一数据时，按照时间戳的顺序发送第一数据。

本申请中，采集终端访问应用程序时的终端数据；检测终端所处的网络环境；判断网络环境是否适于发送终端数据；以及在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区。解决了应用程序终端在网络不通畅的情况下发送数据存在丢失的问题，进而达到了防止终端数据丢失的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实 施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例的数据处理方法的流程图；

图2是根据本申请第二实施例的数据处理方法的流程图；以及

图3是根据本申请实施例的数据处理装置示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述和理解，首先说明几个概念：

数据采集系统，是一种将数据采集软件开发工具包(Software Development Kit，简称为SDK)嵌入网页页面或应用程序(俗称App)等数据源中，获取指定数据并发送至指定服务器的系统。

数据发送，是指在网络环境下，将采集到的数据通过网络传输发送到指定的接收地址。

根据本申请实施例，提供了一种数据处理方法，图1是根据本申请第一实施例的数据处理方法的流程图。如图1所示，该方法包括如下的步骤S102至步骤S108：

步骤S102，采集终端访问应用程序时的终端数据。

本申请实施例的终端可以是电脑、平板电脑、手机等。在对应用程序相关数据进 行采集时，一般是在终端触发某一事件或执行某一指令时获取所需的各类数据，并将采集到的数据通过网络发送到指定接收地址，例如，用户通过手机访问微信APP，数据采集系统则采集终端数据(例如，用户访问时间、访问内容、终端的类型等数据)并发送给接收服务器。

步骤S104，检测终端所处的网络环境。

具体地，终端所处的网络环境可以包括终端的联网状态、所连接网络的类型和网络速度等。

步骤S106，判断所述网络环境是否适于发送所述终端数据。

本申请实施例通过检测终端所处的网络环境，并根据网络环境是否适于发送终端数据来确定是否发送终端数据，从而可以避免在网络环境不适于发送终端数据时发送终端数据，导致数据的丢失。可选地，判断网络环境是否适于发送终端数据包括：判断网络环境是否处于联网状态；在判断出网络环境处于联网状态时，则确定网络环境适于发送终端数据；以及在判断出网络环境不是处于联网状态时，则确定网络环境不适于发送终端数据。

具体地，终端可以通过WIFI网络联网，也可以通过移动通信网络联网。本申请实施例只要判断出当前的网络环境是处于联网状态，则确定网络环境适于发送终端数据，发送终端数据至接收端，例如，接收服务器。

优选地，为了避免在移动通信网络环境下发送终端数据造成终端用户额外的流量损耗，判断网络环境是否适于发送终端数据包括：判断网络环境是否为WIFI网络环境；在判断出网络环境是WIFI网络环境时，则确定网络环境适于发送终端数据；以及在判断出网络环境不是WIFI网络环境时，则确定网络环境不适于发送终端数据。

本申请实施例通过检测终端所处的网络环境是否为WIFI网络环境(即终端通过WIFI连接至网络)确定是否发送数据，在检测出终端是通过WIFI连接至网络时，则发送终端数据，否则在本地缓存该终端数据。通过上述方式可以避免终端通过移动通信网络连接至网络时发送终端数据造成终端用户额外的流量损耗。

优选地，为了保证数据的准确发送，判断网络环境是否适于发送终端数据包括：判断网络环境是否为WIFI网络环境；在判断出网络环境不是WIFI网络环境时，则确定网络环境不适于发送终端数据；在判断出网络环境是WIFI网络环境时，检测WIFI网络环境的网速，得到WIFI网络环境的网速；判断WIFI网络环境的网速是否大于预设阈值；在判断出WIFI网络环境的网速大于预设阈值时，则确定网络环境适于发送终端数据；以及在判断出WIFI网络环境的网速不大于预设阈值时，则确定网络环境不适于发送终端数据。

本申请实施例先判断当前网络环境是否为WIFI网络环境，在判断出网络环境是WIFI网络环境时进一步检测当前WIFI网络环境的网速，具体地，可以通过一些网速检测器检测WIFI网络环境的网速，例如，360网速测试器。预设阈值可以根据用户的实际需求进行设置，例如，设置为300kb/s。本申请实施例在检测得到WIFI网络环境的网速后，与预设阈值进行比较，如果WIFI网络环境的网速大于预设阈值，则确定当前网络环境适于发送终端数据，将终端数据发送至接收服务器，否则，缓存终端数据至本地。本申请实施例在判断出网络环境是WIFI网络环境时，进一步检测WIFI网络环境的网速来确定当前网络环境是否适于发送终端数据，从而可以避免由于网速较差造成终端数据发送丢失。

步骤S108，在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区。

具体地，在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区，例如，终端的存储区，从而可以避免终端数据的丢失。

本申请实施例通过采集终端访问应用程序时的终端数据；检测终端所处的网络环境；判断网络环境是否适于发送终端数据；以及在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区，解决了相关技术中终端用户在网络不通畅的情况下发送数据存在丢失的问题，从而达到了避免终端数据丢失的技术效果。

优选地，在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区包括：生成终端数据的时间戳；以及将时间戳和终端数据存储至本地存储区。

时间戳可以是终端数据的采集时间，也可以是终端数据的存储时间。以下以时间戳为终端数据的存储时间为例进行说明，在判断出网络环境不适于发送终端数据时，获取当前系统时间作为终端数据的时间戳，并将终端数据的时间戳和该终端数据关联存储至本地存储区，从而根据时间戳可以直观看出本地存储区中存储的终端数据的先后顺序，便于后续对本地存储区中存储的终端数据进行处理，例如，删除、发送本地存储区中存储的终端数据。需要说明的是，本申请实施例也可以采用其他标识符表示本地存储区中存储的终端数据的先后顺序，例如，递增的数字序列。

优选地，在将当前终端数据缓存至本地存储区之前，可以先判断本地存储区中已经缓存的终端数据的数量是否达到预设数量，如果本地存储区中已经缓存的终端数据的数量尚未达到预设数量，则将当前终端数据缓存至存储区中，如果本地存储区中已经缓存的终端数据的数量已达到预设数量，则可以不缓存当前终端数据，或是将当前终端数据替换本地存储区中最先存储的终端数据。通过上述方法，可以避免本地缓存区缓存的终端数据过多占用过多的内存。

可选地，在判断出网络环境适于发送终端数据时，该方法还包括：判断本地存储区是否存储有第一数据，其中，第一数据为未发送的应用程序的终端数据，以及在判断出本地存储区存储有第一数据，则按照时间戳的顺序发送第一数据。

本申请实施例在判断出网络环境适于发送终端数据时，首先判断本地存储区是否存储有未发送的终端数据(即第一数据)，如果本地存储区存储有未发送的终端数据，按照时间戳的顺序发送未发送的终端数据至接收端，例如，接收服务器。

优选地，在将本地存储区存储的第一数据发送至接收端后，清空本地存储区中存储的第一数据，以节省空间。

优选地，按照时间戳的顺序发送第一数据至接收端好包括：根据时间戳从本地存储区获取预设时间的终端数据，将预设时间的终端数据发送至接收端，并清理本地存储区中存储的第一数据。

由于终端数据分析具有一定的实时性，时间过长的数据通常不具有分析的价值。因此，本申请实施例仅获取预设时间的终端数据发送给接收端，其中，预设时间可以是最近一定时间，例如，最近1个星期，或是最近2天。

图2是根据本申请第二实施例的数据处理方法的流程图，如图2所示，该方法包括如下的步骤S202至步骤S214：

步骤S202，发生一次事件或触发某一指令。

终端访问目标应用程序发生一次事件或触发某一指令(即终端访问应用程序)，例如，应用程序启动，进行了翻页、单击或长按等。

步骤S204，采集本次事件或指令相关数据。

采集本次事件或指令相关数据即采集终端访问应用程序时的终端数据。具体地，在对应用程序相关数据进行采集时，一般是在终端触发某一事件或执行某一指令，采集响应触发某一事件或执行某一指令所需的各类相关数据，并将采集到的数据通过网络发送到指定接收地址，例如，在终端访问目标应用程序时，数据采集系统采集终端数据并发送给目标服务器。

步骤S206，判断当前网络环境是否是WIFI网络环境。

判断当前网络环境是否为WIFI网络环境，在判断出当前网络环境是WIFI网络环境，则确定网络环境适于发送终端数据，执行步骤S208；在判断出网络环境不是WIFI网络环境，则确定网络环境不适于发送终端数据，执行步骤S214。

步骤S208，判断是否有缓存数据。

上述缓存数据即待发送的终端数据。本申请实施例在判断出当前网络环境是WIFI网络环境时，说明当前网络环境适于发送相关数据，此时，如果本地存储区内有缓存数据，可以在当前网络环境下将本地存储区内的缓存数据发送，因此需要判断本地存储区是否有缓存数据。具体地，在判断出本地存储区内存储有待发送终端数据，执行步骤S210；在判断出本地存储区内没有缓存待发送终端数据，则执行步骤S212。

步骤S210，按时间戳顺序发送数据并清空缓存。

在判断出本地存储区内有缓存数据时，按照时间戳顺序发送缓存数据。可选地，可以通过在数据字符串的头或尾增加一个参数记录当前时间的方式，生成终端数据的时间戳，生成终端数据时间戳的方式也可以是在数据字符串中间增加一个或多个参数记录当前时间，也可以是标序号的方式，只要保证数据能够按实际发生的顺序进行发送即可。

可选地，在缓存数据发送完毕后，清空已经发送完毕的缓存数据，以节省存储空间。

步骤S212，发送本次采集到的数据。

如果没有缓存数据或者将缓存数据发送完毕后，发送本次采集到的数据，即本次采集的终端数据。

步骤S214，为采集到的数据加时间戳并进行缓存。

在判断出当前网络环境不是WIFI网络环境时，则确定网络环境不适于发送终端数据，此时，将采集到的数据缓存到本地存储区。可选地，在将采集到的数据缓存到本地存储区时，通过在数据字符串的头或尾增加一个参数记录当前时间的方式，生成终端数据的时间戳，生成终端数据时间戳的方式也可以是在数据字符串中间增加一个或多个参数记录当前时间。生成时间戳后将采集到的数据缓存到本地存储区中。

通过上述描述可知，本申请实施例采用数据缓存机制和网络判断机制，智能选择是否发送数据，保证数据不会丢失，解决了在无网络或是网络较差环境下终端数据无法发送的问题以及在非WIFI网络环境下额外耗费流量的问题，从而达到了防止应用程序终端用户在网络不通畅的情况下发送数据丢失以及防止非WIFI环境消耗额外流量的技术效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请的实施例的另一方面，提供了一种数据处理装置，该数据处理装置可 以用于执行本申请实施例的数据处理方法，本申请实施例的数据处理方法也可以通过本申请实施例的数据处理装置来执行。

图3是根据本申请实施例的数据处理装置示意图，如图3所示，该数据处理装置包括：采集单元10，第一检测单元20，第一判断单元30和存储单元40。

采集单元10，用于采集终端访问应用程序时的终端数据。

本申请实施例的终端可以是电脑、平板电脑、手机等。在对应用程序相关数据进行采集时，一般是在终端触发某一事件或执行某一指令时获取所需的各类数据，并将采集到的数据通过网络发送到指定接收地址。

第一检测单元20，用于检测终端所处的网络环境。

第一判断单元30，用于判断网络环境是否适于发送终端数据。

可选地，第一判断单元30包括：第一判断模块，用于判断网络环境是否处于联网状态；第一确定模块，用于在判断出网络环境处于联网状态时，确定网络环境适于发送终端数据，在判断出网络环境不是处于联网状态时，确定网络环境不适于发送终端数据。

优选地，为了避免在移动通信网络环境下发送终端数据造成终端用户额外的流量损耗，第一判断单元30包括：第二判断模块，用于判断网络环境是否为WIFI网络环境；以及第二确定模块，用于在判断出网络环境是WIFI网络环境时，确定网络环境适于发送终端数据，在判断出网络环境不是WIFI网络环境时，确定网络环境不适于发送终端数据。

本申请实施例通过检测终端所处的网络环境是否为WIFI网络环境(即终端通过WIFI连接至网络)确定是否发送数据，在检测出终端是通过WIFI连接至网络时，则发送终端数据，否则在本地缓存该终端数据。通过上述方式可以避免终端通过移动通信网络连接至网络时发送终端数据造成终端用户额外的流量损耗。

优选地，为了保证数据的准确发送，第一判断单元30包括：第三判断模块，用于判断网络环境是否为WIFI网络环境；第三确定模块，用于在判断出网络环境不是WIFI网络环境时，确定网络环境不适于发送终端数据；检测模块，用于在判断出网络环境是WIFI网络环境时，检测WIFI网络环境的网速，得到WIFI网络环境的网速；第四判断模块，用于判断WIFI网络环境的网速是否大于预设阈值；第四确定模块，用于在判断出WIFI网络环境的网速大于预设阈值时，确定网络环境适于发送终端数据，在判断出WIFI网络环境的网速不大于预设阈值时，确定网络环境不适于发送终端数据。

本申请实施例先判断当前网络环境是否为WIFI网络环境，在判断出网络环境是WIFI网络环境时进一步检测当前WIFI网络环境的网速，具体地，可以通过一些网速测试器检测WIFI网络环境的网速，例如，360网速测试器。预设阈值可以根据用户的实际需求进行设置，例如，设置为300kb/s。本申请实施例在检测得到WIFI网络环境的网速后，与预设阈值进行比较，如果WIFI网络环境的网速大于预设阈值，则确定当前网络环境适于发送终端数据，将终端数据发送至接收服务器，否则，缓存终端数据至本地。本申请实施例在判断出网络环境是WIFI网络环境时，进一步检测WIFI网络环境的网速来确定当前网络环境是否适于发送终端数据，从而可以避免由于网速较差造成终端数据发送丢失。

存储单元40，用于在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区。

具体地，在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区，例如，终端的存储区，从而可以避免终端数据的丢失。

本申请实施例通过采集单元10采集终端访问应用程序时的终端数据；第一检测单元20检测终端所处的网络环境；第一判断单元30判断网络环境是否适于发送终端数据，存储单元40，用于在判断出网络环境不适于发送终端数据时，将终端数据存储至本地存储区，解决了相关技术中终端用户在网络不通畅的情况下发送数据存在丢失的问题，从而达到了避免终端数据丢失的技术效果。

可选地，存储单元40包括：生成模块，用于生成终端数据的时间戳；存储模块，用于将时间戳和终端数据存储至本地存储区。

可选地，该装置还包括：第二判断单元，用于判断本地存储区是否存储有第一数据，其中，第一数据为未发送的应用程序的终端数据；以及发送单元，用于在判断出本地存储区存储有第一数据时，按照时间戳的顺序发送第一数据。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。