一种数据处理的方法和装置与流程

本申请涉及数据分析处理技术领域，尤其涉及一种数据处理的方法和装置。

背景技术：

随着互联网的快速发展，终端设备上安装运行互联网应用的种类不断增多，互联网的网络流量不断增大；当前形势下流量的识别和控制逐渐成为研究关注的焦点。尤其是平台上广告流量识别和控制面临更大的挑战，广告流量的真伪严重影响广告投放效果和广告投放策略。

现阶段，大数据量的分析工作大部分都是离线环境进行的，即，一般是基于历史数据对设备流量进行评估，从而判定设备流量的真伪。然而，上述方式只适用于事后流量判定处理场景，并不是适用于实时流量判定处理场景，无法达到实时控制设备流量的目的。

技术实现要素：

本申请所要解决的技术问题是，提供一种数据处理的方法和装置，得到更为准确的目标设备流量评估终值，以适用于实时流量判定处理场景，从而能够用于实现设备流量的实时控制。

第一方面，本申请实施例提供了一种数据处理的方法，该方法包括：

获得当前设备信息数据；

基于所述当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值；

融合所述第一设备流量评估终值和第二设备流量评估终值，获得目标设备流量评估终值；所述第二设备流量评估终值是基于历史设备信息数据、多个所述预设流量评估指标的分值计算公式和所述终值计算公式获得的。

可选的，所述基于所述当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值，包括：

基于所述当前设备信息数据和多个所述预设流量评估指标的分值计算公式，获得多个所述预设流量评估指标的第一分值；

基于多个所述预设流量评估指标的第一分值和所述终值计算公式，获得第一设备流量评估终值。

可选的，所述第二设备流量评估终值获得步骤，包括：

基于所述历史设备信息数据和多个所述预设流量评估指标的分值计算公式，获得多个所述预设流量评估指标的第二分值；

基于多个所述预设流量评估指标的第二分值和所述终值计算公式，获得所述第二设备流量评估终值。

可选的，所述终值计算公式具体为：

其中，p1，p2，…，pm表示多个预设流量评估指标的分值，s表示设备流量评估终值。

可选的，所述当前设备信息数据包括当前设备硬件数据和当前设备行为数据；所述历史设备信息数据包括历史设备硬件数据和历史设备行为数据。

可选的，所述当前设备信息数据是采集当前时间的设备信息数据进行数据清洗获得的；所述历史设备信息数据是采集历史时间的设备信息数据进行数据清洗获得的。

可选的，还包括：

基于所述目标设备流量评估终值和预设设备流量评估阈值，控制设备流量。

第二方面，本申请实施例提供了一种数据处理的装置，该装置包括：

第一获得单元，用于获得当前设备信息数据；

第二获得单元，用于基于所述当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值；

第三获得单元，用于融合所述第一设备流量评估终值和第二设备流量评估终值，获得目标设备流量评估终值；所述第二设备流量评估终值是基于历史设备信息数据、多个所述预设流量评估指标的分值计算公式和所述终值计算公式获得的。

第三方面，本申请实施例提供了一种终端设备，该终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述第一方面任一项所述的数据处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面任一项所述的数据处理方法。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，首先，获得当前设备信息数据；然后，基于当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值；最后，融合第一设备流量评估终值和基于历史设备信息数据、多个预设流量评估指标的分值计算公式以及终值计算公式获得的第二设备流量评估终值，获得目标设备流量评估终值。由此可见，在历史设备信息数据的基础上，结合当前设备信息数据，均利用多个预设流量评估指标的分值计算公式和终值计算公式对设备流量评估，两者融合得到更为准确的目标设备流量评估终值，该实施方式适用于实时流量判定处理场景，从而能够用于实现设备流量的实时控制。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例中一种应用场景所涉及的系统框架示意图；

图2为本申请实施例提供的一种数据处理的方法的流程示意图；

图3为本申请实施例提供的请求量数据图表示意图；

图4为本申请实施例提供的点击量数据图表示意图；

图5为本申请实施例提供的一种数据处理的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

当前网络流量不断增大形势下，流量的识别和控制至关重要。例如，广告流量的真伪严重影响广告投放效果和广告投放策略，广告流量识别和控制面临更大的挑战。由于现阶段一般是基于历史数据对设备流量进行评估，从而判定设备流量的真伪。但是，发明人经过研究发现，仅基于历史数据对设备流量进行评估，只适用于事后流量判定处理场景，并不是适用于实时流量判定处理场景，无法达到实时控制设备流量的目的。

为了解决这一问题，在本申请实施例中，首先，获得当前设备信息数据；然后，基于当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值；最后，融合第一设备流量评估终值和基于历史设备信息数据、多个预设流量评估指标的分值计算公式以及终值计算公式获得的第二设备流量评估终值，获得目标设备流量评估终值。由此可见，在历史设备信息数据的基础上，结合当前设备信息数据，均利用多个预设流量评估指标的分值计算公式和终值计算公式对设备流量评估，两者融合得到更为准确的目标设备流量评估终值，该实施方式适用于实时流量判定处理场景，从而能够用于实现设备流量的实时控制。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景包括终端设备101和服务器102，其中，终端设备101可以是pc机，也可以是其它的移动终端，如手机或平台电脑等。服务器102首先获得终端设备101的当前设备信息数据；然后，服务器102基于当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得终端设备101的第一设备流量评估终值；其次，服务器102融合终端设备101的第一设备流量评估终值和第二设备流量评估终值，获得目标设备流量评估终值；第二设备流量评估终值是基于终端设备101的历史设备信息数据、多个预设流量评估指标的分值计算公式与终值计算公式获得；最后，服务器102基于目标设备流量评估终值和预设设备流量评估阈值，控制终端设备101的设备流量。

可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由服务器102执行；但是，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。

可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中数据处理的方法和装置的具体实现方式。

示例性方法

参见图2，示出了本申请实施例中一种数据处理的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：获得当前设备信息数据。

需要说明的是，由于现有技术中通常是基于历史数据对设备流量进行评估，从而判定设备流量的真伪，该方式仅仅适用于事后流量判定处理场景，存在不适用于实时流量判定处理场景的问题，从而无法达到实时控制设备流量的目的。因此，在本申请实施例中考虑，在历史数据的基础上面结合实时数据对设备流量进行评估。其中，实时数据是指当前时间的设备信息数据，当前设备信息数据可以分为两类数据，一类是表示当前设备自身硬件信息的数据，记为当前设备硬件数据；另一类是表示当前时间的用户行为在设备产生的数据，也表示为当前时间的设备行为产生的数据，记为当前设备行为数据。因此，在本申请实施例一种可选的实施方式中，所述当前设备信息数据包括当前设备硬件数据和当前设备行为数据。

还需要说明的是，直接采集的当前时间的设备信息数据中通常存在不规范或非正常的一些数据，例如，空字符、超长格式、非正常值等数据；则需要对采集的当前时间的设备信息数据进行数据清洗，处理其中不规范或非正常的数据，从而得到规范、正常的当前时间的设备信息数据作为当前设备信息数据。因此，在本申请实施例一种可选的实施方式中，所述当前设备信息数据是采集当前时间的设备信息数据进行数据清洗获得的。

当然，当前设备信息数据包括的各个数据的来源可能不同，在采集时需要利用对应的方式获取各个数据。例如，对于日志形式的数据而言，统一采用rsync的方式同步到服务器，再通过shell命令存储到hdfs上，并挂载hive数据仓库以完成数据采集；又如，对于业务数据而言，通过sqoop的方式提取到服务器，并存储到hive中以完成数据采集。

步骤202：基于所述当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值。

需要说明的是，基于当前设备信息数据对设备流量进行评估实际上基于当前设备信息数据计算表示设备流量真伪的评估数值。具体地，首先，预先设置多个流量评估指标，基于当前设备信息数据通过多个预设流量评估指标的分值计算公式计算多个预设流量评估指标的分值，记为多个预设流量评估指标的第一分值；然后，将多个预设流量评估指标的第一分值代入预先设置的终值计算公式获得表示设备流量真伪的评估数值，记为第一设备流量评估终值。因此，在本申请实施例一种可选的实施方式中，所述步骤202例如可以包括以下步骤：

步骤a：基于所述当前设备信息数据和多个所述预设流量评估指标的分值计算公式，获得多个所述预设流量评估指标的第一分值。

其中，需要说明的是，多个预设流量评估指标例如可以包括设备硬件指标和设备行为指标，设备硬件指标例如包括设备身份标识和设备地理位置等等中一个或多个；设备行为指标例如包括请求量、点击量和点击率等等中一个或多个。在本申请实施例中，并不限定预设流量评估指标具体包括的流量评估指标，可基于实际情况需求预先设定流量评估指标作为预设流量评估指标；且多个预设流量评估指标也不是限定不变的，可以根据陈实际情况需求进行调整，适当增加或减少预设流量评估指标。

例如，预设流量评估指标为请求量，根据如图3所示的请求量数据图表示意图，请求量的分值计算公式为：p1＝-power((x-300)/70，2)，其中，x表示单位时间内请求量，p1表示请求量的分值；预设流量评估指标为请求量，根据如图4所示的点击量数据图表示意图，请求量的分值计算公式为：p2＝50-2×power((x-5)，2)，其中，x表示单位时间内点击量，p2表示点击量的分值。

步骤b：基于多个所述预设流量评估指标的第一分值和所述终值计算公式，获得第一设备流量评估终值。

其中，需要说明的是，终值计算公式的目的就是将多个预设流量评估指标的分值综合，以便得到设备流量评估终值，则终值计算公式是由预设流量评估指标的分值确定的。具体地，在本申请实施例一种可选的实施方式中，所述终值计算公式具体为：

其中，p1，p2，…，px表示多个预设流量评估指标的分值，s表示设备流量评估终值。

步骤203：融合所述第一设备流量评估终值和第二设备流量评估终值，获得目标设备流量评估终值；所述第二设备流量评估终值是基于历史设备信息数据、多个所述预设流量评估指标的分值计算公式和所述终值计算公式获得的。

首先，需要说明的是，基于历史设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第二设备流量评估终值的具体实现方式同理参考上述步骤202的具体实现方式，在此不再赘述。因此，在本申请实施例一种可选的实施方式中，所述步骤203中第二设备流量评估终值获得步骤例如可以包括以下步骤：

步骤c：基于所述历史设备信息数据和多个所述预设流量评估指标的分值计算公式，获得多个所述预设流量评估指标的第二分值；

步骤d：基于多个所述预设流量评估指标的第二分值和所述终值计算公式，获得所述第二设备流量评估终值。

可以理解的是，同理可知，在本申请实施例一种可选的实施方式中，所述历史设备信息数据包括历史设备硬件数据和历史设备行为数据；所述历史设备信息数据是采集历史时间的设备信息数据进行数据清洗获得的。

其次，需要说明的是，在获得对应当前设备信息数据的第一设备流量评估终值和对应历史设备信息数据的第二设备流量评估终值之后，需要将第一设备流量评估终值和第二设备流量评估终值融合，才能获得更为准确的设备流量评估终值作为目标设备流量评估终值，以便适用于实时流量判定处理场景。

还需要说明的是，由于目标设备流量评估终值是结合当前设备信息数据和历史设备信息数据计算的表示设备流量真伪的评估终值，则可以预先设置一个设备流量评估阈值作为预设设备流量评估阈值，通过对比获得的目标设备流量评估终值与预设设备流量评估阈值，可以判定设备流量真伪，从而实现实时控制设备流量。因此，在本申请实施例一种可选的实施方式中，在步骤203之后，例如还可以包括步骤：基于所述目标设备流量评估终值和预设设备流量评估阈值，控制设备流量。

通过本实施例提供的各种实施方式，首先，获得当前设备信息数据；然后，基于当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值；最后，融合第一设备流量评估终值和基于历史设备信息数据、多个预设流量评估指标的分值计算公式以及终值计算公式获得的第二设备流量评估终值，获得目标设备流量评估终值。由此可见，在历史设备信息数据的基础上，结合当前设备信息数据，均利用多个预设流量评估指标的分值计算公式和终值计算公式对设备流量评估，两者融合得到更为准确的目标设备流量评估终值，该实施方式适用于实时流量判定处理场景，从而能够用于实现设备流量的实时控制。

示例性装置

参见图5，示出了本申请实施例中一种数据处理的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

第一获得单元501，用于获得当前设备信息数据；

第二获得单元502，用于基于所述当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值；

第三获得单元503，用于融合所述第一设备流量评估终值和第二设备流量评估终值，获得目标设备流量评估终值；所述第二设备流量评估终值是基于历史设备信息数据、多个所述预设流量评估指标的分值计算公式和所述终值计算公式获得的。

在本申请实施例一种可选的实施方式中，所述第二获得单元502包括：

第一获得子单元，用于基于所述当前设备信息数据和多个所述预设流量评估指标的分值计算公式，获得多个所述预设流量评估指标的第一分值；

第二获得子单元，用于基于多个所述预设流量评估指标的第一分值和所述终值计算公式，获得第一设备流量评估终值。

在本申请实施例一种可选的实施方式中，还包括：

第四获得单元，用于基于历史设备信息数据、多个所述预设流量评估指标的分值计算公式和所述终值计算公式获得所述第二设备流量评估终值；

其中，所述第四获得单元包括：

第三获得子单元，用于基于所述历史设备信息数据和多个所述预设流量评估指标的分值计算公式，获得多个所述预设流量评估指标的第二分值；

第四获得子单元，用于基于多个所述预设流量评估指标的第二分值和所述终值计算公式，获得所述第二设备流量评估终值。

在本申请实施例一种可选的实施方式中，所述终值计算公式具体为：

其中，p1，p2，…，pm表示多个预设流量评估指标的分值，s表示设备流量评估终值。

在本申请实施例一种可选的实施方式中，所述当前设备信息数据包括当前设备硬件数据和当前设备行为数据；所述历史设备信息数据包括历史设备硬件数据和历史设备行为数据。

在本申请实施例一种可选的实施方式中，所述当前设备信息数据是采集当前时间的设备信息数据进行数据清洗获得的；所述历史设备信息数据是采集历史时间的设备信息数据进行数据清洗获得的。

在本申请实施例一种可选的实施方式中，还包括：

控制单元，用于基于所述目标设备流量评估终值和预设设备流量评估阈值，控制设备流量。

通过本实施例提供的各种实施方式，首先，获得当前设备信息数据；然后，基于当前设备信息数据、多个预设流量评估指标的分值计算公式和终值计算公式，获得第一设备流量评估终值；最后，融合第一设备流量评估终值和基于历史设备信息数据、多个预设流量评估指标的分值计算公式以及终值计算公式获得的第二设备流量评估终值，获得目标设备流量评估终值。由此可见，在历史设备信息数据的基础上，结合当前设备信息数据，均利用多个预设流量评估指标的分值计算公式和终值计算公式对设备流量评估，两者融合得到更为准确的目标设备流量评估终值，该实施方式适用于实时流量判定处理场景，从而能够用于实现设备流量的实时控制。

另外，本申请实施例还提供一种终端设备，所述终端设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述方法实施例任一项所述的数据处理方法。

此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述方法实施例任一项所述的数据处理方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。