一种数据处理方法、系统、设备及介质与流程

本发明实施例涉及大数据处理技术领域，尤其涉及一种数据处理方法、系统、设备及介质。

背景技术：

随着互联网行业的飞速发展，大数据挖掘/开发领域应运而生。大数据挖掘/开发的目的旨在基于用户的上网行为挖掘用户的行为习惯、用户的行为轨迹；或者基于系统的运行数据总结系统的运行性能等，以根据用户的行为习惯制定运营策略，或者根据系统的运行性能改善系统设计等。

通常，在进行大数据挖掘时，需要完成两件事情；第一件事情为：数据采集，第二件事情为：对采集的数据进行分析。目前的工作流程为：上网终端对原始数据进行采集，并将采集的原始数据上报至服务器，服务器对该原始数据进行存储以及分析。但是，随着用户量的增加以及数据分析要求的细粒度越来越高，原始数据量呈爆炸式增涨，因此，导致服务器的存储压力以及分析压力剧增，同时，巨大的数据量带来的流量压力也越来越大。另外，由于待分析的原始数据量巨大，导致数据分析速度越来越慢，分析报表的生成效率越来越低。

技术实现要素：

本发明实施例提供一种数据处理方法、系统、设备及介质，通过所述方法有效减少了上报至服务器的原始数据量，进而减少了服务器的存储和分析压力。

第一方面，本发明实施例提供了一种数据处理方法，应用于终端设备，所述方法包括：

基于预设规则对原始数据进行采集，获得原始数据统计表；

对所述原始数据统计表进行分析，得到原始数据分析表；

将所述原始数据分析表上报至服务器；

其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量。

第二方面，本发明实施例提供了一种数据处理方法，应用于服务器，所述方法包括：

当接收到终端设备发送的上报信号时，根据所述上报信号生成分析命令；

将所述分析命令下发至所述终端设备，以使所述终端设备执行所述分析命令；

接收所述终端设备上报的原始数据分析表；

对所述原始数据分析表进行存储，并对所述原始数据分析表继续进行分析。

第三方面，本发明实施例提供了一种数据处理系统，所述系统包括：

终端设备和服务器；

其中，所述终端设备包括：采集模块，用于基于预设规则对原始数据进行采集，获得原始数据统计表；

第一分析模块，用于对所述原始数据统计表进行分析，得到原始数据分析表；

上报模块，用于将所述原始数据分析表上报至服务器；

所述服务器包括：生成模块，用于当接收到终点设备发送的上报信号时，根据所述上报信号生成分析命令；

下发模块，用于将所述分析命令下发至所述终端设备，以使所述终端设备执行所述分析命令；

接收模块，用于接收所述终端设备上报的原始数据分析表；

第二分析模块，用于对所述原始数据分析表进行存储，并对所述原始数据分析表继续进行分析；

其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量。

第四方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面以及第二方面所述的数据处理方法。

第五方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如上述第一方面以及第二方面所述的数据处理方法。

本发明实施例提供的一种数据处理方法，通过基于预设规则对原始数据进行采集，获得原始数据统计表；对所述原始数据统计表进行分析，得到原始数据分析表；将所述原始数据分析表上报至服务器；其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量的技术手段，有效减少了上报至服务器的原始数据量，进而减少了服务器的存储、分析压力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1为本发明实施例一提供的一种数据处理方法流程示意图；

图2为本发明实施例二提供的一种数据处理方法流程示意图；

图3为本发明实施例三提供的一种数据处理系统结构示意图；

图4为本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明实施例一提供的一种数据处理方法流程示意图。本实施例提供的一种数据处理方法可以由数据处理装置来执行。其中该装置可由软件和/或硬件实现，一般集成在终端设备中，更具体的，例如集成在机顶盒中，用于对用户在智能电视各应用的行为数据进行采集统计。具体参见图1所示，该方法包括如下步骤：

步骤110、基于预设规则对原始数据进行采集，获得原始数据统计表。

其中，所述原始数据根据数据挖掘的目的不同而不同，例如，数据挖掘的目的是统计遥控器上每个按键的使用率，则对应的原始数据为每个用户对遥控器上每个按键的使用次数；此时，对原始数据采集的预设规则可以是：当接收到原始数据的触发指令时，对所述原始数据进行采集，获得原始数据统计表，例如，用户每按下遥控器上一个按键都会生成一个用户按键原始数据，并保存至原始数据统计表。当数据挖掘的目的是统计cpu一天当中的平均工作温度，则对应的原始数据为cpu在不同时刻的工作温度，此时，对原始数据采集的预设规则可以是：按照预设频率对原始数据进行采集，获得原始数据统计表，例如每5分钟采集一次cpu的工作温度，并将对应的工作温度保存至原始数据统计表。

步骤120、对所述原始数据统计表进行分析，得到原始数据分析表。

对原始数据统计表进行分析的实质是对原始数据进行挖掘，可直接调用具体的分析算法对原始数据统计表进行运算。传统的数据挖掘工作均是由服务器完成，终端设备只负责原始数据的采集与上报，服务器负责对原始数据进行存储和分析，因此存在原始数据量大，分析压力大的问题。针对此，本实施例通过充分利用终端设备本身的存储和处理资源，对原始数据优先进行初步分析，得到原始数据分析表，然后再将原始数据分析表上报至服务器，原始数据分析表中的数据量远小于原始数据统计表中的数据量，因此实现了有效减少上报数据的数据量，进而减小了服务器的存储和分析压力。例如，要实现用户按键数据统计功能，则用户每按下一个按键都会生成一个用户按键数据到原始数据统计表，随着用户数量的增加，原始数据统计表中的数据量将会非常大。但是若将原始数据统计表中的原始数据执行一次特定的分析命令，则可生成用户按下每个按键的次数的原始数据分析表，显然原始数据分析表中的数据量远小于原始数据统计表中的数据量。如此，无论用户按键多少次，则上报至服务器的数据分析结果只有一条，如果用户按键1000次，则通过在终端设备对原始数据进行初步分析，则上报至服务器的数据量将减少近1000倍。所述特定的分析命令指具有统计用户按下每个按键次数功能的命令。所述分析命令具体可以是数据库命令，还可以是自定义的实现特定功能的其他分析命令，

示例性的，对所述原始数据统计表进行分析，得到原始数据分析表，包括：

调用本地存储的与所述原始数据统计表匹配的分析命令对所述原始数据统计表进行分析，得到原始数据分析表。

所述分析命令根据要实现的统计功能的不同而不同。例如要实现用户在一个月内对遥控器上每个按键使用次数的统计功能，则所述分析命令可以是实现用户在一天中对遥控器上每个按键使用次数统计功能的命令。例如要实现的统计功能为：统计一天当中，cpu的工作温度超过80摄氏度的时间，则所述分析命令可以是实现筛选超过80摄氏度的cpu工作温度功能的命令。

若将所述分析命令存储在终端设备本地，则需要对终端设备的代码进行改动，并且由于终端设备的存储空间远小于服务器的存储空间，因此被存储的分析命令的数量有限，可能无法满足原始数据各维度的功能要求。因此所述分析命令还可以存储在服务器，服务器根据原始数据各维度的功能要求向终端设备下发对应的分析命令，实现在终端设备侧对原始数据进行初步分析的目的，这样既不用修改终端设备的代码，也能满足原始数据各维度功能的要求。

示例性的，对所述原始数据统计表进行分析，得到原始数据分析表，包括：

当达到数据上报要求时，向服务器发送上报信号；

接收服务器根据所述上报信号下发的分析命令；

基于所述原始数据统计表执行所述分析命令，得到原始数据分析表；

其中，所述上报信号包括所述原始数据统计表的标识，该标识用于标记所述原始数据统计表需要执行的分析命令的实现功能，即服务器根据所述标识决定下发什么功能的分析命令。

所述数据上报要求，包括：原始数据统计表中的数据量达到设定阈值，或者，达到预设上报时间。所述当达到数据上报要求时，向服务器发送上报信号包括：

当所述原始数据统计表中的数据量达到设定阈值时，向服务器发送上报信号；

或者，当达到预设上报时间时，向服务器发送上报信号。

步骤130、将所述原始数据分析表上报至服务器。

根据上述说明可知，原始数据分析表中的数据量小于所述原始数据统计表中的数据量，因此通过充分利用终端设备的存储和处理资源，对原始数据统计表进行初步分析，再将分析结果上报至服务器，有效地减少了上报服务器的数据量，进而减小了服务器的存储压力以及数据分析压力。

本实施例提供的一种数据处理方法，通过基于预设规则对原始数据进行采集，获得原始数据统计表；对所述原始数据统计表进行分析，得到原始数据分析表；将所述原始数据分析表上报至服务器；其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量的技术手段，有效减少了上报至服务器的原始数据量，进而减少了服务器的存储、分析压力。

实施例二

图2为本发明实施例二提供的一种数据处理方法流程示意图。本实施例提供的一种数据处理方法可以由数据处理装置来执行。其中该装置可由软件和/或硬件实现，并集成在服务器中。本实施例提供的数据处理方法与上述实施例提供的数据处理方法配合执行。具体参见图2所示，该方法包括如下步骤：

步骤210、当接收到终端设备发送的上报信号时，根据所述上报信号生成分析命令。

具体的，在预先存储的分析命令库中查找与所述上报信号中原始数据统计表的标识相匹配的分析命令。原始数据统计表的标识用于标记所述原始数据统计表需要执行的分析命令的实现功能，服务器根据所述实现功能查找对应的分析命令。

所述分析命令根据要实现的功能的不同而不同。例如要实现用户在一个月内对遥控器上每个按键使用次数的统计功能，则所述分析命令可以是实现用户在一天中对遥控器上每个按键使用次数统计功能的命令。例如要实现的统计功能为：统计一天当中，cpu的工作温度超过80摄氏度的时间，则所述分析命令可以是实现筛选超过80摄氏度的cpu工作温度功能的命令。所述分析命令可以是数据库命令，还可以是工程人员自定义的命令，例如全部上报命令、按照id要求上报命令或者按照时间要求上报命令等。

步骤220、将所述分析命令下发至所述终端设备，以使所述终端设备执行所述分析命令。

步骤230、接收所述终端设备上报的原始数据分析表。

步骤240、对所述原始数据分析表进行存储，并对所述原始数据分析表继续进行分析。

由于原始数据分析表中的数据量远小于原始数据统计表中的数据量，因此接收原始数据分析表，相比于接收原始数据统计表，数据量小了很多，有效减小了服务器的存储压力以及分析压力。

本实施例提供的一种数据处理方法，通过当接收到终端设备发送的上报信号时，根据所述上报信号生成分析命令；将所述分析命令下发至所述终端设备，以使所述终端设备执行所述分析命令；接收所述终端设备上报的原始数据分析表；对所述原始数据分析表进行存储，并对所述原始数据分析表继续进行分析的技术手段，有效减小了服务器的数据存储和分析压力。

实施例三

图3为本发明实施例三提供的一种数据处理系统结构示意图，参见图3所示，所述系统包括：终端设备310和服务器320；

其中，终端设备310包括：采集模块311，用于基于预设规则对原始数据进行采集，获得原始数据统计表；第一分析模块312，用于对所述原始数据统计表进行分析，得到原始数据分析表；上报模块313，用于将所述原始数据分析表上报至服务器。

服务器320包括：生成模块321，用于当接收到终点设备发送的上报信号时，根据所述上报信号生成分析命令；下发模块322，用于将所述分析命令下发至所述终端设备，以使所述终端设备执行所述分析命令；接收模块323，用于接收所述终端设备上报的原始数据分析表；第二分析模块324，用于对所述原始数据分析表进行存储，并对所述原始数据分析表继续进行分析；其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量。

进一步的，第一分析模块312具体用于：

调用本地存储的与所述原始数据统计表匹配的分析命令对所述原始数据统计表进行分析，得到原始数据分析表。

进一步的，第一分析模块312包括：

上报单元，用于当达到数据上报要求时，向服务器发送上报信号；

接收单元，用于接收服务器根据所述上报信号下发的分析命令；

分析单元，用于基于所述原始数据统计表执行所述分析命令，得到原始数据分析表；其中，所述上报信号包括所述原始数据统计表的标识。

进一步的，上报单元具体用于：

当所述原始数据统计表中的数据量达到设定阈值时，向服务器发送上报信号；

或者，当达到预设上报时间时，向服务器发送上报信号。

进一步的，采集模块311具体用于：

按照预设频率对原始数据进行采集，获得原始数据统计表；

或者，当接收到原始数据的触发指令时，对所述原始数据进行采集，获得原始数据统计表。

进一步的，生成模块321具体用于：查找与所述上报信号中原始数据统计表的标识相匹配的分析命令。

本实施例提供的一种数据处理系统，通过充分利用终端设备侧的存储和处理资源，当终端设备采集到原始数据后，对原始数据进行初步分析，然后将分析结果上报至服务器，由于分析结果的数据量远小于原始数据的数据量，因此，有效地减小了服务器的存储和分析压力。

实施例四

图4为本发明实施例四提供的一种电子设备的结构示意图。如图4所示，该电子设备包括：处理器670、存储器671及存储在存储器671上并可在处理器670上运行的计算机程序；其中，处理器670的数量可以是一个或多个，图4中以一个处理器670为例；处理器670执行所述计算机程序时实现如上述实施例中所述的一种数据处理方法。如图4所示，所述电子设备还可以包括输入系统672和输出系统673。处理器670、存储器671、输入系统672和输出系统673可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器671作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中一种数据处理方法对应的程序指令/模块(例如，数据处理系统中的采集模块311、第一分析模块312、上报模块313生成模块321、下发模块322、接收模块323和第二分析模块324等)。处理器670通过运行存储在存储器671中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的数据处理方法。

存储器671可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器671可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器671可进一步包括相对于处理器670远程设置的存储器，这些远程存储器可以通过网络连接至电子设备/存储介质。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入系统672可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出系统673可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法，该方法应用于终端设备，包括：

基于预设规则对原始数据进行采集，获得原始数据统计表；

对所述原始数据统计表进行分析，得到原始数据分析表；

将所述原始数据分析表上报至服务器；

其中，所述原始数据分析表中的数据量小于所述原始数据统计表中的数据量。

所述计算机可执行指令在由计算机处理器执行时还用于执行另一种数据处理方法，该方法应用于服务器，包括：

当接收到终端设备发送的上报信号时，根据所述上报信号生成分析命令；

将所述分析命令下发至所述终端设备，以使所述终端设备执行所述分析命令；

接收所述终端设备上报的原始数据分析表；

对所述原始数据分析表进行存储，并对所述原始数据分析表继续进行分析。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种数据处理方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，存储介质，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。