一种处理数据的方法及服务器与流程

本发明涉及电子技术领域，尤其涉及一种处理数据的方法及服务器。

背景技术：

随着信息时代的发展，企业研发的各种虚拟产品(如应用程序、网站等)在使用过程中都会产生大量数据，这些数据通常都需要发送至相应的服务器，以便服务器对这些数据进行分析或存储。而服务器在对其接收到的数据进行分析或存储时，首先需要对其接收到的数据进行去重处理。

现有技术中，服务器对数据进行去重处理的方式通常为：收集当天接收到的所有数据，并通过数据仓库工具(例如hive)对当天接收到的所有数据进行去重处理。然而，由于服务器每天接收到的数据量较为庞大，且不同数据的数据结构不同，因此对数据进行去重处理需要花费大量时间，从而会对后续的数据分析造成较大的延时。

技术实现要素：

本发明实施例提供一种处理数据的方法及服务器，能够快速对数据进行去重处理，节省数据去重处理的时间，提高数据去重处理的效率。

第一方面，本发明实施例提供了一种处理数据的方法，该方法包括：

获取待去重的第一目标数据；

根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；

根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；

将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

第二方面，本发明实施例提供了一种服务器，该服务器包括：

获取单元，用于获取待去重的第一目标数据；

计算单元，用于根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；

去重单元，用于根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；

第一存储单元，用于将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

第三方面，本发明实施例提供了另一种服务器，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

本发明实施例通过计算待去重的第一目标数据对应的唯一身份标识，并根据第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第一目标数据进行去重处理，得到有效数据，且将有效数据对应的唯一身份标识存储在预设数据库中。由于根据预设的身份标识计算策略计算得到的数据的唯一身份标识为统一格式，因此，通过唯一身份标识来检测第一目标数据是否为重复数据，并对第一目标数据中的重复数据进行去重处理，能够节省数据去重处理的时间，提高数据去重处理的效率。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种处理数据的方法的示意流程图；

图2是本发明另一实施例提供的一种处理数据的方法的示意流程图；

图3是本发明实施例提供的一种服务器的示意性框图；

图4是本发明另一实施例提供的一种服务器的示意性框图；

图5是本发明再一实施例提供的一种服务器的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本发明实施例中描述的服务器包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的服务器。然而，应当理解的是，服务器可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

服务器支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在服务器上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能及服务器上显示的相应信息。这样，服务器的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

参见图1，图1是本发明实施例提供的一种处理数据的方法的示意流程图。本实施例中处理数据的方法的执行主体为服务器。如图1所示的处理数据的方法可以包括以下步骤：

s101：获取待去重的第一目标数据。

在本实施例中，服务器正常工作时，接收其他终端发送的各种数据。其中，其他终端可以为客户端，也可以为除了本服务器之外的其他服务器。客户端可以为手机、平板电脑等移动终端，也可以为其他终端。服务器可以为客户端上安装的任一应用程序(application，app)对应的应用服务器，也可以为任一网站对应的网站服务器，或者可以为用于管理应用服务器、网站服务器或其他业务类型服务器等多个服务器的总服务器等，此处不做限制。

服务器接收到的数据包括但不限于客户端上安装的任一app产生的应用数据、任一网站产生的数据或其他业务类型的服务器产生的日志等。

需要说明的是，服务器在工作过程中其自身也会产生多条日志。服务器产生的日志用于记录服务器的工作情况。

服务器接收到的数据以及其自身产生的日志中难免会存在完全相同的数据，为了提高后续数据分析的效率，服务器需要对其接收到的数据以及其自身产生的日志进行去重处理，即服务器接收到的数据以及其自身产生的日志均为待去重的数据。需要说明的是，待去重的数据的数据格式可以相同，也可以不同，此处不做限制。

服务器可以从其接收到的数据或其自身产生的日志中获取待去重的第一目标数据。其中，第一目标数据可以仅包括一条数据，也可以包括至少两条数据，具体根据实际需求进行设置，此处不做限制。

s102：根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识。

服务器获取到待去重的第一目标数据后，根据预设的身份标识计算策略计算第一目标数据对应的唯一身份标识。其中，不同数据对应的唯一身份标识不同，相同数据对应的唯一身份标识相同。

预设的身份标识计算策略可以根据实际需求进行设置，此处不做限制。

例如，预设的身份标识计算策略可以为哈希算法。哈希算法包括但不限于消息摘要算法第2版(messagedigestalgorithm2，md2)、消息摘要算法第4版(messagedigestalgorithm4，md4)、消息摘要算法第5版(messagedigestalgorithm5，md5)或安全散列算法(securehashalgorithm、sha)。以预设的身边标识计算策略为md5算法为例，服务器可以根据md5算法计算第一目标数据对应的唯一身份标识，采用md5算法对第一目标数据进行计算得到的md5值即为第一目标数据对应的唯一身份标识。需要说明的是，任一长度的数据，通过md5算法计算出的md5值的长度都是固定的，即所有数据对应的唯一身份标识的数据长度均相同。

可以理解的是，若第一目标数据仅包括一条数据，则服务器根据预设的身份标识计算策略计算该条数据对应的唯一身份标识；若第一目标数据包括至少两条数据，则服务器根据预设的身份标识计算策略分别计算该至少两条数据各自对应的唯一身份标识。

s103：根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据。

服务器计算出第一目标数据对应的唯一身份标识后，可以根据第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第一目标数据进行去重处理。其中，预设数据库用于存储有效数据对应的唯一身份标识，有效数据可以为互不重复的任何数据，即预设数据库中存储的唯一身份标识互不重复。需要说明的是，预设数据库中存储的有效数据对应的唯一身份标识与第一目标数据对应的唯一身份标识通过相同的身份标识计算策略计算得到。

根据第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第一目标数据进行去重处理具体为，保留第一目标数据中没有与预设数据中存储的有效数据重复的数据，丢弃第一目标数据中与预设数据中存储的有效数据重复的数据。服务器对第一目标数据进行去重处理后剩余的第一目标数据即为有效数据。

例如，假设服务器获取到的第一目标数据包括第一数据、第二数据及第三数据，服务器根据预设的身份标识计算策略计算得到的第一数据、第二数据及第三数据分别对应的唯一身份标识为a1、a2及a3。其中，a1、a2及a3均是16位的字符串。若预设数据库中存储有a1，未存储a2和a3，则服务器丢弃第一数据，保留第二数据和第三数据。

s104：将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

终端对第一目标数据进行去重处理得到有效数据后，将有效数据对应的唯一身份标识存储在预设数据库中，以便后续对其他数据进行去重处理时使用。

例如，结合步骤s103，假设服务器对第一目标数据进行去重处理后得到的有效数据为第二数据和第三数据，则服务器将第二数据对应的唯一身份标识a2和第三数据对应的唯一身份标识a3存储在预设数据库中。

上述方案，服务器通过计算待去重的第一目标数据对应的唯一身份标识，并根据第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第一目标数据进行去重处理，得到有效数据，且将有效数据对应的唯一身份标识存储在预设数据库中。由于根据预设的身份标识计算策略计算得到的数据的唯一身份标识为统一格式，因此，通过唯一身份标识来检测第一目标数据是否为重复数据，并对第一目标数据中的重复数据进行去重处理，能够节省数据去重处理的时间，提高数据去重处理的效率。

参见图2，图2是本发明另一实施例提供的一种处理数据的方法的示意流程图。本实施例中处理数据的方法的执行主体为服务器。如图2所示的处理数据的方法可以包括以下步骤：

s201：获取待去重的第一目标数据。

需要说明的是，本实施例中的步骤s201与图1对应的实施例中的步骤s101的实现方式完全相同，具体可参考图1对应的实施例中的步骤s101的相关描述，此处不再赘述。

需要说明的是，在本实施例中，服务器获取到的第一目标数据包括至少两条数据。

s202：根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识。

需要说明的是，本实施例中的步骤s202与图1对应的实施例中的步骤s102的实现方式完全相同，具体可参考图1对应的实施例中的步骤s102的相关描述，此处不再赘述。

需要说明的是，在本实施例中，服务器根据预设的身份标识计算策略计算第一目标数据各自对应的唯一身边标识。

s203：根据所述第一目标数据各自对应的唯一身份标识对所述第一目标数据进行去重处理，得到第二目标数据。

服务器计算出第一目标数据各自对应的唯一身份标识后，可以先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行去重处理。

进一步的，步骤s203可以包括以下步骤：

根据所述第一目标数据各自对应的唯一身份标识，检测所述第一目标数据中是否存在相同的数据；

若所述第一目标数据中的第一数据和第二数据为相同的数据，则保留所述第一数据或所述第二数据。

服务器根据第一目标数据各自对应的唯一身份标识检测第一目标数据中是否存在相同的数据。若第一目标数据中存在相同的数据，则服务器仅保留相同数据中的一个数据。其中，第一目标数据中可以存在两个相同的数据，也可以存在三个以上相同的数据，具体根据实际情况确定，此处不做限制。

例如，服务器若检测到第一目标数据中的第一数据和第二数据为相同的数据，则保留第一数据或第二数据。具体的，服务器若保留第一数据，则丢弃第二数据；服务器若保留第二数据，则丢弃第二数据。

服务器若检测到第一目标数据中的第一数据、第二数据及第三数据均为相同的数据，则服务器可以保留第一数据，或保留第二数据，或保留第三数据。具体的，服务器若保留第一数据，则丢弃第二数据和第三数据；服务器若保留第二数据，则丢弃第一数据和第三数据；服务器若保留第三数据，则丢弃第一数据和第二数据。

服务器根据第一目标数据各自对应的唯一身份标识对第一目标数据进行去重处理后得到第二目标数据，即对第一目标数据进行去重处理后剩余的第一目标数据即为第二目标数据。

其中，第二目标数据可以仅包括一条数据，也可以包括至少两条数据，具体根据实际情况确定，此处不做限制。

s204：根据所述第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第二目标数据进行去重处理，得到所述有效数据。

服务器对第一目标数据进行去重处理得到第二目标数据后，根据第二目标数据对应的以及预设数据库中存储的唯一身份标识对第二目标数据进行去重处理，得到有效数据。

其中，根据第二目标数据对应的以及预设数据库中存储的唯一身份标识对第二目标数据进行去重处理具体为，保留第二目标数据中没有与预设数据中存储的有效数据重复的数据，丢弃第二目标数据中与预设数据中存储的有效数据重复的数据。服务器对第二目标数据进行去重处理后剩余的第二目标数据即为有效数据。

在本实施例中，预设数据库可以为分布式存储系统。分布式存储系统采用可扩展的系统结构，利用多台存储设备分担存储负荷，即，分布式存储系统将数据分散存储在多台独立的设备上，各个独立设备之间通过网络建立连接。

在本实施例中，分布式存储系统可以为hadoop数据库(hadoopdatabase，hbase)。hbase具有快速写入和快速查询等特点。

进一步的，步骤s204可以包括以下步骤：

将所述第二目标数据对应的唯一身份标识发送至所述分布式存储系统；其中，所述第二目标数据对应的唯一身份标识用于所述分布式存储系统检测所述第二目标数据是否为重复数据；

接收所述分布式存储系统返回的检测结果；其中，所述检测结果用于标识所述第二目标数据是否为重复数据；

根据所述检测结果对所述第二目标数据进行去重处理；其中，若所述第二目标数据中的第三数据对应的检测结果为是，则丢弃所述第三数据；若所述第二目标数据中的第四数据对应的检测结果为否，则将所述第四数据对应的唯一身份标识存储在所述分布式存储系统中。

在本实施例中，服务器可以将第二目标数据各自对应的唯一身份标识发送至分布式存储系统。

分布式存储系统接收到服务器发送的第二目标数据各自对应的唯一身份标识后，根据第二目标数据对应的唯一身份标识检测第二目标数据是否为重复数据，即分布式存储系统检测第二目标数据对应的唯一身份标识是否与其已经存储的唯一身份标识重复。分布式存系统将检测结果发送至服务器。

其中，检测结果可以为布尔型数组。布尔型数组中的元素仅包括“是”或“否”。“是”用于标识第二目标数据为重复数据，“否”用于标识第二目标数据不是重复数据。例如，分布式存储系统若检测到第二目标数据中的第三数据为重复数据，即若检测到第三数据对应的唯一身份标识与已存储的某一唯一身份标识相同，则将第三数据对应的检测结果识别为“是”。分布式若检测到第二目标数据中的第四数据不是重复数据，即若检测已存储的唯一身份标识没有与第四数据对应的唯一身份标识相同的唯一身份标识，则将第四数据对应的检测结果识别为“否”。

服务器接收分布式存储系统返回的检测结果，并根据检测结果对第二目标数据进行去重处理。其中，检测结果用于标识第二目标数据是否为重复数据，即用于标识第二目标数据是否与已存储的数据重复。具体的，若第二目标数据中的第三数据对应的检测结果为“是”，则说明第三数据为重复数据，服务器丢弃第三数据；若第二目标数据中的第四数据对应的检测结果为“否”，则说明第四数据不是重复数据，服务器保留第四数据。

在本实施例中，服务器可以通过调用分布式存储系统的应用程序编程接口(applicationprogramminginterface，api)将第二目标数据对应的唯一身份标识发送至分布式存储系统，也可以通过分布式存储系统的api接收分布式存储系统返回的检测结果。

服务器根据检测结果对第二目标数据进行去重处理后即得到有效数据。即服务器对第二目标数据进行去重处理后剩余的第二目标数据即为有效数据。

s205：将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

需要说明的是，本实施例中的步骤s205与图1对应的实施例中的步骤s104的实现方式完全相同，具体可参考图1对应的实施例中的步骤s104的相关描述，此处不再赘述。

进一步的，处理数据的方法还可以包括以下步骤：

将所述有效数据发送至预设的分布式文件系统。

服务器将将有效数据对应的唯一身份标识存储在预设数据库中后，可以将有效数据发送至预设的分布式文件系统，以使预设的分布式文件系统对有效数据进行分析或存储。

其中，分布式文件系统是指文件系统所对应的物理存储资源不是直接连接在本地节点上，而是通过计算机网络与本地节点相连，即分布式文件系统将数据分散存储在多台独立的设备上，各个独立设置之间通过计算机网络进行连接。

在本实施例中，预设的分布式文件系统可以为hadoop分布式文件系统(hadoopdistributedfilesystem，hdfs)。

上述方案，服务器先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行去重处理，得到第二目标数据，再根据第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第二目标数据进行去重处理，得到有效数据。由于服务器在获取到第一目标数据后，先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行了一次去重处理，因此，减少了服务器向预设数据库发送数据的数据量，且由于服务器在本地对数据进行去重处理的时间远远小于从预设数据库中查询数据的时间，因此缩短了整个数据去重处理过程的时间，提高了数据去重处理的效率。

参见图3，图3是本发明实施例提供的一种服务器的示意性框图。服务器300可以为智能手机、平板电脑等移动服务器。本实施例的服务器300包括的各单元用于执行图1对应的实施例中的各步骤，具体请参阅图1及图1对应的实施例中的相关描述，此处不赘述。本实施例的服务器300包括获取单元301、计算单元302、去重单元303及第一存储单元304。

获取单元301用于获取待去重的第一目标数据。

计算单元302用于根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；

去重单元303用于根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；

第一存储单元304用于将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

上述方案，服务器通过计算待去重的第一目标数据对应的唯一身份标识，并根据第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第一目标数据进行去重处理，得到有效数据，且将有效数据对应的唯一身份标识存储在预设数据库中。由于根据预设的身份标识计算策略计算得到的数据的唯一身份标识为统一格式，因此，通过唯一身份标识来检测第一目标数据是否为重复数据，并对第一目标数据中的重复数据进行去重处理，能够节省数据去重处理的时间，提高数据去重处理的效率。

参见图4，图4是本发明另一实施例提供的一种服务器的示意性框图。服务器400可以为智能手机、平板电脑等移动服务器。本实施例的服务器400包括的各单元用于执行图2对应的实施例中的各步骤，具体请参阅图2及图2对应的实施例中的相关描述，此处不赘述。本实施例的服务器400包括获取单元401、计算单元402、去重单元403及第一存储单元404。

其中，去重单元403包括第一去重单元431和第二去重单元432。

获取单元401用于获取待去重的第一目标数据。

计算单元402用于根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识。

去重单元403用于根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复。

第一存储单元404用于将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

进一步的，去重单元403中的第一去重单元431用于根据所述第一目标数据各自对应的唯一身份标识对所述第一目标数据进行去重处理，得到第二目标数据。

第二去重单元432用于根据所述第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第二目标数据进行去重处理，得到所述有效数据。

进一步的，第一去重单元包括第一检测单元和第一处理单元。

第一检测单元，用于根据所述第一目标数据各自对应的唯一身份标识，检测所述第一目标数据中是否存在相同的数据。

第一处理单元，用于若所述第一目标数据中的第一数据和第二数据为相同的数据，则保留所述第一数据或所述第二数据。

进一步的，第二去重单元包括第一发送单元、接收单元及第二处理单元。

第一发送单元用于将所述第二目标数据对应的唯一身份标识发送至所述分布式存储系统；其中，所述第二目标数据对应的唯一身份标识用于所述分布式存储系统检测所述第二目标数据是否为重复数据。

接收单元用于接收所述分布式存储系统返回的检测结果；其中，所述检测结果用于标识所述第二目标数据是否为重复数据。

第二处理单元用于根据所述检测结果对所述第二目标数据进行去重处理；其中，若所述第二目标数据中的第三数据对应的检测结果为是，则丢弃所述第三数据；若所述第二目标数据中的第四数据对应的检测结果为否，则将所述第四数据对应的唯一身份标识存储在所述分布式存储系统中。

进一步的，终端400还包括第二发送单元。

第二发送单元用于将所述有效数据发送至预设的分布式文件系统。

上述方案，服务器先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行去重处理，得到第二目标数据，再根据第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第二目标数据进行去重处理，得到有效数据。由于服务器在获取到第一目标数据后，先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行了一次去重处理，因此，减少了服务器向预设数据库发送数据的数据量，且由于服务器在本地对数据进行去重处理的时间远远小于从预设数据库中查询数据的时间，因此缩短了整个数据去重处理过程的时间，提高了数据去重处理的效率。

参见图5，图5是本发明再一实施例提供的一种服务器的示意框图。如图5所示的本实施例中的服务器500可以包括：一个或多个处理器501、一个或多个输入设备502、一个或多个则输出设备503及一个或多个存储器504。上述处理器501、输入设备502、则输出设备503及存储器504通过通信总线505完成相互间的通信。存储器504用于存储计算机程序，所述计算机程序包括程序指令。处理器501用于执行存储器504存储的程序指令。其中，处理器501被配置用于调用所述程序指令执行以下操作：

处理器501用于获取待去重的第一目标数据。

处理器501还用于根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识。

处理器501还用于根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复。

处理器501还用于将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

处理器501具体用于根据所述第一目标数据各自对应的唯一身份标识对所述第一目标数据进行去重处理，得到第二目标数据。

处理器501具体用于根据所述第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第二目标数据进行去重处理，得到所述有效数据。

处理器501具体用于根据所述第一目标数据各自对应的唯一身份标识，检测所述第一目标数据中是否存在相同的数据。

处理器501具体用于若所述第一目标数据中的第一数据和第二数据为相同的数据，则保留所述第一数据或所述第二数据。

处理器501具体用于将所述第二目标数据对应的唯一身份标识发送至所述分布式存储系统；其中，所述第二目标数据对应的唯一身份标识用于所述分布式存储系统检测所述第二目标数据是否为重复数据。

处理器501具体用于接收所述分布式存储系统返回的检测结果；其中，所述检测结果用于标识所述第二目标数据是否为重复数据。

处理器501具体用于根据所述检测结果对所述第二目标数据进行去重处理；其中，若所述第二目标数据中的第三数据对应的检测结果为是，则丢弃所述第三数据；若所述第二目标数据中的第四数据对应的检测结果为否，则将所述第四数据对应的唯一身份标识存储在所述分布式存储系统中。

处理器501还用于将所述有效数据发送至预设的分布式文件系统。

上述方案，服务器先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行去重处理，得到第二目标数据，再根据第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第二目标数据进行去重处理，得到有效数据。由于服务器在获取到第一目标数据后，先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行了一次去重处理，因此，减少了服务器向预设数据库发送数据的数据量，且由于服务器在本地对数据进行去重处理的时间远远小于从预设数据库中查询数据的时间，因此缩短了整个数据去重处理过程的时间，提高了数据去重处理的效率。

应当理解，在本发明实施例中，所称处理器501可以是中央处理单元(centralprocessingunit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备502可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备503可以包括显示器(lcd等)、扬声器等。

该存储器504可以包括只读存储器和随机存取存储器，并向处理器501提供指令和数据。存储器504的一部分还可以包括非易失性随机存取存储器。例如，存储器504还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器501、输入设备502、输出设备503可执行本发明实施例提供的处理数据的方法的第一实施例和第二实施例中所描述的实现方式，也可执行本发明实施例所描述的服务器的实现方式，在此不再赘述。

在本发明的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：

获取待去重的第一目标数据；

根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；

根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；

将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

进一步的，所述计算机程序被处理器执行时还实现：

根据所述第一目标数据各自对应的唯一身份标识对所述第一目标数据进行去重处理，得到第二目标数据；

根据所述第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第二目标数据进行去重处理，得到所述有效数据。

进一步的，所述计算机程序被处理器执行时还实现：

根据所述第一目标数据各自对应的唯一身份标识，检测所述第一目标数据中是否存在相同的数据；

若所述第一目标数据中的第一数据和第二数据为相同的数据，则保留所述第一数据或所述第二数据。

进一步的，所述计算机程序被处理器执行时还实现：

将所述第二目标数据对应的唯一身份标识发送至所述分布式存储系统；其中，所述第二目标数据对应的唯一身份标识用于所述分布式存储系统检测所述第二目标数据是否为重复数据；

接收所述分布式存储系统返回的检测结果；其中，所述检测结果用于标识所述第二目标数据是否为重复数据；

根据所述检测结果对所述第二目标数据进行去重处理；其中，若所述第二目标数据中的第三数据对应的检测结果为是，则丢弃所述第三数据；若所述第二目标数据中的第四数据对应的检测结果为否，则将所述第四数据对应的唯一身份标识存储在所述分布式存储系统中。

进一步的，所述计算机程序被处理器执行时还实现：

将所述有效数据发送至预设的分布式文件系统。

上述方案先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行去重处理，得到第二目标数据，再根据第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第二目标数据进行去重处理，得到有效数据。由于服务器在获取到第一目标数据后，先根据第一目标数据各自对应的唯一身份标识对第一目标数据进行了一次去重处理，因此，减少了服务器向预设数据库发送数据的数据量，且由于服务器在本地对数据进行去重处理的时间远远小于从预设数据库中查询数据的时间，因此缩短了整个数据去重处理过程的时间，提高了数据去重处理的效率。

所述计算机可读存储介质可以是前述任一实施例所述的服务器的内部存储单元，例如服务器的硬盘或内存。所述计算机可读存储介质也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述计算机可读存储介质还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序及所述服务器所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的服务器和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的服务器和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。