一种数据处理的方法及装置与流程

本发明涉及计算机技术领域，特别涉及一种数据处理的方法及装置。

背景技术：

互联网网页数据具有分布广、格式多样、非结构化等大数据的特点，因此需要用特定的方式对互联网页面的数据进行采集、加工和存储等工作。互联网网页数据采集就是一个获取互联网网页内容的过程，通过分析从网页中抽取出用户需要的数据内容。并对抽取出来的数据内容通过内容和格式的转换和加工处理，存储用以满足用户的需求。

现有技术中，在获取网页中的数据时，用户找到需要获取的网页，操作相关工具从当前网页中提取出数据。

通过上述描述可见，现有技术中，获取网页中数据的效率较低。

技术实现要素：

本发明实施例提供了一种数据处理的方法及装置，能够提高获取网页中目标数据的效率。

一方面，本发明实施例提供了一种数据处理的方法，包括：

获取至少一个目标地址；

从每个所述目标地址对应的网页中，抽取每个所述目标地址对应的目标数据；

对各个所述目标地址对应的目标数据进行排重处理。

进一步地，所述对各个所述目标地址对应的目标数据进行排重处理，包括：

针对每个目标地址对应的目标数据，从当前目标数据中抽取预设数量个出现次数最多的关键词，确定每个所述关键词的出现次数；

计算每个所述关键词的哈希值；

根据公式一确定所述当前目标数据的每个所述关键词的关键词相似参数，其中，所述公式一为：

其中，W_i为所述当前目标数据的第j个关键词的第i个关键词相似参数，X_j,i为所述当前目标数据的所述第j个关键词的哈希值从右开始的第i位的值，N_j为所述当前目标数据的所述第j个关键词的出现次数；

根据公式二确定所述当前目标数据的每个目标数据相似参数，其中，所述公式二为：

其中，A_i为所述当前目标数据的第i个目标数据相似参数，n为所述预设数量；

根据公式三，确定所述当前目标数据的最终相似参数，其中，所述公式三为：

其中，B_i为所述当前目标数据的最终相似参数从右开始的第i位的值；

根据公式四，确定每两个所述目标地址对应的目标数据的综合相似参数，其中，所述公式四为：

C＝D xor F，

其中，D为第一目标数据的最终相似参数，F为第二目标数据的最终相似参数，C为所述第一目标数据和所述第二目标数据的综合相似参数；

判断每两个目标数据的综合相似参数中1的个数是否小于等于预设个数，如果是，确定当前两个目标数据相似，否则，确定当前两个目标数据不相似；

排除每两个相似的目标数据中的任意一个目标数据。

进一步地，在所述获取至少一个目标地址之前，进一步包括：

预先设置目标网站对应的地址解析规则；

所述获取至少一个目标地址，包括：

根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址。

进一步地，所述预先设置目标网站对应的地址解析规则，包括：

确定所述目标网站的地址构建规则；

根据所述地址构建规则，设置所述地址解析规则。

进一步地，所述根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址，包括：

根据所述地址解析规则，解析出所述目标网址对应的至少一个待处理地址；

对所述至少一个待处理地址进行排重处理，将排重处理后剩余的待处理地址作为所述目标地址。

另一方面，本发明实施例提供了一种数据处理的装置，包括：

获取单元，用于获取至少一个目标地址；

抽取单元，用于从每个所述目标地址对应的网页中，抽取每个所述目标地址对应的目标数据；

排重单元，用于对各个所述目标地址对应的目标数据进行排重处理。

进一步地，所述排重单元，具体用于：

针对每个目标地址对应的目标数据，从当前目标数据中抽取预设数量个出现次数最多的关键词，确定每个所述关键词的出现次数；

计算每个所述关键词的哈希值；

根据公式一确定所述当前目标数据的每个所述关键词的关键词相似参数，其中，所述公式一为：

其中，W_i为所述当前目标数据的第j个关键词的第i个关键词相似参数，X_j,i为所述当前目标数据的所述第j个关键词的哈希值从右开始的第i位的值，N_j为所述当前目标数据的所述第j个关键词的出现次数；

根据公式二确定所述当前目标数据的每个目标数据相似参数，其中，所述公式二为：

其中，A_i为所述当前目标数据的第i个目标数据相似参数，n为所述预设数量；

根据公式三，确定所述当前目标数据的最终相似参数，其中，所述公式三为：

其中，B_i为所述当前目标数据的最终相似参数从右开始的第i位的值；

根据公式四，确定每两个所述目标地址对应的目标数据的综合相似参数，其中，所述公式四为：

C＝D xor F，

其中，D为第一目标数据的最终相似参数，F为第二目标数据的最终相似参数，C为所述第一目标数据和所述第二目标数据的综合相似参数；

判断每两个目标数据的综合相似参数中1的个数是否小于等于预设个数，如果是，确定当前两个目标数据相似，否则，确定当前两个目标数据不相似；

排除每两个相似的目标数据中的任意一个目标数据。

进一步地，进一步包括：设置单元，用于设置目标网站对应的地址解析规则；

所述获取单元，用于根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址。

进一步地，所述设置单元，用于确定所述目标网站的地址构建规则，根据所述地址构建规则，设置所述地址解析规则。

进一步地，所述所述获取单元，用于根据所述地址解析规则，解析出所述目标网址对应的至少一个待处理地址，对所述至少一个待处理地址进行排重处理，将排重处理后剩余的待处理地址作为所述目标地址。

在本发明实施例中，获取至少一个目标地址，从每个目标地址对应的网页中，抽取用户所需要的目标数据，对抽取的目标数据进行排重处理，无需用户对每个网页通过操作相关工具来抽取数据，提高了获取网页中目标数据的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种数据处理的方法的流程图；

图2是本发明一实施例提供的另一种数据处理的方法的流程图；

图3是本发明一实施例提供的一种数据处理的装置的示意图；

图4是本发明一实施例提供的另一种数据处理的装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种数据处理的方法，该方法可以包括以下步骤：

步骤101：获取至少一个目标地址；

步骤102：从每个所述目标地址对应的网页中，抽取每个所述目标地址对应的目标数据；

步骤103：对各个所述目标地址对应的目标数据进行排重处理。

在本发明实施例中，获取至少一个目标地址，从每个目标地址对应的网页中，抽取用户所需要的目标数据，对抽取的目标数据进行排重处理，无需用户对每个网页通过操作相关工具来抽取数据，提高了获取网页中目标数据的效率。

在本发明一实施例中，所述对各个所述目标地址对应的目标数据进行排重处理，包括：

针对每个目标地址对应的目标数据，从当前目标数据中抽取预设数量个出现次数最多的关键词，确定每个所述关键词的出现次数；

计算每个所述关键词的哈希值；

根据公式一确定所述当前目标数据的每个所述关键词的关键词相似参数，其中，所述公式一为：

其中，W_i为所述当前目标数据的第j个关键词的第i个关键词相似参数，X_j,i为所述当前目标数据的所述第j个关键词的哈希值从右开始的第i位的值，N_j为所述当前目标数据的所述第j个关键词的出现次数；

根据公式二确定所述当前目标数据的每个目标数据相似参数，其中，所述公式二为：

其中，A_i为所述当前目标数据的第i个目标数据相似参数，n为所述预设数量；

根据公式三，确定所述当前目标数据的最终相似参数，其中，所述公式三为：

其中，B_i为所述当前目标数据的最终相似参数从右开始的第i位的值；

根据公式四，确定每两个所述目标地址对应的目标数据的综合相似参数，其中，所述公式四为：

C＝D xor F，

其中，D为第一目标数据的最终相似参数，F为第二目标数据的最终相似参数，C为所述第一目标数据和所述第二目标数据的综合相似参数；

判断每两个目标数据的综合相似参数中1的个数是否小于等于预设个数，如果是，确定当前两个目标数据相似，否则，确定当前两个目标数据不相似；

排除每两个相似的目标数据中的任意一个目标数据。

在本发明实施例中，通过公式一、公式二和公式三确定出每个目标地址对应的目标数据的最终相似参数。根据公式四，确定出每两个目标数据对应的综合相似参数，通过每两个目标数据对应的综合相似参数中1的个数来确定每两个目标数据是否相似。每个关键词的哈希值为一个二进制数。最终相似参数也是一个二进制数。每两个目标数据对应一个综合相似参数。预设个数可以为3。举例来说，当前目标数据是一段文字，从中抽取出3个关键词分别是：“网页”“算法”“数据”，出现次数分别是：6次，3次，2次。计算出“网页”这个关键词的哈希值为：101101，根据公式一，计算出“网页”这个关键词的关键词相似参数依次为：-6，6，-6，-6，6，-6。计算出“算法”这个关键词的哈希值为：011001，根据公式一，计算出“算法”这个关键词的关键词相似参数依次为：3，-3，-3，3，3，-3。计算出“数据”这个关键词的哈希值为：110001，根据公式一，计算出“数据”这个关键词的关键词相似参数依次为：-2，-2，2，2，2，-2。根据公式二，计算出当前目标数据的第1个目标数据相似参数为(-6)+3+(-2)＝-5。其他的目标数据相似参数依次为：1，-7，-1，11，-11。根据公式三，确定当前目标数据的最终相似参数为：010010。假设计算出第一目标数据的最终相似参数为：010010，第二目标数据的最终相似参数为：110110。根据公式四，计算出第一目标数据和第二目标数据对应的综合相似参数为：100100。当预设个数为3时，由于第一目标数据和第二目标数据对应的综合相似参数中1的个数为2小于3，所以确定第一目标数据和第二目标数据相似。需要对第一目标数据和第二目标数据进行排重处理。排除每两个相似的目标数据中的任意一个目标数据，具体包括：删除两个相似的目标数据中的任意一个目标数据。以上述的第一目标数据和第二目标数据为例，可以删除第一目标数据或第二目标数据。

在本发明一实施例中，在所述获取至少一个目标地址之前，进一步包括：

预先设置目标网站对应的地址解析规则；

所述获取至少一个目标地址，包括：

根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址。

在本发明实施例中，一个目标网站中可能有多个网页，每个网页有对应的目标地址，通过设置目标网站的地址解析规则，无需知道目标网站的所有目标地址，即可通过地址解析规则解析出该目标网站的目标地址。用户无需手动查找每个目标地址，提高了抽取网页中目标数据的效率。

在本发明一实施例中，所述预先设置目标网站对应的地址解析规则，包括：

确定所述目标网站的地址构建规则；

根据所述地址构建规则，设置所述地址解析规则。

在本发明实施例中，地址构建规则是指目标网站中网址的格式，例如：网址由主域名、多级子域名、多级目录构成。

在本发明一实施例中，所述根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址，包括：

根据所述地址解析规则，解析出所述目标网址对应的至少一个待处理地址；

对所述至少一个待处理地址进行排重处理，将排重处理后剩余的待处理地址作为所述目标地址。

在本发明实施例中，通过地址解析规则解析出的至少一个待处理地址中可能存在重复的地址，为了避免重复抽取相同的网页，对待处理地址进行排重处理，能够加快目标数据的抽取速度。具体地，可以通过布隆过滤器实现对至少一个待处理地址的排重处理。

在获取目标数据后，还可以对目标数据进行整合处理，也就是将获取的目标数据通过某组关键字建立对应关系，其实质是关键字之间的匹配，使得用户可以通过关键字来查找所需要的目标数据。

另外，在对各个目标地址对应的目标数据进行排重处理时，可以通过Simhash算法进行排重处理。

如图2所示，本发明实施例提供了一种数据处理的方法，该方法可以包括以下步骤：

步骤201：获取至少一个目标地址。

具体地，至少一个目标地址可以是至少一个url(Uniform Resource Locator，统一资源定位符)地址。可以将至少一个url地址存储到url队列中。可以通过web爬虫从url队列中获取目标地址进行处理。

步骤202：从每个目标地址对应的网页中，抽取每个目标地址对应的目标数据。

具体地，可以通过web爬虫从目标地址对应的网页抽取目标数据。在抽取当前网页的目标数据时可以根据预设的抽取规则来抽取。其中，抽取规则可以包括：根据网站中网页的模板中，抽取模板中指定模块中的目标数据，这里的指定模块可以是面积最大的模块。

步骤203：分别从每个目标数据中抽取预设数量个出现次数最多的关键词，分别确定每个目标数据中每个关键词的出现次数。

步骤204：分别计算每个目标数据中每个关键词的哈希值。

具体地，可以通过MD2、MD4、MD5和SHA-1等哈希算法计算哈希值。

步骤205：根据公式一确定每个目标数据的每个关键词的关键词相似参数。

其中，公式一为：

其中，W_i为当前目标数据的第j个关键词的第i个关键词相似参数，X_j,i为当前目标数据的第j个关键词的哈希值从右开始的第i位的值，N_j为第j个关键词的出现次数。

步骤206：根据公式二确定每个目标数据的每个目标数据相似参数。

其中，公式二为：

其中，A_i为当前目标数据的第i个目标数据相似参数，n为预设数量。

步骤207：根据公式三，确定每个目标数据的最终相似参数。

其中，公式三为：

其中，B_i为当前目标数据的最终相似参数从右开始的第i位的值。

步骤208：根据公式四，确定每两个目标地址对应的目标数据的综合相似参数。

其中，公式四为：

C＝D xor F，

其中，D为第一目标数据的最终相似参数，F为第二目标数据的最终相似参数，C为第一目标数据和第二目标数据的综合相似参数。

步骤209：确定每两个目标数据的综合相似参数中1的个数，在当前两个目标数据的综合相似参数中1的个数小于等于预设个数时，确定当前两个目标数据相似，在当前两个目标数据的综合相似参数中1的个数大于预设个数时，确定当前两个目标数据不相似。

步骤210：排除每两个相似的目标数据中的任意一个目标数据。

具体地，可以删除两个相似的目标数据中的一个。可以将排重处理后的目标数据存储到数据库中。

另外，周期性检测每个目标地址对应的网页的源代码是否发生改变，如果是，则重新从源代码发生改变的网页中抽取对应的目标数据。

在本发明实施例中，可以对不同类型的目标数据进行采集，比如股票信息、电商数据、论坛博客等。用户可自定义网页上自己需要的数据内容，比如时间、标题、正文等。支持翻页网页的数据采集。网页信息维护自动化，抓取页面内容有所改变时系统会自动更新并对新内容进行采集。保证良好的兼容性，支持跨平台

在本发明实施例中，可以依据用户事前配置好的规则进行数据采集工作，包括网页下载规则和地址解析规则以及抽取规则等。并采用分布式处理，由采集平台将配置好的采集任务传送到不同的服务器上，对网站的大量数据开始采集工作并提供实时监控功能。同时采集平台可以对服务器集群进行监控、管理、分析等操作。

如图3、图4所示，本发明实施例提供了一种数据处理的装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的一种数据处理的装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的一种数据处理的装置，包括：

获取单元401，用于获取至少一个目标地址；

抽取单元402，用于从每个所述目标地址对应的网页中，抽取每个所述目标地址对应的目标数据；

排重单元403，用于对各个所述目标地址对应的目标数据进行排重处理。

在本发明一实施例中，所述排重单元，具体用于：

针对每个目标地址对应的目标数据，从当前目标数据中抽取预设数量个出现次数最多的关键词，确定每个所述关键词的出现次数；

计算每个所述关键词的哈希值；

根据公式一确定所述当前目标数据的每个所述关键词的关键词相似参数，其中，所述公式一为：

其中，W_i为所述当前目标数据的第j个关键词的第i个关键词相似参数，X_j,i为所述当前目标数据的所述第j个关键词的哈希值从右开始的第i位的值，N_j为所述当前目标数据的所述第j个关键词的出现次数；

根据公式二确定所述当前目标数据的每个目标数据相似参数，其中，所述公式二为：

其中，A_i为所述当前目标数据的第i个目标数据相似参数，n为所述预设数量；

根据公式三，确定所述当前目标数据的最终相似参数，其中，所述公式三为：

其中，B_i为所述当前目标数据的最终相似参数从右开始的第i位的值；

根据公式四，确定每两个所述目标地址对应的目标数据的综合相似参数，其中，所述公式四为：

C＝D xor F，

其中，D为第一目标数据的最终相似参数，F为第二目标数据的最终相似参数，C为所述第一目标数据和所述第二目标数据的综合相似参数；

判断每两个目标数据的综合相似参数中1的个数是否小于等于预设个数，如果是，确定当前两个目标数据相似，否则，确定当前两个目标数据不相似；

排除每两个相似的目标数据中的任意一个目标数据。

在本发明一实施例中，该装置进一步包括：设置单元，用于设置目标网站对应的地址解析规则；

所述获取单元，用于根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址。

在本发明一实施例中，所述设置单元，用于确定所述目标网站的地址构建规则，根据所述地址构建规则，设置所述地址解析规则。

在本发明一实施例中，所述所述获取单元，用于根据所述地址解析规则，解析出所述目标网址对应的至少一个待处理地址，对所述至少一个待处理地址进行排重处理，将排重处理后剩余的待处理地址作为所述目标地址。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明各个实施例至少具有如下有益效果：

1、在本发明实施例中，获取至少一个目标地址，从每个目标地址对应的网页中，抽取用户所需要的目标数据，对抽取的目标数据进行排重处理，无需用户对每个网页通过操作相关工具来抽取数据，提高了获取网页中目标数据的效率。

2、在本发明实施例中，一个目标网站中可能有多个网页，每个网页有对应的目标地址，通过设置目标网站的地址解析规则，无需知道目标网站的所有目标地址，即可通过地址解析规则解析出该目标网站的目标地址。用户无需手动查找每个目标地址，提高了抽取网页中目标数据的效率。

3、在本发明实施例中，通过地址解析规则解析出的至少一个待处理地址中可能存在重复的地址，为了避免重复抽取相同的网页，对待处理地址进行排重处理，能够加快目标数据的抽取速度。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃·····”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。