一种数据处理的方法及装置与流程

技术特征：

1.一种数据处理的方法，其特征在于，包括：

获取至少一个目标地址；

从每个所述目标地址对应的网页中，抽取每个所述目标地址对应的目标数据；

对各个所述目标地址对应的目标数据进行排重处理。

2.根据权利要求1所述的方法，其特征在于，

所述对各个所述目标地址对应的目标数据进行排重处理，包括：

针对每个目标地址对应的目标数据，从当前目标数据中抽取预设数量个出现次数最多的关键词，确定每个所述关键词的出现次数；

计算每个所述关键词的哈希值；

根据公式一确定所述当前目标数据的每个所述关键词的关键词相似参数，其中，所述公式一为：

$W_{j,i}={(-1)}^{X_{j,i}}{N}_j,$

其中，W_i为所述当前目标数据的第j个关键词的第i个关键词相似参数，X_j,i为所述当前目标数据的所述第j个关键词的哈希值从右开始的第i位的值，N_j为所述当前目标数据的所述第j个关键词的出现次数；

根据公式二确定所述当前目标数据的每个目标数据相似参数，其中，所述公式二为：

$A_i=\underset{j=1}{\overset{n}{\Σ}}{W}_{j,i},$

其中，A_i为所述当前目标数据的第i个目标数据相似参数，n为所述预设数量；

根据公式三，确定所述当前目标数据的最终相似参数，其中，所述公式三为：

$B_i=\left\{\begin{array}{cc}1,& A_i\>0\\ 0,& A_i\≤0\end{array}\right.,$

其中，B_i为所述当前目标数据的最终相似参数从右开始的第i位的值；

根据公式四，确定每两个所述目标地址对应的目标数据的综合相似参数，其中，所述公式四为：

C＝D xor F，

其中，D为第一目标数据的最终相似参数，F为第二目标数据的最终相似参数，C为所述第一目标数据和所述第二目标数据的综合相似参数；

判断每两个目标数据的综合相似参数中1的个数是否小于等于预设个数，如果是，确定当前两个目标数据相似，否则，确定当前两个目标数据不相似；

排除每两个相似的目标数据中的任意一个目标数据。

3.根据权利要求1所述的方法，其特征在于，

在所述获取至少一个目标地址之前，进一步包括：

预先设置目标网站对应的地址解析规则；

所述获取至少一个目标地址，包括：

根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址。

4.根据权利要求3所述的方法，其特征在于，

所述预先设置目标网站对应的地址解析规则，包括：

确定所述目标网站的地址构建规则；

根据所述地址构建规则，设置所述地址解析规则。

5.根据权利要求3或4所述的方法，其特征在于，

所述根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址，包括：

根据所述地址解析规则，解析出所述目标网址对应的至少一个待处理地址；

对所述至少一个待处理地址进行排重处理，将排重处理后剩余的待处理地址作为所述目标地址。

6.一种数据处理的装置，其特征在于，包括：

获取单元，用于获取至少一个目标地址；

抽取单元，用于从每个所述目标地址对应的网页中，抽取每个所述目标地址对应的目标数据；

排重单元，用于对各个所述目标地址对应的目标数据进行排重处理。

7.根据权利要求6所述的装置，其特征在于，

所述排重单元，具体用于：

针对每个目标地址对应的目标数据，从当前目标数据中抽取预设数量个出现次数最多的关键词，确定每个所述关键词的出现次数；

计算每个所述关键词的哈希值；

根据公式一确定所述当前目标数据的每个所述关键词的关键词相似参数，其中，所述公式一为：

$W_{j,i}={(-1)}^{X_{j,i}}{N}_j,$

其中，W_i为所述当前目标数据的第j个关键词的第i个关键词相似参数，X_j,i为所述当前目标数据的所述第j个关键词的哈希值从右开始的第i位的值，N_j为所述当前目标数据的所述第j个关键词的出现次数；

根据公式二确定所述当前目标数据的每个目标数据相似参数，其中，所述公式二为：

$A_i=\underset{j=1}{\overset{n}{\Σ}}{W}_{j,i},$

其中，A_i为所述当前目标数据的第i个目标数据相似参数，n为所述预设数量；

根据公式三，确定所述当前目标数据的最终相似参数，其中，所述公式三为：

$B_i=\left\{\begin{array}{cc}1,& A_i\>0\\ 0,& A_i\≤0\end{array}\right.,$

其中，B_i为所述当前目标数据的最终相似参数从右开始的第i位的值；

根据公式四，确定每两个所述目标地址对应的目标数据的综合相似参数，其中，所述公式四为：

C＝D xor F，

其中，D为第一目标数据的最终相似参数，F为第二目标数据的最终相似参数，C为所述第一目标数据和所述第二目标数据的综合相似参数；

判断每两个目标数据的综合相似参数中1的个数是否小于等于预设个数，如果是，确定当前两个目标数据相似，否则，确定当前两个目标数据不相似；

排除每两个相似的目标数据中的任意一个目标数据。

8.根据权利要求6所述的装置，其特征在于，

进一步包括：设置单元，用于设置目标网站对应的地址解析规则；

所述获取单元，用于根据所述地址解析规则，确定所述目标网站对应的至少一个目标地址。

9.根据权利要求8所述的装置，其特征在于，

所述设置单元，用于确定所述目标网站的地址构建规则，根据所述地址构建规则，设置所述地址解析规则。

10.根据权利要求8或9所述的装置，其特征在于，

所述所述获取单元，用于根据所述地址解析规则，解析出所述目标网址对应的至少一个待处理地址，对所述至少一个待处理地址进行排重处理，将排重处理后剩余的待处理地址作为所述目标地址。