一种用于获取页面相似度的方法与设备与流程

技术特征：

1.一种计算机实现的用于获取页面相似度的方法，该方法包括以下步骤：

a1确定一个页面中的一个或多个页面块与另一页面中的一个或多个页面块的块对应关系；

a2根据所述块对应关系，对所述一个页面与所述另一个页面的对应的页面块进行比较，以确定块相似度；

-当所述一个页面中的一个或多个页面块与所述另一页面中的一个或多个页面块不一一对应，且所述不对应的页面块的类型不相同时，根据所述不对应的页面块的类型，基于预定判断规则，判断是否保留所述不对应的页面块的权重；

b根据两个页面中保留的各个页面块的权重及所述块相似度，加权确定所述两个页面的页面相似度。

2.根据权利要求1所述的方法，其中，所述步骤a2包括：

a21当所述一个页面中的一个或多个页面块与所述另一页面中的一个或多个页面块不一一对应时，将所述一个页面中类型相同的页面块及所述另一页面中类型相同的页面块分别进行合并，以使得所述一个页面中的一个或多个页面块与所述另一页面中的一个或多个页面块相对应；

a22根据所述两个页面中合并后的一一对应的页面块，以确定所述一个页面中与所述另一页面中相对应的页面块的块相似度。

3.根据权利要求1所述的方法，其中，该方法还包括：

-根据所述不对应的页面块的块类型，来确定所述页面块的质量信息；

其中，所述基于预定判断规则判断是否保留不对应的页面块的权重的步骤包括：

-当判断所述不对应的页面块的质量指数大于预定质量指数阈值，则保留所述不对应的页面块的权重，以用于确定所述两个页面的页面相似度；

-当判断所述不对应的页面块质量指数小于预定质量指数阈值，则不保留所述不对应的页面块的权重。

4.根据权利要求1至3任一项所述的方法，其中，所述步骤b包括：

b1根据所述各个页面块的相关信息，基于预定权重规则，确定所述各个页面块的权重；

b2根据所述各个页面块的权重及所述块相似度，加权确定所述两个页面的页面相似度。

5.根据权利要求4所述的方法，其中，所述页面块相关信息包括以下至少任一项：

-页面块类型；

-页面块在所属页面中的位置信息；

-页面块在所属页面中的面积比例；

其中，基于预定权重规则获取所述各个页面块的权重的方式包括：

-根据所述页面块的相关信息，在预定权重查询表中进行匹配查询，以确定所述页面块的权重。

6.根据权利要求1至3任一项所述的方法，其中，所述页面块包括以下至少任一项：

-标题块；

-正文块；

-图片块；

-超文本链接块；

-广告块。

7.一种用于获取页面相似度的设备，该设备包括：

第一相似度确定装置以及第二相似度确定装置，其中，

所述第一相似度确定装置，用于确定一个页面中的一个或多个页面块与另一页面中的一个或多个页面块之间的块相似度；

其中，所述第一相似度确定装置包括：

对应关系确定单元，用于确定所述一个页面中的一个或多个页面块与所述另一页面中的一个或多个页面块的块对应关系；

第三相似度确定单元，用于根据所述块对应关系，对所述一个页面与所述另一个页面的对应的页面块进行比较，以确定所述块相似度；以及，

当所述一个页面中的一个或多个页面块与所述另一页面中的一个或多个页面块不一一对应，且所述不对应的页面块的类型不相同时，根据所述不对应的页面块的类型，基于预定判断规则，判断是否保留所述不对应的页面块的权重；

所述第二相似度确定装置，用于根据两个页面中保留的各个页面块的权重及所述块相似度，加权确定所述两个页面的页面相似度。

8.根据权利要求7所述的设备，其中，所述第三相似度确定单元包括：

合并单元，用于当所述一个页面中的一个或多个页面块与所述另一页面中的一个或多个页面块不一一对应时，将所述一个页面中类型相同的页面块及所述另一页面中类型相同的页面块分别进行合并，以使得所述一个页面中的一个或多个页面块与所述另一页面中的一个或多个页面块相对应；

第四相似度确定单元，用于根据所述两个页面中合并后的一一对应的页面块，以确定所述一个页面中与所述另一页面中相对应的页面块的块相似度。

9.根据权利要求7所述的设备，其中，该设备还包括：

质量信息确定装置，用于根据所述不对应的页面块的类型，来确定所述页面块的质量信息；

其中，所述基于预定判断规则判断是否保留不对应的页面块的权重的步骤包括：

-当判断所述不对应的页面块的质量指数大于预定质量指数阈值，则保留所述不对应的页面块的权重，以用于确定所述两个页面的页面相似度；

-当判断所述不对应的页面块质量指数小于预定质量指数阈值，则不保留所述不对应的页面块的权重。

10.根据权利要求7至9任一项所述的设备，其中，所述第二相似度确定装置包括：

权重确定单元，用于根据所述各个页面块的相关信息，基于预定权重规则，确定所述各个页面块的权重；

第五相似度确定单元，用于根据所述各个页面块的权重及所述块相似度，加权确定所述两个页面的页面相似度。

11.根据权利要求10所述的设备，其中，所述页面块相关信息包括以下至少任一项：

-页面块类型；

-页面块在所属页面中的位置信息；

-页面块在所属页面中的面积比例；

其中，基于预定权重规则获取所述各个页面块的权重的方式包括：

-根据所述页面块的相关信息，在预定权重查询表中进行匹配查询，以确定所述页面块的权重。

12.根据权利要求7至9任一项所述的设备，其中，所述页面块包括以下至少任一项：

-标题块；

-正文块；

-图片块；

-超文本链接块；

-广告块。