近重复记录的相似度评估方法
【技术领域】
[0001] 本发明涉及到大数据下近重复记录识别技术，涉及到记录间相似度的评估方法。
【背景技术】
[0002] 在大数据时代下，集成各种各样不同来源的数据是产生数据价值最基础的一环， 而对近重复记录识别的消重工作是最核心的步骤。通常，一个记录通常由多个属性值构成， 现有的识别方法主要可以归为以下几类：（1)基于概率匹配的方法，该方法使用条件独立 假设或者广义的期望最大化（EM,ExpectationMaximization)算法来推断单个记录对之 间是否匹配的概率，每个观察值就是记录中属性的值；（2)基于距离的方法，它使用不同的 相似度度量去计算属性层之间的相似性并通过为属性设置不同的权重来获得记录间的相 似度，然后使用一个适当的匹配阈值去判断记录是否一样；（3)基于机器学习的方法，该方 法从记录数据中抽取相似度特征，然后使用机器学习方法去学习如何匹配记录；（4)基于 聚类的方法，它使用记录的相似矩阵把记录归入到不同的簇中，而在同一个簇中的记录则 认为是近似重复记录或者潜在的近似重复记录；上述这些方法其实质上是计算记录的各属 性的相似性度，为了克服一词多写，错写等情况，许多高容忍度的属性相似度度量方式被提 出，例如，针对声音匹配的Soundex相似度度量。然而，每种方法都只针对特定的变量类型 较为有效，对于缺失值或者噪声值的处理效果不好，尤其是互联网上的数据。
【发明内容】
[0003] 本发明的目的是针对现有技术的不足而提供的一种近重复记录相似度评估方法， 该方法使用了属性间和记录间相似度相互传播的方法来评估记录间潜在的相似度，提升相 似度评估的准确性，克服了缺失值，噪音值等无法修正错误所带来的影响。
[0004] 实现本发明目的的具体技术方案是：
[0005] 一种近重复记录相似度评估方法，包括如下步骤：
[0006] 步骤一：对待消重的大数据集进行分块操作，得到许多较小的数据块；
[0007] 步骤二：针对每个数据块，初始化属性层和记录层的相似度；
[0008] 步骤三：如果未满足迭代停止条件，则使用记录层相似度去更新属性层相似度和 使用属性层相似度去更新记录层的相似度；
[0009] 步骤四：输出属性层和记录层的相似度。
[0010] 本发明提出所述的近重复记录相似度评估方法中，步骤一中的分块操作包括以下 步骤：
[0011] 步骤al:评估记录属性字段的重要性，可以人工设定每个属性的重要性或者使用 自动化的方式设定，选取一个或者多个属性作为关键属性；
[0012] 步骤a2 :根据关键属性，使用合并聚类（agglomerativeclustering)来对记录进 行快速聚类，每一簇的数据划分成为一个数据块。
[0013] 本发明提出所述的近重复记录相似度评估方法中，步骤二中的初始化包括以下步 骤：
[0014] 步骤bl:选择合适的相似度度量函数来计算属性的相似度，如果属性值存在缺 失，则使用其他属性值对的相似度来评估该属性对的相似度；
[0015] 步骤b2 :根据上一步计算出来的属性相似度，计算记录间的相似度。
[0016] 本发明提出所述的近重复记录相似度评估方法中，步骤三中更新属性层和记录层 的相似度操作包括以下步骤：
[0017] 步骤cl:检查迭代停止条件，如果满足条件，转到本方法的步骤四，否则继续以下 步骤；
[0018] 步骤c2 :查找相似的属性簇并找到对应的记录，将记录间的相似度添加到计算属 性相似度的过程中；
[0019] 步骤c3 :查找相似的记录簇，使用更新的属性相似度和相似记录对的相似度去更 新记录间相似度，转到步骤cl。
[0020] 本发明与现有技术不同之处有：一、本方法通过属性层的相似度估计和记录层的 相似性估计之间的互相提升来达到更准确地估计记录间的相似性的目的，克服由缺失值和 噪声值带来的相似度计算不准确的问题。在计算属性层相似度时，通过考虑相似属性簇的 记录对的相似度，从而完成记录层和属性层相似度的传播。二、本方法是个无监督的算法， 不像基于机器学习的方法需要训练数据，从而避免了人工标注数据所带来的成本，并且通 过本方法得到的记录间的相似度可以灵活地集成到一些现存的基于聚类的或者基于距离 的消重系统框架中。
[0021] 本发明的有益效果包括：使用了属性间和记录间相似度相互传播的方法来评估记 录间潜在的相似度，提升相似度评估的准确性，克服了缺失值，噪音值等无法修正错误所带 来的影响。并且该方法也可以得到属性间的相似度，可以被许多下游应用所使用，比如挖掘 同义词。
【附图说明】
[0022] 图1是本发明方法的近重复记录的相似度评估流程图；
[0023] 图2是本发明方法中一个包含复杂文本类型的记录示例图。
【具体实施方式】
[0024] 结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、 条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发 明没有特别限制内容。
[0025] 本发明中所涉及的专业术语的定义如下：
[0026]记录（record)由一些属性构成，用来反映自然界中的一个实体（entity)，图2展 示了一个包含复杂文本类型的记录的示例图。
[0027] 属性（attribute)是记录的一部分，用来刻画实体固有的性质，也可以称为字段 (field)。
[0028] 消重（deduplication)是指在记录集合中，找到指向同一实体的记录的操作。
[0029] 属性层相似度是指属性间的相似度。
[0030] 记录层相似度是指记录间的相似度。
[0031] 由于在现实生产环境中，记录数据的