来自潜在关系数据的实体扩充服务的制作方法
【专利摘要】本发明涉及提供用于扩充与实体-属性-相关的任务的数据。对从web提取的实体-属性表格执行预处理，例如以提供可被访问来寻找完成扩充任务的数据的索引。索引基于表格之间的直接映射和间接映射两者。示例扩充任务包括基于属性名称或示例对被扩充的数据的查询，或寻找用于扩充的同义词。通过访问索引来返回与任务相关的被扩充的数据以高效地处理在线查询。
【专利说明】来自潜在关系数据的实体扩充服务
[0001] 背景
[0002] 信息工作者（用户）与包括提及各种实体的文档、电子表格、数据库等一起工作。 例如，电子表格用户可具有相机型号列表，或者数据库用户可具有公司表格。用户可能想要 与一个实体或多个实体有关的附加信息。
[0003] 作为示例，用户可能需要填充附加信息以完成任务。作为更具体的示例，为了帮助 作出决策，用户可被分配通过填充每个相机型号的各个属性（诸如品牌、分辨率、价格和光 学变焦）来扩充包括相机型号的电子表格的任务。当今为了完成这样的实体扩充任务，用 户手动地尝试寻找包括所需信息的web源并将找到的对应数据值与现有的数据合并来组 装完整的数据集。
[0004] 也通常会产生与扩充数据有关的其他任务。由此一般地，用户可从协助用户执行 这样的任务的自动化解决方案中受益。然而，现有的方式一般在以下方面不是令人满意的： 它们的数据精确水平（扩充的数据经常是错的）以及回调（扩充的数据经常不能被找到， 例如，由于差的覆盖）。由此，对这些和其他这样的任务提供在合理的所需程度上对用户进 行帮助的自动化解决方案是合乎需要的。
【发明内容】
[0005] 提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表 性概念。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制 所要求保护的主题的范围的任何方式来使用。
[0006] 简而言之，在此描述的主题的各方面涉及通过其基于从至少一个语料库中挖掘的 实体和属性之间的直接和间接关系来处理扩充任务的技术。访问被处理成索引的基于关系 的数据来寻找完成扩充任务的数据。
[0007] 示例扩充任务包括对被扩充的数据的查询，诸如其中查询标识实体集（或更多实 体）和属性名称的一个查询，并且其中使用基于关系的数据来完成扩充任务包括查找针对 该实体集的每一实体的至少一个属性值，和/或其中查询标识实体集和一个或多个属性值 示例的一个查询，并且其中使用基于关系的数据来完成扩充任务包括基于该一个或多个 属性示例来查找针对该实体集的至少一个实体的至少一个属性值。另一任务查询同义词数 据，其中查询标识实体名称，并且其中基于关系的数据被查找来寻找针对属性名称的至少 一个同义词。
[0008] 在一个方面，服务被配置成处理与领域无关的实体扩充任务，包括将从至少一个 语料库获得的关系表格预处理成多个索引。索引包括基于表格的至少一些之间的间接映射 的数据。服务用经由索引获得的数据对对应于实体扩充任务的查询进行响应，包括经由索 引标识种子表格，计算每个种子表格的分数，基于种子表格的矢量来计算偏好矢量，基于偏 好矢量和与关系表格中的至少一些相关联的矢量来计算预测分数，聚集分数，并基于对分 数的聚集来返回最终预测以完成实体扩充任务来对查询进行响应。
[0009] 结合附图阅读以下【具体实施方式】，本发明的其他优点会变得显而易见。
【专利附图】
【附图说明】
[0010] 作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或 相似的元素，附图中：
[0011] 图1是表示根据一个示例实现的实体属性扩充服务的示例组件的框图。
[0012] 图2是表示根据一个示例实现的在实体属性扩充中使用的示例查询表格、种子表 格和相关web表格之间映射的框图。
[0013] 图3A-3C包括根据一个示例实现的由实体属性扩充服务完成的实体属性扩充任 务的表示。
[0014] 图4是根据一个示例实现的在实体属性扩充中使用的示例查询表格以及各表格 之间的直接和间接映射的表示。
[0015] 图5是根据一示例实现的显示用于提供实体属性扩充服务的示例离线和在线组 件的框/流程图。
[0016] 图6是表示其中可实现在此处所描述的各实施例的一个或多个方面的示例性、非 限制性计算系统或操作环境的框图，例如在移动电话设备的例子中。
【具体实施方式】
[0017] 在此描述的技术的各个方面一般涉及自动实体扩充服务，该自动实体扩充服务对 于被扩充的数据具有相对高的精确度和覆盖/回调以及快速的（例如交互的）响应时间。 实体扩充技术可被应用于任何任意实体领域。
[0018] 一般而言，服务是基于从非常大量的数据源（例如，web表格语料库）中收集的数 据。例如，存在可从web爬寻的大约数以亿计量级的这样的实体-属性表格（也称为关系 表格和二维表格）。在此描述了可基于主题敏感页面排名的整体匹配框架和聚集来自多个 匹配的表格的预测的扩充框架，该多个匹配的表格除了直接匹配表格之外还包括间接匹配 表格。这使得预测对虚假匹配的表格更加鲁棒。
[0019] 应当理解的是，此处的任何示例均是非限制的。例如，尽管描述了具有实体-属性 表格形式的关系表格，但是其他数据结构并且甚至是未被结构化的数据也可被处理来得到 与扩充有关的数据。此外，尽管web是这样的数据的一个源，但是可访问诸如企业数据库、 以主题为中心的语料库（例如，与医疗有关的源、与金融有关的源等）等其他源来获得与实 体有关的数据。
[0020] 因此，本发明不限制于在此描述的任何具体的实施例、方面、概念、结构、功能或示 例。相反，此处所描述的实施例、方面、概念、结构、功能或示例中的任一个都是非限制性的， 并且本发明一般能够以在计算和实体扩充方面提供好处和优点的各种方式来使用。
[0021] 图1是示出一个示例实现中各种组件的框图。一般地，在可被离线执行的表格预 处理阶段102中，包括爬寻器104,该爬寻器104从数据源108 (例如，网页和/或数据市 场）提取关系表格106。对于网页，爬寻器104可对HTML和/或文本数据是否实际上是表 格并且不仅仅被用于页面的格式化或布局进行分类。各种技术可被用于滤除格式化表格和 看上去本质上不相关的其他表格，由此图1显示了爬寻器/过滤器。取决于大量的网页，映 射-减少（map-reduce)计算体系结构可被用于跨大量计算节点并行地提取表格。
[0022] 索引器110输入由爬寻器104产生的表格106并对它们进行索引（经索引的表格 112)以实现对那些类似于给定查询表格的web表格的快速标识。索引器110返回具有与查 询表格记录的充分记录重叠的web表格。该重叠可允许模糊匹配以允许不同的值表示，例 如，查询记录中的"Microsft Corp"（在此有意地拼错以表示实际的用户错误）可被考虑为 与特定web表格中的"Microsoft Corporation"的匹配。
[0023] 图构建器114生成图116,其中图116的顶点对应于每个web表格并且边被加权 以对应于两个表格的相似性。在一个示例实现中，使用基于特征的测量来计算表格相似性， 该基于特征的测量合并了两个表格的许多特征，包括：记录重叠的程度、列名相似性、在其 中出现表格的周围网页上下文的相似性、URL相似性、网站的文档和域的预先计算的静态页 面排名（PageRank)值以及每个表格中单词集之间的单词包相似性。这个测量可使用在已 经被知晓为高度相似的表格上进行训练的模型118来计算。注意，通过寻找具有与两个其 他表格的高度重叠的桥梁表格并将这其他两个表格用作正面训练示例，模型训练数据收集 过程可被执行到不需要用户标记的数据的程度。
[0024] 图分析器120处理表格图116并生成每对web表格之间的相似性分数122。一个 方式传播表格之间的相似性来为每个web表格计算其他表格的个性化的页面排名（PPR)， 例如被结构化为矩阵。一般地，这个方式传播表格之间的本地成对相似性并允许具有许多 共同的邻居但不直接链接的两个表格具有更高的相似性。由于完整的查询记录可能不具有 与扩充不完整的查询记录所需要的表格的直接重叠，这个属性在数据扩充的上下文中是有 用的。
[0025] 作为示例，图2例示了在其中对查询表格220的关系被传播以获得合乎需要的预 测和覆盖的整体方式。该整体方式允许与查询表格不共享直接重叠或其他直接关系的表格 对扩充任务作出贡献。在一个实现中，扩充服务利用由图分析器120产生的PPR矩阵。月艮 务126接收来自客户端的扩充任务请求（例如，经由API集等），执行实体扩充处理来完成 任务并返回经扩充的结果。
[0026] 在一个方面，空值填充被执行为一个任务，其中输入是可能具有缺失的属性值的 实体名称表格。一个步骤寻找具有与输入表格共同的完整记录的web表格，其在此被称 为"种子"表格。图2显示了示例种子表格221-223。计算输入表格220和每个种子表格 221-223之间的相似性强度并形成矢量。PPR矩阵乘以这个矢量来产生最终矢量，该最终矢 量包括针对给定输入表格的每个web表格的分数。web表格接着被用于通过以下方式预测 缺失的属性值：通过取得与每个web表格记录相关联的与非缺失的输入属性值相匹配的属 性值，并聚集web表格排名来达到每个值的最终概率。最高排名的值，任选的高于用户指定 的阈值，被用于填充空值。
[0027] 如果输入或web表格包括多于两个的列，则过程可尝试标识类似键（key-like) 的列并接着将表格划分成若干个两列表格。
[0028] 其他可能的扩充任务包括通过属性名称的扩充，其类似于空值填充，除了属性名 称与表格一起提供。在通过属性名称的扩充中，目标属性值被当作空值并且用户提供目标 属性名称。利用与用于空值填充的过程相同的过程来相对于输入表格对web表格进行排 名。种子表格具有与输入表格的重叠并且与目标属性名称匹配。预测过程与用于空值填充 的过程相同。
[0029] 另一任务是数据确认，其类似于空值填充，除了如果头个经预测的值不匹配给定 输入记录中的实际值，则产生确认警报。另一可能的扩充任务是通过值的属性扩展（通过 示例的扩充），其基于与表格一起提供的几个种子示例值来填充目标属性的空值。
[0030] 属性建议是另一任务，其取得输入表格并建议表格可被其扩展的前K个最感兴趣 的属性。该过程通过首先相对于输入表格的键列对web表格进行排名来与通过名称的属性 扩展类似地进行。通过利用PPR矩阵，较高排名的web表格被群集到适当的团集中。每个 群集包括彼此相互类似的web表格。由于在一个实现中，每个web表格已经被转换到一个 或多个两列表格中，所以可从每个表格群集中取得最频繁的非输入匹配列名以导出该群集 的名称。对群集进行排名并将前K个群集名称返回到用户。
[0031] 考虑正在搜索产品或股票的用户或正在执行竞争者分析的分析者。这种任务的最 费力的子任务之一是聚集关于感兴趣实体的信息。两个这种子任务包括寻找一个或多个实 体的属性值，以及寻找实体类型的相关属性。这些子任务基于提取的web表格是自动化的。 在一个实现中，这些子任务可使用在此描述的操作，即通过属性名称的扩充、通过示例的扩 充和属性发现。可提供其他操作。
[0032] 通过属性名称的扩充用在此被称为扩充属性的值/属性来自动化上述的示例任 务，例如，在给定相机型号的情况下，寻找诸如品牌、分辨率、价格和光学变焦等各种属性的 值。图3显示了用于这个操作的被应用到具有一个扩充属性（品牌）的一些示例型号实体 的示例输入和输出。
[0033] 图3B例示了通过示例的扩充，其提供缺失的实体的一个或多个扩充属性的值，而 非提供一个或多个扩充属性的名称。如可以看到的，从提供的已知示例中确定实体-属性 关系，该实体-属性关系促进定位缺失的属性值。
[0034] 图3C中例示了属性发现。考虑用户可能不知晓关于实体域的足够信息；在这种情 况下，用户想要知道给定实体集的最相关属性，例如来选择特定的所需的一些属性并请求 针对这些所选择的属性的扩充值。通过使用自动地确定相关属性的服务，用户节省了用于 尝试手动发现它们的时间和努力。
[0035] 为了提供更加有用的服务，分别对于实体被正确地扩充、被扩充实体的数量以及 实体的数量，高精确度和高覆盖是所需要的。合乎需要的服务还提供快速的（例如，交互 的）响应时间并应用到任何任意领域的实体。
[0036] 为简明起见，在示例中仅考虑一个扩充属性，其中合适的扩展是直截了当的。如图 3A中显示的，输入可被视为二元关系，其中第一列对应于实体名称而第二列对应于扩充属 性。第一列可用要被扩充的实体名称来填充，而第二列是空的。这个表格在此被称为查询 表格（或简单地称为查询）。基线技术使用模式匹配技术，例如使用一对一映射，来标识语 义上与查询表格匹配的web表格。在web表格中查找每个实体以获得它对扩充属性的值。
[0037] 考虑查询表格Q(-个示例查询表格在图4中被标记为440)。为简明起见，在这个 示例中，考虑类似于查询表格，web表格是类似地两列实体-属性二元关系，其中第一列对 应于实体名称而第二列对应于实体的属性。通过使用传统的模式匹配技术，如果第一列中 的数据值与查询表格Q的第一列中的那些数据值重叠并且第二列的名称与扩充属性的名 称一致，则web表格匹配于查询表格Q。这样的匹配在此被称为"直接匹配"并且该方式被 称为"直接匹配方式"。
[0038] 在图4中，只有web表格441-443与查询表格440直接匹配（使用实线箭头显示）。 分数可基于值重叠的程度和列名称匹配的程度与每个直接匹配相关联；在图中通过靠近箭 头的值来显示示例分数。如果仅使用直接匹配，则简单地查找web表格441-443中的实体； 对于型号"D3150"，web表格441和443都包括它，然而，值是不同的（分别为"AB⑶Co"和 "NGD"）。可任意地选择或从具有较高分数的web表格中选择值，S卩，来自web表格443的 "NGD"。对于型号"S-456"，可选择"WXYZCo"或"EFGcorp"，因为它们具有相等的分数。对 于"N444"，只有"WXYZCo"。查找不能扩充V199,因为没有匹配的表格包括该实体。
[0039] 由此可容易地理解，直接匹配通常遭受低的精确度；考虑例如表格443可包括蜂 窝电话型号和品牌而非所需的实体（诸如相机）。表格443中的蜂窝电话型号中的一些的 名称与在查询表格440中的相机型号的名称相同，从而表格443得到高的分数。这导致了 (三个中的）至少一个并且可能两个（如果当解决冲突时，从表格443中选择，则三个中的 两个）错误的扩充。这种实体名称的模糊性实际上在所有领域中都存在，而这个可通过提 升匹配的阈值来缓减，但这么做导致差的覆盖。
[0040] 使用仅直接匹配技术的另一问题是低覆盖；以上示例，过程没能扩充V199,并且 覆盖由此是百分之七十五。注意，这个数量比实践中低的多，尤其对于尾域，并且趋向于发 生，这是因为可提供理想值的表格要么不具有列名称要么不使用与用户提供的扩充属性名 称相同的列名称。扩充属性的同义词可有所帮助，但是这些同义词是手动生成的（自动生 成导致差的质量），这在实体可能来自任何任意领域的情况下不是可行的。
[0041] 在此描述的是对例如经由其他web表格间接匹配查询表格的表格的进一步使用。 通过使用这样的间接匹配表格，结合直接匹配表格，一般提升覆盖和精确度两者。作为提升 的覆盖的示例，在图4中，表格444包括V199的理想属性值（NGD)，但它不能使用仅直接匹 配到达。通过使用模式匹配技术，表格444与表格441 (即，存在两个关系的两个属性之间的 一对一映射）以及表格442匹配（由于它具有与表格442共同的两个记录以及与表格442 共同的一个记录）。这样的在web表格之中的模式匹配被虚线箭头表示；每个这样的匹配具 有表示匹配程度的分数。由于表格441和/或表格442 (大致）与查询表格440匹配（使 用直接匹配）并且表格444(大致）与表格441和表格442匹配（使用模式匹配），可以得 出表格444(大致）与查询表格440匹配。表格444在此称为间接匹配表格；通过使用它， V199可被正确地扩充。在这个示例中，覆盖经由间接匹配被提升到百分之百。
[0042] 然而，许多间接匹配表格包括虚假的匹配，从而使用这些表格来预测值导致了错 误的预测。为了对这种虚假匹配的鲁棒性，在此描述了基于以下观察来使用整体匹配：真正 匹配的表格要么直接地要么间接地相互匹配并且要么直接地要么间接地与直接匹配表格 匹配，而虚假匹配的表格则不是。例如，表格441、442和444相互直接匹配，而表格444仅 微弱地与表格442匹配。如果，例如，通过聚集直接匹配以及间接匹配来计算表格的整体 匹配分数，则真正匹配的表格收到更高的分数，其是用于在此描述的整体匹配的基础。在图 4的示例中，相比于表格443,表格441、442和444得到更高的分数；这导致通过不使用表格 443的正确扩充，得到了百分之百的精确度。此外，对于每个实体，预测可从多个匹配的表格 中获得并聚集，从而"前"一个（或k个）值可被选择为最终所预测的一个（或多个）值。
[0043] 注意在实践中，这导致技术挑战，例如使用573MX573M表格对来计算web表格对 之间的模式匹配（web表格或SMW图之中的模式匹配）需要是精确的。此外，整体匹配需要 被建模，使得模型将与SMW图中的边相关联的分数以及与直接匹配相关联的那些分数考虑 在内。此外，实体需要在查询时被高效地扩充。
[0044] 为此，提供了基于对图的主题敏感页面排名（TSP)的整体匹配框架。还提供了充 分利用预处理（例如，在MapReduce (映射减少）技术中）来实现查询时的极度快速的（交 互的）响应时间的系统体系架构。
[0045] 在一个实现中，基于匹配学习的技术被用于基于使用与web表格相关联的特征 (例如，包括文本）来确定是否两个web表格匹配来构建SMW图。此外，虽然可使用手动产 生的经标记的数据，但是代替于或附加于手动产生的经标记的数据，用于该学习任务的训 练数据可如在此描述的那样被自动地生成。
[0046] 转向示例整体匹配框架和数据模型，为简明起见，假设查询表格是实体-属性二 元关系，例如，查询表格Q具有Q(K，A)的形式，其中K表示实体名称属性（在此也称为查询 表格"键"）而A是扩充属性。如在图4的示例查询表格440中显示的，键列被填充而属性 列是空的。此外，假设web表格也是实体-属性二元关系，如在图4的web表格441-444中。
[0047] 对于每个web表格"e >，关系是Τκ (K，B)，其中K表示实体名称属性（在此称为web 表格键属性）并且B是实体的属性，从中提取表格的网页的URL ^以及从中提取表格的网 页中的它的上下文Tc(例如，表格周围的文本）。为简明起见，当从上下文中清晰时，Τκ(Κ，B) 可被表不为Τ(Κ, Β)。
[0048] 对于通过属性名称的扩充，给定查询表格Q(K, Α)和web表格集合 Λ.;. Γ? € f%操作是要预测每个查询记录q e Q在属性A上的值。注意，不是所有 web表格都具有实体-属性二兀关系，然而在此描述的框架被通用于η兀web表格。此外， 查询表格可具有多于一个的扩充属性；在一个实现中，属性被考虑为独立的并且一次可针 对一个属性执行预测。
[0049] 在一个实现中，通用扩充框架标识"匹配"查询表格的web表格，并使用每个匹配 的web表格来提供对于恰好在查询和web表格之间重叠的特定键的值预测。为了标识匹配 的表格，一般而言，如果Q. K和T. K指代相同的实体类型并且Q. A和Q. B指代实体的相同属 性，则web表格T(K，B)匹配查询表格Q(K，A);(为简明起见，描述了一对一映射）。每个web 表格被分配表示对于查询表格Q的匹配分数的分数S(Q，T);由于Q是固定的，所以标记可 被表示为S(T)。存在各种获得查询表格和web表格之间匹配分数的方式；以下描述示例。
[0050] 为了预测值，对于每个记录，通过将查询表格Q(K，A)与每个匹配的web表格 τ (K，B)在键属性K上联结来预测来自匹配的web表格的记录q在属性Q. A上的值q[Q. A]。 如果存在记录t e T使得q[Q.K]?t[T.K](其中?表示要么值的精确相等要么值的近似 相等），则web表格T对q[Q.A]预测了具有预测分数S T(v) =S(T)的值v = t[T.B]，并 且（v，ST(v))被返回。在处理了匹配的表格后，存在针对q[Q. A]的所预测的值连同它们对 应的预测分数的集合Pq= {(Xl，ST1(Xl))，（x2，S T2(x2))，...}。对于每个不同的所预测的值 v e Pq，通过聚集针对v获得的预测分数来计算最终预测分数：
【权利要求】
1. 一种在计算环境中至少部分地在至少一个处理器上执行的方法，包括：处理扩充任 务，包括访问与从至少一个语料库中挖掘的实体和属性之间的包括至少一个间接关系在内 的关系相对应的基于关系的数据以及使用所述基于关系的数据来寻找完成所述扩充任务 的数据。
2. 如权利要求1所述的方法，其特征在于，还包括： a) 接收作为对被扩充的数据的查询的所述扩充任务，其中所述查询标识实体集和属性 名称，并且其中使用所述基于关系的数据来完成所述扩充任务包括查找针对所述实体集的 每一个实体的至少一个属性名称， b) 接收作为对被扩充的数据的查询的所述扩充任务，其中所述查询标识实体集和一个 或多个属性示例，并且其中使用所述基于关系的数据来完成所述扩充任务包括基于所述一 个或多个属性示例来查找针对所述实体集的至少一个实体的至少一个属性名称，或 c) 接收作为对同义词数据的查询的所述扩充任务，其中所述查询标识名称，并且其中 使用所述基于关系的数据来完成所述扩充任务包括查找针对所述名称的至少一个同义词。
3. 如权利要求1所述的方法，其特征在于，访问所述基于关系的数据包括标识种子表 格并经由偏好矢量和表格的存储的矢量来计算主题敏感页面排名分数。
4. 如权利要求1所述的方法，其特征在于，使用所述基于关系的数据来寻找完成所述 扩充任务的数据包括从最终预测中聚集并选择值。
5. -种系统，包括：服务，所述服务被配置成处理与领域无关的实体扩充任务，包括将 从至少一个语料库获得的关系表格预处理成多个索引，其中所述索引包括基于所述表格的 至少一些之间的间接映射的数据；以及用经由所述索引获得的数据对对应于实体扩充任务 的查询进行响应，包括经由所述索引标识种子表格，计算每个种子表格的分数，基于所述种 子表格的矢量来计算偏好矢量，基于所述偏好矢量和与所述关系表格中的至少一些相关联 的矢量来计算预测分数，聚集所述分数，并基于对所述分数的聚集来返回最终预测以完成 实体扩充任务以对所述查询进行响应。
6. 如权利要求5所述的系统，其特征在于，所述服务被进一步配置成通过访问从包括 基于间接映射在内的所述关系表格中构建的与同义词相关的索引来处理对同义词的请求。
7. 如权利要求6所述的系统，其特征在于，所述间接映射基于从所述表格中构建的图 上的主题敏感页面排名。
8. -个或多个具有计算机可执行指令的计算机可读介质，所述计算机可执行指令在被 执行时执行以下步骤，包括： 将从语料库中提取的实体属性关系表格预处理成被用于实体扩充的索引，包括执行表 格之间的整体匹配，所述整体匹配包括计算针对所述表格的至少一些之间的直接关系和间 接关系的值；以及 访问所述索引来处理实体扩充任务。
9. 如权利要求8所述的一个或多个计算机可读介质，其特征在于，执行所述整体匹配 包括使用与所述表格的至少两个相关联的上下文。
10. 如权利要求8所述的一个或多个计算机可读介质，其特征在于，进一步包括计算机 可执行指令包括，接收作为对被扩充的数据的查询的所述扩充任务，其中所述查询标识实 体集和属性名称；接收作为对被扩充的数据的查询的所述扩充任务，其中所述查询标识实 体集和一个或多个属性示例；或接收作为对同义词数据的查询的所述扩充任务，其中所述 查询标识名称。
【文档编号】G06F17/00GK104160390SQ201380013249
【公开日】2014年11月19日 申请日期:2013年2月22日 优先权日:2012年3月6日
【发明者】K·K·盖加姆, K·查卡拉巴蒂, M·A·亚考特, S·乔德里 申请人:微软公司