为主题文档集生成摘要的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及计算机数据处理领域，特别涉及一种为主题文档集生成摘要的方法和 装置。
【背景技术】
[0002] 随着信息技术和互联网技术的不断发展，信息的数量越来越大，信息的来源也越 来越广。如何从大量的、多个信息来源的主题文档集中快速得到该主题文档集的摘要，已成 为人们关心的重要问题之一。
[0003] 通常采用词频的方式生成主题文档集的摘要。首先，对该文档某一主题文档集中 的每个文档的内容信息进行切词，得到多个词，对得到的多个词进行筛选，去除停用词后， 得到多个分词；然后，通过每个分词的词频，确定该分词的重要性，进而确定分词所在的语 句的重要性。最后，将语句的重要性较大的至少一个语句作为该文档的摘要。
[0004] 前述生成摘要的方法至少存在以下问题：通过上述词频的方式生成主题文档集的 摘要时，由于不同的语句其重要性不同，生成的摘要中相邻的两个语句在主题文档集中并 不是相邻的，从而容易造成生成的摘要语句不顺畅，降低了摘要的质量和可读性。
【发明内容】
[0005] 本发明的实施例提供一种为主题文档集生成摘要的方法和装置，通过从主题文档 集的各篇文章中选取的候选摘要进行评分来获取主题文档集的摘要，从而提高主题文档集 的摘要的质量。
[0006] 为达到上述目的，本发明的实施例提供了一种为主题文档集生成摘要的方法。所 述方法包括，候选摘要选取步骤：从主题文档集的各篇文章中选取一个和/或多个语句作 为候选摘要；候选摘要评分步骤：根据预设的句法分析算法分别对所述候选摘要进行切 词，并基于切词结果对所述候选摘要进行评分；摘要确定步骤：将所述评分所得的值最高 的候选摘要作为所述主题文档集的摘要。
[0007] 可选地，所述候选摘要选取步骤的处理包括：对所述主题文档集的任一篇文章，以 窗口滑动的方式从所述文章的内容文本依次获取至少一组连续排列的语句分别作为第一 候选长摘要，和/或从所述主题文档集的各篇文章分别提取其标题作为第一候选短摘要。
[0008] 可选地，所述候选摘要评分步骤的处理包括：根据预设的句法分析算法分别对所 述第一候选长摘要进行切词，并且根据所述切词的结果和预设的第一摘要评价指标计算所 述第一候选长摘要的评分值，和/或根据预设的句法分析算法分别对所述第一候选短摘要 进行切词，并且根据所述切词的结果和预设的第二摘要评价指标计算所述第一候选短摘要 的评分值。
[0009] 可选地，所述摘要确定步骤的处理包括：将所述评分值最高的第一候选长摘要作 为所述主题文档集的长摘要，和/或将所述评分值最高的第一候选短摘要作为所述主题文 档集的短摘要。
[0010] 可选地，所述方法还包括：根据所述主题文档集的长摘要、短摘要和所述主题文档 集中切出的分词的分布，分别计算所述主题文档集的分词的分布与所述长摘要中切出的分 词的分布或所述短摘要中切出的分词的分布之间的相对熵；如果所述短摘要相对于所述主 题文档集的分词的分布的相对熵低于预定的相对熵阈值，则将所述长摘要的各个语句分别 作为所述第一候选短摘要，执行所述候选摘要评分步骤和所述摘要确定步骤，和/或如果 所述长摘要相对于所述主题文档集的分词的分布的相对熵低于预定的第一相对熵阈值，且 低于预定的第二相对熵阈值，则将所述短摘要作为所述主题文档集的长摘要，其中，所述第 二相对熵阈值为所述短摘要相对于所述主题文档集的分词的分布的相对熵。
[0011] 可选地，所述第一摘要评价指标和所述第二摘要评价指标包括摘要的分词重要性 和信息冗余度。
[0012] 可选地，所述第一摘要评价指标还包括所述第一候选长摘要的可读性和分词序列 的平衡性，所述第二摘要评价指标还包括所述第一候选短摘要的可读性和长度折扣。
[0013] 可选地，所述根据预设的句法分析算法分别对所述第一候选长摘要进行切词，并 且根据所述切词的结果和预设的第一摘要评价指标计算所述第一候选长摘要的评分值的 处理还包括：对任一第一候选长摘要，根据其所属文章的信息来源对为其计算的评分值进 行加权，求得所述第一候选长摘要的加权评分值，所述将所述评分值最高的第一候选长摘 要作为所述主题文档集的长摘要的处理包括：选取求得的加权评分值最高的第一候选长摘 要作为所述主题文档集的长摘要。
[0014] 为达到上述目的，本发明的实施例还提供了一种为主题文档集生成摘要的装置。 所述装置包括：候选摘要选取模块，用于从主题文档集的各篇文章中选取一个和/或多个 语句作为候选摘要；候选摘要评分模块，用于根据预设的句法分析算法分别对所述候选摘 要进行切词，并基于切词结果对所述候选摘要进行评分；摘要确定模块，用于将所述评分所 得的值最高的候选摘要作为所述主题文档集的摘要。
[0015] 可选地，所述候选摘要选取模块用于：对所述主题文档集的任一篇文章，以窗口滑 动的方式从所述文章的内容文本依次获取至少一组连续排列的语句分别作为第一候选长 摘要，和/或从所述主题文档集的各篇文章分别提取其标题作为第一候选短摘要。
[0016] 可选地，所述候选摘要评分模块用于：根据预设的句法分析算法分别对所述第一 候选长摘要进行切词，并且根据所述切词的结果和预设的第一摘要评价指标计算所述第一 候选长摘要的评分值，和/或根据预设的句法分析算法分别对所述第一候选短摘要进行切 词，并且根据所述切词的结果和预设的第二摘要评价指标计算所述第一候选短摘要的评分 值。
[0017] 可选地，所述摘要确定模块用于：将所述评分值最高的第一候选长摘要作为所述 主题文档集的长摘要，和/或将所述评分值最高的第一候选短摘要作为所述主题文档集的 短摘要。
[0018] 可选地，所述装置还包括：相对熵获取模块，用于根据所述主题文档集的长摘要、 短摘要和所述主题文档集中切出的分词的分布，分别计算所述主题文档集的分词的分布与 所述长摘要中切出的分词的分布或所述短摘要中切出的分词的分布之间的相对熵，短摘要 优化模块，用于如果所述短摘要相对于所述主题文档集的分词的分布的相对熵低于预定的 相对熵阈值，则将所述长摘要的各个语句分别作为所述第一候选短摘要，执行所述候选摘 要评分步骤和所述摘要确定步骤，和/或长摘要优化模块，用于如果所述长摘要相对于所 述主题文档集的分词的分布的相对熵低于预定的第一相对熵阈值，且低于预定的第二相对 熵阈值，则将所述短摘要作为所述主题文档集的长摘要，其中，所述第二相对熵阈值为所述 短摘要相对于所述主题文档集的分词的分布的相对熵。
[0019] 可选地，所述第一摘要评价指标和所述第二摘要评价指标包括摘要的分词重要性 和信息冗余度。
[0020] 可选地，所述第一摘要评价指标还包括所述第一候选长摘要的可读性和分词序列 的平衡性，所述第二摘要评价指标还包括所述第一候选短摘要的可读性和长度折扣。
[0021] 可选地，所述候选摘要评分模块还用于：对任一第一候选长摘要，根据其所属文章 的信息来源对为其计算的评分值进行加权，求得所述第一候选长摘要的加权评分值，
[0022] 所述摘要确定模块还用于：选取求得的加权评分值最高的第一候选长摘要作为所 述主题文档集的长摘要。
[0023] 本发明实施例提供的为主题文档集生成摘要的方法和装置，通过从主题文档集的 各篇文章中选取语句作为候选摘要，并通过预设的句法分析算法对得到的候选摘要进行切 词，进而对候选摘要进行评分，然后，根据评分得到的值从候选摘要中选取主题文档集的摘 要，从而可以提高主题文档集的摘要的质量，保证生成的摘要具有较好的可读性。
【附图说明】
[0024] 图1为本发明实施例提供的为主题文档集生成摘要的方法的流程图；
[0025] 图2为本发明实施例提供的为主题文档集生成长摘要的处理的流程图；
[0026] 图3为本发明实施例提供的为主题文档集生成短摘要的处理的流程图；
[0027] 图4为本发明实施例提供的另一种为主题文档集生成摘要的方法的流程图；
[0028] 图5为本发明实施例提供的一种为主题文档集生成摘要的装置的结构示意图；
[0029] 图6为本发明实施例提供的另一种为主题文档集生成摘要的装置的结构示意图。
【具体实施方式】
[0030] 本方案的发明构思是，对作为目标的主题文档集的各篇文章中选取的一个和/或 多个语句构成的候选摘要进行切词，进而通过切词结果对候选摘要进行评分，并根据评分 结果从候选摘要中选取主题文档集的摘要，从而提高主题文档集的摘要的质量，保证生成 的摘要具有较好的可读性。
[0031] 根据本发明的发明构思，可为所述主题文档集生成长摘要和/或短摘要。
[0032] 下面结合附图对本发明实施例为主题文档集生成摘要的方法和装置进行详细描 述。
[0033] 实施例一
[0034] 图1是本发明实施例提供的为主题文档集生成摘要的方法的流程图。通过包括如 图5所示的装置的计算机系统执行所述方法。
[0035] 如图1所示，在步骤101 (候选摘要选取步骤），从主题文档集的各篇文章中选取一 个和/或多个语句作为候选摘要。
[0036] 其中，所述主题文档集可以是针对某一事件的多篇文章的集合，该集合中的文章 可以来源于多种渠道，例如，微博、新闻、贴吧和论坛等。所述语句可以是文章中相邻两个标 点符号（如相邻的两个逗号或相邻的逗号与句号等）之间的字符（如文字等）。
[0037] 通常，可以通过多种渠道得到各种事件的文章，可以通过某些方式对这些文章进 行预处理，即将这些文章根据不同的事件进行归类，将属于同一事件的文章聚集在一起，形 成主题文档集。通常，主体文档集中包含的文章较多，每一篇文章都可以是一个独立的个 体，其中包括了某一个事件的完整