摘要生成方法及装置的制造方法
【专利摘要】本公开实施例提供了一种摘要生成方法及装置，所述方法包括以下步骤：将待处理文档划分为多个语句组合，每个所述语句组合中均包含预设数量个语句；计算每个所述语句组合中所有语句的权重值；针对每个语句组合，选取所述语句组合中权重值最大的语句作为候选语句；将部分所述语句组合对应的所述候选语句组合成所述待处理文档的摘要。本公开提供的该方法能够通过自动根据文档内容生成摘要，方便用户快速通过阅读文摘获取所需信息，帮助人们了解文档概况，并根据文档概况确定是否应该详读原文。
【专利说明】
摘要生成方法及装置
技术领域
[0001] 本公开涉及计算机技术，尤其涉及摘要生成方法及装置。
【背景技术】
[0002] 随着互联网的普及、以及信息获取途径的增加，每天都有不短涌现的海量信息。所 以目前的新闻一般都设有新闻标题，新闻标题是在新闻正文内容前面，对新闻内容加以概 括或评价的简短文字，作用是划分、组织、揭示、评价新闻内容、吸引读者阅读。
[0003] 但是由于目前网络上新闻数据比较多，某些媒体为吸引用户眼球，以获取更大的 用户的浏览量，某些新闻标题可能会设置的过分夸大，而且与文章内容无多大关联，用户在 读取完这样的新闻之后可能并没有得到需要的信息，浪费用户时间及精力。
【发明内容】
[0004] 本公开提供一种摘要生成方法及装置，用以解决现有技术中新闻标题与新闻内容 不符，用户通过读取这样的新闻可能无法获取到所需内容的技术问题。
[0005] 根据本公开实施例的第一方面，提供一种摘要生成方法，包括：
[0006] 将待处理文档划分为多个语句组合，每个所述语句组合中均包含预设数量个语 句；
[0007] 计算每个所述语句组合中所有语句的权重值；
[0008] 针对每个语句组合，选取所述语句组合中权重值最大的语句作为候选语句；
[0009] 将部分所述语句组合对应的所述候选语句组合成所述待处理文档的摘要。
[0010] 可选地，所述计算每个所述语句组合中所有语句的权重值包括：
[0011] 将文档中的文字分割为多个词语；
[0012] 为每个词语标注词性；
[0013] 将每个语句中分割得到的多个词语中词性为预设词性的词语，以及，位于预设黑 名单中的词语删除；
[0014] 计算所述语句组合中每两个语句的相似度；
[0015] 利用所述相似度计算每个所述语句组合中所有语句的权重值。
[0016] 可选地，所述将待处理文档划分为多个语句组合包括：
[0017] 将待处理文档的内容按照预设标点划分为多个语句；
[0018] 针对每个语句，按照语句在所述待处理文档中的排序，选取所述语句以及所述语 句之后的预设数量个连续的语句作为一个语句组合。
[0019] 可选地，所述将部分所述语句组合对应的所述候选语句组合成所述待处理文档的 摘要包括：
[0020] 将每个语句组合中最大的权重值对应的语句确定为目标语句；
[0021 ]将预设数量个目标语句确定为候选语句。
[0022]可选地，所述将部分所述语句组合对应的所述候选语句组合成所述待处理文档的 摘要包括：
[0023]获取部分所述语句组合对应的所述候选语句在待处理文档中的排序；
[0024]按照所述排序生成所述待处理文档的摘要。
[0025] 根据本公开实施例的第二方面，提供一种摘要生成装置，包括：
[0026] 划分模块，用于将待处理文档划分为多个语句组合，每个所述语句组合中均包含 预设数量个语句；
[0027] 计算模块，用于计算每个所述语句组合中所有语句的权重值；
[0028] 选取模块，用于针对每个语句组合，选取所述语句组合中权重值最大的语句作为 候选语句；
[0029] 组合模块，用于将部分所述语句组合对应的所述候选语句组合成所述待处理文档 的摘要。
[0030] 可选地，所述计算模块，包括：
[0031] 分割子模块，用于将文档中的文字分割为多个词语；
[0032] 标注子模块，用于为每个词语标注词性；
[0033]删除子模块，用于将每个语句中分割得到的多个词语中词性为预设词性的词语， 以及，位于预设黑名单中的词语删除；
[0034] 相似度计算子模块，用于计算所述语句组合中每两个语句的相似度；
[0035] 权重计算子模块，用于利用所述相似度计算每个所述语句组合中所有语句的权重 值。
[0036]可选地，所述划分模块，包括：
[0037] 划分子模块，用于将待处理文档的内容按照预设标点划分为多个语句；
[0038] 选取子模块，用于针对每个语句，按照语句在所述待处理文档中的排序，选取所述 语句以及所述语句之后的预设数量个连续的语句作为一个语句组合。
[0039]可选地，所述组合模块，包括：
[0040]第一确定子模块，用于将每个语句组合中最大的权重值对应的语句确定为目标语 句；
[0041 ]第二确定子模块，用于将预设数量个目标语句确定为候选语句。
[0042]可选地，所述组合模块，包括：
[0043]获取子模块，用于获取部分所述语句组合对应的所述候选语句在待处理文档中的 排序；
[0044] 生成子模块，用于按照所述排序生成所述待处理文档的摘要。
[0045] 本公开的实施例提供的技术方案可以包括以下有益效果：
[0046] 本公开通过将待处理文档划分为多个语句组合，每个所述语句组合中均包含预设 数量个语句;计算每个所述语句组合中所有语句的权重值;针对每个语句组合，选取所述语 句组合中权重值最大的语句作为候选语句;可以将部分所述语句组合对应的所述候选语句 组合成所述待处理文档的摘要。
[0047] 本公开提供的该方法能够通过自动根据文档内容生成摘要，方便用户快速通过阅 读文摘获取所需信息，帮助人们了解文档概况，并根据文档概况确定是否应该详读原文。
[0048] 应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不 能限制本公开。
【附图说明】
[0049] 此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施 例，并与说明书一起用于解释本发明的原理。
[0050] 图1是根据一示例性实施例示出的一种摘要生成方法的流程图；
[0051 ]图2是图1中步骤S102的流程图；
[0052]图3是图1中步骤S101的流程图；
[0053]图4是图1中步骤S104的流程图；
[0054]图5是图1中步骤S104的流程图；
[0055] 图6是根据一示例性实施例示出的一种摘要生成装置的装置图。
【具体实施方式】
[0056] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及 附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例 中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附 权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0057] 随着互联网的普、信息获取途径的增加，每天都有不短涌现的海量信息。为了从这 些海量信息中快速、准确地获取有用信息，文档的自动摘要处理变得越来越重要。为此，如 图1所示，在本公开的一个实施例中，提供一种摘要生成方法，包括以下步骤。
[0058]在步骤S101中，将待处理文档划分为多个语句组合，每个所述语句组合中均包含 预设数量个语句。
[0059]在该步骤中，可以按照句号、叹号、问号等表示长停顿的标点来将文档划分为多个 语句，并且可以将预设数量个语句组合成一个语句组合，在本公开实施例中每个语句组合 中可以包含五个语句。
[0060]在步骤S102中，计算每个所述语句组合中所有语句的权重值。
[0061 ] 在该步骤中，可以利用TextRank公式计算语句在待处理文档中的权重，并且可以 利用BM25算法来计算两个语句之间的相似度。
[0062]在步骤S103中，针对每个语句组合，选取所述语句组合中权重值最大的语句作为 候选语句。
[0063] 例如：如果存在一个语句组合Μ中包含5个语句A、B、C、D和E的话，在经过TextRank 公式计算A、B、C、D和E五个语句在待处理文档中的权重之后，得到C语句权重最大，则可以选 取C作为候选语句，同理，如果存在一个语句组合N中包含5个语句F、G、H、I和J，则可以选取 计算后权重最大的F语句作为候选语句，以此类推，除了候选语句C和F，还可以得到候选语 句P、Q、R、S等。
[0064] 在步骤S104中，将部分所述语句组合对应的所述候选语句组合成所述待处理文档 的摘要。
[0065]在该步骤中，当候选语句为C、F、P、Q、R和S时，可以从中选取权重最大的预设数量 个作为待处理文档的摘要，例如:CPQRS、CFPQS等等。
[0066]本公开能够通过自动根据文档内容生成摘要，方便用户快速通过阅读文摘获取所 需信息，帮助人们了解文档概况，并根据文档概况确定是否应该详读原文。
[0067]如图2所示，在本公开的又一实施例中，所述步骤S102包括以下步骤。
[0068]在步骤S201中，将文档中的文字分割为多个词语。
[0069] 在步骤S202中，为每个词语标注词性。
[0070] 在步骤S201和步骤S202中，可以将待处理文档利用分词器来对文本进行分词，实 现人名、地名等实体识别，得到词语以及其词性。
[0071] 在步骤S203中，将每个语句中分割得到的多个词语中词性为预设词性的词语，以 及，位于预设黑名单中的词语删除。
[0072] 在该步骤中，可以根据预设词性和预设黑名单，来过滤掉属于预设词性的词语以 及位于预设黑名单中的词语，例如：当预设词性包括名字时，可以将待处理文档中出现的人 名删除，当预设黑名单中包括地名时，可以将待处理文档中的地名删除等。
[0073] 在步骤S204中，计算所述语句组合中每两个语句的相似度。
[0074]在该步骤中，可以利用BM25算法计算两个语句之间的相似度，BM25算法如下：
[0076] 在本公开实施例中，Q和d所代表的是两个句子，qi是句子中的一个词，Wi表示qi的 权重，R(qi，d)表示语素 qi与待处理文档d的相关性得分，这样Sc〇re(Q，d)就是Q和d两个句 子的相似度。
[0077]在步骤S205中，利用所述相似度计算每个所述语句组合中所有语句的权重值。 [0078] 在该步骤中，可以利用TextRank公式计算语句的权重值，TextRank公式如下：
[0080] 其中，等式左边WS(Vi)表示一个句子的权重(WS是weight_sum的缩写），右侧的求 和表示每个相邻句子对本句子的贡献程度，求和的分子wji表示两个句子的相似程度，分母 又是一个weight_sum，WS(Vj)代表上次迭代j的权重。In(vi)表示指向结点vi的结点集合， Out(vj)表示结点vi所指向的结点的集合，d为阻尼系数(DampingFac-tor)，一般取值为 0.85，整个公式是一个迭代的过程。
[0081]本公开实施例提供的该方法，能够把每篇文章作为一个整体，体现出句子间的关 联性，方便计算权重，并且能够兼顾语句间的相似性，避免提取出的摘要中出现重复的语 句。
[0082]如图3所示，在本公开的又一实施例中，所述步骤S101包括以下步骤。
[0083]在步骤S301中，将待处理文档的内容按照预设标点划分为多个语句。
[0084]在步骤S302中，针对每个语句，按照语句在所述待处理文档中的排序，选取所述语 句以及所述语句之后的预设数量个连续的语句作为一个语句组合。
[0085] 例如：划分语句后的文档包括A语句、B语句、C语句、D语句、E语句、F语句和G语句， 则可以将A语句、B语句、C语句、D语句和E语句作为一个第一语句组合，将B语句、C语句、D语 句、E语句和F语句作为第二语句组合，将C语句、D语句、E语句、F语句和G语句作为第三语句 组合。
[0086]本公开实施例提供的该方法，能够将每个语句分别与其相邻的语句构成语句组 合，这样计算的句子之间的相似性及权重值将更加准确。
[0087]如图4所示，在本公开的又一个实施例中，所述步骤S104包括以下步骤。
[0088]在步骤S401中，在将每个语句组合中最大的权重值对应的语句确定为目标语句。 [0089]在步骤S402中，将预设数量个目标语句确定为候选语句。
[0090]在该步骤中，可以将所有目标语句按照权重值大小进行排序后，选取其中权重值 最大的预设数量个目标语句作为候选语句。
[0091 ]本公开实施例能够将每个语句组合中"最重要"即权重值最大的语句确定为目标 语句，并将所有目标语句进行排序后选取"最重要"的语句作为候选语句，能够准确的选取 出文档中最重要的候选语句，以便根据这些候选语句生成摘要，计算量小，且选取范围更全 面。
[0092]如图5所示，在本公开的又一实施例中，所述步骤S104包括以下步骤。
[0093]在步骤S501中，获取部分所述语句组合对应的所述候选语句在待处理文档中的排 序。
[0094]在该步骤中，可以获取部分语句组合在文档中的位置，或者在文档中的先后顺序。 [0095]在步骤S502中，按照所述排序生成所述待处理文档的摘要。
[0096] 在该步骤中，可以按照部分语句组合在文档中的先后顺序生成文档的摘要。
[0097] 本公开实施例提供的该方法，能够将最终选取的候选语句按照其在文档中的先后 顺序进行显示，方便用户理解。
[0098] 如图6所不，在本公开的又一实施例中，提供一种摘要生成装置，包括：划分模块 601、计算模块602、选取模块603和组合模块604。
[0099]划分模块601，用于将待处理文档划分为多个语句组合，每个所述语句组合中均包 含预设数量个语句。
[0100] 计算模块602,用于计算每个所述语句组合中所有语句的权重值。
[0101] 选取模块603,用于针对每个语句组合，选取所述语句组合中权重值最大的语句作 为候选语句。
[0102] 组合模块604,用于将部分所述语句组合对应的所述候选语句组合成所述待处理 文档的摘要。
[0103] 在本公开的又一实施例中，所述计算模块602,包括:分割子模块、标注子模块、删 除子模块、相似度计算子模块和权重计算子模块。
[0104] 分割子模块，用于将文档中的文字分割为多个词语。
[0105] 标注子模块，用于为每个词语标注词性。
[0106] 删除子模块，用于将每个语句中分割得到的多个词语中词性为预设词性的词语， 以及，位于预设黑名单中的词语删除。
[0107]相似度计算子模块，用于计算所述语句组合中每两个语句的相似度。
[0108]权重计算子模块，用于利用所述相似度计算每个所述语句组合中所有语句的权重 值。
[0109] 在本公开的又一实施例中，所述划分模块601，包括:划分子模块和选取子模块。
[0110] 划分子模块，用于将待处理文档的内容按照预设标点划分为多个语句。
[0111] 选取子模块，用于针对每个语句，按照语句在所述待处理文档中的排序，选取所述 语句以及所述语句之后的预设数量个连续的语句作为一个语句组合。
[0112] 在本公开的又一实施例中，所述组合模块604，包括:第一确定子模块和第二确定 子模块。
[0113] 第一确定子模块，用于将每个语句组合中最大的权重值对应的语句确定为目标语 句；
[0114] 第二确定子模块，用于将预设数量个目标语句确定为候选语句。
[0115] 在本公开的又一实施例中，所述组合模块604,包括:获取子模块和生成子模块。
[0116] 获取子模块，用于获取部分所述语句组合对应的所述候选语句在待处理文档中的 排序；
[0117] 生成子模块，用于按照所述排序生成所述待处理文档的摘要。
[0118] 本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其 它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或 者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识 或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的 权利要求指出。
[0119]应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并 且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
【主权项】
1. 一种摘要生成方法，其特征在于，包括： 将待处理文档划分为多个语句组合，每个所述语句组合中均包含预设数量个语句； 计算每个所述语句组合中所有语句的权重值； 针对每个语句组合，选取所述语句组合中权重值最大的语句作为候选语句； 将部分所述语句组合对应的所述候选语句组合成所述待处理文档的摘要。2. 根据权利要求1所述的摘要生成方法，其特征在于，所述计算每个所述语句组合中所 有语句的权重值包括： 将文档中的文字分割为多个词语； 为每个词语标注词性； 将每个语句中分割得到的多个词语中词性为预设词性的词语，以及，位于预设黑名单 中的词语删除； 计算所述语句组合中每两个语句的相似度； 利用所述相似度计算每个所述语句组合中所有语句的权重值。3. 根据权利要求1所述的摘要生成方法，其特征在于，所述将待处理文档划分为多个语 句组合包括： 将待处理文档的内容按照预设标点划分为多个语句； 针对每个语句，按照语句在所述待处理文档中的排序，选取所述语句以及所述语句之 后的预设数量个连续的语句作为一个语句组合。4. 根据权利要求1所述的摘要生成方法，其特征在于，所述将部分所述语句组合对应的 所述候选语句组合成所述待处理文档的摘要包括： 将每个语句组合中最大的权重值对应的语句确定为目标语句； 将预设数量个目标语句确定为候选语句。5. 根据权利要求1所述的摘要生成方法，其特征在于，所述将部分所述语句组合对应的 所述候选语句组合成所述待处理文档的摘要包括： 获取部分所述语句组合对应的所述候选语句在待处理文档中的排序； 按照所述排序生成所述待处理文档的摘要。6. -种摘要生成装置，其特征在于，包括： 划分模块，用于将待处理文档划分为多个语句组合，每个所述语句组合中均包含预设 数量个语句； 计算模块，用于计算每个所述语句组合中所有语句的权重值； 选取模块，用于针对每个语句组合，选取所述语句组合中权重值最大的语句作为候选 语句； 组合模块，用于将部分所述语句组合对应的所述候选语句组合成所述待处理文档的摘 要。7. 根据权利要求6所述的摘要生成装置，其特征在于，所述计算模块，包括： 分割子模块，用于将文档中的文字分割为多个词语； 标注子模块，用于为每个词语标注词性； 删除子模块，用于将每个语句中分割得到的多个词语中词性为预设词性的词语，以及， 位于预设黑名单中的词语删除； 相似度计算子模块，用于计算所述语句组合中每两个语句的相似度； 权重计算子模块，用于利用所述相似度计算每个所述语句组合中所有语句的权重值。8. 根据权利要求6所述的摘要生成装置，其特征在于，所述划分模块，包括： 划分子模块，用于将待处理文档的内容按照预设标点划分为多个语句； 选取子模块，用于针对每个语句，按照语句在所述待处理文档中的排序，选取所述语句 以及所述语句之后的预设数量个连续的语句作为一个语句组合。9. 根据权利要求6所述的摘要生成装置，其特征在于，所述组合模块，包括： 第一确定子模块，用于将每个语句组合中最大的权重值对应的语句确定为目标语句； 第二确定子模块，用于将预设数量个目标语句确定为候选语句。10. 根据权利要求6所述的摘要生成装置，其特征在于，所述组合模块，包括： 获取子模块，用于获取部分所述语句组合对应的所述候选语句在待处理文档中的排 序； 生成子模块，用于按照所述排序生成所述待处理文档的摘要。
【文档编号】G06F17/27GK105868175SQ201510882825
【公开日】2016年8月17日
【申请日】2015年12月3日
【发明人】赵九龙
【申请人】乐视网信息技术（北京）股份有限公司