一种从多类文本中提取关键词的方法与流程

本发明涉及自然语言处理技术领域，具体为一种从多类文本中提取关键词的方法。

背景技术：

关键词该概括了文本主要内容，能帮助人们或者机器学习算法的下游任务能快速获取文本主要信息；另外，提取关键词在信息技术领域也存在广泛地应用，例如，信息检索等；目前，除了形式规范的科技文档提供了关键词外，大部分文档都没有配有关键词；传统依靠人工去阅读文本，然后抽取关键词的方法在文档数量剧增的今天越来越不能满足实际应用的需求；因此，如何自动并且准确的提取关键词是当前急需解决的一个问题；目前自动提取关键词的方法很多，大致分为统计学方法和机器学习方法两大类；

1)基于统计方法，主要计算词与上下文环境的词出现次数来实现，在自然语言处理界比较典型的有tf-idf、textrank、rake等；这类方法的效果比较突出，但是缺少语义层的与文本主题关联，作为关键词初筛比较推荐；

2)机器学习方法中，又分无监督学习(聚类)和有监督学习，但都依赖大量的计算资源；其中无监督方法，依赖于文本向量化(文本转换为数字过程)的准确性，再词基础上用k-means、dbscan、birch等，当文本向量维度大时，还需要额外降低维度计算，有监督方法准确率高，但是缺点很明显，需要标注大量数据；国内外的论文中，效果比较好的方法是引入crf获取关键词；

本发明，可以自动提取类关键词，该过程不依赖大量的计算资源，也不需要标注数据，又可以对初筛的关键词进一步精确提取。

技术实现要素：

本发明的目的在于提供一种从多类文本中提取关键词的方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种从多类文本中提取关键词的方法，包括以下步骤：步骤一，文本按类收集；步骤二，关键词按类提取；步骤三，关键词合并；步骤四，关键词精选；

其中在上述步骤一中，将相同类型的文档放到一个集合中，各个类别的文本集合记为d1，d2，d3等；

其中在上述步骤二中，利用关键词提取器提取每个类别下所有文档的关键词，关键词提取器可以利用上述机器学习方法实现，也可以利用上述统计学方法实现，此步骤不为本发明重点介绍内容，此次发明暂使用textrank与tfidf等多模型融合实现的关键词提取器，每个类别的候选关键词集合用s1，s2，s3...表示

其中在上述步骤三中，此时通过关键词提取器内部的set(key1，key2...)集合中的add()方法将每个文档的候选关键词进行合并，然后通过set()集合的编程算法对候选关键词进行去重操作，将重复的候选关键词进行删除，此时剔除的词一般都为文本集中停用词，而停用词是在自然语言处理中为无作用词，而且会消耗过多的内存占用，特别在机器学习模型中表现为冗余，当单独分析一类文本时，停用词还会引入很多干扰信息，某个类的关键词，只应该出现在该类的文本中；具体类别的文本中的关键词，只应该出现在该类的文本中；反之，如果某类文本的关键词，又出现在其他类的文本中，则该词跟多个主题相关联，这种情况是相矛盾的；要精准的找出每个类别文本中，与该类强相关的词，就不应该出现在其他类的文章，保证每个词只出现一次，这样生成的集合为全文档的候选关键词集合，用s表示；

其中在上述步骤四中，通过关键词提取器将每个类别中候选关键词集s与全文档候选关键词集s进行求差集，此差集即为该类的精准关键词，这样就完成了对关键词的精度筛选。

根据上述技术方案，所述步骤一中，将相同类型的文档放到一个文件中去。

根据上述技术方案，所述步骤二中，分别从每个类的全部文档集合中提取类别的候选关键词。

6.根据上述技术方案，所述步骤三中，合并各个类别的所有关键词，成为全集合文本的候选关键词。

根据上述技术方案，所述步骤四中，利用类别的候选关键词与全集合文本的候选关键词求差集，此差集为精确提取类关键词。

与现有技术相比，本发明所达到的有益效果是：该一种从多类文本中提取关键词的方法可以自动的从大量文本中提取关键词，节省阅读时间，而且还不需要额外的计算资源，不依赖昂贵的多次迭代计算，增加软件的运行效率，更加不需要额外的有监督学习的标注工作，提高工作效率，还可以应用于初筛关键词的基础上再次精确提取，增加方法的使用效果。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的工艺流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种从多类文本中提取关键词的方法，包括以下步骤：步骤一，文本按类收集；步骤二，关键词按类提取；步骤三，关键词合并；步骤四，关键词精选；

其中在上述步骤一中，将相同类型的文档放到一个集合中，各个类别的文本集合记为d1，d2，d3等，步骤一中，将相同类型的文档放到一个文件中去；

其中在上述步骤二中，利用关键词提取器提取每个类别下所有文档的关键词，关键词提取器可以利用上述机器学习方法实现，也可以利用上述统计学方法实现，此步骤不为本发明重点介绍内容，此次发明暂使用textrank与tfidf等多模型融合实现的关键词提取器，每个类别的候选关键词集合用s1，s2，s3...表示，步骤二中，分别从每个类的全部文档集合中提取类别的候选关键词；

其中在上述步骤三中，此时通过关键词提取器内部的set(key1，key2...)集合中的add()方法将每个文档的候选关键词进行合并，然后通过set()集合的编程算法对候选关键词进行去重操作，将重复的候选关键词进行删除，此时剔除的词一般都为文本集中停用词，而停用词是在自然语言处理中为无作用词，而且会消耗过多的内存占用，特别在机器学习模型中表现为冗余，当单独分析一类文本时，停用词还会引入很多干扰信息；具体类别的文本中的关键词，只应该出现在该类的文本中；反之，如果某类文本的关键词，又出现在其他类的文本中，则该词跟多个主题相关联，这种情况是相矛盾的；要精准的找出每个类别文本中，与该类强相关的词，就不应该出现在其他类的文章，保证每个词只出现一次，这样生成的集合为全文档的候选关键词集合，用s表示，步骤三中，合并所有关键词，成为全集合文本的候选关键词；

其中在上述步骤四中，通过关键词提取器将每个类别中候选关键词集s与全文档候选关键词集s进行求差集，此差集即为该类的精准关键词，这样就完成了对关键词的精度筛选，步骤四中，利用类别的候选关键词与全集合文本的候选关键词求差集，此差集为精确提取类关键词；

本发明具有很好的提取效果，现列举具体提取关键词案例予以说明：

综上所述，该发明可以自动的从大量文本中提取关键词，节省阅读时间，而且还不需要额外的计算资源，不依赖昂贵的多次迭代计算，增加软件的运行效率，更加不需要额外的有监督学习的标注工作，提高工作效率，还可以应用于初筛关键词的基础上再次精确提取，增加方法的使用效果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。