基于逆向词频的贝叶斯文本分类器的制造方法
【专利摘要】本发明提供一种基于逆向词频的贝叶斯文本分类器，以单词的逆向词频作为单词的区分度，加权单词在不同类别中频率得到单词的综合先验概率；根据贝叶斯定理，由先验概率求得这些单词属于不同类别的后验概率，选择最大后验概率值的分类以达到分类的目的。本发明的基于逆向词频的贝叶斯文本分类器和现有技术相比，我们首先假设各个单词出现的概率相互独立，根据训练数据集估计出各个单词的先验概率，由此计算出在测试文档中出现的各个单词之后，属于不同类别分档的后验概率。我们依据最大后验概率值，将文档分类到具体的类别中，本发明具有设计合理、结构简单、使用方便等特点，因而，具有很好的使用价值。
【专利说明】基于逆向词频的贝叶斯文本分类器
【技术领域】
[0001] 本发明涉及信息科学和机器学习领域，具体地说是一种基于逆向词频的贝叶斯文 本分类器。
【背景技术】
[0002] 当前，大数据时代来临逐渐被行业认可，大数据应用也逐渐落地。而在大数据时 代，数据分析、数据挖掘和机器学习等科学变得炙手可热，成为了大数据时代掘金的利器。 随着数据量的激增，尤其是文本数据的明显上升，有越来越多的信息积累，而需要信息的人 还没有特别方便的工具去从多数据源的大规模的文本信息资源中提取符合需要的简洁、精 炼、可理解的知识。文本数据的复杂性和多场景使用，使得文本分类显得非常重要。无论是 新闻聚合、垃圾邮件分类，还是微博内容分析，文本分类都将扮演重要的角色。
【发明内容】
[0003] 本发明的目的是克服现有技术中存在的不足，提供一种基于逆向词频的贝叶斯文 本分类器。
[0004] 文本分类是数据挖掘和机器学习中非常重要的研究领域，文本分类的目标是对新 文档标以合适的类标签。文本自动分类的过程首先是对训练集中文档的内容进行分析，构 造一个分类方案，即分类器。在分类器学习之后，每个类有一个不同的分类方案，可用这些 分类方案对新文档分类。
[0005] 朴素贝叶斯分类器是一种应用基于独立假设的贝叶斯定理的简单概率分类器。贝 叶斯分类的基础是概率推理，就是在各种条件的存在不确定，仅知其出现概率的情况下，如 何完成推理和决策任务。在文本分类中，我们首先假设各个单词出现的概率相互独立(尽管 实际生活中，各个单词并不完全相互独立，但是朴素贝叶斯分类效果仍然很有效)，根据训 练数据集估计出各个单词的先验概率，由此计算出在测试文档中出现的各个单词之后，属 于不同类别分档的后验概率。我们依据最大后验概率值，将文档分类到具体的类别中。
[0006] 本发明的技术方案是按以下方式实现的，其特点在于以单词的逆向词频作为单词的 区分度，加权单词在不同类别中频率得到单词的综合先验概率;根据贝叶斯定理，由先验概率 求得这些单词属于不同类别的后验概率，选择最大后验概率值的分类以达到分类的目的； 主要考虑该单词在所有文档中出现的次数和该单词在本文档中出现的次数两个方面； 而根据大数定律，单词先验概率值以单词在该分类中频率来表示，而我们考虑了不同单词 的区分度，换句话说此时得到的先验概率不是纯粹代表了该单词在该分类中出现的概率， 而是代表了该分类中出现该单词的综合先验概率。
[0007] 本发明的优点是： 本发明的基于逆向词频的贝叶斯文本分类器和现有技术相比，我们首先假设各个单词 出现的概率相互独立，根据训练数据集估计出各个单词的先验概率，由此计算出在测试文 档中出现的各个单词之后，属于不同类别分档的后验概率。我们依据最大后验概率值，将文 档分类到具体的类别中，本发明具有设计合理、结构简单、使用方便等特点，因而，具有很好 的使用价值。
【具体实施方式】
[0008] 下面对本发明的基于逆向词频的贝叶斯文本分类器作以下详细说明。
[0009] 本发明的基于逆向词频的贝叶斯文本分类器，其特点在于以单词的逆向词频作为 单词的区分度，加权单词在不同类别中频率得到单词的综合先验概率；根据贝叶斯定理，由 先验概率求得这些单词属于不同类别的后验概率，选择最大后验概率值的分类以达到分类 的目的； 主要考虑该单词在所有文档中出现的次数和该单词在本文档中出现的次数两个方面； 而根据大数定律，单词先验概率值以单词在该分类中频率来表示，而我们考虑了不同单词 的区分度，换句话说此时得到的先验概率不是纯粹代表了该单词在该分类中出现的概率， 而是代表了该分类中出现该单词的综合先验概率。
[0010] 标示说明 这里，我们以垃圾邮件分类为例。假设A类为垃圾邮件，B类为非垃圾邮件，Vi表示各 个单词，由此，我们做出如下标示： Nums表示样本总数Counts表示总单词数 NumsA表示垃圾邮件个数NumsB表示非垃圾邮件个数 CountsA表示垃圾邮件中单词总数SumB表示非垃圾邮件单词总数 CountsViA表示单词在垃圾邮件中出现次数 CountsViB表示单词在非垃圾邮件中出现次数 P(A) = NumsA / Nums 表示一封邮件为垃圾邮件的概率 P(B) = NumsB / Nums 表示一封邮件为非垃圾邮件的概率 Ρ(\)表示所有文档中出现单词\的概率 P(Vi | A) = CountsViA/ CountsA 表示单词在垃圾邮件中出现的概率 P(Vi | B) = CountsViA/ CountsA 表示单词\在非垃圾邮件中出现的概率 P(A | V,)表示在单词\出现时，邮件为垃圾邮件的概率 P(B | V,)表示在单词\出现时，邮件为非垃圾邮件的概率 贝叶斯定理 根据贝叶斯定理，可以得到： P(A | V) = P(Vi | A)* P(A)/ P(Vi) P(B I V) = P% I B)* P⑶/ P(Vi) 对于多个单词组成的文本而言： P(A I Y^n) = P(V!_n I A)* P(A)/ 根据假设各个单词之间相互独立，那么P(Vi_n | A) * P(A)
【权利要求】
1.基于逆向词频的贝叶斯文本分类器，其特征在于以单词的逆向词频作为单词的区分 度，加权单词在不同类别中频率得到单词的综合先验概率；根据贝叶斯定理，由先验概率求 得这些单词属于不同类别的后验概率，选择最大后验概率值的分类以达到分类的目的； 主要考虑该单词在所有文档中出现的次数和该单词在本文档中出现的次数两个方面； 而根据大数定律，单词先验概率值以单词在该分类中频率来表示，而我们考虑了不同单词 的区分度，换句话说此时得到的先验概率不是纯粹代表了该单词在该分类中出现的概率， 而是代表了该分类中出现该单词的综合先验概率。
【文档编号】G06F17/30GK104142997SQ201410376416
【公开日】2014年11月12日 申请日期:2014年8月1日 优先权日:2014年8月1日
【发明者】关丹辉 申请人:浪潮电子信息产业股份有限公司