邮件分类方法和装置制造方法
【专利摘要】本发明公开了一种邮件分类方法和装置，所述方法包括：对于每个邮件类别，计算出待分类邮件属于该邮件类别的概率，将计算出的概率作为对应该邮件类别的概率；将计算出的对应各邮件类别的概率进行排序，并判断待分类邮件的特征词中是否包括最大的概率所对应的邮件类别的至少一个关键词；若是，则将待分类邮件划分到最大的概率所对应的邮件类别中；否则计算最大的概率和排序第二的概率的差值、以及该差值与最大的概率的比值，若该比值小于设定差率阈值，且待分类邮件的特征词中包括有排序第二的概率所对应的邮件类别的至少一个关键词，则将待分类邮件划分到排序第二的概率所对应的邮件类别中。从而通过设定邮件类别的关键词可使得邮件分类更为准确。
【专利说明】邮件分类方法和装置
【技术领域】
[0001 ] 本发明涉及互联网领域，尤其涉及一种邮件分类方法和装置。
【背景技术】
[0002]电子邮件采用储存-转发方式在网络上逐步传递信息，具有传播速度快、交流对象广泛、成本低廉等特点。在当前的互联网信息化时代中，人们通过电子邮件进行交流或通信的行为越来越普遍。
[0003]通常，电子邮件用户的邮箱中包含多种类型的邮件，比如，商讯、社交、订单、招聘、培训机构、银行理财等类邮件，以及普通的对话邮件(如朋友间相互问候的邮件)等。若用户的收件箱中商讯推广等类邮件过多，则会造成用户投诉过多的问题，而且将邮件无差别的投递到用户的收件箱中，可能会导致用户的收件箱中各种类型的邮件混杂在一起，从而给用户查看阅读所需邮件造成困扰。因此，邮件系统往往会对邮件进行分类，将邮件划分为多种类别，以使用户获得更好地邮箱体验。例如，gmail邮箱在普通的收件箱之外有广告邮件、网站动态信息邮件等，qq邮箱在普通的收件箱之外有订阅邮件等。
[0004]目前，现有的一种邮件分类方法主要是基于聚类算法:根据训练样本邮件的邮件数据进行分词后得到的特征词，将训练样本邮件划分为若干邮件类别，并分别组成若干邮件类别的邮件数据样本集；之后，根据待分类邮件的邮件数据的特征词，计算待分类邮件属于每个邮件类别的邮件数据样本集的概率,将最大的概率所对应的邮件类别作为待分类邮件的邮件类别，并将待分类邮件划分到该邮件类别的邮件数据样本集中。其中，邮件数据通常为邮件内容。
[0005]然而，本发明的发明人发现，现有技术的邮件分类方法准确度较低，会出现一些邮件类别误判的现象，而使得用户不能及时查看到所需要的邮件:比如，用户在求职期间可能较为关心招聘类邮件，现有技术的方法却可能将招聘类邮件划分到培训机构类邮件中，使得用户不能及时得到招聘类邮件的信息；再如，将普通的对话邮件划分为商讯类邮件，可能使得用户无法及时查看这些误判的普通的对话邮件，给用户带来极大不便。因此，有必要提供一种能够更为准确的对邮件进行分类的邮件分类方法。
【发明内容】
[0006]针对上述现有技术存在的缺陷，本发明提供了一种邮件分类方法和装置，用以提高邮件分类的准确性。
[0007]根据本发明的一个方面，提供了一种邮件分类方法，包括:
[0008]对于预先确定的每个邮件类别，根据待分类邮件的特征词，计算出所述待分类邮件属于该邮件类别的概率后，将计算出的概率作为对应该邮件类别的概率；
[0009]将计算出的对应各邮件类别的概率进行排序，并判断所述待分类邮件的特征词中是否包括最大的概率所对应的邮件类别的至少一个关键词；若是，则将所述待分类邮件划分到最大的概率所对应的邮件类别中；否则:[0010]计算出最大的概率和排序第二的概率的差值，并计算该差值与最大的概率的比值；若判定计算出的比值小于设定差率阈值，且所述待分类邮件的特征词中包括有排序第二的概率所对应的邮件类别的至少一个关键词，则将所述待分类邮件划分到排序第二的概率所对应的邮件类别中。
[0011]较佳地，所述计算出所述待分类邮件属于该邮件类别的概率之前，还包括:
[0012]确定出所述待分类邮件的特征词中包含于该邮件类别的特征词典中的特征词的个数，计算确定出的个数与所述待分类邮件的特征词的总数的比值，作为所述待分类邮件在该邮件类别下的特征词出现比率；并确认所述待分类邮件在该邮件类别下的特征词出现比率大于设定的比率阈值。
[0013]其中，所述邮件类别的关键词是预先确定的:
[0014]针对每个邮件类别，对于该邮件类别的特征词典中的每个特征词，预先统计出该邮件类别中包含该特征词的样本邮件的数量并进行由大到小排序；将排序靠前的设定个数的特征词作为该邮件类别的关键词。
[0015]较佳地，对于预先确定的每个邮件类别，根据待分类邮件的特征词，计算出所述待分类邮件属于该邮件类别的概率，具体包括:
[0016]记第i个邮件类别为Ci,所述待分类邮件的η个特征词分别为F1,F2, , Fn，计算出如下式I的值，将其作为所述待分类邮件属于第i个邮件类别的概率:
[0017]P(Ci)P(F1ICi)P(F2ICi)1--P(FjCi)(式 I)
[0018]式I 中，P(Fk I ?)=，PiCi)今;
J Q
[0019]其中，k取I~η之间的自然数h为特征词Fk在邮件类别Ci的邮件数据样本集中出现的次数；/c,为邮件类别Ci的特征词典中的各特征词在邮件类别Ci的邮件数据样本集中出现的次数之和；sCi为邮件类别Ci的邮件数据样本集中的样本邮件的数量；s为各邮件类别的邮件数据样本集中的样本邮件的数量之和。 [0020]其中，所 述邮件类别的特征词典是根据如下方法得到的:
[0021]对于每个邮件类别，对该邮件类别的邮件数据样本集中的样本邮件进行分词，并统计出分词后的每个词语在该邮件类别的邮件数据样本集中出现的次数作为该词语的词频；去除分词后的各词语中的生僻词和停用词后，将词频大于设定下限阈值、小于设定上限阈值的词语确定为该邮件类别的备选词；将该邮件类别的备选词中词性信息与词性信息表中记录的词性信息相匹配的备选词，确定为该邮件类别的特征词，该邮件类别的各特征词组成该邮件类别的特征词典；
[0022]其中，各邮件类别的邮件数据样本集是根据样本邮件的特征向量之间的相似度，基于聚类算法划分出来的。
[0023]较佳地，所述待分类邮件的特征词具体包括:从所述待分类邮件的邮件标题中提取出的标题特征词，以及从所述待分类邮件的邮件内容中提取出的内容特征词；以及
[0024]所述根据待分类邮件的特征词，计算出所述待分类邮件属于该邮件类别的概率，具体包括:
[0025]根据所述待分类邮件的标题特征词，计算出所述待分类邮件的邮件标题属于该邮件类别的概率后，将该概率作为对应该邮件类别的标题概率；并
[0026]根据所述待分类邮件的内容特征词，计算出所述待分类邮件的邮件内容属于该邮件类别的概率后，将该概率作为对应该邮件类别的内容概率；以及
[0027]所述将计算出的对应各邮件类别的概率进行排序，并判断所述待分类邮件的特征词中是否包括最大的概率所对应的邮件类别的至少一个关键词；若是，则将所述待分类邮件划分到最大的概率所对应的邮件类别中，具体包括:
[0028]将计算出的对应各邮件类别的标题概率进行排序，若判断所述待分类邮件的标题特征词中包括最大的标题概率所对应的邮件类别的至少一个关键词，则将最大的标题概率所对应的邮件类别作为对应邮件标题的待判定邮件类别；并
[0029]将计算出的对应各邮件类别的内容概率进行排序,若判断所述待分类邮件的内容特征词中包括最大的内容概率所对应的邮件类别的关键词，则将最大的内容概率所对应的邮件类别作为对应邮件内容的待判定邮件类别；
[0030]若所述对应邮件标题的待判定邮件类别与所述对应邮件内容的待判定邮件类别相同，则将所述待分类邮件划分到所述待判定邮件类别中。
[0031]较佳地，在所述计算出最大的概率和排序第二的概率的差值，并计算该差值与最大的概率的比值后，还包括:
[0032]若判断该比值不小于所述设定差率阈值，则将所述待分类邮件确定为对话邮件；
[0033]若判断该比值小于所述设定差率阈值，且所述待分类邮件的特征词中不包括排序第二的概率所对应的邮件类别的关键词，则:
[0034]将该比值作为第一分类概率差率后，进一步计算最大的概率和排序第三的概率的差值，将该差值与最大的概率的比值作为第二分类概率差率；若确定第二分类概率差率小于所述设定差率阈值，且所述待分类邮件的特征词中包括有排序第三的概率所对应的邮件类别的至少一个关键词，则将所述待分类邮件划分到排序第三的概率所对应的邮件类别中。
[0035]根据本发明的另一个方面，还提供了一种邮件分类装置，包括:
[0036]概率计算模块，用于对于预先确定的每个邮件类别，根据待分类邮件的特征词，计算出所述待分类邮件属于该邮件类别的概率后，将计算出的概率作为对应该邮件类别的概率；
[0037]排序模块，用于将计算出的对应各邮件类别的概率进行排序，得到排序结果；
[0038]类别划分模块，用于判断所述待分类邮件的特征词中是否包括所述排序结果中最大的概率所对应的邮件类别的至少一个关键词；若是，则将所述待分类邮件划分到最大的概率所对应的邮件类别中；否则:计算出所述排序结果中最大的概率和排序第二的概率的差值后，计算该差值与最大的概率的比值；若判定计算出的比值小于设定差率阈值，且所述待分类邮件的特征词中包括有排序第二的概率所对应的邮件类别的至少一个关键词，则将所述待分类邮件划分到排序第二的概率所对应的邮件类别中。
[0039]进一步，所述邮件分类装置，还包括:
[0040]特征词出现比率预判模块，用于对于预先确定的每个邮件类别，确定出所述待分类邮件的特征词中包含于该邮件类别的特征词典中的特征词的个数，计算确定出的个数与所述待分类邮件的特征词的总数的比值，作为所述待分类邮件在该邮件类别下的特征词出现比率；并确认所述待分类邮件在该邮件类别下的特征词出现比率大于设定的比率阈值时，触发所述概率计算模块。
[0041]较佳地，所述类别划分模块还用于若判断所述比值不小于所述设定差率阈值，则将所述待分类邮件确定为对话邮件；若判断所述比值小于所述设定差率阈值，且所述待分类邮件的特征词中不包括排序第二的概率所对应的邮件类别的关键词，则:将所述比值作为第一分类概率差率后，进一步计算所述排序结果中最大的概率和排序第三的概率的差值，将该差值与最大的概率的比值作为第二分类概率差率；在确定第二分类概率差率小于所述设定差率阈值，且所述待分类邮件的特征词中包括有排序第三的概率所对应的邮件类别的至少一个关键词的情况下，将所述待分类邮件划分到排序第三的概率所对应的邮件类别中。
[0042]本发明的技术方案中，由于为每个邮件类别分别设定了关键词，将待分类邮件属于每个邮件类别的概率，与邮件类别的关键词相结合进行邮件分类，从而避免待分类邮件中的一些非关键词对邮件分类的准确性的影响，并基于待分类邮件的分类概率差率的计算，在不能将待分类邮件划分到最大的概率所对应的邮件类别中时，保证邮件分类仍然具有较高的准确性。
[0043]进一步，本发明中的待分类邮件在每个邮件类别下的特征词出现比率的计算，可以简化邮件分类过程中的计算，并保证邮件分类的准确性；而且，分别根据待分类邮件的邮件主题和邮件内容进行邮件分类，可进一步保证邮件分类的准确性。
【专利附图】
【附图说明】
[0044]图1为本发明实施例的确定邮件类别及其邮件数据样本集和特征词典的方法的流程图；
[0045]图2a、2b为本发明实施例的邮件分类方法的流程图；
[0046]图3为本发明实施例的邮件分类装置的内部结构框图。
【具体实施方式】
[0047]为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对本发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。
[0048]本申请使用的“模块”、“系统”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于:处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
[0049]本发明的发明人发现，现有技术的方法误判邮件的原因在于，当某封邮件的邮件内容中包含有较多的并不具有代表性的某邮件类别的特征时，可能会使得计算出的该邮件属于该邮件类别的概率最大，若将该邮件划分到该邮件类别中可能并不准确。例如，若两位朋友间的对话邮件，谈及到询问彼此工作的情况，而使得邮件内容中包含福利、待遇、职位等的词语，而这些词语可能属于招聘类邮件的一些特征，现有技术的方法可能会误将该邮件划分到招聘类邮件中。
[0050]由此考虑到，可预先分别为每个邮件类别设定分类规则，即将一些较具有代表性的词语设定为邮件类别的关键词。例如，将“工作”、“简历”、“招聘”等的一个或几个词语设定为招聘类邮件的关键词。这样，得到待分类邮件属于每个邮件类别的概率，并确定出最大的概率所对应的邮件类别后，先判断待分类邮件的特征词中是否包含有该邮件类别的关键词，若没有则表明待分类邮件不符合该邮件类别的分类规则，可根据排序在前两位的概率的差值(本文中称为分类概率差率)以及排在第二的概率所对应的邮件类别的关键词，确定是否将待分类邮件划分到排在第二的概率所对应的邮件类别中。从而，基于邮件类别的关键词以及分类概率差率，可更为准确地对待分类邮件进行分类。
[0051]下面结合附图详细说明本发明的技术方案。本发明实施例中，在进行邮件分类之前，可预先确定出若干邮件类别(如商讯、社交、银行信用卡、招聘信息、订单信息、注册信息、新闻)以及每个邮件类别的邮件数据样本集和特征词典，从而在预先确定的邮件类别的基础上，对待分类邮件进行分类。具体地，预先确定若干邮件类别以及每个邮件类别的邮件数据样本集和特征词典的方法的流程，如图1所示，具体包括如下步骤:
[0052]SlOl:对于待 训练邮件集合中的每个样本邮件，得到该样本邮件的词语集合，根据得到的各样本邮件的词语集合确定出待训练邮件集合的词语集合，进而确定出该样本邮件的词语特征向量。
[0053]具体地，可从邮件服务器的进信箱里提取出设定时间段内或设定数量的非对话邮件的样本邮件，将这些样本邮件作为集合元素组成待训练邮件集合。针对待训练邮件集合中的每个样本邮件，对该样本邮件的邮件数据(包括邮件标题和邮件内容)进行分词，并去除经分词划分出的各词语中的停用词和生僻字，得到该样本邮件的词语集合。将待训练邮件集合中的每个样本邮件的词语集合合并成同一个词语集合，即去除掉各样本邮件的词语集合中因重复而冗余的词语，得到该待训练邮件集合的词语集合。
[0054]对于待训练邮件集合中的每个样本邮件，将待训练邮件集合的词语集合中的词语总数作为该样本邮件的词语特征向量的维数，并将待训练邮件集合的词语集合中的各词语，分别对应到该样本邮件的词语特征向量的各向量元素；对于该样本邮件的词语特征向量中的每个向量元素，该向量元素值的确定方法如下:若该向量元素所对应的待训练邮件集合的词语集合中的词语包含在该样本邮件的词语集合中，则该向量元素值设置为I ;否则该向量元素值设置为O。例如，待训练邮件集合中的一个样本邮件的词语特征向量具体表征为D = [(I1,…，dj,..，dj ,其中dj的取值为I或者O,取I表示待训练邮件集合的词语集合中第j个词语包含在当前样本邮件的词语集合中，取O表示待训练邮件集合的词语集合中第j个词语不包含在当前样本邮件的词语集合中；其中，j为I~L的自然数，L为待训练邮件集合的词语集合的词语总数。
[0055]S102:根据待训练邮件集合中的样本邮件的词语特征向量之间的相似度，采用聚类算法对待训练邮件集合中的样本邮件进行聚类，得到若干簇。
[0056]具体地，通常可以采用余弦相似度计算方法，计算出任意两个样本邮件的词语特征向量之间的相似度，也就是任意两个样本邮件之间的相似度。例如，样本邮件X和样本邮件y的词语特征向量分别为X = [X1, *.., Xj,..，xj和Y = Ly1,..., Yj,..，yj，可根据如下公式2计算出样本邮件X的特征向量和样本邮件y之间的相似度Sim(X，Y):
[0057]
【权利要求】
1.一种邮件分类方法，其特征在于，包括: 对于预先确定的每个邮件类别，根据待分类邮件的特征词，计算出所述待分类邮件属于该邮件类别的概率后，将计算出的概率作为对应该邮件类别的概率； 将计算出的对应各邮件类别的概率进行排序，并判断所述待分类邮件的特征词中是否包括最大的概率所对应的邮件类别的至少一个关键词；若是，则将所述待分类邮件划分到最大的概率所对应的邮件类别中；否则: 计算出最大的概率和排序第二的概率的差值，并计算该差值与最大的概率的比值；若判定计算出的比值小于设定差率阈值，且所述待分类邮件的特征词中包括有排序第二的概率所对应的邮件类别的至少一个关键词，则将所述待分类邮件划分到排序第二的概率所对应的邮件类别中。
2.如权利要求1所述的方法，其特征在于，所述计算出所述待分类邮件属于该邮件类别的概率之前，还包括: 确定出所述待分类邮件的特征词中包含于该邮件类别的特征词典中的特征词的个数，计算确定出的个数与所述待分类邮件的特征词的总数的比值，作为所述待分类邮件在该邮件类别下的特征词出现比率；并确认所述待分类邮件在该邮件类别下的特征词出现比率大于设定的比率阈值 。
3.如权利要求2所述的方法，其特征在于，所述邮件类别的关键词是预先确定的: 针对每个邮件类别，对于该邮件类别的特征词典中的每个特征词，预先统计出该邮件类别中包含该特征词的样本邮件的数量并进行由大到小排序；将排序靠前的设定个数的特征词作为该邮件类别的关键词。
4.如权利要求3所述的方法，其特征在于，对于预先确定的每个邮件类别，根据待分类邮件的特征词，计算出所述待分类邮件属于该邮件类别的概率，具体包括: 记第i个邮件类别为Ci,所述待分类邮件的η个特征词分别为F1, F2,, Fn，计算出如下式I的值，将其作为所述待分类邮件属于第i个邮件类别的概率:
P(Ci)P(F1ICi)P(F2ICi)1--P(FjCi)(式 I)
5.如权利要求4所述的方法，其特征在于，所述邮件类别的特征词典是根据如下方法得到的: 对于每个邮件类别，对该邮件类别的邮件数据样本集中的样本邮件进行分词，并统计出分词后的每个词语在该邮件类别的邮件数据样本集中出现的次数作为该词语的词频；去除分词后的各词语中的生僻词和停用词后，将词频大于设定下限阈值、小于设定上限阈值的词语确定为该邮件类别的备选词；将该邮件类别的备选词中词性信息与词性信息表中记录的词性信息相匹配的备选词，确定为该邮件类别的特征词，该邮件类别的各特征词组成该邮件类别的特征词典； 其中，各邮件类别的邮件数据样本集是根据样本邮件的特征向量之间的相似度，基于聚类算法划分出来的。
6.如权利要求4或5所述的方法，其特征在于，所述待分类邮件的特征词具体包括:从所述待分类邮件的邮件标题中提取出的标题特征词，以及从所述待分类邮件的邮件内容中提取出的内容特征词；以及 所述根据待分类邮件的特征词，计算出所述待分类邮件属于该邮件类别的概率，具体包括: 根据所述待分类邮件的标题特征词，计算出所述待分类邮件的邮件标题属于该邮件类另IJ的概率后，将该概率作为对应该邮件类别的标题概率；并 根据所述待分类邮件的内容特征词，计算出所述待分类邮件的邮件内容属于该邮件类别的概率后，将该概率作为对应该邮件类别的内容概率；以及 所述将计算出的对应各邮件类别的概率进行排序，并判断所述待分类邮件的特征词中是否包括最大的概率所对应的邮件类别的至少一个关键词；若是，则将所述待分类邮件划分到最大的概率所对 应的邮件类别中，具体包括: 将计算出的对应各邮件类别的标题概率进行排序，若判断所述待分类邮件的标题特征词中包括最大的标题概率所对应的邮件类别的至少一个关键词，则将最大的标题概率所对应的邮件类别作为对应邮件标题的待判定邮件类别；并 将计算出的对应各邮件类别的内容概率进行排序，若判断所述待分类邮件的内容特征词中包括最大的内容概率所对应的邮件类别的关键词，则将最大的内容概率所对应的邮件类别作为对应邮件内容的待判定邮件类别； 若所述对应邮件标题的待判定邮件类别与所述对应邮件内容的待判定邮件类别相同，则将所述待分类邮件划分到所述待判定邮件类别中。
7.如权利要求1-5任一所述的方法，其特征在于，在所述计算出最大的概率和排序第二的概率的差值，并计算该差值与最大的概率的比值后，还包括: 若判断该比值不小于所述设定差率阈值，则将所述待分类邮件确定为对话邮件； 若判断该比值小于所述设定差率阈值，且所述待分类邮件的特征词中不包括排序第二的概率所对应的邮件类别的关键词，则: 将该比值作为第一分类概率差率后，进一步计算最大的概率和排序第三的概率的差值，将该差值与最大的概率的比值作为第二分类概率差率；若确定第二分类概率差率小于所述设定差率阈值，且所述待分类邮件的特征词中包括有排序第三的概率所对应的邮件类别的至少一个关键词，则将所述待分类邮件划分到排序第三的概率所对应的邮件类别中。
8.一种邮件分类装置，其特征在于，包括: 概率计算模块，用于对于预先确定的每个邮件类别，根据待分类邮件的特征词，计算出所述待分类邮件属于该邮件类别的概率后，将计算出的概率作为对应该邮件类别的概率；排序模块，用于将计算出的对应各邮件类别的概率进行排序，得到排序结果； 类别划分模块，用于判断所述待分类邮件的特征词中是否包括所述排序结果中最大的概率所对应的邮件类别的至少一个关键词；若是，则将所述待分类邮件划分到最大的概率所对应的邮件类别中；否则:计算出所述排序结果中最大的概率和排序第二的概率的差值，并计算该差值与最大的概率的比值；若判定计算出的比值小于设定差率阈值，且所述待分类邮件的特征词中包括有排序第二的概率所对应的邮件类别的至少一个关键词，则将所述待分类邮件划分到排序第二的概率所对应的邮件类别中。
9.如权利要求8所述的装置，其特征在于，还包括: 特征词出现比率预判模块，用于对于预先确定的每个邮件类别，确定出所述待分类邮件的特征词中包含于该邮件类别的特征词典中的特征词的个数，计算确定出的个数与所述待分类邮件的特征词的总数的比值，作为所述待分类邮件在该邮件类别下的特征词出现比率；并确认所述待分类邮件在该邮件类别下的特征词出现比率大于设定的比率阈值时，触发所述概率计算模块。
10.如权利要求8或9所述的装置，其特征在于， 所述类别划分模块还用于若判断所述比值不小于所述设定差率阈值，则将所述待分类邮件确定为对话邮件；若判断所述比值小于所述设定差率阈值，且所述待分类邮件的特征词中不包括排序第二的概率所对应的邮件类别的关键词，则:将所述比值作为第一分类概率差率后，进一步计算所述排序结果中最大的概率和排序第三的概率的差值，将该差值与最大的概率的比值作为第二分类概率差率；在确定第二分类概率差率小于所述设定差率阈值，且所述待分类邮件的特征词中包括有排序第三的概率所对应的邮件类别的至少一个关键词的情况下，将所述待分类邮件划分到排序第三的概率所对应的邮件类别中。
【文档编号】G06F17/30GK103984703SQ201410163082
【公开日】2014年8月13日 申请日期:2014年4月22日 优先权日:2014年4月22日
【发明者】陈玉焓 申请人:新浪网技术(中国)有限公司