一种多标签文本分类方法及系统的制作方法
【技术领域】
[0001] 本发明涉及文本分类领域，尤其涉及一种多标签文本分类方法及系统。
【背景技术】
[0002] 近年来，随着互联网的高速发展，尤其是移动互联网时代的到来，人类进入大数据 时代，每天都会产生海量的数据，因此对海量数据进行分析、获取有价值的信息已成为学术 界和工业界共同关心的热点。作为海量数据的主要外在形式，文本相关的处理技术受到了 人们的极大关注，文本分类技术也进入了 一个新的发展阶段。
[0003] 传统文本分类技术主要关注单标签分类，即一个文本对应一个类别标签。然而现 实生活中，一个文本的类别标签往往不止一个，如一篇介绍某个国家经济的文章，很可能同 时会涉及政治和文化，此时该文章应该同时至少对应经济、政治、文化等三个标签；一篇体 育赛况报道相关的文章，很可能也会有较大篇幅介绍某位体育明星，因此它应该至少包含 体育赛况、体育明星两个标签。由此可见，多标签分类可以提供更加丰富的分类信息，为后 续可能的应用，如文本分类管理、监控、过滤等等，提供更大的帮助，因此，多标签分类问题， 即对一篇文档给出多个标签具有实际意义。
[0004] 在此，最理想的多标签分类方法是针对多标签的各个标签子集分别建模，确定各 标签子集的概率模型；随后对待分类文档，依次计算其相应于所有多标签子集的后验概率， 最后选择后验概率最大的多标签子集作为文档的分类结果。然而，多标签子集的数量随多 标签数目的增多呈指数级增长，假设一个多标签分类问题中多标签的个数为K，则理论上总 的多标签子集的个数为2K-1，当K的数值较大时，由于多标签子集的数量巨大，对所有子集 分别构建模型是不现实的。
[0005] 基于上述原因，在多标签分类问题上，传统的分类方法主要采用朴素贝叶斯分类 器方法进行分类，其假设各个标签之间分布独立且各标签出现概率均等，由于每个标签将 对应一个词分布模型，该词分布模型可以看作是一个概率模型，在此基础上，现有的多标签 分类方法如下：
[0006] 步骤一：针对每一个标签分别训练两个概率模型，即包含该标签的概率模型和不 包含该标签的概率模型，下面以包含该标签的概率模型为例说明概率模型的训练方法：
[0007] 步骤1 :获取大量包含该标签的文本数据作为训练数据。
[0008] 步骤2 :统计训练数据中各个字词的字词出现概率。
[0009] 步骤3 :将上述字词出现概率的集合作为包含该标签的概率模型，用于后续计算 该标签的文档生成概率。
[0010] 相应的，不包含该标签的概率模型可在采集的不包含该标签的文本数据上训练得 到。
[0011] 步骤二：获取待分类文档C。
[0012] 步骤三：依次判断该待分类文档C是否包含标签集合中的各标签，其中，该待分类 文档C是否包含标签X的判断方法如下：
[0013] 步骤I:对待分类文档C进行分词处理，获取字词串序列Cx。
[0014] 步骤2 :计算该字词串序列Cx相应于包含标签X的似然度，特别的在朴素贝叶斯 假设下，该似然度可计算为等于字词串序列Cx中各字词相应于包含某标签X的字词生成概 率的连乘积。
[0015] 步骤3 :计算字词串序列Cx相应于不包含标签X的似然度。
[0016] 步骤4 :计算字词串序列Cx相应于包含标签X的似然度与字词串序列Cx相应于 不包含标签X的似然度间的似然比。
[0017] 步骤5 :所述似然比大于1，则认为该待分类文档包含标签X，反之则认为该待分类 文档不包含该标签。
[0018] 步骤四：获取该待分类文档对应的多标签分类结果。
[0019] 在以上的基于朴素贝叶斯决策的分类方法中，各个标签的文档概率分布人为假设 相互独立的，该种独立假设使得在解决多标签分类问题时具有方法简单、易于实现、效率较 高的优点。但在实际应用中，标签相互独立的假设与现实并不相符，如一篇介绍某个国家经 济的文章很可能也涉及了该国家的政治和文化，显然在经济、政治、文化三个标签之间存在 一定的概率相关性。所以，简单假设各标签之间彼此独立显然是不合理的，也正是这个原 因，上述多标签分类方法通常难以取得理想的多标签分类效果。
[0020] 另一种可以精确地进行多标签文本分类的方法是针对确定的所有标签子集分别 建立概率模型，随后针对待分类文档依次计算待分类文档相应于所有标签子集的后验概 率，最后选择后验概率最大的标签子集作为文档的分类结果，该种多标签文本分类方法由 于标签子集的数量将随多标签数目的增多呈指数级增长，因此对所有标签子集分别构建概 率模型是不现实的，所以该种分类方法并未得到推广应用。
【发明内容】
[0021 ] 本发明的实施例针对现有多标签文本分类方法存在的不合理问题，提供一种可实 施的分类中考虑标签子集中各标签之前的相关性的多标签文本分类方法及系统。
[0022] 为实现上述目的，本发明采用的技术方案为：一种多标签文本分类方法，包括：
[0023] 针对接收到的待分类文档确定待考核标签子集；
[0024] 对所述待分类文档进行分词处理，得到各字词；
[0025] 从所述待考核标签子集中依次提取一个标签子集作为当前考核标签子集；
[0026] 从所述各字词中依次提取一个字词作为当前计算字词；
[0027] 获取所述当前计算字词相应于所述当前考核标签子集中各标签的似然度；
[0028] 对所述当前计算字词相应于所述当前考核标签子集中各标签的似然度进行线性 加权，得到所述当前计算字词相应于所述当前考核标签子集的加权似然度；
[0029] 确定进行线性加权的各加权系数，使得所有字词相应于所述当前考核标签子集的 加权似然度的连乘积最大，并将最大的连乘积作为所述待分类文档相应于所述当前考核 标签子集的似然度，其中，对于所有字词的各加权系数与所述当前考核标签子集中的标签 对应，且各加权系数之和等于1 ;
[0030] 根据所述待分类文档相应于所述当前考核标签子集的似然度，计算所述待分类文 档相应于所述当前考核标签子集的后验概率；
[0031] 在所述待考核标签子集中，选取使得所述后验概率最大的标签子集作为所述待分 类文档的分类结果。
[0032] 优选的是，所述针对接收到的待分类文档确定待考核标签子集包括：
[0033] 获取包含所有标签的标签集合；
[0034] 在将所述标签集合作为所述当前考核标签子集时确定的所有加权系数中，选取使 得加权系数大于等于预设门限的标签形成新标签集合；
[0035] 对所述新标签集合中各标签进行组合，得到所述待考核标签子集。
[0036] 优选的是，所述针对接收到的待分类文档确定待考核标签子集还包括：
[0037] 在将所述标签集合作为当前考核标签子集时确定的所有加权系数均小于所述预 设门限时，选取使得加权系数最大的预设数量的标签形成所述新标签集合。
[0038] 优选的是，所述确定进行线性加权的各加权系数，使得所有字词相应于所述当前 考核标签子集的加权似然度的连乘积最大包括：
[0039] 利用最大期望算法确定进行线性加权的各加权系数，使得所有字词相应于所述当 前考核标签子集的加权似然度的连乘积最大。
[0040] 优选的是，所述根据所述待分类文档相应于所述当前考核标签子集的似然度，计 算所述待分类文档相应于所述当前考核标签子集的后验概率包括：
[0041] 计算所述当前考核标签子集的先验概率；
[0042] 计算所述当前考核标签子集的先验概率与所述待分类文档相应于所述当前考核 标签子集的似然度的乘积，作为所述待分类文档相应于所述当前考核标签子集的后验概 率。
[0043] 优选的是，所述计算所述当前考核标签子集的先验概率包括：
[0044] 获取所有训练文档；
[0045] 获取所有训练文档涉及的标签，构成训练标签集合；
[0046] 对所述训练标签集合中的各标签进行排序；
[0047] 对所有训练文档的多标签标注进行顺序调整，使多标签标注中各标签之间的顺序 位与训练标签集合中对应标签之间的顺序位一致；
[0048]根据所有训练文档的经过顺序调整的多标签标注，训练得到离散的马尔可夫链， 使得所述马尔可夫链中各状态与所述训练标签集合中各标签按照所述排序一一对应；
[0049] 计算所述当前考核的标签子集的先验概率等于所述马尔可夫链的对应状态间的 跳转概率的乘积。
[0050] 优选的是，所述获取所述当前计算字词相应于当前考核标签子集中各标签的似然 度包括：
[0051] 获取多标签标注为所述当前考核标签子集的训练文档；
[0052] 对所述训练文档中字词相应于所述当前考核标签子集中各标签的似然度进行线 性加权，得到所述训练文档中字词相应于所述当前考核标签子集的加权似然度；
[0053]以使所述训练文档中所有字词相应于所述当前考核标签子集的加权似然度的连 乘积最大为目标，训练得到训练文档中字词相应于所述当前考核标签子集中各标签的似然 度；
[0054] 从所述训练文档中字词相应于所述当前考核标签子集中各标签的似然度中，获取 所述当前计算字词相应于当前考核标签子集中各标签的似然度。
[0055] 优选的是，所述以使所述训练文档中所有字词相应于所述当前考核标签子集的加 权似然度的连乘积最大为目标，训练得到训练文档中字词相应于所述当前考核标签子集中 各标签的似然度包括：
[0056] 确定所述训练文档中字词相应于所述当前考核标签子集中各标签的似然度的初 始值；
[0057] 确定对所述训练文档中字词相应于所述当前考核标签子集中各标签的似然度进 行线性加权的各加权系数的初始值；
[0058]以使所述训练文档中所有字词相应于所述当前考核标签子集的加权似然度的连 乘积最大为目标，基于所述似然度的初始值和所述各加权系数的初始值，利用最大期望算 法训练得到训练文档中字词相应于所述当前考核标签子集中各标签的似然度。
[0059] 优选的是，所述确定所述训练文档中字词相应于所述当前考核标签子集中