文档智能分发系统及分发方法与流程
本发明涉及文档处理技术领域，更为具体地，涉及一种文档智能分发系统及分发方法。
背景技术
随着机器学习算法和深度学习算法的广泛应用，越来越多的领域与相关技术紧密结合，为解决人工处理所带来的一系列问题带来了有效的途径。
目前，公文文档需根据分发单位和文档具体内容分发到最相关的处理部门以完成工作职责上的对接和交流，而现今处理此类问题都是通过人工监管处理的方式进行，此方式强烈依靠于个人的经验知识，同时处理效率低下，这将直接导致相关公文分发工作的进一步进行。
技术实现要素：
鉴于上述问题，本发明的目的是提供一种提高人工处理效率、准确率的文档智能分发系统及分发方法。
根据本发明的一个方面，提供一种文档智能分发系统，包括：
设定部，设定文档的特征集合，所述特征集合包括来文单位、来文标题、来文字号、来文附件和分发部门；
特征项提取部，对文档进行分词处理，得到以词为单位的特征项；
特征向量构建部，利用向量空间模型构建各文档的特征向量，组成特征向量矩阵，所述特征向量为词频-逆文档频率，
其中，f为特征向量矩阵，m为特征项总数，n为文档总数，fmn为特征项wm相对于文档dn的特征向量；
分类模型构建部，构建基于特征向量的分类模型，将正确的历史分发文档对模型进行训练，得到分类模型；
预分发处理部，根据分类模型对新来文档进行预判，并分发到相应部门，
其中，分类模型构建部包括：
出现概率获得单元，通过特征向量矩阵根据下式(1)和(2)获得各特征项在各分发部门的出现概率
其中，j为特征项索引，i为文档索引，b为分发部门索引，cb为第b个分发部门，f＇jb为特征项wj相对于分发部门cb的特征向量，p(wj|cb)表示特征项wj在分发部门cb的出现概率；
先验概率获得单元，根据下式(3)确定各文档分发到各部门的先验概率，
p(cb)＝|cb|/n(3)
其中，p(cb)表示分发部门cb的先验概率，|cb|为分发到分发部门cb的文档数；
分发概率获得单元，根据下式(4)获得各文档分发到各部门的分发概率，
其中，
所述的文档智能分发系统，其中，所述分类模型构建部还包括：
判断单元，判断公式(2)的分母是否为0，如果不为0，发送信号给第一分类部门判定单元，如果为0，发送信号给平滑处理单元；
第一分类部门判定单元，根据下式(5)获得各文档的分发部门，
其中，c分发为文档的di分发部门，maxbp(cb|di)为文档的最大分发概率；
平滑处理单元，对公式(2)按照下式(6)进行拉普拉斯平滑处理：
其中，ε＞0。
第二分类部门判定单元，对经过平滑处理的特征项在分发部分的出现概率，根据下式(7)获得各文档的分发到各部门的最大概率，
所述的文档智能分发系统，其中，还包括：
划分部，对正确历史分发文档数据进行划分，一部分作为分类模型的训练集，对模型参数进行训练，一部分作为分类模型性能测试部的测试集；
模型性能测试部，通过测试集对分类模型进行性能评估和判定。
所述的文档智能分发系统，其中，所述模型性能测试部包括准确率评估单元、召回率评估单元和f参数评估单元中的一个或多个，其中：
准确率评估单元，根据下式(8)评估分类模型分发到部门的准确率p，
召回率评估单元，根据下式(9)评估分类模型分发到部门的召回率r，
f参数评估单元，根据下式(10)评估分类模型分发到部门的f参数
其中，β是准确率p和召回率r之间的权衡因子。
所述的文档智能分发系统，其中，还包括：分发结果解释部，根据预分发处理部对新来文档分发到不同部门的分发概率进行解释。
所述的文档智能分发系统，其中，还包括：
模型参数修正部，根据预分发处理部预判的新来文档的分发部门和实际分发结果对分类模型参数进行更新修正。
所述的文档智能分发系统，其中，还包括：
数据清洗和变换部，对文档对应的特征集合中的每个特征项进行数据清洗和变换。
所述的文档智能分发系统，其中，所述特征向量构建部包括：
词频获取单元，根据下式(11)获得各词的词频
其中，tf(wj,di)为第j个特征项wj相对于文档di的词频，count(wj,d)为特征项wj在文档di中出现的次数，count(di)为文档中所有特征项出现的次数之和；
逆文档频率获取单元，根据下式(12)获得各词的逆文档频率
其中，idf(wj)为特征项wj的逆文档频率，dw为出现特征项wj的文档，count(dw)为出现特征项wj的文档数；
词频-逆文档频率获取单元，根据下式(13)获得各词的词频-逆文档频率，
tfidf(wj,di)＝tf(wj,di)*idf(wj)(13)
其中，tfidf(wj,di)为特征项wj在文档di的词频-逆文档频率。
所述的文档智能分发系统，其中，所述预分发处理部包括：
第一处理单元，将新来的文档依次输入特征提取部和特征向量构建部进行特征化处理；
第二处理单元，将新来的文档的特征向量输入已有的分类模型，得到不同分发部门的分发概率。
所述的文档智能分发系统，其中，所述预分发处理部还包括：
排序单元，对文档的不同分发部门的分发概率进行降序排列；
选取单元，选取排序靠前的设定数量分发部门作为预测结果。
所述的文档智能分发系统，其中，所述预分发处理部还包括：
预测结果判断单元，加入人工预判规则，判断预测结果是否准确，如果预测结果不准确，将真实分发部门传输给模型参数修正部，通过修正模型参数获得更新的分类模型。
所述的文档智能分发系统，其中，所述分发结果解释部包括：
第一解释单元，根据分发概率大小，对分发结果进行数学解释，概率最大，说明相对于分发到其他部门，该文档分发到此部门的概率最大；
第二解释单元，给出文档具体内容关键词与实际分发部门职能之间的关联性判定，以得到分发结果直观上的解释；
第三解释单元，通过给出文档与其他部门职能之间的差异，得到分发结果的差异解释；
综合解释单元，综合几种维度解释，对最终的分发结果进行分发解释和说明。
根据本发明的另一个方面，提供一种文档智能分发方法，包括：
步骤s1，设定文档的特征集合，所述特征集合包括来文单位、来文标题、来文字号、来文附件和分发部门；
步骤s2，对文档进行分词处理，得到以词为单位的特征项；
步骤s3，利用向量空间模型构建各文档的特征向量，组成特征向量矩阵，所述特征向量为词频-逆文档频率，
其中，f为特征向量矩阵，m为特征项总数，n为文档总数，fmn为特征项wm相对于文档dn的特征向量；
步骤s4，构建基于特征向量的分类模型，将正确的历史分发文档对模型进行训练，得到分类模型；
步骤s5，根据分类模型对新来文档进行预判，并分发到相应部门，
其中，所述步骤s4包括：
通过特征向量矩阵根据下式(1)和(2)获得各特征项在各分发部门的出现概率
其中，j为特征项索引，i为文档索引，b为分发部门索引，cb为第b个分发部门，f＇jb为特征项wj相对于分发部门cb的特征向量，p(wj|cb)表示特征项wj在分发部门cb的出现概率；
根据下式(3)确定各文档分发到各部门的先验概率，
p(cb)＝|cb|/n(3)
其中，p(cb)表示分发部门cb的先验概率，|cb|为分发到分发部门cb的文档数；
根据下式(4)获得各文档分发到各部门的分发概率，
其中，
所述的文档智能分发方法，其中，所述步骤s4还包括：
判断公式(2)的分母是否为0；
如果不为0，根据下式(5)获得各文档的分发部门，
其中，c分发为文档的di分发部门，maxbp(cb|di)为文档的最大分发概率；
如果为0，对公式(2)按照下式(6)进行拉普拉斯平滑处理：
其中，ε＞0。
对经过平滑处理的特征项在分发部分的出现概率，根据下式(7)获得各文档的分发到各部门的最大概率，
15.根据权利要求14所述的文档智能分发方法，其特征在于，所述步骤s4还包括：
对正确历史分发文档数据进行划分，一部分作为训练集，对模型参数进行训练，一部分作为测试集；
通过测试集对分类模型进行性能评估和判定。
所述的文档智能分发方法，其中，所述通过测试集样本对分类模型进行性能评估和判定的方法包括通过准确率、召回率和f参数中的一种或多种对分类模型进行性能评估和判定，其中，包括：
根据下式(8)评估分类模型分发到部门的准确率p，
根据下式(9)评估分类模型分发到部门的召回率r，
根据下式(10)评估分类模型分发到部门的f参数
其中，β是准确率p和召回率r之间的权衡因子。
所述的文档智能分发方法，其中，还包括：
对新来文档分发到不同部门的分发概率进行解释。
所述的文档智能分发方法，其中，所述对新来文档分发给不同分发部门的分发概率进行解释的方法包括：
根据分发概率大小，对分发结果进行数学解释，概率最大，说明对应文档分发到对应分发部门的概率此时最大；
给出文档具体内容关键词与实际分发部门职能之间的关联性判定，以得到分发结果直观上的解释；
通过给出文档与其他部门职能之间的差异，得到分发结果的差异解释。
综合几种维度解释，对最终的分发结果进行分发解释和说明。
所述的文档智能分发方法，其中，还包括：
根据步骤s5预判的新来文档的分发部门和实际分发结果对分类模型参数进行更新修正。
所述的文档智能分发方法，其中，还包括：
对文档对应的特征集合中的每个特征项进行数据清洗和变换。
所述的文档智能分发方法，其中，所述步骤s3包括：
根据下式(11)获得各词的词频
其中，tf(wj,di)为第j个特征项wj相对于文档di的词频，count(wj,d)为特征项wj在文档di中出现的次数，count(di)为文档中所有特征项出现的次数之和；
根据下式(12)获得各词的逆文档频率
其中，idf(wj)为特征项wj的逆文档频率，dw为出现特征项wj的文档，count(dw)为出现特征项wj的文档数；
根据下式(13)获得各词的词频-逆文档频率，
tfidf(wj,di)＝tf(wj,di)*idf(wj)(13)
其中，tfidf(wj,di)为特征项wj在文档di的词频-逆文档频率。
所述的文档智能分发方法，其中，所述步骤s5包括：
将新来的文档依次输入特征提取部和特征向量构建部进行特征化处理；
将新来的文档的特征向量输入已有的分类模型，得到不同分发部门的分发概率。
所述的文档智能分发方法，其中，所述步骤s5还包括：
对文档的不同分发部门的分发概率进行降序排列；
选取排序靠前的设定数量分发部门作为预测结果。
所述的文档智能分发方法，其中，所述步骤s5还包括：
加入人工预判规则，判断预测结果是否准确，如果预测结果不准确，将真实分发部门返回步骤s4，通过修正模型参数获得更新的分类模型。
本发明所述文档智能分发系统及分发方法具有以下有益效果：
(1)对公文文档进行建模分析，结合相关的机器学习算法和spark处理，自动训练数据和处理数据，从而最终实现机器对公文文档的自动分发，为进一步的人工处理提供有价值的指导和建议，从而既能有效的提高人工处理效率、准确率，又能使得个人经验知识门槛得到有效的降低；
(2)有稳定的分类效率；
(3)对小规模的数据表现很好，能够处理多分类任务，适合增量式训练，当数据量超出内存时，可以一批批的去增量训练；
(4)对缺失数据不太敏感，算法也比较简单。
附图说明
通过参考以下结合附图的说明，随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1是本发明所述文档智能分发系统的构成框图；
图2是本发明所述文档智能分发方法的流程图。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。以下将结合附图对本发明的具体实施例进行详细描述。
以下将结合附图对本发明的具体实施例进行详细描述。
图1是本发明所述文档智能分发系统的构成框图，如图1所示，所述有文档智能分发系统包括：
设定部1，设定文档的特征集合，所述特征集合包括来文单位、来文标题、来文字号、来文附件和分发部门；
特征提取部2，对文档进行分词处理，得到以词为单位的特征项；
数据清洗和变换部3，对文档对应的特征集合中的每个特征项进行数据清洗和变换，例如，去重，去除缺失数据，图片形式的附件通过ocr转换成文本形式，去除部门中的无用标点符号和特殊符号(比如％&#等)，部门名称的统一规整化等；
特征向量构建部4，利用向量空间模型构建各文档的特征向量，组成特征向量矩阵，所述特征向量为词频-逆文档频率，
其中，f为特征向量矩阵，m为特征项总数，n为文档总数，fmn为特征项wm相对于文档dn的特征向量；
分类模型构建部5，构建基于特征向量的分类模型，将正确的历史分发文档对模型进行训练，得到分类模型；
预分发处理部6，根据分类模型对新来文档进行预判，并分发到相应部门；
模型参数修正部7，根据预分发处理部预判的新来文档的分发部门和实际分发结果对分类模型参数进行更新修正；
分发结果解释部8，根据预分发处理部对新来文档分发到不同部门的分发概率进行解释。
在本发明的一个实施例中，特征向量构建部4包括：
词频获取单元41，根据下式(11)获得各词的词频
其中，tf(wj,di)为第j个特征项wj相对于文档di的词频，count(wj,d)为特征项wj在文档di中出现的次数，count(di)为文档中所有特征项出现的次数之和；
逆文档频率获取单元42，根据下式(12)获得各词的逆文档频率
其中，idf(wj)为特征项wj的逆文档频率，dw为出现特征项wj的文档，count(dw)为出现特征项wj的文档数；
词频-逆文档频率获取单元43，根据下式(13)获得各词的词频-逆文档频率，
tfidf(wj,di)＝tf(wj,di)*idf(wj)(13)
其中，tfidf(wj,di)为特征项wj在文档di的词频-逆文档频率。
在本发明的一个实施例中，分类模型构建部5包括：
出现概率获得单元51，通过特征向量矩阵根据下式(1)和(2)获得各特征项在各分发部门的出现概率
其中，j为特征项索引，i为文档索引，b为分发部门索引，cb为第b个分发部门，f＇jb为特征项wj相对于分发部门cb的特征向量，p(wj|cb)表示特征项wj在分发部门cb的出现概率；
先验概率获得单元52，根据下式(3)确定各文档分发到各部门的先验概率，
p(cb)＝|cb|/n(3)
其中，p(cb)表示分发部门cb的先验概率，|cb|为分发到分发部门cb的文档数；
分发概率获得单元53，根据下式(4)获得各文档相对于各分发部门的分发概率，
其中，
判断单元54，判断公式(2)的分母是否为0，如果不为0，发送信号给第一分类部门判定单元55，如果为0，发送信号给平滑处理单元56；
第一分类部门判定单元55，根据下式(5)获得各文档的分发部门，
其中，c分发为文档的di分发部门，maxbp(cb|di)为文档的最大分发概率；
平滑处理单元56，对公式(2)按照下式(6)进行拉普拉斯平滑处理：
其中，ε＞0，使得分母不为零。
第二分类部门判定单元57，对经过平滑处理的特征项在分发部分的出现概率，根据下式(7)获得各文档的分发到各部门的最大概率，
在本发明的一个实施例中，文档智能分发系统，还包括：
划分部9，对正确历史分发文档数据进行划分，一部分作为分类模型的训练集，对模型参数进行训练，一部分作为分类模型性能测试部的测试集，例如利用朴素贝叶斯算法对已有的数据进行模型建模和训练，其中全量数据的80％作为训练数据对模型参数进行训练，剩下20％作为测试数据对计算模型进行性能评估和判定；
模型性能测试部10，通过测试集对分类模型进行性能评估和判定。
优选地，模型性能测试部10包括：
准确率评估单元110、召回率评估单元120和f参数评估单元130中的一个或多个，其中：
准确率评估单元110，根据下式(8)评估分类模型分发到部门的准确率p，
召回率评估单元120，根据下式(9)评估分类模型分发到部门的召回率r，
f参数评估单元130，根据下式(10)评估分类模型分发到部门的f参数
其中，β是准确率p和召回率r之间的权衡因子。
在本发明的一个实施例中，预分发处理部6包括：
第一处理单元61，将新来的文档依次输入特征提取部和特征向量构建部进行特征化处理，例如，采用向量空间模型结合tfidf进行向量化；
第二处理单元62，将新来的文档的特征向量输入已有的分类模型，得到不同分发部门的分发概率。
优选地，预分发处理部6还包括：
排序单元63，对文档的不同分发部门的分发概率进行降序排列；
选取单元64，选取排序靠前的设定数量分发部门作为预测结果，例如选择分发概率排序前三的对应分发部门作为预测结果。
进一步，优选地，预分发处理部6还包括：
预测结果判断单元65，加入人工预判规则，判断预测结果是否准确，如果预测结果不准确(预测结果中没有真实分发部门)，将真实分发部门传输给模型参数修正部7，通过修正模型参数获得更新的新模型。
在本发明的一个实施例中，分发结果解释部8包括：
第一解释单元81，根据分发概率大小，对分发结果进行数学解释，概率最大，说明对应文档分发到对应分发部门的概率此时最大；
第二解释单元82，给出文档具体内容关键词与实际分发部门职能之间(通过已有的文档总结概括或相关负责实际分发的业务人员设定获得)的关联性判定，以得到分发结果直观上的解释；
第三解释单元83，通过给出文档与其他部门职能之间的差异，得到分发结果的差异解释。
优选地，分发结果解释部8还包括：
综合解释单元84，综合几种维度解释，对最终的分发结果进行分发解释和说明。
图2是本发明所述文档智能分发方法的流程图，如图2所示，所述文档智能分发方法包括：
步骤s1，设定文档的特征集合，所述特征集合包括来文单位、来文标题、来文字号、来文附件和分发部门；
步骤s2，对文档进行分词处理，得到以词为单位的特征项，例如，选择hanlp中文分词，得到不同文档的分词结果，可以包括对文本切分为词语、去除停用词等操作；
步骤s3，利用向量空间模型构建各文档的特征向量，组成特征向量矩阵，例如，利用向量空间模型(vectorspacemodel，vsm)对文档进行向量表示，所述特征向量为词频-逆文档频率(tfidf)，
其中，f为特征向量矩阵，m为特征项总数，n为文档总数，fmn为特征项wm相对于文档dn的特征向量；
步骤s4，构建基于特征向量的分类模型，将正确的历史分发文档对模型进行训练，得到分类模型；
步骤s5，根据分类模型对新来文档进行预判，并分发到相应部门，
其中，所述步骤s4包括：
通过特征向量矩阵根据下式(1)和(2)获得各特征项在各分发部门的出现概率
其中，j为特征项索引，i为文档索引，b为分发部门索引，cb为第b个分发部门，f＇jb为特征项wj相对于分发部门cb的特征向量，p(wj|cb)表示特征项wj在分发部门cb的出现概率；
根据下式(3)确定各文档分发到各部门的先验概率，
p(cb)＝|cb|/n(3)
其中，p(cb)表示分发部门cb的先验概率，|cb|为分发到分发部门cb的文档数；
根据下式(4)获得各文档分发到各部门的分发概率，
其中，
优选地，在步骤s2和步骤s3之间还包括：
对文档对应的特征集合中的每个特征项进行数据清洗和变换。
另外，优选地，在步骤s5之后还包括：
根据步骤s5预判的新来文档的分发部门和实际分发结果对分类模型参数进行更新修正。
另外，优选地，还包括：
对新来文档分发给不同分发部门的分发概率进行解释，具体地，包括：
根据分发概率大小，对分发结果进行数学解释，概率最大，说明对应文档分发到对应分发部门的概率此时最大；
给出文档具体内容关键词与实际分发部门职能之间(通过已有的文档总结概括或相关负责实际分发的业务人员设定获得)的关联性判定，以得到分发结果直观上的解释；
通过给出文档与其他部门职能之间的差异，得到分发结果的差异解释。
综合几种维度解释，对最终的分发结果进行分发解释和说明。
在本发明的一个实施例中，所述步骤s3包括：
根据下式(11)获得各词的词频
其中，tf(wj,di)为第j个特征项wj相对于文档di的词频，count(wj,d)为特征项wj在文档di中出现的次数，count(di)为文档中所有特征项出现的次数之和；
根据下式(12)获得各词的逆文档频率
其中，idf(wj)为特征项wj的逆文档频率，dw为出现特征项wj的文档，count(dw)为出现特征项wj的文档数；
根据下式(13)获得各词的词频-逆文档频率，
tfidf(wj,di)＝tf(wj,di)*idf(wj)(13)
其中，tfidf(wj,di)为特征项wj在文档di的词频-逆文档频率。
上述方法在获得各词的逆文档频率时加1，防止了分母为0的情况，出现错误乱码。
在本发明的一个实施例中，所述步骤s4还包括：
判断公式(2)的分母是否为0；
如果不为0，根据下式(5)获得各文档的分发部门，
其中，c分发为文档的di分发部门，maxbp(cb|di)为文档的最大分发概率；
如果为0，对公式(2)按照下式(6)进行拉普拉斯平滑处理：
其中，ε＞0，使得分母不为零；
对经过平滑处理的特征项在分发部分的出现概率，根据下式(7)获得各文档的分发到各部门的最大概率，
优选地，在步骤s4中，对已经分发到正确部门的文档数据进行划分，一部分作为分类模型的训练集样本，对模型参数进行训练，一部分作为测试集样本；通过测试集样本对分类模型进行性能评估和判定，例如，通过准确率、召回率和f参数中的一种或多种对分类模型进行性能评估和判定，其中，包括：
根据下式(8)评估分类模型分发到部门的准确率p，
根据下式(9)评估分类模型分发到部门的召回率r，
根据下式(10)评估分类模型分发到部门的f参数
其中，β是准确率p和召回率r之间的权衡因子。
在本发明的一个实施例中，步骤s5包括：
将新来的文档依次输入特征提取部和特征向量构建部进行特征化处理，例如，采用向量空间模型结合tfidf进行向量化；
将新来的文档的特征向量输入已有的分类模型，得到不同分发部门的分发概率。
优选地，还包括：
根据分发概率，对文档的不同分发部门进行排序；
选取排序靠前的设定数量的分发部门作为预测结果，例如选择分发概率排序前三的对应分发部门作为预测结果。
进一步，优选地，还包括：
加入人工预判规则，判断预测结果是否准确，如果预测结果不准确(预测结果中没有真实分发部门)，将真实分发部门返回步骤s4，通过修正相关参数获得更新的新模型，例如，通过人工标记的方式修正结果，并返回分发模型中进行再训练，从而修正已有的参数。
上述各实施例示出了本发明所述文档智能分发系统及分发方法的各种形式，但是本发明并不限于此，例如，在选择训练集和测试集时，根据不同的部门的文档数据量进行选择，由于不同部门的文档数据量差异较大，需要针对不同部门分别进行训练数据和测试数据选择，这样能够有效的保留所有部门的特征空间，从而防止部分部门无数据可训练的窘状。
上述各实施例的文档智能分发系统及分发方法在朴素贝叶斯算法基础上，结合spark机器学习框架，对文本数据进行处理、分析、构建公文分类模型，提高朴素贝叶斯算法的分类效率，特别是在文本分类任务中；对小规模的数据表现很好，能够处理多分类任务，适合增量式训练；对缺失数据不太敏感，算法简单、易于实现。同时，提出基于spark的朴素贝叶斯公文分类模型，该模型通过分析历史收文数据，借助大数据机器学习手段、计算框架，提高了朴素贝叶斯算法的数据处理能力。为“一般来文”提供最优的呈送/分发对象，合理呈送各部门负责人/各业务处室。此外，也辅助收发部门决策，从而提高委内办公效率、减少对委领导及各业务处室工作的影响。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
- 还没有人留言评论。精彩留言会获得点赞！