企业非标准格式文档的信息提取方法与流程

技术特征：

1.一种企业非标准格式文档的信息提取方法，其特征在于：包括如下步骤，

S1、输入原始文档；

S2、待提取信息所在的段落检测及提取，负责从原始文档全文中，识别并提取出待提取信息所在的章节段落，从而使得每个待提取信息都对应到原始文档的一个片段，形成短文本；

S3、面向短文本，采用多策略的信息提取框架，即能够针对不同的信息模式，支持采用不同的策略提取不同类型的信息。

2.根据权利要求1所述的企业非标准格式文档的信息提取方法，其特征在于：所述原始文档为包括公文、招标书、营销文档的企业文档。

3.根据权利要求1所述的企业非标准格式文档的信息提取方法，其特征在于：所述步骤S2的具体实现如下，

S21、基于规则的标题抽取：

通过word的宏语言，一次性将原始文档按章节及其章节名称抽取出，形成不同的文档片段；而后，利用正则表达式，将符合模式的标题取出；

S22、将标题提取的内容作为标注语料；

S23、文档特征化：

将文档通过分词技术，进行初步的特征化，形成特征向量全集，而后进行特征优化；所述特征优化具体为：

从特征向量全集中产生一个特征子集；而后采用评价函数对该特征子集进行评价，并将评价的结果与停止准则的条件进行比较，满足则该过程完成，不满足则需要继续迭代；其中评价函数的公式如下，

其中，m表示的是类的数量，表示其中的某一个类，t表示的是一个词语，表示这个文本属于类的概率，表示词语t在文本中出现的概率，表示当一个文本中包含词语t时，这个文本属于类概率，表示当一个文本中不包含词语t时，这个文本属于类的概率；

S24、训练分类模型：

将步骤S22的标注语料，通过步骤S23的特征化以后，利用SVM分类算法，构建一个用于二分类的模型，利用该模型对原始文档的章节进行预测；

S25、模型部署运行：

对输入文档进行上述S21-S23处理后，利用步骤S24生成的模型，即可对输入文档的章节继续异常，从而识别出待提取信息所在章节，使得输入文档由长文档变为短文本。

4.根据权利要求1所述的企业非标准格式文档的信息提取方法，其特征在于：所述步骤S3的具体实现如下，

（1）对于格式固定严谨，有确定规则的信息，优先采用确定性较高的规则方法进行关键信息提取；

（2）对于符合三大类、七小类的命名实体信息，采用准确的命名识别提取技术进行提取。

5.根据权利要求4所述的企业非标准格式文档的信息提取方法，其特征在于：所述步骤S3的中还包括对于除（1）、（2）两类外的自由文本信息，该类自由文本信息采用人工提取。