一种基于ai技术的信息抽取方法、装置和存储介质
技术领域：
：1.本公开涉及但不限于人工智能、文档结构化处理领域，尤其涉及一种基于ai技术的信息抽取方法、装置和存储介质。
背景技术：
：：2.结构化信息抽取技术被各行各业所需要，对目标数据(文件)进行进行抽取形成结构化数据，才能更有效地进行后续的信息加工、处理或分析。以招投标领域为例，针对招投标文件的信息抽取，目前主流的方法仍是根据正则匹配进行提取。其实现方式是通过分析招投标文件，定义一些诸如项目名称、项目编号、采购类型等触发词，以及电话、日期等模式，结合正则表达式进行文件内容的匹配，进而得到对应的字段信息，以实现对招投标文件的结构化信息的抽取。3.近些年，随着知识图谱等技术的兴起，也有一些相结合的案例。其实现方式一般是通过先构建一个招投标领域知识图谱，然后基于图谱，计算招投标文件与图谱的匹配程度，通过卡阈值得到相应字段的信息，以实现对招投标文件的结构化信息的抽取。技术实现要素：4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。5.本公开实施例提供一种基于ai技术的信息抽取方法，包括，6.对目标文件进行语义切割，得到切割后的多个文本单元；7.根据所述多个文本单元，利用预先训练好的命名实体识别模块识别出实体，并利用预先训练好的关系分类模型抽取实体之间的关系；8.利用预先训练好的机器阅读理解模型，对所识别出的实体和所抽取的实体之间的关系进行校验；9.根据校验后的实体和实体之间的关系，确定所述目标文件对应的结构化信息。10.一些示例性的实施例中，所述对目标文件进行语义切割，得到切割后的多个文本单元，包括：11.获取所述目标文件中的文本内容，根据语义分割模型对所述文本内容进行切割，得到切割后的所述多个文本单元。12.一些示例性的实施例中，所述目标文件包括：网页文件；13.所述获取所述目标文件中的文本内容，包括：14.根据所述网页文件构建网页文档对象模型dom树；15.根据所述目标文件所属的类型对应的词典和预设的文本块分割算法，识别所述网页dom树中的正文区域；16.识别所述正文区域中包含的文本，并根据预设的格式转换为所述文本内容。17.一些示例性的实施例中，所述预设的格式至少包括以下之一：表格内文本拼接格式、表格与非表格文本拼接格式、表格间文本拼接格式；18.所述识别所述正文区域中包含的文本，并根据预设的格式转换为所述文本内容，包括：19.根据预设的表格分类模型，从所述正文区域中识别出表格区域和非表格区域，并确定所述表格区域的表格类型；20.根据所述表格类型和预设的表格内文本拼接格式，将各表格区域中的文本转换为表格文本；21.根据所述预设的格式，将所述表格文本和非表格区域中的文本转换为所述文本内容。22.一些示例性的实施例中，所述语义分割模型为：根据预先标注的样本对bert预训练语言模型进行微调得到的模型。23.一些示例性的实施例中，所述命名实体识别模型为基于深度学习的序列标注模型，所述序列标注模型由bert预训练语言模型、双向长短期记忆bilstm模型和融合attention机制的条件随机场crf模型组成；24.所述命名实体识别模型根据以下方式预先训练确定：25.根据需要识别的实体类型和关系类型，对样本数据进行标注得到训练数据；根据所述训练数据对所述命名实体识别模型进行训练；26.所述关系分类模型由bert预训练语言模型、双向长短期记忆bilstm模型和线性回归linear模型组成；27.所述关系分类模型根据以下方式预先训练确定：28.根据需要识别的实体类型和关系类型，对样本数据进行标注得到训练数据；根据所述训练数据对所述关系分类模型进行训练。29.一些示例性的实施例中，所述机器阅读理解模型根据以下方式预先训练确定：30.根据所述目标文件所属的类型，确定问题模板；31.根据需要识别的实体类型和关系类型，对样本数据进行标注得到标注数据；32.根据所述标注数据和所述问题模板生成训练数据，采用所述训练数据训练机器阅读理解模型；其中，每一种类型的问题模板分别对应一个机器阅读理解模型。33.一些示例性的实施例中，所述利用预先训练好的机器阅读理解模型，对所识别出的实体和所抽取的实体之间的关系进行校验，包括：34.利用所述预先训练好的机器阅读理解模型，根据所述实体和实体间关系，确定预测结果；35.根据所述预测结果对所识别出的实体和所抽取的实体间的关系进行补充或纠正，得到校验后的实体和实体之间的关系。36.本公开实施例还提供一种电子装置，包括存储器和处理器，所述存储器中存储有用于进行信息抽取的计算机程序，所述处理器被设置为读取并运行所述用于进行信息抽取的计算机程序以执行上述任一种基于ai技术的信息抽取方法。37.本公开实施例还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一种基于ai技术的信息抽取方法。38.可以看到，本公开实施例提供的基于人工智能ai技术的结构化信息抽取方案，能自动的从文件中提取相关实体，并计算实体间的关系，提取所需的字段信息。该方式针对风格样式多变的招投标文件，具备极好的泛化能力和召回能力。39.在阅读并理解了附图和详细描述后，可以明白其他方面。附图说明40.图1为本公开一实施例中信息抽取方法的流程图；41.图2为本公开一实施例中进行文件预处理的流程图；42.图3为本公开一实施例中进行实体识别和关系抽取的流程图；43.图4为本公开一实施例中样本标注的示意图；44.图5为本公开一实施例中进行数据校验并确定结构化信息的流程图；45.图6为本公开一实施例中待提取信息的目标文件示例图；46.图7为本公开一实施例中待提取信息的目标文件确定正文区域的示例图；47.图8为本公开一实施例中表格转文本的示例图；48.图9为本公开一实施例中信息抽取方法的流程图；49.图10为本公开一实施例中信息抽取装置的结构图。具体实施方式50.为使本公开的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步的详细描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。51.随着互联网技术的普及和发展，越来越多的招投标工作转到网上进行，internet快速积累了海量的招投标文件。这些招投标文件由不同机构和网站发布，种类繁杂，风格多变，给文件的结构化工作带来不小的挑战，因此亟需一种行之有效的信息抽取方法来处理这些文件。52.以招投标领域为例，越来越多的招投标工作转到网上进行，internet快速积累了海量的招投标文件。这些招投标文件由不同机构和网站发布，种类繁杂，风格多变，给文件的结构化工作带来不小的挑战，因此亟需一种行之有效的信息抽取方法来处理这些文件。相关技术中也存在一些技术方案来实现信息抽取。例如，正则匹配一直以来是一个简单高效的方式，但其有着低召回以及难以维护等缺点。低召回是因为招投标文件风格多变，无法穷举所有的模式；难以维护是因为正则式随着规模数据的增加，每新加一条，需要考虑与已有正则库的兼容，再加上正则式的易读性差，维护成本大大增加。53.而与知识图谱结合的方式很依赖图谱的质量。事实上构建一个高质量的招投标领域的知识图谱，代价是巨大的，而且图谱的构建反而需要招投标文件信息抽取来提供支持。54.本公开实施例提出的基于ai技术的结构化信息抽取方法，采用命名实体识别、关系抽取等ai技术，能自动的从文件中提取相关实体，并计算实体间的关系，提取所需的字段信息。该方式针对风格样式多变的招投标文件，具备极好的泛化能力和召回能力。55.实施例一56.本实施例以招投标领域的结构化抽取为示例，提供一种基于ai技术的信息抽取方法，如图1所示，包括：57.步骤101，获取招投标文件；58.步骤102，对招投标文件进行预处理；59.步骤103，实体识别；60.步骤104，关系抽取；61.步骤105，形成结构化信息。62.事实上，招投标文件多从各类网站中获取，这些网站中部分有自己的固定模板，但更多是汇总聚合类网站，有着各种样式的招投标文件。因此，很有必要对这些文件进行统一预处理。这里预处理后的输出是语义切割后的文本段落，即多个文本单元，涉及到的ai技术主要应用在表格识别和语义分割上。63.一些示例性的实施例中，步骤101所获取的招投标文件(也称为目标文件)为网页文件，对应地，步骤102中，所述预处理如图2所示，包括：64.a.通过html解析器解析招投标网页文件，构建网页文档对象模型dom树。65.b.剔除无效的标签内容，如comment、script等。66.c.补全缺失的标签。一些招投标文件虽然在浏览器端能正确渲染，但是会出现诸如缺失闭合标签、缺失上级标签等问题，如td一般在tr下，有部分网页会在一个table下，偶尔出现td直接出现，而无tr的情况。67.d.结合招投标领域的词典和文本块分割算法，确定网页文件中的正文区域。68.e.对正文区域单独渲染，将其渲染后图片和含有表格的正文区域一块送入表格分类模型。该模型主要用于识别表格类型；其中，表格类型包括：行式表格(表头在第一列)、列式表格(表头在第一行)、矩阵式表格(表头为第一列和第一行共同组成)、混合式表格中。得到表格类型后，将其按照对应表头和具体值，按照预设的格式(表格内文本拼接格式)组成文本段，例如对表头和具体值组成“表头：值”形式，然后通过逗号进行拼接，这样就将表格转成有语义的文本段。如果有多个表格，则根据各自的表格类型进行拼接，得到对应的文本段；对于非表格的区域，则通过html转文本的方式，将非表格区域的信息转换为文本段；最后按照预设的规则，将全部文本段拼接在一起，如此便将网页文件转换成文本。69.f.由于深度学习对文本长度的限制，无法将很长的文本直接送入模型，这里采用语义分割模型对长文本进行切割，得到多个文本单元。该模型根据bert预训练语言模型加以预标注好的数据微调(fine‑tuning)而得到，能尽可能保证对上下文有重要影响的文本与上下文分在一起，如文本“中标人信息。机构名：xx机构，联系人：张三。”会分在一起，而不会按照句号分成多个文本，因为“张三”和“xx机构”指的是中标人，而不是招标人或代理人。70.g.输出经过语义切割后的多个文本单元。71.其中，步骤d中的文本块分割算法为用于做网页正文提取的算法，可以为基于文本密度的网页正文提取算法、基于行块分布函数的网页正文提取算法等。一些示例性的实施例中，选用了改进的基于行块分布函数的网页正文提取算法。72.一些示例性的实施例中，步骤f中的模型为利用标注好的样本数据，对bert预训练语言模型进行微调后得到的模型。这里的微调是指采用目标领域数据对既有模型(bert预训练语言模型)重新训练，使模型参数更适合解决目标领域的任务。73.招投标文件在预处理完后，需要提取其中涉及到的实体，如项目名称、招投机构、监督机构、招投人等，以及实体间的关系，如投标关系、标段关系、中标关系、竞争对手关系等。其主要涉及到序列标注、关系分类等ai技术。74.一些示例性的实施例中，步骤103和104的实体识别和关系抽取，其流程如图3所示，包括：75.a.预先定义好需要识别的实体类型和关系类型，如项目名称、招标人、招标代理等实体，竞对、中标、联合投标等关系；76.b.根据定义好的标签类型，利用样本数据人工标注一定数据量的招投标数据。标注形式如图4所示；77.c.根据标注数据预先训练命名实体识别模型。这里采用了基于深度学习的序列标注模型，其由bert预训练语言模型、双向长短期记忆bilstm模型和融合attention机制的条件随机场crf模型组成。其中为了提升处理速度，对bert预训练语言模型进行了裁剪，并选用了更高效的lamb作为优化器算法。78.d.根据标注数据预先训练关系分类模型。其模型结构为bert预训练语言模型、bilstm模型、线性回归linear模型组成，其中bert预训练语言模型、bilstm模型是与命名实体识别模型共用。79.e.使用时训练好的命名实体模型和关系分类模型对招投标文件预处理后的文本(即多个文本单元)进行标注，输出模型预测结果。所述预测结果包括识别出的实体和实体之间的关系。80.一些示例性的实施例中，融合attention机制的条件随机场crf模型也称为attention+crf模型；步骤c中基于深度学习的序列标注模型，其由bert预训练语言模型、双向长短期记忆bilstm模型和融合attention机制的条件随机场crf模型组成，也称为bert+bilstm+attention+crf模型。81.作为概率统计模型，命名实体识别和关系分类处理后的招投标文件仍需要进一步加工，用以避免遗漏和错误。基于ai技术的招投标智能校验，采用机器阅读理解技术，自动生成问题和答案，判断答案与提取结果的匹配程度，从而进一步筛选可靠信息。82.一些示例性的实施例中，步骤105形成结构化信息如图5所示，包括：83.a.定义问题模板。主要有2种类型，一种是是非问题，如“{org}是{project_name}的招标公司吗？”、“{project_name}的招标代理联系人有{person}吗？”等；另一种是匹配问题，如“项目招标的标的物是什么？”、“{section}的预算是多少？”等。这里的{project_name}、{person}、{section}等均为问题模板的槽位，可以根据命名实体识别模型和关系分类模型处理的结果进行填充。84.b.根据标注数据和问题模板生成训练数据，训练机器阅读理解模型，每类问题一个模型。85.c.使用机器阅读理解模型预测命名实体识别和关系分类模型处理的结果，将遗漏的进行补充，并对错误的进行纠正，最终得到招投标文件的结构化输出。86.其中，上述步骤105中b的所述标注数据即为关系抽取过程中步骤b中的标注数据。87.一些示例性的实施例中，所述机器阅读理解模型由bert预训练语言模型和qanet模型组成，也记为bert+qanet模型。88.可以看到，本公开实施例所提供的信息提取方案，基于ai技术对招投标文件进行了预处理：采用了表格识别技术，自动对行式、列式、混合式、矩阵式等不同类型表格进行识别，同时采用了语义分割技术，在大文本段落切分时，考虑到上下文，做出更好的语句分割。89.基于序列标注、关系分类的文档结构化方式，可以准确高效的识别出招投标文件中的诸如项目名称、中标人、招标人等字段实体，并汇总分析出它们之间的关系。90.基于机器阅读理解的方式，可以用来校验提取结果，并补充遗漏的提取信息。91.涉及到的模型均采用了bert预训练语言模型。bert模型由谷歌ai团队于2018年发布，在11个自然语言处理任务上刷新了记录，是自然语言处理史乃至ai史上的一个重大里程碑。其由海量文本语料训练而成，能够很好捕捉词语和句子级别的表示，高效抽取文本信息并应用于各类自然语言处理任务。92.本公开实施例所提供的方案采用bert和下游任务(如语义分割、命名实体识别、关系分类、机器阅读理解等)结合，具备更好的泛化能力。93.一些示例性的实施例中，步骤103中进行命名实体识别的模型还可以采用其他具备相似识别效果的网络模型，不限于上述例举的特定模型。例如：向量词word2vec+lstm+crf模型，或隐马尔可夫模型hmm(hiddenmarkovmodel)模型。94.一些示例性的实施例中，步骤104中进行关系识别的模型还可以采用其他具备相似识别效果的网络模型，不限于上述例举的特定模型。例如，分段卷积神经网络(piecewiseconvolutionalneuralnetworks)pcnn+attention模型，或cr‑cnn(排序分类卷积神经网络，classificationbyrankingcnn)模型。95.一些示例性的实施例中，步骤105中的机器阅读理解模型还可以采用其他具备相似技术效果的网络模型，不限于上述例举的特定模型。例如，深度神经网络sdnet模型、双向注意力流bidaf模型或bert+dae(daenhanced)+aoa(层叠式注意力attention‑over‑attention)模型。96.一些示例性的实施例中，所述信息提取方法还可以用于其领域内相关信息的提取，如针对企业年报、裁判文书、新闻要素等目标文件进行结构化信息抽取。例如，针对裁判文书，相应调整步骤102中的词典，将其调整为裁判文书所属的这一类文件所对应的词典，其中的语义分割模型根据裁判文书的特点提前调整；步骤103和104中的相应地，定义对应于裁判文书相关的标签类型，并利用该方面的样本数据进行标注，得到标注数据，训练后的所述命名实体识别模块用于识别该目标文件(裁判文书)中的实体，训练后所述关系分类模型用于识别该目标文件(裁判文书)中实体之间的关系；步骤105中预先定义的问题模板是针对该目标文件(裁判文书)所属领域的问题模板，训练后的机器阅读理解模型用于预测实体和实体之间的关系。最终，得到针对裁判文书的结构化信息，并输出或保存。97.对于其他领域的目标文件，根据上述实施例记载，本领域技术人员可以知晓如何相应调整相关步骤并实施，以得到对应的提取结果，在此不进行一一赘述。98.本公开实施例提供的信息提取方法能具备很好的泛化能力，针对新模式的招投标文件，也能给予很好的支持。此外，该方法有着很好的进化能力，随着招投标信息抽取工作的积累，模型能够很方便快速的进行迭代与更新，维护成本低，自动化程度高。99.可以看到，本公开实施例所提供的方案，充分利用了相关算法和模型的优势，针对信息提取提出了全新的解决方案。以招投标领域为例，针对大量样本进行了验证，确定了上述信息提出方案，能够很方便快速的进行迭代与更新，整体方案维护成本低，自动化程度高。100.示例一101.以xx采购网中一篇中标公告为目标文件，进行信息抽取，其过程如下：102.步骤1：从xx采购网上获取该中标公告网页文件后，进行预处理，包括：进行渲染后，得到如图6所示的网页文件；对渲染后的网页文件进行正文区域提取，得到如图7红框中的正文区域；识别正文区域中的表格的类型，连同非表格的内容，将目标网元转换成文本；再进行长文本切割，得到多个文本单元。103.其中，本示例中表格类型识别为行式表格，该表中内容对应的文本如图8所示。104.以图6所示的目标文件，完成预处理后得到的分割后的多个文本单元如下：105.[0]xx县卫生和计划生育局微量泵等医疗设备采购项目中标公示[0106][1]1、项目名称:xx县卫生和计划生育局微量泵等医疗设备采购项目[0107][2]2、招标编号:1545‑194203112031[0108][3]3、采购预算:55.30万元[0109][4]4、招标方式:公开招标[0110][5]5、招标公告时间:2019年02月20日[0111][6]6、定标日期:2019年03月15日[0112][7]7、评标专家名单:张三、李四、王五[0113][8]8、评标方法:综合评分法[0114][9]9、评标结果:中标单位,云南xx科技有限公司；中标单位地址,云南省昆明市西山区xxx村；投标总价(中标价格),54.82万元；交货时间,合同签订后25日内[0115][10]联系人,王女士；联系电话,0871‑12345678[0116][11]10、本公告期限为1个工作日(2019年03月18日),投标人如有异议请于本公告时间结束之日起的7个工作日内向姚安县财政局政府采购管理股进行实名书面投诉.[0117][12]行政监督部门电话:0878‑5722526[0118][13]11、采购人:xx县卫生和计划生育局；采购人地址:xx县栋川镇蛉荷大道城南办公区[0119][14]采购人联系人:罗老师；电话:0878‑1234567[0120][15]12、招标代理机构名称:云南xx招标有限公司；招标代理机构地址:云南省昆明市盘龙区xx路[0121][16]联系人:周大福、于六；招标代理机构联系电话:0871‑66668888[0122][17]特此公告。云南xx招标有限公司二〇一九年三月十五日[0123]其中，上述每一行为分割后得到的文本单元，左边中括号内数字表示为切割的索引号，可以看到部分行内容合并，如“9、评标结果”与表格提取的内容合并了，原文中的最后三行文本也合并在一起。[0124]步骤2：每一行进入命名实体识别模型进行实体识别，并进行关系抽取(分类)。[0125]其中，上述各文本单元进行实体识别结果如下：[0126][0]xx县卫生和计划生育局微量泵等医疗设备采购项目中标公示[0127][('xx县卫生和计划生育局微量泵等医疗设备采购项目','pn'),('xx县卫生和计划生育局','cr'),('微量泵','mn')][0128][1]1、项目名称:xx县卫生和计划生育局微量泵等医疗设备采购项目[0129][('xx县卫生和计划生育局微量泵等医疗设备采购项目','pn'),('xx县卫生和计划生育局','cr'),('微量泵','mn')][0130][2]2、招标编号:1545‑194203112031[0131][('1545‑194203112031','pi')][0132][3]3、采购预算:55.30万元[0133][('55.30万元','cb')][0134][4]4、招标方式:公开招标[0135][][0136][5]5、招标公告时间:2019年02月20日[0137][('2019年02月20日','da')][0138][6]6、定标日期:2019年03月15日[0139][('2019年03月15日','da')][0140][7]7、评标专家名单:张三、李四、王五[0141][][0142][8]8、评标方法:综合评分法[0143][][0144][9]9、评标结果:中标单位,云南xx科技有限公司；中标单位地址,云南省昆明市西山区xxx村；投标总价(中标价格),54.82万元；交货时间,合同签订后25日内[0145][('云南xx科技有限公司','wr')，('云南省昆明市西山区xxx村','ad')，('54.82万元','wa')][0146][10]联系人,王女士；联系电话,0871‑12345678[0147][('王女士','cp')，('0871‑12345678','ct')][0148][11]10、本公告期限为1个工作日(2019年03月18日),投标人如有异议请于本公告时间结束之日起的7个工作日内向姚安县财政局政府采购管理股进行实名书面投诉.[0149][('2019年03月18日','da')][0150][12]行政监督部门电话:0878‑5722526[0151][('0878‑5722526','ct')][0152][13]11、采购人:xx县卫生和计划生育局；采购人地址:xx县栋川镇蛉荷大道城南办公区[0153][('xx县卫生和计划生育局','cr')，('xx县栋川镇蛉荷大道城南办公区','ad')][0154][14]采购人联系人:罗老师；电话:0878‑1234567[0155][('罗老师','cp')，('0878‑1234567','ct')][0156][15]12、招标代理机构名称:云南xx招标有限公司；招标代理机构地址:云南省昆明市盘龙区xx路[0157][('云南xx招标有限公司','ca')，('云南省昆明市盘龙区xx路','ad')][0158][16]联系人:周大福、于六；招标代理机构联系电话:0871‑66668888[0159][('周大福','cp'),('于六','cp')，('0871‑66668888,'ct')][0160][17]特此公告。云南xx招标有限公司二〇一九年三月十五日[0161][('云南xx招标有限公司','ca'),('二〇一九年三月十五日','da')][0162]上述每2行表示原始分割后的文本单元及其对应识别出的实体。实体标签对应表如下：[0163]表1实体识别结果表[0164]标签实体类型标签实体类型cr招标人ca招标代理tr投标人wr中标人so监督机构wa中标金额ta投标金额cb招标预算cb招标预算ab代理费用bb标书价格si标段号sn标段名称mn标的物mb标的物品牌ad地址cp联系人ct联系电话mi邮箱pn项目名称pi项目编号da日期[0165]其中，关系分类部分结果如下：[0166][0]xx县卫生和计划生育局微量泵等医疗设备采购项目中标公示[0167][][0168][1]1、项目名称:xx县卫生和计划生育局微量泵等医疗设备采购项目[0169][][0170][2]2、招标编号:1545‑194203112031[0171][][0172][3]3、采购预算:55.30万元[0173][][0174][4]4、招标方式:公开招标[0175][][0176][5]5、招标公告时间:2019年02月20日[0177][][0178][6]6、定标日期:2019年03月15日[0179][][0180][7]7、评标专家名单:张三、李四、王五[0181][][0182][8]8、评标方法:综合评分法[0183][][0184][9]9、评标结果:中标单位,云南xx科技有限公司；中标单位地址,云南省昆明市西山区xxx村；投标总价(中标价格),54.82万元；交货时间,合同签订后25日内[0185][('云南xx科技有限公司','云南省昆明市西山区xxx村','wr‑ad')，('云南品xx技有限公司','54.82万元','wr‑wa')][0186][10]联系人,王女士；联系电话,0871‑12345678[0187][('王女士','0871‑12345678','cp‑ct')][0188][11]10、本公告期限为1个工作日(2019年03月18日),投标人如有异议请于本公告时间结束之日起的7个工作日内向姚安县财政局政府采购管理股进行实名书面投诉.[0189][][0190][12]行政监督部门电话:0878‑5722526[0191][][0192][13]11、采购人:xx县卫生和计划生育局；采购人地址:xx县栋川镇蛉荷大道城南办公区[0193][('xx县卫生和计划生育局','xx县栋川镇蛉荷大道城南办公区','cr‑ad')][0194][14]采购人联系人:罗老师；电话:0878‑1234567[0195][('罗老师','0878‑1234567','cp‑ct')][0196][15]12、招标代理机构名称:云南xx招标有限公司；招标代理机构地址:云南省昆明市盘龙区xx路[0197][('云南xx招标有限公司','云南省昆明市盘龙区xx路','ca‑ad')][0198][16]联系人:周大福、于六；招标代理机构联系电话:0871‑66668888[0199][('周大福','0871‑66668888,'cp‑ct'),('于六','0871‑66668888,'cp‑ct')][0200][17]特此公告。云南xx招标有限公司二〇一九年三月十五日[0201][][0202]上述下划线标识了即为部分关系提取结果。[0203]步骤3：使用机器阅读理解模型对上述实体识别结果和关系抽取结果进行补充或纠正，形成结构化信息。[0204]例如，采用机器阅读理解模型，对部分结果进行预测的结果如下：[0205]q:xx县卫生和计划生育局微量泵等医疗设备采购项目的招标预算是多少？[0206]a：55.30万元[0207]q：罗老师是采购联系人吗？[0208]a：是[0209]q：2019年03月15日是公告发布日期吗？[0210]a：否[0211]q：0871‑12345678是谁的号码？[0212]a：王女士[0213]q：这篇公告的类型是什么？[0214]a：中标公告[0215]最终汇总得到该中标文件的结构化信息如下：[0216][0217][0218][0219][0220]实施例二[0221]本公开还提供一种基于人工智能ai技术的信息抽取方法，如图9所示，包括，[0222]步骤901，对目标文件进行语义切割，得到切割后的多个文本单元；[0223]步骤902，根据所述多个文本单元，利用预先训练好的命名实体识别模块识别出实体，并利用预先训练好的关系分类模型抽取实体之间的关系；[0224]步骤903，利用预先训练好的机器阅读理解模型，对所识别出的实体和所抽取的实体之间的关系进行校验；[0225]步骤904，根据校验后的实体和实体之间的关系，确定所述目标文件对应的结构化信息。[0226]一些示例性的实施例中，所述对目标文件进行语义切割，得到切割后的多个文本单元，包括：[0227]获取所述目标文件中的文本内容，根据语义分割模型对所述文本内容进行切割，得到切割后的所述多个文本单元。[0228]一些示例性的实施例中，所述目标文件包括：网页文件；[0229]所述获取所述目标文件中的文本内容，包括：[0230]根据所述网页文件构建网页文档对象模型dom树；[0231]根据所述目标文件所属的类型对应的词典和预设的文本块分割算法，识别所述网页dom树中的正文区域；[0232]识别所述正文区域中包含的文本，并根据预设的格式转换为所述文本内容。[0233]一些示例性的实施例中，预设的文本块分割算法包括：基于文本密度的网页正文提取算法、基于行块分布函数的网页正文提取算法等。一些示例性的实施例中，选用了改进的基于行块分布函数的网页正文提取算法。[0234]一些示例性的实施例中，所述预设的格式至少包括以下之一：表格内文本拼接格式、表格与非表格文本拼接格式、表格间文本拼接格式；[0235]所述识别所述正文区域中包含的文本，并根据预设的格式转换为所述文本内容，包括：[0236]根据预设的表格分类模型，从所述正文区域中识别出表格区域和非表格区域，并确定所述表格区域的表格类型；[0237]根据所述表格类型和预设的表格内文本拼接格式，将各表格区域中的文本转换为表格文本；[0238]根据所述预设的格式，将所述表格文本和非表格区域中的文本转换为所述文本内容。[0239]一些示例性的实施例中，所述目标文件包括：word文件、pdf文件、xml文件、excel等。相应地，获取这些目标文件中的文本内容后采用语义分割模型将文本内容分割为多个文本单元。[0240]一些示例性的实施例中，所述语义分割模型为：根据预先标注的样本对bert预训练语言模型进行微调得到的模型。[0241]这里的微调是指采用目标领域数据对既有模型(bert预训练语言模型)重新训练，使该模型参数更适合解决目标领域的任务。[0242]一些示例性的实施例中，所述命名实体识别模型为基于深度学习的序列标注模型，所述序列标注模型由bert预训练语言模型、双向长短期记忆bilstm模型和融合attention机制的条件随机场crf模型组成；也称为bert+bilstm+attention+crf模型。[0243]所述命名实体识别模型根据以下方式预先训练确定：[0244]根据需要识别的实体类型和关系类型，对样本数据进行标注得到训练数据；根据所述训练数据对所述命名实体识别模型进行训练；[0245]所述关系分类模型由bert预训练语言模型、双向长短期记忆bilstm模型和线性回归linear模型组成；也称为bert+bilstm+linear模型。[0246]一些示例性的实施例中，其中所述关系分类模型中的bert预训练语言模型、bilstm模型是与命名实体识别模型中的bert预训练语言模型、bilstm模型是共用的。[0247]所述关系分类模型根据以下方式预先训练确定：[0248]根据需要识别的实体类型和关系类型，对样本数据进行标注得到训练数据；根据所述训练数据对所述关系分类模型进行训练。[0249]一些示例性的实施例中，所述机器阅读理解模型根据以下方式预先训练确定：[0250]根据所述目标文件所属的类型，确定问题模板；[0251]根据需要识别的实体类型和关系类型，对样本数据进行标注得到标注数据；[0252]根据所述标注数据和所述问题模板生成训练数据，采用所述训练数据训练机器阅读理解模型；其中，每一种类型的问题模板分别对应一个机器阅读理解模型。[0253]一些示例性的实施例中，所述机器阅读理解模型由bert预训练语言模型和qanet模型组成，也记为bert+qanet模型。[0254]一些示例性的实施例中，所述利用预先训练好的机器阅读理解模型，对所识别出的实体和所抽取的实体之间的关系进行校验，包括：[0255]利用所述预先训练好的机器阅读理解模型，根据所述实体和实体间关系，确定预测结果；[0256]根据所述预测结果对所识别出的实体和所抽取的实体间的关系进行补充或纠正，得到校验后的实体和实体之间的关系。[0257]实施例三[0258]本公开还提供一种基于人工智能ai技术的信息抽取装置，如图10所示，包括，[0259]文本单元切割模块101，对目标文件进行语义切割，得到切割后的多个文本单元；[0260]实体和关系抽取模块102，根据所述多个文本单元，利用预先训练好的命名实体识别模块识别出实体，并利用预先训练好的关系分类模型抽取实体之间的关系；[0261]校验模块103，利用预先训练好的机器阅读理解模型，对所识别出的实体和所抽取的实体之间的关系进行校验；[0262]结构化信息确定模块104，根据校验后的实体和实体之间的关系，确定所述目标文件对应的结构化信息。[0263]本实施例提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序，其中，所述计算机程序被设置为在运行时执行上述实施中任一所述的方法。[0264]本发明实施例提供一种电子装置，所述存储器中存储有用于进行信息提取的计算机程序，所述处理器被设置为读取并运行所述用于进行信息提取的计算机程序以执行上述任一一种基于ai技术的信息提取方法。[0265]本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd‑rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。当前第1页1 2 3 当前第1页1 2 3