一种针对植物领域的非分类关系识别方法
【技术领域】
[0001] 本发明属于计算机中文信息处理领域，特别涉及一种针对植物领域的非分类关系 识别方法。
【背景技术】
[0002][0003]
【发明内容】
[0004] 针对现有技术中存在的不足，本发明的目的在于提供一种针对植物领域的非分类 关系识别方法。
[0005] 为实现上述目的，本发明采用如下技术方案：
[0006] -种针对植物领域的非分类关系识别方法，所述方法为：
[0007] (1)根据对植物领域关系的分类，对分类关系和非分类关系进行定义；
[0008] 所述分类关系的定义为:分类关系表示概念与概念之间的上下位的关系；非分类 关系的定义为:非分类关系表示除了上下位关系以外的其它关系；
[0009] 所述的分类关系包括层级关系和is-a关系;非分类关系包括整体部分关系及概念 之间的依赖关系、关联关系、因果关系和相似关系；比如植物领域就涉及植物生长发育的方 方面面，具有农业价值的关系包括:生长规律及其与外界环境条件的关系、别名信息、地理 分布、病虫害防治、土壤与营养、栽培技术、轮作套种、遗传育种和经济价值等，表现出知识 量大、关系复杂多变等特点；
[0010] (2)获取相关词条的非结构化网页内容，作为语料，对语料进行预处理，获得预处 理模块；
[0011] (3)对获得的预处理模块，进行基于词汇-语法的非分类关系的初步抽取，获得初 步抽取t吴块；
[0012] (4)对获得的初步抽取模块，采用基于词表过滤和给模式添加限制的方法进行改 进，获得改进抽取模块;所述的限制为单个限制或用约束组合对象表示多个限制的组合；
[0013] (5)对获得的改进抽取模块，基于百度百科半结构化文本的非分类关系抽取，获得 非分类关系抽取模块；
[0014] (6)对获得的非分类关系抽取模块，进行形式化表达，获得形式化表达模块，最终 获得可视性结果。
[0015] 所述步骤(2)的具体步骤为：
[0016] S1、利用语料采集脚本程序，从百度百科的植物分类下，获取词条作为语料；
[0017] 所述语料采集脚本程序是根据每一个植物百科的url地址，寻找规律，一次性爬取 下来；
[0018] S2、将获取的语料，以GBK编码的文本文件的形式，进行存储；
[0019] S3、借助自然语言处理的开源工具LTP，对存储好的语料进行第一阶段的预处理， 即分词，该预处理基于条件随机场模型，进行训练和解码；
[0020] S4、借助自然语言处理的开源工具LTP，对存储好的语料进行第二阶段的预处理， 即词性标注，该预处理基于支持向量机模型，进行训练和解码；
[0021] S5、借助自然语言处理的开源工具LTP，对存储好的语料进行第三阶段预处理，即 依存句法分析，该预处理基于图模型的方法，将依存分析问题归结为在一个有向图中寻找 最大生成树的问题，获得预处理模块;获得预处理模块;其中，边权重使用Online Learning 算法获得，解码算法使用的是Ei sner算法。
[0022] 所述步骤(3)的具体步骤为：
[0023] S1、从获得的预处理模块中，选取一小批植物百科中的植物品种词条，找出表达非 分类关系的语句；
[0024] S2、对找出的非分类关系语句进行依存句法分析；
[0025] S3、对依存句法分析的结果，进行标注，即找出并标明句子中存在的非分类关系的 概念，以及非分类关系的名称，记为Ri (th);
[0026] 其中，Ri为非分类关系名称，Xuh分别为该非分类关系名称所对应的实体与属性；
[0027] S4、统计Xi、Ri、Yi之间的依存关系序列，在其他标注Xj、Rj、Yj(i矣j)中出现的次数；
[0028] S5、人工剔除不符合语法的依存关系序列后，得到出现多次的依存关系序列，即为 表达非分类关系的词汇-语法模式；
[0029] S6、手工总结一些表达非分类关系的词汇-语法模式，作为补充；
[0030] S7、其中，非分类关系的词汇-语法模式采用：依存关系，即关节点，依存节点，对应 非分类关系名称集，即施事概念，受事概念的形式表示;形式化为公式(1): η
[0031] aDA.s^I,)^ L(A,B) i=i (. 1 ；
[0032] 公式中，Di为依存关系，Sl为关节点，U为依存节点，L为非分类关系名称集，A为施 事概念，B为受事概念；
[0033]其中，UAjSsdPt中指定的元素，公式表示：当所有依存关都满足时，L(A， B)关系成立；
[0034] S8、对待提取的文档利用LTP进行预处理，然后将非分类关系的词汇-语法模式匹 配归结为，在依存树中寻找子树的问题，即对句子的依存树进行检测，如果依存树中存在这 些关节点和依存节点，其满足非分类关系的词汇-语法模式前件中的每项约束，则非分类关 系的词汇-语法模式匹配成功，并将这些关节点和依存节点，按照词汇-语法模式的后件，转 化为非分类关系名称集L，获得初步抽取模块。
[0035]所述步骤(4)的具体步骤为：
[0036] S1、对初步抽取模块进行过滤，当非分类关系名称集L的施事概念A与受事概念B都 在词表中出现时，则保留该非分类关系名称集L;
[0037] S2、为手工设定的词汇-语法模式增加限制；
[0038] S3、首先采用手工设定的词汇-语法模式，在标注集上进行初步抽取；
[0039] S4、对于抽取成功的实例，将其施事概念A、非分类关系名称集L、受事概念B的词性 和词中的字，用图的方式表示为限制；
[0040] S5、计算这些限制的所有子集在标注集上的Laplacian值;Laplacian值用公式(2) 计算：
[0041 ]
(2)
[0042]公式中，e为抽取的错误数，η为抽取的总数;其中Laplacian值越低，表示该限制组 合在标注集上抽取的表现越好；
[0043]所述步骤(5)的具体步骤为：
[0044] S1、分别对网页的D0M树进行解析处理，查找出其中表示百度百科名片中，词条基 本信息栏表格和正文中表不表格的HTML标签，获取表格中表不非分类关系的表项；
[0045] S2、对表示非分类关系的表项进行LTP分词、命名实体识别处理；
[0046] S3、将处理结果转化为对应的非分类关系三元组，其中，非分类关系名称集L转化 为表格中表项的名称，施事概念A转化为为词条名称，受事概念B转化为表项的内容。
[0047] 所述的形式化表达模块借助Prot6g6可视化插件OWLPropViz，进行抽取结果的显 不。
[0048]本发明的有益效果为:本发明在对文本进行自然语言处理的基础上，直接用非分 类关系词汇-语法模式进行抽取，准确率在70%左右，在非分类关系抽取上取得了较好的结 果，为植物领域知识图谱构建奠定了基础，且为农民提供了更专业的植物领域技术和知识。
【附图说明】
[0049] 图1为本发明实施例的一种针对植物领域的非分类关系识别方法的步骤流程图。
[0050] 图2为本发明实施例的一种针对植物领域的非分类关系识别方法得到的部分结果 可视化展示示例图。
【具体实施方式】
[0051] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0052] 本发明根据对植物领域关系的分类，对分类关系和非分类关系进行定义：
[0053]分类关系：分类关系表示概念与概念之间的上下位的关系；包括层级关系和is-a 关系；
[0054] 非分类关系：非分类关系表示除了上下位层次关系以外的其它关系;包括整体部 分关系以及概念之间的依赖关系、关联关系、因果关系、相似关系;植物领域涉及植物生长 发育的方方面面，具有农业价值的关系包括:生长规律及其与外界环境条件的关系、别名信 息、地理分布、病虫害防治、土壤与营养、栽培技术、轮作套种、遗传育种和经济价值等，表现 出知识两大、关系复杂多变等特点。
[0055] 本实施例中，提供了 一种针对植物领域的非分类关系识别方法，步骤流程图如图1 所示，具体包括如下步骤：
[0056] (1)根据对植物领域关系的分类，对分类关系和非分类关系进行定义，确定出要筛 选的非分类关系的种类。
[0057] (2)利用计算机编程进行数据获取，并借助自然语言处理的开源工具LTP，对获取 的数据进行预处理，获得预处理模块；
[0058]具体步骤包括：
[0059] 步骤S1:利用语料采集脚本程序，从百度百科的植物分类下，获取了 9623个词条作 为语料；
[0060] 所述语料采集脚本程序是根据每一个植物百科的url地址，寻找规律，一次性爬取 下来；
[0061 ]步骤S2:将获取的语料，以GBK编码的文本文件的形式，进行存储；
[0062] 步骤S3:借助LTP对存储好的语料，进行第一阶段的预处理一分词，该预处理基于 条件随机场模型，进行训练和解码;采用1998年1-6月人民日报的文本作为训练集；
[0063]步骤S4:借助自然语言处理的开源工具LTP，对存储好的语料进行第二阶段的预处 理一词性标注，该预处理基于支持向量机模型，进行训练和解码;采用1998年1-6月人民日 报的文本作为训练集；
[0064]步骤S5:借助自然语言处理的开源工具LTP，对存储好的语料进行第三阶段的预处 理一依存句法分析，该预处理基于图模型的方法，将依存分析问题归结为在一个有向图中， 寻找最大生成树的问题；边权重使用Online Learning算法学习获得，解码算法使用的是 Eisner算法;其数据来源为HIT-CDT，前8000句训练，8001-9000开发，后1000句测试。
[0065] (3)对获得的预处理模块，进行基于词汇-语法的本体非分类关系的初步抽取，获 得初步抽取模块；
[0066]具体步骤包括：
[0067] 步骤S1:从获得的预处理模块中，选取一小批具有代表性的词条(在19个分类下共 选取了 97个词条），找出表达非分类关系的语句；
[0068] 步骤S2:对找出的非分类关系的语句进行依存句法分析，采用手工总结与统计分 析相结合的方式，总结表达非分类关系的词汇-语法模式;主要集中在具有农业