一种自然语言处理的句法分析方法、智能终端及存储介质与流程

1.本发明涉及自然语言处理技术领域，具体涉及一种自然语言处理的句法分析方法、智能终端及存储介质。


背景技术：

2.自然语言处理(natural language processing，nlp)是计算机科学、人工智能和语言学的交叉领域。目的是让计算机处理或理解自然语言，以执行诸如人机交互、语言翻译和智能问答等任务。
3.在自然语言处理的基础上，结合信息检索、机器学习等技术，即可构建出一个智能交互系统。但是现有的自然语言处理的句法分析方法的准确率不高，影响用户体验。


技术实现要素：

4.针对现有技术中的缺陷，本发明实施例提供一种自然语言处理的句法分析方法、智能终端及存储介质，能提高自然语言处理的句法分析的准确率。
5.第一方面，本发明实施例提供的一种自然语言处理的句法分析方法，包括以下步骤：
6.从语料库的句法树中自动提取句法规则；
7.对提取的句法规则进行组合及归纳；
8.将句法规则录入数据库，统计每一条句法规则出现的频率，并统计组成每一条句法规则的词语、词性或短语性质的组合出现的频率；
9.对待分析的自然语句按照标点符号进行划分得到短句，判断短句中是否有动词，若有动词，则以动词为划分点对短句进行划分；
10.对划分后的句子的各个组成部分分别进行句法分析得到各个组成部分的初步分析结果，对各个初步分析结果进行句法分析，得到句子的最终分析结果；
11.利用所述句法分析方法，分析新的自然语言语句，获得新的句法规则，对其中正确的句法规则进行归纳组合，并将获得的正确的句法规则及归纳组合得到的句法规则录入数据库，并统计规则出现的概率及规则中的词语、词性、规则性质、标点符号等的组合出现的概率，持续改进句法分析的效果。
12.第二方面，本发明实施例提供了一种智能终端，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法步骤。
13.第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法步骤。
14.本发明的有益效果：
15.本发明实施例提供一种自然语言处理的句法分析方法、智能终端及存储介质，自动从语料库的句法树中提取句法规则，不需要手工编写句法规则，并对提取的句法规则进行了组合和归纳，提高句法规则的覆盖范围，能提高自然语言处理的句法分析准确率。
16.将提取的句法规则存放在数据库中，可以随时查询修改更新增加，方便持续学习和改进，能持续改进自然语言的句法分析的效果。
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
18.图1示出了本发明第一实施例所提供的一种自然语言处理的句法分析方法的流程图；
19.图2示出了本发明第二实施例所提供的一种智能终端的结构框图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
22.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
23.还应当进一步理解，本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
24.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0025]
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0026]
图1示出了本发明第一实施例所提供的一种自然语言处理的句法分析方法的流程图，包括以下步骤：
[0027]
s1:从语料库的句法树中自动提取句法规则。
[0028]
具体地，从语料库的句法树中使用程序自动提取句法规则，语料库的句法树可以是采用不同语法类型标注的句法树。一次从多层的句法树上提取s层组成一条句法规则，s是大于零且小于待提取的句法树的总层数的整数，逐级提取不同层级的句法规则。
[0029]
s2:对提取的句法规则进行组合及归纳。
[0030]
具体地，对提取的句法规则进行组合及归纳，以提高句法规则的覆盖范围。对提取的句法规则中的词语，依次用词语的词性替代该词语，可以同时替换其中1个或多个词语，最多可以把1条句法规则中的词语全部用其词性替换，替换后即形成新的句法规则。
[0031]
s3:将句法规则录入数据库，统计每一条句法规则出现的频率，并统计组成每一条句法规则的词语、词性、规则性质、标点符号等的组合出现的频率。
[0032]
具体地，将提取的句法规则以及组合归纳形成的句法规则，录入数据库，并同时统计每一条句法规则出现的频率，并统计组成每一条句法规则的词语、词性、规则性质、标点符号等的组合出现的频率。为了加快数据库中句法规则的查找速度，对组成每一条句法规则的词语、词性、规则性质、标点符号等的组合进行哈希计算得到哈希值，将得到的哈希值一同存入数据库，并对哈希值建立索引。进行句法分析时，也相应地对待分析的句子的有关词语、词性、规则性质、标点符号等的组合进行哈希计算，在数据库中查找相应的哈希值，以提高查找速度。
[0033]
s4:对待分析的自然语言语句按照标点符号进行划分得到短句，判断短句中是否有动词，若有动词，则以动词为划分点再对短句进行划分。
[0034]
具体地，将待分析的句子，按照标点符号划分成几个组成部分，在划分后的每一个组成部分(记为z1)中查看是否包含动词，如果包含动词，再按照动词将z1再划分为几个组成部分，z1中动词前面的词语为一个组成部分，动词为一个组成部分，动词后面的词语为一个组成部分。
[0035]
s5:对划分后的句子的各个组成部分分别进行句法分析得到各个组成部分的初步分析结果，再对各个初步分析结果进行句法分析，得到句子的最终分析结果。
[0036]
具体分析方法为：一、首先要确定组成句法规则的词语、词性、规则性质、标点符号等的权值，因为词语比词性和规则性质的准确度更高，所以词语的权值要比词性和短语性质的权值大。短语结构语法的句法规则的短语性质的权值要小于组合成该短语的词语、词性、规则性质、标点符号等的组合的权值。权值的选取要根据具体测试结果选取最优的值。
[0037]
二、分别对划分后的句子的各个组成部分采用递归的方式进行句法分析。以下以短语结构语法和依存语法为例介绍句法分析方法，如果是其他语法类型，可采用类似的句法分析方法。
[0038]
(一)短语结构语法的句法分析方法
[0039]
句子的一个组成部分(记为zd)中的每1个词语或词性或规则性质或标点符号设为一个组合对象，依次将zd中的每一个组合对象(记为zy)分别与其前面的1个或多个组合对象进行组合，并将zy与其后面的1个或多个组合对象进行组合。组合方法如下：如果组合对象是词语，则其词性和词语为一个组合单元，其词性为一个组合单元；如果组合对象是规则，则该规则的规则性质(即该规则的性质、结构及其他信息，记为gtz)为一个组合单元，组成该规则的词语、词性、标点符号及规则性质的组合(记为gtc)为1个组合单元。对所有组合对象的每一个组合单元进行排列组合，排列组合后得到的每一组词语、词性、标点符号及规则性质的组合记为zh。再对每一组zh进行哈希计算，在数据库中查找这些哈希值，如果查找到某些哈希值，再查找这些哈希值对应的句法规则。查找到的某一条规则的概率为pg，组合成条规则的词语、词性、规则性质、标点符号等的组合gtc的概率为pc，gtc中的词语、词性、
规则性质、标点符号等的权值分别为q1,q2,qi
…
qn，n是正整数，是该条规则的gtc中的词语、词性、规则性质、标点符号等的个数。
[0040]
根据贝叶斯公式计算每一条规则对应的分值zfz，分值zfz等于该条规则的gtc的概率pc乘以该规则的gtc对应的该条规则的概率pgc(pgc＝pg/pc)，再依次乘以该规则的gtc中的词语、词性、规则性质、标点符号等的权值(qi)及分值(fi),选取分值最大的几条规则保留，用递归的方式进行下一步的句法分析。直到这一组合zd全部分析完，把每一条递归路径的的最后分析结果保留下来，从中选取保留分值最大的几个分析结果。
[0041]
按上述方法将句子的每一个组成部分依次分析完，每一个组成部分保留几个分值最大的句法分析结果。再按照上述方法对句子的所有的组成部分的句法分析结果再进行句法分析，分析完后选取分值最大的句法分析结果，作为该句子的句法分析结果。再根据最后选取的句法分析结果，用递归方式逐级查找其每一级的分析结果，得到该句子的完整分析结果。
[0042]
(二)依存语法分析的句法分析方法
[0043]
句子的一个组成部分(记为zc)中的每1个词语或词性或规则性质为一个组合对象，依次将zc中的每1个组合对象(记为zx)分别与其前面的每一个组合对象进行组合，并将zx与其后面的每一个组合对象进行组合。组合方法如下：如果组合对象是词语，则其词性和词语为一个组合单元，其词性为一个组合单元；如果组合对象是词性，则该词性只有一个组合单元。对所有组合对象的每一个组合单元进行排列组合，排列组合后得到的每一组词语、词性的组合记为zj。再对每一组zj进行哈希计算，在数据库中查找这些哈希值，如果查找到某些哈希值，再查找这些哈希值对应的句法规则。查找到的某一条规则概率为pz，该条规则涉及的词语、词性的组合gcy的概率为py，该条规则的gcy中的词语、词性的权值分别为w1,w2,wi
…
,wn，n是正整数，是该条规则的gcy中的词语、词性的个数。
[0044]
根据贝叶斯公式计算每一条规则对应的分值gfz，分值gfz等于该条规则的gcy的概率py乘以该规则的gcy对应的该条规则的概率pzy(pzy＝pz/py)，再依次乘以该规则的gcy中的词语、词性、规则性质、标点符号等的权值(wi)及分值(zi),选取分值最大的几条规则保留，用递归的方式进行下一步的句法分析。直到这一组合zc全部分析完，把每一条递归路径的最后分析结果保留下来，从中选取分值最大的几个分析结果。
[0045]
按上述方法将句子的每一个的组成部分依次分析完，每一个组成部分保留几个分值最大的句法分析结果。再按照上述方法对句子所有的组成部分的句法分析结果进行句法分析，分析完后选取分值最大的句法分析结果，作为该句子的句法分析结果。再根据最后选取的句法分析结果，用递归方式逐级查找其每一级的分析结果，得到该句子的最终分析结果。
[0046]
s6:用上述步骤s4、s5的句法分析方法分析新的句子，获得新的句法规则，对其中正确的句法规则进行归纳组合，并将获得的新的句法规则及归纳组合得到的句法规则录入数据库，并统计规则出现的概率及规则中的词语、词性、规则性质、标点符号等的组合出现的概率，能持续改进句法分析的效果。
[0047]
本发明实施例提供的一种自然语言处理的句法分析方法，自动从语料库的句法树中提取句法规则，不需要手工编写句法规则，并对提取的句法规则进行了组合和归纳，提高句法规则的覆盖范围，提取的句法规则存放在数据库中，可以随时查询修改更新增加，方便持续学习和改进，能持续提高自然语言处理的句法分析的准确率。
[0048]
如图2所示，示出了本发明另一实施例提供一种智能终端的结构框图，该终端包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例描述的方法。
[0049]
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0050]
输入设备可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备可以包括显示器(lcd等)、扬声器等。
[0051]
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
[0052]
具体实现中，本发明实施例中所描述的处理器、输入设备、输出设备可执行本发明实施例提供的方法实施例所描述的实现方式，也可执行本发明实施例所描述的系统实施例的实现方式，在此不再赘述。
[0053]
在本发明还提供一种计算机可读存储介质的实施例，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
[0054]
所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
[0055]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0056]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终
端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0057]
在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0058]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。