文本语义理解方法及系统与流程

本发明涉及自然语言处理技术领域，具体涉及一种文本语义理解方法及系统。

背景技术：

作为人工智能领域中最重要方向之一的自然语言理解技术，一直是相关领域研究人员研究的热点。特别是近年来，随着移动互联网技术的迅速发展，信息化程度日益提高，网络上的信息也随之呈指数级剧增，人类进入了大数据时代。人们越发渴望能让机器理解自然语言，从而从海量的数据中高效地分析和获取有价值的信息。

传统的语义理解系统主要是利用文法定义出若干种句子输入集合，当输入的文本在这些集合之中，则理解成功。近年来针对文本深层次的语义挖掘的需求，研究人员提出了基于文法规则的文本语义理解的方案。该方案中首先明确各具体应用环境下的应用句文法规则，用以描述各具体应用下的自然语言句法输入；随后对该句文法规则进行高效编译得到计算机可理解的有向图文法网络；最后对接收到的自然语言输入和有向图文法网络进行匹配解析，根据最优匹配路径抽取相关语义，实现对输入的句子短语的深层语义理解。

然而，对于海量数据，采用传统的基于文法规则的语义理解系统需要定义成千上万种文法，其根据文法规则构建的有向图文法网络结构相当庞大、复杂。此外，传统系统中有向图文法网络的解码是一个广度搜索的过程，因而在用户文本与文法网络进行匹配解析时，计算量大、耗时多，造成整个语义理解的效率大大下降，且其解码过程中硬件资源消耗大。

技术实现要素：

本发明实施例提供一种文本语义理解方法及系统，以解决现有技术解码效率低，解码过程中硬件资源消耗大的问题。

为此，本发明实施例提供如下技术方案：

一种文本语义理解方法，包括：

预先构建基于主网-子网模式的有向图文法网络，所述有向图文法网络包括一个主网络、以及一个或多个子网络，所述有向图文法网络的每段路径对应一个文本字符或一个子网络标识符；

获取待解析文本；

基于所述有向图文法网络对所述文本进行解码，得到解码路径；

获取所述解码路径的相关语义作为语义理解结果。

优选地，所述构建基于主网-子网模式的有向图文法网络包括：

根据各应用下自然语言输入的句法特性建立句文法规则；

确定主网络和子网络各自对应的文本类型；

根据主网络和子网络各自对应的文本类型，对所述句文法规则进行编译生成带子网络标识符的主网有向图文法网络、以及子网有向图文法网络。

优选地，所述基于所述有向图文法网络对所述文本进行解码，得到解码路径包括：

对待解析文本，从主网络的首节点进行字串匹配；

如果主网络的匹配路径中出现子网络标识符，则记录主网络匹配信息，并调用所述子网络标识符对应的子网络进行字串匹配，得到并记录子网络匹配信息；

在待解析文本全部匹配完成后，根据得到的主网络匹配信息和子网络匹配信息，得到解码路径。

优选地，所述基于所述有向图文法网络对所述文本进行解码，得到解码路径还包括：

在调用所述子网络标识符对应的子网络进行字串匹配时，判断所述子网络是否为首次调用；

如果是，则利用所述子网络进行字串匹配，并将获得的子网络匹配信息保存到子网匹配结果管理器中；

否则，从所述子网匹配管理器中获取历史匹配结果作为子网络匹配信息。

优选地，所述子网络匹配信息包括：子网络匹配路径、子网络搜索标志、 已匹配字串的字数；所述主网络匹配信息包括：主网络匹配路径、调用的子网络的子网络标识符、已匹配字串的字数；

所述判断所述子网络是否为首次调用包括：

如果所述子网络搜索标志表示未搜索，则确定所述子网络为首次调用；

如果所述子网络搜索标志表示已搜索，并且所述主网络匹配信息和子网络匹配信息中的已匹配字串的字数相同，则确定所述子网络为非首次调用。

优选地，所述利用所述子网络进行字串匹配包括：

利用所述子网络进行字串匹配时，采用容错机制进行字串匹配，所述容错机制包括以下一种或多种字串匹配方式：自跳、连跳、错字容错。

优选地，所述子网络有一层或多层。

一种文本语义理解系统，包括：

网络构建模块，用于预先构建基于主网-子网模式的有向图文法网络，所述有向图文法网络包括一个主网络、以及一个或多个子网络，所述有向图文法网络的每段路径对应一个文本字符或一个子网络标识符；

接收模块，用于获取待解析文本；

解码模块，用于基于所述有向图文法网络对所述文本进行解码，得到解码路径；

结果获取模块，用于获取所述解码路径的相关语义作为语义理解结果。

优选地，所述网络构建模块包括：

规则设置单元，用于根据各应用下自然语言输入的句法特性建立句文法规则；

文本划分单元，用于确定主网络和子网络各自对应的文本类型；

编译单元，用于根据主网络和子网络各自对应的文本类型，对所述句文法规则进行编译生成带子网络标识符的主网有向图文法网络、以及子网有向图文法网络。

优选地，所述解码模块包括：

匹配单元，用于对待解析文本，从主网络的首节点进行字串匹配；并且在主网络的匹配路径中出现子网络标识符时，记录主网络匹配信息，并调用所述子网络标识符对应的子网络进行字串匹配，得到并记录子网络匹配信息；

解码路径获取单元，用于在所述匹配单元对待解析文本全部匹配完成后，根据所述匹配单元得到的主网络匹配信息和子网络匹配信息，得到解码路径。

优选地，所述解码模块还包括：

判断单元，用于在所述匹配单元调用所述子网络标识符对应的子网络进行字串匹配时，判断所述子网络是否为首次调用，并将判断结果反馈给所述匹配单元；

所述匹配单元在所述判断单元判断所述子网络是首次调用时，利用所述子网络进行字串匹配，并将获得的子网络匹配信息保存到子网匹配结果管理器中，在所述判断单元判断所述子网络是非首次调用时，从所述子网匹配管理器中获取历史匹配结果作为子网络匹配信息。

优选地，所述子网络匹配信息包括：子网络匹配路径、子网络搜索标志、已匹配字串的字数；所述主网络匹配信息包括：主网络匹配路径、调用的子网络的子网络标识符、已匹配字串的字数；

所述判断单元，具体用于在所述子网络搜索标志表示未搜索时，确定所述子网络为首次调用，在所述子网络搜索标志表示已搜索，并且所述主网络匹配信息和子网络匹配信息中的已匹配字串的字数相同时，确定所述子网络为非首次调用。

优选地，所述匹配单元利用所述子网络进行字串匹配时，采用容错机制进行字串匹配，所述容错机制包括以下一种或多种字串匹配方式：自跳、连跳、错字容错。

所述子网络有一层或多层。

不同于传统的基于文法规则构建的一个庞大复杂的有向图文法网络，本发明实施例文本语义理解方法将有向图文法网络分为主网络和子网络，有效地降低了有向图文法网络的复杂度，提高了解码效率。而且，在对用户输入的待解析文本进行解码时，采用深度优先搜索方法对待解析文本进行文法网络匹配解析，降低了内存消耗。

进一步地，对子网络设置保存机制，对于同一次用户输入文本的解码保存首次调用子网络的匹配信息，在后续解码重复调用该子网络时，直接使用保存管理机制中保存的匹配结果，减少了子网络的匹配次数，进一步提高了解码效 率。

进一步地，通过容错机制，提高了系统的容错能力。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例文本语义理解方法的流程图；

图2是本发明实施例中基于主网-子网模式的有向图文法网络示例一；

图3是本发明实施例中基于主网-子网模式的有向图文法网络对文本进行解码的流程图；

图4是本发明实施例中基于主网-子网模式的有向图文法网络示例二；

图5是本发明实施例文本语义理解系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

如图1所示，是本发明实施例文本语义理解方法的流程图，包括以下步骤：

步骤101，预先构建基于主网-子网模式的有向图文法网络。

不同于传统的基于文法规则构建的一个庞大复杂的有向图文法网络，本发明实施例中，将有向图文法网络分为主网络和子网络，即所述有向图文法网络包括一个主网络、以及一个或多个子网络，所述主网络的每段路径对应一个文本字符或一个子网络标识符。而且，根据实际应用需要，子网络还可以嵌套设置，即可以设置一层或多层。如果只有一层子网络，则该子网络的每段路径对应一个文本字符；如果有多层子网络，则最底层的子网络的每段路径对应一个文本字符，而除最底层之外的其它各层子网络的每段路径对应一个文本字符或一个子网络标识符。

构建基于主网-子网模式的有向图文法网络的过程如下：

首先，根据各应用下自然语言输入的句法特性建立句文法规则。所述句文法规则可以由用户根据实际应用需求，也可以由系统预先根据通用应用需求，按照系统预先设定的文法规则确定，借以描述各应用下自然语言输入句法可能。

然后，确定主网络和子网络各自对应的文本类型，以实现对主网络与子网络的划分。具体地，首先对句文法规则进行分析，再确定构建主网络与子网络分别对应的文本类型，进而实现主网络与子网络的划分。所述子网络对应的文本类型，主要是用户输入容易出错或易混淆的文本字串，一般限定为有比较明确上下文的名词，比如歌手名、歌曲名、电视剧名等等。所述主网络对应的文本类型，一般为模式比较固定，用户输入不容易出错的文本字串。

在确定主网与子网各自对应的文本后，通过编译即可生成带子网络标识符的主网有向图文法网络，以及子网有向图文法网络。

如对如下句文法规则进行编译，得到的有向图文法网络如图2所示：

$sub＝王菲；

$main＝我想听$sub的歌；

其中，主网络对应的文本为“我想听xxx的歌”，文本类型的模式较固定，子网络对应的文本为“王菲”，文本类型为有比较明确上下文的名词，sub为子网络标识符，所述有向图文法网络的每条路径对应一个文本字符或一个子网络标识符。

步骤102，获取待解析文本。

步骤103，基于所述有向图文法网络对所述文本进行解码，得到解码路径。

首先，对待解析文本，从主网络的首节点进行字串匹配；如果主网络的匹配路径中出现子网络标识符，则记录主网络匹配信息，并调用所述子网络标识符对应的子网络进行字串匹配，得到并记录子网络匹配信息；在待解析文本全部匹配完成后，根据得到的主网络匹配信息和子网络匹配信息，得到解码路径。

具体解码过程将在后面详细描述。

步骤104，获取所述解码路径的相关语义作为语义理解结果。

如图3所示，是本发明实施例中基于主网-子网模式的有向图文法网络对文本进行解码的流程图，包括以下步骤：

步骤301，主网络字串匹配。

针对用户输入的待解析文本，从主网络的首节点进行字串匹配。

步骤302，判断是否调用子网络，若是，则执行步骤303，否则执行步骤304。

在主网络字串匹配时路径中出现子网络标识符，则判定需调用子网络，否则判定无需调用子网络。

步骤303，调用子网络进行字串匹配。

前面提到，在调用子网络时，需要记录主网络匹配信息，在根据子网络进行匹配时，得到并记录子网络匹配信息，进而在待解析文本全部匹配完成后，可以根据得到的主网络匹配信息及子网络匹配信息得到解码路径。

在实际应用中，为了便于处理，可以分别设置“调用状态管理器”和“子网匹配结果管理器”，分别存储上述主网络匹配信息及子网络匹配信息。需要说明的是，每个子网络各自对应一个“子网匹配结果管理器”。所述“调用状态管理器”可以在文法网络构建时创建，“子网匹配结果管理器”可以在相应的子网络构建时创建，也可以解码过程中调用子网络时构建，对此本发明实施例不做限定。另外，需要说明的是，所述“调用状态管理器”和“子网匹配结果管理器”在匹配过程中所存储的信息，在对用户一次输入的待解析文本解码完成后，需要全部清零，以避免对下一次解码的影响；或者在下一次解码开始之前，通过初始化对其进行全部清零，对此本发明实施例不做限定。

主网络匹配信息包括：主网络匹配路径、调用的子网络的子网络标识符。子网络匹配信息包括：子网络匹配路径。

为了进一步提高解码效率，上述主网络匹配信息还可包括：已匹配字串的字数，子网络匹配信息还可包括：子网络搜索标志、已匹配字串的字数。这样，在后续解码重复调用该子网络时，可以直接使用子网络已保存的匹配结果。需要说明的是，所述子网络搜索标志可以在子网络构建时创建，而且可以独立存储，也可以在创建对应该子网络的“子网匹配结果管理器”后，将其移存到该“子网匹配结果管理器”中。

下面对调用子网络的过程进行详细说明。

调用子网络时，首先在“调用状态管理器”中存储主网络匹配路径、调用的子网络的子网络标识符、当前已匹配字串的字数。其次，判断该子网络是否是首次调用，若是则进行子网络字串匹配，并保存匹配结果，否则使用保存的历史匹配结果。

所述子网终是否为首次调用的判断，可以通过上述子网络搜索标志及已匹配字串的字数来确定。比如，子网络搜索标志值如果为0，则判断为首次调用；如果子网络搜索标志值为1，则进一步判断“调用状态管理器”中存储的调用当前子网前已匹配字串的字数与“子网匹配结果管理器”中存储的调用该子网前已匹配字串的字数是否相同，若相同则判断为非首次调用。

子网络首次调用时，在完成字串匹配后，在“子网匹配结果管理器”中保存子网络匹配路径、子网络搜索标志、调用该子网前已匹配字串的字数。所述子网络搜索标志用来标识该子网络是否已经搜索过，其值可以为0或1，0表示未搜索，1表示已搜索，或反之。

子网非首次调用时，直接使用“子网匹配结果管理器”中存储的子网字串匹配路径信息。

步骤304，字串匹配直至结束，得到匹配路径。

由此可见，不同于传统的基于文法规则构建的一个庞大复杂的有向图文法网络，本发明实施例文本语义理解方法将有向图文法网络分为主网络和子网络，有效地降低了有向图文法网络的复杂度，提高了解码效率。而且，在对用户输入的待解析文本进行解码时，采用深度优先搜索方法对待解析文本进行文法网络匹配解析，降低了内存消耗。

进一步地，对子网络设置保存机制，对于同一次用户输入文本的解码保存首次调用子网络的匹配信息，在后续解码重复调用该子网络时，直接使用保存管理机制中保存的匹配结果，进一步提高了解码效率。

下面进一步举例详细说明本发明实施例基于主网-子网模式的有向图文法网络进行文本解码的过程。

如图4所示，展示了基于主网-子网模式的有向图文法网络。

该有向图文法网络主要应用为电影搜索，其中主网网络main1的主体结构 为“我想看xxx的xxx”。该有向图文法网络共三个子网网络，分别为sub1、sub2、sub3，其中sub1为电影演员名子网网络，sub2为电视剧演员名子网网络，sub3为电影名子网网络，网络中的eps表示空弧，是在编译过程中自动添加的，所述空弧只是为了将句文法中的各个逻辑部分从形式上区分开，在使用网络对自然语句解析时，可以忽略空弧，将空弧连接的两个节点视为同一个节点。

如用户输入“我想看刘德华的无间道”，在所述文法网络中共有两条字串匹配路径，路径A和路径B，具体匹配过程如下所述：

1.匹配路径A(首次调用子网络sub3)：

a)从主网网络开始进行“我想看”字串的精确匹配，路径中出现子网络标识符sub1；

b)调用子网网络sub1,当前用户输入字串匹配字数为3，对应该子网络的子网络搜索标志为未搜索，创建对应该子网络的匹配结果管理器，并将所述子网络搜索标志保存到对应该子网络的匹配结果管理器中，然后开始匹配字串“刘德华”，在对应该子网络的匹配结果管理器中保存匹配路径，对应该子网络的子网络搜索标志设为已搜索；返回主网络；

c)进行字串“的”的匹配，路径中出现子网络标识符sub3；

d)调用子网网络sub3，当前用户输入字串匹配字数为7，对应该子网络的子网络搜索标志为未搜索，创建对应该子网络的匹配结果管理器，并将所述子网络搜索标志保存到对应该子网络的匹配结果管理器中，然后开始进行字串“无间道”的匹配，在对应该子网络的匹配结果管理器中保存匹配路径，对应该子网络的子网络搜索标志设为已搜索，返回主网络，返回语义理解结果。

2.匹配路径B(非首次调用子网络sub3)

a)从主网络开始进行“我想看”字串的精确匹配，路径中出现子网络标识符sub2；

b)调用子网络sub2，当前用户输入字串匹配字数为3，对应该子网络的子网络搜索标志为未搜索，创建对应该子网络的匹配结果管理器，开始匹配字串“刘德华”，在对应该子网络的匹配结果管理器中保存匹配路径，对应该子网络的子网络搜索标志设为已搜索；返回主网络；

c)进行字串“的”的匹配，路径中出现子网络标识符sub3；

d)调用子网络sub3，对应子网络sub3的子网络搜索标志为已搜索，并且当前用户输入字串匹配字数为7，与首次调用子网络sub3时匹配结果管理器中存储的已匹配字串的字数相同，因此本次调用无需进行字串匹配，直接使用对应子网络sub3的匹配结果管理器中保存的匹配路径即可，返回语义理解结果。

此外，需要说明的是，在实际应用中，所述子网络在进行匹配时，还可以具有容错机制，采用广度优先搜索方法进行网络匹配解码。用户可以根据实际需求确定是否开启容错机制。

容错机制主要包括以下一种或多种字串匹配方式：自跳、连跳、错字容错。下面继续参照图4所示的文法网络，举例说明应用容错机制进行子网络匹配的过程。

当待解析文本为“我想看刘刘德华的无间道”或“我想看刘张德华的无间道”时，所述子网中没有“刘刘德华”或“刘张德华”时，可以通过自跳的方式，将多输入的“刘”或“张”字串吸收掉，这两种字串匹配路径在调用子网络sub3时，只需要进行一次字串匹配，另一种字串匹配路径直接使用首次匹配结果即可。

当待解析文本为“我想看刘华的无间道”时，子网sub1或sub2中没有“刘华”，而有“刘德华”、“刘青华”、“刘玉华”时，可以通过连跳的方式，将“刘华”容错成“刘德华”、“刘青华”、“刘玉华”三种字串匹配路径，当这三种匹配路径在调用子网络sub3时，只需要进行一次字串匹配，另两种字串匹配路径直接使用首次匹配结果即可。

当待解析文本为“我想看刘的华无间道”时，子网络sub1或子网络sub2中没有“刘的华”，而有“刘德华”、“刘得华”、“刘海华”时，可以通过错字容错机制，计算不同错字匹配路径的惩罚值进行错字容错，如将“刘的华”容错成“刘德华”、“刘得华”两种字串匹配路径。由于“海”字串与“的”字串在发音与字型上都不相近，所以不会容错成“刘海华”，当所述两种匹配路径在调用子网络sub3时，只需要进行一次字串匹配，另一种字串匹配路径直接使用首次匹配结果即可。

可见，本发明实施例的文本语义理解方法，通过容错机制，提高了系统的容错能力。

相应地，本发明实施例还提供一种文本语义理解系统，如图5所示，是该系统的一种结构示意图。

在该实施例中，所述系统包括：

网络构建模块501，用于预先构建基于主网-子网模式的有向图文法网络500，所述有向图文法网络500包括一个主网络、以及一个或多个子网络，所述有向图文法网络的每段路径对应一个文本字符或一个子网络标识符；

接收模块502，用于获取待解析文本；

解码模块503，用于基于所述有向图文法网络对所述文本进行解码，得到解码路径；

结果获取模块504，用于获取所述解码路径的相关语义作为语义理解结果。

上述网络构建模块501具体可以根据设置的句文法规则构建所述有向图文法网络。该模块的一种具体结构包括以下各单元：

规则设置单元，用于根据各应用下自然语言输入的句法特性建立句文法规则；

文本划分单元，用于确定主网络和子网络各自对应的文本类型；

编译单元，用于根据主网络和子网络各自对应的文本类型，对所述句文法规则进行编译生成带子网络标识符的主网有向图文法网络、以及子网有向图文法网络。

上述解码模块503具体对待解析文本，从主网络的首节点进行字串匹配；如果主网络的匹配路径中出现子网络标识符，则记录主网络匹配信息，并调用所述子网络标识符对应的子网络进行字串匹配，得到并记录子网络匹配信息；在待解析文本全部匹配完成后，根据得到的主网络匹配信息和子网络匹配信息，得到解码路径。该模块的一种具体结构包括匹配单元和解码路径获取单元，其中：

所述匹配单元，用于对待解析文本，从主网络的首节点进行字串匹配；并且在主网络的匹配路径中出现子网络标识符时，记录主网络匹配信息，并调用所述子网络标识符对应的子网络进行字串匹配，得到并记录子网络匹配信息；

所述解码路径获取单元，用于在所述匹配单元对待解析文本全部匹配完成后，根据所述匹配单元得到的主网络匹配信息和子网络匹配信息，得到解码路径。

本发明实施例文本语义理解系统将有向图文法网络分为主网络和子网络，有效地降低了有向图文法网络的复杂度，提高了解码效率。而且，在对用户输入的待解析文本进行解码时，采用深度优先搜索方法对待解析文本进行文法网络匹配解析，降低了内存消耗。

进一步地，上述解码模块503还可包括：判断单元，用于在所述匹配单元调用所述子网络标识符对应的子网络进行字串匹配时，判断所述子网络是否为首次调用，并将判断结果反馈给所述匹配单元。比如，所述子网络匹配信息包括：子网络匹配路径、子网络搜索标志、已匹配字串的字数；所述主网络匹配信息包括：主网络匹配路径、调用的子网络的子网络标识符、已匹配字串的字数。这样，所述判断单元即可通过上述一些信息来判断子网络为首次调用还是非首次调用，具体地，在所述子网络搜索标志表示未搜索时，确定所述子网络为首次调用，在所述子网络搜索标志表示已搜索，并且所述主网络匹配信息和子网络匹配信息中的已匹配字串的字数相同时，确定所述子网络为非首次调用。

相应地，所述匹配单元在所述判断单元判断所述子网络是首次调用时，利用所述子网络进行字串匹配，并将获得的子网络匹配信息保存到子网匹配结果管理器中，在所述判断单元判断所述子网络是非首次调用时，从所述子网匹配管理器中获取历史匹配结果作为子网络匹配信息。

可见，本发明实施例的文本语义理解系统，通过对子网络设置保存机制，对于同一次用户输入文本的解码保存首次调用子网络的匹配信息，在后续解码重复调用该子网络时，直接使用保存管理机制中保存的匹配结果，进一步提高了解码效率。

需要说明的是，在实际应用中，所述匹配单元在利用子网络进行匹配时，还可以具有容错机制，采用广度优先搜索方法进行网络匹配解码。所述容错机制包括以下一种或多种字串匹配方式：自跳、连跳、错字容错。各容错机制的解码方式可参照前面本发明方法实施例中的描述，在此不再赘述。

另外，在本发明系统中，还可进一步设置容错机制设置模块，用于向用户提供设置功能，由用户根据实际需求确定是否开启容错机制。也就是说，如果用户开启了容错机制，则在利用子网络进行字串匹配时，采用容错机制进行匹配，否则，采用精确匹配机制进行匹配。当然，在实际应用中，也可以根据实际应用环境需要，由系统预先设定是否采用容错机制。

可见，本发明实施例的文本语义理解系统，通过容错机制，进一步提高了系统的容错能力。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。