一种语义意图识别方法、装置、设备及存储介质与流程

文档序号:18885815发布日期:2019-10-15 20:53阅读:312来源:国知局
一种语义意图识别方法、装置、设备及存储介质与流程

本申请涉及互联网通信技术领域,尤其涉及一种语义意图识别方法、装置、设备及存储介质。



背景技术:

随着人工智能技术的发展,深度学习在许多领域都得到了广泛的应用。例如,在语音助手技术中,可以利用深度学习对用户输入的语音信息或文本信息进行语义意图的识别,进而迅速做出回应,例如和用户聊天,或者根据指令帮用户操控智能设备等。

目前,在利用深度学习进行语义意图识别时,为了保证语义意图识别的准确率,往往设计复杂度较高的神经网络模型(例如多头注意力机制multiheadatention)网络层越多,复杂度越高,神经网络准确率会越好。但对于语音助手等人与机器实时交互的应用场景中,对响应速度与准确率都有很高的要求,现有的复杂度较高的神经网络模型往往采用多维矩阵作为权重矩阵,计算复杂度高,无法兼顾识别准确率和处理速度。因此,需要提供更有效的方案,以在保证语义意图识别的准确率的同时,降低神经网络模型的计算复杂度,提升处理速度。



技术实现要素:

本申请提供了一种语义意图识别方法、装置、设备及存储介质,可以大大降低模型学习过程中的计算复杂度,同时可以学习到多维度的文本特征信息,保证模型对意图的识别准确率,且结合意图来进行语义的分析,可以更好的提高语义理解的准确率。

一方面,本申请提供了一种语义意图识别方法,所述方法包括:

获取文本信息;

将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;

获取所述文本信息中与所述意图信息匹配的关键词信息;

基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。

其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,所述多线性特征学习层的学习权重数据为一维线性权重向量。

另一方面提供了一种语义意图识别装置,所述装置包括:

文本信息获取模块,用于获取文本信息;

意图识别处理模块,用于语义将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;

关键词信息获取模块,用于获取所述文本信息中与所述意图信息匹配的关键词信息;

语义信息确定模块,用于基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。

其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,所述多线性特征学习层的学习权重数据为一维线性权重向量。

另一方面提供了一种语义意图识别设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的语义意图识别方法。

另一方面提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述的语义意图识别方法。

本申请提供的语义意图识别方法、装置、设备及存储介质,具有如下技术效果:

本申请通过在意图识别模型中设置两层,以一维线性权重向量为学习权重数据(权重矩阵)的多线性特征学习层,可以大大降低模型学习过程中的计算复杂度,且可以学习到多维度的文本特征信息,提高模型的识别准确率。在基于该意图识别模型进行文本信息的意图识别时,可以快速准确地识别出文本信息的意图信息;然后,基于意图信息进行语义的识别,可以大大提高语义识别的准确率。在实际应用中,可以轻松应对语音助手等人机实时交互场景,对响应速度与准确率的高要求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图;

图2是本申请实施例提供的一种语义意图识别方法的流程示意图;

图3是本申请实施例提供的一种意图识别模型的结构示意图;

图4是本申请实施例提供的一种特征输入转换层的结构示意图;

图5是本申请实施例提供的一种多线性特征学习层的结构示意图;

图6是本申请实施例提供的一种基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习的方法流程示意图;

图7是本申请实施例提供的一种获取所述文本信息中与所述意图信息匹配的关键词信息的方法流程示意图;

图8是本申请实施例提供的一种基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息的方法流程示意图;

图9是本申请实施例提供的另一种语义意图识别方法的流程示意图;

图10是本申请实施例提供的一种语义意图识别方法的应用场景的示意图;

图11是本申请实施例提供的一种语义意图识别装置的结构示意图;

图12是本申请实施例提供的一种客户端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1,图1是本申请实施例提供的一种应用环境的示意图,如图1所示,该应用环境至少可以包括服务器01和客户端02。

具体的,本说明书实施例中,所述服务器01可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的,所述服务器01可以用于训练意图识别模型。

具体的,本说明书实施例中,所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备,也可以包括运行于实体设备中的软体,例如一些服务商提供给用户的网页页面,也可以为该些服务商提供给用户的应用。具体的,所述客户端02可以用于基于服务器01训练的意图识别模型进行意图识别以及语义识别。

此外,需要说明的是,在实际应用中,客户端02还可以结合识别出的语义意图与用户聊天,或者执行相应的操作等。

以下介绍本申请一种语义意图识别方法,图2是本申请实施例提供的一种语义意图识别方法的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,所述方法可以包括:

s201:获取文本信息。

在实际应用中,人机交互的应用中,常常提供文字信息、语音信息、图片信息、等多种形式的信息输入方式。相应的,当用户输入文字信息时,可以直接获取文本信息。

在一些实施例中,当用户输入语音信息时,基于对获取的语音信息进行语音识别,得到所述文本信息。具体的,本说明书实施例中,可以结合自动语音识别(automaticspeechrecognition,asr)技术来识别出语音信息中的文本信息。

在一些实施例中,当用户输入图片信息时,基于对获取的图片信息进行图像识别,得到所述文本信息。具体的,本说明书实施例中,可以结合图像识别算法来识别出图像信息中的文本信息。

s203:将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息。

本说明书实施例中,如图3所示,意图识别模型可以包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层。具体的,从图3中可见,意图识别模型中的每一层都包括多个节点,其中,线性特征学习层会将前一层多个节点的输出均作为输入,以提取更多的特征信息。

进一步的,在实际应用中,两个矩阵(文本特征矩阵和权重矩阵,这里的权重矩阵即模型学习过程中的学习权重数据)点积运算,相比矩阵与一维向量点积更加复杂,且计算复杂,参数庞大,常常导致训练神经网络时,存在参数冗余,部分网络层学习不到有用的特征信息;现有的multiheadattention也存在该问题。本说明书实施例中,多线性特征学习层采用一维线性权重向量替换现有的权重矩阵,用一维线性权重向量与矩阵(文本特征矩阵)运算代替矩阵与矩阵运算可以大大减少计算量,同时采用两层的多线性特征学习层可以学习到更多空间的特征信息,模型准确率会大大提升。

具体的,本说明书实施例中,所述意图识别模型可以包括采用下述方式确定:

1)获取标注有意图标识的文本信息;

2)基于所述标注有意图标识的文本信息对预设深度学习模型进行训练得到所述意图识别模型。

本说明书实施例中,意图标识可以结合实际应用场景需求进行设置,以一些购物场景为例,意图标识可以至少包括下述之一:下单意图标识、指示支付意图标识、指定支付工具意图标识、会话结束意图标识、备注意图标识、取消订单意图标识、增减指定对象意图标识。

此外,需要说明的是,意图标识还可以结合在实际应用需求,可以包括更多意图对应的标识。

具体的,如图3所示,所述预设深度学习模型可以包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层。基于上述的训练数据对预设深度学习模型进行训练得到意图识别模型后,意图识别模型可以语义识别文本信息的语义意图。

具体的,本说明书实施例中,如图4所示,所述特征输入转换层可以包括:文本特征提取单元、位置编码单元、以及合并处理单元。

所述文本特征提取单元用于生成文本特征矩阵,所述位置编码单元用于生成多角度的位置矩阵,具体的,这里的多角度的位置矩阵可以包括多个具有不同元素的矩阵;所述合并处理单元用于将位置编码单元生成的位置矩阵和文本特征提取单元生成的文本特征矩阵进行合并处理,具体的,这里合并处理可以包括将文本特征提取单元生成的文本特征矩阵分别与多角度的位置矩阵进行合并处理再进行加权平均处理。在实际应用中,合并处理后的文本特征矩阵可以包括文本信息中多个分词词语的词向量。

进一步的,结合图4所示,所述文本特征提取单元可以包括:输入层、特征向量转换层、和特征提取层;

具体的,所述输入层可以用于输入词性分析后的文本信息;所述特征向量转换层用于将词性分析后的文本信息转换成特征向量(即文本信息中词语的词向量);特征提取层可以用于基于多个全连接层的输出特征向量提取所述文本信息的文本特征矩阵(即文本信息中词语的词向量),所述多个全连接层的输出特征向量为特征向量转换层输出的特征向量经过多个全连接层的特征向量。

此外,需要说明的是,图4中并未展示全连接层,在实际应用中,在特征提取层与特征向量转换层之间存在多个全连接层。

具体的实施例中,基于多个全连接层的输出特征向量提取所述文本信息的文本特征矩阵可以包括结合下述公式实现:

其中,sij可以为第i个和第j个全连接层的输出特征向量中提取的文本特征向量,x可以为特征向量转换层输出的词向量(特征向量),c为常数,可以结合实际应用预先设置,w1,w2可以为预设的一维线性权重向量(权重矩阵),一般的,初始化(训练之前)可以为0,在训练过程可以学习到合适的参数。hi,hj为x经过第i个和第j个全连接层之后的输出特征向量。为第i个和第j个全连接层的输出特征向量的权重矩阵,初始化为可以0,在训练过程可以学习到合适的参数。

相应的,假设全连接层的总数量为n,n大于等于2,基于上述公式获取两两全连接层的输出特征向量中提取的文本特征向量;将两两全连接层的输出特征向量中提取的文本特征向量进行加权平均可以得到所述文本信息的文本特征矩阵。

本说明书实施例中,通过从多个全连接层提取有用的文本特征矩阵,再与多角度的位置矩阵进行合并,可以更好的提取文本特征。

本说明书实施例中,如图5所示,所述多线性特征学习层可以包括:多线性注意力学习单元、第一归一化相加处理单元、门控制单元、前向学习单元和第二归一化相加处理单元;

具体的,所述多线性注意力学习单元可以用于基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习。在一个具体的实施例中,如图6所示,基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习可以包括:

s2031:对所述特征输入转换层输出的词向量与第一一维线性权重向量进行点积归一化处理。

具体的,点击归一化处理过程可以采用下述公式:

其中,i可以为点积归一化后的特征向量,scale_dot可以为点积归一化运算;为常量,可以结合实际应用需求进行设置,w(m)为多线性注意力学习单元第m个节点在训练后得到的一维线性权重矩阵(即第一一维线性权重向量),x可以为特征输入转换层输出的词向量,b(m)多线性注意力学习单元第m个节点在训练后确定的偏置。

s2033:基于第二一维线性权重向量和第三一维线性权重向量对点积归一化处理后的特征向量和所述特征输入转换层输出的词向量进行线性变换处理。

具体的,线性变换处理可以包括采用下述公式:

u=sigmod(w1*s+w2*l+b)

其中,u可以为线性变化处理后的特征向量,w1和w2均为在训练后得到的一维线性权重矩阵(即分别对应着第二一维线性权重向量和第三一维线性权重向量),b为常量,可以结合实际应用需求进行设置。

本说明书实施例中,通过一维线性权重矩阵(w1和w2)可以在进行特征向量学习的同时,有效控制i和s的比例。

s2035:基于预设阈值函数对所述线性变化处理后的特征向量进行阈值映射处理。

具体的,阈值映射处理可以包括采用下述公式:

f=sigmod(u)

其中,f可以为阈值映射处理后的特征向量,u可以为线性变化处理后的特征向量,sigmod为神经网络的阈值函数,可以将线性变化处理后的特征向量中的元素映射到0至1之间。

s2037:基于阈值映射处理后的特征向量、点积归一化处理后的特征向量和所述特征输入转换层输出的词向量确定所述文本信息的多维度文本特征向量。

multilineattention=∑mattentionm(f*i+(1-f)*s)

其中,multilineattention可以表示文本信息的多维度文本特征向量;f可以为阈值映射处理后的特征向量;i可以为点积归一化后的特征向量;s可以为特征输入转换层输出的词向量;∑mattentionm表示将多线性注意力学习单元的多个节点对应的特征向量中每个特征向量看作qm(即(f*i+(1-f)*s));然后,将文本信息看作k,计算每个qm与k的相关性得分,最后,将qm相对于k的相关性得分进行加权求和,在加权求和过程中,通过对权重的分配,将较高的权重分配给对文本信息的学习起重要作用的特征,将较低的权重分配给与文本信息无关的特征,然后,通过加权实现对重要特征的关注,筛选出可以更好表征文本信息的多维度文本特征向量。

本说明书实施例中,在多线性注意力学习单元将文本特征矩阵多次与一维线性权重向量进行运算,可以大大减少计算量,同时可以学习到更多维度的特征信息,模型的识别准确率可以大大提升。

进一步的,结合图5所示,多线性特征学习层中的第一归一化相加处理单元可以用于将特征输入转换层输出的词向量和多线性注意力学习单元输出的多维度文本特征向量进行归一化和求和的处理。

进一步的,结合图5所示,多线性特征学习层中的门控制单元可以用于控制第一归一化相加处理单元的输出。

进一步的,结合图5所示,多线性特征学习层中的前向学习单元可以用于进一步控制输出的数据大小,具体的,前向学习单元可以包括但不限于卷积层和池化层。

进一步的,结合图5所示,多线性特征学习层中的第二归一化相加处理单元可以用于对前向学习单元输出的特征向量和第一归一化相加处理单元输出的特征向量进行归一化和求和的处理。

s205:获取所述文本信息中与所述意图信息匹配的关键词信息。

本说明书实施例中,如图7所示,当所述意图信息包括下单意图时,获取所述文本信息中与所述意图信息匹配的关键词信息可以包括:

s2051:对所述文本信息进行分词处理,得到文本信息中的分词词语。

本说明书实施例中,可以结合自然语言处理算法对文本信息进行分词处理,得到文本信息中的分词词语。

此外,需要说明的是,本说明书实施例中,分词词语中可以包括词语,还可以包括单个的字。

在一个具体的实施例中,例如文本信息为:买三斤草鱼,杀掉,刮鱼鳞;相应的,分词词语可以包括买、三斤、草鱼、杀掉、刮、鱼鳞。

s2053:基于预设词性备注库对所述分词词语进行词性分析,得到所述分词词语的词性。

本说明书实施例中,可以预先建立词性备注库,具体的,预先建立的词性备注库(预设词性备注库)可以包括具有词性备注的词语。

本说明书实施例中,词性可以指以词的特点作为划分词类型的依据。具体的,预设词性备注库中的词性备注可以包括但不限于名词、动词、量词、形容词、备注动词、备注名词、备注量词、备注形容词等。

在一个具体的实施例中,以上述的分词词语:买、三斤、草鱼、杀掉、刮、鱼鳞为例,买的词性为动词(动词可以用v表示),三斤的词性为量词(量词可以用m表示),草鱼的词性为名词(名词可以用n表示),杀掉的词性为备注动词(备注动词可以用r_v表示)、刮的词性为备注动词(备注动词可以用r_v表示)、鱼鳞的词性为备注名词(备注名词可以用r_n表示)。相应的,词性分析后的文本信息可以包括:买(v)三斤(m)草鱼(n),杀掉(r_v),刮(r_v)鱼鳞(r_n)。

s2055:基于所述分词词语的词性确定与所述意图信息匹配的关键词信息。

在实际应用中,不同的意图往往对应着不同的关键词信息,在一个具体的实施例中,假设意图信息为下单意图,相应的,下单意图的文本信息中往往或包括商品品牌(n)+商品形容词(adj)+商品名称(n)+数量(m)+单位(n)+备注(r)等具有固定词性的关键词。相应的,可以结合文本信息中分词词语的词性确定与意图信息对应的关键词具有相同词性的分词词语作为关键词信息。

在另一些具体的实施例中,当所述意图信息包括增减指定对象意图时,所述获取所述文本信息中与所述意图信息匹配的关键词信息可以包括:

1)确定所述文本信息中的增减关键词。

具体的,这里的增减关键词可以包括但不限于增加、再要、减少、去掉等增减用词。

2)获取与所述增减关键词相关联的对象关键词和数量关键词;

本说明书实施例中,所述对象关键词可以包括增减的对象,例如商品名等。所述数量关键词可以为增减的具体数量。

3)将所述增减关键词、所述对象关键词和所述数量关键词作为与增减指定对象意图匹配的关键词信息。

本说明书实施例中,通过对增减指定对象意图的识别,可以灵活应对用户下单过程中,对已选对象的调整,可以更好的提高用户体验。

另外,当意图信息为指示支付意图、指定支付工具意图、会话结束意图、备注意图、取消订单意图等时,可以直接获取与所述意图信息匹配的关键词信息。具体的,这里与意图信息匹配的关键词信息可以结合实际意图不同而不同,例如与指定支付工具意图的匹配的关键词信息可以为支付工具等,在此不再赘述。

s207:基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。

本说明书实施例中,如图8所示,当所述意图信息包括下单意图时,基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息可以包括:

2071:基于所述匹配的关键词信息生成与所述意图信息相匹配的文本短句。

在实际应用中,用户输入的文本信息往往包括多个短句,可以按照关键词信息在文本信息中的顺序,生成与所述意图信息相匹配的文本短句。

2073:对所述文本短句进行语义分析,得到所述文本短句的语义信息。

具体的,这里语义分析可以结合nlp(naturallanguageprocessing,自然语言处理)算法。

2075:将所述文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。

在实际应用中,一些关键词信息可能可以与该关键词信息前面的关键词组成文本短句,也可以与该关键词信息后面的关键词信息组成文本短句;相应的,会导致文本短句存在歧义的情况。在一个具体的实施例中,文本信息为我买三斤草鱼每只草鱼在1斤左右。这里可以提取到与下单意图相匹配的关键词可以包括:“我、买、三斤、草鱼、每只、草鱼、1斤、左右”关键词信息;这里关键词信息中的“每只”可以与“我、买、三斤、草鱼”组成文本短句“我买三斤草鱼每只”,也可以与“草鱼、1斤、左右”组成文本短句“每只草鱼1斤左右”,相应的,这时就会导致一条鱼的重量在3斤还是1斤的语义歧义。相应的,本说明书实施例中,当文本短句的语义信息间存在语义歧义时,所述方法还可以包括:

1)获取所述存在语义歧义的文本短句中词语的位置权重和频率权重。

本说明书实施例中,文本短句中词语的位置权重可以表征文本短句中词语按照该文本短句来排列词语的频率。文本短句中词语的频率权重可以表征文本短句中词语一起出现的。

2)基于所述位置权重和频率权重分别对所述存在语义歧义的文本短句进行去歧义处理。

具体的,这里可以将存在语义歧义的文本短句对应的位置权重和频率权重相乘或者相加,将相加或相乘后数值较大的文本短句作为最终的文本语句(去歧义处理后的文本短句的语义信息),相应的,将相加或相乘后数值较小的文本短句进行删除。

相应的,所述将所述文本短句的语义信息作为所述与所述意图信息相匹配的语义信息包括:

将去歧义处理后的文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。

在另一些实施例中,当所述意图信息包括备注意图时,所述基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息可以包括:

1)确定所述匹配的关键词信息中的对象关键词。

具体的,在一些购物场景中,用户常常会对购买的商品进行备注,例如鱼杀掉刮鳞。相应的,这里的对象关键词可以为鱼。

2)基于预设对象备注图谱确定与所述对象关键词相匹配的对象备注信息。

本说明书实施例中,可以结合实际应用需求建立大量对象(对象关键词,例如商品名)和该对象的常用对象备注(对象备注信息)的映射关系。具体的,这里的对象备注信息可以为与对象经常一起组合出现的备注用词。

3)基于所述对象备注信息确定与所述备注意图相匹配的语义信息。

本说明书实施例中,通过预先建立的包括对象关键词和对象备注信息的映射关系可以更准确的识别出备注信息的语义。

另外,当意图信息为指示支付意图、指定支付工具意图、会话结束意图、取消订单意图、增减指定对象意图等时,可以结合获取与所述意图信息匹配的关键词信息进行语义分析,进而识别出相应的语义。

由以上本说明书实施例提供的技术方案可见,本说明书实施例中意图识别模型中设置两层,以一维线性权重向量为学习权重数据(权重矩阵)的多线性特征学习层,可以大大降低模型学习过程中的计算复杂度,且可以学习到多维度的文本特征信息,提高模型的识别准确率。在基于该意图识别模型进行文本信息的意图识别时,可以快速准确地识别出文本信息的意图信息;然后,基于意图信息进行语义的识别,可以大大提高语义识别的准确率。在实际应用中,可以轻松应对语音助手等人机实时交互场景,对响应速度与准确率的高要求。

在另一些实施例中,在还可以对文本信息进行纠错处理,以提高对用户语义意图的识别准确率。具体的,纠错处理可以包括但不限于结合文本信息中分词词语的词性和上下文语义进行纠错。

在一个具体的实施例中,例如用户输入了“明天给我送过来,明天白米醋2瓶”进行纠错处理,可以结合上下文语义和词性,实现对用户输入的“明天白米醋2瓶”进行纠错,得到更符合语义的“民田白米醋2瓶”(民田可以为品牌)。

在另一些实施例中,如图9所示,所述方法还可以包括:

s209:执行与所述意图信息相匹配的语义信息所对应的操作。

以下结合图10所示的购物场景介绍本申请语义意图识别方法的具体应用。

从图10可见,用户输入的文本信息为:我要订三斤大白菜;基于本申请的语义意图识别方法,可以识别出用户的语义意图为下单大白菜,相应的,基于下单大白菜的语义意图可以执行向用户反馈大白菜购买的操作界面。进一步的,在用户基于该操作界面将三斤大白菜加入购物车后,可以向用户反馈:三斤大白菜已经加入购物车的提示信息。进一步的,还可以主动向用户发送:需要特殊备注请说出或输入哦,以引导用户进行备注的输入。当用户输入:白菜要切丝;基于本申请的语义意图识别方法,可以识别出用户的语义意图为将刚刚加入购物车的大白菜进行切丝的备注;相应的,可以向用户反馈:白菜已经备注切丝的提示信息。

进一步的,在用户还未结算的情况下,还可以主动向用户发送:请问您还需要买什么吗?相应的,当用户输入:我要土豆10斤,切片处理好给我;基于本申请的语义意图识别方法,可以识别出用户的语义意图为下单土豆和备注土豆切片;相应的,可以执行向用户反馈土豆购买的操作界面,同时,操作界面可以备注好切片处理。进一步的,在用户基于该操作界面将10斤土豆加入购物车后,可以向用户反馈:10斤土豆已经加入购物车,且已备注切片的提示信息。

由以上购物场景的示例可见,基于本申请实施例提供的语义意图识别方法可以准确快速的对用户输入的文本信息进行一种或多种语义意图的识别,进而可以快速的响应用户的需求,提高用户体验。

本申请实施例还提供了一种语义意图识别装置,如图11所示,所述装置包括:

文本信息获取模块1110,可以用于获取文本信息;

意图识别处理模块1120,可以用于语义将所述文本信息输入意图识别模型进行意图识别处理,得到所述文本信息的意图信息;

关键词信息获取模块1130,可以用于获取所述文本信息中与所述意图信息匹配的关键词信息;

语义信息确定模块1140,可以用于基于所述匹配的关键词信息确定与所述意图信息相匹配的语义信息。

其中,所述意图识别模型包括:特征输入转换层、两层的多线性特征学习层、卷积层和输出层,所述多线性特征学习层的学习权重数据为一维线性权重向量。

在一些实施例中,所述多线性特征学习层包括:

多线性注意力学习单元、第一归一化相加处理单元、门控制单元、前向学习单元和第二归一化相加处理单元;

其中,所述多线性注意力学习单元用于基于特征输入转换层得到的文本特征矩阵与一维线性权重向量进行多维度文本特征学习。

在一些实施例中,所述多线性注意力学习单元包括:

点积归一化处理单元,用于对所述特征输入转换层输出的词向量与第一一维线性权重向量进行点积归一化处理;

线性变换处理单元,用于基于第二一维线性权重向量和第三一维线性权重向量对点积归一化处理后的特征向量和所述特征输入转换层输出的词向量进行线性变换处理;

阈值映射处理单元,用于基于预设阈值函数对所述线性变化处理后的特征向量进行阈值映射处理;

多维度文本特征向量确定单元,用于基于阈值映射处理后的特征向量、点积归一化处理后的特征向量和所述特征输入转换层输出的词向量确定所述文本信息的多维度文本特征向量。

在一些实施例中,所述意图识别模型包括采用下述单元确定:

标注文本信息获取单元,用于获取标注有意图标识的文本信息;

训练单元,用于基于所述标注有意图标识的文本信息对预设深度学习模型进行训练得到所述意图识别模型;

其中,所述意图标识至少包括下述之一:下单意图标识、指示支付意图标识、指定支付工具意图标识、会话结束意图标识、备注意图标识、取消订单意图标识、增减指定对象意图标识。

在一些实施例中,所述当所述意图信息包括下单意图时,所述关键词信息获取模块1120可以包括:

分词处理单元,用于对所述文本信息进行分词处理,得到文本信息中的分词词语;

词性分析单元,用于基于预设词性备注库对所述分词词语进行词性分析,得到所述分词词语的词性;

第一关键词信息确定单元,用于基于所述分词词语的词性确定与所述意图信息匹配的关键词信息;

其中,所述预设词性备注库包括具有词性备注的词语。

在一些实施例中,当所述意图信息包括下单意图时,所述语义信息确定模块1140包括:

文本短句生成单元,用于基于所述匹配的关键词信息生成与所述意图信息相匹配的文本短句;

语义分析单元,用于对所述文本短句进行语义分析,得到所述文本短句的语义信息;

第一语义信息确定单元,用于将所述文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。

在一些实施例中,当所述文本短句的语义信息间存在语义歧义时,所述语义信息确定模块1140还包括:

第一数据获取单元,用于获取所述存在语义歧义的文本短句中词语的位置权重和频率权重;

去歧义处理单元,用于基于所述位置权重和频率权重分别对所述存在语义歧义的文本短句进行去歧义处理;

相应的,所述第一语义信息确定单元具体用于:将去歧义处理后的文本短句的语义信息作为所述与所述意图信息相匹配的语义信息。

在一些实施例中,当所述意图信息包括备注意图时,所述语义信息确定模块1140可以包括:

对象关键词确定单元,用于确定所述匹配的关键词信息中的对象关键词;

对象备注信息确定单元,用于基于预设对象备注图谱确定与所述对象关键词相匹配的对象备注信息;

第二语义信息确定单元,用于基于所述对象备注信息确定与所述备注意图相匹配的语义信息;

其中,所述预设对象备注图谱包括对象关键词和对象备注信息的映射关系。

在一些实施例中,当所述意图信息包括增减指定对象意图时,所述关键词信息获取模块1130可以包括:

增减关键词确定单元,用于确定所述文本信息中的增减关键词;

第二数据获取单元,用于获取与所述增减关键词相关联的对象关键词和数量关键词;

第二关键词信息确定单元,用于将所述增减关键词、所述对象关键词和所述数量关键词作为与增减指定对象意图匹配的关键词信息。

在一些实施例中,所述文本信息获取模块1110至少包括下述单元之一:

语音识别单元,用于基于对获取的语音信息进行语音识别,得到所述文本信息;

或,

图像识别单元,用于基于对获取的图片信息进行图像识别,得到所述文本信息。

在一些实施例中,所述装置还包括:

语义意图执行模块,可以用于执行与所述意图信息相匹配的语义信息所对应的操作。

所述的装置实施例中的装置与方法实施例基于同样地申请构思。

本申请实施例提供了一种语义意图识别设备,该语义意图识别设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的语义意图识别方法。

存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在移动终端(客户端)、计算机终端(客户端)、服务器或者类似的运算装置中执行。以运行在客户端上为例,图12是本申请实施例提供的一种执行语义意图识别方法的设备的硬件结构框图。如图12所示,

所述客户端可以包括rf(radiofrequency,射频)电路1210、包括有一个或一个以上计算机可读存储介质的存储器1220、输入单元1230、显示单元1240、传感器1250、音频电路1260、wifi(wirelessfidelity,无线保真)模块1270、包括有一个或者一个以上处理核心的处理器1280、以及电源1290等部件。本领域技术人员可以理解,图12中示出的客户端结构并不构成对客户端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

rf电路1210可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器1280处理;另外,将涉及上行的数据发送给基站。通常,rf电路1210包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim)卡、收发信机、耦合器、lna(lownoiseamplifier,低噪声放大器)、双工器等。此外,rf电路810还可以通过无线通信与网络和其他客户端通信。所述无线通信可以使用任一通信标准或协议,包括但不限于gsm(globalsystemofmobilecommunication,全球移动通讯系统)、gprs(generalpacketradioservice,通用分组无线服务)、cdma(codedivisionmultipleaccess,码分多址)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、lte(longtermevolution,长期演进)、电子邮件、sms(shortmessagingservice,短消息服务)等。

存储器1220可用于存储软件程序以及模块,处理器1280通过运行存储在存储器1220的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述客户端的使用所创建的数据等。此外,存储器1220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1220还可以包括存储器控制器,以提供处理器880和输入单元1230对存储器1220的访问。

输入单元1230可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元1230可包括触敏表面1231以及其他输入设备1232。触敏表面1231,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面1231上或在触敏表面1231附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面1231可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1280,并能接收处理器1280发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面1231。除了触敏表面1231,输入单元1230还可以包括其他输入设备1232。具体地,其他输入设备1232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及所述客户端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1240可包括显示面板1241,可选的,可以采用lcd(liquidcrystaldisplay,液晶显示器)、oled(organiclight-emittingdiode,有机发光二极管)等形式来配置显示面板1241。进一步的,触敏表面1231可覆盖显示面板1241,当触敏表面1231检测到在其上或附近的触摸操作后,传送给处理器1280以确定触摸事件的类型,随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。其中,触敏表面1231与显示面板1241可以两个独立的部件来实现输入和输入功能,但是在某些实施例中,也可以将触敏表面1231与显示面板1241集成而实现输入和输出功能。

所述客户端还可包括至少一种传感器1250,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度,接近传感器可在所述客户端移动到耳边时,关闭显示面板1241和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别客户端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于所述客户端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

音频电路1260、扬声器1261,传声器1262可提供用户与所述客户端之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号,传输到扬声器1261,由扬声器1261转换为声音信号输出;另一方面,传声器1262将收集的声音信号转换为电信号,由音频电路1260接收后转换为音频数据,再将音频数据输出处理器1280处理后,经rf电路1210以发送给比如另一客户端,或者将音频数据输出至存储器1220以便进一步处理。音频电路1260还可能包括耳塞插孔,以提供外设耳机与所述客户端的通信。

wifi属于短距离无线传输技术,所述客户端通过wifi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图12示出了wifi模块1270,但是可以理解的是,其并不属于所述客户端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1280是所述客户端的控制中心,利用各种接口和线路连接整个客户端的各个部分,通过运行或执行存储在存储器1220内的软件程序和/或模块,以及调用存储在存储器1220内的数据,执行所述客户端的各种功能和处理数据,从而对客户端进行整体监控。可选的,处理器1280可包括一个或多个处理核心;优选的,处理器1280可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1280中。

所述客户端还包括给各个部件供电的电源1290(比如电池),优选的,电源可以通过电源管理系统与处理器1280逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1290还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出,所述客户端还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,客户端的显示单元是触摸屏显示器,客户端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行本发明中方法实施例中的指令。

本申请的实施例还提供了一种存储介质,所述存储介质可设置于设备之中以保存用于实现方法实施例中一种语义意图识别方法相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的语义意图识别方法。

可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的语义意图识别方法、装置、设备或存储介质的实施例可见,本申请在意图识别模型中设置两层,以一维线性权重向量为学习权重数据(权重矩阵)的多线性特征学习层,可以大大降低模型学习过程中的计算复杂度,且可以学习到多维度的文本特征信息,提高模型的识别准确率。在基于该意图识别模型进行文本信息的意图识别时,可以快速准确地识别出文本信息的意图信息;然后,基于意图信息进行语义的识别,可以大大提高语义识别的准确率。在实际应用中,可以轻松应对语音助手等人机实时交互场景,对响应速度与准确率的高要求。

需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1