一种用于人工智能机器人的输出方法以及机器人与流程

本发明涉及机器人领域，具体涉及一种用于人工智能机器人的输出方法以及机器人。

背景技术：

随着机器人技术的不断发展，智能机器人的越来越多的被应用到人类日常的生产生活中。

在人机交互场景中，智能机器人进行交互输出常需获取用户的交互意图，而实际上，往往机器人所获取到的交互意图并不是用户所要表达的意图，那么最后输出的多模态输出就必然不会满足用户的交互需求。因此，机器人意图解析的正确率直接影响到机器人的用户体验。

技术实现要素：

本发明提供了一种用于人工智能机器人的输出方法，所述方法包括：

接收多模态输入数据并解析，生成对应所述多模态输入数据的文本信息；

提取所述文本信息中的实体信息；

将所述实体信息与实体库中的实体数据进行实体匹配，实体匹配成功后基于匹配结果获取所述实体信息对应的垂直领域；

结合所述实体信息对应的垂直领域对所述文本信息进行意图识别，获取识别结果；

基于所述识别结果生成并输出对应的多模态输出。

在一实施例中，所述方法还包括：

当实体匹配失败，针对所述实体信息输出向用户进一步确认意图的询问多模态数据。

在一实施例中，结合所述实体信息对应的垂直领域对所述文本信息进行意图识别，包括：

结合所述实体信息对应的垂直领域中的表述库，进行表述匹配；

当表述匹配成功，确定文本信息的语义识别意图，并进入语义识别意图所指向的该垂直领域中的应用。

在一实施例中，所述方法还包括：

当表述匹配失败，输出向用户确认应用的询问多模态数据。

在一实施例中，所述方法还包括：

获取用户针对所述多模态输出的反馈数据；

结合所述反馈数据更新所述实体库和/或所述表述库。

本发明还提出了一种人工智能机器人，所述机器人包括：

输入采集模块，其配置为接收多模态输入数据；

文本生成模块，其配置为解析所述多模态输入数据，生成对应所述多模态输入数据的文本信息；

实体信息提取模块，其配置为提取所述文本信息中的实体信息；

实体匹配模块，其配置为将所述实体信息与实体库中的实体数据进行实体匹配，实体匹配成功后基于匹配结果获取所述实体信息对应的垂直领域；

意图识别模块，其配置为结合所述实体信息对应的垂直领域对所述文本信息进行意图识别，获取识别结果；

输出模块，其配置为基于所述识别结果生成并输出对应的多模态输出。

在一实施例中，所述机器人还包括：

第一意图询问模块，其配置为当所述实体匹配模块的实体匹配失败时针对所述实体信息输出向用户进一步确认意图的询问多模态数据。

在一实施例中，所述意图识别模块配置为：

结合所述实体信息对应的垂直领域中的表述库，进行表述匹配；

当表述匹配成功，确定文本信息的语义识别意图，并进入语义识别意图所指向的该垂直领域中的应用。

在一实施例中，所述机器人还包括：

第二意图询问模块，其配置为当所述意图识别模块的表述匹配失败时输出向用户确认应用的询问多模态数据。

在一实施例中，所述机器人还包括更新模块，其配置为：

获取用户针对所述多模态输出的反馈数据；

结合所述反馈数据更新所述实体库和/或所述表述库。

相较于现有技术，本发明的方法不仅有效提高了意图解析的解析速度，而且提高了意图解析的准确率；根据本发明的方法，可以更加快速准确的获取用户的交互意图，生成并输出针对用户的交互意图的多模态输出；相较于现有技术，本发明的方法大大提高了机器人的用户体验。

本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1以及图2是根据本发明不同实施例的方法流程图；

图3～图5是根据本发明不同实施例的方法的部分流程图；

图6、图7以及图10是根据本发明不同实施例的机器人系统结构简图；

图8以及图9根据本发明不同实施例的机器人系统部分结构简图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

随着机器人技术的不断发展，智能机器人的越来越多的被应用到人类日常的生产生活中。

在人机交互场景中，智能机器人进行交互输出的最常见流程之一是：

(1)对获取到的多模态输入数据进行意图解析，获取用户的交互意图；

(2)针对用户的交互意图生成并输出相应的多模态输出。

在上述流程中，如果智能机器人的意图解析过程(步骤1)出现错误，获取到的交互意图并不是用户所要表达的意图，那么最后输出的多模态输出就必然不会满足用户的交互需求。因此，机器人意图解析的正确率直接影响到机器人的用户体验。

在实际的应用场景中，人类意图的表述(语言)通常可以简单分解为表述实体(词汇)+表述方式(语法)。对应人类的表述习惯，在现有技术中，比较常见的意图解析方法是将用户所输入的数据转化为多种不同表述实体+表述方式，然后在机器人的数据库中针对表述方式以及每个表述实体进行匹配，最后基于表述方式的匹配结果将所有表述实体的匹配结果组合以获取用户输入所代表的用户意图。

但是，随着智能机器人应用领域的不断拓展，人类可能输入到机器人的用户意图所涉及的领域范围也不断拓展。为了正确理解用户意图，机器人用于意图理解的数据库也不断扩充(不断增加新的表述实体以及表述方式)，这就使得在进行意图理解时所需的匹配搜索运算数据量不断增加。同时，随着数据库的不断扩充，其中包含的相似表述方式/表述实体也不断增多，由于很多相似表述方式/表述实体具有完全不同的含义，这就导致机器人在匹配过程中匹配错误率的增加。

针对上述情况，本发明提出了一种用于人工智能机器人的输出方法。在根据本发明的一实施例中，机器人在进行意图识别时，先对用户的多模态输入数据进行垂直领域分类，辨别当前用户的意图归属于哪一类垂直领域，然后结合该垂直领域的特点对用户的多模态输入数据进行详细的意图分析理解。由于在意图理解时已进行了前期的垂直领域分类，因此意图理解时所需的匹配搜索运算数据量也就大大减少。并且，由于意图理解是结合特定的垂直领域的特征的，因此意图理解的正确率也得到大大提高。

进一步的，考虑到在实际应用场景中，表述方式(语法)是一种模式性的框架体系，其往往无法独立的代表某种具体的含义；而表述实体在很多场合中可脱离表述方式独立的表达某些具体的含义。因此在本发明一实施例中，基于用户的多模态输入数据中的表述实体进行垂直领域分类。

接下来基于附图详细描述根据本发明实施例的方法的详细流程，附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，在一实施例中，机器人首先接收多模态输入数据(步骤s100)，然后解析接收到的多模态输入数据(步骤s110)，生成对应多模态输入数据的文本信息(步骤s120)；接着提取文本信息中的实体信息(表述实体)(步骤s130)；将提取出的实体信息与实体库(数据库)中的实体数据进行实体匹配(步骤s140)；实体匹配成功后基于匹配结果获取步骤s130提取出的实体信息对应的垂直领域(步骤s150)；接下来结合实体信息对应的垂直领域对文本信息进行意图识别，获取识别结果(步骤s160)；最后基于步骤s160获取到的识别结果生成并输出对应的多模态输出(步骤s170)。

在上述流程中，步骤s140以及步骤s150即是对当前用户的意图进行基于垂直领域的分类，从而在步骤s160中缩小意图识别的数据处理量，并提高意图识别的正确率。在本发明一实施例中，步骤s140是在已有的实体库中搜索与当前用户的多模态输入数据中所包含的表述实体匹配的实体，步骤s150是获取与表述实体匹配的实体(实体库中的实体)对应的垂直领域。即垂直领域分类的实质是首先对用户的多模态输入数据中所包含的表述实体进行初步的意义理解。

进一步的，步骤s140以及步骤s150顺利执行的前提之一当前机器人的实体库中存在与用户的多模态输入数据中所包含的表述实体匹配的实体。但是，在实际的交互场景中，由于用户表述意图的不确定性，很有可能出现当前机器人的实体库中不存在与用户的多模态输入数据中所包含的表述实体匹配的实体的情况。针对这种情况，在一实施例中，当步骤s140的实体匹配失败，则机器人针对实体信息输出向用户进一步确认意图的询问多模态数据。

具体的，如图2所示，在一实施例中，机器人首先接收多模态输入数据(步骤s200)，然后解析接收到的多模态输入数据(步骤s210)，生成对应多模态输入数据的文本信息(步骤s220)；接着提取文本信息中的实体信息(表述实体)(步骤s230)；将提取出的实体信息与实体库(数据库)中的实体数据进行实体匹配，判断是否可以进行实体匹配(步骤s240)；如果可以进行实体匹配，实体匹配成功后基于匹配结果获取步骤s230提取出的实体信息对应的垂直领域(步骤s250)；接下来结合实体信息对应的垂直领域对文本信息进行意图识别，获取识别结果(步骤s260)；最后基于步骤s260获取到的识别结果生成并输出对应的多模态输出(步骤s270)。

在步骤s240中，如果不可以进行实体匹配，实体匹配不成功，则针对实体信息输出向用户进一步确认意图的询问多模态数据(步骤s241)；然后返回步骤s200，针对用户反馈的新的多模态输入数据进行意图识别。

进一步的，在一实施例中，当机器人输出向用户进一步确认意图的询问多模态数据(步骤s241)后，用户反馈解释机器人无法进行实体匹配的表示实体的具体含义时，机器人解析用户的反馈数据获取新的实体信息(表述实体的具体含义)(步骤s242)，然后将新的实体信息保存入实体库以扩充实体库(步骤s243)。这样，在此以后，当用户的多模态输入数据再次包含该表述实体时，机器人就可以不再向用户询问，而可以直接进行实体匹配。

进一步的，在本发明一实施例中，当实体匹配成功后，机器人在进行意图识别时，首先结合实体信息对应的垂直领域中的表述库，进行表述匹配(表述方式的匹配)；当表述匹配成功，确定文本信息的语义识别意图(结合实体匹配的结果以及表述匹配的结果获取文本信息的语义意图)。由于上述步骤中表述匹配的表述库是对应具体的垂直领域的，因此表述匹配的数据处理量就得到了控制，其正确率也得到了有效保证。

进一步的，在一实施例中，机器人装载有智能机器人操作系统，其依托加载在智能机器人操作系统上的具体的应用来实现多模态输出。具体的，机器人通过智能机器人操作系统调用适用的应用，执行被调用的应用来实现多模态输出。

在一实施例中，当实体匹配成功后，机器人在进行意图识别时，首先结合实体信息对应的垂直领域中的表述库，进行表述匹配(表述方式的匹配)；当表述匹配成功，确定文本信息的语义识别意图(结合实体匹配的结果以及表述匹配的结果获取文本信息的语义意图)，并接下来进入语义识别意图所指向的该垂直领域中的应用。这样，在输出时就可以依托上述步骤中所进入的语义识别意图所指向的该垂直领域中的应用来进行多模态输出。

具体的，如图3所示，在一实施例中，当实体匹配成功后，机器人首先确定表述实体所对应的垂直领域(步骤s350)；然后确定(提取)该垂直领域中的表述库(步骤s361)；结合步骤s361确定的表述库对文本信息进行表述匹配(步骤s362)；当表述匹配成功，确定文本信息的语义识别意图(步骤s363)，并接下来进入语义识别意图所指向的该垂直领域中的应用(确定应用)(步骤s364)；最后依托步骤s364所进入的应用进行多模态输出(步骤s370)，由于在垂直领域进行的语义识别，而缩小了语义理解的数据处理负载，而在垂直领域中确定的与应用关联的指令，则变得更为精准。这对于装载有机器人操作系统的人工智能机器人来说，对于应用的指令识别及应用操作响应具有节省处理时间及判定指令精准的技术效果。

进一步的，在上述实施例中，由于表述库并不可能完全包括所有的表述方式，因此存在文本信息所包含的表述方式并不存在于表述库中的情况(表述匹配失败)。因此，在一实施例中，当表述匹配失败，输出向用户确认应用的询问多模态数据。

具体的，如图4所示，在一实施例中，当实体匹配成功后，机器人首先确定表述实体所对应的垂直领域(步骤s450)；然后确定(提取)该垂直领域中的表述库(步骤s461)；结合步骤s461确定的表述库对文本信息进行表述匹配，判断是否可以表述匹配(表述匹配是否成功)(步骤s462)；当表述匹配成功，确定文本信息的语义识别意图(步骤s463)，并接下来进入语义识别意图所指向的该垂直领域中的应用(确定应用)(步骤s464)；最后依托步骤s464所进入的应用进行多模态输出(步骤s470)。

在步骤s462中，如果表述匹配失败，则机器人输出向用户确认应用的询问多模态数据(步骤s465)；并接下来接收用户针对步骤s465的输出信息的反馈，并对该反馈信息进行新一轮的意图识别。

进一步的，在一实施例中，在机器人输出向用户确认应用的询问多模态数据(步骤s465)后，如果用户的反馈信息包含之前机器人表述匹配失败的表述方式的解释，则机器人解析用户的反馈信息获取新的表述信息(新表述方式的解释)(步骤s466)；然后将新表述信息保存入表述库(扩充表述库)。这样，在此以后，当用户的多模态输入数据中包含该表述方式时机器人就可以直接进行表述匹配而不需要再次询问。

进一步的，在实际的应用场景中，即使经过上述实施例的意图解析流程，仍不能保证机器人最后的获取的用户意图百分之百的正确。当机器人意图解析错误时，机器人的输出就不能够满足用户的需求。为了进一步提高机器人的用户体验，在本发明一实施例中，在机器人进行意图识别并根据识别结果进行多模态输出后，机器人获取用户针对多模态输出的反馈数据；然后结合反馈数据更新实体库和/或表述库。这样，当机器人意图识别错误输出了无法满足用户需求的多模态输出时，就可以根据用户的反馈获取更加正确的意图识别方式(表述意图和/或表述方式的正确对应关系)，从而保证在之后的意图识别过程中不会再次出现相同或相似的意图识别错误。

具体的，如图5所示，机器人进行意图识别获取意图识别结果后，其首先根据意图识别结果进行多模态输出(步骤s500)；然后接收用户针对步骤s500中输出的多模态输出的反馈数据(步骤s510)；判断反馈数据中是否存在意图识别结果错误评述(步骤s520)，即根据用户的反馈数据判断之前的意图识别结果是否正确。

具体的，在步骤s520中，首先判断用户的反馈数据是否包含针对步骤s500中输出的多模态输出的评价信息，如果不存在评价信息，则默认步骤s500中输出的多模态输出满足了用户需求，机器人的意图识别结果正确；如果存在评价信息，则进一步判断该评价信息的具体含义，如果评价信息表明步骤s500中输出的多模态输出满足了用户需求，则机器人的意图识别结果正确(或是评价信息直接表明机器人的意图识别结果正确)；如果评价信息表明步骤s500中输出的多模态输出不满足用户需求，则机器人的意图识别结果错误(或是评价信息直接表明机器人的意图识别结果错误)。

当反馈数据中不存在意图识别结果错误评述(不存在评价信息或者评价信息说明机器人意图识别结果正确)时，机器人采用其他交互策略继续进行人机交互(例如，针对用户的反馈数据或者新的多模态输入数据进行新一轮的意图识别)。

当反馈数据中存在意图识别结果错误评述，则结合反馈数据更新实体库和/或表述库(步骤s530)。具体的，在步骤s530中，机器人获取正确的意图识别结果(根据用户的反馈数据获取正确的意图识别结果或者在反馈数据不包含正确的意图识别结果时主动向用户询问)，根据正确的意图识别结果确定定位意图识别过程中错误点(是实体匹配错误还是表述匹配错误)，最后对出现错误的实体库和/或表述库进行更新。

结合上述本发明提出的方法，本发明还提出了一种可以进行意图识别的人工智能机器人。具体的，如图6所示，在一实施例中，机器人包括：

输入采集模块600，其配置为接收多模态输入数据；

文本生成模块610，其配置为解析多模态输入数据，生成对应多模态输入数据的文本信息；

实体信息提取模块620，其配置为提取文本信息中的实体信息；

实体匹配模块630，其配置为将实体信息与实体库631中的实体数据进行实体匹配，实体匹配成功后基于匹配结果获取实体信息对应的垂直领域；

意图识别模块640，其配置为结合实体信息对应的垂直领域对文本信息进行意图识别，获取识别结果；

输出模块650，其配置为基于识别结果生成并输出对应的多模态输出。

进一步的，在一实施例中，机器人还包括针对实体匹配的意图询问模块，其配置为当实体匹配模块的实体匹配失败时针对实体信息输出向用户进一步确认意图的询问多模态数据。

如图7所示，输入采集模块700接收多模态输入数据；文本生成模块710解析来自输入采集模块700的多模态输入数据，生成对应多模态输入数据的文本信息；实体信息提取模块720提取文本生成模块710获取的文本信息中的实体信息；实体匹配模块730将实体信息提取模块720提取的实体信息与实体库731中的实体数据进行实体匹配，并在实体匹配成功后基于匹配结果获取实体信息对应的垂直领域；意图识别模块740结合实体信息对应的垂直领域对文本信息进行意图识别，获取识别结果；输出模块750基于识别结果生成并输出对应的多模态输出。

当实体匹配模块730发生匹配失败时，意图询问模块针对匹配失败的实体信息生成向用户进一步确认意图的询问多模态数据并依托输出模块750输出该询问多模态数据。

进一步的，在一实施例中，机器人的意图识别模块配置为：

结合实体信息对应的垂直领域中的表述库，进行表述匹配；

当表述匹配成功，确定文本信息的语义识别意图。

进一步的，在一实施例中，机器人装载有机器人操作系统，其依托加载在机器人操作系统上的具体的应用来实现多模态输出。具体的，在一实施例中，机器人的意图识别模块配置为：

结合实体信息对应的垂直领域中的表述库，进行表述匹配；

当表述匹配成功，确定文本信息的语义识别意图，并进入语义识别意图所指向的该垂直领域中的应用。

如图8所示，在一实施例中，机器人的意图识别模块840包含：

表述匹配单元841，其配置为结合实体信息对应的垂直领域中的表述库842进行表述匹配；

语义识别单元843，其配置为当表述匹配单元841的表述匹配成功后，确定文本信息的语义识别意图；

应用确认单元844，其配置为进入语义识别意图所指向的该垂直领域中的应用。

机器人的输出模块850则依托应用确认单元844进入的应用进行多模态输出。

进一步的，在一实施例中，机器人还包括针对表述匹配的意图询问模块，其配置为当意图识别模块的表述匹配失败时输出向用户确认应用的询问多模态数据。具体的，如图9所示，机器人还包括意图询问模块960，其配置为当表述匹配单元941的表述匹配失败时生成向用户确认应用的询问多模态数据，并依托输出模块950向用户输出该询问多模态数据。

进一步的，在一实施例中，机器人还包括更新模块，其配置为：

获取用户针对多模态输出的反馈数据；

结合反馈数据更新所述实体库和/或所述表述库。

具体的，如图10所示，机器人还包括更新模块1060。更新模块1060利用输入采集模块1000获取用户针对输出模块1050输出的多模态输出的反馈数据；并之后结合反馈数据更新实体库1031和/或表述库1041。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。