一种用于机器人的多模态输出方法与流程

本发明涉及计算机领域，具体说涉及一种用于机器人的多模态输出方法。

背景技术：

随着机器人技术的不断发展，机器人的应用范围被不断拓展，尤其的，越来越多的机器人被应用到日常的生产生活中。在日常的生产生活中，机器人的主要应用场景通常集中在与人的交互上。

在当前技术环境中，人机交互具有很多不同的方式，其中较为常见的一种模式是用户依照固定的流程进行人机交互。例如，用户使用机器人进行游戏，而大部分的游戏流程都是预先设置好的。。

在这种情况下，机器人持续通过固定的流程进行输出，容易使用户对交互产生厌倦情绪，降低了机器人的用户体验。

技术实现要素：

本发明提出了一种用于机器人的多模态输出方法，所述方法包括：

在根据当前运行的应用进行的人机交互过程中基于用户交互输入和/或用户状态数据生成针对当前交互内容的用户兴趣参量；

当所述用户兴趣参量低于设定阈值时，输出预设的吸引用户注意力的多模态输出。

在一实施例中，所述方法还包括：

当所述用户兴趣参量高于所述设定阈值时，输出根据当前运行的应用的固定交互模式生成的多模态输出。

在一实施例中，当所述用户兴趣参量低于设定阈值时，输出预设的吸引用户注意力的多模态输出，其中，在输出所述预设的吸引用户注意力的多模态输出之后，输出根据当前运行的应用的固定交互模式生成的多模态输出。

在一实施例中，基于用户交互输入和/或用户状态数据生成针对当前交互内容的用户兴趣参量，其中，通过如下之一或组合来生成所述用户兴趣参量：

采集用户语音，通过语音语义理解生成针对当前交互内容的用户兴趣参量；

采集用户语音，通过语音情感识别生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过用户位置变化和/或视线变化生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过人脸情绪识别生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过手势识别生成针对当前交互内容的用户兴趣参量。

在一实施例中，所述当前运行的应用包括：

游戏类交互应用、学习类交互应用。

本发明还提出了一种智能机器人，所述机器人包括：

用户兴趣解析模块，其配置为在根据当前运行的应用进行的人机交互过程中基于用户交互输入和/或用户状态数据生成针对当前交互内容的用户兴趣参量；

输出模块，其配置为当所述用户兴趣参量低于设定阈值时，输出预设的吸引用户注意力的多模态输出。

在一实施例中，所述输出模块还配置为：

当所述用户兴趣参量高于所述设定阈值时，输出根据当前运行的应用的固定交互模式生成的多模态输出。

在一实施例中，所述输出模块还配置为：在输出所述预设的吸引用户注意力的多模态输出之后，输出根据当前运行的应用的固定交互模式生成的多模态输出。

在一实施例中，所述用户兴趣解析模块配置为通过如下之一或组合来生成所述用户兴趣参量：

采集用户语音，通过语音语义理解生成针对当前交互内容的用户兴趣参量；

采集用户语音，通过语音情感识别生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过用户位置变化和/或视线变化生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过人脸情绪识别生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过手势识别生成针对当前交互内容的用户兴趣参量。

在一实施例中，所述用户兴趣解析模块配置为在机器人根据游戏类交互应用和/或学习类交互应用进行的人机交互过程中生成针对当前交互内容的用户兴趣参量。

根据本发明的方法及机器人，可以在不影响应用功能的实现的基础上维持用户的感兴趣程度，从而大大提高用户体验。

本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1和图2是根据本发明实施例的方法流程图；

图3是根据本发明一实施例的机器人系统结构简图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

随着机器人技术的不断发展，机器人的应用范围被不断拓展，尤其的，越来越多的机器人被应用到日常的生产生活中。在日常的生产生活中，机器人的主要应用场景通常集中在与人的交互上。

在当前技术环境中，人机交互具有很多不同的方式，其中较为常见的一种模式是用户依照固定的流程进行人机交互。例如，用户使用机器人进行游戏，而大部分的游戏流程都是预先设置好的。

在这种情况下，机器人只能通过用户的输入来判断下一步的流程，持续通过固定的流程进行输出，不容易发现用户对交互是否产生厌倦情绪，降低了机器人的用户体验。针对这一问题，本发明提出了一种在人机交互游戏中，通过判断用户当前的兴趣度，从而使机器人能更好控制游戏过程的方法。

在用户依照固定的流程进行人机交互过程中，用户对交互产生厌倦情绪的主要原因之一是机器人的交互应对是完全依照当前运行的应用中预设的交互流程设置进行的，机器人的交互应对无法反应用户自身状态的变化，使得交互应对生硬、缺乏灵活性。解决这一问题的方法之一就是机器人根据用户自身的状态变化及时调整交互回应，使得交互回应灵活多变，从而不断激发用户的交互兴趣。

但是，根据用户自身的状态变化及时调整交互回应势必占用大量的处理资源并且需要大量完整精确的数据支持，并且灵活多变的交互回应也会破坏应用中预设的交互流程，使得应用的功能无法得到有效实现，从而使得人机交互失去了原本的目的和意义。

针对上述问题，在本发明一实施例中，机器人根据用户自身的状态变化调整交互回应以激发用户的交互兴趣。但是，交互回应的调整并不是随时进行的，而仅仅是在用户交互兴趣下降(产生厌倦感)的关键节点进行的。这样，就在最大限度维持应用的原有交互流程的基础上，以尽可能少的交互回应调节来避免用户厌倦感的产生，不仅提高了用户体验，而且保证了处理资源消耗的精简以及应用功能的正常实现。

接下来基于附图详细描述根据本发明实施例的方法执行流程。附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在一实施例中，如图1所示，机器人根据当前运行的应用和用户进行人机交互(步骤S110)；在人际交互过程中基于用户交互输入和/或用户状态数据生成针对当前交互内容的用户兴趣参量(步骤S120)，该用户兴趣参量用于量化描述用户对于当前交互内容的感兴趣程度。

接下来判断当前用户的用户兴趣参量是否低于设定阈值(步骤S130)。在本实施例中，用户兴趣参量的设定阈值是当用户对当前交互内容没有产生厌倦感时对于当前交互内容的感兴趣程度的量化描述。当用户的当前用户兴趣参量低于设定阈值时，则说明用户对当前交互内容的感兴趣程度开始降低，用户开始产生厌倦感。

因此在步骤S130之后，如果用户兴趣参量大于等于设定阈值，则继续进行原有的人机交互进程(返回步骤S110)。如果用户兴趣参量小于设定阈值，则输出预设的吸引用户注意力的多模态输出(步骤S140)(例如夸张的动作、表情，以及吸引用户集中注意力的语言)，从而维持或提高用户对当前交互内容的兴趣，避免用户产生厌倦感。

在本发明一实施例中，根据用户对同一应用的历史使用过程中的用户兴趣参量数据确定用户兴趣参量的设定阈值。具体的，以用户对同一应用的历史使用过程中对交互内容没有产生厌倦感时对应的用户兴趣参量值作为设定阈值。当当前的用户兴趣参量值小于该设定阈值，则说明用户开始产生厌倦感。

在本发明另一实施例中，以当前用户在上一用户兴趣参量检测时刻的用户兴趣参量值作为设定阈值。当当前的用户兴趣参量值小于该设定阈值(上一用户兴趣参量检测时刻的用户兴趣参量值)，则说明用户对当前交互内容的感兴趣程度开始降低，用户开始产生厌倦感。

进一步的，考虑到用户兴趣参量值的测量波动以及用户本身的兴趣波动，基于历史数据对用户兴趣参量的设定波动范围。具体的，在一实施例中，以当前用户在上一用户兴趣参量检测时刻的用户兴趣参量值作为基准量，结合波动范围设定用户兴趣参量的设定阈值。即相较于上一用户兴趣参量检测时刻的用户兴趣参量值，如果当前的用户兴趣参量值的减小值超出波动范围，则说明用户对当前交互内容的感兴趣程度开始降低，用户开始产生厌倦感。

进一步的，在本发明一实施例中，在步骤S110中，机器人根据当前运行的应用和用户进行人机交互，即输出根据当前运行的应用的固定交互模式生成的多模态输出。当在步骤S130中判断用户兴趣参量不低于设定阈值时，机器人不输出预设的吸引用户注意力的多模态输出，而是依照当前运行的应用的固定交互模式生成多模态输出并输出给用户。

进一步的，在本发明一实施例中，当用户兴趣参量低于设定阈值时，输出预设的吸引用户注意力的多模态输出。并且，在输出预设的吸引用户注意力的多模态输出之后，机器人返回到通常的输出模式，输出根据当前运行的应用的固定交互模式生成的多模态输出。

如图2所示，机器人根据当前运行的应用和用户进行人机交互(步骤S210)；在人际交互过程中基于用户交互输入和/或用户状态数据生成针对当前交互内容的用户兴趣参量(步骤S220)；判断当前用户的用户兴趣参量是否低于设定阈值(步骤S230)。

如果用户兴趣参量不低于设定阈值，则输出根据当前运行的应用的固定交互模式生成的多模态输出(步骤S250)，继续进行原有的人机交互进程(返回步骤S210)。

如果用户兴趣参量小于设定阈值，则输出预设的吸引用户注意力的多模态输出(步骤S240)，从而维持或提高用户对当前交互内容的兴趣，避免用户产生厌倦感。并且进一步的，在步骤S240之后，机器人返回到通常的输出模式，输出根据当前运行的应用的固定交互模式生成的多模态输出(步骤S250)，继续进行原有的人机交互进程(返回步骤S210)。

进一步的，在本发明一实施例中，在步骤S240中监控用户兴趣参量，当用户兴趣参量回到预设的设定阈值(用户回复对当前交互内容的兴趣)时才停止输出预设的吸引用户注意力的多模态输出。

进一步的，在本发明一实施例中，为了保证应用功能的正常实现，步骤S240以及步骤S250并行执行。即，在整个人机交互过程中，根据当前运行的应用的固定交互模式生成的多模态输出不被打断，始终按照当前运行的应用的固定交互流程进行交互。在该交互流程过程中，当用户兴趣降低时，在固定的多模态交互输出基础上增加吸引用户注意力的多模态输出。

进一步的，在本发明一实施例中，机器人通过解析与用户相关的语音和/或图像数据来获取用户兴趣参量。具体的，通过如下之一或组合来生成用户兴趣参量：

(1)采集用户语音，通过语音语义理解生成针对当前交互内容的用户兴趣参量。例如，在利用应用进行游戏或学习的过程中，当如用户说“太难了”，就表示用户有无法维持交互状态的趋势，其感兴趣程度下降。

(2)采集用户语音，通过语音情感识别生成针对当前交互内容的用户兴趣参量.例如用户语调放缓、处于消极水平，表示对当前交互内容没有兴趣。

(3)采集用户图像，通过用户位置变化和/或视线变化生成针对当前交互内容的用户兴趣参量。例如用户跑开、大幅度晃动、人脸视线不专注，表示没有继续进行交互的意愿。

(4)采集用户图像，通过人脸情绪识别生成针对当前交互内容的用户兴趣参量。例如用户笑了，处于开心或是兴奋状态，则表明交互意愿强。

(5)采集用户图像，通过手势识别生成针对当前交互内容的用户兴趣参量。例如用户的手去做别的事情(抓取与当前交互内容无关的物品)，则说明用户不再专注于当前的交互内容，交互意愿降低。

进一步的，在本发明一实施例中，机器人进行用户兴趣参量监控的应用包括游戏类交互应用以及学习类交互应用。上述类型的应用具有相对固定的交互模式，并且其应用功能的实现和其交互模式的关联度相对较高。因此，在上述类型的应用的执行过程中，机器人根据本发明的方法监控用户兴趣参量，在尽量不影响应用的固有交互流程(应用功能的实现)的基础上维持用户的感兴趣程度。而在其他不具备相对固定的交互模式或应用功能的实现与应用固有交互流程关联度不高的应用执行时，则采用其他方式维持用户的感兴趣程度(例如构造不同于应用的固有交互模式的全新的交互模式)。

综上，根据本发明的方法，可以在不影响应用功能的实现的基础上维持用户的感兴趣程度，从而大大提高用户体验。

基于本发明的方法，本发明还提出了一种智能机器人。在一实施例中，如图3所示，所述机器人包括：

用户兴趣解析模块310，其配置为在根据当前运行的应用进行的人机交互过程中基于用户交互输入和/或用户状态数据生成针对当前交互内容的用户兴趣参量；

输出模块320，其配置为当用户兴趣参量低于设定阈值时，输出预设的吸引用户注意力的多模态输出。

进一步的，在一实施例中，输出模块320还配置为：

当用户兴趣参量不低于设定阈值时，输出根据当前运行的应用的固定交互模式生成的多模态输出。

进一步的，在一实施例中，输出模块320还配置为：在输出预设的吸引用户注意力的多模态输出之后，输出根据当前运行的应用的固定交互模式生成的多模态输出。

进一步的，在一实施例中，用户兴趣解析模块310配置为通过如下之一或组合来生成用户兴趣参量：

采集用户语音，通过语音语义理解生成针对当前交互内容的用户兴趣参量；

采集用户语音，通过语音情感识别生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过用户位置变化和/或视线变化生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过人脸情绪识别生成针对当前交互内容的用户兴趣参量；

采集用户图像，通过手势识别生成针对当前交互内容的用户兴趣参量。

进一步的，在一实施例中，用户兴趣解析模块310配置为在机器人根据游戏类交互应用和/或学习类交互应用进行的人机交互过程中生成针对当前交互内容的用户兴趣参量。

综上，本发明的机器人可以在不影响应用功能的实现的基础上维持用户的感兴趣程度，相较于现有技术的机器人，其用户体验被大大提高。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。