一种面向智能机器人的人机交互方法及装置与流程

本发明涉及机器人技术领域，具体地说，涉及一种面向智能机器人的人机交互方法及装置。

背景技术：

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他设备进行交互的智能机器人，应对尽可能多的场景就成为决定智能机器人发展的重要因素。

技术实现要素：

为解决上述问题，本发明提供了一种面向智能机器人的人机交互方法，其包括：

数据获取步骤，获取关于儿童用户的多模态数据；

异常状态指示信息生成步骤，根据所述多模态数据判断所述儿童用户的当前状态，其中，如果所述儿童用户存在异常，则生成异常状态指示信息；

输出信息生成步骤，根据所述异常状态指示信息而接收到的监护人反馈信息生成相应的多模态输出信息并输出。

根据本发明的一个实施例，在所述异常状态指示信息生成步骤中，

根据所述多模态数据生成所述儿童用户的当前状态特征信息；

将所述当前状态特征信息与预设正常状态特征信息或预设异常状态特征信息进行匹配，根据匹配结果判断所述儿童用户是否存在异常。

根据本发明的一个实施例，在所述输出信息生成步骤中，

将所述异常状态指示信息发送至所述儿童用户对应的监护人客户端，并接收所述监护人客户端响应所述异常状态指示信息而发送的所述监护人反馈信息；或，

根据所述异常状态指示信息生成相应的多模态指示信息，并获取监护人根据所述多模态指示信息而输入的监护人反馈信息。

根据本发明的一个实施例，所述异常状态指示信息包括：儿童用户异常特征、解析结论信息和候选处理建议，在所述输出信息生成步骤中，根据所述监护人反馈信息判断监护人是否同意按照所述候选处理建议进行处理，其中，

如果所述监护人同意按照所述候选处理建议进行处理，则根据所述候选处理建议生成相应的多模态输出信息；

如果所述监护人不同意按照所述候选处理建议进行处理，则进一步获取所述监护人反馈的补充处理意见并根据所述补充处理意见来生成相应的多模态输出信息。

根据本发明的一个实施例，在所述输出信息生成步骤中，利用预设自学习数据库，根据所述多模态数据生成所述候选处理建议，所述方法还包括：

自学习数据库更新步骤，如果所述监护人不同意按照所述候选处理建议进行处理，则根据所述监护人反馈的补充处理意见对所述预设自学习数据库进行更新。

本发明还提供了一种面向智能机器人的人机交互装置，其包括：

数据获取模块，其用于获取关于儿童用户的多模态数据；

异常状态指示信息生成模块，其用于根据所述多模态数据判断所述儿童用户的当前状态，其中，如果所述儿童用户存在异常，则生成异常状态指示信息；

输出信息生成模块，其用于根据因应所述异常状态指示信息而接收到的监护人反馈信息生成相应的多模态输出信息并输出。

根据本发明的一个实施例，所述异常状态指示信息生成模块配置为根据所述多模态数据生成所述儿童用户的当前状态特征信息，并将所述当前状态特征信息与预设正常状态特征信息或预设异常状态特征信息进行匹配，根据匹配结果判断所述儿童用户是否存在异常。

根据本发明的一个实施例，所述输出信息生成模块配置为：

将所述异常状态指示信息发送至所述儿童用户对应的监护人客户端，并接收所述监护人客户端响应所述异常状态指示信息而发送的所述监护人反馈信息；或，

根据所述异常状态指示信息生成相应的多模态指示信息，并获取监护人根据所述多模态指示信息而输入的监护人反馈信息。

根据本发明的一个实施例，所述异常状态指示信息包括：儿童用户异常特征、解析结论信息和候选处理建议，所述输出信息生成模块配置为根据所述监护人反馈信息判断监护人是否同意按照所述候选处理建议进行处理，其中，

如果所述监护人同意按照所述候选处理建议进行处理，所述输出信息生成模块则根据所述候选处理建议生成相应的多模态输出信息；

如果所述监护人不同意按照所述候选处理建议进行处理，所述输出信息生成模块则进一步获取所述监护人反馈的补充处理意见来生成相应的多模态输出信息。

根据本发明的一个实施例，所述输出信息生成模块配置为利用预设自学习数据库，根据所述多模态数据生成所述候选处理建议，所述装置还包括：

自学习数据库更新模块，其用于在所述监护人不同意按照所述候选处理建议进行处理时，根据所述监护人反馈的补充处理意见对所述预设自学习数据库进行更新。

本发明所提供的面向智能机器人的人机交互方法能够帮助儿童监护人对儿童进行更加全面、有效的监护，这样监护人也就不需要长时间地处于儿童的身旁来对其进行看护，从而使得监护人对儿童的看护过程更加省心、高效，进而提高了智能机器人的用户体验以及产品竞争力。

同时，本方法还能够通过用户反馈的数据来对自身的自学习数据库进行更新，这样也就解决了儿童监护领域数据匮乏的问题，这样有助于进一步提高智能机器人的智能性和可靠性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明一个实施例的面向智能机器人的人机交互方法的实现流程示意图；

图2是根据本发明另一个实施例的面向智能机器人的人机交互方法的实现流程示意图；

图3是根据本发明再一个实施例的面向智能机器人的人机交互方法的实现流程示意图；

图4是根据本发明一个实施例的面向智能机器人的人机交互装置的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

随着智能机器人技术的发展，智能机器人的机器视觉得到了长足的发展，因此这也就使得家长可以通过智能机器人所拍摄的图像来对婴儿进行监视。然而，现有的智能机器人的这种婴儿监视功能较为单一，其只能够对婴儿的相关图像进行拍摄并将拍摄到的图像传输至相应的显示器来由婴儿的家长进行观看。对于这种情况，婴儿的家长也就需要长时间地观看显示器才能够保证婴儿不会处于某些危险的状态(例如攀爬婴儿床的栏杆等)，这显然不利于减轻家长的负担。

针对现有技术中所存在的上述问题，本发明提供了一种新的面向智能机器人的人机交互方法，该方法能够帮助儿童监护人对儿童进行更加全面、有效的监护，这样监护人也就不需要长时间地处于儿童的身旁来对其进行看护。

为了更加清楚地阐述本发明所提供的面向智能机器人的人机交互方法的实现原理、实现过程以及优点，以下分别结合不同的实施例来对本发明所提供的人机交互方法作进一步地说明。

实施例一：

图1输出了本实施例所提供的面向智能机器人的人机交互方法的实现流程示意图。

如图1所示，本实施例所提供的人机交互方法首先在步骤s101中获取关于儿童用户的多模态数据。需要指出的是，本实施例中，根据实际情况，该方法在步骤s101中所获取到的关于儿童用户的多模态数据可以包含一种或多种不同形式的信息，本发明不限于此。例如，如果儿童用户正在哭泣，那么该方法在步骤s101中所获取到的关于该儿童用户的多模态数据中也就可以包含儿童用户的图像数据和音频数据。

当得到上述关于儿童用户的多模态数据后，该方法会在步骤s102中根据上述多模态数据确定该儿童用户的当前状态，并在步骤s103中进一步判断该儿童用户是否存在异常，即该儿童用户的当前状态是否为异常状态。

例如，当儿童用户正在哭泣，那么该方法也就可以通过该儿童用户的面部图像数据判断出该用户的当前面部表情识别为哭泣表情，或是通过该儿童用户的音频数据判断出该用户当前处于哭泣状态，而哭泣状态显然不应当是一种正常状态，因此该方法也就可以在步骤s103判断出此时该儿童用户处于异常状态。

当然，在本发明的其他实施例中，该方法可以根据步骤s101中所获取到的多模态数据的不同而采用不同的方法来判断儿童用户是否存在异常，本发明不限于此。

此外，该方法在步骤s102中还可以通过与儿童用户进行交互确认来判断儿童用户的当前状态。例如，如果该方法获取到儿童用户面部皱眉并且用手摸了摸自己的肚子的图像数据，结合当前时间点为晚上6点，该方法也就可以向儿童用户输入诸如“你是不是饿了呀”的语音信息，如果儿童用户反馈了诸如“嗯，我好饿”的语音信息，那么该方法也就可以判断出此时该儿童用户处于饥饿状态。

如图1所示，本实施例中，如果儿童用户存在异常，该方法则会在步骤s104中生成相应的异常状态指示信息。儿童的监护人(例如家长)在得到上述异常状态指示信息后，也就知道了需要进行响应，从而针对上述异常状态指示信息来向智能机器人输入相应的反馈信息(即输入监护人反馈信息)，这样该方法也就会在步骤s105中获取到监护人所输入的上述监护人反馈信息。

在得到监护人反馈信息后，该方法也就可以在步骤s106中根据步骤s105所获取到的监护人反馈信息来生成相应的多模态输出信息，并将该多模态输出信息反馈给儿童用户，以使得儿童用户由异常状态转为正常状态。

例如，当监护人通过智能机器人所发送的异常状态指示信息知晓到儿童用户处饥饿状态时，其可以向智能机器人输入“妈妈马上就到家了”的反馈信息，而此时该方法根据监护人所输入的上述反馈信息向儿童用户输出诸如“再坚持一会儿，妈妈就能到家做饭啦”的语音信息，从而实现对儿童用户的安抚。

实施例二：

图2输出了本实施例所提供的面向智能机器人的人机交互方法的实现流程示意图。

如图2所示，本实施例所提供的人机交互方法首先在步骤s201中获取关于儿童用户的多模态数据。需要指出的是，本实施例中，上述步骤s201的实现原理以及实现过程与上述实施例一中步骤s101所阐述的内容类似，故在此不再对步骤s201的相关内容进行赘述。

在得到儿童用户的多模态数据后，该方法会在步骤s202中根据上述多模态数据生成该儿童用户的当前状态特征信息，并在步骤s203中判断步骤s202中所提取出的当前状态特征信息与预设正常状态特征信息是否匹配。其中，如果步骤s202中所提取出的儿童用户的当前状态特征信息能够与某些预设正常状态特征信息相匹配，那么该方法也就可以判断出该儿童用户不存在异常；相反，如果不存在与上述当前状态信息匹配的预设正常状态特征信息，那么该方法也就可以判断出该儿童用户存在异常。

例如，如果该方法通过对步骤s201中所获取到的多模态数据中的图像数据进行分析，得到了儿童用户的当前状态特征信息为“闭眼、平躺、四肢不动”，那么该方法在步骤s203中也就可以将儿童用户的上述状态特征信息与睡眠状态相对应的预设正常状态特征信息匹配成功，这样该方法也就可以判断出此时该儿童用户处于睡眠状态。

需要指出的是，在本发明的其他实施例中，该方法在步骤s203中还可以将步骤s202中所得到的儿童用户的当前状态特征信息与预设异常状态特征信息进行匹配，以此来判断该儿童用户是否处于异常状态，本发明不限于此。

例如，如果该方法通过对步骤s201中所获取到的多模态数据中的图像数据进行分析，得到了儿童用户的当前状态特征信息为“皱眉、平躺、四肢晃动”，那么该方法在步骤s203中也就可以将儿童用户的上述状态特征信息与诸如“睡醒”相对应的预设异常状态特征信息匹配成功，这样该方法也就可以判断出此时该儿童用户处于异常状态。

如图2所示，本实施例中，如果儿童用户的当前状态特征信息无法与预设正常状态特征信息匹配成功(即该儿童用户处于异常状态)，那么该方法也就会在步骤s204中生成异常状态指示信息，并在步骤s205中将该异常状态指示信息发送至该儿童用户所对应的监护人客户端(例如该儿童用户的父母所使用的移动设备，通过客户端可与所述智能机器人等)。

监护人可以通过监护人客户端所显示的异常状态指示信息了解到儿童用户当前的异常状态，并根据该异常状态指示信息来通过监护人客户端向智能机器人发送相应的反馈信息(即监护人反馈信息)，这样该方法也就可以在步骤s206中接收到监护人客户端响应异常状态指示信息而发送的监护人反馈信息。

如图2所示，本实施例中，该方法在得到上述监护人反馈信息后，会在步骤s207中根据该监护人反馈信息生成相应的多模态输出信息并输出给儿童用户，以实现对儿童用户的安抚。

例如，当该方法检测到儿童用户哭泣的时候，该方法在步骤s204中可以生成相应的哭泣状态指示信息并将该哭泣状态信息发送至儿童父母所使用的手机上进行信息同步(不局限于生成的文字、语音数据，也可以是图像流)，儿童父母通过手机也就可以知道孩子在哭泣，那么其可以通过向智能机器人输入诸如“播放音乐”等语音信息来控制智能机器人播放轻柔的音乐，以实现安抚儿童用户的效果。

需要指出的是，在本发明的其他实施例中，如果儿童用户的监护人处于智能智能机器人的面前(例如智能机器人在发现儿童房内的儿童用户在哭泣时移动到位于厨房内的家长面前)，那么此时该方法也就可以直接根据上述异常状态指示信息生成相应的多模态指示信息，并获取监护人根据上述多模态指示信息而输入的监护人反馈信息。

例如，如果该方法判断出儿童房内的儿童用户在哭泣，那么该方法也就可以生成相应的异常状态指示信息，并根据该异常状态指示信息控制智能机器人移动到位于厨房内的家长面前并输出“哎呀，宝宝在哭闹呢”的语音指示信息，而家长可以直接向智能机器人输入诸如“先给他播放一下摇篮曲，我马上就过去”的语音反馈信息。

实施例三：

图3输出了本实施例所提供的面向智能机器人的人机交互方法的实现流程示意图。

如图3所示，本实施例所提供的人机交互方法首先在步骤s301中获取关于儿童用户的多模态数据。在得到关于儿童用户的多模态数据后，该方法会在步骤s302中根据步骤s301中所获取到的多模态数据生成该儿童用户的当前状态特征信息，并在步骤s303中判断该儿童用户的当前状态特征信息与预设正常状态特征信息是否匹配。

其中，如果如果步骤s202中所提取出的儿童用户的当前状态特征信息能够与某些预设正常状态特征信息相匹配，那么该方法也就可以判断出该儿童用户不存在异常；相反，如果不存在与上述当前状态信息匹配的预设正常状态特征信息，那么该方法也就可以判断出该儿童用户存在异常。

如果儿童用户存在异常，那么该方法则会在步骤s304中生成相应的异常状态指示信息，并在步骤s305中将该异常状态指示信息发送至儿童用户所对应的监护人客户端。该方法会在步骤s306中接收监护人客户端相应上述异常状态指示信息而发送来的监护人反馈信息。

需要指出的是，本实施例中，上述步骤s301至步骤s306的具体实现原理以及实现过程与上述实施例二中步骤s201至步骤s206所阐述的内容类似，故在此不再对步骤s301至步骤s306的相关内容进行赘述。

本实施例中，该方法在步骤s304中所生成的异常状态指示信息优选地包括：儿童用户异常特征、解析结论信息以及候选处理建议。当然，在本发明的其他实施例中，该方法所生成的异常状态指示信息中还可以包含其他合理信息，本发明不限于此。本实施例中，该方法优选地利用预设自学习数据库，来根据获取到的关于儿童用户的多模态数据生成上述候选处理建议。

该方法在步骤s305中将上述异常状态指示信息发送至监护人客户端后，该儿童用户的监护人也就可以通过监护人客户端了解到上述异常状态指示信息。而针对该方法所生成的候选处理建议，监护人可以反馈表征同意或不同意的信息。这样该方法也就会在步骤s306中获取到监护人客户端响应异常状态指示信息而发送的监护人反馈信息，并在步骤s307中根据步骤s306中所获取到的监护人反馈信息来判断监护人是否同意按照候选处理建议进行处理。

其中，如果该方法检测到监护人同意按照候选处理建议进行处理，那么该方法也就会在步骤s308中根据步骤s304中所生成的候选处理建议来生成相应的多模态输出信息。

而如果该方法检测到监护人不同意按照候选处理建议进行处理，那么该方法则会在步骤s309中获取监护人反馈的补充处理意见，并根据该补充处理意见来生成相应的多模态反馈信息并输出。

例如，如果儿童用户处于哭泣状态，那么该方法在步骤s304中所生成的异常状态指示信息中所包含的异常特征可以是儿童用户的面部图像，解析结论可以是哭泣，而候选处理建议则可以是播放轻柔音乐。

该儿童用户的父母通过自身所使用的手机或是其他智能设备能够获取到上述异常状态指示信息，如果其同意播放轻柔音乐这一候选处理建议，那么该方法则会向儿童用户播放轻柔音乐以对其进行安抚。而如果该儿童用户的父母不同意播放轻柔音乐这一候选处理建议，那么其可以通过自身所使用的智能设备向智能机器人输入诸如“播放妈妈哄孩子睡觉的录音”的补充处理意见，这样该方法也就可以根据上述补充处理意见来播放事先准备好的相关录音。

为了更好地对儿童用户进行监护，本实施例所提供的方法还具有数据库更新功能。如图3所示，如果监护人不同意按照候选处理意见来进行处理并反馈了相应的补充处理意见，那么该方法则会在步骤s310中根据监护人所反馈的补充处理意见来对预设自学习数据库进行更新，这样该方法在后续交互过程中也就可以将监护人所反馈的补充处理意见来作为候选处理建议输出给监护人。

本发明所提供的用于智能机器人的人机交互方法能够帮助儿童监护人对儿童进行更加全面、有效的监护，这样监护人也就不需要长时间地处于儿童的身旁来对其进行看护，从而使得监护人对儿童的看护过程更加省心、高效，进而提高了智能机器人的用户体验以及产品竞争力。

同时，本方法还能够通过用户反馈的数据来对自身的自学习数据库进行更新，这样也就解决了儿童监护领域数据匮乏的问题，这样有助于进一步提高智能机器人的智能性和可靠性。

本发明还提供了一种面向智能机器人的人机交互装置，其中，图4示出了本实施例中该人机交互装置的结构示意图。

如图4所示，本实施例所提供的人机交互装置优选地包括：数据获取模块401、异常状态指示信息生成模块402、输出信息生成模块403以及自学习数据库更新模块404。

其中，数据获取模块401用于获取关于儿童用户的多模态数据。本实施例中，根据实际情况，数据获取模块401所获取到的关于儿童的多模态数据可以包含一种或多种不同形式的信息，本发明不限于此。

数据获取模块401与异常状态指示信息生成模块402连接，其会将自身获取到的关于儿童用户的多模态数据传输至异常状态指示信息生成模块402。异常状态指示信息生成模块402能够根据上述多模态数据判断该儿童用户的当前状态，其中，如果该儿童用户存在异常，那么异常状态指示信息生成模块402则会生成相应的异常状态指示信息。

异常状态指示信息生成模块402在生成异常状态指示信息后，会将该异常状态指示信息发送至与之连接的监护人客户端或是直接输出给监护人。同时，输出信息生成模块403则会获取监护人客户端相应上述异常状态指示信息而发送来的监护人反馈信息或是监护人直接输入的监护人反馈信息。在获取到监护人反馈信息后，输出信息生成模块403则根据上述监护人反馈信息生成相应的多模态输出信息并将该信息输出给儿童用户，从而实现对儿童用户的安抚。

本实施例中，数据获取模块401、异常状态指示信息生成模块402以及输出信息生成模块403实现其各自功能的具体原理以及过程与上述实施例三中步骤s301至步骤s309所阐述的内容相同，故在此不再对数据获取模块401、异常状态指示信息生成模块402以及输出信息生成模块403的相关内容进行赘述。

需要指出的是，在本发明的不同实施例中，数据获取模块401、异常状态指示信息生成模块402以及输出信息生成模块403实现其各自功能的具体原理以及过程还可以与上述实施例一中步骤s101至步骤s106所阐述的内容相同，或是与上述实施例二中步骤s201至步骤s207所阐述的内容相同，抑或是采用其他合理的方式来实现，本发明不限于此。

本实施例中，如果监护人不同意按照该方法所生成的候选处理建议来生成多模态输出信息，那么自学习数据库更新模块404则会根据监护人所反馈的补充处理意见来对预设自学习数据库进行更新。

需要指出的是，本实施例中，自学习数据库更新模块404实现其自身功能的具体原理以及过程与上述实施例三中步骤s310所阐述的内容类似，故在此不再对自学习数据库更新模块404的相关内容进行赘述。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。