？ ”接收到语音之后，智能机器人根据语音识别结果确定用户的意图中包括时间信息，于是智能机器人根据用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给上述用户，将设置结果反馈给用户之后，还可以对用户进行提示，于是智能机器人回答:“没问题，已经帮您设置好闹钟提醒，I个小时后，8点整将叫醒豆豆。请问豆豆起床后有什么留言需要转达吗？ ”
[0049]妈妈说:“谢谢小度，请转达豆豆，早餐已经给他做好了，放在微波炉里，今天是他的生日，祝他生日快乐！ ”这时，智能机器人记录用户的留言，并在到达上述闹钟提醒信息的时刻时，进行闹钟提醒，播放上述用户的留言信息。
[0050]本实施例的再一种实现方式中，接收多模态的输入信号之前，还可以接收用户关联的另一用户发送的多媒体信息，并提示用户是否播放多媒体信息。这里，提示用户是否播放多媒体信息，可以为语音提示，也可以为文字提示，或者也可以为其他提示方式，只要可以实现提示用户是否播放多媒体信息的功能即可。
[0051]如果上述用户的意图为同意播放上述多媒体信息，则对用户的意图进行处理可以为:播放用户关联的另一用户发送的多媒体信息。
[0052]进一步地，播放上述用户关联的另一用户发送的多媒体信息之后，还可以接收用户发送的语音，将上述语音发送给用户关联的另一用户。其中，将上述语音发送给用户关联的另一用户可以为:直接将语音发送给用户关联的另一用户所使用的智能终端安装的应用(Applicat1n ;以下简称:App)中，或者将语音转化为文字发送到用户关联的另一用户所使用的智能终端安装的App中。
[0053]场景举例:中午12点，豆豆正在家里吃午饭。
[0054]智能机器人接收到了用户(豆豆)关联的另一用户(豆豆的妈妈)发送的多媒体信息(例如:视频信息)，这时智能机器人提示用户是否播放多媒体信息，于是智能机器人播报:“Hi，豆豆，小度收到了一条来自妈妈的视频信息，是否现在观看？ ”
[0055]豆豆回答:“请马上播放”。接收到豆豆输入的语音之后，智能机器人进行语音识另IJ，根据语音识别结果确定用户的意图为同意播放上述视频信息。于是，智能机器人脸上的屏幕自动播放妈妈在出差的城市录制的生日祝福视频。
[0056]播放完妈妈发送的视频信息之后，还可以接收豆豆发送的语音:“小度，请回复妈妈，谢谢她的祝福，我爱她，祝她旅途顺利，早日回家！”
[0057]这时智能机器人会自动将豆豆的回复语音转化为文字，回复到妈妈的手机安装的App 中。
[0058]本实施例的再一种实现方式中，用户的意图可以为请求播放多媒体信息；则对上述用户的意图进行处理，并将处理结果反馈给上述用户可以为:通过无线网络从云端服务器获取上述用户请求播放的多媒体信息，并播放获取的多媒体信息。
[0059]进一步地，接收多模态的输入信号之前，还可以接收上述用户关联的另一用户发送的通话请求，并提示上述用户是否接听通话。如果上述用户的意图为接听通话，则对用户的意图进行处理，并将处理结果反馈给上述用户可以为:将用户与上述用户关联的另一用户进行通话连接，在通话过程中，控制摄像头辨别上述用户中说话者的方位，并使摄像头转向说话者；在用户关联的另一用户通过上述另一用户使用的智能终端中安装的应用，点击上述另一用户关注的人脸之后，启动视频人脸追踪功能，使摄像头追踪上述另一用户关注的人脸。
[0060]场景举例:晚上9点，豆豆正在家里和小伙伴们举行生日晚会。
[0061]豆豆对智能机器人说:“小度，今天是我的生日，你给我们播放一首生日快乐歌吧！ ”智能机器人接收到上述语音之后，根据语音识别结果确定豆豆输入的语音的意图为请求播放多媒体信息(例如:音频信息“生日快乐歌”)。
[0062]于是智能机器人通过无线网络(Wireless Fidelity ;以下简称:WiFi)智能从云端服务器搜索到生日快乐歌曲，并自动下载到本地进行播放，并向用户反馈处理结果没问题，马上开始播放”。
[0063]播放完成后，智能机器人接收到豆豆的妈妈发送的视频通话请求，于是智能机器人提醒豆豆:“收到一条视频通话请求，妈妈请求与豆豆进行视频通话，是否接听？ ”
[0064]豆豆:“请马上接听。”接收到豆豆输入的这条语音之后，智能机器人可以确定豆豆输入的这条语音的意图为接听通话，于是智能机器人连接远在他乡出差的妈妈使用的智能终端安装的App与智能机器人的高清视频摄像头，将妈妈与豆豆、小朋友们进行视频通话，在视频通话的过程中，智能机器人可以控制自身的摄像头自动辨别说话者的方位，并使摄像头转向说话者。在摄像头转动的过程中，智能的双摄像头镜头切换的算法能够保证摄像头画面稳定，不会出现晃动。妈妈还能够通过使用的智能终端中安装的App点击视频当中的人脸，启动视频人脸追踪的功能，使智能机器人的摄像头一直追踪妈妈想要关注的人脸。
[0065]也就是说，本实施例提供的基于人工智能的人机交互方法可以实现随时联系家人，具备全新的智能交互方式，实现上述方法的终端设备能够成为家人之间沟通、帮助、提醒的桥梁。
[0066]本实施例的再一种实现方式中，上述环境传感器信号用于指示所处环境的环境信息，则在接收多模态的输入信号之后，当上述环境信息包含的各项指标中存在超过预警阈值的指标时，进行危险报警，并输出处理危险的方式，以及打开摄像头进行摄像。其中，上述预警阈值可以针对上述环境信息的各项指标分别设置，本实施例对预警阈值的大小不作限定。
[0067]也就是说，上述基于人工智能的人机交互方法还可以保护家人免受伤害。
[0068]场景举例:实现本实施例提供的方法的终端设备，例如智能机器人搭载的PM2.5颗粒物传感器、有毒气体传感器和/或温湿度传感器等传感器能够获取智能机器人所处环境的环境信息，从而可以随时监控家居环境健康度。当上述环境信息包含的各项指标中存在超过预警阈值的指标时，例如:当家里发生有毒气体泄漏，如煤气泄漏时，会马上发出危险报警，通过语音进行危险警告，并告知危险处理方式，还将自动将危险情况发送到家人的手机，自动进入警戒状态，打开摄像头进行全屋摄像记录。
[0069]进一步地，还可以当上述环境信息包含的各项指标中存在达到状态转换阈值的指标时，通过智能家居控制平台控制上述达到状态转换阈值的指标所对应的家居电器的状态，从而可以实现对家居电器的管理。其中，上述状态转换阈值同样可以针对上述环境信息的各项指标分别设置，本实施例对预警阈值的大小不作限定。
[0070]场景举例:实现本实施例提供的方法的终端设备，例如智能机器人搭载的PM2.5颗粒物传感器、有毒气体传感器和/或温湿度传感器等传感器能够获取智能机器人所处环境的环境信息，例如:家里的空气质量情况和温湿度情况等。当空气质量变差，达到空气质量的状态转换阈值时，智能机器人将自动通过蓝牙智能家居控制平台打开空气净化器；当房间里温度过高，或者过低，达到温度的状态转换阈值时，将自动启动空调；当家里人没人而又忘记关灯，达到电灯的状态转换阈值时，会自动关闭电灯。
[0071]本实施例的再一种实现方式中，上述用户的意图为获得问题的答案；则对上述用户的意图进行处理，并将处理结果反馈给上述用户可以为:对用户输入的语音所包含的问题进行搜索，获得上述问题对应的答案，并将上述答案输出给用户。其中，将上述答案输出给用户可以为将上述答案语音播报给用户，也可以为将上述答案以文本的形式显示给用户。
[0072]进一步地，将上述答案输出给用户之后，还可以获得用户输入的语音所包含的问题关联的推荐信息，将上述推荐信息输出给用户。其中，将上述推荐信息输出给用户可以为将上述推荐信息语音播报给用户，也可以为将上述推荐信息以文本的形式显示给用户。
[0073]场景举例:在学习成长阶段的小朋友对整个世界总是充满探索的好奇心，小朋友经常会问家里的爸爸妈妈:“这个是什么？ ”或者“这个为什么？”的问题。在没有实现本实施例提供的基于人工智能的人机交互方法的终端设备，例如智能机器人的情况下，家长们由于自己的知识面原因，经常回答不上来，要么会抓耳挠腮无法回答，要么只能打开电脑进行相关搜索，又慢又不方便。而如果有智能机器人的陪伴，小朋友能够直接将自己各种各样的问题随时问智能机器人:“小度，为什么叶子都是绿色的呢？ ”接收到小朋友输入的上述语音之后，智能机器人会对上述语音进行语音识别，根据语音识别的结果确定小朋友输入上述语音的意图为获得问题的答案，于是智能机器人会立即对小朋友输入的语音中所包含的问题进行云端的智能搜索，从海量的互联网信息当中筛选出最优结果，并将答案语音播报给小朋友叶子是绿色的，是因为叶绿素的存在。叶绿素，是存在于植物细胞叶绿体中的一种重要的绿色色素，它能够利用水、空气以及阳光来制造植物所需要的养分。而叶绿素是绿色的，所以植物的叶子也就是绿色的了。”
[0074]在回答了小朋友的问题之后，智能机器人还可以获得小朋友输入的语音所包含的问题关联的推荐信息，将上述推荐信息输出给小朋友，具体地，智能机器人还会自动根据小朋友所提的上述问题进行发散性的教育和启发了解了叶绿素之后，豆豆你知道为什么叶子到了秋天会枯萎吗？”……
[0075]其他的教育场景还有各种例如帮助小朋友认字、认英语单词、给小朋友讲故事等等。
[0076]在小朋友3-5岁语言快速发展不停需要与人对话的成长过程中，智能机器人还能够一整天不间断地陪小朋友聊天，帮助小朋友语言系统的成长。有了智能机器人的陪伴，儿童教育将会进入一个全新的时代。
[0077]上述基于人工智能的人机交互方法中，接收多模态的输入信号之后，根据上述多模态的输入信号，确定上述用户的意图，然后对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
[0078]图2为本发明基于人工智能的人机交互装置一个实施例的结构示意图，本实施例中的基于人工智能的人机交互装置可以作为终端设备，或终端设备的一部分实现本发明图1所示实施例的流程，如图2所示，上述基于人工智能的人机交互装置可以包括:接收模块21、意图判定模块22和处理模块23 ；
[0079]其中，接收模块21，用于接收多模态的输入信号，上述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号。
[0080]具体地，用户输入的语音信号可以是用户通过麦克风输入的；上述图像信号可以是通过摄像头输入的；上述环境传感器信号包括通过光传感器、温湿度传感器、有毒气体传感器、污染颗粒物传感器、触摸模块、地理位置定位模块和重力传感器中的一个或多个传感器输入的信号。
[0081]意图判定模块22，用于根据接收模块21接收的多模态的输入信号，确定所述用户的意图。
[0082]处理模块23，用于对意图判定模块22确定的上述用户的意图进行处理，并将处理结果反馈给所述用户。
[0083]具体地，处理模块23将处理结果反馈给上述用户可以包括:处理模块23将处理结果以图像、文本到声音、机器人肢体动作和/或机器人灯光反馈等方式反馈给用户，本实施例对处理结果的反馈方式不作限定。
[0084]本实施例的一种实现方式中，意图判定模块22，具体用于对上述用户输入的语音信号进行语音识别，根据语音识别的结果结合图像信号和/或传感器信号确定上述用户的意图。
[0085]或者，意图判定模块22，具体用于对上述用户输入的语音信号进行语音识别，以及通过声源定位将显示屏转向用户所在的方向，通过摄像头辅助人脸识别功能识别上述用户的个人信息；根据语音识别的结果、上述用户的个人信息和保存的上述用户的偏好信息确定上述用户的意图。其中，上述用户的个人信息包括用户的姓名、年龄和性别等信息；上述用户的偏好信息包括用户日常的行为喜好等信息。
[0086]本实现方式中，处理模块23，具体用于根据上述用户的意图在云端数据库中进行个性化数据匹配，获得适合上述用户的推荐信息，并将适合上述用户的推荐信息输出给上述用户。其中，将适合上述用户的推荐信息输出给上述用户可以为处理模块23将适合上述用户的推荐信息语音播报给上述用户，或者，将适合上述用户的推荐信息以文本的形式显示在显示屏上，本实施例对处理模块23将适合上述用户的推荐信息输出给上述用户的方式不作限定。
[0087]进一步地，上述推荐信息可以包括地址信息，则处理模块23，具体用于获