本发明涉及智能机器人技术领域，尤其涉及一种基于多模态的智能机器人交互方法和智能机器人。
背景技术：
随着社会的进步，机器人不仅在工业、医学、农业或者军事上应用广泛，更是在生活上开始慢慢地融入人类的社交。常见社交上的机器人应用于活动现场或者家庭，特别是在活动现场，机器人的交互往往能吸引群众的关注和兴趣。
目前，市面上的机器人多数都只是提供简单的人机交互，并未存储有与用户相关的用户知识图谱，因而无法根据用户的信息输入来修改用户知识图谱中的用户信息，因此无法表现出多样性的反馈。
技术实现要素：
本发明的目的在于提供一种基于多模态的智能机器人交互方法和智能机器人以使得机器人能够通过图像识别和语音识别捕获大量用户信息，从而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。
本发明为了解决上述技术问题，采用的技术方案是：一种基于多模态的智能机器人交互方法，包括：
步骤S1：启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；
步骤S2：获取所述用户的用户参数，根据所述用户参数来实时更新所述用户知识图谱；
步骤S3：根据更新后的所述用户知识图谱，修改机器人的参数设置；以及
步骤S4：所述机器人根据修改后的所述参数设置与所述用户进行人机交互。
优选地，还包括：
步骤S5：在所述人机交互过程中，所述机器人根据实时捕获的所述用户的用户当前状态信息进行反馈。
优选地，所述步骤S1包括：
启动人脸识别和/或声纹识别，获取用户照片和/或声纹；
将所述用户照片和/或声纹与用户信息库进行匹配；以及
根据匹配结果，调取所述用户的所述用户知识图谱。
优选地，所述用户参数包括所述用户的用户表情，在所述步骤S2中根据所述用户表情来实时更新所述用户知识图谱中的心情值，所述步骤S3中，利用所述心情值来修正所述机器人的说话语气算法。
优选地，通过表情识别单元识别用户照片来获取所述用户表情。
优选地，通过多模态转换单元和表情推测单元将所述用户的多模态输入信息转换为文字信息来推测所述用户表情。
优选地，所述用户参数包括所述用户的当前场景，所述步骤S2中根据所述当前场景来实时更新所述用户知识图谱中的用户状态，所述步骤S3中，利用所述用户状态来修正所述机器人的问候算法。
本发明还提供一种智能机器人，包括：
识别模块，用于启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；
用户参数获取模块，用于获取所述用户的用户参数；
更新模块，用于根据所述用户参数来实时更新所述用户知识图谱；
修正模块，用于根据更新后的所述用户知识图谱，修改机器人的参数设置；以及
交互模块，用于所述机器人根据修改后的所述参数设置与所述用户进行人机交互。
优选地，在所述人机交互过程中，所述交互模块还根据实时捕获的所述用户的用户当前状态信息进行反馈。
优选地，所述识别模块包括：
摄像头，用于获取用户照片；
声纹识别单元，用于获取用户的声纹；
用户信息库，用于存储所述用户的所述用户知识图谱；以及
匹配单元，用于将所述用户照片与实时用户信息库进行匹配，并根据匹配结果，调取所述用户的所述用户知识图谱。
优选地，所述用户参数包括所述用户的用户表情，所述更新模块根据所述用户表情来实时更新所述用户知识图谱的心情值，所述修正模块利用所述心情值来修正所述机器人的说话语气算法。
优选地，所述用户参数获取模块包括表情识别单元，通过所述表情识别单元识别用户照片来获取所述用户表情。
优选地，所述用户参数获取模块包括多模态转换单元和表情推测单元，通过所述多模态转换单元将所述用户的多模态输入信息转换为文字信息，通过所述表情推测单元来根据所述文字信息来推测所述用户表情。
优选地，所述用户参数包括所述用户的当前场景，所述用户参数获取模块包括用于识别所述当前场景的场景识别单元，所述更新模块根据所述当前场景来实时更新所述用户知识图谱的用户状态，所述修正模块利用所述用户状态来修正所述机器人的问候算法。
实施本发明实施例，具有如下有益效果：本发明提供的基于多模态的智能机器人交互方法，通过人脸识别和/或声纹识别调取与用户对应的用户知识图谱，再通过表情识别、场景识别和语音识别来获取用户参数，根据用户参数来实时更新用户知识图谱，进而修改机器人的参数设置，使得机器人根据修改后的参数设置于用户进行人机交互；在之后的人机交互中，机器人还可以根据用户的用户当前状态信息进行推理和反馈，由此，能够大大促进人机交互过程中的趣味性，机器人的用户知识图谱不单是制造商提前设定的，而是能够在与用户的交流过程中，有意识地去记录并体现在反馈中，而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于多模态的智能机器人交互方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例提供的基于多模态的智能机器人交互方法的流程图。如图1所示，基于多模态的智能机器人交互方法包括以下步骤：
步骤S1：启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱。
具体地，在本发明一实施例中，机器人首先使用自带的摄像头或语音识别单元，捕获当前使用用户的照片或声音，根据用户的照片或声音，从用户信息库调取与用户相匹配的用户知识图谱，该用户知识图谱存储有与该用户对应的参数设置，例如，用户偏好的音乐、喜欢的语调等。
具体地，在本发明一实施例中，步骤S1包括以下步骤：
步骤S11：启动人脸识别和/或声纹识别，获取用户照片和/或声纹；
步骤S12：将所述用户照片和/或声纹与用户信息库进行匹配；
步骤S13：根据匹配结果，调取所述用户的所述用户知识图谱。
步骤S2：获取所述用户的用户参数，根据所述用户参数来实时更新所述用户知识图谱。
具体地，在本发明一实施例中，在调取了与用户对应的用户知识图谱后，进一步来获取与用户当前信息相关的用户参数，例如，用户是何种表情、说话的语气如何、处于什么样的环境中等，根据获取的用户参数来实时更新用户知识图谱中的相关信息。
步骤S3：根据更新后的所述用户知识图谱，修改机器人的参数设置。
具体地，在本发明一实施例中，在用户知识图谱被更新后，利用更新后的用户知识图谱去修改机器人的参数设置，这样机器人就可以利用与用户当前信息相关的内容来提供更具有针对性的反馈，而不是根据制造商提前设置后的参数进行千篇一律的反馈。由此，大大提高了人机交互的趣味性。
进一步地，所述用户参数包括所述用户的用户表情，在所述步骤S2中根据所述用户表情来实时更新所述用户知识图谱中的心情值，所述步骤S3中，利用所述心情值来修正所述机器人的说话语气算法。其中，可以通过表情识别单元识别用户照片来推测所述用户表情；还可以通过多模态转换单元和表情推测单元将所述用户的多模态输入信息转换为文字信息来推测所述用户表情，多模态输入包括但不限于，视频、人脸、表情、场景、声纹、指纹、虹膜瞳孔、光感等信息。具体地，在捕获用户照片的同时，机器人还能识别到用户的表情，实时更新用户知识图谱中的心情值，并通过对心情值的读取，作为用户参数，加入到机器人说话语气的算法中；同时，通过对心情的推理，在交互中过程体现出多样性，比如主人表情为难过，机器人的反馈会更加偏向安慰，随机播放的音乐，会偏向轻柔的风格。在人际交互的过程中，用户的多模态输入信息也能实时影响用户知识图谱，比如，用户说，我好高兴啊，知识图谱就会实时更新当前是的心情值；而知识图谱的实时更新，也会实时影响到接下来的人机交互。
进一步地，所述用户参数包括所述用户的当前场景，所述步骤S2中根据所述当前场景来实时更新所述用户知识图谱中的用户状态，所述步骤S3中，利用所述用户状态来修正所述机器人的问候算法。在捕获用户照片的同时，机器人还能识别到用户当前的场景，比如室内，户外，餐厅等，实时更新用户知识图谱中的状态，并通过对状态的读取，作为用户参数，加入到机器人问候的输出算法中；比如在工作场景，机器人会对主人主动提出关怀。
步骤S4：所述机器人根据修改后的所述参数设置与所述用户进行人机交互。
步骤S5：在所述人机交互过程中，所述机器人根据实时捕获的所述用户的用户当前状态信息进行反馈。
具体地，用户当前状态信息包括但不限于语言信息、表情、语气、穿着、姿态等。在与用户的交互过程中，机器人实时捕获用户包括姓名，爱好，天气等的信息，存储在私有的用户知识图谱中，并形成一些推理，体现在反馈中。比如，用户先说“我最喜欢打篮球”，后面又说“我最喜欢踢足球”，机器人就会反馈“不是最喜欢打篮球吗？”。也就是说，并不是只能在最初摄像头开启的时候捕获用户参数，在交互的过程中，也是能够实时捕获一些语言信息的，根据这些用户当前状态信息，结合用户知识图谱中的相关信息，机器人可以呈现多样性的反馈。
本发明提供的基于多模态的智能机器人交互方法，通过人脸识别或声纹识别调取与用户对应的用户知识图谱，再通过表情识别、场景识别和语音识别来获取用户参数，根据用户参数来实时更新用户知识图谱，进而修改机器人的参数设置，使得机器人根据修改后的参数设置于用户进行人机交互；由此，能够大大促进人机交互过程中的趣味性，机器人的用户知识图谱不单是制造商提前设定的，而是能够在与用户的交流过程中，有意识地去记录并体现在反馈中，而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。
本发明一实施例还提供的一种智能机器人。本发明提供的智能机器人包括：
识别模块，用于启动人脸识别和/或声纹识别，调取与用户对应的用户知识图谱；
用户参数获取模块，用于获取所述用户的用户参数；
更新模块，用于根据所述用户参数来实时更新所述用户知识图谱；
修正模块，用于根据更新后的所述用户知识图谱，修改机器人的参数设置；以及
交互模块，用于所述机器人根据修改后的所述参数设置与所述用户进行人机交互。在所述人机交互过程中，所述交互模块还根据实时捕获的所述用户的用户当前状态信息进行反馈。
进一步地，所述识别模块包括：
摄像头，用于获取用户照片；
声纹识别单元，用于获取用户的声纹；
用户信息库，用于存储所述用户的所述用户知识图谱；以及
匹配单元，用于将所述用户照片与实时用户信息库进行匹配，并根据匹配结果，调取所述用户的所述用户知识图谱。
进一步地，所述用户参数包括所述用户的用户表情，所述更新模块根据所述用户表情来实时更新所述用户知识图谱的心情值，所述修正模块利用所述心情值来修正所述机器人的说话语气算法。其中，所述用户参数获取模块包括表情识别单元，通过所述表情识别单元识别用户照片来获取所述用户表情；所述用户参数获取模块还包括多模态转换单元和表情推测单元，通过所述多模态转换单元将所述用户的多模态输入信息转换为文字信息，通过所述表情推测单元来根据所述文字信息来推测所述用户表情。
进一步地，所述用户参数包括所述用户的当前场景，所述用户参数获取模块包括用于识别所述当前场景的场景识别单元，所述更新模块根据所述当前场景来实时更新所述用户知识图谱的用户状态，所述修正模块利用所述用户状态来修正所述机器人的问候算法。
有利地，本发明提供的智能机器人，通过人脸识别或声纹识别调取与用户对应的用户知识图谱，再通过表情识别、场景识别和语音识别来获取用户参数，根据用户参数来实时更新用户知识图谱，进而修改机器人的参数设置，使得机器人根据修改后的参数设置于用户进行人机交互；由此，能够大大促进人机交互过程中的趣味性，机器人的用户知识图谱不单是制造商提前设定的，而是能够在与用户的交流过程中，有意识地去记录并体现在反馈中，而在交互过程中，使得机器人的反馈更加贴近用户的实时状态。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。