基于人工智能的人机交互方法、装置和终端设备的制造方法
【技术领域】
[0001]本发明涉及智能终端技术领域，尤其涉及一种基于人工智能的人机交互方法、装置和终端设备。
【背景技术】
[0002]随着中国社会呈现日趋老龄化、少子化和城市化的趋势，催生出以下问题:
[0003]1、年轻人工作压力日益增大，分身乏术，无法有充足的时间陪伴家里的老人和孩子;
[0004]2、父母与子女异地的情况日益普遍，家庭成员、亲人分居于不同的地点，家庭内的沟通成本大大增加，缺少亲密、有效和便捷的沟通方式；
[0005]3、年老的老人和年幼的孩子需要更多的情感关爱、沟通交流、教育、信息获取协助，而这些在孩子或父母不在家的情况下都很难获得；
[0006]4、年轻一代在外工作的时候，需要能够随时随地与自己的“家”(包括各种家电控制)、“家人”(包括上一辈的父母，下一代的孩子)进行联络，这种联络方式由于服务于家人之间，需要更低的使用门槛和更高的亲密度；
[0007]5、分居异地的家庭之间，需要一种更加紧密、便捷的联系手段，中国传统的家庭观念，让所有人都渴望能够在身不由己与家人分隔各地的同时，可以通过某种方式随时“团聚一堂，，；
[0008]6、年老的老人和年幼的孩子都是重点需要日常看护、情感陪伴以及各种帮助的人群，而对于担负着“看护、陪伴、帮助、教育”职责的年轻一代却有着繁重的工作任务，无法陪伴在老人和孩子的身旁。
[0009]但是，现有技术中却没有提供针对上述问题的解决方案，无法进行高功能高陪伴型的智能人机交互，用户的需求无法得到满足，用户体验较差。
【发明内容】
[0010]本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。
[0011]为此，本发明的第一个目的在于提出一种基于人工智能的人机交互方法。该方法可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互。
[0012]本发明的第二个目的在于提出一种基于人工智能的人机交互装置。
[0013]本发明的第三个目的在于提出一种终端设备。
[0014]为了实现上述目的，本发明第一方面实施例的基于人工智能的人机交互方法，包括:接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；根据所述多模态的输入信号，确定所述用户的意图；对所述用户的意图进行处理，并将处理结果反馈给所述用户。
[0015]本发明实施例的基于人工智能的人机交互方法，接收多模态的输入信号之后，根据上述多模态的输入信号，确定上述用户的意图，然后对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
[0016]为了实现上述目的，本发明第二方面实施例的基于人工智能的人机交互装置，包括:接收模块，用于接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；意图判定模块，用于根据所述接收模块接收的多模态的输入信号，确定所述用户的意图；处理模块，用于对所述意图判定模块确定的所述用户的意图进行处理，并将处理结果反馈给所述用户。
[0017]本发明实施例的基于人工智能的人机交互装置，接收模块接收多模态的输入信号之后，意图判定模块根据上述多模态的输入信号，确定上述用户的意图，然后处理模块对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
[0018]为了实现上述目的，本发明第三方面实施例的终端设备，包括:接收器、处理器、存储器、电路板和电源电路，其中，所述电路板安置在壳体围成的空间内部，所述处理器和所述存储器设置在电路板上；所述电源电路，用于为所述终端设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述接收器，用于接收多模态的输入信号，所述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤:根据所述多模态的输入信号，确定所述用户的意图；对所述用户的意图进行处理，并将处理结果反馈给所述用户。
[0019]本发明实施例的终端设备，接收器接收多模态的输入信号之后，处理器根据上述多模态的输入信号，确定上述用户的意图，然后对上述用户的意图进行处理，并将处理结果反馈给上述用户，从而可以实现良好的人机交互功能，可以实现高功能高陪伴型的智能人机交互，进而可以提高用户体验。
[0020]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0021]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0022]图1为本发明基于人工智能的人机交互方法一个实施例的流程图；
[0023]图2为本发明基于人工智能的人机交互装置一个实施例的结构示意图；
[0024]图3为本发明基于人工智能的人机交互装置另一个实施例的结构示意图；
[0025]图4为本发明终端设备一个实施例的结构示意图；
[0026]图5为本发明智能机器人一个实施例的示意图；
[0027]图6为本发明智能机器人屏幕交互一个实施例的示意图。
【具体实施方式】
[0028]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0029]为了解决现有技术中存在的无法进行高功能高陪伴型的智能人机交互的问题，本发明基于人工智能实现了高功能高陪伴型的智能人机交互，人工智能(ArtificialIntelligence，简称:AI)，是研宄、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研宄包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
[0030]人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考，也可能超过人的智能。人工智能是包括十分广泛的科学，由不同的领域组成，如机器学习，计算机视觉等等，总的说来，人工智能研宄的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。
[0031]图1为本发明基于人工智能的人机交互方法一个实施例的流程图，如图1所示，该基于人工智能的人机交互方法可以包括:
[0032]步骤101，接收多模态的输入信号，上述多模态的输入信号包括用户输入的语音信号、图像信号和/或环境传感器信号。
[0033]具体地，用户输入的语音信号可以是用户通过麦克风输入的；上述图像信号可以是通过摄像头输入的；上述环境传感器信号包括通过光传感器、温湿度传感器、有毒气体传感器、污染颗粒物传感器、触摸模块、地理位置定位模块和重力传感器中的一个或多个传感器输入的信号。
[0034]步骤102，根据上述多模态的输入信号，确定上述用户的意图。
[0035]步骤103，对上述用户的意图进行处理，并将处理结果反馈给上述用户。
[0036]具体地，将处理结果反馈给上述用户可以包括:将处理结果以图像、文本到声音、机器人肢体动作和/或机器人灯光反馈等方式反馈给用户，本实施例对处理结果的反馈方式不作限定。
[0037]本实施例的一种实现方式中，根据上述多模态的输入信号，确定上述用户的意图可以为:对上述用户输入的语音信号进行语音识别，根据语音识别的结果，结合图像信号和/或传感器信号确定上述用户的意图。
[0038]或者，根据上述多模态的输入信号，确定上述用户的意图可以为:对上述用户输入的语音信号进行语音识别，以及通过声源定位将显示屏转向上述用户所在的方向，通过摄像头辅助人脸识别功能识别上述用户的个人信息；根据语音识别的结果、上述用户的个人信息和保存的上述用户的偏好信息确定上述用户的意图。其中，上述用户的个人信息包括用户的姓名、年龄和性别等信息；上述用户的偏好信息包括用户日常的行为喜好等信息。
[0039]本实现方式中，对用户的意图进行处理，并将处理结果反馈给用户可以为:根据上述用户的意图在云端数据库中进行个性化数据匹配，获得适合上述用户的推荐信息，并将适合上述用户的推荐信息输出给上述用户。其中，将适合上述用户的推荐信息输出给上述用户可以为将适合上述用户的推荐信息语音播报给上述用户，或者，将适合上述用户的推荐信息以文本的形式显示在显示屏上，本实施例对将适合上述用户的推荐信息输出给上述用户的方式不作限定。
[0040]进一步地，上述推荐信息可以包括地址信息，则对上述用户的意图进行处理，并将处理结果反馈给用户可以为:获得从上述用户所在地至所述地址信息所指示的地点的交通路径，并根据上述用户的出行习惯，获得适合上述用户的出行方式，将上述出行方式推荐给上述用户。其中，将上述出行方式推荐给上述用户可以为将上述出行方式语音播报给上述用户，或者，将上述出行方式以文本的形式显示在显示屏上，本实施例对将上述出行方式推荐给上述用户的方式不作限定。
[0041]也就是说，本实施例可以实现与人进行多轮对话交流的功能，能够以自然语言、表情与人进行交流。具备有个性化学习的能力，能够通过连接智能云端服务器获得相关知识并有针对性地向用户提供。
[0042]场景举例:当家里的老人想要出去参加活动，而又不知道附近有什么好玩的活动的时候，如果没有本实施例提供的方法，按照寻常的解决方案，老人只能给孩子打电话咨询，或者出门去向邻居或居委会咨询。
[0043]但如果有了本实施例提供的方法，老人可以对能够实现本实施例提供的方法的终端设备，例如智能机器人说:“小度机器人，你知道附近有什么适合我的活动吗？ ”
[0044]智能机器人会通过声源定位将智能机器人的显示屏(例如:智能机器人的面部)转向老人所在的方向，通过高清摄像头辅助人脸识别功能准确识别说话者的个人信息，例如说话者的姓名、年龄和性别等，并根据说话者日常的行为喜好、年龄和性别等信息，确定说话者输入的语音的意图，然后根据输入的语音的意图在云端数据库中进行个性化数据匹配，筛选出最适合说话者的推荐信息，并将该推荐信息语音播报给上述说话者小度为您找到了一项您可能喜欢的活动:在距您800米的南湖公园今天下午2点将举办一场老年交谊舞会，您觉得怎么样？”，其中，该推荐信息中包括地址信息“南湖公园”。
[0045]如果用户回复:“太好了，我喜欢这个活动，我该怎么过去呢？ ”，接收到用户输入的语音之后，智能机器人可以对上述用户输入的语音进行语音识别，根据语音识别的结果确定用户的意图是想去“南湖公园”;则智能机器人会根据地理位置定位模块输入的信号确定用户所在的位置，并自动检索从用户所在的位置到南湖公园的交通路径，并根据上述用户日常的出行习惯，智能获得适合上述用户的出行方式，并将出行方式推荐给用户从这里到南湖公园，距离800米，预计步行时间15分钟，已经为您规划好步行地图路径。”
[0046]本实施例的另一种实现方式中，上述用户的意图包括时间信息，对上述用户的意图进行处理，并将处理结果反馈给上述用户可以为:根据用户的意图中的时间信息设置闹钟提醒信息，并将设置结果反馈给上述用户。其中，将设置结果反馈给用户可以为将设置结果语音播报给用户，或者将设置结果以文字的形式显示给用户，当然也可以采用其他反馈方式，本发明对此不作限定。
[0047]进一步地，将设置结果反馈给用户之后，还可以对用户进行提示，记录上述用户的留言信息，并在到达上述闹钟提醒信息的时刻时，进行闹钟提醒，播放上述用户的留言信息。
[0048]场景举例:早上7点，妈妈需要早起出差，家里的小朋友豆豆还在熟睡。在离开家的时候，妈妈对智能机器人说:“小度机器人，8点请帮我叫醒豆豆好吗