人机交互方法、装置、终端设备及计算机可读存储介质与流程

文档序号:15072042发布日期:2018-08-01 00:01阅读:267来源:国知局

本申请涉及机器人技术领域,尤其涉及一种人机交互方法、装置、终端设备及计算机可读存储介质。



背景技术:

人机交互、人机互动(human–computerinteraction或human–machineinteraction,简称hci或hmi),是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。以交互型机器人为例,该机器人能够通过计算机系统与用户进行人机对话,在现有的人机交互方案中,机器人与用户进行人机对话时,需要基于上下文信息(某一时间段内连续输入的信息)作出合理的理解与回复,从而实现对机器人的控制与操作。

发明人在实现本申请的过程中发现,虽然,现有人机交互的技术方案中,机器人能够基于上下文信息作出合理的理解与回复,实现与用户进行人机对话。但是,现有的技术方案,机器人在与用户进行交互过程中,只能顺序为当前用户提供服务,当该交互被打断后,无法再继续、因此,目前的机器人在同一时间段内只能实现与一位用户的交互,即机器人无法同时面对多个用户,实现与多用户的人机交互。



技术实现要素:

本申请部分实施例所要解决的一个技术问题在于提供一种人机交互方法,以解决上述技术问题。

本申请的一个实施例提供了一种人机交互方法,该人机交互方法应用于具有人机交互功能的终端设备。人机交互方法包括:确定识别到交互对象时,提取交互对象的身份信息;基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件;根据用户配置文件,作出与交互对象匹配的响应。

本申请实施例还提供了一种人机交互装置,该人机交互装置应用于具有人机交互功能的终端设备。人机交互装置包括:识别模块,用于识别是否有交互对象;信息提取模块,用于在识别模块确定识别到交互对象时,提取交互对象的身份信息;确定模块,用于基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件;响应模块,用于根据用户配置文件,作出与交互对象匹配的响应。

本申请实施例还提供了一种终端设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请任意方法实施例中涉及的人机交互方法。

本申请实施例还提供了一种计算机可读存储介质,存储有计算机指令,计算机指令用于使计算机执行本申请任意方法实施例中涉及的人机交互方法。

本申请实施例相对于现有技术而言,能够实现同时与不同交互对象交互,当具有人机交互功能的终端设备提取交互对象的身份信息后,然后基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件,从而可以根据每个交互对象各自所对应的用户配置文件,作出与该交互对象匹配的响应,进而实现了同时面对多个交互对象进行人机交互的功能,大大提升了用户体验。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。

图1是根据本申请第一实施例中的人机交互方法的具体流程图;

图2是根据本申请第二实施例中的人机交互方法的具体流程图;

图3是根据本申请第三实施例中的人机交互方法的具体流程图;

图4是根据本申请第四实施例中的人机交互方装置的方框示意图;

图5是根据本申请第五实施例中的终端设备的方框示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请部分实施例进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请的第一实施例涉及一种人机交互方法,该人机交互方法主要应用于具有人机交互功能的终端设备。

需要说明的是,本实施例中所说的终端设备可以为交互型机器人、交互对象可以是任意使用人群,此处不做限制,为了便于理解,以下结合图1所示的人机交互方法的具体流程进行说明。

步骤101,判断是否识别到交互对象。

具体的说,如果确定识别到交互对象,则进入步骤102,;否则,继续执行步骤101,直到确定识别到交互对象,进入步骤102,或者终端设备退出人机交互模式为止。

在本实施例中,在检测到采集区域中有交互对象出现,或者,在识别到声音信息时,确定识别到交互对象。此处仅为举例说明,并不用于限制本实施例的保护范围,其它识别交互对象的方式也在本实施例的范围内。

需要说明的是,本实施例中所说的采集区域,具体可以由本领域的技术人员根据交互型机器人实际放置的使用场合、使用人群等多种因素合理设置,比如以交互型机器人所处的位置为圆心,半径为1米的区域作为采集区域,如果有用户(交互对象)出现在该区域中,或者根据声音采集装置确定在该区域内识别到用户的声音信息时,即可确定识别到了交互对象。

需要说明的是,本实施例中所说的根据声音采集装置确定在该区域内识别到用户的声音信息,具体是指通过声音的传播速度,确定交互对象所处的位置,从而确定识别到的声音信息是否来自该区域内。

另外,在识别到用户的声音信息,确定识别交互对象,也可以在声音采集装置采集到的用户声音处于某一频率,既可以确定识别到了交互对象。

需要说明的的是,以上仅为举例说明,并不对本申请的保护范围构成限定,本领域的技术人员可以根据需要设置确定识别到交互对象的条件,此处不做限制。

另外,在实际应用中,为了保证交互操作的准确性,避免误操作,可以在确定进入采集区域的用户做出了特定的动作或者发出了特定的声音后,才确定识别到的用户为需要进行人机交互的交互对象。

需要说明的是,以上仅为举例说明,并不对本申请的保护范围构成限定,本领域的技术人员可以根据需要设置识别交互对象的具体条件,此处不做限制。

步骤102,提取交互对象的身份信息。

具体的说,交互对象的身份信息具体可以是交互对象的声纹信息和/或交互对象的人脸信息,即在交互对象进入到采集区域后,通过开启语音采集装置,采集交互对象的声纹信息,和/或开启图像采集装置,采集交互对象的人脸信息。

另外,为了提高提取到的交互对象的身份信息的准确性,避免出现由于采集到的人脸信息不清楚,声纹信息不清晰,影响交互对象身份的确认,本实施例可以采用以下具体实现:在确定识别到交互对象,提取交互对象的身份信息之前,还进一步获取了交互对象当前所处的位置信息,并对位置信息进行合理判断,比如判断获取到的位置信息是否与预设的位置信息匹配。

需要说明的是,该预设的位置信息能够满足使交互型机器人清楚、完整的采集到交互对象的人脸信息和/或采集到所述交互对象的声纹信息。

进一步地,如果该交互对象当前所处的位置信息能够清楚、完整的采集到交互对象的人脸信息,则控制交互型机器人开启图像采集装置,采集交互对象的人脸信息,如果交互型机器人能够清晰的采集到交互对象的声纹信息,则控制交互型机器人开启语音采集装置,采集交互对象的声纹信息。并将采集到的声纹信息和/或人脸信息作为交互对象的身份信息。否则,可以发出提示信息,提示交互对象移动位置,直到交互对象所处的位置符合提取身份信息的条件位置。

步骤103,确定身份信息对应的用户配置文件。

具体的说,在本实施例中,确定身份信息对应的用户配置文件的操作,具体是基于交互对象的身份信息与用户配置文件之间的映射关系进行确定的。

需要说明的是,在本实施例中,交互对象与用户配置文件是一一对应的,由于每一个交互对象的身份信息都是唯一的,因此通过设置交互对象的身份信息与用户配置文件一一对应的映射关系,从而可以在提取到交互对象的身份信息后,能够快速确定与该交互对象对应的用户配置文件。

另外,本实施例中所说的用户配置文件主要是用于存储对应的交互对象的上下文交互内容,即记录该交互对象与交互型机器人在人机交互过程中交互双方做出的指令及响应等。

另外,需要说明的是,关于用户配置文件中记录的上下文交互内容的格式以及记录方式,本领域的技术人员可以根据实际需要合理设置,此处不做限制。

步骤104,根据用户配置文件,作出与交互对象匹配的响应,结束本次交互流程。

在本实施例中,通过从该交互对象对应的用户配置文件中,获取该交互对象的上下文交互内容,然后根据该上下文交互内容来作出与交互对象匹配的响应,从而使得交互型机器人作出的响应是符合当前交互对象的交互要求的。

另外,值得一提的是,为了进一步提升用户体验,在执行完一次人机交互后,如果交互型机器人收到交互对象反馈的内容与作出的响应存在差异,则根据交互对象反馈的内容,更新该交互对象对应的用户配置文件中的上下文交互内容,从而保证后续人机交互的准确性,关于如何更新用户配置文件,以及何时更新用户配置文件,本领域的技术人员可以根据实际需要设置,此处不做限制。

需要说明的是,上述人机交互是以一个交互对象为例进行说明的,在实际应用中,如果出现了采集区域中有多个交互对象出现,交互型机器人可以根据交互对象出现的先后依次提取每一个交互对象的身份信息,并根据完成的先后顺序依次进入后续处理,直到对每一个交互对象作出匹配的响应为止。

另外,以上仅为举例说明,并不对本申请的保护范围构成限定,本领域的技术人员可以根据需要设置人机交互中,交互型机器人的对交互对象作出响应的执行方式,此处不做限制。

通过上述描述不难发现,本申请实施例相对于现有技术而言,当具有人机交互功能的终端设备启动人机交互功能后,在确定识别到交互对象时,提取交互对象的身份信息,然后基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件,从而可以根据每一个交互对象所对应的用户配置文件,作出与该交互对象匹配的响应,进而实现了同时面对多个交互对象进行人机交互的功能,大大提升了用户体验。

本申请的第二实施例涉及一种人机交互方法。本实施例在第一实施例的基础上做了进一步改进,具体改进之处为:在提取交互对象的身份信息之后,确定身份信息对应的用户配置文件之前,还需要检测终端设备中是否存在与交互对象对应的用户配置文件,并根据检测结果进行后续操作,具体流程如图2所示。

具体的说,在本实施例中,包含步骤201至步骤206,其中,步骤201至步骤202分别与第一实施例中的步骤101至步骤102大致相同,步骤205至步骤206分别与第一实施例中的步骤103至步骤104大致相同,此处不再赘述,下面主要介绍不同之处:

步骤203,检测终端设备中是否存在与交互对象对应的用户配置文件。若终端设备中不存在与交互对象对应的用户配置文件,则进入步骤204;否则,进入步骤205。

步骤204,根据身份信息,创建交互对象对应的用户配置文件。

在本实施例中,检测终端设备中是否存在与交互对象对应的用户配置文件,具体可以通过以下方式实现:检测终端设备的缓存空间中是否存在与交互对象对应的用户配置文件,具体可以基于置信度阈值判断终端设备的缓存空间中是否存在与交互对象对应的用户配置文件,比如说,预设的置信度阈值为90%,如果通过计算,得出的置信度值大于或等于预设的置信度阈值,则判定终端设备的缓存空间中存在交互对象对应的用户配置文件,则无需为该交互对象创建对应的用户配置文件,如果通过计算,得出的置信度值小于预设的置信度阈值,则判定终端设备的缓存空间中不存在交互对象对应的用户配置文件。此时,需要进一步判断终端设备的历史数据库中是否存在与交互对象对应的用户配置文件。

具体的说,比如说,通过将当前交互对象的身份信息中的声纹信息与终端设备中存储的声纹信息进行比对,若两者匹配度大于或等于90%,则判定终端设备的缓存空间中存在交互对象对应的用户配置文件,则无需为该交互对象创建对应的用户配置文件。若两者的匹配度小于90%,判定终端设备的缓存空间中不存在交互对象对应的用户配置文件。此时,需要进一步判断终端设备的历史数据库中是否存在与交互对象对应的用户配置文件。

需要说明的是,置信度值的计算,本领域的技术人员可以根据统计学算法进行合理计算,此处不再赘述。

在本实施例中,判断终端设备的历史数据库中是否存在与交互对象对应的用户配置文件的流程,与上述判断终端设备的缓存空间中是否存在与交互对象对应的用户配置文件的流程大致相同,同样可以基于置信度阈值进行判断。若判定终端设备的历史数据库中不存在与交互对象对应的用户配置文件,则根据身份信息,在缓存空间中为该交互对象创建一个与之对应的用户配置文件,若判定终端设备的历史数据库中存在与交互对象对应的用户配置文件,则从历史数据库中获取与该交互对象对应的用户配置文件,并将该用户配置文件转移到缓存空间。

需要说明的是,本实施例中所说的缓存空间,具体是指终端设备的缓存,即数据交换的缓冲区(称作cache),基于缓存能够帮助硬件更快运行的原理,本实施例中在根据身份信息,创建交互对象对应的用户配置文件之前,通过优先判断终端设备缓存中是否存在该交互对象对应的用户配置文件,在缓存空间中存在该交互对象对应的用户配置文件时,可以直接获取,从而可以保证人机交互过程中,终端设备能够快速作出响应,给用户(交互对象)一个更好的体验。

本实施例中所说的历史数据库具体是创建于终端设备的内存中,或者远端服务器,此处不做限制。因此,通过将暂时不使用的用户配置文件保存到历史数据库中,可以永久保护,避免出现断电等异常情况时丢失数据。

另外,在实际应用中,为了保证数据的安全,可以在终端设备与交互对象交互过程中,定时将缓存空间中存储的用户配置文件更新到历史数据库,本领域的技术人员可以根据需要设置具体实现方式,此处不做限制。

另外,值得一提的是,关于置信度,在本领域内通常又称可靠度、置信水平、置信系数等,它是指估计总体参数落在某一区间时,可能犯错误的概率。因此,通过设置合理的置信度阈值,能够在允许误差的范围内,尽可能的保证检测结果的准确性。

另外,在本实施例中,由于提取的交互对象的身份信息可能为声纹信息和/或人脸信息,而声纹信息和人脸信息的提取可能会受到交互对象所处的位置、说话声音的大小等的影响,因此可以针对声纹信息设置一个置信度阈值,比如要求落在正确范围内的概率为90%,落在错误范围内的概率为10%;针对人脸信息设置的置信度阈值可以为要求落在正确范围内的概率为95%,落在错误范围内的概率为5%。

另外,为了便于判断,减少判断逻辑,也可以根据声纹信息和人脸信息进行合理取舍,选取一个合理的置信度阈值,具体的实现方式,此处不再赘述。

另外,用于判断终端设备的缓存空间中是否存在与交互对象对应的用户配置文件的置信度阈值,和用于判断终端设备的历史数据库中是否存在与交互对象对应的用户配置文件的置信度阈值,可以相同,也可以不相同,此处不做限制。

需要说明的是,以上仅为举例说明,并不对本申请的保护范围构成限定,本领域的技术人员可以根据需要设置具体置信度阈值,此处不做限制。

通过上述描述不难发现,本申请实施例相对于现有技术而言,在根据身份信息,创建交互对象对应的用户配置文件之前,检测终端设备中是否存在与交互对象对应的用户配置文件,在确定终端设备中不存在与交互对象对应的用户配置文件时,才执行根据身份信息创建交互对象对应的用户配置文件的步骤,从而避免了多次重复创建用户配置文件,节省了终端设备的存储空间,且便于管理。

本申请的第三实施例涉及一种人机交互方法,本实施例在第一实施例的基础上做了进一步改进,具体改进之处为:在获取用户配置文件,作出与交互对象匹配的响应之后,进一步判断是否需要结束与交互对象的交互操作,并根据判断结果进行后续操作,具体流程如图3所示。

具体的说,在本实施例中,包含步骤301至步骤306,其中,步骤301至步骤304分别与第一实施例中的步骤101至步骤104大致相同,此处不再赘述,下面主要介绍不同之处:

步骤305,判断是否需要结束与交互对象的交互操作。

具体的说,若判定需要结束与交互对象的交互操作,进入步骤306;否则,继续根据用户配置文件,作出与交互对象匹配的响应,即该交互对象与终端设备的交互还没有结束,还需要继续进行。

步骤306,将用户配置文件从缓存空间转移到历史数据库中,结束本次交互流程。

具体的说,需要先将本次交互操作的上下文交互内容保存到该交互对象对应的用户配置文件中,然后再将用户配置文件从缓存空间中转移到历史数据库中,从而在下次与该交互对象进行人机交互时,终端设备能够做出符合当前交互的响应。并且,将用户配置文件从缓存空间转移到历史数据库中后,可以大大减小终端缓存空间的占用,从而避免了资源浪费,使得终端设备能够快速处理其他指令。

需要说明的是,以上仅为举例说明,并不对本申请的保护范围构成限定。

通过上述描述不难发现,本申请实施例相对于现有技术而言,在根据用户配置文件,作出与交互对象匹配的响应之后,通过进一步判断是否需要结束与交互对象的交互操作,并在判定需要结束与交互对象的交互操作,将本次交互操作的上下文交互内容保存到用户配置文件中,并将用户配置文件从缓存空间转移到历史数据库中,大大减小了终端设备缓存空间的占用,避免资源浪费,使得终端设备能够快速处理其他指令。

本申请的第四实施例涉及一种人机交互装置,该人机交互装置的具体实施可参见方法实施例的描述,具体结构如图4所示。

如图4所示,人机交互装置400主要包括识别模块401、信息提取模块402、确定模块403和响应模块404。

其中,该人机交互装置400主要应用于具有人机交互功能的终端设备,人机交互装置400通过内部的识别模块401、信息提取模块402、确定模块403和响应模块404的协同配合实现人机交互。

具体的说,通过识别模块401识别是否有交互对象,并在识别到有交互对象时,利用信息提取模块402提取交互对象的身份信息,在提取到交互对象的身份信息后,利用确定模块403基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件,最终使用响应模块404根据用户配置文件,作出与交互对象匹配的响应,完成一次人机交互操作。

通过上述描述不难发现,本申请实施例相对于现有技术而言,通过利用识别模块识别是否存在交互对象,并在确定识别到交互对象时,利用信息提取模块提取交互对象的身份信息,然后由确定模块基于交互对象的身份信息与用户配置文件之间的映射关系,确定身份信息对应的用户配置文件,最终利用响应模块根据每一个交互对象各自所对应的用户配置文件,作出与该交互对象匹配的响应,进而实现了同时面对多个交互对象进行人机交互的功能,大大提升了用户体验。

以上所描述的装置实施例仅仅是示意性的,并不对本申请的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的,此处不做限制。

本申请的第五实施例涉及一种终端设备,具体结构如图5所示。

该终端设备包括一个或多个处理器500以及存储器600,图5中以一个处理器500为例。

在本实施例中,上述实施例中涉及到的人机交互装置中的各功能模块均部署在处理器500上,处理器500和存储器600可以通过总线或其他方式连接,图5中以通过总线连接为例。

存储器600作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请任意方法实施例中涉及的人机交互方法对应的程序指令/模块。处理器500通过运行存储在存储器600中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现本申请任意方法实施例中涉及的人机交互方法。

存储器600可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可建立历史数据库,用于存储用户配置文件等。此外,存储器600可以包括高速随机存取存储器,还可以包括存储器,例如至少一个磁盘存储器件、闪存器件、或其他固态存储器件。在一些实施例中,存储器600可选包括相对于处理器500远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在实际应用中,存储器600中可以存储至少一个处理器500执行的指令,指令被至少一个处理器500执行,以使至少一个处理器500能够执行本申请任意方法实施例涉及的人机交互方法,控制人机交互装置400完成人机交互方法中的交互流程,未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的人机交互方法。

本申请的第六实施例涉及一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,该计算机指令使计算机能够执行本申请任意方法实施例中涉及的人机交互方法。

本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本实用新型的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1