人机交互方法、装置以及控制器和交互设备与流程

本发明涉及体感游戏的技术领域，具体涉及一种人机交互方法、装置以及控制器和交互设备。

背景技术：

人机交互技术(英文全称为：human-computerinteractiontechniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术，目前，有很多交互设备供人学习和娱乐，例如，在电子游乐场以及各大商圈中存在着各种大型的娱乐装置，通常通过摇杆、按钮或触屏等专用输入设备来实现人机交互，并通过设置实物奖励来提升用户参与的积极性。其中，代表性的娱乐装置包括夹娃娃机和口红机。夹娃娃机中用户通过摇杆和按钮对机柜内部的机械抓臂进行控制，从而实现实物抓取的目的，此种人机交互操作繁琐；口红机中用户通过点击触屏来选择所需要的实物并完成对应的操作，该操作与奖励物品本身的关联程度较低，人机交互效果较差。

技术实现要素：

本发明的目的在于提供一种人机交互方法、装置以及控制器和交互设备，以解决现有技术中存在的上述至少之一的技术问题。

为实现上述目的，本发明采用的技术方案是：提供一种人机交互方法，适用于交互设备，用于控制目标物品向目标区域移动，所述交互设备包括显示器和可收纳目标物品的投放组件，所述目标物品和所述目标区域分别在所述显示器上映射有虚拟目标物品和虚拟目标区域，在所述虚拟目标物品和所述虚拟目标区域之间具有多个待消除区域，所述方法包括：

分别获取待消除区域内的预设表情和用户脸部表情；

判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值；

当所述匹配度大于预设阈值时，消除所述待消除区域，并控制所述虚拟目标物品向所述虚拟目标区域移动。

进一步地，在所述获取待消除区域内的预设表情之前包括：

获取开始指令；

根据开始指令设定计时时钟。

进一步地，所述当所述匹配度大于预设阈值时，消除所述待消除区域，并控制所述虚拟目标物品向所述虚拟目标区域移动并重复所述分别获取待消除区域内的预设表情和用户脸部表情，判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值的步骤，直至计时结束或所述虚拟目标物品移动至所述虚拟目标区域。

进一步地，所述当所述匹配度小于预设阈值时，输出用于表征匹配不成功的提示信号，并重复所述分别获取待消除区域内的预设表情和用户脸部表情，判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值的步骤，直至所述匹配度大于预设阈值或计时结束。

进一步地，在消除所述待消除区域，并控制所述虚拟目标物品向所述虚拟目标区域移动之后还包括：

判断所述计时时钟结束之前所述虚拟目标物品是否到达所述虚拟目标区域；

当所述虚拟目标物品达到虚拟目标区域，控制所述目标物品移动至所述目标区域。

进一步地，当所述虚拟目标物品未到达所述虚拟目标区域，控制所述目标物品回到初始位置。

进一步地，判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值包括：

获取所述预设表情的特征点集；

在所述用户面部表情中提取人脸特征点集；

计算所述人脸特征点集和预设表情的特征点集的匹配度。

本发明实施例提供了一种人机交互装置，适用于交互设备，用于控制目标物品向目标区域移动，所述交互设备包括显示模块和可收纳目标物品的投放模块，所述目标物品和所述目标区域分别在所述显示模块上映射有虚拟目标物品和虚拟目标区域，在所述虚拟目标物品和所述虚拟目标区域之间具有多个待消除区域，所述装置包括：

获取模块，用于分别获取待消除区域内的预设表情和用户脸部表情；

判断模块，用于判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值；以及

控制模块，当所述匹配度大于预设阈值时，消除所述待消除区域，并控制虚拟目标物品向虚拟目标区域移动。

本发明实施例提供了一种控制器，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7中任一项所述的人机交互方法。

本发明实施例提供了一种交互设备，其特征在于，包括：

如上述任一实施例中的控制器；

显示器，与所述控制器连接，所述显示器的一侧设有图像采集装置；

投放组件，与所述控制器连接，用于收纳目标物品，并在所述控制器的控制下将所述目标物品投放至目标区域图像采集装置。

进一步地，还包括指令输入器和指令输出器，所述指令输入器和所述指令输出器均与所述控制器相连接，所述指令输入器包括麦克风、摇杆、触屏或键盘的任一种或多种；所述指令输出器包括照明灯或扬声器的任一种或多种。

本发明实施例提供的人机交互方法、装置以及控制器和交互设备，在交互设备中将投放组件能够投放的目标物品与显示器中的虚拟目标物品相对应，通过将待消除区域消除，能够缩短虚拟目标物品和虚拟目标区域之间距离，继而可以将虚拟目标物品向虚拟目标区域移动，从而控制投放组件将目标物品移动至目标区域，在对消除区域消除时，通过将用户脸部表情和预设表情作对比并根据匹配度消除待消除区域，其区别于传统的消除方式，能够使得用户与该交互设备有更强的交互性，目标物品与虚拟目标物品实现联动，从而能够增强目标物品和用户之间的交互性，更具有可玩性且人机交互更紧密。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的人机交互方法的示意图；

图2为本发明实施例提供的另一实施例的人机交互方法的示意图；

图3为本发明实施例提供的人机交互装置的示意图；

图4为本发明实施例提供的交互设备的示意图。

附图标记说明：

1、显示器；2、投放组件；3、图像采集装置；4、控制器；5、指令输入器；6、指令输出器；41、处理器；42、存储器；10、获取模块；20、判断模块；30、控制模块；40、显示模块；50、投放模块。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

请一并参阅图1及图2，现对本发明提供的人机交互方法进行说明。所述人机交互方法，适用于交互设备，用于控制目标物品向目标区域移动，所述交互设备包括显示器1和可收纳目标物品的投放组件2，所述目标物品和所述目标区域分别在所述显示器1上映射有虚拟目标物品和虚拟目标区域，在所述虚拟目标物品和所述虚拟目标区域之间具有多个待消除区域，具体的，虚拟目标物品和虚拟目标区域均直接显示在显示器1上，目标物品存放于投放组件2的内部，且投放组件2能够将目标物品移动至目标区域，在本实施例中，目标物品和目标区域之间的关系同样也在显示器1上映射为虚拟目标物品与虚拟目标区域的关系，具体的，虚拟目标物品在向虚拟目标区域移动的过程中，对应的目标物品与虚拟目标物品联动，向目标区域移动，或者，虚拟目标物品在移动到虚拟目标区域时，对应的目标物品移动至目标区域。其中，目标物品一般为鼓励性奖品，移动至目标区域即为投放至交互设备外侧可以供用户拿取，其中投放组件2一般包括舵机、减速器和控制电路等硬件，其可以控制目标物品的移动、回收及发放。

所述方法包括如下步骤：

s101.分别获取待消除区域内的预设表情和用户脸部表情；待消除区域内预设有预设表情，需要用户模仿该预设表情并将用户模仿的脸部表情与预设表情进行对比直至该用户模仿的脸部表情与预设表情相匹配。对于预设表情，其可以为选择该待消除区域后随机生成的预设表情，其还可以为待消除区域内本身即显示出的预设表情，即用户可以根据需要和自身情况选取待消除区域。

s102.判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值；预设阈值一般用来判断用户脸部表情和待消除区域内预设表情的匹配度，且预设的阈值可以根据需要进行调整，当所述匹配度大于预设阈值时，进入步骤s103。当所述匹配度小于预设阈值时，返回步骤s101。

s103.消除所述待消除区域，并控制所述虚拟目标物品向所述虚拟目标区域移动。将待消除区域消除后，则虚拟目标物品判断是否可以朝向虚拟目标区域，若可以朝向虚拟目标区域移动，则虚拟目标物品朝向虚拟目标区域移动，若不可以朝向虚拟目标区域移动，则虚拟目标物品位置不变。

本发明提供的人机交互方法，与现有技术相比，在交互设备中将投放组件2能够投放的目标物品与显示器1中的虚拟目标物品相对应，通过将待消除区域消除，能够缩短虚拟目标物品和虚拟目标区域之间距离，继而可以将虚拟目标物品向虚拟目标区域移动，从而控制投放组件2将目标物品移动至目标区域，在对消除区域消除时，通过将用户脸部表情和预设表情作对比并根据匹配度消除待消除区域，其区别于传统的消除方式，能够使得用户与该交互设备有更强的交互性，目标物品与虚拟目标物品实现联动，从而能够增强目标物品和用户之间的交互性，更具有可玩性且人机交互更紧密。

作为可选的实施例，步骤s103可以包括：在消除所述待消除区域后，虚拟目标物品移动至待消除区域，选取新的待消除区域，并重复步骤s101和步骤s102，直至将虚拟目标物品移动至所述虚拟目标区域。在本实施例中，对于新的待消除区域的选取可以基于预设路径，即虚拟目标物品移动至虚拟目标区域所需经过的待消除区域是提前设定好，只需将虚拟目标物品移动至虚拟目标区域所经过的预设路径上的待消除区域全部消除，虚拟目标物品即可移动至虚拟目标区域。作为另一种新的待消除区域的选取方式，可以通过接受用户的选取指令，并根据用户的选取指令确定下一待消除区域，例如，可以通过获取用户对显示器1的触控事件，所称触控事件可以表征用户选择待消除区域，并根据触控事件确定用户所选择的下一待消除区域，并重复步骤s101-s102，直至虚拟目标物品移动至虚拟目标区域。

作为另一可选的实施方式，请一并参阅图1及图2，在所述获取待消除区域内的预设表情之前还可以包括：获取开始指令并根据开始指令设定计时时钟。

所述当所述匹配度大于预设阈值时，消除所述待消除区域，并控制所述虚拟目标物品向所述虚拟目标区域移动并重复s101至s103步骤，直至计时结束或所述虚拟目标物品移动至所述虚拟目标区域。

所述当所述匹配度小于预设阈值时，输出用于表征匹配不成功的提示信号，并重复s101至s102步骤，直至所述匹配度大于预设阈值时进入步骤s103，或计时结束时结束人机交互。

具体的，开始指令由该交互设备的显示器1上显示出虚拟目标物品和虚拟目标区域时即自动发出开始指令，或者开始指令由用户控制显示器1发出开始指令，当开始指令发出后则计时时钟开始计时操作。计时操作可以为正序计时，即计时从零开始计时直至时间增长至预设的时间；计时操作还可以为倒序计时，即计时时从预设的时间开始倒序计时直至时间减小为零，此时可以对整个游戏或程序执行时间进行控制。计时操作还可以为正序计时，即计时从零开始计，直至虚拟目标进入虚拟目标区域时停止计时，此时可以对游戏、方法或程序所进行的时间进行统计。

进一步地，请参阅图1及图2，作为本发明提供的人机交互方法的一种具体实施方式，在消除所述待消除区域，并控制所述虚拟目标物品向所述虚拟目标区域移动之后还包括：

判断所述计时时钟结束之前所述虚拟目标物品是否到达所述虚拟目标区域；

当所述虚拟目标物品达到虚拟目标区域，控制所述目标物品移动至所述目标区域；当所述虚拟目标物品未到达所述虚拟目标区域，控制所述目标物品回到初始位置。

具体的，虚拟目标物品是否到达所述虚拟目标区域的判断是依据判断虚拟目标物品和虚拟目标区域之间的距离，其判断时间可以为所述虚拟目标物品向所述虚拟目标区域移动之后以及在计时时钟结束之前进行判断，当虚拟目标物品移动至虚拟目标区域时，目标物品移动至目标区域，此时目标物品可以随着虚拟目标物品的移动而发生移动，或者目标物品在虚拟目标物品移动至虚拟目标区域时直接移动至目标区域。在计时时钟结束时，虚拟目标物品仍未到达虚拟目标区域，此时则该游戏失败，此时投放组件2控制目标物品回到初始位置，即将目标物品重新回收，游戏回复至初始状态。

下面对如何判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值的方法进行介绍，作为一种可选的实施方式，其方法主要包括以下步骤

首先，获取所述预设表情的特征点集；具体的，从预设的表情的脸部选取特定的特征，例如眼部特征、嘴部特征或脸颊特征等，并将上述特征形成特征点集，特征点集的确定可以在预设表情预设时即确定，或者特征点集可以在选取到特定的预设表情后再对该预设表情的特征点集进行获取。

其次，在所述用户面部表情中提取人脸特征点集；具体的，用户面部表情由图像采集装置3采集后再对图像采集装置3采集到的用户面部表情进行分析，提取人脸特征点与提取的预设表情的脸部特征点是一一对应的。

最后，计算所述人脸特征点集和预设表情的特征点集的匹配度，具体的，将提取的人脸特征点与该预设表情的脸部特征点进行一一对比，最后再将人脸特征点集和预设表情的特征点集进行对比，从而能够得到对比的结果。

实施例2

作为本发明的另一实施例，请一并参阅图1及图2，本实施例与实施例1的区别在于以下部分，现对本实施例提供的人机交互方法进行说明。

所述人机交互方法，适用于交互设备，用于控制目标物品向目标区域移动，所述交互设备包括显示器1和可收纳目标物品的投放组件2，所述目标物品和所述目标区域分别在所述显示器1上映射有虚拟目标物品和虚拟目标区域，在所述虚拟目标物品和所述虚拟目标区域之间具有多个待消除区域，具体的，虚拟目标物品和虚拟目标区域均直接显示在显示器1上，目标物品存放于投放组件2的内部，且投放组件2能够将目标物品移动至目标区域，在本实施例中，目标物品和目标区域之间的关系同样也在显示器1上映射为虚拟目标物品与虚拟目标区域的关系，具体的，虚拟目标物品在向虚拟目标区域移动的过程中，对应的目标物品与虚拟目标物品联动，向目标区域移动，或者，虚拟目标物品在移动到虚拟目标区域时，对应的目标物品移动至目标区域。其中，目标物品一般为鼓励性奖品，移动至目标区域即为投放至交互设备外侧可以供用户拿取，其中投放组件2一般包括舵机、减速器和控制电路等硬件，其可以控制目标物品的移动、回收及发放。

所述方法包括如下步骤：

s201.分别获取待消除区域内的预设表情和用户脸部表情；待消除区域内预设有预设表情，需要用户模仿该预设表情并将用户模仿的脸部表情与预设表情进行对比直至该用户模仿的脸部表情与预设表情相匹配。对于预设表情，其可以为选择该待消除区域后随机生成的预设表情，其还可以为待消除区域内本身即显示出的预设表情，即用户可以根据需要和自身情况选取待消除区域。

s202.判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值；预设阈值一般用来判断用户脸部表情和待消除区域内预设表情的匹配度，且预设的阈值可以根据需要进行调整，当所述匹配度大于预设阈值时，进入步骤s103。当所述匹配度小于预设阈值时，返回步骤s101。

s203.消除所述待消除区域，并控制所述虚拟目标物品向所述虚拟目标区域移动。将待消除区域消除后，则虚拟目标物品判断是否可以朝向虚拟目标区域，若可以朝向虚拟目标区域移动，则虚拟目标物品朝向虚拟目标区域移动，若不可以朝向虚拟目标区域移动，则虚拟目标物品位置不变。

作为可选的实施例，步骤s203可以包括：在消除所述待消除区域后，虚拟目标物品移动至虚拟目标区域，此时若计时时钟尚未结束，则游戏结束并且投放组件2将目标物品移动至目标区域，可以供用户拿取该目标物品。其中，在投放至虚拟目标物品移动至虚拟目标区域时，目标物品的移动可以随着虚拟目标物品的移动而随之移动，并最终移动至目标区域，或者目标物品始终保持不动，直至虚拟目标物品移动至虚拟目标区域，此处不作唯一限定。在本实施例中，对于虚拟目标物品移动至虚拟目标区域后，且计时时钟尚未结束时，此时游戏可以直接结束或者重新设置虚拟目标物品和虚拟目标区域，并重复s201至s203的步骤，直至计时时钟结束。

实施例3

本发明实施例提供了一种人机交互装置，如图3所示，适用于交互设备，用于控制目标物品向目标区域移动，所述交互设备包括显示模块40和可收纳目标物品的投放模块50，所述目标物品和所述目标区域分别在所述显示模块40上映射有虚拟目标物品和虚拟目标区域，在所述虚拟目标物品和所述虚拟目标区域之间具有多个待消除区域，所述装置包括：

包括获取模块10、判断模块20和控制模块30，获取模块10用于分别获取待消除区域内的预设表情和用户脸部表情；判断模块20，用于判断所述用户脸部表情与待消除区域内预设表情匹配度是否大于预设阈值；以及控制模块30，当所述匹配度大于预设阈值时，消除所述待消除区域，并控制虚拟目标物品向虚拟目标区域移动。

实施例4

本发明实施例还提供了一种控制器4，如图4所示，该控制器4包括至少一个处理器41；以及与所述至少一个处理器41通信连接的存储器42；其中，所述存储器42存储有可被所述一个处理器41执行的指令，所述指令被所述至少一个处理器41执行，以使所述至少一个处理器41执行上述任一实施例中所述的人机交互方法。

处理器41可以为中央处理器41(centralprocessingunit，cpu)。处理器41还可以为其他通用处理器41、数字信号处理器41(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器41可以是微处理器41或者该处理器41也可以是任何常规的处理器41等。

存储器42作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的控制方法对应的程序指令/模块。处理器41通过运行存储在存储器42中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的控制方法。

存储器42可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器42，还可以包括非暂态存储器42，例如至少一个磁盘存储器42件、闪存器件、或其他非暂态固态存储器42件。在一些实施例中，存储器42可选包括相对于处理器41远程设置的存储器42，这些远程存储器42可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置可包括显示屏等显示设备。

一个或者多个模块存储在存储器42中，当被一个或者多个处理器41执行时，执行如图1所示的方法。

实施例5

本发明实施例还提供了一种交互设备，请参与图4，该交互设备包括如上述具体实施方式中的控制器4、显示器1和投放组件2，所述显示器1与所述控制器4连接，所述显示器1的一侧设有图像采集装置3；投放组件2与所述控制器4连接，用于收纳目标物品，并在所述控制器4的控制下将所述目标物品投放至目标区域。

本发明提供的交互设备，与现有技术相比，在交互设备中将投放组件2能够投放的目标物品与显示器1中的虚拟目标物品相对应，通过将待消除区域消除，能够缩短虚拟目标物品和虚拟目标区域之间距离，继而可以将虚拟目标物品向虚拟目标区域移动，从而控制投放组件2将目标物品移动至目标区域。在对消除区域消除时，通过图像采集装置3将用户脸部表情进行采集，将用户脸部表情和预设表情作对比并根据匹配度消除待消除区域，其区别于传统的消除方式，能够使得用户与该交互设备有更强的交互性，目标物品与虚拟目标物品实现联动，从而能够增强目标物品和用户之间的交互性，更具有可玩性且人机交互更紧密。

进一步地，请参阅4，作为本发明提供的交互设备的一种具体实施方式，还包括指令输入器5和指令输出器6，所述指令输入器5和所述指令输出器6均与所述控制器4相连接，所述指令输入器5包括麦克风、摇杆、触屏或键盘的任一种或多种；所述指令输出器6包括照明灯或扬声器的任一种或多种。具体的，指令输入器5和指令输出器6均和控制器4相连接，指令输入器5可以朝控制器4内输入指令，其指令的输入方式可以通过麦克风、摇杆、触屏或键盘的任一种或多种，即朝向控制器4发出声音指令、方向指令或其他指令，从而对控制器4进行控制，从而控制选取待消除区域。指令输出器6可以将控制器4发出的指令输出，其指令输出方式可以为声音、灯光或显示器1上的屏幕显示文字等，其可以反馈出目前的游戏运行状态，给用户全面的反馈使得在操作过程中体验感、沉浸感和可操作性更强。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。