人机交互装置和方法与流程

文档序号:33647791发布日期:2023-03-29 05:30阅读:99来源:国知局
人机交互装置和方法与流程

1.本技术实施例涉及人工智能技术领域,并且更具体地,涉及一种人机交互装置和方法。


背景技术:

2.人工智能技术蓬勃发展,机器人的种类越来越多。其中,家庭机器人可以通过与用户之间的交互,来增加用户的幸福感、减轻用户的压力,从而受到了广泛关注。然而,传统的家庭机器人在遇到障碍物(比如用户家中的物品)时,只能机械地进行简单的绕开或躲避,形式较为单一、不够灵活,导致“生命感”较差,从而降低了用户体验。


技术实现要素:

3.本技术提供一种人机交互装置和方法,该装置可以对特定障碍物确定近距离的交互动作,提高了人机交互装置的“生命感”,从而提升用户体验。
4.第一方面,提供了一种人机交互装置,包括:检测单元,用于检测三维环境信息,并根据该三维环境信息在至少一个距离范围内检测特定障碍物;处理单元,用于根据所检测到的该特定障碍物确定交互动作,其中,该交互动作用于对该特定障碍物进行近距离交互。
5.本技术实施例通过三维环境信息监测特定障碍物,从而确定对该特定障碍物进行近距离的交互。相比于不与障碍物进行交互,只是绕开或者躲避的传统方案,本技术提供的人机交互方法有利于增强人机交互装置的“生命感”,从而提高用户体验。
6.结合第一方面,在第一方面的某些实现方式中,该检测单元具体用于在第一距离范围内检测第一特定障碍物;该处理单元具体用于:根据所检测到的该第一特定障碍物,确定用于表现惊讶或谨慎情绪的第一交互动作,该第一交互动作包括声音、面部表情、躯干动作中至少一种。
7.本技术实施例通过声音、面部表情、躯干动作中的至少一种对某个距离范围内所识别到的特定障碍物表达惊讶或谨慎情绪,增强了人机交互装置的“生命感”,从而提高了用户体验。
8.结合第一方面,在第一方面的某些实现方式中,该第一交互动作为相对于该第一特定障碍物后退、缓慢前进、寻找人脸中至少一种。
9.本技术实施例相对于检测到的特定障碍物后退、缓慢前进、寻找人脸中至少一种,通过多种多样的交互动作,增强了人机交互装置的“生命感”,从而提高了用户体验。
10.结合第一方面,在第一方面的某些实现方式中,该三维环境信息包括该第一距离范围内的待处理空间对应的多帧三维数据;该检测单元具体用于:在该多帧三维数据中的至少一个第一帧三维数据指示该待处理空间中没有障碍物,而该多帧三维数据中的第二帧三维数据指示该待处理空间中出现障碍物时,确定该障碍物为该第一特定障碍物,其中,该至少一个第一帧先于该第二帧。
11.本技术实施例可以在第一距离范围内的待处理空间中检测突然出现的第一特定
障碍物,并对该第一特定障碍物确定近距离交互动作。在兼顾安全性的同时,本技术实施例提供的人机交互方法可以提高人机交互装置的“生命感”,从而提高了用户体验。
12.结合第一方面,在第一方面的某些实现方式中,该检测单元具体用于在第二距离范围内检测第二特定障碍物;该处理单元具体用于:根据所检测到的该第二特定障碍物,确定用于表现好奇或开心情绪的第二交互动作,该第二交互动作包括声音、面部表情、躯干动作中至少一种;其中,该第二距离范围大于第一距离范围。
13.本技术实施例通过声音、面部表情、躯干动作中的至少一种对某个距离范围内所识别到的特定障碍物表达好奇或开心情绪,增强了人机交互装置的“生命感”,从而提高了用户体验。
14.结合第一方面,在第一方面的某些实现方式中,该第二交互动作为推动该第二特定障碍物前行、绕该第二特定障碍物转圈、在该第二特定障碍物下穿行中至少一种。
15.本技术实施例可以进行推动检测到的特定障碍物、绕该特定障碍物转圈、在该特定障碍物下穿行中至少一种,通过多种多样的交互动作,增强了人机交互装置的“生命感”,从而提高了用户体验。
16.结合第一方面,在第一方面的某些实现方式中,该处理单元具体用于:根据该三维环境信息确定该第二特定障碍物的形状信息和/或尺寸信息,并判断该形状信息和/或尺寸信息满足预设条件,确定该第二交互动作。
17.本技术实施例可以在第二距离范围内检测第二特定障碍物,并判断第二特定障碍物的形状信息和/或尺寸信息是否满足预设条件,如果满足,则确定近距离交互动作。本技术实施例提供的人机交互方法可以提高人机交互装置的“生命感”,从而提高了用户体验。
18.结合第一方面,在第一方面的某些实现方式中,检测单元还用于:当每次检测到该第二特定障碍物时进行计数,以获得累积次数;该处理单元还用于:当该累积次数达到第三阈值时,根据所检测到的该第二特定障碍物确定该第二交互动作。
19.在本技术实施例中,如果累积次数未达到第三阈值,即使满足其他条件,人机交互装置也可以暂时不确定第二交互动作。这样,人机交互装置不会在检测到第二特定障碍物时立即做出交互动作,避免了机械地与障碍物进行交互,增强了人机交互装置的“生命感”,从而提高了用户体验。
20.结合第一方面,在第一方面的某些实现方式中,该处理单元还用于:获取上一次对该第二特定障碍物确定交互动作的时间点,在该时间点与当前时刻的差值大于第四阈值时,根据所检测到的该第二特定障碍物确定该第二交互动作。
21.在本技术实施例中,如果上一次对障碍物交互的时间点与当前时刻的差值不大于第四阈值,即使满足其他条件,人机交互装置也可以暂时不确定第二交互动作。这样,人机交互装置不会在一定时间内对第二特定障碍物反复做出交互动作,避免了机械地与障碍物进行交互,增强了人机交互装置的“生命感”,从而提高了用户体验。
22.第二方面,提供了一种人机交互方法,该人机交互方法应用于人机交互装置,该方法包括:检测三维环境信息,并根据该三维环境信息在至少一个距离范围内检测特定障碍物;根据所检测到的该特定障碍物确定交互动作,其中,该交互动作用于对该特定障碍物进行近距离交互。
23.本技术实施例通过三维环境信息监测特定障碍物,从而确定对该特定障碍物进行
近距离的交互。相比于不与障碍物进行交互,只是绕开或者躲避的传统方案,本技术提供的人机交互方法有利于增强人机交互装置的“生命感”,从而提高用户体验。
24.结合第二方面,在第二方面的某些实现方式中,在至少一个距离范围内检测特定障碍物,包括:在第一距离范围内检测第一特定障碍物;根据所检测到的该特定障碍物确定交互动作,包括:根据所检测到的该第一特定障碍物,确定用于表现惊讶或谨慎情绪的第一交互动作,该第一交互动作包括声音、面部表情、躯干动作中至少一种。
25.本技术实施例通过声音、面部表情、躯干动作中的至少一种对某个距离范围内所识别到的特定障碍物表达惊讶或谨慎情绪,增强了人机交互装置的“生命感”,从而提高了用户体验。
26.结合第二方面,在第二方面的某些实现方式中,该第一交互动作为相对于该第一特定障碍物后退、缓慢前进、寻找人脸中至少一种。
27.本技术实施例相对于检测到的特定障碍物后退、缓慢前进、寻找人脸中至少一种,通过多种多样的交互动作,增强了人机交互装置的“生命感”,从而提高了用户体验。
28.结合第二方面,在第二方面的某些实现方式中,该三维环境信息包括该第一距离范围内的待处理空间对应的多帧三维数据;该在第一距离范围内检测第一特定障碍物,包括:在该多帧三维数据中的至少一个第一帧三维数据指示该待处理空间中没有障碍物,而该多帧三维数据中的第二帧三维数据指示该待处理空间中出现障碍物时,确定该障碍物为该第一特定障碍物,其中,该至少一个第一帧先于该第二帧。
29.本技术实施例可以在第一距离范围内的待处理空间中检测突然出现的第一特定障碍物,并对该第一特定障碍物确定近距离交互动作。在兼顾安全性的同时,本技术实施例提供的人机交互方法可以提高人机交互装置的“生命感”,从而提高了用户体验。
30.结合第二方面,在第二方面的某些实现方式中,该在至少一个距离范围内检测特定障碍物,包括:在第二距离范围内检测第二特定障碍物;该根据所检测到的该特定障碍物确定交互动作,包括:根据所检测到的该第二特定障碍物,确定用于表现好奇或开心情绪的第二交互动作,该第二交互动作包括声音、面部表情、躯干动作中至少一种;其中,该第二距离范围大于第一距离范围。
31.本技术实施例通过声音、面部表情、躯干动作中的至少一种对某个距离范围内所识别到的特定障碍物表达好奇或开心情绪,增强了人机交互装置的“生命感”,从而提高了用户体验。
32.结合第二方面,在第二方面的某些实现方式中,该第二交互动作为推动该第二特定障碍物前行、绕该第二特定障碍物转圈、在该第二特定障碍物下穿行中至少一种。
33.本技术实施例可以进行推动检测到的特定障碍物、绕该特定障碍物转圈、在该特定障碍物下穿行中至少一种,通过多种多样的交互动作,增强了人机交互装置的“生命感”,从而提高了用户体验。
34.结合第二方面,在第二方面的某些实现方式中,该根据所检测到的该特定障碍物确定该第二交互动作,包括:根据该三维环境信息确定该第二特定障碍物的形状信息和/或尺寸信息,并判断该形状信息和/或尺寸信息满足预设条件,确定该第二交互动作。
35.本技术实施例可以在第二距离范围内检测第二特定障碍物,并判断第二特定障碍物的形状信息和/或尺寸信息是否满足预设条件,如果满足,则确定近距离交互动作。本申
请实施例提供的人机交互方法可以提高人机交互装置的“生命感”,从而提高了用户体验。
36.结合第二方面,在第二方面的某些实现方式中,该方法还包括:当每次检测到该第二特定障碍物时进行计数,以获得累积次数;当该累积次数达到第三阈值时,根据所检测到的该第二特定障碍物确定该第二交互动作。
37.在本技术实施例中,如果累积次数未达到第三阈值,即使满足其他条件,人机交互装置也可以暂时不确定第二交互动作。这样,人机交互装置不会在检测到第二特定障碍物时立即做出交互动作,避免了机械地与障碍物进行交互,增强了人机交互装置的“生命感”,从而提高了用户体验。
38.结合第二方面,在第二方面的某些实现方式中,该方法还包括:获取上一次对该第二特定障碍物确定交互动作的时间点,在该时间点与当前时刻的差值大于第四阈值时,根据所检测到的该第二特定障碍物确定该第二交互动作。
39.在本技术实施例中,如果上一次对障碍物交互的时间点与当前时刻的差值不大于第四阈值,即使满足其他条件,人机交互装置也可以暂时不确定第二交互动作。这样,人机交互装置不会在一定时间内对第二特定障碍物反复做出交互动作,避免了机械地与障碍物进行交互,增强了人机交互装置的“生命感”,从而提高了用户体验。
40.第三方面,提供了一种人机交互装置,包括:一个或多个处理器;一个或多个存储器;以及一个或多个计算机程序,其中该一个或多个计算机程序被存储在该一个或多个存储器中,该一个或多个计算机程序包括指令,当该指令被该一个或多个处理器执行时,使得该人机交互装置执行上述第二方面及第二方面中的任一可能实现方式中的人机交互方法。
41.第四方面,提供了一种计算机可读存储介质,包括计算机指令,当该计算机指令在人机交互装置上运行时,使得该人机交互装置执行上述第二方面及第二方面中的任一可能实现方式中的人机交互方法。
42.第五方面,提供了一种芯片,包括至少一个处理器和接口电路,该接口电路用于为该至少一个处理器提供程序指令或者数据,该至少一个处理器用于执行该程序指令,以实现上述第二方面及第二方面中的任一可能实现方式中的人机交互方法。
43.第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机指令;当部分或全部所述计算机指令在计算机上运行时,使得上述第二方面及第二方面中的任一可能实现方式中的人机交互方法被执行。
附图说明
44.图1是本技术实施例提供的一例人机交互装置的硬件结构示意图。
45.图2是本技术实施例提供的一例人机交互方法的示意性流程图。
46.图3是本技术实施例提供的一例人机交互装置的示意性结构图。
47.图4是本技术实施例提供的另一例人机交互装置的示意性结构图。
具体实施方式
48.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行描述。
49.在本技术实施例的描述中,除非另有说明,“/”表示或的意思,例如,a/b可以表示a或b;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例
如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,在本技术实施例的描述中,“复数个”或者“多个”是指两个或多于两个。
50.以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
51.示例性地,图1示出了本技术实施例提供的一例人机交互装置100的结构示意图
52.例如,如图1所示,人机交互装置100可以包括处理器110,执行器111,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线,无线通信模块150,传感器模块160,音频模块170,扬声器170a,麦克风170b,摄像头180,显示屏190等。
53.可以理解的是,本技术实施例示意的结构并不构成对人机交互装置100的具体限定。在本技术另一些实施例中,人机交互装置100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
54.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括图形处理器(graphics processing unit,gpu),控制器,存储器等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
55.其中,控制器可以是人机交互装置100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
56.存储器用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从该存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
57.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,和/或usb接口等。其中,i2c接口是一种双向同步串行总线,包括一根串行数据线(serial data line,sda)和一根串行时钟线(derail clock line,scl)。i2s接口可以用于音频通信。在一些实施例中,处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。pcm接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块150可以通过pcm总线接口耦合。uart接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,uart接口通常被用于连接处理器110与无线通信模块150。mipi接口可以被用于连接处理器110与显示屏190,摄像头180等外围器件。gpio接口可以通过软件配置。gpio接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,gpio接口可以用于
连接处理器110与摄像头180,显示屏190,无线通信模块150,传感器模块160,音频模块170等。
58.可以理解的是,本技术实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对人机交互装置100的结构限定。在本技术另一些实施例中,人机交互装置100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
59.执行器111用于控制人机交互装置100移动、旋转、跳跃等。可选地,在一些实施例中,若人机交互装置100包括耳朵、躯干和腿部,执行器111还用于控制躯干相对于腿部转动、腿部相对于躯干转动、躯干摇晃、或耳朵沿躯干旋转等。可选地,在一些实施例中,执行器111可以包括至少一个电机。
60.执行器111用于控制人机交互装置100推动、绕开、躲避障碍物,还用于控制人机交互装置100在桥型障碍物下穿行。
61.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展人机交互装置100的存储能力。
62.内部存储器121可以用于存储计算机可执行程序代码,该可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行人机交互装置100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储人机交互装置100使用过程中所创建的数据(比如音频数据等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
63.usb接口130是符合usb标准规范的接口,具体可以是mini usb接口,micro usb接口,usb type c接口等。usb接口130可以用于连接充电器为人机交互装置100充电,也可以用于人机交互装置100与外围设备之间传输数据。
64.充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过人机交互装置100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。电源管理模块141用于连接电池142,充电管理模块140与处理器110。
65.无线通信模块150可以提供应用在人机交互装置100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt)等无线通信的解决方案。
66.在一些实施例中,人机交互装置100的天线和无线通信模块150耦合,使得人机交互装置100可以通过无线通信技术与网络以及其他设备通信。
67.传感器模块160可以包括至少一个传感器。例如,传感器模块160包括触摸传感器、距离传感器、姿态传感器等。在一些实施例中,触摸传感器为电容传感器,可以设置于人机交互装置的头顶、颈部、背部、腹部等位置,用于感知用户的抚摸、轻拍等交互动作。距离传感器用于测量人机交互装置与外界环境物体或用户之间的距离。姿态传感器为陀螺仪,用于感知人机交互装置的姿态变化。
68.音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。麦克风170b,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
69.人机交互装置100可以通过音频模块170,扬声器170a,麦克风170b,以及处理器110等实现音频功能。例如语音播放,录音等。
70.摄像头180用于捕获静态图像或视频,以便处理器110可以根据摄像头180获取的图像或视频进行事件的检测,从而可以对事件进行反馈等。
71.显示屏190用于显示图像,视频等。在一些实施例中,显示屏190可以显示表情动画,表现人机交互装置的当前情绪状态。
72.图2是本技术实施例提供的一例人机交互方法200的示意性流程图。
73.该图2所示的人机交互方法200可应用于如图1所示的人机交互装置100中。
74.例如,如图2所示,方法200包括s210和s220,下面详细介绍s210和s220。
75.s210,检测三维环境信息,并根据该三维环境信息在至少一个距离范围内检测特定障碍物。
76.示例性地,人机交互装置可以通过tof摄像头检测三维环境信息。tof摄像头通过测量光束在空间中的飞行时间来计算物体的距离,由于其具有精度高、测量范围大等优点被广泛应用于消费电子、无人架驶、ar/vr等领域。
77.例如,tof摄像头的分辨率可以是8*8,上下角度可以为45
°
,这样,会有64条红外线同时向外发射,根据反馈的红外线信息,可以检测到三维环境信息。在一种可能的实现方式中,人机交互装置是机器人,tof摄像头可以安装在机器人的头部,这样,该tof摄像头会随着机器人头部的俯仰角变化,此时需要结合俯仰角变化进行坐标转换,计算基于该机器人坐标系的三维环境信息。
78.示例性地,三维环境信息可以包括横坐标、纵坐标、距离坐标,也可以包括极坐标和距离坐标。
79.距离是指某个点到人机交互装置的长度,距离范围是这个点与人机交互装置之间的空间范围。例如,距离范围可以是与人机交互装置相距200毫米之内的范围,还可以是与人机交互装置相距100-500毫米之内的范围。
80.本技术实施例可以在至少一个距离范围内检测特定障碍物,换言之,可以同时在多个距离范围内对特定障碍物进行检测,例如,可以同时检测小于300毫米、小于400毫米的距离范围内的特定障碍物。
81.s220,根据所检测到的该特定障碍物确定交互动作,其中,该交互动作用于对该特定障碍物进行近距离交互。
82.传统的人机交互装置在检测到障碍物时,往往只有绕开或躲避的反馈,并不会与障碍物进行近距离交互。
83.为了兼顾安全性,本技术实施例的人机交互装置并不会对所有的障碍物进行交互,也可能采取绕开或躲避的反馈。但是,对一部分特定障碍物,本技术实施例的人机交互装置会根据所检测到的该特定障碍物进行近距离交互。特定障碍物需要满足的条件可以预
先设定,本技术对具体的满足条件不作限制,只要由人机交互装置确定近距离交互动作的障碍物,都在特定障碍物的范围之内。
84.本技术实施例可以根据所检测到的该特定障碍物确定交互动作。示例性地,在人机交互装置的实际应用过程中,用户的家中可能会有拖鞋、小凳子等障碍物,人机交互装置可以对这类障碍物进行近距离交互,表演动作,从而表达情绪。例如,人机交互装置可以通过图1中的显示屏190显示开心的表情,在小凳子的下方穿行;人机交互装置也可以通过显示屏190显示好奇的表情,接近并推动拖鞋。
85.本技术实施例通过三维环境信息监测特定障碍物,从而确定对该特定障碍物进行近距离的交互。相比于不与障碍物进行交互,只是绕开或者躲避的传统方案,本技术提供的人机交互方法有利于增强人机交互装置的“生命感”,从而提高用户体验。
86.可选地,在至少一个距离范围内检测特定障碍物,包括:
87.在第一距离范围内检测第一特定障碍物;
88.根据所检测到的该特定障碍物确定交互动作,包括:
89.根据所检测到的该第一特定障碍物,确定用于表现惊讶或谨慎情绪的第一交互动作,该第一交互动作包括声音、面部表情、躯干动作中至少一种。
90.第一距离范围的具体数值可以预先设定,例如,可以设定第一距离范围的数值为200毫米内。
91.为描述方便,本技术将人机交互装置在第一距离范围内检测到的特定障碍物称为第一特定障碍物。应理解,第一特定障碍物可以部分处于第一距离范围内,也就说,第一特定障碍物不必全部处于第一距离范围内。例如,突然出现在第一距离范围内的一只鞋被检测为第一特定障碍物,这只鞋的前掌部分可以在第一距离范围内,而后跟部分可以在第一距离范围外,不必要求这只鞋全部处于第一距离范围内。
92.在这种情况下,也可以看做在人机交互装置周围有第一距离范围的保护区域。一旦在该区域内检测到障碍物,就可以打断当前的动作,进行自我保护,因此把此类打断的事件称为“自我保护事件”。比如当人机交互装置处于激光追踪/跳舞游戏时,机器人在追踪/表演过程中,在保护区域内检测到障碍物,立刻停止追踪激光点/停止表演并向后退,然后再回到激光追踪/跳舞的待机状态。
93.本技术实施例通过声音、面部表情、躯干动作中的至少一种对某个距离范围内所识别到的特定障碍物表达惊讶或谨慎情绪,增强了人机交互装置的“生命感”,从而提高了用户体验。
94.可选地,该第一交互动作为相对于该第一特定障碍物后退、缓慢前进、寻找人脸中至少一种。
95.在一种可能的实现方式中,当人机交互装置触发“自我保护事件”后,如果检测到人脸,则绕开其他的障碍物。在实际应用场景下,突然出现的障碍物往往是“人”,本技术实施例检测到人脸后,为了确保人机交互装置与人进行优先的交互,可以绕开其他的障碍物以避免碰撞,增强了与用户交互的安全性,从而提升了用户体验。
96.本技术实施例相对于检测到的特定障碍物后退、缓慢前进、寻找人脸中至少一种,通过多种多样的交互动作,增强了人机交互装置的“生命感”,从而提高了用户体验。
97.可选地,该三维环境信息包括该第一距离范围内的待处理空间对应的多帧三维数
据;
98.该在第一距离范围内检测第一特定障碍物,包括:
99.在该多帧三维数据中的至少一个第一帧三维数据指示该待处理空间中没有障碍物,而该多帧三维数据中的第二帧三维数据指示该待处理空间中出现障碍物时,确定该障碍物为该第一特定障碍物,其中,该第一帧先于该第二帧。
100.具体地,第一距离范围内存在一个待处理空间,例如,可以划定人机交互装置一个方向的空间为待处理空间。示例性地,人机交互装置采用tof摄像头检测三维环境信息,帧率是15帧/秒,每帧可以获得64个三维数据,在tof摄像头前方的空间可以划定为待处理空间(例如该待处理空间有5个数据)。如果上一帧没有第一特定障碍物的三维数据,这一帧突然出现了第一特定障碍物的三维数据,则检测到了第一特定障碍物。仅有上一帧的三维数据作为条件固然灵敏,但容易出现误检测的情况。在一种可能的实施方式或者能够,可以采用前五帧的三维数据,也就是说,如果前五帧没有第一特定障碍物的三维数据,这一帧突然出现了第一特定障碍物的三维数据,则检测到了第一特定障碍物。
101.人机交互装置可以周期性地检测三维环境信息,每一次检测获得一帧三维数据,如果在先的一帧或多帧中检测到的三维数据指示待处理空间没有障碍物,而之后的一帧检测到的三维数据指示该待处理空间有障碍物,则确定该障碍物为第一特定障碍物。
102.本技术实施例可以在第一距离范围内的待处理空间中检测突然出现的第一特定障碍物,并对该第一特定障碍物确定近距离交互动作。在兼顾安全性的同时,本技术实施例提供的人机交互方法可以提高人机交互装置的“生命感”,从而提高了用户体验。
103.可选地,该在至少一个距离范围内检测特定障碍物,包括:
104.在第二距离范围内检测第二特定障碍物;
105.该根据所检测到的该特定障碍物确定交互动作,包括:
106.根据所检测到的该第二特定障碍物,确定用于表现好奇或开心情绪的第二交互动作,该第二交互动作包括声音、面部表情、躯干动作中至少一种;
107.其中,该第二距离范围大于第一距离范围。
108.第二距离范围可以是预先设置的,例如,第二距离范围可以是500毫米内或1米内。
109.为便于描述,本技术将人机交互装置在第二距离范围内检测到的特定障碍物称为第二特定障碍物。应理解,第二特定障碍物可以部分处于第一距离范围内,这一点与第一特定障碍物类似,请参见前文描述,此处不再赘述。
110.本技术实施例通过声音、面部表情、躯干动作中的至少一种对某个距离范围内所识别到的特定障碍物表达好奇或开心情绪,增强了人机交互装置的“生命感”,从而提高了用户体验。
111.可选地,该第二交互动作为推动该第二特定障碍物前行、绕该第二特定障碍物转圈、在该第二特定障碍物下穿行中至少一种。
112.对于推动该第二特定障碍物前行、绕该第二特定障碍物转圈的第二交互动作,在人机交互装置进行轨迹规划的过程中,还可以判断该第二特定障碍物是否依然存在,即对第二特定障碍物进行检测,如果检测不到该第二特定障碍物,可以中止进行推动或转圈的动作。
113.本技术实施例可以进行推动检测到的特定障碍物、绕该特定障碍物转圈、在该特
定障碍物下穿行中至少一种,通过多种多样的交互动作,增强了人机交互装置的“生命感”,从而提高了用户体验。
114.可选地,该根据所检测到的该特定障碍物确定该第二交互动作,包括:
115.根据该三维环境信息确定该第二特定障碍物的形状信息和/或尺寸信息,并判断该形状信息和/或尺寸信息满足预设条件,确定该第二交互动作。
116.本技术实施例可以在第二距离范围内检测第二特定障碍物,并判断第二特定障碍物的形状信息和/或尺寸信息是否满足预设条件,如果满足,则确定近距离交互动作。本技术实施例提供的人机交互方法可以提高人机交互装置的“生命感”,从而提高了用户体验。
117.示例性地,可以先将三维环境信息进行过滤,例如,过滤掉指示地面的三维数据。然后,提取出形状信息和/或尺寸信息,例如确定该第二特定障碍物的形状信息为球型、桥型等。尺寸信息包括该第二特定障碍物的高度、长度、宽度。
118.作为一例,预设条件可以用于指示小型障碍物,小型障碍物是指较小的特定障碍物。例如,当第二距离范围在500毫米内时,如果检测到障碍物的高度小于8厘米,长与宽小于或等于30厘米,则判断该障碍物为小型障碍物。在实际应用中,小型障碍物可以是用户家中的拖鞋、小球、小玩具等。另外,小型障碍物可能隐藏在其他障碍物后面(如桌子腿),因此可以对检测到的三维环境信息进行聚类,得到分割出的每个小型障碍物的三维数据,基于三维数据,计算障碍物属性(比如小型障碍物最下端的高度、宽度轮廓等,如果悬空的话就不属于小型障碍物),从而确定该障碍物是否满足小型障碍物的预设条件,进而确定第二交互动作。
119.在一种可能的实现方式中,当第二特定障碍物是小型障碍物时,第二交互动作为推动该第二特定障碍物或绕该第二特定障碍物转圈。
120.在一种可能的实现方式中,当第二特定障碍物是小型障碍物时,不再检测该障碍物是否属于桥型或其他类型的障碍物,但需要检测边缘事件。边缘事件用于指示该人机交互装置处于平面(例如桌面、台阶等)的边缘,如果检测到边缘事件,则该人机交互装置停止交互动作。
121.当人机交互装置检测到小型障碍物时,在做出第一次交互动作后,还可以做出第二次交互动作,这样,本技术实施例提供的人机交互装置可多次对同一个小型障碍物做出交互动作,避免只交互一次的情形,增加了人机交互装置的“生命感”,从而提高了用户体验。
122.例如,可以执行5次交互动作。在执行5次交互动作的情况下,这5次交互动作可以是相同的,也可以是部分相同的,还可以是各不相同的。例如,人机交互装置可以表演“闻”的动作,随后远离小型障碍物,人机交互装置也可以表演“原地转圈”,本技术对人机交互装置与小型障碍物的交互动作不作具体限制,只要多次与同一个小型障碍物交互,均在本技术的范围之内。
123.示例性地,在至少一次交互动作之后,人机交互装置可以确定用户指定的交互动作。本技术实施例提供的人机交互装置在对同一个小型障碍物做出多次交互动作后,可做出预设的交互动作,增强了装置与用户的交互能力,提高了用户体验。
124.示例性地,在做出用户指定的交互动作后,可进入较长的冷却时间(例如90秒),在冷却时间内,不对该小型障碍物确定交互动作。本技术实施例提供的人机交互装置在对同
一个小型障碍物做出多次交互动作后,可做出预设的交互动作,并启动计时,在该计时届满前,人机交互装置不再对该小型障碍物确定交互动作。本技术实施例避免了对同一个障碍物无休止地进行交互,使得人机交互装置更符合“人”的特点,具有“生命感”,从而提高了用户体验。
125.作为另一例,预设条件可以用于指示桥型障碍物,桥型障碍物上方都有上沿,能返回三维数据,但是中间是空的。例如,当第二距离范围在1米内时,可以判断三维环境信息的中低区域(例如通过tof视角定义的中低区域)是否有指示存在障碍物的三维数据,如果有,则不再判断桥型障碍物。其次,可以判断三维环境信息的较高区域是否指示存在障碍物的三维数据,如果有,可进一步对三维数据进行筛选,将明显不合理的三维数据过滤,留下距离数值相近的三维数据。然后,对这些三维数据进行线性拟合(例如拟合距离数据和宽度数据),从而确定该障碍物是否满足桥型障碍物的预设条件,进而确定第二交互动作。
126.在一种可能的实现方式中,当第二特定障碍物是桥型障碍物时,第二交互动作为在该第二特定障碍物下穿行。
127.可选地,该方法还包括:
128.当每次检测到该第二特定障碍物时进行计数,以获得累积次数;
129.当该累积次数达到第三阈值时,根据所检测到的该第二特定障碍物确定该第二交互动作。
130.具体地,人机交互装置可以周期性地发出检测信号,当每次检测到第二特定障碍物时可以进行计数,以获得累积次数。例如,人机交互装置在第一个时间点检测到障碍物处于第二距离范围内,记累积次数为1,人机交互装置在第二个时间点(例如,第二个时间点与第一个时间点可以相隔一个检测的周期)检测到该障碍物仍处于第二距离范围内,则记累积次数为2。如果预设的第三阈值为2,此时人机交互装置可以根据所检测到的第二特定障碍物确定第二交互动作。
131.在本技术实施例中,如果累积次数未达到第三阈值,即使满足其他条件,人机交互装置也可以暂时不确定第二交互动作。这样,人机交互装置不会在检测到第二特定障碍物时立即做出交互动作,避免了机械地与障碍物进行交互,增强了人机交互装置的“生命感”,从而提高了用户体验。
132.在一种可能的实现方式中,针对不同的障碍物类型,可以设置不同的第三阈值。例如,设置小型障碍物的第三阈值为1,设置桥型障碍物的阈值为5。这样,人机交互装置对一些类型的障碍物一经检测即确定交互动作,对另一些类型的障碍物需要检测一段时间才确定交互动作,进一步增强了人机交互装置的“生命感”,从而提高了用户体验。
133.可选地,该方法还包括:
134.获取上一次对该第二特定障碍物确定交互动作的时间点,在该时间点与当前时刻的差值大于第四阈值时,根据所检测到的该第二特定障碍物确定该第二交互动作。
135.具体地,人机交互装置可以预设“冷却时间”(即第四阈值),例如对小型障碍物的冷却时间为10秒,当上一次对该小型障碍物确定交互动作后,人机交互装置进入10秒的冷却时间,在这10秒内,人机交互装置不再确定对该小型障碍物的交互动作。换言之,人机交互装置对第二特定障碍物确定交互动作时,还要考虑最近一次,即上一次确定交互动作到现在的间隔时长。如果该间隔时长未超出对第二特定障碍物预设的冷却时间,则不确定交
互动作;如果该间隔时长超出了对该第二特定障碍物预设的冷却时间,则可以根据确定第二交互动作。
136.在本技术实施例中,如果上一次对障碍物交互的时间点与当前时刻的差值不大于第四阈值,即使满足其他条件,人机交互装置也可以暂时不确定第二交互动作。这样,人机交互装置不会在一定时间内对第二特定障碍物反复做出交互动作,避免了机械地与障碍物进行交互,增强了人机交互装置的“生命感”,从而提高了用户体验。
137.在一种可能的实现方式中,可以对不同类型的障碍物预设不同的第四阈值,例如,小型障碍物的第四阈值为10秒,设置桥型障碍物的第四阈值为30秒。这样,进一步增强了人机交互装置的“生命感”,从而提高了用户的体验。
138.下面,结合图3和图4,详细描述本技术实施例提供的装置。
139.图3为本技术实施例提供的一例人机交互装置300的示意性结构图。
140.例如,如图3所示,该人机交互装置300包括检测单元310和处理单元320。其中,检测单元310,用于测三维环境信息,并根据该三维环境信息在至少一个距离范围内检测特定障碍物;处理单元320,用于根据所检测到的该特定障碍物确定交互动作,其中,该交互动作用于对该特定障碍物进行近距离交互。
141.本技术实施例通过三维环境信息监测特定障碍物,从而确定对该特定障碍物进行近距离的交互。相比于不与障碍物进行交互,只是绕开或者躲避的传统方案,本技术提供的人机交互方法有利于增强人机交互装置的“生命感”,从而提高用户体验。
142.关于图3中其他未描述的部分可以参见方法200中的相关描述,这里不再赘述。
143.图4示出了本技术实施例提供的人机交互装置400的示意性结构图。
144.例如,如图4所示,该人机交互装置400包括:一个或多个处理器410,一个或多个存储器420,该一个或多个存储器存储320存储有一个或多个计算机程序,该一个或多个计算机程序包括指令。当该指令被一个或多个处理器410运行时,使得该人机交互装置400执行上述方法200。
145.本技术实施例提供一种计算机程序产品,当该计算机程序产品在人机交互装置运行时,使得人机交互装置执行上述方法200。其实现原理和技术效果与上述方法200类似,此处不再赘述。
146.本技术实施例提供一种计算机可读存储介质,该计算机可读存储介质包含指令,当该指令在设备运行时,使得该设备执行上述方法200。其实现原理和技术效果类似,此处不再赘述。
147.本技术实施例提供一种芯片,该芯片用于执行指令,当该芯片运行时,执行上述方法200。其实现原理和技术效果类似,此处不再赘述。
148.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
149.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
150.在本技术所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
151.该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
152.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
153.该功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例该方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
154.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以该权利要求的保护范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1