基于用户和机器界面之间的检测距离的交互模式选择的制作方法

文档序号:17439080发布日期:2019-04-17 04:31阅读:155来源:国知局
基于用户和机器界面之间的检测距离的交互模式选择的制作方法

本申请要求于2016年9月30日递交的美国非临时专利申请no.15/282,414的优先权的权益。

实施例总体涉及用户界面(interface)。更具体地,实施例涉及基于用户和机器界面之间的检测距离的交互模式选择。



背景技术:

各种类型的输入设备以及这些输入设备所支持的用户交互是公知的。键盘和计算机鼠标是支持计算设备的用户输入的常见输入设备。麦克风可以支持与计算机系统的语音交互。触摸板或触摸屏可以支持与计算设备的触摸交互。相机可以支持与计算设备的手势交互或面部检测/识别交互。

附图说明

通过阅读以下说明书和所附权利要求,并通过参考以下附图,实施例的各种优点对于本领域技术人员将变得明显,在附图中:

图1是根据实施例的用户-机器交互系统的示例的框图;

图2是根据实施例的交互模式选择装置的示例的框图;

图3a至图3c是根据实施例的选择交互模式的方法的示例的流程图;

图4a和图4b是根据实施例的用户-机器交互系统的另一示例的图示;以及

图4c是根据实施例的用户交互模式相对距离的表的示例。

具体实施方式

现在转到图1,用户-机器交互系统10的实施例可以包括用户-机器界面11,其包括一个或多个输出设备12(例如,显示器12a、扬声器12b和/或触觉反馈设备12c等)和一个或多个输入设备13(例如,键盘13a、鼠标13b、触摸设备13c、麦克风13d和/或相机13e等)。触摸设备的非限制性示例可以包括触控板和触摸屏。用户界面控制器14可以通信地耦合到用户-机器界面11以控制显示器12a的输出,并且控制用户和用户-机器界面11之间的可用交互模式。可用交互模式可以包括下列项中的两项或更多项:键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。面部分析的非限制性示例包括面部检测、面部识别和面部表情识别。距离估计器15可以通信地耦合到用户-机器界面11以估计用户与用户-机器界面11的所选部分之间的距离。交互选择器16可以通信地耦合到距离估计器15和用户界面控制器14,以基于所估计的距离来从可用交互模式中选择一个或多个活动交互模式。

用户-机器交互系统10的一些实施例还可以包括交互模式指示器17,该交互模式指示器17通信地耦合到交互选择器16和用户界面控制器14,以向用户指示所选择的一个或多个活动交互模式。例如,用户界面控制器14还可以被配置为提供下列项中的一项或多项以指示所选择的一个或多个活动交互模式:显示器12a上的视觉反馈、对于扬声器12b的音频反馈、或者对于触觉反馈设备12c的触觉反馈。此外或替代地,用户界面控制器14可以被配置为在另一输出设备上提供其他反馈以指示所选择的一个或多个活动交互模式。用户通常是人,但也可以是例如机器人或无人机。

一些传统视觉计算系统的问题在于各种交互模式可能是可用的,但各种交互模式的有效性可能根据用户相对于系统的距离而变化。例如,当用户靠近麦克风时语音交互可能更有效,但随着用户远离麦克风(例如,如果麦克风处于系统上的固定位置但用户四处移动),则语音交互可能变得不太有效,并且语音交互的错误率可能增加。类似地,对于面部分析应用,如果用户距离太远,则错误率可能增加。对于与界面交互的每种模式,通常具有用户距界面的最佳距离或更有效的范围,以便用户与界面交互。

基于计算机视觉的用户交互(例如,手势、面部和人员分析)的效力可能与距离有关。在距离相机传感器的非最佳或不太有效的距离处执行的手势控制、面部分析或身体分析可能具有较高的误报结果或较高的错误率,这可能负面地影响用户的体验。有利地,一些实施例可以使得耦合到用户界面的计算机视觉传感器能够在更有效或最佳交互距离处使用,并且基于所启用的传感器/交互模式向用户提供关于如何与用户界面进行交互的活动反馈。可以使用户能够知道如何最佳地或更有效地与基于计算机视觉的用户界面进行交互。错误率还可以降低,这有利地可以减少用户的挫败感。在这些交互模式不太有效时禁用详细面部分析和/或详细手势识别的另一益处是那些功能相对复杂,并且禁用它们可以增加用于其他任务的计算带宽。

有利地,用户-机器交互系统10的一些实施例可以增强用户体验,因为用于与用户界面进行交互的模式可以基于用户与用户界面的显示屏之间的距离而改变。例如,将启用的用户交互模式可以基于用户和用户界面的显示屏幕之间的深度测量来配置。在一些实施例中,可以基于所启用的交互模式来启用或禁用耦合到用户界面的传感器的子集。可以实现各种实施例的机器的非限制性示例包括交互式自助服务终端(kiosk)、自动售货机、游戏控制台或设备、台式计算机、膝上型计算机、笔记本计算机、平板计算机和可转换计算机(例如,2合1计算机)。

基于计算机视觉的用户界面(例如,面部分析、手势控制、身体分析、语音控制等)可能趋于成为用于终端用户与计算系统进行交互的流行方法。改进或优化交互模式和传感器的能力可以增强用户与基于计算机视觉的用户界面进行交互的用户体验,这是期望特征。有利地,一些实施例可以向用户提供关于所启用的交互模式的活动反馈,通过了解他或她与用户界面进行交互的期望来使得用户更有效地与基于计算机视觉的用户界面进行交互。向用户提供关于所启用的交互模式的活动反馈还可以在用户界面似乎不工作时减少用户的挫败感,因为例如用户不在计算机视觉传感器的有效或最佳操作距离内并且用户不知道这种情况。

有利地,系统10的一些实施例可以通过估计用户与用户-机器界面11的一部分之间的距离,并基于所估计的距离来从两个或更多个可用交互模式中选择一个或多个活动交互模式,来提供更好的用户体验。例如,用户-机器界面系统10的实施例可以被实现为自助服务终端或计算设备(例如,膝上型计算机),并且相机13e可以包括安装在显示器12a(例如,自助服务终端或计算设备上的触摸屏显示器)的顶部附近的深度测量相机。例如,相机13e可以具有类似于intelrealsense相机或microsoftkinect相机的三维(3d)捕获或测量能力。

系统10可以检测用户的存在,并然后测量用户和相机13e之间的距离。可以转换所测量的距离以估计用户和显示器12a之间的距离(例如,基于相机13e和显示器12a的位置的差异)。然后可以在存储记录(例如,数据库)中查找所估计的距离,该存储记录指示哪些交互模式在所估计的距离处可能是最有效的或足够有效的。然后,系统10可以基于存储记录中所指示的内容来启用一些交互模式、禁用一些交互模式(例如,这些交互模式在所估计的距离处可能不太有效或易于出错)、和/或改变交互模式的特性(例如,降低红外(ir)发射器功率、执行/跳过噪声消除、执行/跳过面部表情分析、执行/跳过基于手指的手势识别等)。

上述用户-机器界面11、用户界面控制器14、距离估计器15、交互选择器16、交互模式指示器17和其他系统组件中的每一项的实施例可以在硬件、软件或其任何适当的组合中实现。例如,硬件实现方式可以包括可配置逻辑(例如,可编程逻辑阵列(pla)、现场可编程门阵列(fpga)、复杂可编程逻辑器件(cpld))或使用电路技术(例如,专用集成电路(asic)、互补金属氧化物半导体(cmos)、或晶体管-晶体管逻辑(ttl)技术、或其任何组合)的固定功能逻辑硬件。替代地或另外地,这些组件可以作为存储在机器可读或计算机可读存储介质(例如,随机存取存储器(ram)、只读存储器(rom)、可编程rom(prom)、固件、闪存等)中、由处理器或计算设备执行的一组逻辑指令而被实现在一个或多个模块中。例如,用于执行组件的操作的计算机程序代码可以以一种或多种操作系统适用/适当的编程语言的任何组合来编写,其中编程语言包括面向对象编程语言(例如,java、smalltalk、c++、c#等)和传统过程编程语言(例如,“c”编程语言或类似的编程语言)。

现在转到图2,交互模式选择装置20的实施例可以包括:距离估计器21,用于估计用户与用户-机器界面的一部分之间的距离;以及交互选择器22,通信地耦合到距离估计器21以基于所估计的距离来从两个或更多个可用交互模式中选择一个或多个活动交互模式。例如,距离估计器21可以包括深度传感器(例如,深度相机)、3d相机、二维(2d)相机、相机阵列、麦克风阵列、无线接入点阵列(例如,用于设备三角测量目的的wifi接入点)、信标传感器、接近传感器、或超声波传感器中的一个或多个。例如,两个或更多个可用交互模式可以包括键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式中的两个或更多个。

交互模式选择装置20的一些实施例可以进一步包括通信地耦合到交互选择器22的模式-距离相关器23,用于将在用户和用户-机器界面的一部分之间估计的距离与在所估计的距离处的有效可用交互模式进行关联。例如,模式-距离相关器23可以包括要启用的交互模式的表,其中,表条目由所估计的距离值引用(reference)。例如,模式-距离相关器23可以包括要启用的设备、传感器、模块、应用、或交互模式特性中的一个或多个的表,其中,表条目由所估计的距离值引用。交互模式选择装置20还可以包括通信地耦合到交互选择器22的交互指示器24,用于向用户指示所选择的一个或多个活动交互模式。

可以利用许多设备和/或技术来实现适当的距离估计器21的实施例。如上所述,深度相机可以包括适当的硬件和软件以直接提供来自相机的深度或距离测量,该深度或距离测量可以被容易地转换为精确的距离估计(例如,+/-几厘米)。例如,深度相机可以在显示屏的前面形成虚拟平面,因此当用户或物体进入虚拟平面时,可以测量距离。此外或替代地,利用深度相机的系统可以执行面部检测,然后测量从检测到的面部的中心到相机的距离(例如,面部检测可以比面部识别或面部分析更简单)。此外或替代地,利用深度相机的系统可以检测躯干、手部、或其他身体部位并测量检测到的身体部位和相机之间的距离,以估计用户与用户-机器界面的相关部分之间的距离。一些实施例可以支持多用户检测,其具有针对每个用户的相应距离估计。

深度相机可以提供相对高的精度。然而,一些实施例不需要高精度或甚至不需要实际距离测量。在一些实施例中,所估计的距离可以由接近水平(例如,非常接近、接近、中间、远、非常远等)来表示。接近传感器可以使用雷达或超声波来确定物体或用户与传感器的接近程度(例如,超声波测距仪)。一些传感器可以产生与感测到的接近度成比例的输出信号。可以将输出信号转换为数字值并进行进一步处理以产生足够精确的距离估计。即使没有直接距离测量,也可以通过2d相机、2d相机阵列、和/或麦克风阵列来推断所估计的距离。例如,可以通过在已知距离处捕获用户的面部的校准图像来校准单个2d相机,并且此后可以通过捕获用户的新图像并确定与校准图像相比眼睛或其他面部特征之间的像素的数量来推断所估计的距离。除了深度相机或其他距离估计设备或技术之外或替代深度相机或其他距离估计设备或技术,还可以使用这种设备和/或技术。

此外或替代地,可以基于用户携带的设备来估计距离。一些设备可以提供可用于估计距离的相对精确的定位服务(例如,全球定位卫星(gps)设备)。此外或替代地,可以基于由用户的智能电话或可穿戴设备发射的无线信号的信号强度来估计距离。例如,近场通信(nfc)可以是相对近距离的信号,蓝牙可以是中间距离的信号,以及基于电气和电子工程师协会(ieee)802.11标准(例如,wi-fi)的无线局域网(wlan)产品可以是相对较长距离的信号。三角测量技术可以提供进一步的准确度,以从由用户的(一个或多个)设备发出的无线信号产生足够精确的距离估计。除了深度相机或其他距离估计设备或技术之外或替代深度相机或其他距离估计设备或技术,还可以使用这些技术。鉴于本说明书的益处,本领域技术人员可以想到适当的距离估计器的许多其他实施例。

上述距离估计器21、交互选择器22、模式-距离相关器23、交互指示器24和交互模式选择装置20的其他组件中的每一个的实施例可以在硬件、软件或其任何适当的组合中实现。例如,硬件实现方式可以包括可配置逻辑(例如,pla、fpga、cpld)或使用电路技术(例如,asic、cmos、或ttl技术、或其任何组合)的固定功能逻辑硬件。替代地或另外地,这些组件可以作为存储在机器可读或计算机可读存储介质(例如,ram、rom、prom、固件、闪存等)中、由处理器或计算设备执行的一组逻辑指令而被实现在一个或多个模块中。例如,用于执行组件的操作的计算机程序代码可以以一种或多种操作系统适用/适当的编程语言的任何组合来编写,编程语言包括面向对象编程语言(例如,java、smalltalk、c++、c#等)和传统过程编程语言(例如,“c”编程语言或类似的编程语言)。

现在转到图3a至图3c,选择交互模式的方法30的实施例可以包括在框31处,估计用户与用户-机器界面的一部分之间的距离,以及在框32处,基于所估计的距离从两个或更多可用交互模式中选择一个或多个活动交互模式。例如,估计用户与用户-机器界面的一部分之间的距离可以包括,在框33处,基于来自深度传感器、3d相机、2d相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器或超声波传感器中的一个或多个的数据来确定所估计的距离。例如,在框34处,两个或更多个可用交互模式可以包括键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式中的两个或更多个。

方法30的一些实施例可以进一步包括,在框35处,将在用户与用户-机器界面的该部分之间估计的距离和在所估计的距离处的有效可用交互模式相关联。例如,方法30还可以包括,在框36处,存储要启用的交互模式的表,并且表条目由所估计的距离值引用。方法30还可以包括,在框37处,存储要启用的设备、传感器、模块、应用、或交互模式特性中的一个或多个的表,并且表条目由所估计的距离值引用。方法30的一些实施例可以进一步包括,在框38处,向用户指示所选择的一个或多个活动交互模式。

方法30的实施例可以在例如本文描述的用户-机器交互系统或交互模式选择装置中实现。更具体地,方法30的硬件实现方式可以包括可配置逻辑(例如,pla、fpga、cpld)或使用电路技术(例如,asic、cmos、或ttl技术、或其任何组合)的固定功能逻辑硬件。替代地或另外地,方法30可以作为存储在机器可读或计算机可读存储介质(例如,ram、rom、prom、固件、闪存等)中、由处理器或计算设备执行的一组逻辑指令而被实现在一个或多个模块中。例如,用于执行组件的操作的计算机程序代码可以以一种或多种操作系统适用/适当的编程语言的任何组合来编写,编程语言包括面向对象编程语言(例如,java、smalltalk、c++、c#等)和传统过程编程语言(例如,“c”编程语言或类似的编程语言)。例如,方法30可以在如下面结合示例18至24所描述的计算机可读介质上实现。

现在转到图4a至图4c,用户-机器交互系统40的实施例可以包括机械地耦合到用户界面的显示屏42的深度感测相机41。相机41和显示器42可以通信地耦合到具有适当的硬件、固件、和/或软件的用户界面主机43(例如,计算设备),以检测和估计用户44和显示器42之间的距离。用户界面主机43可以存储用户交互模式对距离表45。例如,表45中的每个条目可以包含距离参数(例如,最小和最大深度)、传感器条目和用户交互配置指针。

根据一些实施例,当深度感测相机41可以检测到用户界面显示屏42前面的用户44时,深度传感器然后可以测量用户44和显示屏42之间的距离并且可以将测量结果转发到用户界面主机43的交互选择器46。交互选择器46可以将所测量的距离与用户交互模式对距离表45中的距离参数进行比较,以找到匹配的表条目。然后,交互选择器46可以基于匹配的表条目中的配置信息来配置用户界面主机43的传感器和/或软件驱动程序,以启用/禁用用户交互模式。

例如,在距离屏幕42小于半米(<0.5)的所估计的距离处(例如,参见图4a),系统40可以确定语音、触摸和面部分析(例如,相机41可以有效地捕获用户44的面部生物特征识别)将被启用(例如,参见表45中的条目1)。还可以启用键盘、触控板和鼠标交互。如果用户44移动到距屏幕42一到两米(1-2)之间(例如,参见图4b),则面部可能太远而无法进行详细分析、用户44距离太远而不能触摸屏幕、和/或用户44可能离麦克风太远而不能进行有效的语音控制(键盘、触控板和鼠标交互在该距离范围处也可能无效)。系统40可以相应地确定将启用手部等级的手势控制(例如,参见表45中的条目3)。交互指示器(未示出)可以使得在显示器42上显示视觉指示,例如,手形图标47,其指示用户可以通过手势控制的光标交互来与界面进行交互。在0.5到1米(0.5-1)之间,对于手指等级的手势分辨率可以足够接近,并且可以启用红-绿-蓝(rgb)相机(例如,参见表45中的条目2),以使得所有五个手指可以被分辨以发布命令或与界面进行交互。

有利地,一些实施例可以涉及基于计算机视觉的用户交互系统,其中,用户与用户界面进行交互的模式可以基于在用户和用户界面的显示屏(或系统的其他部分)之间估计或测量的距离而改变。例如,一些实施例可以包括耦合到用户界面显示屏的面向用户的深度感测相机(例如,具有深度测量能力的intelrealsense相机)。深度相机可以测量用户和相机之间的距离,并使用该数据来估计用户和用户界面显示屏之间的距离。基于所测量的距离,系统可以确定与将启用的与用户界面进行交互的模式和传感器的子集。在一些实施例中,当与用户界面进行交互的模式改变时,用户界面显示屏的图形内容的子集时也可以有利地改变以通知或引导用户关于他或她如何与用户界面进行交互。

与传统系统相比,一些实施例可以改进或优化用户与用户界面进行交互所需的一组启用的传感器和/或软件模块,同时禁用可能潜在地干扰用户交互的其他传感器和/或软件模块。例如,当用户距离显示屏超过1.5米时,深度感测相机可以被配置为光标模式以使得用户能够使用手势来控制显示屏上的光标,同时可以禁用触摸屏界面和面部分析(例如,面部识别、凝视、性别、年龄组、肤色、是戴眼镜的人、面部表情和情绪检测),因为用户可能无法触摸屏幕并且用户可能未处于距离相机传感器的最佳或有效距离以准确评估人的面部特征(例如,可暂时禁用rgb视频流)。当用户距离显示屏不到半(0.5)米时,可以禁用光标模式以允许用户使用触摸来与显示屏进行交互,同时还可以启用面部分析(重新启用rgb视频流)。深度相机的ir发射器功率也可以降低以减少用户的ir眩光。

与用户界面进行交互的某些模式在近距离(例如,触摸、语音控制和面部分析)处可能更有效,而其他模式可以在中间(例如,手势)或较长距离(例如,手或身体部位光标和身体分析)处更好地工作。例如,在较长距离处通常可以采用手部光标控制。但其他身体部位(例如,头部或躯干)或某人持有的物体(例如,棒)可以附加地或替代地用于光标控制。

根据一些实施例,用户-机器交互系统有利地使得用户能够基于其与用户界面(例如,显示屏)的相对距离来使用与用户界面进行交互的最适当的模式。例如,虚拟试衣间镜子显示系统可以执行身体分析,并且当在虚拟试穿会话期间估计他/她距离镜子显示器超过1.5米时,使得用户能够使用手部光标来控制镜子显示屏。身体分析可以包括身体测量,例如,对身体部位进行尺寸测量(例如,身高、身体形状、身体尺寸、每个身体部位的相对位置和大小)。这种测量可以用于增强现实虚拟服装试穿,例如,裙子、衬衫、裤子、鞋、手套、眼镜、面具、帽子、珠宝等。

身体分析还可以包括获取各种身体部位及其交互(例如,手部、肘部、肩部、腿部、躯干等)的位置、运动和方向,并使用该信息来驱动或调用动作。对于游戏系统,例如,移动一组身体部位可以根据各种身体动作来调用化身或虚拟角色来跳舞。就像人握住并转动方向盘一样旋转双手可以改变虚拟车辆或虚拟物体的方向。身体分析还可以包括确定人的姿势(例如,站立、坐、蹲、弯曲、举手、双腿并拢、单腿站立等)或人体的朝向(例如,人面对的方向)。

当用户完成虚拟试穿会话时,他/她可以接近镜子显示器以进行购买或其他选项。当估计用户距离显示器小于0.5米时,可以禁用身体测量和光标模式以允许用户使用触摸、语音控制和面部分析来与显示器进行交互。在一些实施例中,当系统处于触摸/语音控制模式时,镜子显示器的图形内容可以改变(例如,活动图块(tiles)可以显示出启用麦克风)。

在一些实施例中,例如,传感器条目可以包含关于将启用/禁用的传感器(例如,接近传感器、深度传感器、相机传感器、麦克风等)的信息。在一些实施例中,禁用用户交互模式可以包括简单地忽略或绕过包括该交互模式的传感器数据,而不必禁用传感器或软件模块。有时可以禁用传感器以不干扰其他通信或其他传感器。例如,如果用户不够靠近麦克风,则可以关闭麦克风以避免获得诸如背景噪声(例如,错误通信)之类的杂散声音。此外或替代地,可以修改传感器的操作特性或传感器的相关联固件和/或软件处理。例如,如果环境无噪声则可以增加麦克风的增益,从而在用户移动远离界面时保持有效的语音交互。另一示例是当用户离界面较远时可以采用噪声过滤算法,但当用户离界面较近时可以跳过或不采用噪声过滤算法。另一示例是如果用户靠近屏幕则可以降低ir激光发射器传感器功率以避免分散光线。

在一些实施例中,表45可以包括用户交互配置指针条目,其可以包括如下指针:该指针指向包含启用/禁用用户交互模式所需的附加信息的文件或数据结构。在一些实施例中,启用/禁用用户交互模式可以包括调用一个或多个驱动程序或软件模块来执行/跳过某些操作以激活/去激活用户交互模式。例如,可以基于距离来启用/禁用或改变软件模块、应用、或算法(例如,面部检测与面部分析;手指分辨率与手部分辨率)。有利地,如果因为用户离界面太远而不能使复杂的用户交互有效而禁用这种交互模式,则计算复杂度和错误率都可以降低。

在一些实施例中,表45可以包括重叠的距离范围以避免交互模式之间的过度抖动(例如,0-0.7m;0.6-1.2m;1.1-2m)。例如,只要所估计的距离保持在特定范围内,则交互模式可以保持相同,并且在交互模式切换之前用户必须足够远地移动到另一范围内。此外或替代地,可以采用计时器来避免交互模式之间的过度抖动。

可以针对特定系统(例如,自助服务终端)锁定表45,或者表45可以是可配置的。用户能够编辑表中的偏好(例如,通过设置界面来指示用户可选距离和/或交互模式),或者配置在固件中可以固定的(例如,仅由系统提供商更新)。可以为不同的用户提供单独的表。用户能够注册设备和/或交互模式(例如,添加智能电话或耳机)。例如,如果用户较近,则可以启用系统麦克风以用于语音命令。如果用户移动得更远,则可以建立到耳机或智能电话麦克风的通信以用于语音命令(例如,在用户的许可下进行蓝牙连接)。

例如,可以利用诸如智能电话之类的用户设备来提供附加的界面交互或向用户提供反馈。例如,当成功接收到手势命令时,系统可以使得耳机或智能电话发出蜂鸣声。此外或替代地,如果智能电话包括触觉反馈设备(例如,振动),则系统可以使得智能电话向用户提供触觉反馈。如果系统包括机器视觉、物体识别和/或物体检测能力,则系统可以基于检测到的可用设备自动地调整交互的表或模式。例如,系统可能检测到耳机或智能电话在附近的桌子上,因此没有与用户在一起并且不能用于额外的语音交互或反馈。

在一些实施例中,用户可以被系统标识或识别。然后,系统可以跟踪用户并拒绝来自另一介入用户或对象的交互。此外或替代地,一些实施例可以支持多用户交互。可以针对具有相应的交互模式的每个用户进行单独的距离估计。根据可用于用户的设备,可以针对每个用户使用单独的模式-距离表。例如,如果较远的用户佩戴耳机,则语音交互可以针对该用户而保持启用,而较近的用户可以启用适当的传感器以进行面部生物特征识别。

附加说明和示例:

示例1可以包括一种用户-机器交互系统,包括:用户-机器界面,该用户-机器界面包括一个或多个输出设备和一个或多个输入设备,其中,该一个或多个输出设备包括显示器、扬声器或触觉反馈设备中的一个或多个;并且其中,该一个或多个输入设备包括键盘、鼠标、触摸输入设备、麦克风、或相机中的一个或多个;用户界面控制器,通信地耦合到机器界面以控制显示器、扬声器或触觉反馈设备中的一个或多个的输出,并控制用户和机器界面之间的可用交互模式,可用交互模式包括下列项中的两项或更多项:键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式;距离估计器,通信地耦合到机器界面以估计用户与机器界面的所选部分之间的距离;以及交互选择器,通信地耦合到距离估计器和用户界面控制器以基于所估计的距离从可用交互模式中选择一个或多个活动交互模式。

示例2可以包括示例1的用户-机器交互系统,还包括交互模式指示器,其通信地耦合到交互选择器和用户界面控制器以向用户指示所选择的一个或多个活动交互模式。

示例3可以包括示例2的用户-机器交互系统,其中,用户界面控制器还提供下列项中的一项或多项以指示所选择的一个或多个活动交互模式:在显示器上的视觉反馈、对扬声器的音频反馈、或对触觉反馈设备的触觉反馈。

示例4可以包括一种交互模式选择装置,包括:距离估计器,用于估计用户与用户-机器界面的部分之间的距离;以及交互选择器,通信地耦合到距离估计器,以基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。

示例5可以包括示例4的交互模式选择装置,其中,距离估计器包括下列项中的一项或多项:深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。

示例6可以包括示例4至5中任一示例的交互模式选择装置,其中,两个或更多个可用交互模式包括下列项中的两项或更多项:键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。

示例7可以包括示例4至6中任一示例的交互模式选择装置,还包括模式-距离相关器,其通信地耦合到交互选择器以存储在用户和用户-机器界面的部分之间估计的距离与在所估计的距离处的有效可用交互模式的相关性。

示例8可以包括示例7的交互模式选择装置,其中,模式-距离相关器包括要启用的交互模式的表,其中,表条目由所估计的距离值引用。

示例9可以包括示例7至8中任一示例的交互模式选择装置,其中,模式-距离相关器包括要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表,其中,表条目由所估计的距离值引用。

示例10可以包括示例4至9中任一示例的交互模式选择装置,还包括交互指示器以向用户指示所选择的一个或多个活动交互模式。

示例11可以包括一种选择交互模式的方法,包括估计用户与用户-机器界面的部分之间的距离,以及基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。

示例12可以包括示例11的选择交互模式的方法,其中,估计用户与用户-机器界面的该部分之间的距离包括基于来自下列项中的一项或多项的数据来确定所估计的距离:深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。

示例13可以包括示例11至12中任一示例的选择交互模式的方法,其中,两个或更多个可用交互模式包括下列项中的两项或更多项:键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。

示例14可以包括示例11至13中任一示例的选择交互模式的方法,还包括将在用户和用户-机器界面的部分之间估计的距离与在所估计的距离处的有效可用交互模式相关联。

示例15可以包括示例14的选择交互模式的方法,还包括存储要启用的交互模式的表,其中,表条目由所估计的距离值引用。

示例16可以包括示例14至15中任一示例的选择交互模式的方法,还包括存储要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表,其中,表条目由所估计的距离值引用。

示例17可以包括示例11至16中任一示例的选择交互模式的方法,还包括向用户指示所选择的一个或多个活动交互模式。

示例18可以包括至少一个计算机可读介质,包括一组指令,该组指令在由计算设备执行时,使得计算设备估计用户与用户-机器界面的部分之间的距离,以及基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式。

示例19可以包括示例18的至少一个计算机可读介质,包括另外的一组指令,该另外的一组指令在由计算设备执行时,使得计算设备基于来自下列项中的一项或多项的数据来确定所估计的距离:深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。

示例20可以包括示例18至19中任一示例的至少一个计算机可读介质,其中,两个或更多个可用交互模式包括下列项中的两项或更多项:键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。

示例21可以包括示例18至20中任一示例的至少一个计算机可读介质,包括另外的一组指令,该另外的一组指令在由计算设备执行时,使得计算设备将在用户和用户-机器界面的该部分之间估计的距离与在所估计的距离处的有效可用交互模式相关联。

示例22可以包括示例21的至少一个计算机可读介质,包括另外的一组指令,该另外的一组指令在由计算设备执行时,使得计算设备存储要启用的交互模式的表,其中,表条目由所估计的距离值引用。

示例23可以包括示例21至22中任一示例的至少一个计算机可读介质,包括另外的一组指令,该另外的一组指令在由计算设备执行时,使得计算设备存储要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表,其中,表条目由所估计的距离值引用。

示例24可以包括示例18至23中任一示例的至少一个计算机可读介质,包括另外的一组指令,该另外的一组指令在由计算设备执行时,使得计算设备向用户指示所选择的一个或多个活动交互模式。

示例25可以包括一种交互模式选择装置,包括用于估计用户与用户-机器界面的一部分之间的距离的装置,以及用于基于所估计的距离从两个或更多个可用交互模式中选择一个或多个活动交互模式的装置。

示例26可以包括示例25的交互模式选择装置,其中,用于估计用户与用户-机器界面的该部分之间的距离的装置包括用于基于来自下列项中的一项或多项的数据来确定所估计的距离的装置:深度传感器、三维相机、二维相机、相机阵列、麦克风阵列、无线接入点阵列、信标传感器、接近传感器、或超声波传感器。

示例27可以包括示例25至26中任一示例的交互模式选择装置,其中,两个或更多个可用交互模式包括下列项中的两项或更多项:键盘交互模式、鼠标交互模式、触摸交互模式、语音交互模式、手势交互模式、身体部位光标交互模式、身体分析交互模式、或面部分析交互模式。

示例28可以包括示例25至27中任一示例的交互模式选择装置,还包括用于将在用户和用户-机器界面的该部分之间估计的距离与在所估计的距离处的有效可用交互模式相关联的装置。

示例29可以包括示例28的交互模式选择装置,还包括用于存储要启用的交互模式的表的装置,其中,表条目由所估计的距离值引用。

示例30可以包括示例28至29中任一示例的交互模式选择装置,还包括用于存储要启用的设备、传感器、模块、应用、或交互模式特性中的一项或多项的表的装置,其中,表条目由所估计的距离值引用。

示例31可以包括示例25至30中任一示例的交互模式选择装置,还包括用于向用户指示所选择的一个或多个活动交互模式的装置。

实施例适用于所有类型的半导体集成电路(“ic”)芯片。这些ic芯片的示例包括但不限于处理器、控制器、芯片组组件、pla、存储器芯片、网络芯片、片上系统(soc)、ssd/nand控制器asic等。此外,在一些附图中,信号导线用线来表示。一些线可以不同以指示更多的组成信号路径、可以具有数字标签以指示组成信号路径的数目、和/或可以在一个或多个端具有箭头以指示主要信息流方向。然而,这不应以限制方式进行解释。而是,可以结合一个或多个示例性实施例来使用这种附加细节以便于更容易地理解电路。任何所表示的信号线,无论是否具有附加信息,实际上可以包括可在多个方向上行进的一个或多个信号,并且可以用任何适当类型的信号方案来实现,例如,利用差分对实现的数字或模拟线路、光纤线路和/或单端线路。

可以给出示例尺寸/模型/值/范围,但实施例不限于此。随着制造技术(例如,光刻)随着时间的推移而成熟,预期可以制造更小尺寸的设备。此外,为了简化说明和讨论,并且为了不使实施例的某些方面模糊,可以或可以不在附图示出对于ic芯片和其他组件公知的电源/接地连接。此外,可以以框图形式示出布置以避免模糊实施例,并且还考虑到关于这种框图布置的实现方式的细节高度依赖于实现该实施例的平台的事实,即这些细节应在本领域技术人员的能力范围内。在阐述具体细节(例如,电路)以便描述示例实施例的情况下,对于本领域技术人员来说明显的是,可以在没有这些具体细节或具有这些具体细节的变化的情况下实施实施例。因此,描述被认为是说明性的而非限制性的。

术语“耦合”在本文中可用于指代所讨论的组件之间的任何类型的直接或间接关系,并且可以应用于电气、机械、流体、光学、电磁、机电或其他连接。此外,除非另有说明,否则本文可以使用术语“第一”、“第二”等来仅促进讨论,并且不带有特定的时间或顺序意义。

如在本申请和权利要求中所使用的,由术语“一个或多个”联结的项的列表可以表示所列术语的任何组合。例如,短语“a、b或c中的一个或多个”可以表示a;b;c;a和b;a和c;b和c;或a、b和c。如在本申请和权利要求中所使用的,由术语“两个或更多个”联结的项的列表可以表示所列术语中的两个或更多个的任何组合。例如,短语“a、b或c中的两个或更多个”可以表示a和b;a和c;b和c;或a、b和c。

从前面的描述中,本领域技术人员将理解,实施例的广泛技术可以以各种形式来实现。因此,虽然已经结合其具体示例描述了实施例,但实施例的真实范围不应受此限制,因为在研究了附图、说明书和所附权利要求之后,其他修改对于本领域技术人员将变得明显。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1