响应于操作人员位置和手势的用户接口的制作方法
【技术领域】
[0001]这里描述的实施例一般地涉及一种根据操作人员相对于计算装置的位置和由操作人员做出的手势采用与操作人员的不同交互模式的用户接口。
【背景技术】
[0002]典型计算装置被以物理方式配置并且具有仅支持一种操作方式的用户接口，包括以单个特定方式配置的仅一组用户接口部件。这是由于假设计算装置的操作人员选择适合于其预期操作方式的计算装置(例如，在桌子上操作的桌上型计算机、在房间中操作的机顶盒、在手中携带的同时操作的手持便携式装置等)并且不太可能试图改变它而出现的。
[0003]作为结果，计算装置的图形用户接口常常被设计为仅支持一种交互配置。虽然计算装置的操作人员经常可“定制”它的用户接口的各方面，但这些定制变为仅用作单个交互方式的用户接口的一部分。在用于创建或改变多个交互配置中的配置的典型“设置”或“配置”菜单中，未提供机会。
[0004]有效结果是:需要操作人员采用计算装置已被构造为支持的无论哪种单个交互方式。更具体地讲，在计算装置被配置为作为桌上型计算装置支持操作的情况下，预期它的操作人员通过总是坐在桌子旁来适应所述一种交互方式以如此使用它。在该计算装置的物理配置方面或在它的针对想要在不同时间(例如，有时在坐在桌子附近的同时并且有时在以物理方式远离该计算装置和该桌子的同时)以不同方式与它交互的用户的用户接口方面，未进行适应。
【附图说明】
[0005]图1图解计算装置的实施例的各方面。
[0006]图2图解计算装置的替代实施例的各方面。
[0007]图3A-D图解实施例的操作人员的不同位置和手势的各方面。
[0008]图4A-F图解根据实施例的用户接口的不同的自动选择的模式的各方面。
[0009]图5和6图解图1的实施例的各方面。
[0010]图7图解根据实施例的第一逻辑流程。
[0011 ]图8图解根据实施例的第二逻辑流程。
[0012]图9图解根据实施例的第三逻辑流程。
[0013]图10图解根据实施例的处理架构。
【具体实施方式】
[0014]各种实施例一般地涉及响应于计算装置的操作人员的位置和手势而被自动地选择的计算装置的用户接口的多个模式的提供。更具体地讲，反复地监视诸如相对于计算装置的用户接口部件的操作人员的手的移动和操作人员的身体的一个或多个部分的位置的因素。当操作人员操作计算装置以便能够实现这些多个模式中的不同模式的动态选择时，由于操作人员可能在这种操作期间改变位置，因此这种反复监视持续进行。
[0015]响应于检测到操作人员的位置相对比较接近计算装置的可手动操作控制装置(例如，鼠标、键盘、触摸垫、触摸屏等中的一个或多个等)从而可实现这些控制装置的操作，并且响应于检测到操作人员的至少一只手位于如此操作这些控制装置的位置，自动地选择模式之一。响应于检测到操作人员的位置相对比较接近这些控制装置，还响应于检测到操作人员的至少一只手位于使手的手指指向计算装置的显示器的一部分的位置，自动地选择另一模式。响应于检测到操作人员的位置未相对比较接近这些控制装置，自动地选择又一模式。
[0016]这些模式中的每个模式的自动选择是用户接口的视觉部分的视图的自动选择，在该视图中在计算装置的显示器上以不同方式以视觉方式至少提供可选择菜单项。视觉部分的视图之一被具体地配置为通过使用可手动操作控制装置支持操作人员交互。另一视图被具体地配置为通过在相对比较接近这些控制装置的同时利用操作人员的一只手的手指指向在显示器上以视觉方式呈现的可选择菜单项来支持操作人员交互。又一视图被具体地配置为通过在定位得足够远离控制装置以预先排除与该用户接口部件的交互的同时利用至少一只手做出手势来支持操作人员交互。再一次，当动态地选择这些模式中的不同模式时，由于操作人员可能在计算装置的操作期间改变位置，因此也动态地发生这些视图中的不同对应视图的自动选择。
[0017]另外，这些模式中的每个模式的自动选择是对由计算装置可能采用的用于验证操作人员的身份的机制的自动选择。所述多个模式之一的自动选择基于由一个或多个传感器提供的操作人员相对于用户接口部件的位置和操作人员的至少一只手的至少一个位置的指示的接收。多个模式之一的这种自动选择能够使操作人员在不同时间以不同方式与计算装置交互。
[0018]一般地参照这里使用的符号和术语，可根据在计算机或计算机的网络上执行的程序过程呈现下面的详细描述的一部分。这些过程描述和表示由本领域技术人员使用以最有效地将他们的工作的实质传达给其它本领域技术人员。过程在这里通常被设想为导致预期结果的前后一致的一系列操作。这些操作是需要物理量的物理操纵的操作。通常，但并非必然，这些量采取能够被存储、传送、组合、比较和以其它方式操纵的电、磁或光学信号的形式。有时，主要由于常用的原因，已证明将这些信号称为位、值、元素、码元、字符、项、数字等是比较方便的。然而，应该注意的是，所有这些和类似术语应该与合适的物理量关联并且仅是应用于这些量的方便的标签。
[0019]另外，经常在通常与由人类操作人员执行的精神操作关联的术语(诸如，相加或比较)中提及这些操纵。然而，在这里描述的形成一个或多个实施例的一部分的任何操作中，并不需要或在多数情况下不想要人类操作人员的这种能力。相反地，这些操作是机器操作。用于执行各种实施例的操作的有用的机器包括由存储在通用数字计算机内的根据这里的教导编写的计算机程序选择性地激活或配置的通用数字计算机，和/或包括为了需要的目的具体地构造的设备。各种实施例还涉及用于执行这些操作的设备或系统。这些设备可被具体地构造用于需要的目的，或者可包括通用计算机。从给定的描述，将会出现针对各种这些机器的需要的结构。
[0020]现在参照附图，其中相似的附图标记始终被用于表示相似的元件。在下面的描述中，为了解释的目的，阐述许多特定细节以便提供对它的彻底的理解。然而，可能清楚的是，能够在没有这些特定细节的情况下实施新颖的实施例。在其它实例中，以方框图形式示出公知结构和装置以便方便其描述。本发明应该包括落在权利要求的范围内的所有修改、等同物和替代物。
[0021]图1是根据这里描述的实施例的交互系统1000的方框图，交互系统1000包括用于检测操作人员位置和手势并且对操作人员位置和手势做出响应的交互装置100的实施例。图1还可选地描述维护与操作人员关联的账号的服务器500，交互装置100和服务器500经它们之间的网络999通信以确定是否允许操作人员访问该账号。这些计算装置100和500中的每一个可以是各种类型的计算装置(非限制性地包括，桌上型计算机系统、数据输入终端、膝上型计算机、笔记本计算机、超级本计算机、平板计算机、手持式个人数据助手、智能电话、数字照相机、移动装置、包括在衣服中的体佩计算装置、集成在车辆中的计算装置、服务器、服务器群、服务器农场等)中的任何计算装置。
[0022]如图中所绘，这些计算装置100和500可交换关于操作人员的身份是否被验证的信号，从而可允许访问与他们关联的账号。然而，这些计算装置中的一个或多个可交换与感兴趣的图像或区域完全无关的其它数据。在各种实施例中，网络999可以是可能局限于在单个建筑物或其它相对有限的区域内延伸的单个网络、可能延伸很大距离的连接的网络的组合。换而言之，网络999可包括互联网、一个或多个专用内联网或二者。因此，网络999可基于可交换信号的各种通信技术(或通信技术的组合)(非限制性地包括，采用以电气方式和/或以光学方式传导的线缆的有线技术以及采用红外、射频或其它形式的无线传输的无线技术)中的任何通信技术。还应该注意的是，可替代地在针对每个计算装置的不同时间经可移动存储器(例如，基于FLASH内存技术的固态存储器、光盘介质等)的直接耦合至少在这些计算装置之间交换这种数据。
[0023]在各种实施例中，交互装置100合并了处理器元件150、存储器160、控制装置120、显示器180、接近传感器111、麦克风112、图像传感器115、眼睛跟踪器116和用于将交互装置100耦合到网络999的接口 190中的一个或多个。存储器160存储控制例程140和标识数据132中的一个或多个。图像传感器115可基于用于捕捉操作人员的至少脸和/或手的图像的各种技术中的任何技术，包括并且不限于电荷耦合器件(CCD)半导体技术。将要详细地解释，图像传感器115可被用于确定操作人员与控制装置120的距离，验证操作人员的身份和/或验证操作人员的手势被朝着交互装置100引导。替代地或者另外，接近传感器111、麦克风112和眼睛跟踪器116中的一个或多个可被用于实现这一点。
[0024]如果存在接近传感器111，则接近传感器111可基于确定交互装置100的一部分与操作人员的距离的各种技术中的任何技术。在一些实施例中，可使用超声输出和接收的组合，其中朝着预期操作人员操作交互装置100的位置投射超声波，并且确定在由操作人员的身体反射之后这些声波返回所需的时间量。在其它实施例中，可类似地使用红外光输出和接收的组合。
[0025]如果存在麦克风112，则麦克风112可基于用于检测操作人员的语音的各种技术中的任何技术。麦克风112可按照声学方式耦合到周围空气以检测周围空气中的声音，或者可按照机械方式耦合到交互装置100的一部分以通过交互装置100的壳体的一部分检测传导至交互装置100的该部分的声频中的振动。
[0026]如果存在眼睛跟踪器116，则眼睛跟踪器116可基于用于检测操作人员的眼睛的注视方向的各种技术中的任何技术。在一些实施例中，可使用红外光输出和接收的组合，其中分析从操作人员眼睛反射的红外光以确定操作人员看着的方向。
[0027]在执行控制例程140的一系列指令时，处理器元件150反复地监视至少图像传感器115，因为图像传感器115反复地捕捉交互装置100的操作人员的图像。作为至少监视和解释由操作人员做出的手势的一部分，处理器元件150实现这一点。处理器元件150根据操作人员与控制装置120的距离的确定调整手势的解释。例如，如果操作人员相对于控制装置120位于相对较短距离从而操作人员能够利用手操作控制装置120(例如，操作人员的手接近控制装置120)，则处理器元件150可将手势的解释限制于第一组可能的手势(诸如，手抬起以指向显示器180的一部分的手势)。而如果操作人员相对于控制装置120位于相对较长距离从而操作人员不能利用手到达控制装置120以操作控制装置120 (例如，操作人员的身体的各部分都未接近控制装置120)，则处理器元件150可将手势的解释限制于第二组可能的手势，诸如在空中抬起的手的手指的数量或者手或手指的其它姿势，特别地，手指和/或手移动的模式和/或手语(诸如，ASL(美国手语))的手势。在确定操作人员与控制装置120的距离时，处理器元件150可主要依赖于图像传感器115。处理器元件150可采用控制装置120和/或图像传感器115的视场中的其它物体的典型版本的已知维度以利用比例比较确定与操作人员的距离。替代地或者另外，处理器元件150可依赖于接近传感器111，从接近传感器111接收指示交互装置100的一部分(例如，控制装置120)与操作人员的距离的信号。
[0028]图2图解包括交互装置100的替代实施例的交互系统1000的方框图。图4中描绘的交互装置100的这个实施例在许多方面类似于图1中描绘的实施例，并且因此，相似的附图标记始终被用于表示相似的元件。然而，与图1的交互装置100不同，图4的交互装置100另外合并了控制器200，控制器200包括处理器元件250和存储器260。此外，与图1的交互装置100不同，包括授权操作人员的标识特性的指示的标识数据132与控制例程240一起被存储在该控制器的存储器260内，而非存储在存储器160内。
[0029]设想:具有完全与处理器150和存储器160分开的处理器元件200和存储器260的控制器200的这种合并可被视为希望提供用于操作人员验证的第二完全分开的操作环境。换而言之，处理器元件250和存储器260定义基本上与由至少处理器元件150和存储器160定义的操作环境分开的操作环境的一部分。控制器200内的这个分开的操作环境能够使得在大大减小的受到可由处理器元件150执行的其它不那么可靠的软件损害的风险的情况下执行用于脸、手/手势和/或语音识别的算法。标识数据132在存储器260内的存储帮助进一步确保标识数据132不会通过下述方式受到损害:被改变以便能够接受未授权人员作为授权操作交互装置100的人员。
[0030]图3A-D描绘操作人员10的头11和/或手15的至少一个手指14可如何相对于交互装置100的一部分(诸如，控制装置120和/或显示器180)定位的至少一些可能的场景。图4A-F描绘可响应于图2A-D的一个或多个场景被自动地选择并且在显示器180上以视觉方式呈现的用户接口的视觉部分880的可能的视图。
[0031]如图3A-D的所有附图中所绘，显示器180和控制装置120是交互装置100的在物理上不同的部分，并且位于一件家具的平坦部分90上面。接近传感器111、麦克风112、图像传感器115和眼睛跟踪器116中的一个或多个以物理方式耦合到显示器180的一部分。应该注意的是，交互装置100的这些部件的这个物理配置的这个描绘仅呈现物理配置的一个可能的例子。在其它配置中，控制装置120和显示器180可被以各种方式中的任何方式集成在公共壳体中。此外，虽然接近传感器111、麦克风112、图像传感器115和眼睛跟踪器116被描绘为被装入在以物理方式親合到显不器180的壳体的一部分的不同壳体中，但可替代地在该件家具的平坦部分90上面或以各种其它方式单独地以物理方式支撑该不同壳体。此外，可实现完全不同的物理配置，其中这些部件111、112、115和116中的一