与计算设备的多距离、多模态自然用户交互的制作方法
【技术领域】
[0001]实施例一般涉及与计算设备的基于用户的交互。更具体地，实施例涉及与计算设备的多距离、多模态自然用户交互(NUI)。
【背景技术】
[0002]眼动追踪可以被用于增强与计算设备和显示器的基于用户的交互。然而，常规的眼动追踪解决方案可能受限于相对短的交互距离(例如，追踪传感器/显示器与主体之间的30cm到90cm距离)。而且，诸如眼皮和/或睫毛遮挡之类的生物学考虑可能指示:应将追踪传感器定位为靠近主体正在与之交互的显示器的底部。这样的定位可能最终增加计算设备的总体成本。
【附图说明】
[0003]通过阅读以下说明书和随附权利要求并且通过参考以下附图，实施例的各种优点将变得对本领域技术人员而言显而易见，在附图中:
图1是根据实施例的多距离显示器布置的示例的图示；
图2是根据实施例的用户与多距离显示器布置交互的示例的图示；
图3是根据实施例的促进与多距离显示器布置的基于用户的交互的方法的示例的流程图；
图4是根据实施例的坞接站(docking stat1n)的示例的透视图；
图5是根据实施例的计算设备的示例的框图；
图6是根据实施例的处理器核的示例的框图；以及图7是根据实施例的系统的示例的框图。
【具体实施方式】
[0004]现在转向图1和2，示出了多显示器布置，其中用户10与计算设备16(例如台式计算机、笔记本计算机、智能平板、可转换平板、移动因特网设备/MID、智能电话或任何其它移动设备)的短程显示器14 (例如，触摸屏/面板)以及长程显示器12 (例如，物理监视器、电视/TV、投影式显示器)交互。因此，长程显示器12可能被安装在例如从用户10跨房间的墙壁上(例如在用户的物理到达范围之外)，而短程显示器14可以处于用户10的到达范围内的桌子上或者由用户10握持。在所图示的示例中，传感器18与短程显示器14并置(例如耦合到短程显示器14、安装在短程显示器14上、与短程显示器14集成等)，其中传感器18被配置成基于用户10与多显示器布置之间的交互来生成短程信号。在生成信号的传感器18处于距用户10的相对较近的接近区域内的意义上，由传感器18生成的信号可以被视为是“短程”的。
[0005]例如，用户交互可以包括眼睛注视、手部姿势、面部姿势、头部位置、语音命令等或者其任何组合。因此，传感器18可以包括诸如相机(例如三维/3D、二维/2D)之类的光学传感器、麦克风、生物测量传感器(例如心率、指纹)等或其任何组合。如将更加详细地讨论的，经由传感器18检测的用户交互可以用于控制长程显示器12的显示响应以及短程显示器14的显示响应。长程显示器12的响应可以是经由例如计算设备16内的内部连接(例如对于投影式显示器)、长程显示器12与计算设备16之间的有线连接(例如通用串行总线/USB、高清多媒体接口 /HDMI)、长程显示器12与计算设备16之间的无线连接(例如无线保真/W1-Fi)等等来控制的。
[0006]因此，如果传感器18追踪用户眼睛的注视，则所图示的方法可以使得用户10能够通过仅仅看向长程显示器12、短程显示器14中的任一个来在与短程显示器14交互和与长程显示器12交互之间切换。而且，用户10可以使用基于注视的交互以及诸如手部姿势、面部姿势、头部移动、语音命令等之类的其它交互来施行其它更复杂的操作，诸如拖放操作、高亮操作、点击操作、打字操作等等。诸如手部姿势、面部姿势和头部移动之类的交互可以是通过将对象识别过程应用于从传感器18获取的短程信号来检测的。类似地，诸如语音命令之类的交互可以是通过将话音识别过程应用于从传感器18获取的短程信号来检测的(例如，如果传感器包括麦克风的话)。
[0007]用户10可以因此使用例如眼睛注视、手部/面部姿势和话音命令来与长程显示器12交互。此外，用户10可以使用例如手部触摸、键盘录入、鼠标移动/点击、手部/面部姿势和眼睛注视来与短程显示器14交互。因此，所图示的解决方案可以实现多显示器、多模态环境中的更加自然的用户交互。
[0008]在一个实施例中，所图示的传感器18被定位在短程显示器14的顶部处。因此，传感器18出于关于长程显示器12的眼动追踪目的可以是有效的而不担心眼皮和/或睫毛遮挡。此外，传感器18的所图示的放置可以通过使得传感器18能够还用于除用户交互检测外的目的(例如标准相机操作等)来降低计算系统16的成本。简言之，所图示的方法可以消除对于单独的相机和眼动追踪硬件的需要，同时促进自然用户交互。
[0009]图3示出促进基于用户的交互的方法20。方法20可以在计算设备中被实现为存储在诸如例如可编程逻辑阵列(PLA)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)之类的可配置逻辑中、使用诸如例如专用集成电路(ASIC)、互补金属氧化物半导体(CMOS)或晶体管-晶体管逻辑(TTL)技术或其任何组合之类的电路技术的固定功能性逻辑硬件中的诸如随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM (PR0M)、闪速存储器等之类的机器或计算机可读存储介质中的逻辑指令集和/或固件。例如，实施在方法20中所示的操作的计算机程序代码可以以一种或多种编程语言的任何组合编写，包括诸如C++等之类的面向对象的编程语言和诸如“C”编程语言或类似编程语言之类的常规过程编程语言。而且，方法20可以是使用任何前述电路技术实现的。
[0010]所图示的处理块22提供:可选地校准与短程和/或长程显示器的一个或多个用户交互。如已经指出的，用户交互可能包括眼睛注视、手部姿势、面部姿势、头部位置、语音命令等或其任何组合。此外，用户交互可以指示:用户正在从与短程显示器交互切换到与长程显示器交互(并且反之亦然)、拖放操作、高亮操作、点击操作、打字操作等等。校准过程可以因此涉及提示用户进行已知的用户交互并且确定一个或多个参数以促进那些用户交互的后续识别。参数可以特定于与短程显示器并置的传感器。块24可以从与短程显示器并置的传感器接收实时短程信号。短程信号可以是从例如邻近于短程显示器(例如在其顶部或底部处)定位的相机、邻近于短程显示器定位的麦克风等等接收的。
[0011]所图示的块26使用短程信号来检测用户交互，其中块28可以基于用户交互来控制关于长程显示器的显示响应。块28可以因此涉及在短程显示器与长程显示器之间进行切换、相对于长程显示器的拖放操作、高亮操作、点击操作、打字操作等等。方法20还可以提供:进行关于短程显示器的类似操作。
[0012]图4示出可与本文所描述的多显示器、多模态布置结合使用的坞接站30。所图示的坞接站30具有深度(例如3D)相机32、眼动追踪传感器34、投影仪36和被配置成在对于用户而言舒适的观看角度处支撑计算设备40的显示器42(例如短程显示器)的机架38。投影仪36可以因此生成长程显示以补充(例如在扩展模式、复制模式等中)计算设备40的短程显示器42，其中相机32和眼动追踪传感器34可以生成短程信号。如已经指出的，短程信号可以被用于检测用户交互，用户交互进而可以被用于控制由投影仪36提供的长程显示和/或计算设备40的短程显示器42的显示响应。
[0013]如果计算设备40缺少眼动追踪、深度成像和/或投影技术，则所图示的配置可以特别有用。还可以使用其它站传感器配置。例如，深度相机32和眼动追踪传感器34可以经由相同的硬件而实现以降低成本。而且，诸如麦克风、生物测量传感器等之类的其它传感器可以用于检测用户交互。
[0014]现在转向图5，示出了计算设备44 (44a-d)o所图示的计算设备44包括从与短程显示器并置的一个或多个传感器接收短程信号的传感器接口 44a和使用短程信号检测用