设备控制的制作方法

设备控制的制作方法
【专利摘要】本说明书涉及与显示设备的交互。在一个示例中，交互可以包括检测与显示器邻近的用户和检测由与显示器邻近的用户执行的非触摸控制手势。该示例也可以包括在显示器上呈现包括与控制手势相关联的选项的图形用户界面(GUI)。该示例也可以包括接收选择选项之一的用户输入和从用户接收用以经由选项中的选择的选项与GUI交互的附加用户输入。
【专利说明】
设备控制
技术领域
[0001] 本说明书涉及与显示设备交互和/或控制显示设备。
【附图说明】
[0002] 附图图示了在本文中传达的概念的实现方式。可以通过参照结合附图做出的以下 描述来更容易地理解所示实现方式的特征。各种附图中的相似标号只要可行就用来指示相 似单元。另外，每个标号的最左侧数字表示该标号第一次被引入的图和相关联的讨论。
[0003] 图1至图6示出了根据本概念的一些实现方式的示例设备和示例设备交互场景的 视图。
[0004] 图7至图8示出了根据本概念的一些实现方式的用于实施设备交互场景的示例系 统。
[0005] 图9示出了根据本概念的一些实现方式的关于相对于图7至图8介绍的单元中的一 些单元的附加细节。
[0006] 图10至图11示出了根据本概念的一些实现方式的示例设备交互流程图。
【具体实施方式】 [0007] 概述
[0008] 本说明书涉及与显示设备(比如数字白板、平板、智能电话等）的交互。本说明书可 以组合视觉和触摸技术以允许用户与显示设备更有效地交互。这些组合的视觉和触摸技术 可以被简称为"VTouch"。在一个形式中，VTouch可以被视为一种用于使用视觉技术(比如人 识别和手势识别）以增强显示器上的触摸体验的框架。VTouch可以在用户触摸显示器之前 识别用户并且理解用户的意图。作为结果，与显示器的交互可以通过集成基于视觉的识别 与触摸被显著地简化。因此，VTouch可以提供在用户与设备之间的改进的交互(例如，比用 现有技术让用户更容易和/或更直观地控制设备）。
[0009] VTouch可以与显示器协调使用传感器（比如红、绿、蓝+深度相机(RGBD))以捕获用 户的颜色、深度和/或骨架信息（例如，参数hVTouch可以应用人识别算法和手势识别算法 以标识用户以及用户的手势。VTouch也可以包括用于用RGBD相机校准显示器的简单工具。 因此，用户的关节位置可以容易地被变换到显示器的坐标系中。
[0010] 存在涉及使用手势识别以用于远程交互、使用手势以替换触摸手势等的人识别和 手势识别的现有技术。发明概念中的至少一些发明概念与这些有关技术不同在于试图从不 同角度改进用户交互。本概念可以集成基于视觉的算法与触摸以增强显示器上的交互。即 使触摸对于交互是强有力的，但是仅使用触摸不能提供完全地自然的交互。借助视觉技术， 本实现方式可以提供用于触摸的补充（例如，哪个用户正在触摸和用哪只手以及相对于哪 个命令手势）。本实现方式也可以允许基于在触摸之前的基于手的命令手势的更直观交互 (例如，启用键盘以用于在触摸之前键入）。因此，VTouch可以提供一种用于与显示器交互的 更佳方式(例如，提供对显示器/设备的更有效用户控制）。
[0011]场景示例
[0012]图1至图6共同地示出了涉及设备100和用户102的示例VTouch场景。在这一情况 下，设备100表现为相对大的触摸显示器，该触摸显示器具有在其上呈现的图形用户界面 (GUI)104。在这一情况下，假设大触摸显示器可以被配置用于在墙壁或者其它竖直表面(在 图1中未具体地示出、但是可以在图8中显现)上装配和/或用其它方式被运用。
[0013]图1示出了第一场景，其中在实例一处，用户如在106处大致地指示的那样用他的 左手执行非触摸命令手势。在这一情况下，命令手势涉及用户以艺术家传统地持有调色板 的方式在他前面保持他的左手(例如，手掌向右而左手指展开）。命令手势可以用来控制或 者变更GUI。在这一情况下，命令手势可以使菜单被呈现。在这一示例中，在实例二处，菜单 表现为调色板或者控制板108(注意颜色由附图中的图案代表）。在实例三中，用户可以如在 110处指示的那样用他的右手对接调色板(例如，触摸调色板）以从调色板选择选项（例如， 颜色）。实例四示出了用户在112处用他的右手用选择的颜色在显示器上书写。在备选配置 中，可以在用户用右手书写之时用左手执行从调色板108选择。因此，用户可以在他书写时 改变颜色。
[0014]换而言之，用户可以使用'持有色板'手势(通过与屏幕垂直张开手）以起动调色板 108,然后可以与手接近地示出该调色板。用户可以创建他们自己的控制手势简档。例如，用 户可以选择在调色板上呈现的颜色和/或用于手和笔二者的颜色应用（或者擦除器）的宽 度。VTouch可以识别和相互区分用户。这样，VTouch可以在用户简档中存储用户信息以用于 在后续地标识用户时的将来回忆。
[0015] 概括而言，图1图示了VTouch可以在用户的左手与右手之间区分。因此，可以向用 左手执行的手势指派与右手执行的相同手势不同的含义。另外，VTouch可以存储关于各个 用户的信息，比如习惯用左手或者右手。因此，在标识特定用户时，VTouch可以回忆用户习 惯用右手并且使用左手以执行以用于调用命令选项（例如，调色板）的手势，并且然后使用 右手以实施选项（例如，在板上书写）^Touch也可以区分用户是否在他执行手势或者从显 示器间隔开时正在触摸显示器。这些方面中的每个方面可以被视为参数，该参数被VTouch 考虑以解释用户的意图，并且因此允许比先前可能的场景更健壮得多的用户控制和用户参 与场景。当然，除了图1中所示的表现之外的用户控制GUI 104的其它表现也被设想。以下描 述其它示例。
[0016] 图2示出了用于用户102控制GUI 104的另一场景。在实例五处，用户可以如在202 处大致地指示的那样在设备100前面执行'键入手势'。响应地，VTouch可以在实例六处使虚 拟键盘204和文本框205在设备100上被呈现。实例七示出了用户102在206处在虚拟键盘204 上键入以在文本框205中生成实例八中所示单词"待完成列表：（TO DO LIST:)"。也在这一 实现方式中，可以向用户提供VTouch已经检测到用户并且正在解译用户的手势这样的虚拟 指示。在这一特定情况下，在⑶I 104上显示单词'VTouch'，从而使得用户知道用户已经调 用了 VTouch系统并且它正在监视用户和代表用户进行动作以控制设备。
[0017] 另外，注意，在这一实现方式中，VTouch使⑶I 104适应用户而不是用户适应⑶I。 例如，VTouch呈现虚拟键盘204和用户的文本(例如，文本框205)，其中用户执行键盘起动手 势(例如，在用户的手下面)而不是在GUI 104上的预定义的位置。换而言之，VTouch可以感 测用户的位置和用户执行各个手势的位置，并且VTouch可以基于感测到的手势和感测到的 位置控制⑶I。
[0018] VTouch实现方式可以在涉及多个用户的场景中提供附加优点。例如，由于VTouch 用户标识和标识哪个用户正在执行哪个手势，GUI上的每个手绘/写笔划和/或键入的单词 具有已知作者身份。这一配置可以允许附加功能。例如，每个用户可以在GUI上具有图标并 且该用户可以通过触摸他的/她的图标来使他的/她的内容被醒目显示(或者以别的方式与 一个或者多个其他用户的内容区分）。
[0019]图3示出了另一场景。在实例九处，用户102可以如在302处大致地指示的那样执行 在设备100的顶部之上挥动他的手的手势。响应地，VTouch可以在实例十处使工具栏带304 跨⑶I 104的顶部被呈现。实例十一示出了 VTouch可以跟踪用户的移动(例如，向右)并且可 以如在306处大致地指示的那样随着用户移动工具栏带304。概括而言，用户可以利用'在板 以上'手势(通过在设备以上移动一只手）以启用顶部菜单(例如，工具栏带304)。在顶部菜 单上的按钮可以在用户左移或者右移时随着用户移动。相似地，工具栏带或者不同菜单可 以通过用户沿着设备的底部触摸他的手和/或通过用户执行备选手势被调用。
[0020] 图4示出了另一使用情况场景。实例十二示出了在设备100的GUI 104上的词项集 合402。实例十三示出了VTouch可以检测用户的手势404,该手势用手指指向个别词项406以 选择该词项(在这一情况下，该词项是'thanks'）。实例十四示出了用户如在408处指示的那 样在显示器前面握拳。VTouch可以区分实例十三的指点手势404与实例十四的拳头手势408 并且不将这一(例如，拳头)手势视为选择手势(例如，不选择词项）。
[0021] 概括而言，指点手势可以允许用户102通过指向内容来醒目显示或者选择设备100 上的内容。这可以用更直观的指点手势替换呈现中的激光指示器。
[0022]尽管未图示，但是VTouch提供的另一功能可以基于在用户102与设备100之间的距 离自动地调整GUI 104的背景强度。例如，可以在用户更接近时使GUI变得更暗，从而使得用 户的眼睛更舒适。
[0023]另外，通过感测在设备前面的区域，VTouch知道个别用户何时离开感测的区域。在 个别用户离开该区域时，VTouch可以自动地锁定GUI 104和/或采取其它动作以保护内容隐 私。如果某人后续地进入空间并且VTouch将他/她识别为创建内容的用户，则VTouch可以自 动地解锁GUI，因此用户可以继续他的/她的工作。当然，用户标识和内容保护的备选实现方 式也被设想。
[0024] 图5示出示例VTouch校准示例。在这一情况下，VTouch可以填充与GUI 104的每个 拐角邻近的用户可识别形状或者符号。在这一情况下，用户可识别形状表现为矩形502(1)-502(4)。用户可以在实例十五和实例十六中依次地触摸符号（用户被示出为触摸四个形状 中的两个形状）以向显示器(例如在设备100上呈现的⑶I 104)和用户102校准VTouch传感 器。换而言之，VTouch传感器可以捕获GUI的图像。在用户触摸个别矩形时，用户的手在该时 刻的3D位置可以被映射到该个别矩形在GUI上的坐标。当然，其它校准技术也被设想。
[0025]图6示出了除了在这一情况下在触敏平板型设备或者pad型设备IOOA上实施 VTouch之外与图1相似的另一场景。在这一示例中，用户102在实例十七处用左手执行调色 板手势106以使VTouch起动调色板108。实例十八示出了用户如在110处指示的那样用他的 右手指从调色板选择颜色。实例十九示出了用户使用在实例十八中用右手指从在实例十七 用左手势起动的调色板选择的颜色在平板上用触笔或者数字笔在112处书写'VTouch'。
[0026]注意，俄尽管为了简洁而示出单个用户，但是本概念适用于单个设备的多个同时 和/或串行用户。还注意，尽管以上描述了具体手势场景，但是本实现方式本身适用于几乎 无限制的其它手势场景。
[0027]示例系统
[0028]图7示出了系统700上的一个VTouch实现方式。该系统图示了两个设备配置。第一 设备100相对于图1被介绍并且是大显示设备，并且第二设备100A相对于图6被介绍并且是 平板型设备。当然，其它设备可以被配置为实现VTouch概念。这两个设备可以包括显示器 702、处理器704、存储装置/存储器706、传感器708、通信部件710和交互部件712。交互部件 712可以包括检测/标识模块714和实施模块716。该设备可以备选地或者附加地包括这里为 了简洁而未被图示或者讨论的其它单元，比如总线、图形卡（例如，图形处理单元(GPU)、网 络硬件)等。
[0029] 各种类型的传感器均被设想。具体讨论的两个传感器类型是在这一情况下表现为 红、绿、蓝+深度(RGBD)传感器718的深度传感器和与显示器702相关联的触摸传感器720。触 摸传感器720可以是被配置为检测物理触摸的压力传感器、被配置为检测邻近的电容传感 器和/或其它类型的传感器。可以用各种方式运用RGBD传感器718,比如指向显示器702(例 如，见718(1)和718(2))和反指向显示器(例如，见718(3))。设备100A上的RGBD传感器718 (4)可以是可以感测与显示器702邻近和在显示器前面二者的广角传感器。
[0030] 在所示配置中，显示器702可以是触敏显示器。其它配置可以使用传感器组合以在 非触敏显示器上模仿触敏显示（在图8中示出了一个这样的示例）。例如，传感器708可以用 来检测与显示器702邻近的用户命令以在非触敏显示器上创建触摸显示功能的印象。还注 意，本实现方式不限于具体显示器类型。对照而言，可以用投影显示器、发光二极管(LED)显 示器、液晶显示器、电致发光显示器、等离子体显示器和/或其它正在发展或者有待发展的 显示器类型实现可工作的实现方式。可以如由处理器704控制的那样在显示器702上呈现相 对于图1至图6讨论的⑶I 104和104A。
[0031] 在所示配置中，平板设备100A包括触敏显示器702和集成到壳中以检测用户和用 户手势/与设备的交互的三组RGBD传感器7 18(4)(比如Microsoft?公司提供的 K inec:t?_牌深度相机或者Intel的RealSense 3D相机以及其它传感器）。
[0032]如以上提到的那样，在所示配置中，大显示设备100可以利用传感器708的组合，这 些传感器中的一些传感器(比如触摸传感器720以及RGBD传感器718(2)和718(3))被集成到 显示器壳中并且一些传感器（比如RGBD传感器718(1))在显示器702外部并且从显示器702 分离。其它配置可以使用显示器(比如与一个或者多个传感器耦合的触敏显示器，这些传感 器比如是RGBD传感器）以检测用户和用户命令。在设备100的情况下，RGBD传感器718(3)可 以是被配置为感测在显示器702前面的区域的一组传感器。RGBD传感器718(1)和/或718(2) 可以是被配置为感测与显示器702的表面邻近的区域(例如，感测用户与显示器的表面的交 互）的另一组传感器。
[0033]从一个角度来看，设备100和100A可以被视为具有某一处理量和/或存储容量的计 算机。在其它情况下，设备可以被耦合到提供这些资源的计算机。处理器可以执行计算机可 读指令形式的数据以提供功能。数据（比如计算机可读指令和/或用户有关数据)可以被存 储在存储装置(比如可以在计算机内部或者外部的存储装置)上。存储装置可以包括易失性 或者非易失性存储器、硬驱动、闪存设备和/或光存储设备(例如，CD、DVD等）中的任何一项 或者多项以及其它存储装置。如这里所用，术语"计算机可读介质"可以包括信号。对照而 言，术语"计算机可读存储介质"（例如，存储装置/存储器706)排除信号。计算机可读存储介 质包括"计算机可读存储设备"。计算机可读存储设备的示例包括易失性存储介质（比如 RAM)和非易失性存储介质（比如硬驱动、光盘和闪存）以及其它存储设备。
[0034]在一些配置中，设备可以包括片上系统（SOC)型设计。在这样的情况下，由计算机 提供的功能可以被集成在单个SOC或者多个耦合的SOC上。一个或者多个处理器可以被配置 为与共享资源（比如存储器、存储装置等)和/或一个或者多个专用资源(比如被配置为执行 某个具体功能的硬件块)协作。因此，如这里所用的术语"处理器"也可以是指中央处理单元 (CPU)、图形处理单元(GPU)、控制器、微控制器、处理器核或者适合用于在常规计算架构以 及SOC设计二者中实施的其它类型的处理设备。
[0035]其它计算机的示例可以包括传统计算设备（比如个人计算机、台式计算机、笔记本 计算机、蜂窝电话、智能电话、个人数字助理、pad或者平板型计算机、相机、大显示设备、投 影设备)或者许多不断演变或者有待发展的计算设备类型中的任何计算设备。在一些情况 下，显示设备可以包括计算机单元，并且因此被视为计算机。在其它情况下，显示设备可以 与计算设备通信和由计算设备控制。
[0036] 传感器708中的一些传感器(比如RGBD传感器718)可以被配置为检测3D图像。各种 技术可以用于深度方面。例如，可以使用非可见谱图案化，可以使用飞行时间和/或可以使 用立体相机。在一个实现方式中，传感器可以表现为深度传感器、比如Microsoft公司提供 的Kinect深度相机或者Intel的RealSense 3D相机以及其它传感器。
[0037]通信部件710可以有助于在设备的单元之间和/或与其它设备通过网络722发送和 接收数据。通信部件可以表现为以太网端口、USB端口、HDMI端口、Wi-Fi硬件和/或蜂窝硬件 等中一项或者多项。
[0038] VTouch的检测/标识模块714可以分析来自传感器708的信息以尝试标识哪个用户 正在与显示器702交互以及用户正在用哪个身体部分执行哪些手势。实施模块716可以标识 所标识的手势意味着什么。例如，实施模块716可以访问将手势映射到命令的数据集。数据 集可以是固定的或者可以对于个别用户被定制/由个别用户定制。例如，数据集可以指示用 户是否习惯用右手还是左手。另外，数据集可以被配置为允许应用设计者向数据集添加手 势和相关联的命令以用于它们的特定应用。例如，视频播放应用的设计者可能想要映射右 手转动运动以意味着'播放'视频。在一些实现方式中，用户可以对于数据集定义他们自己 的手势和含义。可以在设备100上在存储装置/存储器706上和/或远程地（比如在远程设备 100B)上维护数据集。例如，远程设备100B可以表现为基于云的服务器。
[0039]检测/标识模块714经由传感器708可以获得和分析生物统计数据/参数，比如骨架 数据（比如胳膊长度、手指长度、胳膊定向和手指定向和/或关节位置以及其它骨架数据）、 视频数据、深度数据和/或笔划数据。颜色和深度数据可以允许检测/标识模块714提取用户 的图像和3D点云，而骨架数据可以允许检测/标识模块跟踪用户的四肢的位置。可以在捕获 传感器708(例如，RGBD传感器718)的坐标系中表达深度数据和骨架数据。为了理解用户与 显示器702的关系，检测/标识模块714可以将数据从传感器708(例如，相机）的坐标系变换 到显示器702的坐标系中。在一些实现方式中，这可以利用对用户、传感器和显示器的在先 校准(例如，见图5)。
[0040]图5中所示的校准系统可以允许用户轻敲设备的拐角中的四个点。在用户轻敲一 点时，系统记录来自骨架信息的他的3D手位置。从这四个3D定位，检测/标识模块可以计算 将传感器(比如RGBD传感器718)和显示器702的坐标系相关的矩阵。
[0041] 一旦数据被变换到显示器的坐标系中，就可以用不同可视化处理和渲染它（将在 标题"VTouch条件"之下的下一节中描述）。一些实现方式可以使用C++和OpenGL以用于2D/ 3D视频处理和渲染。
[0042] 从一个角度来看，VTouch可以提供一种用于集成基于视觉的算法(例如，人识别， 比如脸部识别、手势识别）与触摸以增强比如大触摸显示器上的交互体验的框架。这一框架 可以向应用设计者/开发者提供用于访问用户的身份、位置和手势的强有力武器，从而使对 显示器上的交互应用的开发更容易。
[0043] 注意，一些配置可能需要自完备设备(例如，位于设备上的硬件和在设备上执行的 处理）。一些其它配置可以远程地执行一些方面。例如，设备可以向远程计算机（比如图7的 计算机100B)中继传感器数据。远程计算机可以处理传感器数据以确定用户手势并且向设 备和/或向其它设备传达回这一信息。更多其它实现方式也被设想。
[0044]图8不出了可以图不相对于设备100的另一不例传感器布局的另一不例系统800。 在这一情况下，设备100表现为显示器702,该显示器702耦合到可以控制在显示器上呈现的 GUI 104的设备100C。在这一示例中，系统800包括指向显示器100的多个RGBD传感器718(1) 以及多个不同RGBD传感器718(3)。指向显示器的RGBD传感器718(1)可以被配置为捕获用户 与显示器的交互。反指向（例如，在显示器前面）的RGBD传感器718(3)可以捕获关于用户的 信息，从而使得可以在用户与显示器交互(例如，如由RGBD传感器718(1)捕获)之前标识用 户。传感器718(3)也可以在用户从显示器间隔开时从用户捕获手势。
[0045]交互部件712可以使用来自传感器718(3)(和/或其它传感器）的信息以标识/区分 各个用户（例如，人识别）。交互部件可以向各个用户提供/指派标识号或者其它唯一 ID。交 互部件可以关联各种参数与各个用户，比如习惯用左手或者右手（使用由RGBD传感器718 (1)提供的骨架信息/参数）。因此，交互部件可以向各个用户提供个性化交互。这一用户信 息可以被本地和/或远程地存储以用于将来使用。
[0046] 指向显示器702的RGBD传感器718(1)可以被配置为捕获用户与显示器的交互。这 一配置可以提供对用户和显示器二者的可视化，从而使校准容易并且允许交互部件712理 解在用户的身体与显示器之间的3D关系。例如，交互部件可以使用传感器718(1)和718(3) 以标识用户的手和手指以及手指的位置。在用户102触摸显示器702时，显示器中的触摸传 感器可以记录触摸在显示器上的位置。交互部件712可以将触摸信息与来自传感器718(1) 和718 (3)的同时位置信息相关以校准传感器718(1)和718(3)以及由触摸传感器标识的在 显示器上的位置。
[0047]图9示出了涉及以上相对于图7介绍的个别单元中的一些单元的一个实现方式。在 这一实现方式中，交互部件的检测/标识模块714可以从传感器(在这一情况下为RGBD传感 器718)接收感测到的输入以识别用户（例如，人识别902)和用于一只或者两只手的手势(例 如，手势识别904)。检测/标识模块714可以利用感测到的输入以分别在906和908处提供用 于实施模块716的用户ID和手势ID。
[0048] 检测/标识模块714也可以在910处将关节位置从传感器坐标变换成显示器坐标(X 朝右、Y朝下并且Z朝着显示器中）。所得关节位置信息可以在912处被发送到实施模块716。 因此，交互部件712经由检测/标识模块714和实施模块716可以标识用户、理解用户的手势 并且知道用户和他的关节相对于显示器702的位置。这些输入与在914处从显示器702收集 的触摸有关输入一起可以允许实施模块716在916处渲染GUI，这些GUI显著地增强用于与显 示器交互的用户体验。实施模块716可以自行或者与应用或者OS组合工作以在显示器上创 建 GUI0
[0049] 注意，利用人识别和手势识别的一些实现方式可以从收集训练数据和训练检测/ 标识模块714的手势分类器中获益。这些相同技术可以用来允许用户向系统'传授'他们自 己的手势并且向这些手势指派含义。
[0050] 概括而言，交互部件712可以在触摸之前和在触摸期间提供用于每只手的手势ID (使用手势识别），这可以显著地丰富交互。例如，弹出菜单和虚拟键盘可以通过恰在触摸之 前的直观手势容易地被实现，从而使交互更高效。
[0051] 另外，可以在(做出手势的）既定用户的手附近显示菜单项目（比如调色板和虚拟 键盘）以求更大便利。这些菜单项目也可以在一些实现方式中随着用户迀移，尤其对于很大 显示器。本概念可以允许后续开发者和/或用户创建有吸引力的手势以在没有触摸的情况 下带出菜单。
[0052]交互部件712可以容易地作为设备上的操作系统或者应用的部分工作或者交互部 件可以与操作系统或者应用容易地对接以在各种场景中提供增强的用户交互。
[0053]方法示例
[0054]图10至图11示出了示例用户交互方法。
[0055]方法1000可以在1002处检测与显示器邻近的用户。在一些情况下，检测用户的动 作也可以对标识用户有贡献。例如，作为检测的部分而被感测的参数（比如脸部识别参数、 骨架参数和/或习惯用左手或者右手参数)可以用来区分用户与其他用户。用户可以通过比 较检测的参数的值与先前标识的用户的这些参数的存储的值被标识。
[0056]该方法可以在1004处检测由与显示器邻近的用户执行的非触摸控制手势。
[0057]该方法可以在1006处在显示器上呈现包括与控制手势相关联的选项的图形用户 界面(GUI)。
[0058] 该方法可以在1008处接收选择选项之一的用户输入。例如，用户可以用他的/她的 左手执行非触摸控制手势并且然后使用另一只手来执行选择。用户输入选择可以是触摸手 势或者非触摸手势。
[0059] 该方法可以在1010处从用户接收用于经由选项中的选择的选项与GUI交互的附加 用户输入。例如，用户可以从用他的/她的左手的非触摸手势(例如，起动调色板)开始、继而 是用右手的非触摸选择(例如选择颜色）、继而是用选择的单元的触摸交互(例如，用选择的 颜色涂画）。
[0060] 该方法可以在1012处基于附加用户输入控制⑶I。例如，由用户执行的'涂画'可以 在⑶I上出现。
[0061] 方法1100可以在1102处感测与显示设备邻近的用户。在一些实现方式中，可以用 深度传感器(比如RGBD传感器)实现感测。
[0062] 该方法可以在1104处利用人识别算法来标识用户，人识别算法中的至少一个人识 别算法涉及感测到的骨架信息。
[0063]该方法可以在1106处从感测到的骨架信息定位用户的左手和右手。
[0064]该方法可以在1108处基于感测到的骨架信息检测由用户用左手或者右手执行的 手势并且标识用户是否用左手或者右手执行手势。
[0065] 该方法可以在1110处基于标识的用户、检测到的手势和是否用左手或者右手执行 了手势来更改显示设备上的⑶I。
[0066] 该方法可以在1112处从用户接收相对于更改的⑶I的触摸输入并且确定是否用用 户的左手或者用户的右手执行了触摸输入。
[0067]该方法还可以在1114处基于接收的触摸输入和确定接收的触摸输入是否已经用 用户的左手或者用户的右手被执行来更改GUI。
[0068]描述的方法可以由以上描述的系统和/或设备和/或由其它设备和/或系统执行。 描述方法的顺序未旨在于解释为限制，并且可以在任何顺序中组合描述的动作中的任何描 述的动作以实施方法或者备选方法。另外，可以在任何适当硬件、软件、固件或者其组合中 实施该方法，从而使得设备可以实施该方法。在一种情况下，该方法被存储在计算机可读存 储介质（比如指令集)上，从而使得由计算设备执行使计算设备执行该方法。
[0069]附加示例
[0070] 以上描述了各种示例。以下描述附加示例。一个示例表现为一种计算机可读存储 介质，该计算机可读存储介质具有存储于其上的指令，这些指令在由计算设备的处理器执 行时使计算设备实施方法。该方法可以包括感测与显示设备邻近的用户并且利用人识别算 法来标识用户。人识别算法中的至少一种人识别算法可以涉及感测到的骨架信息。该方法 可以包括从感测到的骨架信息定位用户的左手和右手并且检测用户用左手或者右手执行 的手势以及基于感测到的骨架信息标识用户是否用左手或者右手执行了手势。该方法也可 以包括基于用户的身份、检测到的手势和手势是否用左手或者右手执行了手势来更改图形 用户界面。该方法也可以包括从用户接收相对于更改的图形用户界面的触摸输入并且确定 触摸输入是否用用户的左手或者用户的右手被执行。该方法也可以包括基于接收的触摸输 入和确定接收的触摸输入是否已经用用户的左手或者用户的右手被执行来进一步变更图 形用户界面。
[0071] 以上和/以下示例的任何组合，其中感测由红、绿、蓝加上深度(RGBD)相机执行。 [0072]另一示例表现为一种包括显示设备的系统。该系统也可以包括被配置为感测在显 示设备前面的区域的第一组传感器和被配置为检测与显示设备邻近的用户输入的第二组 传感器。该系统也可以包括被配置为分析来自第一组传感器的数据以标识用户和由用户执 行的手势以控制在显示设备上呈现的图形用户界面，并且被配置为分析来自第二组传感器 的数据以进一步细化对图形用户界面的控制的交互部件。
[0073]以上和/以下示例的任何组合，其中第二组传感器是在显示器设备中被集成用于 检测显示设备的用户触摸的触摸传感器，或者其中第二组传感器被配置为在用户实际触摸 显示设备之前检测用户触摸。
[0074]以上和/以下示例的任何组合，其中第一组传感器被物理地装配在显示设备上，或 者其中第一组传感器从显示设备远离但是通信地耦合到交互部件。
[0075] 以上和/以下示例的任何组合，还包括处理器和存储装置，并且其中交互部件被存 储在存储装置上以用于由处理器执行。
[0076] 以上和/以下示例的任何组合，表现为触敏平板型设备或者笔记本计算机型设备， 其中第二组传感器与显示设备集成作为触摸传感器。
[0077] 以上和/以下示例的任何组合，表现为配置为在墙壁或者其它竖直表面上装配的 大显示设备，并且其中第一和第二传感器与大显示设备集成。
[0078] 以上和/以下示例的任何组合，其中第一组传感器和第二组传感器表现为红、绿、 蓝+深度(RGBD)传感器，或者其中第一组传感器表现为RGBD传感器并且第二组传感器表现 为触摸传感器。
[0079] 以上和/以下示例的任何组合，其中触摸传感器被配置为感测压力或者电容。
[0080] 以上和/以下示例的任何组合，其中交互部件被配置为通过使多个对象被呈现在 图形用户界面中并且在用户由第一组传感器和第二组传感器感测之时指令用户触摸对象 来校准显示设备、第一组传感器和第二组传感器。
[0081] 另一示例表现为一种计算机实施的方法。该方法包括检测与显示器邻近的用户并 且检测有与显示器邻近的用户执行的非触摸控制手势。该方法也可以包括在显示器上呈现 包括与控制手势相关联的选项的图形用户界面(GUI)并且接收选择选项之一的用户输入。 该方法还可以包括从用户接收用于经由选项中的选择的选项与GUI交互的附加用户输入并 且基于附加用户输入控制⑶I。
[0082]以上和/以下示例的任何组合，其中检测与显示器邻近的用户包括标识用户。
[0083] 以上和/以下示例的任何组合，其中标识用户包括检测参数。
[0084] 以上和/以下示例的任何组合，其中检测到的参数是骨架参数、脸部识别参数和习 惯用左手或者右手参数。
[0085] 以上和/以下示例的任何组合，其中标识用户包括比较检测到的参数与存储的参 数。
[0086] 以上和/以下示例的任何组合，其中检测非触摸控制手势包括检测由用户的左手 执行的非触摸控制手势，并且其中接收选择选项之一的用户输入和接收触摸输入包括从用 户的右手接收用户输入。
[0087] 以上和/以下示例的任何组合，其中接收附加用户输入包括接收触摸用户输入或 者非触摸用户输入。
[0088] 以上和/以下示例的任何组合，其中选项表现在菜单上。
[0089] 以上和/以下示例的任何组合，其中接收用户输入包括感测用户的第一只手，并且 其中接收附加用户输入包括感测用户的第二只手。
[0090] 结论
[0091]虽然用结构特征和/或方法动作特有的语言描述了涉及设备控制的技术、方法、设 备、系统等，但是将理解，在所附权利要求中定义的主题内容未必限于描述的具体特征或者 动作。实际上，具体特征和动作被公开作为实施要求保护的方法、设备、系统等的示例性形 式。
【主权项】
1. 一种系统，包括： 显示器； 第一组传感器，被配置为感测在所述显示器前面的区域； 第二组传感器，被配置为检测与所述显示器邻近的用户输入；以及 交互部件，被配置为分析来自所述第一组传感器的数据以标识用户和由所述用户执行 的手势以控制在所述显示器上呈现的图形用户界面，并且被配置为分析来自所述第二组传 感器的数据以进一步细化对所述图形用户界面的所述控制。2. 根据权利要求1所述的系统，其中所述第二组传感器是被集成在所述显示器中以用 于检测所述显示器的用户触摸的触摸传感器，或者其中所述第二组传感器被配置为在所述 用户实际地触摸所述显示器之前检测用户触摸。3. 根据权利要求1所述的系统，其中所述第一组传感器被物理地装配在所述显示器上， 或者其中所述第一组传感器从所述显示器远离、但是被通信地耦合到所述交互部件。4. 根据权利要求1所述的系统，还包括处理器和存储装置，并且其中所述交互部件被存 储在所述存储装置上以用于由所述处理器执行。5. 根据权利要求1所述的系统，表现为触敏平板型设备或者笔记本计算机型设备，其中 所述第二组传感器与所述显示设备集成作为触摸传感器。6. 根据权利要求1所述的系统，表现为被配置为在墙壁或者其它竖直表面上装配的大 显示设备，并且其中所述第一传感器和所述第二传感器被集成到所述大显示设备。7. 根据权利要求1所述的系统，其中所述第一组传感器和所述第二组传感器表现为红、 绿、蓝+深度(RGBD)传感器，或者其中所述第一组传感器表现为RGBD传感器并且所述第二组 传感器表现为触摸传感器。8. 根据权利要求7所述的系统，其中所述触摸传感器被配置为感测压力或者电容。9. 根据权利要求1所述的系统，其中所述交互部件被配置为通过使多个对象被呈现在 所述图形用户界面中并且在所述对象正由所述第一组传感器和第二组传感器感测之时指 示所述用户触摸所述对象，来校准所述显示设备、所述第一组传感器和所述第二组传感器。10. -种计算机实施的方法，包括： 检测与显示器邻近的用户； 检测由与所述显示器邻近的所述用户执行的非触摸控制手势； 在所述显示器上呈现图形用户界面(GUI)，所述GUI包括与所述控制手势相关联的选 项； 接收选择所述选项之一的用户输入； 从所述用户接收用于经由所述选项中被选择的所述选项而与所述GUI交互的附加用户 输入；以及 基于所述附加用户输入控制所述GUI。11. 根据权利要求10所述的方法，其中所述检测与所述显示器邻近的用户包括标识所 述用户。12. 根据权利要求11所述的方法，其中所述标识所述用户包括检测参数。13. 根据权利要求12所述的方法，其中检测的所述参数是骨架参数、脸部识别参数和习 惯用左手或者右手参数。14. 根据权利要求12所述的方法，其中所述标识所述用户包括比较检测到的所述参数 与存储的参数。15. 根据权利要求10所述的方法，其中所述检测非触摸控制手势包括检测由所述用户 的左手执行的非触摸控制手势，并且其中所述接收选择所述选项之一的用户输入和所述接 收触摸输入包括从所述用户的右手接收用户输入。
【文档编号】G06F21/32GK106062672SQ201580010611
【公开日】2016年10月26日
【申请日】2015年2月2日
【发明人】陈寅鹏, 刘自成, 张正友
【申请人】微软技术许可有限责任公司