无需用手的协助的制作方法
【专利说明】无需用手的协助
【背景技术】
[0001] 各实施例一般涉及协助。更具体而言，各实施例涉及基于用户动作，与工作面相关 的，与从感兴趣的区域中提取的内容相关联的支持操作的提供无需用手的协助的实现。
[0002] 协助可包括当用户正在与表面进行交互时，诸如当用户正在从基于纸张工作面中 读取和/或向基于纸张工作面写时，向用户提供信息。在交互过程中，用户可以暂停阅读任 务和/或写任务，以切换到笔扫描仪，用于协助。用户还可以暂停任务以握住摄像机，并捕 捉内容，以获得定义。这样的技术可能不必要地给用户带来负担，通过，例如，要求用户切换 到专门工具，要求用户握住摄像机或让摄像机静止，和/或中断阅读任务或写任务。另外， 协助技术还可以涉及内容分析过程，该内容分析过程使用与工作面相关的参考材料，诸如 通过访问印刷品的参考电子副本。这样的内容分析过程可能缺乏适当地辅助用户的足够粒 度和/或不必要地浪费诸如功率、存储器、存储等资源。
[0003] 附图简述
[0004] 本领域内技术人员通过阅读下面的说明书和权利要求书并参照附图能清楚知道 各实施例的各种优势，在附图中：
[0005] 图1是根据一实施例的实现与基于用户动作从与工作面相关的感兴趣的区域中 提取的内容相关联的支持操作的方法的示例的框图；
[0006] 图2是根据一实施例的基于用户动作实现与工作面相关的与从感兴趣的区域中 提取的内容相关联的支持操作的方法的示例的流程图；
[0007] 图3是根据一实施例的实现从与基于工作面的用户动作相关的感兴趣的区域中 提取的内容相关联的支持操作的基于显示器的方法的示例的流程图；
[0008] 图4是根据一实施例的逻辑架构的示例的框图；
[0009] 图5是根据一实施例的处理器的示例的框图；以及
[0010] 图6是根据实施例的系统的示例的框图。
【具体实施方式】
[0011] 图1示出了根据一实施例的基于一个或多个用户动作，实现与工作面相关的，与 从一个或多个感兴趣的区域中提取的内容相关联的一个或多个支持操作的方法10。在所示 示例中，支撑物12可以支撑工作面14。工作面14可包括用于完成任务的任何介质，其中任 务可涉及读、写、绘图，编写，等等，或其组合。另外，可以由于某种原因，完成任务。例如，任 务可包括个人任务（例如，业余活动）、学术任务（例如，作业活动）、专业任务（例如，职业 分配活动），等等，或其组合。
[0012] 在一个示例中，工作面14可以涉及计算设备和/或数据平台的显示器，诸如能够 以电子方式处理一个或多个用户动作（例如，触摸动作）的触摸屏。在另一个示例中，工作 面14可能不能以电子方式处理用户动作中的一个或多个。工作面14可包括，例如，不能以 电子方式处理一个或多个用户动作的写表面，诸如纸张、黑板（例如，粉笔板）、白板（例如， 马克笔板），支撑物12 (例如，桌子的表面），纸板，叠板，塑料、木材，等等的表面，或其组合。 工作面14也可以包括不能以电子方式处理用户动作中的一个或多个的读表面，诸如杂志、 书、报纸等等的表面，或其组合。
[0013] 另外，支撑物12可以支撑设备16。设备16可包括诸如膝上型计算机、个人数字助 理（PDA)、无线智能电话、媒体内容播放器、成像设备、移动因特网设备（MID)之类的任何计 算设备和/或数据平台，诸如智能电话、智能平板、智能TV、计算机服务器等任何智能设备， 或其任何组合。在一个示例中，设备16包括相对较高性能的移动平台，诸如具有相对较高 的处理能力的笔记本（例如，Ultrabook?可翻转笔记本、英特尔公司在美国和/或其他国 家的注册商标）。设备16可包括显示器18,诸如触摸屏。例如，显示器18可以能够接收来 自用户的触摸动作，和/或能够以电子方式处理触摸动作以实现与触摸动作相关联的目标 (例如，突出显示单词、删去单词、选择链接，等等）。
[0014] 另外，支撑物12还可以支撑图像捕捉设备，该图像捕捉设备可包括能够捕捉图像 的任何设备。在一个示例中，图像捕捉设备可包括计算设备的集成摄像机、前向摄像机、后 向摄像机、旋转摄像机、2D(二维）摄像机、3D(三维）摄像机、独立摄像机，等等，或其组合。 在所示示例中，设备16包括可以由支撑物12支撑的集成的前向2D摄像机20。然而，图 像捕捉设备和/或显示器可以被定位在任何位置。例如，支撑物12可以支撑独立摄像机， 该独立摄像机可以，通过通信链路（例如，WiFi/无线保真，电气与电子工程师学会/IEEE 802. 11-2007、无线局域网/LAN媒体访问控制（MAC)和物理层（PHY)规范、以太网、IEEE 802. 3-2005,等等），与不位于支撑物12上的一个或多个显示器（例如，壁装显示器）进行 通信。在另一个示例中，可以使用不位于支撑物12上的独立摄像机（例如，壁装摄像机）， 该独立摄像机可通过通信链路与一个或多个显示器进行通信，不管显示器是否由支撑物12 支持。
[0015] 另外，图像捕捉设备也可通过视场来定义一个或多个任务区域。在所示示例中，视 场22可定义用户可以执行要由摄像机20观察到的任务（例如，读任务、写任务、绘图任务， 等等）的一个或多个任务区域。例如，任务区域中的一个或多个可以由整个视场22、视场 22的一部分，等等，或其组合来定义。相应地，支撑物12的至少一部分（例如，表面、边缘， 等等）和/或工作面14 (例如，表面、用户附近的区域，等等）可位于要由摄像机20观察到 的任务区域和/或视场22中。类似地，在使用独立图像捕捉设备的情况下，支撑物12至少 一部分和/或工作面14可以位于任务区域和/或独立图像捕捉设备的视场中，不管独立图 像捕捉设备是否由支撑物12支撑。
[0016] 如将比较详细地讨论的，设备16可包括识别一个或多个用户动作的手势模块。用 户动作中的一个或多个可包括指向工作面14的一个或多个可见的手势，诸如指向手势、加 下划线手势、画圈手势、标记手势、手指手势、手形手势，等等，或其组合。在一个示例中，可 见的手势中的一个或多个可包括在工作面14的方向的请求协助的运动，诸如指向、加下划 线、画圆圈，和/或标记运动。另外，可见的手势中的一个或多个可以不涉及物理地接触工 作面14。例如，用户可以在的读操作过程中，圈出在工作面14之上且并与工作面14分离 的一个区域，用于协助。用户还可以在写操作过程中，例如，指向工作面14之上并与工作面 14分离的一个区域（例如，抬起写工具并指向，利用一只手上的手指指向同时利用另一只 手写，等等），用于协助。相应地，可见的手势中的一个或多个可包括使用一个或多个手指， 手，和/或用于协助的工具，不管可见的手势中的一个或多个是否涉及接触工作面14。
[0017] 工具可包括能够写和/或不能以电子方式处理用户动作中的一个或多个的手持 式工具。在一个示例中，手持式工具中的一个或多个可包括墨水笔、马克笔、粉笔，等等，它 们能够通过向工作面14喷涂颜料、染料、矿物等等来写。应该理解，手持式工具能够写，尽 管它当前可能没有被装载（例如，墨水，铅，等等），因为它可以被装载，以完成一项任务。如 此，手持式工具中的一个或多个（例如，墨水笔）可能不能以电子方式处理用户动作中的一 个或多个，因为这样的写用具可能不包括电子能力（例如，电子感应能力、电子处理能力等 等）。另外，手持式工具中的一个或多个也可能不能用于以电子方式处理用户动作中的一个 或多个（例如，作为指示笔），因为这样的非电子写用具可能会损害电子工作面（例如，通过 利用写尖擦伤触摸屏，通过向触摸屏喷涂马克笔颜料，等等），可能不准确地传递用户动作 (可能不准确地向触摸屏传递触摸动作，等等）等等，或其组合。
[0018] 可以以任何所需的顺序和/或组合使用多个可见的手势。在一个示例中，可以使 用多个同时发生的可见手势、多个连续的可见手势（例如，指向，然后画圈，等等）和/或多 个随机的可见手势。例如，用户可以在读任务期间使用每一只手中的一个或多个手指同时 生成指向工作面14的指向手势（例如，指向），用于协助，可以同时生成手形手势（例如， 在视场22中摇摆一只手），同时作出指向工作面14的指向手势（例如，指向另一只手的手 指），用于协助，等等，或其组合。在另一个示例中，用户可以按顺序生成指向工作面14的指 向手势（例如，指向），然后，生成指向工作面14的画圈手势（例如，圈住区域），用于协助。 用户还可以，例如，以用于协助的随机和/或预定的模式一次或多次生成指向工作面14的 指向手势（例如，敲击运动）。相应地，可以使用任何顺序和/或组合的用户动作来提供无 需用手的协助。
[0019] 另外，可见的手势可包括物理地接触工作面14。在一个示例中，用户可以在写任务 过程中使用手持式工具，生成指向工作面14的加下划线手势（例如，在一个单词下划线，等 等），用于协助。在另一个示例中，用户可以使用一只手中的手指生成指向工作面14的指向 手势（例如，指向），并且同时使用另一只手中的手持式工具，同时生成指向工作面14的标 记手势（例如，突出显示）。在所示示例中，用户的手24可以握住工具26(例如，墨水笔）， 其中手势模块可识别由用户手24所生成的用户动作中的一个或多个（例如，可见的手势） 和/或在视场22中的至少一部分发生并且由摄像机20观察到的指向工作面14 (例如，纸 张）的工具26。
[0020] 当用户生成用户动作中的一个或多个时，可以由图像捕捉设备观察用户动作中的 一个或多个和/或由手势模块独立于用户和图像捕捉设备之间的物理接触识别用户动作。 在一个示例中，用户可能不需要触摸摄像机20和/或设备16,以便摄像机20观察可见的手 势中的一个或多个。在另一个示例中，用户可能不需要触摸摄像机20和/或设备16,以便 手势模块识别可见的手势中的一个或多个。如此，用户可以在无需用手的操作中作手势，和 /或请求协助，例如，以最小化与要求用户握住专门工具，握住摄像机、握住摄像机静止相关 联的，与中断读操作或写操作等等相关联的任何不必要的负担。
[0021] 设备16可包括用于标识工作面1