专利名称：用于交通工具接口的基于姿态的控制系统的制作方法
技术领域：
本发明一般来说涉及计算机系统领域，具体来说涉及用于交通工具接口的基于姿 态的控制系统和方法。
背景技术：
有助于人机交互的传统控制系统和用户接口具有许多不足。引用方式并入在本说明书中提到的每篇专利、专利申请和/或公开在相同程度上以整体引用并 入本文，如同每篇单独专利、专利申请和/或公开专门和单独被指示为以引用方式并入。
图IA是根据实施例的姿态控制系统的框图。
图IB是根据实施例的与交通工具子系统集成的姿态控制系统的框图。
图IC是根据实施例的控制器的框图。
图ID是根据实施例的用于使用姿态控制交通工具子系统的流程图。
图2是根据实施例的标记标签的示图。
图3是根据实施例的姿态符号集中的姿势的示图。
图4是根据实施例的姿态符号集中的方位的示图。
图5是根据实施例的姿态符号集中的双手组合的示图。
图6是根据实施例的姿态符号集中的方位混合的示图。
图7是根据实施例的系统操作的流程图。
图8/1和图8/2示出了根据实施例的示例命令。
具体实施例方式本文描述了用于基于姿态的子系统的控制的系统和方法。在下文具体描述的空间 操作环境(SOE)的背景中提供系统和方法的实施例。包括姿态控制系统或基于姿态的控制 系统的SOE可以可替代地称为空间用户界面(SUI)或空间界面(Si)。在以下描述中，具体描述了许多特征从而提供对实施例的更全面理解。明显的是，可以在不具备这些具体细节的情况下实践所述实施例。在其他情况下，没有具体描述公知 的特征。系统本文在空间操作环境(SOE)的背景下描述了基于姿态的控制系统的实施例。作为 示例，图IA是根据实施例的空间操作环境(SOE)的框图。用户把手101和102放在相机 104A-104D阵列的查看区150中。相机检测手指和手101和102的定位、方位和运动并且生 成输出信号到预处理器105。预处理器105把相机输出转换成提供给系统的计算机处理单 元107的姿态信号。计算机107使用输入信息生成命令来控制一个或多个屏幕上的光标并 且把视频输出提供给显示器103。尽管借助单个用户的手作为输入示出了该系统，但是也可以使用多个用户实现该 实施例。另外，作为手的替代或添加，该系统可以跟踪用户身体的任何部分或多个部分，包 括头、脚、腿、臂、肘、膝等等。在所示的实施例中，使用四个相机来检测用户的手101和102的定位、方位和运 动。应当理解，本实施例可以在不脱离本实施例的范围或精神的情况下使用更多(例如，六 个相机、八个相机等)或更少的相机(例如，两个相机)。另外，尽管在示例实施例中对称布 置所述相机，但是这种对称不是必要条件。可以使用允许用户的手的定位、方位和运动的任 意数量的定位相机。在一个实施例中，所使用的相机是能够拍摄灰度图像的运动拍摄相机。在一个实 施例中，所使用的相机是Vicon生产的如Vicon MX40相机的那些相机。该相机包括相机上 处理并且能够每秒1000帧地拍摄图像。运动拍摄相机能够检测和定位标志。在所述实施例中，使用相机用于光学检测。在其他实施例中，可以使用相机或其他 检测器用于电磁、静磁、RFID或其他任何适合类型的检测。使用预处理器105生成三维空间点重构和骨点(skeletal point)标记。使用姿 态转换器106把3D空间信息和标志运动信息转换成计算机处理器可以解译来在显示器上 更新光标的定位、形状和动作的命令语言。在替代实施例中，可以把预处理器105和姿态转 换器106组合成单个装置。计算机107可以是如Apple、Dell或其他任何适合制造商制造的任何通用计算机。 计算机107运行应用程序并且提供显示输出。另外来自鼠标或其他现有技术的输入装置的 光标信息现在来自姿态系统。与交通工具接口集成的姿态控制系统图IB是根据实施例的与交通工具子系统120集成的姿态控制系统的框图。交通 工具(例如，汽车、拖拉机、飞行器等)的驾驶室区域或其他乘客座舱区域中的人可以使用 包括用户的手101和102中的一只手或双手以及手101和102中的一只手或双手的手指的 对象来控制交通工具子系统120。交通工具的驾驶室区域是相机104A-104D阵列的查看区。 相机检测对象(例如，手101和102以及手的手指)的定位、方位和运动并且生成到预处理 器105的输出信号。预处理器105把相机输出转换成提供给系统的控制器107(本文也称 为计算机处理单元107或计算机107)的姿态信号。控制器107使用输入信息生成控制一 个或多个交通工具子系统120的命令。实施例的计算机107包括一个或多个控制程序来管理与经由交互系统暴露的汽车子系统组件的用户交互。图IC是根据实施例的控制器107的框图。作为一个示例，该控 制器107包括用于对应的汽车子系统组件的姿态控制的气候控制131、音频132、通信133、 导航134、导向135、娱乐136、操作信息可视化137和网络控制138程序或应用，但是并不限 于这些控制程序。包括在交通工具控制器中的控制程序对应于交通工具中的对于控制可用 的交通工具子系统。尽管采用单个用户的手和/或手指作为跟踪对象示出了该系统，但是可以使用多 用户实现该实施例。而且，替代手或除了手之外，该系统还可以跟踪包括用户身体的任何部 分中的一个或多个部分的对象，包括头、脚、腿、臂、肘、膝等。在所示实施例中，使用四个相机来检测用户的手101和102的定位、方位和运动。 应当理解，在不脱离本实施例的范围或精神的情况下本实施例可以与更多(例如，六个相 机、八个相机等)或更少相机(例如，两个相机)一起使用。另外，尽管在示例实施例中相 机对称布置，但是这种对称不是必要条件。可以使用允许用户的手的定位、方位和运动的任 意数量的定位相机。预处理器105生成三维空间点重构和骨点标记。姿态转换器106把3D空间信息 和对象运动信息转换成计算机处理器可以解译来控制交通工具子系统的命令语言。在替代 实施例中，可以把预处理器105和姿态转换器106组合成单个装置。与交通工具子系统集成的姿态控制系统的实施例能够使得交通工具上的驾驶者 或乘客使用姿态控制交通工具子系统控制组件和交通工具子系统的一个或多个参数。用户 因此可以控制例如像领航、导航和借助姿态驱动界面的外围系统功能的交通工具子系统的 一个或多个参数。本文所述的姿态控制系统与一个或多个交通工具子系统120，举例来说包 括但不限于交互导航装置、无线电广播和数字音频播放器、电话、巡航控制、自动驾驶和其 他自动导向模块、气候控制、操作信息可视化和联网应用集成在一起。本文所述的姿态控制系统包括反馈装置125，为用户提供各种类型的反馈，包括但 不限于音频提示、平面显示器上的视觉输出、仪表盘上安装的基于像素的显示器、专用发光 或变色指示器和触觉或触感显示器上的视觉输出。尽管反馈装置125被示出耦接到控制器 107，但是该实施例并不限于此，反馈装置125可以耦接到集成系统的任何其他元件。图ID是根据实施例的使用姿态控制140交通工具子系统的流程图。该实施例包 括经由交通工具中的多个传感器接收142对象的图像并且输出144表示对象所做姿态的姿 态数据。对象包括用户的手和手指中的至少一个。姿态数据是对象在空间中时间点上的瞬 时状态。该实施例包括通过提取对象的位置、恢复对象的量化姿势和方位矢量并且把姿态 数据转换成姿态信号来从姿态数据自动检测146对象的姿态。该实施例包括响应于姿态信 号管理148与多个交通工具子系统的用户交互。可以采用几种不同的方式配置实施例的姿态控制系统。实施例的系统和方法包含 两种不同类型的姿态控制与特定物理对象靠近的一个或几个手指的最小运动；以及包含 整个手部的自由空间运动。当然，这些是理想的分类。实际上，特定配置可能会使得两种姿 态控制系统之间的差别变得模糊。与交通工具子系统集成的姿态控制系统的以下描述结合对汽车背景的细节的偶 然引用，但是应当理解，所述系统是完全概括的并且可以采用用于与任何交通工具类型相 关联的功能的交互控制。
实施例的交通工具接口的姿态控制系统包括以下中的一个或多个用于跟踪三维 空间中手指和/或整个手的位置的一组传感器；用于处理传感器数据的应用或元件；用于 以控制程序或其他基于交通工具的程序或应用可以使用的形式表示手指和/或手的位置 的代表组件；管理与经由交互系统暴露的汽车子系统组件的用户交互的控制程序；和/或 包括通过视觉和其他通道的连续和/或动态反馈的反馈方案，通过这些反馈，人力操作者 不仅被告知姿态控制系统对汽车子系统组件的影响，还被告知姿态控制系统的对操作者相 关手势和运动的瞬时、正在进行的和预测的解译。尽管交通工具接口的姿态控制系统没设 想对标志的使用，但是以下描述的实施例不限于此。实施例的传感器可以采取各种形式。实施例使用耦接到一起的两个或更多的小相 机来形成立体声视觉系统。将相机定位以查看主交通工具的驾驶室和/或乘客座舱。该立 体声视觉系统在其视野内最少生成对象的三维数据点云。在数据集中的点的分辨深度精度 根据包括距相机基线的距离的许多因素而变化，但是大约为1毫米(mm)。成像的对象是用 户或操作者的空手和/或手指。替代实施例的传感器是飞行时间深度感测相机。另一替代实施例的传感器是结构 光三维传感器。给定由立体声传感器组生成的点云，姿态控制系统提取手和手指中至少一个的位 置，从该位置又可以恢复量化的手部姿势和连续的手和手指方位矢量。针对这种恢复所使 用的方法基本上类似于下述方法，不同之处在于交通工具系统开始于非结构点云而非合计 标签数据。使得手和手指表示为实现系统互动模式的机构所用。实施例使用多组立体声耦接相机，或者使用处理像素数据来处理大于一个相机的 变型的相关算法。增加相机的数量例如可以扩大视野、减小手的一部分的遮挡造成的困难、 和/或提高点云数据的准确度。根据姿态控制系统的第一互动模式，交通工具的驾驶者借助手指运动控制各种子 系统同时使手与方向盘或其他交通工具导向机构接触或非常接近。这种以方向盘为中心的 模式包括或者使用对驾驶者每只手上的一部分手指的位置的精确跟踪。驾驶者开始正常把握在方向盘上，例如手部位于十点钟和两点钟位置，手指环绕 在方向盘边缘。伸展任一只手的食指和中指中的任一个激活控制系统。手指运动的各种组 合实现导航以及对各种控制模式、交通工具子系统的组件和/或参数的选择。一个替代方 案暗含用户拇指而非食指和中指或者连同食指和中指的跟踪运动。通过依次步进与“加/减”状态变化相结合的可用模式可以实现简单的系统控制 (例如，交通工具系统)。手指控制状态空间的简单配置包括伸展任一只手的两个手指以激 活控制系统，并且这两个手指的快速握紧和再次伸展弹开在可用的主要控制模式(例如， 无线电广播、电话、数字音频播放器、气候控制等)之间轮换。另一只手随后步进通过并且 控制该模式中可用的选项。两个手指快速握紧-伸展配置在耦接系统的主要设置模式之间 循环。通过单个手指握紧-伸展弹开或者食指和中指分别的按下运动提供各自的向上设置 和向下设置的参数的步进。类似的操作实现子模式、子-子模式等的往返运动，在这些情况 下控制拓扑结构大于单个水平深度。因此，例如在无线电广播模式中，初始设置模式是音量控制。食指的快速握紧-伸 展将音量设置提高一个增量。相反，中指的握紧-伸展使得音量降低一个增量。将任一个手指向下按压在方向盘(另一个手指保持伸展)以恒定速率提高或降低音量。两个手指握 紧-伸展循环到无线电广播预置的下一个设置模式。这里，食指和中指运动控制预置列表 的向上和向下往返运动。手指运动到本文所述的控制输入的相对简单的映射具有几个理想特点。多数交互 模式直接取决于熟悉的交通工具接口，例如几乎在各车载无线电广播上都存在的向上/向 下按钮。可以将姿态控制系统耦接到许多可用的输出装置来为用户提供反馈。例如，姿态 控制系统的输出包括与姿态或者姿态所实现的控制有关的合成语音反馈。作为另一示例， 姿态控制系统的输出包括基本字母数字显示器上的大文本。另外，可以提供包括硬质模压、 二元发光按钮显示器或掩模LCD屏的输出。使用姿态控制系统减小了把手从方向盘移开或者改变正常驾驶手部位置和姿势 的需要。这些驾驶友好的人体工学提供舒适和便捷，并且对于安全来说可能是理想的。如果呈现整个图形显示器并且耦接到姿态控制系统，则另外一组交互行为变得可 用。手指运动可以驱动指示光标在图形显示器上的位置，进而允许进行控制模式和设置的 非线性选择。在实施例中，该图形显示器集成到挡风玻璃(例如，在平视配置中，其中固有 的光学功率使得显示器以针对视觉适应而优化的深度来呈现)或者安装在方向盘的正上 方和下方的仪表盘部件中。这种配置将图形显示器置于“方向盘上方”视角的法线的驾驶 者最近区域内。对于非线性控制类型，手部在正常驾驶位置开始。伸展任一只手的食指激活控制 系统并且在显示器上显示指示光标。手指尖的相对运动驱动光标在显示区域上的水平和垂 直运动。可以通过指示装置近邻选择显示器上的界面图形，并且通过一只或两只手指点击 以及无指示装置的手部的把握或者通过无指示装置的手部上食指的二维手指尖运动来操 控。可以通过食指握紧-伸展来控制简单(虚拟)开关按钮。虚拟标尺或滑块，例如音量 控制如上所述可以由食指和中指来控制。姿态控制系统的第二交互模式包含自由空间控制。在该模式中，用户(例如，交通 工具操作者或乘客)通过在汽车内部的特定开放区内移动一只手以及结合手指与导航系 统、无线电广播和/或其他子系统交互。自由空间控制可以与完整图形显示器相结合使用， 其中一个实施例可以定位感测音量，并且由此操作者动作定位在显示器的正前方。在实施例中，指向显示器的“仿真枪”姿势激活控制系统。十个姿势连同他们之间 以及借助手部的细粒度目标和运动改变顺序的变换构成了实施例的核心姿态符号集。然 而，姿态符号集并不限于十个姿势。实施例的十个姿势通过组合生成‘仿真枪’的‘枪管’ 可以单独由食指或者由食指和中指一起形成。对于这两种状态中的任一个，拇指可以垂直 于‘枪管’(在手部平面中)或者可以平行于‘枪管’向下‘点击’。而且，对于这四个状态中 的任一个，整个手和手指几何关系可以在与重力对齐的平面中以垂直方向，或者在与重力 垂直的平面中以水平方向定向。这给出八种基本姿势；另外两个姿势通过旋转手部大部分 从而使得‘枪管’基本上指向中间来形成。根据下文，用姿态描述语言(以下具体描述)表示实施例的十个姿势"" -:-χ( ‘一个手指指向，)"" |:-χ( ‘一个手指点击，)
一 一X (‘两个手指点击’)
一 一VX(‘倾向于两个手指指向’)
一． 一．一(‘中间两个手指指向’)
由于控制系统处于有效状态(随后首次恢复垂直的拇指向上，一个手指指向)，所以出现用于当前模式的指示光标和背景菜单组件。光标位置通过食指的运动和／或瞄准来驱动。通过把指示装置定位在组件中并且把拇指移动到向下／点击(与食指对齐)位置完成在按钮1滑块和菜单组件上的基本选择和控制。将光标移动远离屏幕到中间侧调出高水平菜单列表，光标移动限制在二维(向上和向下)。从高水平菜单中选择选项操作来改变控制模式(例如，从电话模式到导航系统模式)。I0071] 主交通工具系统的模式可以利用手部的真实三维运动。例如在导航系统模式时，将手倾斜到拇指水平姿势使得正常选择组件半透明并且将映射的位置和缩放限制到手的左向1右向1向上1向下，向前和后向运动。返回到拇指垂直姿势冻结映射视角并且恢复背景菜单和选择组件。
对于获得最小舒适水平和对基本系统的熟悉的操作者来说，许多改进是可能的。例如，上面列举的两个手指姿势可以选择性地被限制到特定的“快捷”功能。驾驶者可以选择来把共有的无线电广播功能，即音量控制和电台预置关联到两个手指姿势，使得这些控制模式始终可用。借助这种激活的定制，交互背景开关不必操控无线电广播，这种控制动作由此可以出现在距其他正在进行的控制序列的‘条带之外’。即(对于当前示例)一个手指姿势进行如上所述动作；两个手指姿势直接并且同时起到无线电广播快捷方式和关联的反馈图形的作用，在有效的手部离开控制空间或者返回到与‘标准’控制语义相关联的一个手指姿势时，后者随后消失。本文所述的各种交互可以结合在一起来形成可能巨大的一组控制和接口行为，如下文具体描述的那样。
标志标签I0074] 相对于上述的系统和方法，实施例的系统和方法可以使用用户的一个或多个手指上的标志标签从而使得系统能够定位用户的手部，识别出正在观看左手还是右手，以及哪些手指是可见的。这允许该系统检测用户手部的定位1方位和运动。该信息使得许多姿态将由系统来识别并且由用户作为命令来使用。
在一个实施例中，标志标签是物理标签，包括基板(在本实施例中适于附接到人手上的多个位置)和以唯一标识图案在基板表面上布置的离散标志。
标志和关联的外部感测系统可以工作在允许对其三空间位置进行准确、精确和快 速而连续采集的任何域(例如，光学、电磁、静磁等)。标志自身可以主动(例如，通过发射 结构化电磁脉冲)或被动(例如，如在本实施例中那样，通过被光学回射)工作。在采集每帧时，检测系统从仪器实现的工作空间范围(相机或其他检测器的可见 范围内)中的当前的标签接收包括所有标志的恢复的三空间位置的聚集‘云’。每个标签上 的标志足够多样化并且以唯一图案布置，使得该检测系统可以执行以下任务(1)分段，其 中把每个恢复的标志位置分配给形成单个标签的点的一个和唯一一个子集；( 标注，其 中各个点的分段子集被识别为特定标签；C3)定位，其中恢复识别的标签的三空间位置；以 及(4)方位，其中恢复识别的标签的三空间方位。通过标志图案的特定特点可能完成任务 (1)和O)，如以下所述并且如在图2中的一个实施例中所图示的那样。在一个实施例中，标签上的标志附接到规则网格定位的子集。如在本实施例中的 那样，这种基本网格可以是传统的笛卡尔类型，或者可以是另外的其他一些规则平面镶嵌 (例如，三角形/六角形瓦片排列)。针对标志感测系统的已知空间分辨率建立网格的尺度 和间隔，从而可能不会弄混相邻的网格定位。针对所有标签对标志图案的选择应当满足以 下约束条件没有标签图案与通过旋转、转换或镜像的任意组合的其他任何标签图案的一 致。还可以选择标志的多样性和布置从而容许某些特定数量的组成标志的损失(或遮挡) 在任一随机转换之后，仍然可能不会将损坏的模块与其他任何模块弄乱。现在参考图2，示出了多个标签201A-201E (左手)和202A-202E (右手)。各个标 签为矩形并且在该实施例中由5x7网格阵列组成。选择矩形形状辅助确定标签的方位并且 减小镜像复制的可能性。在所示的实施例中，各个手的各个手指都有标签。在一些实施例 中，每只手使用一个、两个、三个或四个标签可能足够。每个标签具有不同灰度或颜色阴影 的边界。在该边界中是3x5网格阵列。以网格阵列把标志(由图2的黑点表示)置于某些 点处来提供信息。通过将每个图案分段成‘共有’和‘唯一’子图案而将符合条件的信息编码在标签 的标志图案中。例如，本实施例规定了两种可能的‘边界图案’，有关矩形边界的标志分布。 由此建立标签‘族’-意在用于左手的标签由此可能都使用与标签201A-201E所示的相同 边界图案，尽管附接到右手手指的那些标签可以分配有如标签202A-202E所示的不同的图 案。选择这种子图案从而可以在标签的所有方位中将左侧图案与右侧图案区分开。在图示 示例中，左手图案包括每个角上的标志以及距角网格定位的第二个角上的标志。右手图案 具有仅在两个角上的标志和在非角网格定位上的两个标志。图案的检查表明，只要四个标 志中的任意三个可见，就肯定可以将左手图案与右手图案区分开。在一个实施例中，边界的 颜色或阴影还可以用作偏手性的指示器。各标签仍然当然必须采用唯一内部图案，在其家族公共边界内分布的标志。在所 示实施例中，已发现，由于手指的旋转或方位的原因，内部网格阵列中的两个标志无需复制 足以唯一地识别出十个手指中的每一个。即使遮挡标志中的一个，标签的图案和偏手性的 组合产生唯一标识符。在本实施例中，网格定位可视地呈现在刚性基板上作为对把每个回射标志附接到 其想要定位的(手动)任务的辅助。这些网格和想要的标志定位经由彩色喷墨打印机逐字 地打印到基板上，这里基板是(最初)柔性‘收缩薄膜’的片材。每个模块从该片材切除并且随后被烘烤，在热处理期间每个模块经过精确和可重复的收缩。针对该过程之后的简短 间隔，冷却标签可以稍微成形-例如遵循手指的纵向曲线，其后，基板适于为刚性并且可以 把标志附接到所指示的网格点。在一个实施例中，标志自身是三维的，如经由粘合剂或其他任何适合方式附接到 基板的小反射球。三维标志可以成为在二维标志上的检测和定位的辅助。然而，可以在不 脱离实施例的精神和范围的情况下使用任何一种。目前，经由Velcro或其他适合方式把标签附接到操作者戴的手套或者可替代地 使用柔和的双面胶带直接附接到操作者手指。在第三实施例中，可以与刚性基板一起分配 并且把单独标志直接附接或‘印刷’到操作者手指和手上。姿态符号集实施例考虑由手部姿势、方位、手部组合以及方位混合组成的姿态符号集。符号语 言还实现用于以实施例的姿态符号集设计和传递姿势和姿态。姿态符号集是以简洁的文 本形式表现运动联接的瞬时‘姿势状态’的系统。所讨论的联接可以是生物学的(例如人 手；或者整个人体；或者蝗虫腿；或猕猴的关节相连的脊骨)或者是非生物学的(例如，机 械臂)。在任一种情况下，联接可以是简单的(脊骨)或者分支的(手)。实施例的姿态符 号集系统针对任一特定联接创建恒定长度的序列；占据序列‘字符定位’的特定ASCII字符 的集合成为联接的瞬时状态或‘姿势’的唯一描述。手部姿势图3图示了姿态符号集的实施例中的手部姿势。该实施例假设使用了一只手的五 个手指中的每一个。这些手指标记为P-小手指、r-无名指、m-中指、i_食指和t-拇指。 在图3中定义和图示了手指和拇指的许多姿势。姿态符号集序列为联接中(在此情况下 为手指)各个可表现的自由度创建单个字符位置。而且，各个这种自由度被认为是离散的 (或‘量化的’)，从而可以通过在该序列位置上分配确定数量的标准ASCII字符之一来表现 其整个运动范围。相对主体特用原点和坐标系(手背、蝗虫身体的中心；机械臂的底座等) 表现这些自由度。因此使用少量附加的姿态符号集字符位置在更普遍的坐标系中‘作为整 体’表现联接的位置和方位。仍然参考图3，使用ASCII字符定义和标识许多姿势。一些姿势被划分在拇指和非 拇指之间。该实施例使用编码从而使得ASCII符号本身作为对姿势的提示。然而，不管提 示与否，可以使用任何字符来表示姿势。另外，对于符号序列不需要使用ASCII字符。可以 在不脱离该实施例的范围和精神的情况下使用任何适合的符号、数字或其他表示。例如，如 果想要的话，符号可以使用每个手指两位，或者根据需要使用其他数量的位。蜷起的手指由字符“ ~ ”表示，而蜷起的拇指由“ > ”表示。伸直的手指或向上指的 拇指由“1”指示并且由“\”或“/”指示一定角度。“-”表示指向笔直侧向的拇指，而“X”表 示指向平面的拇指。使用这些单独的手指和拇指描述，根据实施例可以定义和记下手部姿势的大致数 量。每个姿势由如上所述的p-r-m-i-t顺序的五个字符表示。图3图示了许多姿势并且这 里借助图示和示例描述一些姿势。手部保持平直并且与地面平行表示为“11111”。拳头表 示为>”。“确定”记号表示为“ 11Γ >”。在使用提示字符时，字符串提供了易懂的‘人类可读性’的机会。一般来说，可以用眼睛选择描述各自由度的可能的字符集来加快识别和明显类推。例如，垂直条(‘|’)可 能表示联接组件是‘平直的’，长度符号(‘L’)可能表示90度弯曲，声调符号(‘~’)可能 表示锐弯。如上所述，可以根据需要使用任意字符或编码。采用如本文所述的姿态字符集序列的任何系统得益于序列比较-识别的高计算 效率或者按照文字搜索任何特定姿势变成期望姿势序列与瞬时真实序列之间的‘序列比 较’(例如，UNIX的‘strcmpO ’功能)。而且，‘通配符字符’的使用为程序员或系统设计者提 供了额外熟悉的效率和功效瞬时状态对于匹配无关的自由度可以规定为询问点(‘？’)； 可以分配另外的通配符含义。方位除了手指和拇指的姿势之外，手的方位可以表示信息。显然还可以选择描述一般 空间方位的字符字符‘<’、‘>’、‘~’，而可以使用‘V’来指示出现在方位字符位置上时的 左、右、上和下的概念。图4图示了将姿势和方位组合的编码的手部方位描述符和示例。在 实施例中，两个字符位置首先规定手掌的方向并且随后规定手指的方向(如果手指伸直， 则与手指的真实弯曲无关)。这两个位置的可能的字符代表方位的‘以主体为中心’的符 号‘_’、‘ + ’、‘χ’、‘*’、‘~’，而‘V，描绘了中间、横向、前面(远离主体向前)、后面(远离 主体向后)、头部(向上)和尾部(向下)。在实施例的符号方案中，指示字符的五个手指姿态之后是冒号，并且随后是定义 完整命令姿势的两个方位字符。在一个实施例中，开始位置是指“xyz”姿势，其中拇指 竖直指向上，食指指向前，中指垂直于食指，在右手做出该姿势时指向左。这表示为序列 “""xl-:-x”。‘XYZ-手’是采用人手的几何形状允许对视觉呈现的三维结构进行全部六个自由 度导航的技术。尽管该技术仅取决于操作者手部的整体转换和旋转，从而使得其手指在原 理上可以保持在期望的任意姿势，但是本实施例宁愿静态配置，其中食指指向远离身体，拇 指指向天花板，中指指向左-右。三个手指由此描绘了(粗略地，但是清晰明确的意图)三 空间坐标系的三个相互垂直的轴这样的‘XYZ-手’。XYZ-手导航随后用手、手指进行上述的在操作者的身体前保持预定的‘中立定位’ 的姿势。以下列固有方式实现对三空间对象(或相机)的三个转换和三个旋转自由度的访 问手部的左右运动(相对于身体固有坐标系)产生沿计算背景的X轴的运动；手部的上下 运动产生沿受控的背景的y轴的运动，而前后的手部运动(向着/远离操作者身体)产生 背景内的ζ轴运动。类似地，操作者的手部围绕食指的旋转造成计算背景的方位的‘滚动’ 变化；分别通过操作者的手部围绕中指和拇指的旋转，类似地造成‘倾斜’和‘偏转’变化。注意，尽管这里使用‘计算背景’来指代由XYZ-手的方法所控制的实体一并且看 上去暗示了合成的三空间对象或者相机，但是应该理解，该技术对于控制真实世界对象的 各个自由度来说同等有效例如，装备有适当的旋转致动器的视频或运动画面摄像机的平 移/倾斜/偏转控制。而且，XYZ-手部姿势所提供的物理自由度在某种程度上可能较少逐 字地映射到虚拟域中。在本实施例中，还使用XYZ-手提供对大型全景显示图像的导航访 问，从而使得操作者的手部的左右和上下运动产生有关图像的期望的左右和上下‘平移’， 而操作者的手部的前后运动映射到‘缩放’控制。在每种情况下，手部运动与引起的计算转换/旋转之间的耦合可以是直接的(即，操作者的手部的位置或旋转偏移经由一些线性或非线性函数一对一地映射到计算背景中 的对象或相机的位置或旋转偏移)或者间接的(即，操作者的手部的位置或旋转偏移经由 一些线性或非线性函数一对一地映射到计算背景中位置/方位的第一或更高次导数；进行 中的结合随后在计算背景的真实0阶位置/方位发生非静态变化)。后者的这种控制方式 类似于汽车‘油门踏板’的使用，其中踏板的恒定偏移或多或少产生恒定的车辆速度。作为真实世界XYZ-手的本地六自由度坐标原点的‘中立定位’可以被设立(1)作 为空间中的绝对位置和方位(即，相对于封闭室)；(2)作为相对于操作者自身的固定位置 和方位(例如，身体前方8英寸，下巴下方10英寸并且与肩部平面横向平行)，与操作者的 整体位置和‘航向’无关；或者(3)通过操作者的故意的次要动作(例如使用操作者的‘另 一只’手所作的姿态命令，所述命令指示XYZ-手的当前位置和方位应当此后用作转换和旋 转原点)进行交互。进一步方便提供有关XYZ-手的中立定位的‘锁销’区(或者‘静区’)，使得该范 围内的运动未映射到受控背景中的运动。其他姿势可以包括[I I I I I :vx]是伸直的手(拇指平行于手指)，手掌朝下手指向前。[| ι ι ι ι :x"]是伸直的手，手掌朝前，手指朝向天花板。[I I I I I :-χ]是伸直的手，手掌朝身体中心(如果是左手则手掌朝右，如果是右手 则手掌朝左)手指向前。是单个手拇指向上(拇指指向天花板)。["" -:-χ]是指向前的仿真枪姿势。双手组合实施例考虑单手命令和姿势以及双手命令和姿势。图5图示了实施例中的双手组 合和相关符号的示例。回顾第一示例的符号，“完全停止”表明其包括两个闭合的拳头。“快 照”示例具有每个伸展开的手的拇指和食指，拇指相互指向对方，定义了目标后形成的帧。 “方向舵和节气门开始位置”是向上指向面对屏幕的手掌的手指和拇指。方位混合图6图示了实施例中的方位混合的示例。在所示的示例中，通过将方位符号对装 入手指姿势序列之后的括号内来表示混合。例如，第一命令示出了所有竖直指向的手指位 置。第一方位命令对将使得手掌向显示器伸直，第二对具有向屏幕旋转45度倾角的手。尽 管在该示例中示出了混合对，但是考虑到任意数量的混合。示例命令图8/1和图8/2图示了根据实施例的可以使用的大量可能的命令。尽管本文说明 书的部分在于控制显示器上的光标，但是该实施例不限于该操作。事实上，该实施例在操控 显示器上的任何和所有以及部分数据连同显示器的状态方面具有重大应用。例如，可以使 用命令在视频媒体播放期间替代视频控制。可以使用命令暂停、快进、倒带等。另外，可以 实现命令放大或缩小图像以改变图像的方位、在任意方向上平移等。还可以使用该实施例 来代替如打开、关闭、保存等的菜单命令。换言之，可以使用手部姿态实现可以设想到的任 何命令或者动作。操作
图7是示出了根据实施例的系统操作的流程图。在701，检测系统检测标志和标 签。在702，确定是否检测到标签和标志。如果否，系统返回到701。如果在702检测到标 签和标志，则系统进行到703。在703，系统根据所检测的标签和标志识别手、手指和姿势。 在704，系统识别姿势的方位。在705，系统识别被检测的一只手或双手的三维空间定位(请 注意可以将703、704和705中的任意个或全部相结合)。在706，把信息转换成如上所述的姿态符号。在707，确定姿势是否有效。这可以 使用所生成的符号序列通过简单序列比较来实现。如果姿势无效，则系统返回到701。如果 姿势有效，则在708系统把符号和位置信息发送给计算机。在709，计算机响应于该姿态确 定要采取的适合动作并且相应地在710更新显示。在一个实施例中，701-705由相机上的处理器来完成。在其他实施例中，可以根据 需要由系统计算机完成处理。分析和转换系统能够“分析”和“转换”通过基本系统恢复的低水平姿态流，并且把那些分析 和转换的姿态变成可以用来控制广泛的计算机应用和系统的命令流或事件数据。可以在系 统中实现这些技术和算法，该系统包括提供实现这些技术的引擎以及构建利用引擎能力的 计算机应用的平台两者的计算机代码。一个实施例关注于在计算机接口中实现人手的大量姿态使用，但是还能够识别其 他身体部分做出的姿态(包括但不限于臂、躯干、腿和头)以及各种非手部的身体工具，所 有固定和关节连接的部分，包括但不限于圆规、罗盘、柔性曲线近似器和各种形状的指示装 置。可以把标志和标签应用到可以根据需要由操作者携带和使用的物品和工具。这里所述的系统加入了许多改进，使得能够构建富于可以识别和做出姿态的范围 的姿态系统，而同时提供了对应用的简单结合。在一个实施例中的姿态分析和转换系统包括1)以几种不同集合水平规定(编码以在计算机程序中使用)姿态的简洁和有效方 法；a. 一只手的“姿势”(这只手的各部位相互之间的布置和方位)三维空间的一只 手的方位和位置。b.双手组合，对于考虑姿势、位置或姿势和位置两者的每只手。c.多人组合；该系统可以跟踪多于两只手，并且从而一人以上可以协同地(或者 在游戏应用情况下竞争地)控制目标系统。d.其中姿势顺序组合的顺序姿态；我们称这些为“动画”姿态。e. “语义图”姿态，其中操作者跟踪空间中的形状。2)用于从上面的每个类别登记与给定应用场景相关的特定姿态的编程技术。3)用于分析姿态流从而可以识别该登记的姿态并且可以把封装那些姿态的事件 传送到相关的应用场景的算法。借助构成元素(Ia)到(If)，规范系统(1)提供了使用这里所述的系统的姿态分析 和转换能力的基础。一只手“姿势”被表示为以下的序列i)手指与手背之间的相对方位，
ii)量化成少量离散状态。使用相对结合方位允许这里所述的系统避免不同的手部大小和几何形状相关的 问题。对于这种系统不需要“操作者校准”。另外，将姿势规定为相对方位的序列或集合允 许通过将姿势表示与另外的滤波器和规范相结合以容易地创建更复杂的姿态规范。针对姿势规范使用少量离散状态能够简单地指定姿势并且使用各种基本跟踪技 术(例如，使用相机的被动光学跟踪，使用光点和相机的主动光学跟踪，电磁场跟踪等)确 保准确的姿势识别。可以部分地(或者最小地)规定每个类别(Ia)到(If)中的姿态，从而忽略非关 键数据。例如，两个手指的位置是确定的并且其他手指位置是不重要的姿态可以表示为单 个规范，其中给出两个相关手指的操作位置，并且在同一序列中，为其他手指列出“通配符” 或一般“忽略这些”指示符。针对姿态识别这里描述的所有改进，包括但不限于多层规范技术、相对方位的运 用、数据量化以及针对每个级别的部分或最小规范的余量，将手部姿态的超过规范归纳为 使用其他身体部分和“制造”工具和对象的姿态的规范。用于“登记姿态” O)的编程技术由预定义的应用编程接口集调用函数组成，调用 函数允许编程者定义引擎应当使得哪些姿态对于运行系统的其他部分可用。在应用建立时可以使用这些API线程，创建在运行应用程序的持续时间期间使用 的静态接口定义。在运行期间也可以使用这些线程，允许接口特性在不工作时发生改变。接 口的这种实时变化使得能够i)构建复杂场景和条件控制状态，ii)向控制环境动态地添加迟滞(hysteresis)，以及iii)创建应用，其中用户能够改变或扩展运行系统自身的接口符号集。用于分析姿态流(3)的算法将(1)中规定和在( 中登记的姿态与输入的低水平 姿态数据相比较。在识别出用于登记姿态的匹配时，把代表匹配姿态的事件数据在堆栈上 方传送到运行的应用。在这种系统的设计中有效的实时匹配是理想的，将指定姿态看作是尽可能快的处 理的概率树。另外，内部使用以识别指定姿态的初始比较操作符还暴露给应用程序编程者来使 用，使得甚至在应用场景中也可以进行进一步比较(例如在复杂或复合姿态中的灵活的状 态检查)。识别“锁定”语义是本文所述系统的改进。这些语义由登记API (2)(以及，在较小 程度上，嵌入在规范符号集(1)中)来暗示。登记API调用函数包括i) “登入”状态提示符以及“继续”状态提示符，以及ii)姿态优先级指示符。如果识别出姿态，则其“继续”条件对于相同或较低优先级的姿态占据所有“登入” 条件的优先位置。登入和继续状态之间的这种差异明显增加感知系统可用性。本文所述的系统包括面对真实世界数据误差和不确定性的鲁棒操作的算法。来自 低水平跟踪系统的数据可能是不完整的(由于多种原因，包括光学跟踪、网络中断或处理 延迟等中标志的遮挡)。
丢失的数据由分析系统做标记，并且根据丢失数据的数量和背景插入“最后已知 的”或“最可能的”状态。如果丢失有关特定姿态成分的数据(例如，特定接合的方位)，而该特定成分的 “最后已知的”状态可以作为本质上可能的状态进行分析，则系统在其实时匹配中使用该最 后已知的状态。相反，如果最后已知的状态作为本质上不可能的状态进行分析，则系统退回到该 成分的“最佳猜测范围”，并且在其实时匹配中使用该合成数据。本文描述的规范和分析系统被精心设计来支持“偏手性不可知论”，从而针对多个 手部姿态允许任一只手满足姿势需求。一致的虚拟/显示和物理空间系统可以提供这样一种环境，其中在一个或多个显示装置(“屏幕”)上描绘的虚 拟空间被看作与系统的一个或多个操作者所处的物理空间一致。本文描述了这种环境的实 施例。该当前实施例包括固定定位处的三个投影仪驱动屏幕，由单个台式计算机驱动并且 使用本文描述的姿态符号集和接口系统来控制。然而，注意，任意数量的屏幕得到正在描述 的技术的支持，那些屏幕可以是移动的(而非固定的)，屏幕可以由许多独立计算机同时驱 动，以及整个系统可以受到任何输入装置或技术的控制。本公开中描述的接口系统应当具有确定屏幕在物理空间中的尺寸、方位和位置的 装置。给定该信息，该系统能够把这些屏幕作为投影定位(并且存在系统的操作者)的物 理空间动态地映射到在系统上运行的计算机应用的虚拟空间。作为该自动映射的部分，该 系统根据系统所具有的应用的需要以多种方式转换两个空间的尺度、角度、深度、尺寸和其 他空间特征。物理和虚拟空间之间的这种连续转换使得能够一致和普遍应用难以在现有应用 平台上实现或者针对在现有平台上运行的各个应用必须逐个(piece-meal)实现的许多接 口技术。这些技术包括(但不限于)1) “文字指示”的使用-在姿态接口环境中使用手部，或者使用物理指示工具或装 置-作为普遍和自然接口技术。2)对屏幕移动或重新定位的自动补偿。3)根据操作者位置例如模拟视差偏移发生变化以增强深度感受的图形渲染。4)在屏幕上显示器中包括物理对象-考虑真实世界位置、方位、状态等。例如，站 在大型、不透明的屏幕前方的操作者可以看到应用图形以及屏幕(并且可以正在移动或者 改变方位)后方的比例模型的真实位置的表示。值得注意的是，文字指示不同于在基于鼠标的窗口接口和大多数其他同时期的系 统中使用的抽象指示。在那些系统中，操作者必须学会管理虚拟指示装置与物理指示装置 之间的转换，并且必须有认知地在两者之间映射。相反，在本公开内容中描述的系统中，不管是从应用还是从用户角度来说，虚拟和 物理空间之间都不存在差别(只是虚拟空间更受数学运算的影响)，所以不存在操作者的 所需要的认知转换。本文描述的实施例所提供的文字指示的最接近近似是触摸敏感屏幕(例如在许 多ATM机器上所见的)。触摸敏感屏幕在屏幕上的二维显示空间与屏幕表面的二维输入空间之间提供一对一的映射。在类似方式中，本文所述的系统在一个或多个屏幕上显示的虚 拟空间与操作者所处的物理空间之间提供了灵活的映射(可能但并非必须一对一)。尽管 类推的有效性问题，但是值得注意的是，该“映射方法”到三维的扩展，任意大型架构环境以 及多屏幕并非微不足道。除了本文描述的成分之外，系统还可以实现在环境的物理空间与每个屏幕上的显 示空间之间实现连续、系统级映射(大概通过旋转、转换、缩放和其他几何关系变换修改) 的算法。实施例的系统包括渲染堆栈，其获得计算对象和映射并且输出虚拟空间的图形表
7J\ ο实施例的系统包括输入事件处理堆栈，其从控制系统获得事件数据(在当前实施 例中为来自系统和鼠标输入的姿态和指示数据两者)并且把空间数据从输入事件映射到 虚拟空间中的坐标。随后将转换后的事件传送给运行的应用。实施例的系统包括“粘合层”，允许系统具有通过局域网在几个计算机之间运行的应用。本文所述的实施例包括一种系统，包括交通工具中的多个传感器，其中所述多个 传感器映射对象并且输出表示所述对象所做姿态的姿态数据，其中所述姿态数据是所述对 象在空间中时间点的瞬时状态，其中所述对象包括用户的手和手指中的至少一个；处理器， 耦接到所述多个传感器，所述处理器从所述姿态数据自动检测所述对象的姿态，所述检测 包括提取所述对象的位置，所述检测包括恢复所述对象的量化姿势和方位矢量，所述检测 包括把所述姿态数据转换成姿态信号；以及控制器，耦接到所述处理器并且耦接到交通工 具的多个交通工具子系统，所述控制器响应于所述姿态信号管理与所述多个交通工具子系 统的用户交互。定位实施例的多个传感器来查看所述交通工具的座舱。实施例的多个传感器包括多个相机。实施例的多个相机包括立体视觉系统。实施例的姿态数据包括表示所述对象的三维数据点云。实施例的三维数据点云中的数据点的分辨深度精度大约为1毫米(mm)。实施例的对象的位置包括手的位置。实施例的对象的位置包括一组手指的位置。实施例的对象的量化姿势包括至少一只手的量化姿势。实施例的对象的方位矢量包括至少一只手的连续方位矢量。实施例的对象的方位矢量包括一组手指的连续方位矢量。实施例的转换包括把所述姿态的信息转换成姿态符号。实施例的姿态符号表示姿态符号集，并且所述姿态信号包括所述姿态符号集的通
fn °实施例的姿态符号集以文本形式表示所述对象的运动联接的瞬时姿势状态。实施例的姿态符号集以文本形式表示所述对象的运动联接的方位。实施例的姿态符号集以文本形式表示所述对象的运动联接的方位组合。实施例的姿态符号集包括表示所述对象的运动联接状态的字符串。
实施例的系统包括耦接到所述处理器的反馈装置，所述反馈装置为用户提供对应 于所述姿态的指示。实施例的指示包括对所述姿态的解释。实施例的指示包括响应于所述姿态在所述多个交通工具子系统上实现的效果。实施例的反馈装置是视觉装置。实施例的反馈装置是听觉装置。实施例的反馈装置是音频-视觉装置。实施例的反馈装置是交通工具平视显示器。实施例的反馈装置是基于像素的交通工具显示器。实施例的反馈装置是至少一个变色发光指示器。实施例的反馈装置是触觉显示器。实施例的控制器使用第一交互模式管理所述用户交互，所述第一交互模式包括响 应于所述姿态来控制与所述多个交通工具子系统的交互，其中所述姿态包括用户的手指运 动。实施例的姿态包括手部两个手指的握紧-再次伸展运动，其中所述控制器响应于 所述姿态而循环经过交通工具子系统的多个控制组件，其中每个控制组件都允许用户控制 交通工具子系统的参数。实施例的姿态包括用户手部的手指的握紧-再次伸展运动，其中所述控制器响应 于所述姿态而递增地改变所述参数的设置。实施例的姿态包括按住第一手指和伸展第二手指，其中所述控制器响应于所述姿 态以恒定速率改变所述参数的设置。实施例的姿态包括用户第一只手的至少一个手指的伸展，其中所述处理器响应于 所述姿态激活所述控制器。实施例的用户的手部在所述姿态期间保持与交通工具的导向机构接触。实施例的至少一个手指是所述用户的食指、中指和拇指中的至少一个。实施例的姿态包括所述第一只手的两个手指的握紧-再次伸展运动，其中所述控 制器响应于所述姿态而循环经过交通工具子系统的多个控制模式，其中所述多个控制模式 的每个控制模式都对应于交通工具子系统。实施例的姿态包括第二只手的两个手指的握紧-再次伸展运动，其中所述控制器 响应于所述姿态而循环经过每个控制模式的多个控制选项，其中所述多个控制选项的每个 控制选项都对应于交通工具子系统。实施例的姿态包括所述用户手部的手指的握紧-再次伸展运动，其中所述控制器 响应于所述姿态对控件的设置进行控制。实施例的姿态包括所述用户的手部的第一手指的握紧-再次伸展运动，其中所述 控制器响应于所述姿态通过沿第一方向对所述设置进行步进来递增地改变所述设置。实施例的姿态包括所述用户手部的第二手指的握紧-再次伸展运动，其中所述控 制器响应于所述姿态通过沿第二方向对所述设置进行步进来递增地改变所述设置。实施例的姿态包括按住所述第一手指和伸展所述第二手指，其中所述控制器响应 于所述姿态以恒定速率改变所述设置。
实施例的系统包括耦接到所述处理器的图形显示器，所述图形显示器为用户提供 对应于所述姿态的指示，其中所述姿态控制显示组件在所述图形显示器上的位置。实施例的手指运动经由所述显示组件实现所述交通工具子系统的控制组件的非 线性选择，其中每个控制组件都允许用户控制交通工具子系统的参数。实施例的姿态包括所述用户的第一只手的至少一个手指的伸展，其中所述处理器 响应于所述姿态激活所述控制器并且使得所述显示组件将被显示。实施例的姿态包括指尖的相对运动，其中所述处理器响应于所述指尖的相对运动 控制所述显示组件在所述图形显示器上的运动。通过所述显示组件的近邻选择实施例的所述显示器的界面图形，其中所述显示组 件是指示装置。实施例的界面图形对应于所述交通工具子系统的控制组件，其中每个控制组件的 界面图形都允许用户控制交通工具子系统的参数。实施例的姿态包括所述用户手部的手指的握紧-再次伸展运动，其中所述控制器 响应于所述姿态经由所述界面图形改变所述参数的设置。实施例的姿态包括按住第一手指和伸展第二手指，其中所述控制器响应于所述姿 态经由所述界面图形改变所述参数的设置。实施例的显示组件包括拨动开关图标，其中所述姿态包括所述用户手部的手指的 握紧-再次伸展运动，其中所述姿态控制所述拨动开关的设置。实施例的显示组件包括滑块图标，其中所述姿态包括按住第一手指和伸展第二手 指，其中所述控制器响应于所述姿态以恒定速率改变所述滑块的设置。实施例的显示组件包括滑块图标，其中所述姿态包括所述用户手部的手指的握 紧-再次伸展运动，其中所述控制器响应于所述姿态而递增地改变所述滑块的设置。实施例的控制器使用第二交互模式管理所述用户交互，所述第二交互模式包括响 应于所述姿态来控制与所述多个交通工具子系统的交互，其中所述姿态包括所述用户的手 部运动和手指运动。实施例的控制器响应于所述姿态而循环经过所述交通工具子系统的多个控制组 件，其中每个控制组件都允许用户控制交通工具子系统的参数。实施例的姿态包括手部的沿第一方向伸展的第一手指。实施例的姿态包括所述手部的沿第二方向伸展的第二手指。实施例的姿态包括所述手部、所述第一手指和所述第二手指的组合的垂直方位， 其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置在与重力对齐的平面 中。实施例的姿态包括所述手部、所述第一手指和所述第二手指的组合的水平方位， 其中所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面 中。实施例的姿态包括所述手部的沿所述第一方向伸展并且与所述第一手指近似对 齐的第三手指。实施例的第二手指在伸展时与所述第一手指近似垂直。实施例的第二手指在伸展时与所述第一手指近似平行。
实施例的姿态包括旋转到所述第一手指近似中间指向的位置的手部。实施例的系统包括耦接到所述处理器的图形显示器，所述图形显示器经由所述姿 态为所述用户提供控制，其中所述控制器响应于所述姿态而循环经过所述交通工具子系统 的多个控制组件，其中每个控制组件都允许用户控制交通工具子系统的参数。实施例的姿态控制显示组件在所述图形显示器上的位置。实施例的姿态包括手部的沿第一方向伸展的第一手指。实施例的显示组件包括指示装置，其中所述指示装置的位置由所述第一手指的运 动和目标中的至少一个控制。在使用所述第一手指的目标在控制组件内布置所述指示装置并且所述手部的第 二手指从第一位置移动到第二位置时，实施例的姿态对控制组件的选择进行控制，其中第 一位置近似垂直于所述第一手指延伸，而第二位置近似平行于所述第一手指延伸。实施例的姿态包括使所述第一手指瞄准远离所述图形显示器的位置，其中所述控 制器呈现菜单列表。实施例的姿态包括使所述第一手指瞄准菜单项并且把所述第二手指移向所述第 一位置，其中所述控制器选择所述菜单项作为有效控制组件。实施例的姿态包括所述手部和所述手部的至少一个手指的组合的垂直方位，其中 所述垂直方位把所述手部、所述第一手指和所述第二手指布置在与重力对齐的平面中，其 中所述控制器呈现第一组控制组件。实施例的姿态包括所述手部和所述手部的至少一个手指的组合的水平方位，其中 所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面中，其 中所述控制器呈现不同于第一组控制组件的第二组控制组件。实施例的交通工具子系统包括气候控制装置，多功能显示装置、音频装置、无线电 广播装置、数字音频装置、电话、导航装置、巡航控制装置、自动驾驶装置、自动导向装置和 联网装置中的至少一个。实施例的多个传感器包括多个飞行时间深度感测相机。实施例的多个传感器包括多个结构光三维传感器。本文所述的实施例包括一种系统，包括多个传感器，其中所述多个传感器映射对 象并且输出表示姿态的姿态数据，其中所述姿态数据是所述对象在空间中时间点的瞬时状 态，其中所述对象包括手和手指中的至少一个；以及处理器，耦接到所述多个传感器，所述 处理器从所述姿态数据自动检测所述对象的姿态，所述检测包括提取所述对象的位置，所 述检测包括恢复所述对象的量化姿势和方位矢量，所述检测包括把所述姿态数据转换成姿 态信号并且使用所述姿态信号控制耦接到所述处理器的交通工具子系统。本文所述的实施例包括一种系统，包括安装在交通工具中的多个传感器，其中所 述多个传感器映射对象并且输出表示所述对象所做姿态的姿态数据，其中所述姿态数据是 所述对象在空间中时间点的瞬时状态；处理器，耦接到所述多个传感器，所述处理器从所述 姿态数据自动检测所述对象的姿态并且把所述姿态数据转换成姿态信号；控制器，耦接到 所述控制器并且耦接到交通工具的交通工具子系统，所述控制器响应于所述姿态信号来控 制所述交通工具子系统；以及反馈装置，耦接到所述处理器，所述反馈装置提供对应于所述 姿态的视觉和音频反馈中的至少一个。
本文所述的实施例包括一种方法，包括经由交通工具中的多个传感器接收对象 的图像并且输出表示所述对象所做姿态的姿态数据，其中所述姿态数据是所述对象在空间 中时间点的瞬时状态，其中所述对象包括用户的手和手指中的至少一个；通过提取所述对 象的位置，恢复所述对象的量化姿势和方位矢量以及把所述姿态数据转换成姿态信号来从 所述姿态数据自动检测所述对象的姿态；以及响应于所述姿态信号来管理与所述多个交通 工具子系统的用户交互。实施例的方法包括定位所述多个传感器来查看所述交通工具的座舱，其中所述多 个传感器包括多个相机。实施例的姿态数据包括表示所述对象的三维数据点云。实施例的对象的位置包括手的位置。实施例的对象的位置包括一组手指的位置。实施例的对象的量化姿势包括至少一只手的量化姿势。实施例的对象的方位矢量包括至少一只手的连续方位矢量。实施例的对象的方位矢量包括一组手指的连续方位矢量。实施例的转换包括把所述姿态的信息转换成姿态符号，其中所述姿态符号表示姿 态符号集，并且所述姿态信号包括所述姿态符号集的通信。实施例的姿态符号集以文本形式表示所述对象的运动联接的瞬时姿势状态。实施例的姿态符号集以文本形式表示所述对象的运动联接的方位。实施例的姿态符号集包括表示所述对象的运动联接状态的字符串。实施例的方法包括为用户提供对应于所述姿态的指示，其中所述指示包括对所述 姿态的解释以及响应于所述姿态在所述多个交通工具子系统上实现的效果中的至少一个。实施例的用户交互的管理包括使用第一交互模式，所述第一交互模式包括响应于 所述姿态来控制与所述多个交通工具子系统的交互，其中所述姿态包括用户的手指运动。实施例的姿态包括手部的两个手指的握紧-再次伸展运动，其中管理用户交互包 括响应于所述姿态而循环经过交通工具子系统的多个控制组件，其中每个控制组件都允许 用户控制交通工具子系统的参数。实施例的姿态包括用户手部的手指的握紧-再次伸展运动，其中管理用户交互包 括响应于所述姿态而递增地改变所述参数的设置。实施例的姿态包括按住第一手指和伸展第二手指，其中管理用户交互包括响应于 所述姿态以恒定速率改变所述参数的设置。实施例的用户的手部在所述姿态期间保持与交通工具的导向机构接触。实施例的方法包括为用户提供对应于所述姿态的指示，其中所述姿态控制显示组 件在图形显示器上的位置。实施例的手指运动经由所述显示组件实现所述交通工具子系统的控制组件的非 线性选择，其中每个控制组件都允许用户控制交通工具子系统的参数。实施例的姿态包括指尖的相对运动，其中管理用户交互包括响应于所述指尖的相 对运动控制所述显示组件在所述图形显示器上的运动。实施例的方法包括通过所述显示组件的近邻选择所述显示器的界面图形，其中所 述显示组件是指示装置。
实施例的界面图形对应于所述交通工具子系统的控制组件，其中每个控制组件的 界面图形都允许用户控制交通工具子系统的参数。实施例的用户交互的管理包括使用第二交互模式，所述第二交互模式包括响应于 所述姿态来控制与所述多个交通工具子系统的交互，其中所述姿态包括所述用户的手部运 动和手指运动。实施例的方法包括响应于所述姿态而循环经过所述交通工具子系统的多个控制 组件，其中每个控制组件都允许用户控制交通工具子系统的参数。实施例的姿态包括手部的沿第一方向伸展的第一手指。实施例的姿态包括所述手部的沿第二方向伸展的第二手指。实施例的姿态包括所述手部、所述第一手指和所述第二手指的组合的垂直方位， 其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置在与重力对齐的平面 中。实施例的姿态包括所述手部、所述第一手指和所述第二手指的组合的水平方位， 其中所述水平方位把所述手部、所述第一手指和所述第二手指布置在垂直于重力的平面 中。实施例的姿态包括所述手部的沿所述第一方向伸展并且与所述第一手指近似对 齐的第三手指。实施例的第二手指在伸展时与所述第一手指近似垂直。实施例的第二手指在伸展时与所述第一手指近似平行。实施例的姿态包括旋转到所述第一手指近似中间指向的位置的手部。实施例的方法包括提供显示输出，所述显示输出经由所述姿态为用户提供控制， 其中管理用户交互包括响应于所述姿态而循环经过所述交通工具子系统的多个控制组件， 其中每个控制组件都允许用户控制交通工具子系统的参数。 实施例的姿态控制显示组件在所述显示输出上的位置。实施例的姿态包括手部的沿第一方向伸展的第一手指。实施例的显示组件包括指示装置，其中所述指示装置的位置由所述第一手指的运 动和目标中的至少一个控制。在使用所述第一手指的目标在控制组件内布置所述指示装置并且所述手部的第 二手指从第一位置移动到第二位置时，实施例的姿态对控制组件的选择进行控制，其中第 一位置近似垂直于所述第一手指延伸，而第二位置近似平行于所述第一手指延伸。实施例的姿态包括使所述第一手指瞄准远离所述图形显示器的位置，其中所述控 制器呈现菜单列表。实施例的姿态包括使所述第一手指瞄准菜单项并且把所述第二手指移向所述第 一位置，其中所述控制器选择所述菜单项作为有效控制组件。本文描述的基于姿态的控制系统和方法包括处理系统和/或在处理系统下运行 和/或与处理系统相结合地运行。如本领域已知的，处理系统包括基于处理器的装置或一 起操作的计算装置的任意结合，或者处理系统或装置的元件。例如，处理系统可以包括便携 式计算机、在通信网络中运行的便携式通信装置和/或网络服务器中的一个或多个。便携 式计算机可以是任意数量的个人计算机、蜂窝电话、个人数字助理、便携式计算装置和便携式通信装置和/或组合，但是不限于此。处理系统可以包括大型计算机系统中的元件。实施例的处理系统包括至少一个处理器和至少一个存储器装置或子系统。处理 系统还可以包括至少一个数据库或者与至少一个数据库耦接。本文一般意义上使用的术 语“处理器”是指任何逻辑处理单元，诸如一个或多个中央处理单元(CPU)、数字信号处理器 (DSP)、专用集成电路(ASIC)等。处理器和存储器可以整体集成在单个芯片中，分布在主机 系统的多个芯片或元件中，和/或由一些算法的组合来提供。本文所述的方法可以采取任 意组合形式由(多个)软件算法、程序、固件、硬件、元件、电路中的一个或多个来实现。实施本文描述的系统和方法的系统元件可以一起定位或者位于单独的定位。因 此，实施本文描述的系统和方法的系统元件可以是单个系统、多个系统和/或地理位置上 为单独系统的元件。这些元件还可以是单个系统、多个系统和/或地理位置上为单独系统 的子元件或子系统。这些元件可以耦接到主机系统或者与该主机系统耦接的系统的一个或 多个其他元件。通信路径耦接系统元件并且包括在元件当中传送或传输文件的任何介质。通信 路径包括无线连接、有线连接以及混合无线/有线连接。通信路径还包括与包括局域网 (LAN)、城域网(MAN)、广域网(WAN)、专属网络、局间网络或后端网络以及因特网的网络的 耦接或连接。而且，通信路径包括如软盘、硬盘驱动器和CD-ROM盘的可移除的固定介质，以 及闪速RAM、通用串行总线(USB)连接、RS-232连接、电话线、总线和电子邮件消息。除了另外明确需要的背景，词语“包括”、“包含”等在说明书通篇被认为包含在内 的意思而与排他或穷尽的意思相反，即，“包括但不限于”的意思。使用单数或复数的词语 分别还包括多个或单数个。另外，词语“本文”、“下文”、“上文”、“以下”以及类似引入的词 汇在本申请中是指作为整体而非本申请的任何特定部分。当引用两个或多项列表使用词语 “或”时，该词汇覆盖以下对该词汇的所有解释列表中的任一项、列表中的所有项以及列表 中各项的任意组合。基于姿态的控制的实施例的以上描述并非意在将所述的系统和方法穷尽或限于 所披露的精确形式。尽管为了说明目的描述了基于姿态的控制的特定实施例以及示例，但 是正如本领域技术人员将认识到的那样，在其他系统和方法的范围内的各种等同变型是可 能的。本文提供的基于姿态的控制的指教不仅仅用于上述系统和方法还可以应用于其他处 理系统和方法。上述各个实施例的元素和动作可以结合起来提供另外的实施例。根据以上具体描 述可以对基于姿态的控制做出这些变化或另外变化。通常，在所附权利要求中，所用的术语不应当被解释为将基于姿态的控制限于在 说明书和权利要求中所披露的特定实施例，而应当解释为包括根据权利要求运行的所有系 统。因此，基于姿态的控制不限于本公开内容，相反基于姿态的控制的范围完全由权利要求 来确定。尽管以下以某些权利要求形式呈现基于姿态的控制的某些方面，但是发明人设想 到以任意数量的权利要求形式的基于姿态的控制的各个方面。因此，发明人保留在提交本 申请之后添加附加权利要求的权利从而针对基于姿态的控制的其他方面要求这种附加权 利要求。
权利要求
1.一种系统，包括交通工具中的多个传感器，其中所述多个传感器映射对象并且输出表示所述对象所做 姿态的姿态数据，其中所述姿态数据是所述对象在空间中时间点的瞬时状态，其中所述对 象包括用户的手和手指中的至少一个；处理器，耦接到所述多个传感器，所述处理器从所述姿态数据自动检测所述对象的姿 态，所述检测包括提取所述对象的位置，所述检测包括恢复所述对象的量化姿势和方位矢 量，所述检测包括把所述姿态数据转换成姿态信号；以及控制器，耦接到所述处理器并且耦接到交通工具的多个交通工具子系统，所述控制器 响应于所述姿态信号管理与所述多个交通工具子系统的用户交互。
2.如权利要求1所述的系统，其中定位所述多个传感器来查看所述交通工具的座舱。
3.如权利要求1所述的系统，其中所述多个传感器包括多个相机。
4.如权利要求3所述的系统，其中所述多个相机包括立体视觉系统。
5.如权利要求1所述的系统，其中所述姿态数据包括表示所述对象的三维数据点云。
6.如权利要求5所述的系统，其中所述三维数据点云中的数据点的分辨深度精度大约 为1毫米(mm)。
7.如权利要求1所述的系统，其中所述对象的位置包括手的位置。
8.如权利要求1所述的系统，其中所述对象的位置包括一组手指的位置。
9.如权利要求1所述的系统，其中所述对象的量化姿势包括至少一只手的量化姿势。
10.如权利要求1所述的系统，其中所述对象的方位矢量包括至少一只手的连续方位矢量。
11.如权利要求1所述的系统，其中所述对象的方位矢量包括一组手指的连续方位矢量。
12.如权利要求1所述的系统，其中所述转换包括把所述姿态的信息转换成姿态符号。
13.如权利要求12所述的系统，其中所述姿态符号表示姿态符号集，并且所述姿态信 号包括所述姿态符号集的通信。
14.如权利要求13所述的系统，其中所述姿态符号集以文本形式表示所述对象的运动 联接的瞬时姿势状态。
15.如权利要求13所述的系统，其中所述姿态符号集以文本形式表示所述对象的运动 联接的方位。
16.如权利要求13所述的系统，其中所述姿态符号集以文本形式表示所述对象的运动 联接的方位组合。
17.如权利要求13所述的系统，其中所述姿态符号集包括表示所述对象的运动联接状 态的字符串。
18.如权利要求1所述的系统，包括耦接到所述处理器的反馈装置，所述反馈装置为用 户提供对应于所述姿态的指示。
19.如权利要求18所述的系统，其中所述指示包括对所述姿态的解释。
20.如权利要求18所述的系统，其中所述指示包括响应于所述姿态在所述多个交通工 具子系统上实现的效果。
21.如权利要求18所述的系统，其中所述反馈装置是视觉装置。
22.如权利要求18所述的系统，其中所述反馈装置是听觉装置。
23.如权利要求18所述的系统，其中所述反馈装置是音频-视觉装置。
24.如权利要求18所述的系统，其中反馈装置是交通工具平视显示器。
25.如权利要求18所述的系统，其中所述反馈装置是交通工具的基于像素的显示器。
26.如权利要求18所述的系统，其中所述反馈装置是至少一个变色发光指示器。
27.如权利要求18所述的系统，其中所述反馈装置是触觉显示器。
28.如权利要求1所述的系统，其中所述控制器使用第一交互模式管理所述用户交互， 所述第一交互模式包括响应于所述姿态来控制与所述多个交通工具子系统的交互，其中所 述姿态包括用户的手指运动。
29.如权利要求观所述的系统，其中所述姿态包括手部两个手指的握紧-再次伸展运 动，其中所述控制器响应于所述姿态而循环经过交通工具子系统的多个控制组件，其中每 个控制组件都允许用户控制交通工具子系统的参数。
30.如权利要求四所述的系统，其中所述姿态包括用户手部的手指的握紧-再次伸展 运动，其中所述控制器响应于所述姿态而递增地改变所述参数的设置。
31.如权利要求四所述的系统，其中所述姿态包括按住第一手指和伸展第二手指，其 中所述控制器响应于所述姿态以恒定速率改变所述参数的设置。
32.如权利要求观所述的系统，其中所述姿态包括用户第一只手的至少一个手指的伸 展，其中所述处理器响应于所述姿态激活所述控制器。
33.如权利要求32所述的系统，其中所述用户的手部在所述姿态期间保持与交通工具 的导向机构接触。
34.如权利要求32所述的系统，其中所述至少一个手指是所述用户的食指、中指和拇 指中的至少一个。
35.如权利要求32所述的系统，其中所述姿态包括所述第一只手的两个手指的握 紧-再次伸展运动，其中所述控制器响应于所述姿态而循环经过交通工具子系统的多个控 制模式，其中所述多个控制模式的每个控制模式都对应于交通工具子系统。
36.如权利要求35所述的系统，其中所述姿态包括第二只手的两个手指的握紧-再次 伸展运动，其中所述控制器响应于所述姿态而循环经过每个控制模式的多个控制选项，其 中所述多个控制选项的每个控制选项都对应于交通工具子系统。
37.如权利要求36所述的系统，其中所述姿态包括所述用户手部的手指的握紧-再次 伸展运动，其中所述控制器响应于所述姿态对控件的设置进行控制。
38.如权利要求37所述的系统，其中所述姿态包括所述用户手部的第一手指的握 紧-再次伸展运动，其中所述控制器响应于所述姿态通过沿第一方向对所述设置进行步进 来递增地改变所述设置。
39.如权利要求38所述的系统，其中所述姿态包括所述用户手部的第二手指的握 紧-再次伸展运动，其中所述控制器响应于所述姿态通过沿第二方向对所述设置进行步进 来递增地改变所述设置。
40.如权利要求39所述的系统，其中所述姿态包括按住所述第一手指和伸展所述第二 手指，其中所述控制器响应于所述姿态以恒定速率改变所述设置。
41.如权利要求28所述的系统，包括耦接到所述处理器的图形显示器，所述图形显示器为用户提供对应于所述姿态的指示，其中所述姿态控制显示组件在所述图形显示器上的位置。
42.如权利要求41所述的系统，其中所述手指运动经由所述显示组件实现所述交通工 具子系统的控制组件的非线性选择，其中每个控制组件都允许用户控制交通工具子系统的参数。
43.如权利要求42所述的系统，其中所述姿态包括所述用户的第一只手的至少一个 手指的伸展，其中所述处理器响应于所述姿态激活所述控制器并且使得所述显示组件被显示。
44.如权利要求43所述的系统，其中所述姿态包括指尖的相对运动，其中所述处理器 响应于所述指尖的相对运动控制所述显示组件在所述图形显示器上的运动。
45.如权利要求44所述的系统，其中通过所述显示组件的邻近而选择所述显示器的界 面图形，其中所述显示组件是指示装置。
46.如权利要求45所述的系统，其中所述界面图形对应于所述交通工具子系统的控制 组件，其中每个控制组件的界面图形都允许用户控制交通工具子系统的参数。
47.如权利要求46所述的系统，其中所述姿态包括所述用户手部的手指的握紧-再次 伸展运动，其中所述控制器响应于所述姿态经由所述界面图形改变所述参数的设置。
48.如权利要求46所述的系统，其中所述姿态包括按住第一手指和伸展第二手指，其 中所述控制器响应于所述姿态经由所述界面图形改变所述参数的设置。
49.如权利要求41所述的系统，其中所述显示组件包括拨动开关图标，其中所述姿态 包括所述用户手部的手指的握紧-再次伸展运动，其中所述姿态控制所述拨动开关的设 置。
50.如权利要求41所述的系统，其中所述显示组件包括滑块图标，其中所述姿态包括 按住第一手指和伸展第二手指，其中所述控制器响应于所述姿态以恒定速率改变所述滑块 的设置。
51.如权利要求41所述的系统，其中所述显示组件包括滑块图标，其中所述姿态包括 所述用户手部的手指的握紧-再次伸展运动，其中所述控制器响应于所述姿态递增地改变 所述滑块的设置。
52.如权利要求1所述的系统，其中所述控制器使用第二交互模式管理所述用户交互， 所述第二交互模式包括响应于所述姿态来控制与所述多个交通工具子系统的交互，其中所 述姿态包括所述用户的手部运动和手指运动。
53.如权利要求52所述的系统，其中所述控制器响应于所述姿态而循环经过所述交通 工具子系统的多个控制组件，其中每个控制组件都允许用户控制交通工具子系统的参数。
54.如权利要求52所述的系统，其中所述姿态包括手部的沿第一方向伸展的第一手指。
55.如权利要求M所述的系统，其中所述姿态包括所述手部的沿第二方向伸展的第二 手指。
56.如权利要求55所述的系统，其中所述姿态包括所述手部、所述第一手指和所述第 二手指的组合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手指 布置在与重力对齐的平面中。
57.如权利要求55所述的系统，其中所述姿态包括所述手部、所述第一手指和所述第 二手指的组合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手指 布置在垂直于重力的平面中。
58.如权利要求55所述的系统，其中所述姿态包括所述手部的沿所述第一方向伸展并 且与所述第一手指近似对齐的第三手指。
59.如权利要求55所述的系统，其中所述第二手指在伸展时与所述第一手指近似垂直。
60.如权利要求55所述的系统，其中所述第二手指在伸展时与所述第一手指近似平行。
61.如权利要求55所述的系统，其中所述姿态包括旋转到所述第一手指近似中间指向 的位置的手部。
62.如权利要求52所述的系统，包括耦接到所述处理器的图形显示器，所述图形显示 器经由所述姿态为所述用户提供控制，其中所述控制器响应于所述姿态而循环经过所述交 通工具子系统的多个控制组件，其中每个控制组件都允许用户控制交通工具子系统的参数。
63.如权利要求62所述的系统，其中所述姿态控制显示组件在所述图形显示器上的位置。
64.如权利要求63所述的系统，其中所述姿态包括手部的沿第一方向伸展的第一手指。
65.如权利要求64所述的系统，其中所述显示组件包括指示装置，其中所述指示装置 的位置由所述第一手指的运动和目标中的至少一个控制。
66.如权利要求65所述的系统，其中在使用所述第一手指的目标在控制组件内布置所 述指示装置并且所述手部的第二手指从第一位置移动到第二位置时，所述姿态对控制组件 的选择进行控制，其中所述第一位置近似垂直于所述第一手指延伸，而所述第二位置近似 平行于所述第一手指延伸。
67.如权利要求66所述的系统，其中所述姿态包括使所述第一手指瞄准远离所述图形 显示器的位置，其中所述控制器呈现菜单列表。
68.如权利要求67所述的系统，其中所述姿态包括使所述第一手指瞄准菜单项并且把 所述第二手指移向所述第一位置，其中所述控制器选择所述菜单项作为有效控制组件。
69.如权利要求62所述的系统，其中所述姿态包括所述手部和所述手部的至少一个手 指的组合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手指布置 在与重力对齐的平面中，其中所述控制器呈现第一组控制组件。
70.如权利要求69所述的系统，其中所述姿态包括所述手部和所述手部的至少一个手 指的组合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手指布置 在垂直于重力的平面中，其中所述控制器呈现不同于所述第一组控制组件的第二组控制组 件。
71.如权利要求1所述的系统，其中所述交通工具子系统包括气候控制装置，多功能显 示装置、音频装置、无线电广播装置、数字音频装置、电话、导航装置、巡航控制装置、自动驾 驶装置、自动导向装置和联网装置中的至少一个。
72.如权利要求1所述的系统，其中所述多个传感器包括多个飞行时间深度感测相机。
73.如权利要求1所述的系统，其中所述多个传感器包括多个结构光三维传感器。
74.一种系统，包括多个传感器，其中所述多个传感器映射对象并且输出表示姿态的姿态数据，其中所述 姿态数据是所述对象在空间中时间点的瞬时状态，其中所述对象包括手和手指中的至少一 个；以及处理器，耦接到所述多个传感器，所述处理器从所述姿态数据自动检测所述对象的姿 态，所述检测包括提取所述对象的位置，所述检测包括恢复所述对象的量化姿势和方位矢 量，所述检测包括把所述姿态数据转换成姿态信号并且使用所述姿态信号控制耦接到所述 处理器的交通工具子系统。
75.一种系统，包括安装在交通工具中的多个传感器，其中所述多个传感器映射对象并且输出表示所述对 象所做姿态的姿态数据，其中所述姿态数据是所述对象在空间中时间点的瞬时状态；处理器，耦接到所述多个传感器，所述处理器从所述姿态数据自动检测所述对象的姿 态并且把所述姿态数据转换成姿态信号；控制器，耦接到所述处理器并且耦接到所述交通工具的交通工具子系统，所述控制器 响应于所述姿态信号控制所述交通工具子系统；以及反馈装置，耦接到所述处理器，所述反馈装置提供对应于所述姿态的视觉和音频反馈 中的至少一个。
76.一种方法，包括经由交通工具中的多个传感器接收对象的图像并且输出表示所述对象所做姿态的姿 态数据，其中所述姿态数据是所述对象在空间中时间点的瞬时状态，其中所述对象包括用 户的手和手指中的至少一个；通过提取所述对象的位置，恢复所述对象的量化姿势和方位矢量以及把所述姿态数据 转换成姿态信号来从所述姿态数据自动检测所述对象的姿态；以及 响应于所述姿态信号管理与所述多个交通工具子系统的用户交互。
77.如权利要求76所述的方法，包括定位所述多个传感器来查看所述交通工具的座 舱，其中所述多个传感器包括多个相机。
78.如权利要求76所述的方法，其中所述姿态数据包括表示所述对象的三维数据点云。
79.如权利要求76所述的方法，其中所述对象的位置包括手的位置。
80.如权利要求76所述的方法，其中所述对象的位置包括一组手指的位置。
81.如权利要求76所述的方法，其中所述对象的量化姿势包括至少一只手的量化姿势。
82.如权利要求76所述的方法，其中所述对象的方位矢量包括至少一只手的连续方位矢量。
83.如权利要求76所述的方法，其中所述对象的方位矢量包括一组手指的连续方位矢量。
84.如权利要求76所述的方法，其中所述转换包括把所述姿态的信息转换成姿态符号，其中所述姿态符号表示姿态符号集，并且所述姿态信号包括所述姿态符号集的通信。
85.如权利要求84所述的方法，其中所述姿态符号集以文本形式表示所述对象的运动 联接的瞬时姿势状态。
86.如权利要求84所述的方法，其中所述姿态符号集以文本形式表示所述对象的运动 联接的方位。
87.如权利要求84所述的方法，其中所述姿态符号集包括表示所述对象的运动联接状 态的字符串。
88.如权利要求76所述的方法，包括为用户提供对应于所述姿态的指示，其中所述指 示包括对所述姿态的解释以及响应于所述姿态在所述多个交通工具子系统上实现的效果 中的至少一个。
89.如权利要求76所述的方法，其中用户交互的管理包括使用第一交互模式，所述第 一交互模式包括响应于所述姿态控制与所述多个交通工具子系统的交互，其中所述姿态包 括用户的手指运动。
90.如权利要求89所述的方法，其中所述姿态包括手部的两个手指的握紧-再次伸 展运动，其中管理用户交互包括响应于所述姿态而循环经过交通工具子系统的多个控制组 件，其中每个控制组件都允许用户控制交通工具子系统的参数。
91.如权利要求90所述的方法，其中所述姿态包括用户手部的手指的握紧-再次伸展 运动，其中管理用户交互包括响应于所述姿态递增地改变所述参数的设置。
92.如权利要求90所述的方法，其中所述姿态包括按住第一手指和伸展第二手指，其 中管理用户交互包括响应于所述姿态以恒定速率改变所述参数的设置。
93.如权利要求89所述的方法，其中所述用户的手部在所述姿态期间保持与交通工具 的导向机构接触。
94.如权利要求89所述的方法，包括为用户提供对应于所述姿态的指示，其中所述姿 态控制显示组件在所述图形显示器上的位置。
95.如权利要求94所述的方法，其中所述手指运动经由所述显示组件实现所述交通工 具子系统的控制组件的非线性选择，其中每个控制组件都允许用户控制交通工具子系统的参数。
96.如权利要求95所述的方法，其中所述姿态包括指尖的相对运动，其中管理用户交 互包括响应于所述指尖的相对运动控制所述显示组件在所述图形显示器上的运动。
97.如权利要求96所述的方法，包括通过所述显示组件的邻近而选择所述显示器的界 面图形，其中所述显示组件是指示装置。
98.如权利要求97所述的方法，其中所述界面图形对应于所述交通工具子系统的控制 组件，其中每个控制组件的界面图形都允许用户控制交通工具子系统的参数。
99.如权利要求76所述的方法，其中所述用户交互的管理包括使用第二交互模式，所 述第二交互模式包括响应于所述姿态控制与所述多个交通工具子系统的交互，其中所述姿 态包括所述用户的手部运动和手指运动。
100.如权利要求99所述的方法，包括响应于所述姿态而循环经过所述交通工具子系 统的多个控制组件，其中每个控制组件都允许用户控制交通工具子系统的参数。
101.如权利要求99所述的方法，其中所述姿态包括手部的沿第一方向伸展的第一手指。
102.如权利要求101所述的方法，其中所述姿态包括所述手部的沿第二方向伸展的第一手指。
103.如权利要求102所述的方法，其中所述姿态包括所述手部、所述第一手指和所述 第二手指的组合的垂直方位，其中所述垂直方位把所述手部、所述第一手指和所述第二手 指布置在与重力对齐的平面中。
104.如权利要求102所述的方法，其中所述姿态包括所述手部、所述第一手指和所述 第二手指的组合的水平方位，其中所述水平方位把所述手部、所述第一手指和所述第二手 指布置在垂直于重力的平面中。
105.如权利要求102所述的方法，其中所述姿态包括所述手部的沿所述第一方向伸展 并且与所述第一手指近似对齐的第三手指。
106.如权利要求102所述的方法，其中所述第二手指在伸展时与所述第一手指近似垂直。
107.如权利要求102所述的方法，其中所述第二手指在伸展时与所述第一手指近似平行。
108.如权利要求102所述的方法，其中所述姿态包括旋转到所述第一手指近似中间指 向的位置的手部。
109.如权利要求99所述的方法，包括提供显示输出，所述显示输出经由所述姿态为用 户提供控制，其中管理用户交互包括响应于所述姿态而循环经过所述交通工具子系统的多 个控制组件，其中每个控制组件都允许用户控制交通工具子系统的参数。
110.如权利要求109所述的方法，其中所述姿态控制显示组件在所述显示输出上的位置。
111.如权利要求110所述的方法，其中所述姿态包括手部的沿第一方向伸展的第一手指。
112.如权利要求111所述的方法，其中所述显示组件包括指示装置，其中所述指示装 置的位置由所述第一手指的运动和目标中的至少一个控制。
113.如权利要求112所述的方法，其中在使用所述第一手指的目标在控制组件内布置 所述指示装置并且所述手部的第二手指从第一位置移动到第二位置时，所述姿态对控制组 件的选择进行控制，其中所述第一位置近似垂直于所述第一手指延伸，而所述第二位置近 似平行于所述第一手指延伸。
114.如权利要求113所述的方法，其中所述姿态包括使所述第一手指瞄准远离所述图 形显示器的位置，其中所述控制器呈现菜单列表。
115.如权利要求114所述的方法，其中所述姿态包括使所述第一手指瞄准菜单项并且 把所述第二手指移向所述第一位置，其中所述控制器选择所述菜单项作为有效控制组件。
全文摘要
描述了用于使用姿态来控制交通工具子系统的系统和方法。控制包括经由交通工具中的传感器接收对象的图像并且输出表示对象所做姿态的姿态数据。对象包括用户的至少一只手和/或手指。姿态数据是对象在空间中时间点的瞬时状态。控制包括通过提取对象的位置，恢复对象的量化姿势和方位矢量并且把姿态数据转换成姿态信号来自动地从姿态数据检测对象的姿态。控制包括响应于姿态信号管理与交通工具子系统的用户交互。
文档编号G06F3/033GK102112945SQ200980130788
公开日2011年6月29日 申请日期2009年6月18日 优先权日2008年6月18日
发明者克温德拉·赫尔特曼·克拉默, 约翰·S·昂德科夫勒 申请人:奥布隆工业有限公司