提供驾驶舱的人机工程三维手势多模态接口的系统和方法
【技术领域】
[0001]本文所述主题的实施例一般涉及计算机航空系统。更具体地，本文所述主题的实施例涉及一种用于提供在驾驶舱应用中使用的人机工程学三维的、基于手势的、多模态接口的系统和方法。
【背景技术】
[0002]开发了与计算机交互的新颖和创新的方法，用以增大计算机的可用性。例如，已经引入了触摸屏接口，其允许用户在没有鼠标和/或键盘的情况下向计算机提供命令。然而，这些新方法中的一些易于受到将无意的用户交互解释为命令的损害；这样的无意的交互可以定义为在没有用户同意的情况下由触摸屏接口检测到的任何交互。无意的交互可以由用户手或其它物理对象等的碰撞、振动、偶然掠过引起，并可以导致系统误运转或操作错误。
[0003]当前开发的、提供了对无意用户交互的更大抗扰度的接口是手势识别接口。手势一般是手移动。如本文提及的，手势具有特定运动动态，并且由用户手掌和手指的一个或多个静态或动态分量(component)组成。然而，手势识别接口的采用也具有约束，诸如需要高度的预处理和复杂算法来从周围环境提取并分析用户的交互。
[0004]手势识别接口取决于跨所建立的可视感测的体积范围上感测的三维(3D)成像信息。广泛的可视感测范围限制了系统的准确性、可靠性和精度，并且呈现对于航空器驾驶舱应用的显著技术挑战。
[0005]提议的避免这些问题的一个方法依靠用户握住或以其它方式操纵控制器或手持设备。这些控制器可以充当身体的延伸，以便在执行手势时，可以由系统识别运动。然而，除了需要用户握住控制器或其它设备以便与处理器交互以外，系统仅识别有限类型的运动。
[0006]为了克服前述方法的一些缺点，已经提出了体积计算系统，以供使用在例如航空器驾驶舱上，以减少无意的用户交互。传感器被置于贴近显示设备，显示设备耦合到交互控制器。这个体积计算系统使得用户或开发者能够与系统交互，以便在不与系统进行物理接触的情况下激活控制功能。在于2013年2月26日提交的题为“SYSTEM AND METHOD FORINTERACTING WITH A TOUCH SCREEN INTERFACE UTILIZING A HOVER GESTURE CONTROLLER”并且让与本受让人的美国专利申请13/777，737中示出并描述了这样的系统的示例，其教导通过引用并入在此。以上专利申请的系统代表了对于现有技术的显著改进。
[0007]仍存在对3D手势接口的广泛采用的阻碍。或许对3D手势接口的广泛采用的最显著阻碍在于需要用户抬高他或她的手臂和手，以便将手势输入到系统中。这是使人疲劳的并降低了接口的吸引力。另一个缺点是进行交互的手常常在用户的视线中。用户通常优选最小化对进行交互的手的任何注视，并且能够坐着，进行交互的手的手臂在扶手上。又一个缺点是依赖于一个扩展的传感器体积来生成用于多个用户的多个有效3D手势交互体积的系统可能易于受到无意的或非故意的手势输入的损害。前述的偏好和易损性可能妨碍当前手势识别系统在某些应用中的实践性。利用单独的人机工程学和人体测量学测量(例如，手臂长度、座椅高度、扶手高度等)来适应用户偏好是合期望的，并将会解决对3D手势接口的采用的一些阻碍。
[0008]鉴于前述，一种用于使用在驾驶舱应用中的人机工程学三维的、基于手势的、多模态接口是合期望的，下文中将这个接口称为“3D手势交互接口 ”。对于接口而言将会合期望的是当飞行员的手臂支撑在扶手上时操作，并在进行交互的手不在飞行员的视线中时运转；这些交互有时称为“扶手支撑手势交互”。对于接口而言还将会合期望的是，自动地(自动模式)或者通过允许飞行员根据人机工程学和人体测量学需要与偏好而交互和定制(飞行员驱动的模式)来构造有效的3D手势交互体积(下文中称为“有效交互体积”)。除了减少控制功能的无意激活的概率以外，这些改进将会减少疲劳、改进生产率并增强用户的总体体验。
【发明内容】
[0009]提供本概述来以简化的形式介绍概念的选择，所述概念以下在【具体实施方式】中进一步描述。本概述并非旨在标识所要求保护的主题的关键特征或必需特征，也不是旨在用作帮助确定所要求保护的主题的范围。
[0010]提供一种用于操作航空器的方法。基于用户手臂和手相对于飞行员支撑装置的位置，生成基本上围绕用户手的有效交互体积。该方法在有效交互体积内执行的手势指示有效手势输入时进行识别，并生成相关联的系统命令。
[0011]还提供了一种航空器机载的体积计算系统。系统包括飞行员支撑装置、传感器、显示设备和处理器。处理器耦合到飞行员支撑装置、传感器和显示器。基于用户手臂和手相对于飞行员支撑装置的位置，处理器被配置为生成基本上围绕用户手的有效交互体积。处理器还被配置为在有效交互体积内执行的手势指示有效手势输入时进行识别，并生成相关联的系统命令。
[0012]还提供了一种用于操作航空器的方法。该方法相对于至少一个传感器而定位与座椅耦合的扶手。该方法然后基于座椅、扶手和至少一个传感器的定位和位置而构造预定传感器体积。基于用户手臂和手相对于预定传感器体积的位置，该方法生成基本上围绕用户手的有效交互体积。分析用户手掌和手指在有效交互体积内的静态和动态移动。当用户手掌和手指在有效交互体积内的静态和动态移动指示有效手势输入时，识别有效手势输入。
[0013]从以下的【具体实施方式】和所附权利要求，结合附图及本背景，其它合期望的特征将变得显而易见。
【附图说明】
[0014]在结合以下各图考虑时，通过参考以下【具体实施方式】和权利要求，可以得到主题的更完整的理解，其中，遍及各图，同样的参考标号指代类似的元素，并且其中:
[0015]图1是包括显示器和体积控制器的航空器驾驶员座舱系统的框图；
[0016]图2是体积计算解决方案的等距(isometric)视图；
[0017]图3是航空器驾驶员座舱的图示，示出了用于机长的有效交互体积和副驾驶员的有效交互体积的位置；
[0018]图4是示出3D传感器、对应的3D传感器体积和有效交互体积的航空器驾驶员座舱的图示；
[0019]图5是用于有效交互体积的构造的自动模式的一般化框图；
[0020]图6是示出规格化(normalized)手臂人体测量学模型的特征的图示；
[0021]图7是示出座椅模型的特征的图示；
[0022]图8是示出由3D手势交互接口生成的所估计的人机工程学手定位的图示；
[0023]图9是用于有效交互体积的构造的飞行员发起的模式的一般化框图；
[0024]图10是手掌和手指在手势交互体积内的视觉反馈的图示；
[0025]图11是有效交互体积的构造的飞行员发起的模式的流程图；
[0026]图12是3D手势交互模型系统的详细框图；
[0027]图13是与相关联的UI元素功能可供性(affordance)重叠的用户接口(UI)元素的图示；及
[0028]图14是3D手势交互模型的图示。
【具体实施方式】
[0029]以下的【具体实施方式】在本质上仅仅是说明性的，并非旨在限制主题或申请的实施例以及这样的实施例的使用。本文描述为示例性的任何实现方式都不一定解释为相对于其它实现方式是优选的或者有利的。此外，没有意图通过在前述技术领域、【背景技术】、
【发明内容】
或以下【具体实施方式】中呈现的任何表述的或暗含的理论来进行限制。
[0030]技术与科技可以按照功能和/或逻辑块组件并参考可以由各种计算组件或设备执行的操作、处理任务和功能的符号表示来在本文进行描述。这样的操作、任务和功能有时称为计算机执行的、计算机化的、软件实现的或者计算机实现的。实际上，一个或多个处理器设备可以通过操纵表示系统存储器中存储器位置处的数据位的电信号以及信号的其它处理来实施所述的操作、任务和功能。其中维护数据位的存储器位置是物理位置，其具有对应于数据位的特定电气、磁性、光学、或有机属性。应当领会到，图