专利名称：计算机辅助人机界面显示的制作方法
技术领域：
本发明总体上涉及人机界面，以及更具体而言，涉及利用人机界面的数据输入任务的条件式自动化(conditional automation)。
背景技术：
随着日益繁重的监管环境和增加的飞机拥塞，飞行员面临着飞行时工作量的稳定增加。特别是在不利的天气条件、设备故障和不时在飞机上可能出现的其他异常情况时在有压力的情况期间更是如此。在试图减轻增加的工作量水平时，工程师引入了日益复杂的人机界面(HMI)。该努力增加了座舱中的接口设备的数量，增加了视觉和听力的警报，并在现有的用户界面(UI) 上放置更多的信息。然而，由于信息被取代、删除和/或图形展示被以其它方式显著改变， 那些Π被修改了。特别是在有压力时，改变Π引入了附加的混淆因素，因为随后需要飞行员注意改变的展示、确定所需的任何所需信息的新位置以及然后验证他已识别正确信息。相反地，在飞行计划的平静的巡航段期间座舱中经历飞行员厌倦，这会使得飞行员变得疏忽或昏昏欲睡。过度自动化的系统有助于这种单调。在这个时段期间，可能期望平衡飞行员的工作量，改善飞行员能力。因此，期望能在有压力的时段期间和平静时段期间优化飞行员的工作量。此外，期望调整工作量而不显著打乱飞行员的熟悉的座舱显示配置。而且，根据结合附图和发明的此背景理解的本发明的随后详细描述和所附权利要求，本发明的其他期望特征和特性将变得明显。
发明内容
提供一种用于飞机的交互式装置。该装置包括配置成显示用户界面(UI)的显示设备以及处理器。所述处理器被配置成确定所述飞机的状态。所述处理器进一步配置成部分基于所述飞机的状态准备对所述UI的修改，使得所述修改添加一个或多个命令图标，而不模糊、不移除以及不取代显示器上的任何信息项。所述处理器然后执行所述修改。提供一种用于选择性平衡飞行员的工作量的方法。该方法包括获取数据并从所述数据确定飞机的状态。该方法还包括至少部分基于所述飞机的状态选择用户界面(UI)的预定修改，至少部分基于已选的预定修改和数据准备计算机可执行指令集；以及通过在UI 上呈现命令图标向飞行员提供选项以执行计算机可读指令。所述呈现添加一个或多个命令图标，而不隐藏、不移除以及不取代所述Π中的任何信息项。提供一种包含指令的有形计算机可读存储介质，当执行指令时，获取数据并从所述数据确定飞机的状态。该指令然后获取数据并从所述数据确定飞机的状态。该指令还至少部分基于所述飞机的状态选择用户界面(UI)的预定修改并至少部分基于已选的预定修改和数据准备计算机可执行指令集。该指令然后通过在Π上呈现命令图标向飞行员提供选项以执行计算机可读指令，其中所述呈现添加一个或多个命令图标，而不模糊、不移除以及不取代所述UI中的任何信息项。
下文将结合以下附图描述本发明，其中相同的附图标记表示相同元件，其中图I是现有技术用户界面(UI)的示例性示意；图2是包括示例性实施例的特征的用户界面(UI)的示意；图3是包括使用可替换的示例符号的示例性实施例的特征的用户界面(UI)的示图4是示例性实施例的高级流程图；图5是包括图4的情境(context)评价过程的示例性子过程的流程图；图6是包含图4的修改选择过程的示例性子过程的流程图；图7是包含图4的航空电子修改过程(avionics modification process)的示例性子过程的流程图；图8A和8B示出实施各种示例性实施例的可替换示例性系统结构；图9是在另一示例性UI中呈现的实施例的示意；图10是应用和修改常规座舱显示单元(⑶U)的显示的示例性实施例的示意。
具体实施例方式如下详细描述本质仅仅是示例性的，而不意图限制本发明或本发明的应用和使用。如在此所用，单词“示例性”表示“用作示例、实例或示意”。因此，在此所述作为“示例性”的任何实施例不需要理解为对其他实施例优选的或有利的。在此所述的所有实施例是示例性实施例，提供以使得本领域技术人员能够理解或使用本发明而不限制本发明的范围，该范围由权利要求限定。而且，不旨在由在前的技术领域、背景技术、发明内容或随后的具体实施方式
中提供的任何明确或暗示理论进行限制。本领域技术人员将理解结合在此公开的实施例描述的各种示例性逻辑块、模块、 电路、和算法步骤能实施为电子硬件、计算机软件或其组合。某些实施例和实施在以上按功能和/或逻辑块组件(或模块)以及各种处理步骤来描述。然而，应该理解，该块组件(或模块)能由配置成执行特定功能的任何数量的硬件、软件和/或固件组件来实现。为了清楚理解该硬件和软件的可互换性，一般根据他们的功能在以上描述各种示例性组件、块、模块、电路和步骤。该功能实施为硬件还是软件取决于对整个系统施加的具体应用和设计约束。有经验的技术人员对于每个具体应用能以各种方式实施所述功能，但该实施决定不应理解为导致偏离本发明范围。例如，系统或组件的实施例能利用各种集成电路组件，例如， 存储器元件、数字信号处理元件、逻辑元件、查找表等，其可在一个或多个微处理器或其他控制设备的控制下执行多种功能。此外，本领域技术人员将理解在此所述的实施例仅仅是示例性实施。结合在此所述的实施例描述的各种示例性逻辑块、模块和电路能使用以下来实施或执行通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列 (FPGA)或其他可编程逻辑设备、离散门(discrete gate)或晶体管逻辑、离散硬件组件、或被设计成执行在此所述功能的任何组合。通用处理器能是微处理器，但可替换的，处理器能是任何常规处理器、控制器、微控制器或状态机。处理器也能实施为计算设备的组合，例如 DSP和微处理器、多个微处理器、结合DSP核心的一个或多个微处理器、或任何其他该配置的组合。单词“示例性”在此专门用于表示“用作示例、实例或示意”。在此所述作为“示例性”的任何实施例不需要理解为对其他实施例优选的或有利的。结合在此所述实施例公开的方法或算法的步骤能直接以硬件、以处理器执行的软件模块，或以这两者的组合体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM 存储器、EEPROM存储器、寄存器、硬盘、可移除盘、⑶-ROM、或本领域中已知的任何其他形式的存储介质中。示例性存储介质耦合处理器，该处理器能从存储器介质读取信息、写信息到该存储器介质。可选择地，存储介质可以集成到处理器。处理器和存储介质能驻留在ASCI 中。ASIC能驻留在用户终端中。可选择地，处理器和存储介质能驻留为用户终端中的离散组件。在本文档中，诸如第一和第二等的关系术语仅可用于区别一个实体或动作与另一个实体或动作，而不一定需要或暗示该实体或动作之间的任何实际该关系或次序。诸如“第一”、“第二”、“第三”等数字序数仅仅表示多个中的不同单个，不暗示任何次序或序列，除非由权利语言明确表示。在任何权利要求中文本的序列也不暗示过程步骤必须根据该序列按时间或逻辑次序执行，除非其在权利语言中明确限定。过程步骤能以任何次序互换，而不偏离本发明的范围，只要该互换不抵触权利要求的语言并在逻辑上有意义。而且，取决于情境，在描述不同元件间的关系中使用的诸如“连接”或“耦合”的词语不暗示在这些元件中必须进行直接的物理连接。例如，两个元件能通过一个或多个附加元件互相物理、电子、逻辑或以任何其他方式连接。图I是示例性UI 100的示意。示例性UI 100能由飞行员用于飞行计划并实施空中交通管制(ATC)许可(clearance)。各个位置中的虚线表示数据输入对话框10，但为了清楚起见省略了数据。示例性Π 100的区段110可允许选择飞行计划。区段120可允许输入巡航速度和初始巡航高度、重量、燃料和大气信息。区段130可是导航性能区段，其可允许输入所需导航性能(Required Navigation Performance, RNP) 区段140可允许初始化诸如日期、时间和位置的输入。区段150可允许选择图表和其他存储的导航信息。区段可160允许输入飞机和软件信息。在飞行的平静时段期间，向UI 100的对话框手动输入数据对飞行员并不是负担。 实际上，这是一种例行任务，其可使飞行员在原本是单调的时间段内集中精力。然而，在不好的天气，在故障期间或飞行的繁忙段期间，使用UI 100中涉及的例行任务会增加飞行员的工作量或在多个活动正并行执行的已经有压力的情况下成为使人分心的事。图2是示例性实施例修改的UI 100的示例性示意,其向飞行员提供选项以通过操纵一个或多个实例性命令图标51-53对于特定加亮的数据输入对话框20自动化数据输入过程。例如数据输入能实施ATC许可。然而，本领域技术人员在阅读此处说明之后将理解在此所述的特定命令图标51-53仅是示例性的，并在对等实施例中能存在任何数目的命令图标或背离标准操作模式的、可期望的其它UI修改以处理任何数量的特定情况。“修改”是对Π的条件改变并能包括命令图标的添加、加亮输入和输出对话框和/或字母数字文本、 颜色改变、字体改变、闪烁文本等。例如，命令图标51能执行计算机可读指令集，其能使用从ATC许可消息解析或从
5其计算的信息自动填充UI 100的特定加亮的数据输入对话框20。命令图标52能执行计算机可读指令集，其激活可由本领域以其它方式已知的飞行管理系统(FMS)540的许可(参见，图8)。命令图标53能执行完成许可的计算机可读指令集。完成许可可包括对自动化动作初始化，其可包括激活FMS内的许可并向ATC许可消息的发送器发送确认消息。关于自动解析ATC许可消息、激活其中包含的许可以及关闭许可的示例性细节可在共同拥有、共同未决的申请12/412，163中找到，在此引入其全文以供参考。在对等实施例中，能组合抽象符号和文本信息。同样，命令图标能包含信息以重引导飞行员注意力到情境相关对话框。 作为非限制性示例，该重引导文本可指示飞行员到说明“根据许可填充FPLN页面”或“审查在FPLN页面上的许可插入”的情境相关对话框。图3是图2的UI的示例性示意,其中命令图标51-53标明为图标51’ -53’，显示抽象符号而不是显示字母数字字符的图标，然而在对等实施例中，能组合抽象符合和文本信息。同样，命令图标能包括信息以重引导飞行员的注意力到情境相关对话框。作为非限制性示例，该重引导文本可指示飞行员到“根据许可填充FPLN页面”或“审查在FPLN页面上的许可插入”。图3也可包括一个或多个其他命令图标54，其可在UI 100的某些部分呈现，以允许飞行员仅仅在该UI 100的特定部分执行其分配的功能。图4是表示各种实施例的示例性高级流程图。在对等实施例中，在不背离在此公开的主题的范围的情况下，在此公开的各种过程能被组合，过程能被分离为元件子过程并且过程能被重新布置。在过程200，飞行和/或飞行员的情况情境能由系统500的处理器550进行评价 (参见图8)。一般，飞行情境由航空电子传感器510和/或大气传感器515测量(参见，图 8A-B)。飞行员的情境可由生理传感器520测量。飞行情境的其他指示器可包括其他飞机系统的状态，诸如自动驾驶仪是否在使用中、防撞系统是否检测到交通繁忙或检测到恒定的方位降低范围情况。飞行情境也能根据非飞机系统、诸如根据从基于地面的ATC系统和 /或个人接收的数据来确定。在过程300，UI 100的预定修改由处理器550或其他计算设备根据在过程200确定的飞行情境从数据库530选择。这通过以下来实现选择一个或多个预定义命令图标，诸如“根据许可填充页面”、“激活许可”或“完成许可”并然后编译和每个命令图标51-54相关的计算机可执行指令来修改Π 100.UI 100中每个示例性命令图标51-54的呈现位置可至少根据当前视频显示器的配置而确定，使得命令图标51-54的出现最小化对已在Π 100中呈现的任何信息项和数据输入对话框的任何影响。作为最小化任何影响的非限制性示例， 命令图标51-54的呈现可导致边缘移动现有符号/文本(即，信息项)、对现有符号/文本调整大小或插入新的符号/文本。然而，呈现命令图标51-54并不结束于从熟悉位置隐藏、 模糊、去除、取代或显著移动已呈现的或期望在UI 100中呈现的任何现有符号/文本。而且，本领域技术人员将认识到，UI 100的修改过程是对称的。例如，如果繁忙的飞行情境变得安静，则飞行情境可使得命令图标51-53由处理器530去除以作为过程300 的结果。处理器通过使飞行员手动输入将来的许可而平衡飞行员工作量。在过程400，UI 100被修改为呈现命令图标51_53并加亮/注解那些输入数据对话框20，通过执行和命令图标51相关的可执行指令而自动化对其的信息输入。在输入到相关的输入数据对话框20之前还可以呈现推荐的输入数据用于飞行员审查。
图5是示出过程200的示例性子过程的逻辑流程图。在子过程210，通过测量飞行员的生理反应确定其状态。能使用任何数目的已知生理传感器520来实现该操作。合适的生理传感器的非限制性示例可包括心电图(EKG)、脑电图(EEG)、血压、电毛细管流量计 (汗检测器)、语音压力分析器、脸部表情、眼睛移动等等。生理传感器520能经过有线(例如，经过USB、以太网、火线)或无线地利用本领域中已知的任何合适无线格式(例如，蓝牙、 Zigbee、WiFi、Wimax)与处理器 550 通信。在子过程230，从生理传感器520接收的生理数据模式可与样本生理模式比较。模式可存储在数据库530中(参见图8)并指示飞行员的活动级或压力级。样本模式可以是一般性样本模式或早期从飞行员采集的个人基准模式。然后可根据最佳配合分析或根据其他已知的统计匹配技术在子过程250确定飞行员的状态。根据比较，飞行员的工作量例如可以分类为轻度、适中、正常或繁重，或可替换地可经过分类以满足具体的系统需要。在子过程220，可通过监视任何数量的航空电子信号确定飞机的状态，该航空电子信号可由安装在飞机内的各个航空电子传感器510产生。合适的传感器的非限制示例可包括风速/方向、大气压力、引擎温度、火警、液压、到达所需时间(RTA)系统以及防撞系统。在子过程240，来自多个航空电子传感器的信号可与样本航空电子模式或离散警报以及可在数据库530中存储的航空电子模式的组合进行比较(参见图8)。在子过程260， 然后可使用样本航空电子模式根据最佳配合分析或其他已知统计或逻辑匹配技术确定飞机的情境。比较结果可将自身表现为离散值或时间序列。根据在子过程250和260执行的比较，能通过分析来自子过程250和260的结果确定、估计或暗示关于飞行员的工作量或压力水平的指示。这样的分析可以利用任何合适的算术、统计或本领域中已知的或未来可开发的逻辑算法而执行。作为非限制性示例，可使用简单二进制比较确定工作量的指示，其中飞行员状态的“high(高)”指示和飞机状态的“超出正常限制”指示会触发UI 100的特定修改的选择， 而飞行员状态的“low(低)”指示和飞机状态的“normal (正常)”指示可能不触发UI 100 的修改。其他的实例性分析装置可包括复杂的神经网络和人工智能系统。图6是示出过程300的示例性子过程的逻辑流程图。在子过程310，根据在图2的子过程280期间确定的飞行员工作量/压力情况由处理器550 (参见图8)选择Π 100的修改。例如，如果在子过程280期间，处理器550检测到飞行员的压力水平较低的指示，但飞机正经历快速改变的不利的天气条件，则处理器可仅选择命令图标51，其自动填充Π 100 的巡航速度区段120的风和环境温度输入框15 (参见图1-3)。这里，命令图标51可包含说明“填写风和温度”的字母数字标签。作为另一示例，如果在子过程280期间，处理器550检测到指示飞行员的压力水平较高的指示以及飞机正经历高交通密度条件，则处理器可选择命令图标51-53，其自动使用来自输入的ATC许可消息的信息(参见图I)填写UI 100的合适区段。因此，命令图标 51-53能被选择并能显示说明“根据许可填充页面”、“激活许可”以及“完成许可”的字母数字标签。该功能可以由本领域当前已知或未来可开发的任何装置实现。在子过程320，准备修改指令的参数。计算推荐输入值并从数据库530检索可执行计算机代码序列，并经排序并关联合适的命令图标51-54以便执行。作为可执行计算机代码的一部分，可包括在最小化对Π 100的任何显著改变的特定位置呈现命令图标51-54的
7代码。例如，数据输入对话框10和其他显示项目可在边缘移动或减少尺寸并可改变字体。 然而，不能从熟悉位置隐藏、移除、模糊、取代或显著移动信息项，以便当执行可执行计算机代码以及Π 100改变时最小化飞行员困惑的可能性。该功能可以由本领域当前已知或未来可开发的任何计算机编码装置实现。如在此使用的术语“移除”表示“删除”并不应理解为显著或以其它方式“移动”。图7示出可用于执行Π 100的修改的实例子过程。子过程410执行计算机可读指令，其能移动信息项10、调整信息项的大小和/或插入推荐输入值到UI 100的其相关联的加亮的数据输入对话框20。该功能可以由本领域当前已知或未来可开发的任何计算机编码装置实现。子过程420执行计算机可读指令。该指令能使得改变信息项或其一部分的颜色， 改变信息项或其一部分的透明度、改变信息项或其一部分的大小。使得信息项或其一部分闪烁或加亮并添加或删除背景纹理。该功能可以由本领域当前已知或未来可开发的任何计算机编码装置实现。子过程430执行计算机可读指令。指令可模拟并自动化飞行员的手动动作序列， 原本应需要该动作序列来实现由命令图标51-54的标签指示的(多个)任务。在操作中，处理器550可根据示例性过程200检测高工作量的指示。从飞行员的角度，在高工作量的这些时段期间，示例性命令图标51-53将在他的UI加亮显示，而不显著改变呈现的Π 100的布局。如此，飞行员不因Π 100的非预期重新布置而混淆，这原本可能由于附加符号的出现而发生。此外，各个数据输入对话框20能被加亮或以其它方式增强以指示可对哪些输入自动化。该增强可包括闪烁符号/文本、颜色差异化、或纹理差异化。 还可至少部分根据示例性ATC的许可消息由处理器550提供该推荐输入值。飞行员根据之前的训练将得知命令图标51-54的出现给其提供了自动化某些任务的选项，其原本将被迫手动实现这些任务。如果飞行员期望利用自动化选项，则他/她可操纵命令图标之一，诸如标为“根据许可填充页面”的示例性命令图标51。在命令图标出现在电子触摸屏上的实施例中，操纵命令图标51-54可包括触摸图标。在使用常规的座舱显示单元(CDU)的实施例中，可能需要操纵物理传感器或开关。当飞行员操纵示例性命令图标51时，执行在过程300期间准备的计算机可执行指令，借此修改Π 100。作为非限制示例，可执行指令可使得显示在加亮的数据输入对话框 20中的所有推荐输入值经过它们各自的对话框输入到FMS540。本领域普通技术人员将理解可执行指令能配置成执行多个任务并且在此讨论的那些仅仅是示例性的。图8A和8B是在此所述的系统的功能框图。图8B不同于图8A之处在于这里所述的主题被并入FMS 540作为其模块。图8A和8B的系统包含总线590，允许在UI 100、生理传感器520、航空电子传感器510、FMS 540、系统500、FMS、CMU和其他航空电子系统之间的通信。系统500包括存储设备560、处理器560和数据库530。存储设备560可以是本领域中已知的任何合适的存储设备。非限制示例性存储器可包括易失性存储设备、非易失性存储设备、可编程逻辑设备、磁盘等。存储设备560是有形计算机可读介质的示例。数据库530可包含本领域中已知的任何合适的数据结构并可存储在任何合适的存储设备上。在某些实施例中，数据库530能驻留在存储设备560上。
处理器550能是本领域中已知的任何合适的处理器。处理器550能是通用处理器、 专用处理器、协处理器或在可编程逻辑设备上执行的虚拟处理器。处理器550也是有形计算机可读介质的示例。图9是另一示例性UI 100的描述，其中根据过程200400已呈现示例性命令图标 51-53。命令图标51-53的所示位置是示例性的。命令图标51-53的位置能位于UI中的任何位置，只要它们的出现不会因隐藏数据、模糊、移除数据或取代数据引起飞行员的混淆。 在此使用的术语“移除数据”不应理解为表示显著地或以其它方式“移动数据”。图10是本领域中公知的呈现许可消息608的示例性座舱显示单元(⑶U) 600的描绘。如参考图2所示，⑶U 600正呈现命令图标51-53。此外，⑶U显示器也呈现其他命令图标(55，56)，这些图标可以是建议飞行员向飞机的飞行计划添加两个不同的航线点的图标。通过操纵一个或多个物理传感器610可执行和命令图标51-52以及55-56相关的指令。 ⑶U 600也可对于特定加亮的数据输入对话框20显示提出的值以便通过操纵传感器620向数据输入对话框10进行自动化插入。传感器610-620能由本领域中已知的任何合适的设备实施。该设备的非限制示例包括物理按钮、虚拟按钮、物理开关等等。虽然在本发明的上述详细说明中提出了至少一个示例性实施例，但应该理解存在大量的变形。还应该理解，一个示例性实施例或多个示例性实施例仅仅是示例，而不旨在以任何形式限制本发明的范围、应用或配置。而是，上述详细说明将向本领域技术人员提供实施本发明示例性实施例的便利说明。可以理解在不偏离所附权利要求阐述的发明范围的情况下对示例性实施例中描述的元件的功能和布置做出各种改变。
权利要求
1.一种用于飞机的交互式装置，包括显示设备，配置成显示用户界面(Π)，以及处理器，所述处理器被配置成确定所述飞机的状态，部分基于所述飞机的状态准备对所述UI的修改，使得所述修改添加一个或多个命令图标，而不模糊、不移除以及不取代显示器上的任何信息项，以及执行所述修改。
2.如权利要求I的交互式装置，其中所述处理器被配置成确定飞行员的状态。
3.如权利要求2的交互式装置，其中部分基于所述飞行员的状态准备所述修改。
4.如权利要求3的交互式装置，其中从生理传感器接收所述飞行员的所述状态的指示作为信号。
5.如权利要求4的交互式装置，其中所述处理器进一步配置成比较从所述生理传感器接收的信号和在数据库中存储的一个或多个生理信号模式。
6.如权利要求I的交互式装置，其中从航空电子传感器接收所述飞机的状态的指示作为信号。
7.如权利要求6的交互式装置，其中所述处理器进一步配置成通过比较从航空电子传感器接收的信号和一个或多个所存储的航空电子信号模式来确定所述飞机的状态。
8.如权利要求7的交互式装置，其中编译所述修改的准备，包括至少部分基于飞行员的状态和飞机的状态选择预定义命令图标；计算与选择的预定义命令图标相关联的一个或多个值；修改所述Π以显示所述选择的预定义命令图标，以及选择并排序当通过操纵选择的预定义命令图标而执行时使得UI自动化与选择的预定义的命令图标相关联的一系列飞行员手动动作的一个或多个可执行计算机指令。
9.一种用于选择性平衡飞行员的工作量的方法，包括获取数据；从所述数据确定飞机的状态；至少部分基于所述飞机的状态选择用户界面(UI)的预定修改；至少部分基于选择的预定修改和所述数据准备计算机可执行指令集；以及通过在Π上呈现命令图标向飞行员提供选项以执行计算机可执行指令集，其中所述呈现添加一个或多个命令图标，而不隐藏、不移除以及不取代所述Π中的任何信息项。
10.如权利要求9的方法，其中从所述数据确定飞行员的生理状态。
11.如权利要求9的方法，其中所述数据包括生理数据和航空电子数据。
12.如权利要求11的方法，其中基于航空电子数据来准备所述计算机可执行指令集。
13.如权利要求12的方法，其中计算机可执行指令集加亮多个特定的数据输入对话框。
全文摘要
本发明涉及计算机辅助人机界面显示。提供了用于选择性地平衡飞行员工作量的方法和装置。该装置包括配置成显示用户界面(UI)的显示设备和处理器。该处理器被配置成确定飞行员的状态和/或飞机的状态，部分基于飞行员的状态和/或飞机的状态准备对UI的修改，使得该修改添加一个或多个命令图标而不模糊、而不移除以及不取代显示器上的任何信息项，并执行修改。
文档编号G06F9/44GK102591634SQ20111035866
公开日2012年7月18日 申请日期2011年9月26日 优先权日2010年9月27日
发明者J·瓦塞, L·K·鲍尔, P·克鲁潘斯基 申请人:霍尼韦尔国际公司