飞行器驾驶舱中飞行员与其环境之间的交互方法

飞行器驾驶舱中飞行员与其环境之间的交互方法
【专利摘要】本发明涉及一种飞行器驾驶舱中飞行员与其环境之间的交互方法。驾驶舱包括多个激活区域，每个激活区域包括关注元素，关注元素与驾驶舱或驾驶舱的外部环境相联系并且可以基于飞行员的眼睛与激活区域的交互被激活。该方法提供：以随时间反复的方式确定(S2)眼睛的空间位置并且将所确定的空间位置与激活区域的位置进行比较(S3)；以及自动激活(S5)由飞行员观看的激活区域以向飞行员通知与所涉及的关注元素进一步交互的可用性。该方法改善了飞行员与飞行员的和驾驶舱相联系的环境之间的交互。
【专利说明】飞行器驾驶舱中飞行员与其环境之间的交互方法

【技术领域】
[0001] 本发明涉及一种飞行器驾驶舱中飞行员与其环境之间的交互方法。

【背景技术】
[0002] 如今，飞行器驾驶舱设置有布置在例如布置在风挡下方的控制台上的屏幕并且还 设置有屏幕或"平视显示器"（HUD)。HUD借助于布置在飞行员前面的透明窗格上的平行投 影系统使得补充信息能够被叠加在现实之上。
[0003] 第一 HUD被配置成直观工具，即用于显示几乎不需要认知处理的信息。这些显示 器的发展已经使得它们能够包括越来越多的信息但却对工具的直观属性造成了损害。
[0004] 此外，通常以机械或数字式物理按钮（例如键盘的按键）的形式生产出现在驾驶 舱中的致动器。所有类型按钮的增多易使得系统的界面变得复杂，从而使得飞行员/环境 界面变得复杂。命令表面也趋于越来越广泛，而使得驾驶舱中设备的布置及其人机工程变 得复杂。此外，使用复杂系统经常需要进行长时间的培训。
[0005] 鉴于上述情况，若能改善飞行器驾驶舱中飞行员与其环境（具体地为与驾驶舱相 联系的环境）之间的交互，则会是有利的。


【发明内容】

[0006] 因此，本发明涉及一种飞行器驾驶舱中飞行员与其环境之间的交互方法，其特征 在于，驾驶舱包括至少一个激活区域，所述至少一个激活区域包括关注元素，关注元素与驾 驶舱或驾驶舱的外部环境相联系并且可以基于飞行员的身体的至少一个可动部位（眼睛、 手等等）与所述至少一个激活区域的交互来被激活，所述方法包括以下步骤：
[0007] 以随时间反复的方式确定飞行员的身体的至少一个可动部位（眼睛、手等等）的 空间位置，
[0008] 对所确定的空间位置与所述至少一个激活区域的空间位置进行比较以确定在飞 行员的所述至少一个可动部位与所述至少一个激活区域之间是否存在交互，
[0009] 根据所述比较的结果，决定激活或不激活所述至少一个激活区域的关注元素，以 向飞行员通知与关注元素进一步交互的可用性。
[0010] 该方法使得能够在飞行员与其环境的交互中帮助飞行员：随时间推移对飞行员的 身体的至少一个可动部位（眼睛、手等）的移动进行分析，从而无需飞行员实际执行精确动 作就可检测飞行员的第一意图。由此仅仅必需的是，例如飞行员的视觉焦点被放置在屏幕 上和/或飞行员做出沿着屏幕方向的姿势以使得能够确定视觉焦点和/或手的位置并且 (该方法基于其来实现的）交互系统理解或解释飞行员的意图并且手动激活所观察或接近 的区域。具体地，对所确定的位置与包括关注元素的激活区域的（已知）位置之间的比较 使得能够针对该关注元素对飞行员的意图或任何情况下的关注进行解释，因此使得能够激 活关注元素以向飞行员通知与关注元素交互的可能性。
[0011] 因此，这样的方法大幅改善了飞行员与其环境之间的交互。
[0012] 根据单独的或彼此一起的其他可能的特征：
[0013] 飞行员的所述至少一个可动部位为眼睛和/或手；
[0014] 如果决定对所述至少一个激活区域的关注元素进行激活，则所述方法包括以下步 骤：
[0015] 由飞行员使所激活的关注元素生效，
[0016] 显示一个或更多个视觉界面元素，所述一个或更多个视觉界面元素提供与所激活 的关注元素相关的信息和/或可能动作的访问；
[0017] 上述显示步骤是一个或更多个称为一次元素的视觉界面元素的第一显示步骤，所 述方法包括用于多个称为二次元素的视觉界面元素的第二显示步骤，所述多个称为二次元 素的视觉界面元素提供对与所激活的关注元素相关的信息和/或可能动作的访问；
[0018] 该方法包括由飞行员选择所述一次视觉界面元素和/或二次视觉界面元素之一 的步骤；
[0019] 在距所激活的关注元素的与所激活的关注元素的大小对应的最大距离处执行对 视觉界面元素的显示；
[0020] 所述方法包括将所激活的关注元素与多个参考关注元素进行比较的步骤，对于每 个所述参考关注元素，有可用的信息和/或可能的动作；
[0021] 由飞行员对至少一个视觉界面元素的选择提供对与所激活的关注元素相关的至 少一个信息兀素的修改的访问；
[0022] 该方法包括由飞行员对所述至少一个信息元素进行修改的步骤；
[0023] 只要飞行员的身体的所述至少一个可动部位与所激活的关注元素进行交互，就可 以对所述至少一个信息元素进行修改；
[0024] 所述方法包括由飞行员使对所述至少一个信息元素实行的修改生效的步骤；
[0025] 只要飞行员的身体的至少一个可动部位与所激活的关注元素进行交互，就可以使 所述修改生效；
[0026] 在飞行员的身体的所述至少一个可动部位（眼睛、手等等）与所述至少一个激活 区域进行交互之前，该方法包括显示以下信息的步骤：所述信息向飞行员表明与驾驶舱或 飞行员的环境相联系的可以进一步交互的关注元素；
[0027] 在距所激活的关注元素或每个所激活的关注元素的与所激活的关注元素的大小 对应的最大距离处显示信息；
[0028] 包括与驾驶舱或驾驶舱的环境相联系的关注元素的所述至少一个激活区域为以 下区域中至少之一：
[0029] 驾驶舱的屏幕之一，
[0030] 驾驶舱的屏幕的一部分，
[0031] 驾驶舱的风挡的至少一部分，
[0032] 驾驶舱内插入在驾驶舱的风挡前面的透明屏幕；
[0033] 与驾驶舱或驾驶舱的环境相联系的关注元素为以下关注元素中至少之一：
[0034] 驾驶舱的屏幕之一，
[0035] 驾驶舱的屏幕的一部分，
[0036] 驾驶舱的屏幕上的可编辑刻度，
[0037] 对另外的飞行器的表示，
[0038] 对机场或对驾驶舱外的并且通过驾驶舱的风挡可见或不可见的对象的表示；
[0039] 飞行员具体地按照以下形式之一进行生效和/或选择：
[0040] 在触觉表面上或空间中的姿势，
[0041] 对键盘的按键或踏板的按压，
[0042] 对鼠标或定位装置的激活，
[0043] 发出声音，
[0044] 飞行员的视觉焦点固定在所述至少一个激活区域上的时间，
[0045] 飞行员的手在所述至少一个激活区域中出现的时间。
[0046] 本发明还涉及一种飞行器驾驶舱中飞行员与其环境之间的交互系统，其特征在 于，所述交互系统包括：
[0047] 用于确定飞行员的身体的至少一个可动部位（眼睛、手等）的空间位置的一个或 更多个单元，
[0048] 包括关注元素的至少一个激活区域，所述关注元素与驾驶舱或驾驶舱的外部环境 相联系并且可以基于飞行员的身体中的至少一个可动部位与所述至少一个激活区域的交 互来被激活，
[0049] 数据处理单元，能够对所确定的空间位置与驾驶舱的所述至少一个激活区域的空 间位置进行比较以确定在飞行员的至少一个可动部位与所述至少一个激活区域之间是否 存在任何交互，所述数据处理单元还能够决定激活或不激活所述至少一个激活区域中的关 注元素以向飞行员通知与关注元素进一步交互的可用性。
[0050] 根据可能的特征，确定单元包括一个或更多个眼睛跟踪器和/或意在确定飞行员 的手的位置的一个或更多个确定单元。
[0051] 根据另一个可能的特征，用于确定飞行员的手的位置的单元包括以下元素中至少 之一：
[0052] 至少一个触觉表面，
[0053] 一个或更多个传感器。
[0054] 根据另一个可能的特征，交互系统包括：检测装置，被配置成特别地检测飞行员的 部位所做出的选择和/或生效和/或确认动作。
[0055] 所述检测装置可以包括以下装置中至少之一：
[0056] 用于由飞行员使所激活的关注元素生效的装置；
[0057] 用于由飞行员对至少一个视觉界面元素进行选择的装置。
[0058] 根据可能的特征，用于由飞行员使所激活的关注元素生效的装置和/或用于由飞 行员对至少一个视觉界面元素进行选择的装置包括至少一个触觉表面。
[0059] 根据单独的或彼此组合的其他可能特征：
[0060] 所述系统包括至少一个显示表面，在所述至少一个显示表面上显示包括与驾驶舱 或驾驶舱的环境相联系的关注元素的所述至少一个激活区域；
[0061] 所述系统包括用于显示一个或更多个视觉界面元素的装置，所述一个或更多个视 觉界面元素提供与所激活的关注元素相关的信息和/或可能动作的访问；
[0062] 包括与驾驶舱或驾驶舱的环境相联系的关注元素的所述至少一个激活区域为以 下区域中至少之一：
[0063] 驾驶舱的屏幕之一，
[0064] 驾驶舱的屏幕的一部分，
[0065] 驾驶舱的风挡的至少一部分，
[0066] 在驾驶舱内插入驾驶舱的风挡前面的透明屏幕；
[0067] 与驾驶舱或驾驶舱的环境相联系的关注元素为以下关注元素中至少之一：
[0068] 驾驶舱的屏幕之一，
[0069] 驾驶舱的屏幕的一部分，
[0070] 驾驶舱的屏幕上的可编辑刻度，
[0071] 另外的飞行器的表示，
[0072] 对机场或对驾驶舱外的并且通过驾驶舱的风挡可见或不可见的对象的表示。
[0073] 本发明还涉及一种飞行器驾驶舱，其特征在于包括上面简要地提到的飞行器驾驶 舱中飞行员与其环境之间的交互系统。

【专利附图】

【附图说明】
[0074] 根据纯粹以非限制性示例方式给出的以下描述并且参考附图会理解其他特征和 优点，其中：
[0075] 图1是根据本发明实施方式的飞行器驾驶舱中飞行员与其环境之间的交互系统 的不意图；
[0076] 图2是根据本发明实施方式的包括交互系统的飞行器驾驶舱的示意图；
[0077] 图3是示出了根据本发明实施方式的飞行器驾驶舱中飞行员与其环境之间的交 互方法的不同步骤的总图；
[0078] 图4a至图4e示出了图3的交互方法的第一连续步骤；
[0079] 图5a至图5g示出了图3的交互方法的第二连续步骤；
[0080] 图6a至图6f示出了图3的交互方法的第三连续步骤；
[0081] 图7是根据本发明另外实施方式的飞行员/环境交互系统的示意图；以及
[0082] 图8a至图8d是示出了飞行员的手与驾驶舱的屏幕之间的交互的连续示意图。

【具体实施方式】
[0083] 如图1所示并且总体上用10表示的、根据本发明实施方式的飞行器飞行员与其环 境之间的交互系统意在集成至如在图2中以高度示意性方式示出的飞行器驾驶舱中。
[0084] 交互系统10包括：
[0085] 用于确定飞行员的眼睛的空间位置的一个或更多个单元12,该单元或这些单元以 随时间反复的方式（或永久的方式）确定飞行员视觉焦点（飞行员的基本动作）的空间位 置；
[0086] 检测装置14,被配置成对飞行员所做出的选择和/或生效和/或确认动作进行检 测；
[0087] 一个或更多个（飞行器的）激活区域16,每个激活区域包括关注元素 EI或与关注 元素 EI相关联，关注元素 EI与驾驶舱或驾驶舱的外部环境相联系并且可以通过与飞行员 的眼睛的交互来被激活；该区域例如被显示在驾驶舱的显示表面如屏幕（为了简化而在图 1中仅示出了一个激活区域）上；以及
[0088] 数据处理单元18,能够接收由单元12和装置14发送的数据并且对其进行处理； 单元18具体地能够接收并且初始地处理由单元12发送的空间位置数据；根据空间位置数 据的处理，单元18能够提供或不提供激活区域16中的关注元素 EI的激活信号S ;该信号 意在激活关注元素；关注元素的激活通知飞行员关于与该关注元素的进一步交互的可用性 (获取与该关注元素相关的信息、可能动作）；由此飞行员明白如果其愿意则可以与关注元 素进行交互。
[0089] 关注元素 EI被定义为以下元素：位于驾驶舱内并且可以与驾驶舱内的对象或相 对于飞行器（从驾驶舱可见或不可见）的外部对象的表示（图像等）对应。
[0090] 例如，数据处理单元18还能够接收来自不同装置（雷达、GPS、传感器、航空电子系 统如处理器等）的数据D以能够在驾驶舱的显示表面上放置表示驾驶舱外的对象的关注元 素。
[0091] 存储空间19用于对实时获取的和/或通过计算获取以及还可以预先获取的不同 数据和信息进行存储。因此，该空间可以用作数据库。应当注意，一方面在交互系统中引用 了激活区域，而另一方面系统已知这些激活区域的坐标。这两种类型的信息例如被存储在 存储空间19中。
[0092] 应当注意，用于确定飞行员的眼睛的空间位置的单元12或这些单元（如果有多 个）中的每一个例如为"眼睛跟踪器"。
[0093] 该检测装置例如为本身已知的触觉表面，例如与在智能手机和数字平板中发现的 检测装置的类型相同。
[0094] 这样的触觉表面14检测由飞行员的一只手或两只手执行的选择和/或生效和/ 或确认姿势。
[0095] 图2是包括交互系统如图1中的系统10的飞行器驾驶舱C的内部的高度示意性 图。
[0096] 在驾驶舱C中，用于飞行员P1和副飞行员P2的两个座位被设置在风挡20的前面， 为了简化起见而以高度示意性方式示出了风挡20的仅中心位置。基于同样的理由而未示 出驾驶舱的其他设备。
[0097] 驾驶舱C包括多个屏幕或显示支持件16a至16η，各自包括显示在当前屏幕上的至 少一个关注元素 Eli。每个关注元素 Eli由激活区域围绕或是激活区域的一部分。每个激 活区域允许对其所包括的关注元素进行激活。这些激活区域被定义为飞行员可以使用飞行 员的眼睛与其进行交互从而飞行员可以将其激活的区域。在交互系统的存储空间中引用这 些激活区域。
[0098] 例如可以采取对信息（数据、记号、符号、几何图等）的显示的形式对区域进行激 活。例如，它可以是被高亮的区域的轮廓（圆圈）。
[0099] 可选地，甚至在飞行员将眼睛设定在该区域上以对该区域进行激活之前，激活区 域可以具有为飞行员标记可激活属性的信息显示。该区域的这样的显示或标记可以采取不 同的形式（透明圆圈、叠加在激活区域上、区域侧面或区域上的符号等）。
[0100] 如果对于一个区域没有出现这样的先前显示或标记，则飞行员知道该区域不能被 激活。
[0101] 当屏幕包括单个关注元素时，则该关注元素通常几乎占据该屏幕的整个表面。在 该示例中，屏幕16a至16η例如以水平带的形式并排布置在风挡20的下方。可以设想其他 布置。两个确定单元12位于激活区域下方分别与飞行员Ρ1和副飞行员Ρ2的座位相对。
[0102] 仪表板22被布置在激活区域16a至16η和确定单元22下面并且在座位的前面延 伸。仪表板包括出于清楚而未示出的多个设备（拨号盘、显示屏、控制杆、按键等）。触觉表 面14被布置在仪表板22上并且可以或可以不集成到仪表板22中。
[0103] 该示例涉及单个触觉表面，其在仪表板上从仪表板的位于两个座位之一前面的部 分延伸远至仪表板的位于另一个座位的前面的另一部分。可替选地，可以涉及多个触觉表 面，例如其中每个表面仅在两个座位之一前面延伸的两个表面。
[0104] 图3以流程图的形式示出了在飞行器飞行员与其环境之间的交互方法的主要步 骤。当飞行员（或其副飞行员）正坐在驾驶舱中飞行员的座位上并且观看在飞行员眼前的 实时展开的场景时，通过参考图1和图2所描述的交互系统执行这些步骤。该场景一方面 包括在驾驶舱中的包括屏幕16a至16η的不同显示屏幕和装置上产生的显示，另一方面包 括作为可选的显示表面的风挡以及穿过风挡可见的外部环境。与飞行器外的并且不能通过 风挡可见的环境有关的信息例如通过机载相机来捕获和/或通过外部系统（卫星、地基设 施、飞行中的其他飞行器等）发送至该飞行器并且随后陈列在驾驶舱的一个或更多个屏幕 或其他显示装置上。
[0105] 该信息包括例如表示外部环境的图像和/或视频，或其具体对象的图像和/或视 频。
[0106] 现将参考图3和图4a至4e对图3的方法的实现示例进行描述。在该示例中，图 2的飞行员P1看着驾驶舱的屏幕并且具体地看着包括关注元素 Eli (在屏幕上可见并且飞 行员关注的信息）的屏幕16i (图4a)。屏幕16i整体上与例如激活区域对应。
[0107] 例如，可以涉及在其中飞行员输入飞行计划参数以修改飞行员的路线的PFD(主 要飞行显示器的缩写）型屏幕。
[0108] 在其他示例中，仅屏幕的一部分与激活区域对应。
[0109] 交互方法开始于第一（可选）步骤S1，用于对意在向飞行员表示与飞行器和可选 地飞行员的环境相联系的激活区域的信息的在先显示。所显示的信息直观地标识激活区域 (屏幕、其他表面、风挡等）。该显示可以伴有声音提示。
[0110] 在所描述的示例以及对方法的描述的剩余部分中，应当考虑飞行员没有关于与驾 驶舱和/或飞行员的外部环境相联系的不同区域的"可激活"属性的信息。
[0111] 该方法的第二步骤S2是以下步骤：以随时间反复的方式（或永久的方式）确定飞 行员的视觉焦点的空间位置作为面向飞行员的确定单元12的结果。通过空间坐标来标识 飞行员的眼睛的位置。当飞行员的视觉焦点已经在区域上保持固定了预定时间时，由确定 单元12将这些空间坐标提供给处理单元18。例如，时间大约为200ms。
[0112] 图1的数据处理单元18获取那些空间坐标并且将这些空间坐标与驾驶舱的不同 激活区域的已知空间坐标以及驾驶舱外的空间坐标进行比较（步骤3)。如果在来自检测步 骤的坐标与先前存储的坐标之间存在交叠，则处理单元18标识飞行员正在观察的区域，从 而知道在飞行员的视觉焦点与当前区域之间存在交互。
[0113] 数据处理单元18将由此标识的正在被观察的区域与在交互系统的存储空间19中 "参考"的所有激活区域进行比较。
[0114] 如果所观察的区域为没有被交互系统参考的区域，则意味着激活区域没有被涉 及，因此对于飞行员而言可能不会与该区域有进一步的交互。
[0115] 因此，下面的步骤S4是涉及不激活的判决步骤并且继续确定飞行员的视觉焦点 的位置（在步骤S2中已经进行了描述）。
[0116] 然而，如果所观察的区域为交互系统所参考的区域，则意味着激活区域被涉及。这 就是屏幕16i的情况。
[0117] 由于屏幕16i可以被激活，所以在下面的步骤S5中数据处理单元18决定激活屏 幕16i。在图4b中示出了通过对与其他未激活的激活区域相关的区域进行高亮的该激活。 该使用例如通过所保留的激活区域16i的轮廓L变得非常明亮而变得明显，并且向飞行员 表示与该区域（具体地与该区域的关注元素）交互的可用性。
[0118] 下面的步骤S6是用于确定飞行员是否希望使激活区域/所激活的关注元素生效 的测试步骤。该生效确认飞行员对其所观察的激活区域/关注元素的关注。
[0119] 如果飞行员希望，则其可以决定不使对所观察的激活区域的激活生效。在该情况 下，则在测试步骤S6之后继续进行检测步骤S2。
[0120] 然而，如果飞行员决定确认其选择，则执行生效。该生效由飞行员执行并且被认为 是由检测装置14检测的补充动作。例如通过可以是触觉表面14上的手势（在预定姿势库 中给定的姿势）的形式的通用"约定"姿势执行该生效。因此当在屏幕上选择了激活区域 (从而涉及相对移动而不是绝对移动）时，则该"约定"姿势是例如在计算机鼠标的按压区 域之一处执行的按压动作（例如，左点击）。因此，约定姿势无需精确并且可以在整个触觉 表面上执行。飞行员使激活生效无需精确还使得不需要持续关注飞行员的部位并且不需要 花费大量精力来完成该任务。因此，飞行员可以对激活区域/所激活的关注元素或对要完 成的不同任务保持关注。
[0121] 在图4c中示出了生效并且伴随有在激活区域/所激活的关注元素旁对视觉界面 元素的显示（步骤S7)，这些视觉界面元素被称为一次元素并且在这种情况为上面所显示 的单一元素40的形式。该一次视觉界面元素在激活区域/所激活的关注元素旁边的出现 表明元素被激活并且从而可以与其进行交互。所显示的一次视觉界面元素例如是向飞行员 通知交互方法的符号或图形界面。在这种情况下，元素40通过圆圈内的箭头（箭头和/或 圆圈可以着色或不着色）来表示，表明用户为了获取与关注元素相关联的信息和/或执行 与该关注元素相关的动作而要执行的姿势。
[0122] 应当注意，在激活区域/所激活的关注元素旁对多个一次可视界面元素的显示可 以表示菜单的不同选项（信息和/或动作）。通常在距激活区域/所激活的关注元素小于 等于所激活的关注元素的大小或尺寸的距离处执行对一个或更多个一次可视界面元素的 显示。应当注意，如果所激活的关注元素具有两个不同的尺寸，则上述距离例如小于等于两 个尺寸的均值。这使得飞行员能够容易具有激活区域/所激活的关注元素以及所显示的一 次可视界面元素的概观。此外，利用对所激活的关注元素的几何接近（物理联系）进行显 示有利于一次视觉界面元素与关注元素之间的心理关联。
[0123] 下面的步骤S8是关于一次视觉界面元素的由飞行员同时进行的选择和生效步 骤。
[0124] 该选择被认为是由检测装置14检测的补充动作。
[0125] 例如通过实施与所显示的符号/图形界面对应的姿势来执行该步骤。在图4c所 示的示例中，通过在触觉表面14上从左到右（沿着由箭头40表示的方向）的飞行员姿势 来执行该步骤。
[0126] 该姿势引起在激活区域/所激活的关注元素上方显示被称为二次元素的多个视 觉界面元素42 (步骤S9和图4d)。这些元素42表现为一个在另一个上布置的上下文菜单 或列表的元素或不同选项（与激活的关注元素有关的信息和/或可能动作）。
[0127] 该姿势还使得显示在其一侧或以叠加状态显示的元素和符号系统/图形界面能 够被"锁定"在所激活的关注元素（目标）上。当所激活的关注元素（目标）相对于飞行 器移动时，这尤为有利，这是当关注元素表示相对于飞行器的外部对象时的情况。对于一次 视觉界面元素40,在距区域/所激活的关注元素的不超过其大小或不同尺寸的均值的距离 处显示二次视觉界面元素42。应当注意，这些元素42例如被显示在用作屏幕16i上方的显 示表面的风挡（在下部）上。
[0128] 下面的步骤S10是由飞行员从多个二次视觉界面元素42 (图4d)中选择二次视觉 界面元素的选择步骤（由检测装置14检测的补充动作）。
[0129] 在图4d和图4e示出的示例中，通过飞行员在触觉表面14上的第一非精确姿势来 执行该步骤。涉及沿着向下方向进行的姿势以便在元素42的菜单或列表中浏览并且指向 飞行员关注的二次视觉界面元素如元素42i (图4e)。在飞行员不允许其眼睛离开激活区域 /所激活的关注元素以及靠近旁边显示的二次视觉界面元素42的情况下，执行该姿势。飞 行员对元素42i的关注通过获取关于它的另外信息和/或执行与该元素有关的动作的意愿 来表达。随后通过执行与符号40对应的姿势（步骤S11)，即通过在触觉界面上从左到右移 动手来使元素42i生效。该生效姿势使显示区域44出现在元素42i和符号40旁边。该显 示区域44还可以是参数编辑区域。该生效被认为是由检测装置14检测的补充动作。
[0130] 在所描述的示例中，生效步骤在已经描述的检测步骤S2之后继续。
[0131] 图5a至图5f示出了当飞行员观看另一屏幕如屏幕16j (图5a)时图3的交互方 法的其他方面的实现。
[0132] 对飞行员的视觉焦点在激活区域16j/关注元素 Elj上的位置的确定（步骤S2) 允许对该激活区域和关注元素的激活。如在图4b (步骤S5)中，通过高亮轮廓L(图5b)来 执行该激活。一次视觉界面元素40的生效步骤S6和显示步骤S7与上面参考图4b和图4c 所描述的步骤相同，并且导致如图5c所示在激活区域/所激活的关注元素上方进行显示。
[0133] 以与在图4c中执行的选择相同的方式执行的对元素40的选择（步骤S8)导致对 多个二次视觉界面元素46(46 &、4613、46(3)的显示。该显示（步骤59)为激活区域/所激活 的关注元素上方的菜单或列表（与关注元素相关联的信息和/或关于该关注元素要执行的 动作）形式（图5d)。
[0134] 如上面所说明的，为了从列表中选择（步骤S10)元素而对二次视觉界面元素46a 至46c的浏览由飞行员通过在触觉表面14上基本上坚直地移动飞行员的手来进行。因此在 该示例中飞行员指向与所激活的关注元素的"编辑"动作对应的二次视觉界面元素46a(图 5e)。
[0135] 随后，通过做出与符号40对应的姿势，即通过在触觉表面上从左到右移动手来使 元素46a生效（步骤SI 1)。该生效姿势引起对关注元素 Elj上的区域Z1的激活或高亮（例 如，通过明亮地高亮）。在该生效步骤（对区域Z1的激活）期间，飞行员保持观察区域Z1。 对该区域的激活向飞行员表明其被授权在所激活的关注元素的该部分上执行"编辑"功能 (图5f)。执行编辑功能（编辑动作）使得所激活的关注元素的一部分的一个或更多个参 数能够被修改。
[0136] 对该区域Z1的激活也可以在图5g中放大的区域Z1的曲线图的X刻度和Y刻度 以及每个刻度上的光标的激活中被看到。区域Z1表示"垂直显示" VD，即根据沿着为飞行 器设置的路线的距离的飞行器在每个飞行位置处的高度的曲线图。通常垂直显示VD显示 在上述PFD显示器上。
[0137] 下面的步骤S12是参数修改步骤（编辑功能），其允许例如通过将该单元的俯仰从 10修改成50以便在曲线图上执行"放大功能"来对飞行计划的位置之一的高度或显示刻度 进行修改。
[0138] 例如，借助于飞行员的手在触觉表面14上的相对水平姿势或坚直姿势来以在每 个轴上移动光标并且扩大或缩小该表示。在该步骤期间，飞行员无须保持观察区域Z1。
[0139] 下面的步骤S13是飞行员使在前述步骤中执行的修改生效的步骤。
[0140] 例如，通过飞行员在触觉表面上执行具体姿势来执行该生效。
[0141] 在飞行员的视觉焦点的控制下执行该步骤，即仅当飞行员正在观察区域Z1时该 生效才是可能的。该条件由数据处理单元18控制，数据处理单元18持久地将视觉焦点的 位置的坐标与正在被修改的那些关注元素的坐标进行比较。
[0142] 当飞行员的视觉焦点离开关注元素以及其修改区域时，该生效操作中止，并且返 回至当飞行员的视觉焦点返回该区域时在其处被停止的位置。
[0143] 应当注意，当飞行员观察激活区域/非激活的关注元素时，编辑姿势被无效直到 激活区域/关注元素被激活为止。
[0144] 步骤S13接着已经描述的步骤S2。
[0145] 图6a至图6f示出了当飞行员对为驾驶舱的外部环境的一部分并且通过例如风挡 可见的对象关注时所执行的图3中交互方法的连续步骤。表示该对象的关注元素 EI是通 过风挡可见的对象的图像。
[0146] 在该示例中，风挡20的表面用作激活区域以及不同的一次视觉界面元素和二次 视觉界面元素、信息以及相关联的符号系统等的显示表面。
[0147] 图6a示出了包括关注元素62的激活区域60。该关注元素是真实对象的表示，该 真实对象是飞行器的外部环境的一部分并且通过驾驶舱的风挡可见。在该示例中，包括机 场。
[0148] 更具体地，激活区域60与叠加在位于背景中的外部对象上的风挡的区域对应。在 图6a的平面中，激活区域60围绕关注元素62,关注元素62表现为真实对象在风挡的表面 上的图像。
[0149] 在该示例中，所有的关注元素以对于飞行员可见的方式被标识，以便通知飞行员 它们的可激活属性。为此，例如，这可以包括显示表示区域的可激活属性的信息。例如，该 显示可以以叠加在每个激活区域上的透明圆圈的形式。
[0150] 在图6a中，透明圆圈64显示在风挡的激活区域60上以向飞行员指示该区域。
[0151] 当飞行员观察图6a的场景时，如已经描述的，图3的交互方法提供对飞行员所观 看的激活区域60的确定（S2)、比较（S3)和激活（S5)。
[0152] 数据处理单元通过例如将圆圈64'的轮廓高亮（图6b)来决定激活区域60,从而 向飞行员表明可以与该区域和相关联的关注元素交互。
[0153] 与已经描述的元素40相同的一次视觉界面元素66的生效步骤（S6)和显示步骤 (S7)产生图6c中示出的显示。一次视觉界面元素66在风挡上显示在圆圈64'旁边（在小 于或等于圆圈的直径的距离处）。其符号通知飞行员要执行的姿势，以便进一步与激活区域 /所激活的关注元素交互，对于上述元素40全部一样。
[0154] 飞行员在触觉表面14 (步骤S8)从左到右的姿势使多个二次视觉界面元素68a至 68c以叠加在激活区域/所激活的关注元素的方式出现（图6d和步骤S9)。这包括例如表 示依赖于激活的关注元素和/或与关注元素有关的要执行的动作的信息的图标。这些图标 围绕圆圈64'分布以使它们对于飞行员更加可见。它们的布置也使得对它们的借助于手在 触觉表面上的相应姿势的选择能够更容易：姿势（不具有任何精确度）向下使得图标68c 能够被选择。
[0155] 应当注意，图标围绕圆圈的分布以及因此图标之间的足够大的间距（与图4d的图 标42之间留下的间距有关）可替代地使得它们通过确定飞行员的眼睛在图标中的一个或 其他上的位置能够被选择。
[0156] 此外，表不倒转符号66的两个相同的符号70、72出现在圆圈64'左侧。
[0157] 这两个符号的并排出现向飞行员表明对其来说简单地需要在触觉表面14行执行 两次与符号对应的姿势，以返回图6b的情形（激活区域/所激活的关注元素）。应当注意， 为了执行这样的动作，飞行员必须保持飞行员的手在触觉表面上。这防止触觉表面上的非 故意姿势。
[0158] 当出现图6d的显示时，圆圈64'以及所有的二次视觉界面元素68a至68c和所显 示的符号70至72被锁定到激活区域/激活的关注元素。以这种方式，当飞行器相对于该 激活区域/该激活的关注元素移动时，如图6e所示，圆圈64'以及所有的视觉界面元素和 所显示的符号跟随激活区域/激活的关注元素。
[0159] 图6f在风挡的屏幕上示出了在该情形下具有表示飞行器的另一关注元素76的另 一激活区域74。该区域被标识为由于表示激活区域/关注元素的圆圈78的存在而能够被 激活。
[0160] 应当注意，通常可以根据需要和境况将圆圈或另一符号放置在激活区域/关注元 素上或为其一部分或放置在其旁边，上述圆圈或另一符号以对飞行员来说明确的方式标识 与关注元素相关联的激活区域。根据所期望的可见性，可能期望不隐藏关于外部对象因此 以及关注元素的任何东西，从而在关注元素旁边显示圆圈或另一符号。
[0161] 在图6f示出的示例中，飞行员已经通过在触觉表面14连续三次做出相同的姿势 来跟随由符号70、72示出的符号系统（左箭头），以返回图6a的情形，从而能够改变激活区 域/关注元素。
[0162] 对飞行员的视觉焦点在新的激活区域74上的位置的检测允许其激活以及例如步 骤S3的执行以及已经描述的图3的方法的下面的步骤。
[0163] 应当注意，在图6a至图6f的示例中涉及的关注元素是通过外部对象的风挡20可 见的图像，外部对象是通过风挡出现在飞行员眼前的场景的一部分。
[0164] 然而，飞行员还可以对以下外部对象关注：这些外部对象由于被位于风挡前面的 障碍物（例如，山或降低可见性的气象条件）隐藏，或由于这些外部对象沿着不同的方向 (例如，飞行器的上方、下方或后方）布置而相对于飞行员不可见。
[0165] 在任何情况下，关于从驾驶舱不能够看见的这些外部对象的信息可以通过机载和 /或远程的设备/装置（卫星、地面设施、飞行飞行器等）来获取。从而，该信息可以显示在 具有表示每个对象的关注元素的屏幕或另一显示表面上。
[0166] 图6a至图6f的风挡可以例如由驾驶舱的屏幕代替，在该屏幕上显示不能通过风 挡看见的外部对象的图像或视频序列。图像或视频序列由例如一个或更多个外部相机来获 取。图6a至图6f中示出的一系列步骤可以应用于例如不能通过风挡看见的外部对象。这 样的外部对象可以是例如飞行员希望看见的飞行中的飞行器。
[0167] 上面已经参考图1至图6描述了的、包括与驾驶舱或其外部环境相联系的关注元 素的的激活区域可以具有不同的形式并且特别地为：
[0168] 驾驶舱的屏幕之一，
[0169] 驾驶舱的屏幕的一部分，
[0170] 驾驶舱的风挡的至少一部分，以及
[0171] 驾驶舱内部插入在驾驶舱的风挡前面的透明屏幕。
[0172] 也可以设想上面没有提到的其他激活区域。
[0173] 应当注意，与驾驶舱或其外部环境相联系的关注元素是下列关注元素中至少之
[0174] 驾驶舱的屏幕之一，
[0175] 驾驶舱的屏幕的一部分，
[0176] 驾驶舱的屏幕上的可编辑刻度，以及
[0177] 通过驾驶舱的风挡可见或不可见的机场或外部对象的表示。
[0178] 然而，还可以设想上面没有提到的其他关注元素。
[0179] 在参考图1、图2、图4a至图4e描述第一示例期间，激活区域的激活基于对飞行员 的眼睛在所涉及的区域上的位置的预定最少时间的确定被启动。
[0180] 要求飞行员所做出的补充动作的方法的其他步骤（例如，生效（S6)、选择（S8和 S10)、生效（S11)、修改（S12)和生效（S13))以及该动作的检测已经被描述为通过飞行员在 系统的触觉表面14上的手势来执行。从而，飞行员与驾驶舱之间的该物理交互组合（眼和 手）允许简单地通过观察激活区域/关注元素（对象等）来进行激活并且随后借助于几乎 无需精确的补充动作如一个或更多个具体姿势而获权使用信息和/或一个或更多个功能。 由于该组合使得能够使用较低水平的注意力执行在姿势过程中几乎无需精确度的具体任 务而使得较飞行员实现起任务来变得更加容易，所以该组合非常有效。由此飞行员可以向 在姿势过程中要求更专注和/或更精确的其他任务投入更持续的注意力。
[0181] 从而该激活处理降低飞行员在注意力方面的负担，该负担随着用于执行其他任务 的时间的增加将变得明显。执行激活任务（S5)及其生效（S6)不要求精确度并且因此持续 的注意力的事实在遭遇振动的环境如飞行器驾驶舱中是有利的。
[0182] 这是因为在驾驶舱中产生的振动一般要求飞行员持续的注意力以便执行常规姿 势（按压按钮等）。
[0183] 飞行员对补充动作（S8、S10、Sll、S12、S13等）的执行在姿势的过程中要求相对 小的精确度，或根本不要求，这在振动环境中再次被发现是有利的。然而，上面打算的涉及 补充动作或它们中的至少一些的步骤可以不同地被执行。
[0184] 例如，飞行员对这些步骤中的一个或更多个的执行具体地为下列形式之一：
[0185] 空间中的姿势（已经简要描述的作为设置在飞行员的双手或单手上的传感器的 结果；该姿势是预定姿势集或库中的预定姿势），
[0186] 对键盘的按键或踏板的按压，
[0187] 对鼠标即如键盘光标控制单元（KCXU)或定位装置等装置的激活（"点击"），
[0188] 发出来自预定声音集或库中的一个或更多个预定声音（例如，小组成员的语音），
[0189] 电位计的位移，
[0190] 飞行员的视觉焦点固定在所涉及的激活区域、关注元素或其更具具体的区域如图 5f的区域Z1上的预定时间，
[0191] 飞行员的手停留在所涉及的激活区域、关注元素或其更具体区域如图5f的区域 Z1上的时间。
[0192] 飞行员对这些步骤的执行产生与上面阐述的这些相同的优点（几乎不需要精确 度的姿势，通常为相对而不是绝对移动，时间增加等）。
[0193] 飞行员对这些步骤中的一个或更多个的执行可以例如通过所激活的关注元素上 或旁边的信息或适当的符号的显示来建议。可以具体地向飞行员提出多种交互可能。
[0194] 可以设想与所涉及的激活区域、关注元素或其更具体区域的交互的其他方法，以 执行这样的步骤。
[0195] 应当注意，已经在图2中示出了用于确定飞行员的视觉焦点的位置的两个单元 12。然而，在未示出的变型中，可以相对飞行员P1的座位使用单个单元12。
[0196] 类似地，触觉表面14在其范围方面可以被减小，以仅由飞行员P1使用。
[0197] 在上述示例中，激活区域的激活的形式为高亮区域的轮廓（屏幕的轮廓、围绕关 注元素的圆圈等）。
[0198] 然而，可以设想用于高亮激活区域的任何其他符号系统，只要可以发出可以与或 可以不与区域的视觉激活耦合的声音信号即可。
[0199] 还应当注意，在一些情况下尤其关于可见性的情况下，激活区域的关注元素可以 位于表示该区域的图、符号、轮廓等旁边。
[0200] 在激活区域/关注元素的激活之后，飞行员有权使用与激活的关注元素相关联的 信息和/或一个或更多个可能的功能/动作。这些可能的功能/动作可以包括例如获取信 息、通信、选择（高亮）、跟随轨迹、避开障碍物或气象事件（如暴风等）、定义包括飞行计划 中的过渡位置如ET0PS段的进入以及离开位置的登陆位置。
[0201] 根据变型，图3的步骤S7可以引起对多个一次视觉界面元素的显示。用于从多个 元素中选择一次视觉界面元素的步骤以及生效步骤可以以不同且连续的方式被执行，并且 不再同时。
[0202] 根据图7中示出的另一种实施方式，飞行器飞行员与其环境之间的交互系统100 包括：
[0203] 用于以随时间反复的方式确定飞行员的双手或单手的空间位置的至少一个单元 11，
[0204] (驾驶舱的）激活区域116,包括与驾驶舱或其外部环境相联系的关注元素 EI并 且可以通过基于飞行员的手与其的交互来被激活（该区域被显示在例如驾驶舱的显示表 面如驾驶舱的屏幕或风挡上），以及
[0205] 数据处理单元118,能够接收由用于确定飞行员的双手或单手的空间位置的单元 (多个单元）110发送的空间位置数据，处理这些空间位置数据，并且根据该处理，提供或不 提供激活区域的关注元素 EI的激活信号S。该信号意在激活关注元素，其使飞行员能够被 通知与该关注元素的进一步交互的可用性。
[0206] 系统100意在集成在飞行器驾驶舱如图2中的飞行器驾驶舱中。在本实施方式中， 图2的屏幕16a至16η包括各自由激活区域116围绕的关注元素 EI1至ΕΙη。这些屏幕在 该实例中是触觉表面。
[0207] 应当注意，用于确定飞行员的双手或单手的空间位置的单元（多个单元）可以包 括位于飞行员的手（双手）上的传感器。例如，可以包括使得手的姿势被获取的手套（例 如使用外骨骼结构或导电墨水或光学纤维）。
[0208] 如图2的实施方式，提供与空间19相同的存储空间119以存储驾驶舱的不同的激 活区域（引用区域）及其坐标。
[0209] 以相同的方式，来自飞行器的不同装置的数据D被发送至单元118,以能够将表示 驾驶舱外的对象的关注元素放置在与驾驶舱相联系的显示表面上。
[0210] 交互系统可以借助于飞行员的手与激活区域的交互以将激活区域激活来操作。
[0211] 图8a至图8d示出了飞行员的手Μ与驾驶舱的包括激活区域122的屏幕120之间 的物理交互的实施方式。
[0212] 如图8a所示，当飞行员不使用飞行员的手与其交互时，在屏幕上没有显示可见。
[0213] 在图8b中，飞行员将其手Μ朝向屏幕移动。该手的位置（由单元110确定的位 置）被发送至处理单元118,处理单元118将其与激活区域122的已知位置进行比较。
[0214] 在所描述的示例中，所确定的手的位置距激活区域122的距离小于或等于预定阈 值距离。对于该距离或小于该距离，通过将激活信号S发送至激活区域122来自动启动对 激活区域122的激活。该激活具有照明激活区域（图8b)以使激活的关注元素 ΕΙ的显示 出现的效果。
[0215] 通过使用手触摸关注元素 EI的飞行员的姿势以非常简单的方式执行对该激活的 关注元素的生效（图8c)。
[0216] 如图8c和图8d中所示，手Μ对关注元素按压修改该关注元素的部分的照明，从而 确认生效操作。
[0217] 随后，飞行员移动手远离屏幕。
[0218] 例如，屏幕120与手Μ之间的阈值距离与激活区域的关注元素的大小对应并且例 如与其最大尺寸对应。
[0219] 在本实施方式中还应用上面已经描述的（补充动作）并且涉及（在激活区域/关 注元素的激活之后）通过飞行员访问与激活的关注元素相关联的信息和/或一个或更多个 可能的功能/动作的图3的方法的其他步骤。与关注元素进行交互以使用该信息和/或那 些功能/动作的方法可以按照上针对先前图的实施方式所指示来执行。具体地，可以借助 于触觉表面如表面14执行补充动作。可替代地，可以使用上面作为第一实施方式的替选方 案而提出的其他方法。
[0220] 可替代地，飞行员的手的位置可以由具体地用于确定手至激活区域的接近及其激 活的相机来确定。
[0221] 根据未示出的另一结构变型，交互系统100还包括用于确定飞行员的眼睛的空间 位置的单元，该单元与图1的单元12相同。
[0222] 如上面参考图8a至图8d所说明的，这样的单元用于在生效区域122的激活和生 效之后确定飞行员的一个或更多个补充动作。
【权利要求】
1. 一种飞行器驾驶舱（C)中飞行员（P1)与其环境之间的交互方法，其特征在于，所述 驾驶舱包括至少一个激活区域（16)，所述至少一个激活区域（16)包括关注元素（EI)，所述 关注元素（EI)与所述驾驶舱或所述驾驶舱的外部环境相联系并且能够基于所述飞行员的 身体的至少一个可动部位（眼睛、手等）与所述至少一个激活区域的交互被激活，所述方法 包括以下步骤： 以随时间反复的方式确定（S2)所述飞行员的身体的至少一个可动部位（眼睛、手等） 的空间位置； 对所确定的空间位置与所述至少一个激活区域的空间位置进行比较（S3)，以确定在所 述飞行员的所述至少一个可动部位与所述至少一个激活区域之间是否存在交互；以及 根据所述比较的结果决定激活（S5)或不激活（S4)所述至少一个激活区域的所述关注 元素，以向所述飞行员通知与所述关注元素进一步交互的可用性。
2. 根据权利要求1所述的方法，其特征在于，如果决定激活（S5)所述至少一个激活区 域的所述关注元素，则所述方法包括以下步骤： 由所述飞行员使所激活的关注元素生效（S6);以及 显示（S7) -个或更多个视觉界面元素，所述一个或更多个视觉界面元素提供对与所 激活的关注元素有关的信息和/或可能动作的访问。
3. 根据权利要求2所述的方法，其特征在于，所述显示步骤（S7)是一个或更多个称为 一次元素的视觉界面元素的第一显示步骤，所述方法包括用于多个称为二次元素的视觉界 面元素的第二显示步骤（S9)，所述多个称为二次元素的视觉界面元素提供对与所激活的关 注元素有关的信息和/或可能动作的访问。
4. 根据权利要求2或3所述的方法，其特征在于，所述方法包括由所述飞行员选择所述 视觉界面元素之一的步骤（S8、S10)。
5. 根据权利要求2至4中任一项所述的方法，其特征在于，在距所激活的关注元素的与 所激活的关注元素的大小对应的最大距离处执行对视觉界面元素的显示。
6. 根据权利要求2至5中任一项所述的方法，其特征在于，所述方法包括将所激活的关 注元素与多个参考关注元素进行比较的步骤，对于每个所述参考关注元素，有可用的信息 和/或可能的动作。
7. 根据权利要求2至6中任一项所述的方法，其特征在于，由所述飞行员对至少一个视 觉界面元素的选择提供对与所激活的关注元素有关的至少一个信息元素的修改的访问。
8. 根据权利要求7所述的方法，其特征在于，所述方法包括由所述飞行员对所述至少 一个信息元素进行修改的步骤（S12)。
9. 根据权利要求7或8所述的方法，其特征在于，所述方法包括由所述飞行员使对所述 至少一个信息元素所实行的修改生效的步骤（S13)。
10. 根据权利要求9所述的方法，其特征在于，只要所述飞行员的身体的所述至少一个 可动部位与所激活的关注元素进行交互，就能够使所述修改生效。
11. 根据权利要求1至10中任一项所述的方法，其特征在于，在所述飞行员的身体的所 述至少一个可动部位（眼睛、手等）与所述至少一个激活区域交互之前，所述方法包括显示 以下信息的步骤：所述信息向所述飞行员表明与所述驾驶舱或所述飞行员的环境相联系的 能够进一步交互的关注元素。
12. 根据权利要求11所述的方法，其特征在于，在距所激活的关注元素或每个所激活 的关注元素的与所激活的关注元素的大小对应的最大距离处显示所述信息。
13. -种飞行器驾驶舱（C)中飞行员与其环境之间的交互系统，其特征在于，所述交互 系统（10 ; 100)包括： 用于确定所述飞行员的身体的至少一个可动部位（眼睛、手等）的空间位置的一个或 更多个单元（12 ;110); 包括关注元素（El、EI1至ΕΙη)的至少一个激活区域（16、16a至16η ; 116),所述关注 元素（ΕΙ、ΕΙ1至ΕΙη)与所述驾驶舱或所述驾驶舱的外部环境相联系并且能够基于所述飞 行员的身体的所述至少一个可动部位与所述至少一个激活区域的交互来被激活， 数据处理单元（18 ;118)，能够将所确定的空间位置与所述驾驶舱的所述至少一个激 活区域的空间位置进行比较，以确定在所述飞行员的所述至少一个可动部位与所述至少一 个激活区域之间是否存在任何交互，所述数据处理单元还能够决定激活或不激活所述至少 一个激活区域的所述关注元素，以向所述飞行员通知与所述关注元素进一步交互的可用 性。
14. 根据权利要求13所述的系统，其特征在于，所述确定单元包括一个或更多个眼睛 跟踪器（12)和/或意在确定飞行员的手的位置的一个或更多个确定单元（110)。
15. 根据权利要求13或14所述的系统，其特征在于，所述系统包括：检测装置（14)，被 配置成特别地检测所述飞行员的部位做出的选择和/或生效和/或确认动作。
16. 根据权利要求13至15中任一项所述的系统，其特征在于，所述系统包括至少一个 显示表面（16a至16η)，在所述至少一个显示表面（16a至16η)上显示包括与所述驾驶舱或 所述驾驶舱的环境相联系的关注元素的所述至少一个激活区域。
17. 根据权利要求13至16中任一项所述的系统，其特征在于，所述系统包括用于显示 一个或更多个视觉界面元素的装置，所述一个或更多个视觉界面元素提供对与所激活的关 注元素有关的信息和/或可能动作的访问。
18. -种飞行器驾驶舱，其特征在于，所述飞行器驾驶舱包括根据权利要求13至17中 任一项所述的飞行员与其环境之间的交互系统（10 ;1〇〇)。
【文档编号】B64D43/00GK104118568SQ201410175380
【公开日】2014年10月29日 申请日期:2014年4月28日 优先权日:2013年4月26日
【发明者】文森特·卢比埃, 亚历山大·戈丁 申请人:空中客车股份有限公司