运载器操作者监测方法和系统与流程

本发明涉及运载器操作者监测、例如飞行器中的飞行员监测。

背景技术：

1、关于注意力的操作者状态的检测通常分为两个类别：基于任务和环境因素的检测或基于操作者因素的检测。

2、基于外部因素的操作者状态评估依赖于对任务和环境、比如运载器的状态及其周围环境、比如交通或天气的评估。已知诸如高的运载器速度、故障、繁忙的交通或具有挑战性的天气条件之类的因素对操作者提出了高的要求。因此，对这些情况的检测可以用于通过自动化的触发器支持。然而，紧张的情况可能对各个操作者产生不同的影响。操作者注意力的基于像运载器速度或交通情况压力之类的情境因素的近似评估是间接的，并且期望对操作者状态的更直接的评估。

3、第二类别包括可以被称为自行申报和生理特性测量的亚组。

4、注意力的自行申报需要操作者将他们的注意力从控制运载器的任务转移开至请求支持，这可能在紧张的情况下提出附加需求。该类型的操作者状态检测通常是不太有利的。在高度动态的情况下，期望更不引人注目的方法以在较少注意力分散的情况下近似评估操作者注意力资源的可用性。

5、允许近似评估操作者注意力的生理特征测量通常需要附加的传感器，附加的传感器可能是昂贵的、佩戴不舒服的或者通常干扰运载器的操作。另外，大多数有希望的方法、比如脑电图或眼球追踪是非常敏感的，并且经常需要受控和稳定的测量条件来进行可靠的操作者状态评估，这在实际运载器操作中是困难的。

技术实现思路

1、本发明的目的是改进运载器操作者监测、优选地是飞行器中的操作者监测。

2、该目的通过本发明的一些方面来实现。优选实施方式是本发明的其他方面。

3、本发明提供了一种用于监测运载器、优选地是飞行器的操作者的操作者状态的计算机实现的方法，该方法包括：

4、a)接收指示由操作者在输入装置上执行的输入操作的物理特性的输入表现数据；

5、b)将在步骤a)中测量的输入表现数据与预期输入表现数据进行比较，并且基于比较的结果确定操作者状态；

6、c)基于在步骤b)中确定的操作者状态，产生用于运载器的控制信号。

7、优选地，输入装置包括触摸输入装置，该触摸输入装置配置成用于检测操作者在触摸输入装置上的触摸输入操作。

8、优选地，输入表现数据包括指示输入操作的位置的测量的空间数据。优选地，输入表现数据包括指示输入操作的开始时间的测量的时间数据。优选地，输入表现数据包括指示输入操作的结束时间的测量的时间数据。优选地，输入表现数据包括指示输入操作的持续时间的测量的时间数据。优选地，输入表现数据包括指示由操作者施加在输入装置上的触摸压力的测量的触摸压力数据。

9、优选地，预期输入表现数据包括指示可以与操作者通过输入装置进行交互的交互部的位置的预期空间数据。优选地，在步骤b)中，将空间数据与预期空间数据进行比较。

10、优选地，预期输入表现数据包括指示操作者通过输入装置与交互部进行交互的预期开始时间、预期结束时间和/或预期持续时间的预期时间数据。优选地，在步骤b)中，将时间数据与预期时间数据进行比较。

11、优选地，预期输入表现数据包括指示操作者通过输入装置与交互部的触摸交互的力或压力的预期触摸数据。优选地，在步骤b)中，将触摸数据与预期触摸数据进行比较。

12、优选地，在步骤b)中，确定指示输入表现数据与预期输入表现数据之间的偏差的不精确性值。优选地，当不精确性值超过预先确定的第一阈值时，将操作者状态确定为“有缺陷”。优选地，当不精确性值超过预先确定的第二阈值时，将操作者状态确定为“丧失能力”。

13、优选地，在步骤c)中，当操作者状态被确定为“有缺陷”时，产生控制信号以使运载器控制系统通知操作者可能有缺陷以及/或者接合运载器辅助系统。

14、优选地，在步骤c)中，当操作者状态被确定为“丧失能力”时，产生控制信号以使运载器控制系统接合运载器辅助系统以及/或者向另一运载器操作者发出警报以及/或者发出求救呼叫。

15、优选地，步骤b)包括接收指示当前运载器状态的运载器状态数据，并且在确定操作者状态时，将运载器状态数据与输入表现数据或不精确性值组合。

16、优选地，在步骤b)中，在确定操作者状态期间，较旧的输入操作的输入表现数据相比于较新的输入操作的输入表现数据被给予更低的权重。

17、本发明提供了一种用于监测运载器、优选地是飞行器的操作者的操作者状态的操作者监测系统，该系统包括用于控制运载器的至少一个输入装置以及用于执行先前描述的方法的装置。

18、本发明提供了一种用于控制运载器、优选地是飞行器的运载器控制系统，该运载器控制系统包括优选的操作者监测系统以及基于由操作者监测系统产生的控制信号来控制运载器的装置。

19、本发明提供了一种包括优选的运载器控制系统的飞行器。

20、本发明提供了一种包括指令的计算机程序，所述指令在由计算机执行时使计算机执行优选的方法的步骤。

21、本发明提供了一种携带优选的计算机程序的计算机可读介质或数据载体信号。

22、由于运载器的安全操作通常依赖于由人类操作者、比如驾驶员或飞行员的有条理的表现，因此熟练且有能力的操作者的表现的条理性由操作者的精神状态调节，更准确地，由可用于操作运载器的注意力资源调节。

23、紧张的情况、例如由交通或运载器故障导致的情况可能对操作者提出额外的精神需求。这些需求可能争夺注意力资源，否则注意力资源可以专用于管理或控制运载器，争夺注意力资源可能导致次优的运载器操作。在这种情况下，先进的自动装置可以支持操作者控制运载器，例如通过接合自动驾驶仪、辅助系统或通过呼叫人工辅助来支持操作者控制运载器。

24、确定操作者状态何时达到可能危及运载器操作安全的临界水平以及决定何时接合自动装置来支持操作者是具有挑战性的。

25、在此使用的一个想法包括基于行为或表现的指标来近似评估操作者精神状态，因为操作者精神状态经常与运载器操作的安全性直接相关。然而，这些措施本身几乎不能提供所需的数据丰富性和深度来及时检测临界操作者状态。大多数运载器通过使用具有有限灵敏度和自由度的物理按钮和控制装置、比如说例如汽车的变速杆或飞行器驾驶舱中的推压按钮或杆来进行操作。

26、像方向盘、油门和刹车踏板或推力杆之类的一些接口需要沿着至少一个运动轴线(或用于飞行器的轭部或侧杆的两个运动轴线)的在时间和空间上的精确输入，其中，不精确性可以用于推断操作者的精神状态。然而，现代自动化的运载器控制系统、比如自动驾驶仪、先进的巡航控制装置或车道居中装置使得这些控制在许多情况下是过时的。

27、一个想法包括使用操作者对输入装置、比如触摸屏的输入的准确性来近似评估操作者状态。利用这种方法可以克服已知检测方法的许多问题。例如，所公开的方法使用操作者表现的直接测量，而不是仅仅基于外部因素。可以避免操作者的附加工作量。此外，不需要可能干扰操作者的附加传感器硬件。与记录常规物理控制装置的状态相比，所公开的方法还允许记录更丰富的数据。

28、所公开的技术解决方案可以将用于运载器操作者的能够测量输入操作的准确性的输入装置(例如触摸显示器)以及接收情况数据(环境状态、运载器状态)和操作者输入的表现的运载器操作者监测单元组合。操作者监测单元能够将测量的操作者表现与预期表现进行比较，以用于连续地确定操作者的精神状态。精神状态监测的结果可以提供给更高级别的运载器控制系统，以用于做出进一步的决定(发出警报、减轻动作等)。

29、运载器中的常规的输入装置、比如推进按钮、杆、转盘和其他物理控制装置可以被触摸输入装置(例如触摸屏)取代，触摸输入装置通常对条理不清的操作者表现更敏感。向这些装置提供输入需要操作者在空间(x轴和y轴)维度和时间(触摸的开始和结束)维度上的精确性。应当注意的是，作为替换常规输入装置的替代方案，常规输入装置也可以配备有附加的触摸输入传感器。

30、可以基于运载器操作中的操作者表现的客观标准来测量操作者表现。客观标准包括但不限于触摸输入装置上的输入位置以及预期触摸输入开始或结束时的预先限定的时间点。然后，不精确的表现可以被评估为与按钮位置的偏差、响应时间的延迟以及触摸的时间段过短或过长。

31、操作者精神状态的确定可以如下进行。在正常状况下，操作者可以投入所需的注意力的量，以向触摸输入装置给出准确的输入从而用于最佳的运载器控制，并且防止错误的输入。当具有挑战性的情况需要操作者的注意时，可用资源的减少被认为导致向触摸显示器的输入的不精确性。可以为输入的临界偏差和延迟限定阈值，从而指示用于安全的运载器操作的剩余注意力的临界水平。当超过这些阈值时，更高级别的自动化可以被触发以支持操作者，并且允许操作者恢复注意力资源。

32、本文中所呈现的解决方案通过为控制回路中的决定制定提供操作者精神状态的附加状态信息来扩展现有的运载器控制系统。允许运载器控制系统将操作者状态信息结合到操作中，例如，在操作者有缺陷、例如困倦或精神负荷的情况下，从半自动操作移动至全自动操作。

33、所公开的措施提供了一种用以在运载器的操作期间测量操作者功能状态的不引人注目的方式。所提出的解决方案可以实时应用，而不会对操作者施加任何附加的认知或身体任务负荷。这使得操作者状态评估能够在高度动态并且同时高度依赖于有条理的操作者表现的背景下实现。

34、还可以实现自动触发支持、操作的适应性或任务强度的调节，而不需要人工启动。这对于半自动运载器技术而言是有用的功能，其应当能够从操作者手中夺走对运载器的控制，例如当操作者变得过于疲劳或紧张而无法操作运载器时从操作者手中夺走对运载器的控制。

35、该想法允许在操作者操作运载器时实时评估操作者精神状态。所需的硬件包括用以管理和控制运载器的至少一个触摸屏，以及用于计算操作者精神状态的近似值并且在需要时启用自动支持的计算装置。

36、可以评估以下数据以用于估计操作者注意力：当操作者向触摸屏给出输入时，可以记录该输入在触摸屏上的x轴位置和y轴位置的用两个数字参数表示的精确坐标。另外，对于由操作者给出的每个触摸屏输入，可以以两个附加参数记录时间，其中，第一附加参数可以表示对触摸屏的输入的准确开始时间，而第二附加参数可以记录触摸输入的结束时间。

37、以下数据可以被认为是用以限定至触摸屏的输入的表现的常数参数：

38、客观表现标准被限定为用于给出至触摸屏的输入。该标准的第一部分优选地由按钮在触摸屏上的准确位置来限定，该准确位置例如由按钮在触摸屏x轴和y轴上的坐标中的中心点给出。表现标准的第二部分优选地描述输入的时间维度。这些标准可以通过特定事件、比如触摸屏上显示的新的交互部或信息或者诸如视觉警报或听觉警报之类的引人注意的刺激的时间来限定。最后，可以限定时间间隔以指定短按输入和长按输入。

39、可以由计算装置执行以下计算以评估操作者的表现：

40、对于输入的空间维度，可以通过将操作者输入与预先限定的标准进行比较来计算沿着水平轴和竖向轴的偏差。时间上的表现可以被评估为反应时间、即由操作者响应诸如警报之类的视觉或听觉刺激所需要的时间。警惕的操作者可以即时响应紧急消息，而例如疲劳或紧张的操作者可能在触摸屏输入方面表现出对警报的延迟反应。与实际操作者输入的比较可以发现与这些间隔的偏差，与这些间隔的偏差指示操作者的精神状态。例如，疲劳的操作者可能针对短按和长按表现出显著更长的输入，而紧张的操作者可能给出更短的触摸输入。

41、操作者状态趋势不仅可以通过考虑当前输入、还可以通过考虑先前输入的偏差来计算，例如通过将更高的权重因素分配至更新近的输入来进行计算。

42、记录运载器操作的过程中的不精确性允许计算趋势、比如操作者注意力的水平下降，并且在需要时启动支持性措施。然而，可以考虑在所描述的概念的基础上对输入进行更复杂的评估。

43、用于表现的客观标准可以通过来自运载器传感器的情境信息来丰富并且适于来自运载器传感器的情境信息。这允许在给定特定情况(例如，运载器速度、飞行阶段等)下评估输入准确性。

44、类似地，表现标准可以适应于操作者特定的因素、像他们当前的心率或用以提供精确触摸输入的个人能力，例如在无挑战性的基线条件下进行评估的心率或用以提供精确触摸输入的个人能力。

45、此外，客观标准可以扩展至描述动作的序列，其中，可以通过不仅评估何时和何地给出输入、还评估意在以什么顺序给出什么命令来在更抽象的水平上评估表现。

46、本发明可以应用于运载器的驾驶舱，在运载器的驾驶舱中，人类操作者使用位于例如触摸屏上的运载器用户接口来操作运载器。该接口的用途例如是从触摸屏上的特定项读取信息以及向触摸屏上的特定项给出输入。计算装置可以限定什么信息和项将在什么时间开始显示以及在由坐标x和y限定的什么空间位置进行显示，所述空间位置例如由坐标x和y的中心点限定。此外，计算装置可以限定用于交互部的预期输入，例如通过预先限定的触摸持续时间来区分短按和长按。另外，计算装置可以记录操作者用他的手、例如通过用他们的食指指向和触摸显示器来给出的输入。这些输入可以在它们的空间坐标、它们的开始时间和持续时间方面被记录。

47、然后，可以比较触摸输入与交互部之间的比较结果，以评估输入的准确性，并且近似评估操作者在进行输入时可获得的注意力的量。如果这些不准确性或不精确性超过预先限定的临界阈值，则可以触发支持性措施。

48、运载器控制系统优选地连接至包含触摸屏和按钮的操作者-运载器接口。除了与操作者的交互之外，运载器接口还向操作者监测单元发送输入表现信息。操作者监测单元另外还可以获得运载器状态信息以用于评估输入表现，并且操作者精神状态的确定结果可以被连续地发送至运载器控制系统。除了运载器控制操作之外，运载器控制系统可以使用操作者精神状态信息来经由接口向操作者发出警报或触发其他措施。