专利名称：驾驶员训练系统的制作方法
背景本发明总体涉及用于训练和评价诸如轿车、货车、飞机、火车、轮船等运载工具的驾驶员的系统。
目前可以用模拟器训练运载工具驾驶员。例如，大家知道，飞行训练模拟器就是把驾驶员置于各种不同的条件下并评价驾驶员对这些条件的反应。此外，在自动驾驶测试中，可以向驾驶员询问一系列问题，然后将驾驶员的回答与计算机数据库中的正确答案对照。所有这些方法都是为了适应以较低的成本更好地训练和评价运载工具驾驶员这个需要。希望这能提高这些驾驶员的水平并且降低它们的训练成本。
优秀驾驶员的有些特点可能是难以评估的。教练员可以观察驾驶员的某些特征，如察看后视镜以及察看仪表等等。然而，对驾驶员是否掌握了正确操作运载工具所必需的技能，可能难以获得客观的评价结果。例如，要定量地比较一个驾驶员的技能与其它驾驶员的技能，可能就很困难。
因此，不断需要有用于训练和评价运载工具驾驶员的更好的技术。
发明概述按照一个实施例的运载工具驾驶员训练系统可包括一个适于检测驾驶员在看什么的传感器。控制器适于记录关于驾驶员在看什么的信息。
图1是由驾驶员的角度所见的驾驶室的正面图；图2是用于检测驾驶员在驾驶运载工具的过程中在看什么的装置的框图；图3是用于确定驾驶员在驾驶运载工具的过程中在看什么的流程图；图4表示按照本发明一个实施例评价驾驶员的流程图；图5是用于实现前述各图中所示的系统的基于处理器的系统的一个实施例的示意图；
图6是按照本发明一个实施例显示驾驶员的操作水平的模拟回放显示的屏幕显示。
发明详述参看图1，运载工具驾驶员可坐在驾驶室10中，驾驶室可以是个模拟器，也可以是实际的运载工具，例如轿车、货车、飞机、火车、轮船等。驾驶室10中可包含档风玻璃12、仪表板14、方向盘16、后视镜18和侧视镜20。驾驶室中还可包括注视摄象机26和眼睛摄象机28。
注视摄象机26可以通过摆动/倾斜单元22连接到发射红外光的二极管(LEDs)24。摄象机26和28为确定驾驶员在驾驶运载工具的过程中在看什么而提供输入信息。这可被用来评价驾驶员是否在正确地利用各种信息源来有效地驾驶运载工具。
例如，在轿车应用中，系统可以确定驾驶员是否看前档风玻璃12以外，驾驶员是否扫视前档风玻璃，驾驶员是否察看侧视镜20和后视镜18，以及驾驶员是否察看仪表板上配置的各种仪表。
眼睛摄象机28可以有较短的焦距，可用来测量眼睛的三维位置。注视摄象机26可用来确定注视功能(gaze function)。注视摄象机可以有较长的焦距，可以摆动和倾斜，以便在驾驶员头部移动是跟踪眼睛。可以将红外LED阵列安装在偏离注视摄象机光轴一小段距离的位置上，以照亮眼睛和在眼睛上产生发射光，用于跟踪眼睛的移动。
本文描述一种用眼睛和注视跟踪、主要部件分析和红外LED阵列来确定使用者正在看什么的系统。然而，本发明决不仅限于这个技术。相反，对本技术的描述，仅仅是为了说明一种用于确定驾驶员在驾驶运载工具的过程中正在看什么的技术。其它用来确定某人看什么的已知技术包括使用带在头上的摄象机。例如，可以顺序地触发一格一格的LEDs。然后可以处理摄象机图象以检测闪光。另一个系统用许多摄像机来协调好的同时的图象，以跟踪目标。
所示的系统在“Determination of the Point of Fixation in aHead-fixed Coordinate System”有进一步的解释，该论文是Jin Liu在第14届国际模式识别大会(ICPR’98)(1998年8月17-20日，澳大利亚Brisbane)上发表的。关于该系统的其它信息还可以参看KayTalmi与Jin Liu所著的文章“Eye and Gaze Tracking for VisuallyControlled Interactive Stereoscopic Displays”，该文可在因特网上找到，网址是http//www.hhi.de/ˉblick/papers/eyegaze97/eye-gaze.html。
参看图2，眼睛跟踪器34和注视跟踪器38接收来自摄像机26和28的输入，就是说，如图象32所示的那样，眼睛跟踪器从摄像机26接收对应于驾驶员的面部镜头的数字图象。同时，注视跟踪器38接收驾驶员的一个眼睛或双眼的图象。眼睛跟踪器分析眼睛摄像机28的视频图象，检测并跟踪眼睛的三维位置。此外，可以对一个或两个瞳孔进行检测和跟踪，以便能计算眼睛的三维位置。
眼睛跟踪器34可以用摆动/倾斜单元40使眼睛摄象机28摆动和倾斜，以随着驾驶员头部的运动跟踪眼睛的位置。可以如方框42中所示的那样提供运动补偿(motion compensation)，以便补偿驾驶员头部的运动。
起初可接收一个静止的头部摄象机图象用于分析。为了便于随后的分析，可以确定并消除被称作峡谷的黑暗区域。
可以用主要部件分析(PCA)来确定驾驶员眼睛的位置。在训练阶段，可以用PCA将人类眼睛的特点记录下来用于确定眼睛的位置。可以将这些特点存储起来，作为被称作本征面貌(eigenface)的基准眼睛模式。然后可以对摄象机26的图象进行分析并与所存储的眼睛模式比较，以确定眼睛的位置。在一个实施例中，可以在另一个立体摄象机图象(如果使用另外的摄象机的话)中搜索这些被确定的眼睛位置。通过立体匹配，就能确定双眼的三维位置。该信息然后就能被用来控制眼睛摄象机26的摆动和倾斜单元22。
可以用一种角膜反射方法来确定注视方向。可以将低功率的红外LEDs24安装在摄象机26的一侧的摆动倾斜单元22上，按常规使阵列表面与摄象机26的光轴平行。LEDs24可以照亮眼睛，在角膜上产生亮点。角膜反射算法可以确定一个或两个瞳孔的中心和角膜表面反射的中心。这两个中心的距离和它们的方位，可以被用来确定注视方向。注视方向因头部运动的变化，可以通过采用关于头部的三维位置的信息而作补偿。
PCA用较少的维数来表示人类眼睛的一般特征。PCA将眼睛的亮度描述变换成一个不同的坐标系。这个坐标系使得因截除坐标系的基本向量而引起的均方差被减少。
现在参看图3，可以用来自摄象机28的输入来显现如图2中的32所示的头像，如图3中的方框46所指示的那样。在方框48所示的预处理期间，系统可以减除面部的一些初始特征。例如，可以将黑暗的区域去除，因为它们在确定指示眼睛位置的面部特点是可能没有用。在方框54，可以要么用一个摄象机要么用一对立体摄象机来确定眼睛的三维位置。然后，如方框58中所示的那样，可以用模式识别和/或角膜反射方法，利用来自摄象机26的输入，检测如图2中36所示的瞳孔的位置。
如方框60中所指出的那样，可以检测因LED在角膜上的反射所产生的亮点，然后如方框62中所指出的那样，确定位移因数。位移因数用来自另一个摄象机28的输入校正头部的运动。最后，用PCA分析来确定注视方向(方框64)，如方框66所指示的那样。
在本发明的一个实施例中，可以将多个摄象机分布在驾驶室的四周，以便在驾驶员转身时确定脸部位置。例如，当驾驶员转过头来观察后面的车辆时，摄象机26、28会拍不到驾驶员的脸部。可以用在驾驶室中四处分布的摄象机来检测驾驶员脸部的位置。该信息可被用来分析确定驾驶员的动作是否适当。
注视方向可被用来评价或训练驾驶员。参看图4，软件66开始时接收眼睛运动信息，如方框68中所指出的那样。在一个实施例中，这可以是关于眼睛在任何时刻实际正在看什么的信息。然后可以将该信息解析成注视坐标，如方框70中所指出的那样。
注视坐标可能对应于诸如侧视镜或后视镜这样的目标。在一个实施例中，注视坐标可包括关于眼睛在任何时刻实际正在看什么的信息。例如，可以将注视坐标信息解析成被注视的目标，如方框70中所指出的那样。如果知道驾驶员的注视坐标和注视目标的坐标，就能确定正在被观看的特定对象。被注视的目标对应的目标，诸如是小汽车中的侧视镜或后视镜、仪表板和前档风玻璃。可以将这些物象的每个的坐标与给定的注视方向比较，当由系统30所测出的注视方向总体上与给定目标的坐标相关时，就能解析出该注视信息，确定驾驶员注视的方向是已知的注视目标中的其中之一。
下一步，如方框72中所指出的那样，通过确定驾驶员看过给定注视目标或对象多少次，可以确定目标注视频率。这样，系统就能确定在预定的驾驶过程中驾驶员有多少次看过给定的对象。
所以，在一个实施例中，驾驶员可以操纵运载工具经历一个模拟的过程，可以知道在该过程中驾驶员应察看的每个目标的次数。或者，驾驶员也可以操纵运载工具经历一个已知的过程，其中期望驾驶员应合理地察看各种注视目标的次数是已知的。或者，可以将目标注视频率与标准的注视频率范围相联系并加以比较。例如，可以确定驾驶员平均来说应当每小时察看后视镜X次。知道了预定的频率，就能进行分析，以确定驾驶员的操作水平是否符合确定的标准。
在棱形框74，检查确定是否应当提示驾驶员改变其注视频率。系统不单是评价驾驶员，还可以训练驾驶员增加或减少其察看特定信息源的频率。例如，如果判定驾驶员察看后视镜的次数不够频繁，就可以如方框76中所指出的那样提示驾驶员更多地察看后视镜。
如方框78中所指出的那样，系统也可以接收其它信息，包括运载工具的速度。可以将速度历史记录下来，与给定训练课程的已知限速或已知建议速度作比较。然后，如方框82中所指出的那样，系统可以接收控制信息。系统可以记录驾驶员使用制动器或其它控制器的时机和方式以及驾驶员使用转向指示灯或其它指示灯的频率。如前面的一样，可以将该信息与预定训练课程中预期的指标或者与其它情况中的标准指标加以比较。
如方框83中所指出的那样，系统也可以接收运载工具位置信息。可以用诸如全球定位系统(GPS)接收机的运载工具定位装置来确定运载工具的位置，并可以将该信息与注视目标信息建立联系。系统然后就能评价驾驶员例如在预定的训练或评价课程中的给定的位置是否在看应当要看的目标。
参看方框84，可以评估驾驶员的注视频率、速度和控制/指示器操作水平。评估的方法是将驾驶员的操作水平与一个标准值数据库作比较，标准值的范围较宽，涵盖不同课程和条件下不同驾驶员的情况。或者，也可以通过将驾驶员在已知的课程中的操作水平与期望的操作水平作比较而得出评价结果。然后可以向驾驶员提供关于其驾驶技能与所期望的相比如何的信息。这可以在驾驶员测试中用来评估驾驶员，或者向驾驶员反馈关于如何提高其操作水平的信息。
图5中所示的用于实现本发明的一个实施例的基于处理器的系统100包括处理器102。在一个实施例中，可以将处理器耦接到用于实现加速图形端口实施例的加速图形端口(AGP)(参看加速图形端口规范1.0版-由位于美国加州Santa Clara的因特尔公司1996年7月31日发布)芯片集104。芯片集104可以与AGP端口105和图形加速器106通信。显示器110可以耦接到图形加速器106的视频输出端。同时也可以将芯片集耦接到系统存储器108和总线112。
总线112也耦接到运动补偿器42。它可以接收来自摄象机26和28的输入信号并向摆动/倾斜单元22和阵列24提供输出信号。总线112也可以耦接到与硬盘驱动器118耦接的桥接器116。可以将软件66与本征面貌信息116和标准数据库(calibration database)114一起存储在硬盘驱动器118中。桥接器116也可以耦接到另一个总线132。总线132可以接收来自控制接口136、指示器接口138和速度接口140的串行输入-这些接口每个被连接得能从运载工具和定位系统144接收信息。与总线132耦接的还有基本输入/输出系统(BIOS)142。
按照本发明的一个实施例，可以进行对运载工具驾驶课程(session)的基于处理器的回放，以提供操作水平评价或者向给定驾驶员提供反馈。参看图6，显示屏110可以显示一个画面，里面包括仪表板86、方向盘88和模拟的驾驶员90。驾驶员的视线由虚线92表示。
根据从运动补偿器42接收的信息，可以以诸如图6中所示的虚线92的图形用户界面的形式再现不同时间以及在特定位置时的驾驶员的视线。这样，受训者和教练员就能看到在给定的时刻和给定的情况下，驾驶员正在看什么。例如，显示部分94可以提供关于每个时刻时的状态的信息。在一个实施例中，可以在显示画面上指出一个全球定位系统陆标，以提供关于当驾驶员正在了望给定的注视方向时运载工具在哪里的信息。
如94所示，屏幕上显示的信息可包括每个时刻的课程条件、气象指示、速度指示、表示制动器使用情况的制动系数、表示驾驶员监测盲点的有效程度的盲点系数。这样，受训者就可以以一定的时间间隔观看回放的其操作水平，或者继续给定的课程。回放也可以指出当驾驶员作出一定方式的反应时运载工具所在的位置。
系统30也可以提供可以由系统触发的外部事件，目的是评价驾驶员的操作水平或者提供训练练习。可以将外部事件的生成与全球定位系统接收机所提供的运载工具的位置同步。例如，当运载工具接近给定位置时，可以使另一个运载工具进入该运载工具的行驶线路。驾驶员对该事件的反应，包括驾驶员的视线是如何发现该事件的以及驾驶员是如何作出响应的，可以由基于处理器的系统作出评估。
外部事件可以以设定的、由运载工具的全球定位坐标触发的脚本为基础，以测试驾驶员在给定条件下的操作水平。也可以确定驾驶员对给定事件的响应时间。
例如，如果驾驶员持续地不看给定的方向或给定的物体，系统就可以针对性地生成要求观看该区域的事件。这样就能让驾驶员看到不能保持视野开阔的后果，训练驾驶员克服不良习惯。
通过确定运载工具的全球定位坐标，就可以判断驾驶员对具有特定路标的条件的响应。例如，如果已知GPS坐标对应的是行车道，就能根据全球定位系统坐标确定驾驶员是保持在其行车道的中央还是偏向左边或右边。
系统也可以接收气象输入和时刻输入，作为评价驾驶员操作水平时的参考因素。一路上的气象、交通状况和其它信息，可以从因特网提取，或者由传感器测出。该信息可用来评价驾驶员在现有条件下的操作水平。
在有些实施例中，可能需要用摄象机来记录档风玻璃外的景象。然后可以在回放方式下，回放实际记录的档风玻璃外的景象，使回放的效果更加逼真。可以将视线指示器叠加在所记录的图象上。此外，视频回放还能提供关于相对于驾驶员的视线或驾驶员的其它反应正在发生什么情况的更加详细的反馈。
尽管结合数量有限的实施例说明了本发明，本领域的熟练人员显然知道据此有许多修改和变体。后附的权利要求旨在包括这些符合本发明的真正精神和范围的修改和变体。
权利要求
1.运载工具驾驶员训练系统，包含适合于监测驾驶员在看什么的传感器；适合于编制驾驶员在驾驶员训练课程中在看什么的记录并将该记录与预定的信息进行比较的控制器。
2.权利要求1的系统，其中，传感器包括摄象机。
3.权利要求2的系统，其中，所述摄象机是数字摄象机。
4.权利要求3的系统，包括确定头部位置的第一摄象机和确定眼睛位置的第二摄象机。
5.权利要求1的系统，包括定位装置。
6.权利要求2的系统，其中，所述定位装置是全球定位系统接收机。
7.权利要求1的系统，包括适合于从运载工具控制器接收信息的接口。
8.权利要求1的系统，包括适合于接收运载工具速度信息的接口。
9.权利要求1的系统，包括适合于接收关于运载工具指示器的使用情况信息的接口。
10.一种评价运载工具驾驶员的方法，包含自动监测驾驶员在看什么；编制驾驶员在驾驶员训练课程中在看什么的记录；将该记录与预定的信息比较。
11.权利要求10的方法，包括接收关于运载工具的当前位置的信息。
12.权利要求10的方法，包括接收关于对运载工具控制器的操作的信息。
13.权利要求10的方法，包括将驾驶员的操作水平与预定的标准作比较。
14.权利要求10的方法，包括确定驾驶员看给定对象的频率。
15.权利要求10的方法，包括记录关于运载工具速度的信息。
16.权利要求10的方法，包括提示驾驶员提高看一个或多个对象的频率。
17.权利要求16的方法，包括在驾驶员看对象时将驾驶员所看的与运载工具的位置相关联。
18.一种包含存储使基于处理器的系统执行下列操作的指令的媒体的产品接收关于驾驶员在看什么的信息；记录驾驶员在驾驶员评价的训练课程中在看什么；将该记录与预定的信息比较。
19.权利要求18的产品，存储使基于处理器的系统提示驾驶员提高看一个或多个对象的频率的指令。
20.权利要求18的产品，存储使基于处理器的系统在驾驶员看对象时将驾驶员所看的与运载工具的位置相关联的指令。
全文摘要
用于驾驶员训练和评估的系统(10)可以记录关于驾驶员所采取的操作的信息。例如，系统可以记录(70)驾驶员在驾驶运载工具的过程中在看什么的信息，以确定是否驾驶员正在看的就是驾驶员此时应当察看的。此外，系统可以提供关于驾驶员操作水平的其它方面的信息(80、82)，包括速度和控制器及指示器的使用情况。可以将该信息关联起来，提供在评估表中。或者，也可以在驾驶运载工具的课程中提示驾驶员(76)，更正驾驶员的操作，以提高驾驶员的技能。
文档编号G09B9/04GK1470044SQ00804318
公开日2004年1月21日 申请日期2000年1月12日 优先权日1999年2月26日
发明者E·O·克拉珀, E O 克拉珀 申请人:英特尔公司