显示控制装置、显示控制装置的显示控制方法、视线方向检测系统以及视线方向检测系统 ...的制作方法
【专利摘要】本发明判断驾驶员是否正在对视线方向上的注视目标进行注视，对被判断为驾驶员正在注视的注视目标的显示形态加以改变，引导驾驶员的视线，从而高精度且快速地执行视线方向检测信息的校准。
【专利说明】
显示控制装置、显示控制装置的显示控制方法、视线方向检测系统以及视线方向检测系统的校准控制方法
技术领域
[0001]本发明涉及一种对视线方向检测装置检测出的视线方向检测信息的校准进行控制的显示控制装置、显示控制装置的显示控制方法、视线方向检测系统以及视线方向检测系统的校准控制方法。
【背景技术】
[0002]近年来，提议有使用通过视线方向检测装置检测出的对象，例如驾驶员的视线方向进行各种处理的系统。提议有众多使用视线方向检测装置的系统，例如进行不专心驾驶及疲劳驾驶检测的检测装置、利用视线操作智能板等的人机界面(HMI)等。
此外，视线方向检测装置中视线方向的检测提议有各种方法，其中，较为有名的是角膜反射法等，即对检测对象的眼睛照射红外线发光二极管(红外线LED)的光，根据其角膜表面的反射像与瞳孔的位置关系，检测视线的朝向。
[0003]在利用视线方向检测装置进行视线方向检测时，通常会伴有对象的个体差异引起的检测误差，因而需要校正各个对象的检测误差，即实施校准以确保检测精度。此外，即便为同一对象，距离前一次校准已过去一段时间后环境发生了变化，有可能会再次产生检测误差。因此，最好能定期实施校准。
[0004]视线方向检测装置的校准基本上都需要对2个以上的基准点进行测定，所测定的基准点越多，视线方向检测信息的差异越趋于平坦化，校准精度也会有所提高。例如，通常在具有四边形显示部的装置中，最好在角部附近的4个点和对角线交点即显示部的中央点处，快速地实施视线方向检测信息的校准。
然而，为了对多个基准点例如上述示例中的5个点进行测定，需要让对象分别将视线朝向预先规定的5个基准点等，迫使对象开展繁琐的操作，造成其负担。因此，要求具备一种能在对象无意识的状态下也能自动实施校准的装置，在以下文献中提议有相关装置。
[0005]例如，在专利文献1、2中提议有一种装置，其使用汽车配件作为基准点即注视目标，从而能在驾驶员无意识的状态下也能自动实施校准。
另外，作为注视目标的汽车配件，可列举室内镜、后视镜、导航系统、空调、平视显示器等。
[0006]专利文献I检测驾驶员的视线方向，并根据检测结果，推测驾驶员正在注视的汽车配件。并且，预先将驾驶员看向该汽车配件的方向设定为视线方向的基准，基于作为该基准的视线方向与通过视线方向检测装置检测出的视线方向之间的误差，实施校准。此外，专利文献2中，使驾驶员进行各设备操作时的视线与被执行相关操作的设备的位置相对应，从而实施视线方向检测装置的校准。另外，在该专利文献2中还公开了基于驾驶员注视点的分布状态，推测注视目标存在于分布状态中心的情况。
现有技术文献专利文献
[0007]专利文献1:日本专利特开2010-30361号公报专利文献2:日本专利特开平9-238905号公报
【发明内容】
发明所要解决的技术问题
[0008]专利文献1、2以驾驶员无意识地完成校准为目的，将驾驶员能够目视确认的汽车配件设为注视目标。
然而，我们并不知道驾驶员何时会看向汽车配件，在对2个以上基准点进行测定前可能需要较长时间。
因此，根据专利文献1、2所公开的现有技术，无法快速地实施合适的校准，视线方向检测信息中存在检测误差的状态有可能会持续较长时间，在此期间，不能保证可高精度地对使用上述视线方向检测装置的系统进行操作。
[0009]此外，专利文献1、2将汽车配件设为注视目标，因而与通常用作校准注视目标的其他物品相比，其尺寸较大。从而会存在如下问题:例如驾驶员集中注意力注视预先设定的基准点的可能性小，视线方向检测装置的视线方向检测信息的差异变大。因此，即便看向同一汽车配件，也会由于其视线方向的偏差较大，因而难以提高校准精度。
[0010]再者，如专利文献2所述，在室内镜及后视镜是注视目标的情况下，障碍物并不一定会反射在室内镜或后视镜的中心部。因此，例如即便在室内镜的中心部设定作为基准点的视线方向，但驾驶员也不一定会看向室内镜的中心部，因而会产生偏差。
因此，在使用驾驶员隔着镜子看向障碍物时所收集到的注视点的分布状态来检测视线方向的情况下，检测结果出现偏差的可能性也较高。
再者，如果基于驾驶员注视的注视点分布状态进行校准，则驾驶员需要多次注视室内镜及后视镜，需要花费一定时间。
[0011]另外，在将车载设备的操作开关设为注视目标时，驾驶员不一定会看向操作开关的中心点进行操作。这种情况下，如果缩小操作开关，可以预测到视线方向检测信息的偏差会变小。然而，如果缩小操作开关，其可识别性或使用该操作开关的设备的可操作性可能会降低。
[0012]本发明是为了解决上述问题开发而成，其目的在于获得一种能够高精度且准确地实施校准的校准控制装置、校准控制方法以及使用其的视线方向检测系统，所述校准是对象视线方向的检测相关的校准。
本发明是为了解决上述问题而完成的，其目的在于获得一种能够高精度且快速地实施对象视线方向检测信息的校准的显示控制装置、显示控制装置的显示控制方法、视线方向检测系统以及视线方向检测系统的校准控制方法。
解决技术问题所采用的技术方案
[0013]本发明所涉及的显示控制装置将显示部显示的显示物设为注视目标，基于该注视目标来控制视线方向检测装置的校准，该显示控制装置具备:视线状态判断部，该视线状态判断部基于视线方向检测装置检测出的视线方向检测信息和显示物的显示信息，来判断对象是否正在注视存在于其视线方向上的注视目标;视线引导部，该视线引导部输出注视目标的显示信息以及注视目标的显示形态相关的画面控制信息，并在判断为对象正在对注视目标进行注视时，改变注视目标的显示形态，从而引导对象的视线；显示控制部，该显示控制部基于视线引导部输出的画面控制信息，输出对显示部进行控制的显示控制信息；以及校准控制部，该校准控制部在判断为对象正在对注视目标进行注视时，向视线方向检测装置输出校准控制信号。
发明效果
[0014]根据本发明，具有能够高精度且快速地实施对象视线方向检测信息的校准的效果O
【附图说明】
[0015]图1是表示本发明实施方式I所涉及的视线方向检测系统的构成的框图。
图2是表示图1的视线方向检测装置的构成的框图。
图3是表示图1的视线状态判断部的构成的框图。
图4是表示图1的校准控制部的构成的框图。
图5是表示图1的视线引导部的构成的框图。
图6是表示图1的显示控制部的构成的框图。
图7是表示本发明实施方式I所涉及的显示控制装置的动作的流程图。
图8是表示将注视目标朝向基准点缩小并引导视线的显示画面的示例图。
图9是表示将注视目标和接下来应注视的目标配置在不同位置并引导视线的显示画面的示例图。
图10是表示移动注视目标并引导视线的显示画面的示例图。
图11是表示移动注视目标并引导视线的显示画面的其他示例图。
图12是表示画面跳转时引导视线的显示画面的示例图。
图13是表示视线引导模式的解除处理的流程图。
图14是表示本发明实施方式2所涉及的视线方向检测系统的构成的框图。
【具体实施方式】
[0016]为了更详细地说明本发明，以下，依照附图，对本发明的实施方式进行说明。
实施方式1.图1是表示本发明实施方式I所涉及的视线方向检测系统的构成的框图。图1所示的视线方向检测系统是例如搭载于汽车等移动物体并检测作为对象的驾驶员的视线方向的系统，由视线方向检测装置1、显示控制装置2及显示部3构成。
视线方向检测装置I设置于车厢内驾驶员的前方，输出包括驾驶员视线方向在内的视线方向检测信息。由视线方向检测装置I检测出的对象的视线方向检测信息被用于例如进行不专心驾驶及疲劳驾驶检测的检测装置、利用视线操作智能板等的HMI中。
[0017]显示控制装置2是将显示部3显示的显示物设为注视目标，基于该注视目标，对视线方向检测装置I输出的视线方向检测信息的校准进行控制的显示控制装置，具备视线状态判断部20、校准控制部21、视线引导部22以及显示控制部23。
另外，注视目标是由显示部3显示并被作为驾驶员注视的基准点而使用的显示物，是预先设定的显示物。可列举例如作为显示部的智能板或车载导航装置的显示部所显示的图标、按钮或者作为显示部的平视显示器(以下，简称为HUD)所显示的标记等。另外，基准点可根据显示部任意设定，设定在用于执行视线方向检测信息的校准的理想位置上。此外，以上例示了5个点作为基准点，但也可以根据所应用的显示部，使基准点少于5个点，反之，也可以将基准点设定为多于5个点。
[0018]显示部3是根据从显示控制装置2获得的显示控制信息，改变画面显示的显示部，设置在例如车厢内驾驶员的前方。
另外，显示部3也可以是类似智能板等显示汽车信息、导航信息、音响信息、空调信息等的显示装置。此外，还可以是车载导航系统、显示屏音响、HUD等。
在图1中，虚线所示的信息流是后述实施方式中所需要的内容，此处并不一定需要。因此，对于虚线所示的信息流，在需要的部分进行说明，此处省略其说明。
[0019]在图1中，视线方向检测装置I检测驾驶员的视线方向，并将视线方向检测信息供应给视线状态判断部20。视线状态判断部20获取该视线方向检测信息和从后述视线引导部22获得的注视目标的显示信息。视线状态判断部20基于这些信息，判断驾驶员的视线方向上是否有上述图标等注视目标。进而，在有注视目标的情况下，则视线状态判断部20判断驾驶员是否正在注视该注视目标。视线状态判断部20输出视线状态信息作为上述结果。该视线状态信息被赋予给校准控制部21及视线引导部22。
[0020]视线引导部22基于视线状态信息引导驾驶员的视线。例如，当判断为驾驶员正在注视作为注视目标的特定图标时，视线引导部22通过将该图标的显示范围朝向基准点缩小，从而将驾驶员的视线向基准点引导。也就是说，视线引导部22通过将该图标的显示范围朝向基准点缩小，从而将驾驶员的视线无意识地引导至基准点。该操作可以通过以下方式实现:当判断为驾驶员正在注视特定图标时，视线引导部22将画面控制信息供应给显示控制部23，使得该图标的显示范围朝向基准点缩小。显示控制部23接收该画面控制信息，并基于该画面控制信息生成显示控制信息，然后在显示部3中将该图标朝向基准点缩小。
[0021 ]视线引导部22进而还会输出注视目标的显示信息。该信息包括作为注视目标的图标的位置，即基准点的位置信息等。
注视目标的显示信息被赋予视线方向检测装置I及视线状态判断部20。也就是说，视线方向检测装置I输出视线方向检测信息并获得注视目标的显示信息。这里，若获取注视目标的位置，则视线方向检测装置I能够计算出驾驶员的视线方向。因而，基于视线方向检测信息和通过上述计算而得出的驾驶员视线方向，视线方向检测装置I能够对视线方向检测信息进行校准。
[0022]另一方面，关于执行校准的时机等，依据从校准控制部21赋予给视线方向检测装置I的校准控制信号。具体而言，基于从视线状态判断部20输出的视线状态信息，例如在驾驶员正在注视特定图标且经过了规定时间时，判断为状态稳定，并于此时通过校准控制信号指示执行视线方向检测信息的校准。
另外，上述各部分的动作仅为一个示例，说明了动作概要，以下对其进行详细说明。此夕卜，关于虚线部，有需要时将在后文阐述。
[0023]图2是表示图1的视线方向检测装置I的构成的框图。如图2所示，视线方向检测装置I由红外线LED(发光二极管)10、视线检测用相机11、视线方向检测部12、校准部13以及存储器14构成。 红外线LED 1是用于对驾驶员的眼睛照射各种图案的红外光的LED。例如，对人的眼睛照射不易觉察的近红外线。此外，视线检测用相机11获取被红外线LEDlO照射红外光的驾驶员脸部或眼睛的影像。视线检测用相机11使用能够拍摄红外光的CCD等。
[0024]视线方向检测部12对视线检测用相机11所拍摄的影像数据进行图像分析，检测出表示视线方向的视线方向检测信息并输出。作为视线方向检测信息的检测方法，使用红外光的角膜反射法为人们所熟知，但也可以使用其他方法。此外，也可以不使用红外线LED10，仅使用视线检测用相机11，通过图像分析从所拍摄的影像数据中检测出视线方向。
[0025]校准部13具有对视线方向检测部12的视线方向检测信息进行校准处理的功能。即，基于视线方向检测部12的视线方向检测信息和存在于该视线方向上的注视目标的显示信息，执行视线方向检测信息的校准。校准的执行时机依据来自于校准控制部21的校准控制信息。
例如，校准部13获得视线方向检测部12检测出的视线方向检测信息。此外，校准部13还从显示控制装置2获得存在于视线方向检测部12检测出的视线方向上的注视目标显示信息。作为注视目标的显示信息，可列举相关图标等的位置、尺寸信息、移动状态等数据，使用这些信息，计算相对于视线方向检测信息的校准数据。校准部13计算出的校准数据被设定到视线方向检测部12中。视线方向检测部12使用校准数据，对检测视线方向的计算处理进行校正。从而能够计算被校准的视线方向检测信息。
[0026]存储器14是用于保存校准数据的计算所使用的信息的存储部。例如，校准部13将驾驶员注视规定注视目标时的视线方向检测信息保存到存储器14中。此外，作为视线方向检测部12检测出的该注视目标显示信息，校准部13还保存其显示范围、基准点的位置及其移动状态等数据。预先将这些信息作为看向同一注视目标时的信息储存于存储器14中，利用校准部13等对所储存的信息进行平均值、移动平均等规定处理，对该注视目标计算可能的校准数据并使用。
另外，如上所述，在校准数据的计算中可以对储存、保存于存储器14中的所有信息进行平均化等处理并使用，但也可以通过计算正态分布等，提取具有规定以上可靠性的部分信息并进行计算。
[0027]图3是表示图1的视线状态判断部20的构成的框图。视线状态判断部20是基于视线方向检测装置I检测出的视线方向检测信息以及来自视线引导部22的注视目标的显示信息，判断驾驶员是否正在注视视线方向上的注视目标的判断部。如图3所示，其构成具备目标判断部200以及注视状态判断部201。
[0028]目标判断部200基于视线方向检测装置I检测出的视线方向检测信息以及来自视线引导部22的注视目标的显示信息，判断驾驶员的视线方向上是否有注视目标。
例如，目标判断部200判断显示部3中驾驶员视线方向起规定范围内的显示区域中是否有预先设定的作为注视目标的图标等。这里，所谓规定范围内是指显示部3上以视线方向检测装置I检测出的视线方向为中心，例如半径4?5cm左右的圆的范围内。
另外，在一次都没有实施校准的阶段，视线方向的偏置误差较大，即便驾驶员对注视目标进行注视，该注视目标也可能没有进入驾驶员视线方向起上述规定范围内的显示区域中。该情况下，目标判断部200可以判断为驾驶员注视最靠近视线方向的注视目标。此外，以驾驶员的视线方向为中心，在显示部3上绘制的半径为4?5cm圆的范围内存在多个注视目标时，也将最靠近驾驶员视线方向的位置上所显示的显示物设为注视目标。
[0029]注视状态判断部201基于视线方向检测装置I检测出的视线方向检测信息，判断驾驶员对注视目标的注视状态。
例如，在视线方向检测装置I检测出的视线方向检测信息中基本没有偏移的状态下，判断为驾驶员正在对注视目标进行注视。另一方面，在驾驶员的视线方向检测信息变化较大的状态下，判断为驾驶员并未注视注视目标，视线正在移动。这里，通过例如视线方向检测信息出现在与注视目标的显示范围相同面积的范围内，从而判断为驾驶员正在对注视目标进行注视。或者，即使在视线方向检测信息超出该面积的范围内的情况下，如果平均化处理后仍在该面积的范围内，则可以判断为驾驶员正在对该注视目标进行注视。
[0030]此外，注视状态判断部201将视线状态信息输出到校准控制部21及视线引导部22。这里，视线状态信息是指表示驾驶员视线方向上是否有注视目标的信息以及表示驾驶员是否正在对该注视目标进行注视的注视状态相关的信息。
[0031]图4是表示图1的校准控制部21的构成的框图。校准控制部21生成对视线方向检测装置I检测出的驾驶员的视线方向检测信息的校准处理进行控制的校准控制信息并输出。如图4所示，其构成具备控制判断部210以及控制命令输出部211。
[0032]控制判断部210基于视线状态判断部20所赋予的视线状态信息，即有无注视目标及注视状态，判断校准处理的控制内容。此外，控制判断部210基于该判断，对控制命令输出部211输出适当的校准控制信息。
例如，在检测出驾驶员的视线方向上有注视目标，且驾驶员正在对注视目标进行注视时，控制判断部210判断为应开始对视线方向检测装置I实施视线方向检测信息的校准。[0033 ]收到该信息后，控制命令输出部211向视线方向检测装置I输出开始校准的校准控制信息。具体而言，对视线方向检测装置I的视线方向检测部12赋予校准数据保存开始命令。
此时，在控制命令输出部211将校准数据保存开始命令输出到视线方向检测装置I时，图1所示的视线引导部22输出包括驾驶员正在注视的注视目标位置信息在内的注视目标的显示信息。由此，视线方向检测部12拥有检测出的驾驶员视线方向和注视目标的位置(驾驶员视线方向的真值)。
另外，如后所述，作为控制命令输出部211所输出的控制命令，例如包括校准数据保存开始命令、校准数据停止保存命令、校准数据计算命令、校准数据更新命令等控制命令。
[0034]图5是表示图1的视线引导部22的构成的框图。视线引导部22使用视线状态判断部20判断为驾驶员正在注视的注视目标，进行驾驶员的视线引导。如图5所示，其构成具备显示配置可变部220以及目标显示可变部221。
[0035]显示配置可变部220基于从视线状态判断部20输入的视线状态信息以及从显示状态管理部222获取的当前配置信息，变更显示注视目标的配置。
例如，在判断为驾驶员正在注视第I注视目标时，生成画面配置变更信息并向显示状态管理部222输出，所述画面配置变更信息用于将接下来应注视的第2注视目标配置在不同于第I注视目标的位置上。
[0036]举例说明，第I注视目标为操作内容的选择键，第2注视目标为决定选择键所选择的操作内容的确定键。此时，相对于第I注视目标即选择键，显示配置可变部220将第2注视目标即确定键配置在显示部3的对角上。也就是说，显示配置可变部220从显示状态管理部222中读取第I注视目标即选择键的配置信息，作为当前配置信息。据此，显示配置可变部220将画面配置变更信息输出到显示状态管理部222，所述画面配置变更信息指示将第2注视目标即确定键配置在显示部3的对角上。显示状态管理部222基于来自上述显示配置可变部的画面配置变更信息，向显示控制部23输出画面控制信息。同时，显示状态管理部222将注视目标的显示信息输出到视线状态判断部20和视线检测装置I。通过该操作，视线引导部22以在驾驶员注视选择键后、向对角上移动并到达确定键的方式来引导驾驶员的视线。由此，可以在显示部3的对角位置的2个点上，分别实施视线方向检测信息的校准。
另外，第I注视目标即选择键和第2注视目标即确定键并不一定要同时绘制。例如，可以如下配置:在从显示第I注视目标即选择键的第I画面向显示第2注视目标即确定键的第2画面跳转时，第I画面上的选择键的位置与第2画面上的确定键的位置互相为对角关系。
[0037]目标显示可变部221基于从视线状态判断部20输入的视线状态信息以及从显示状态管理部222获取的当前显示信息，变更注视目标的显示形态。目标显示可变部221生成表示显示形态的变更的显示变更信息并向显示状态管理部222输出，所述显示形态是例如缩小注视目标的缩小率和缩小时基准点的位置、在画面上移动注视目标时其移动角度(移动方向)以及移动速度等。
[0038]这里，例如在判断为驾驶员正在对注视目标进行注视时，使该注视目标朝向基准点缩小，从而引导驾驶员的视线，使其注视基准点。由此，无论驾驶员看向注视目标的哪个部分，都会将驾驶员的视线引导至基准点。因而，将驾驶员真实的视线方向设为基准点，执行校准，从而能够高精度地执行视线方向检测信息的校准。
此外，通过使被判断为驾驶员正在注视的注视目标向预先设定的方向移动，从而引导驾驶员的视线，使其追随注视目标的移动。通过对表示视线检测装置I所检测出的视线移动的角度信息、和根据实际移动的注视目标的移动信息所获得的真实角度信息进行比较，能够针对视线变化的角度执行校准。
另外，显示状态管理部222接收上述画面配置变更信息或显示变更信息，并基于这些信息，生成画面控制信息，供应给显示控制部23。同时，显示状态管理部222向视线状态判断部20和视线检测装置I输出注视目标的显示信息。
[0039]图6是表示图1的显示控制部23的构成的框图。显示控制部23是用于控制显示部3的显示的显示控制部。此外，显示控制部23根据从视线引导部22输入的画面控制信息，生成显示控制信息并供应给显示部3，从而在显示部3中引导驾驶员的视线。如图6所示，其构成具备画面控制信息处理部230以及显示输出部231。
[0040]画面控制信息处理部230基于从视线引导部22输入的画面控制信息，生成相关显示的显示信息并向显示输出部231输出。
显示输出部231基于从画面控制信息处理部230输入的显示信息，生成显示控制信息并输出到显示部3。由此，显示部3基于画面控制信息处理部230生成的显示信息，进行引导驾驶员视线的显示。
[0041]通过例如由微型计算机执行记录有本实施方式I中特有的处理的程序，视线状态判断部20、校准控制部21、视线引导部22以及显示控制部23能够作为硬件和软件联动的具体手段而得以实现。另外，上述程序可以记录到例如与微型计算机电连接的R0M(Read OnlyMemory，只读存储器)中。此外，作为暂时存储微型计算机实施的各种计算结果的存储装置，可以使用与微型计算机电连接的RAM(Randam Access Memory，随机存取存储器)。
[0042]接下来，针对动作进行说明。
图7是表示本发明实施方式I所涉及的显示控制装置2的动作的流程图，例示了对图1所示的视线方向检测装置I检测出的驾驶员视线方向检测信息进行校准的示例。这里，图7的流程图在钥匙接通(key on)时开始动作。
此外，作为预处理，对图1所示视线方向检测系统的各构成通电后，分别在视线方向检测装置1、显示控制装置2以及显示部3中执行必要的初始化处理。在执行该初始化处理时，视线方向检测装置I的校准部13可以读出已登录到存储器14中的校准数据，并设定到视线方向检测部12中。
[0043]初始化处理完成后，视线方向检测装置I开始检测驾驶员的视线方向，并将该视线方向检测信息依次向显示控制装置2输出。
显示控制装置2的视线状态判断部20基于从视线方向检测装置I输入的视线方向检测信息以及由视线引导部22赋予的注视目标的显示信息，判断驾驶员视线方向附近的显示部3的显示区域中是否有注视目标，且判断是否处于驾驶员正在对注视目标进行注视的注视状态(步骤STl)。
具体而言，视线状态判断部20的目标判断部200基于视线方向检测装置I检测出的视线方向检测信息以及从视线引导部22输入的注视目标的显示信息，来对显示部3中当前显示的注视目标中是否有正被驾驶员注视的注视目标进行判断。
所谓在驾驶员视线方向附近的显示部3的显示区域中有注视目标，例如可如上述那样通过在以驾驶员的视线方向为中心、在显示部3上绘制的半径为4?5cm圆的范围内存在有注视目标来进行判断。但是，在一次都没有对视线方向检测装置I进行校准的情况下，将最靠近驾驶员视线方向的位置上所显示的显示物设为注视目标。此外，即使以驾驶员的视线方向为中心、在显示部3上绘制的半径为4?5cm圆的范围内存在多个注视目标时，也将最靠近驾驶员视线方向的位置上所显示的显示物设为注视目标。
所谓驾驶员正在对注视目标进行注视，例如可通过在经过规定时间(例如0.5秒)的期间内、驾驶员的视线检测信息的偏移在规定范围以内(例如，与注视目标显示面积大致相同面积的范围内)来进行判断为。或者通过规定时间内视线移动量的平均值在该面积范围内来进行判断。
[0044]当驾驶员的视线方向附近没有注视目标或者并未明显注视位于视线方向附近的注视目标时(步骤STl:否)，返回步骤STl的处理，重复上述判断。
另一方面，当驾驶员的视线方向附近有注视目标，并且驾驶员正在对注视目标时进行注视(步骤STl:是)，视线状态判断部20向视线引导部22输出关于驾驶员正在注视的注视目标存在或不存在的信息(有注视目标时，其识别编号)及其注视状态。
[0045]视线引导部22基于被判断为驾驶员正在注视的注视目标，生成指示驾驶员视线引导的画面控制信息，并向显示控制部23输出(步骤ST2)。然后，显示控制部23依据从视线引导部22输入的画面控制信息，向显示部3输出显示控制信号，所述显示控制信号用于使显示部3进行引导驾驶员的视线的显示(步骤ST3)。
以下，分别对目标显示可变部221的动作和显示配置可变部220的动作进行说明。 首先，视线引导部22的目标显示可变部221基于注视目标的注视状态，生成指示变更注视目标的显示形态的指示信息。
例如，基于从视线状态判断部20所获得的视线状态信息，根据被判断为驾驶员正在注视的注视目标的识别编号，来确定该注视目标。此外，目标显示可变部221具有以下功能:SP，在基于所确定的注视目标的当前显示信息而检测到该注视目标尚未被缩小时，生成显示变更信息以使得该注视目标朝向预先设定的基准点缩小的方式进行显示。或者，目标显示可变部221具有以下功能:即，基于所确定的注视目标的当前显示信息，生成使该注视目标在显示部3上移动的显示变更信息。显示状态管理部222基于这些显示变更信息，生成画面控制信息，并向显示控制部23输出。此处所确定的注视目标相关的画面控制信息例如是缩小注视目标的缩小率、缩小时基准点的位置或缩小的速度等信息，或者表示在画面上移动相关该目标的移动角度(移动方向)以及移动速度等的信息。显示控制部23的画面控制信息处理部230基于从视线引导部22输入的画面控制信息，生成显示信息并向显示输出部231输出，所述显示信息使显示部3显示依据画面控制信息的内容。显示输出部231接收该显示信息，生成显示控制信息并朝向显示部3输出。然后，将显示部3中的注视目标变化为用于引导驾驶员视线的显示形态。关于该显示的详细内容，使用图8、图10及图11，在后文中阐述。
[0046]此外，视线引导部22的显示配置可变部220基于被判断为驾驶员正在注视的注视目标的识别编号以及注视状态，对于继该注视目标之后应注视的注视目标，变更其在显示部3中的配置。
例如，根据该注视目标的识别编号判断注视目标为预先设定的种类的显示物，例如用于选择功能的操作内容相关的选择键时，将该注视目标设为第I注视目标。然后，作为接下来应注视的注视目标，将决定操作内容的确定键设为第2注视目标。此时，显示配置可变部220具有如下功能:从显示状态管理部222获得当前显示信息，据此生成画面配置变更信息并输出到显示状态管理部222，所述画面配置变更信息用于将第2注视目标配置在不同于第I注视目标的位置上。显示状态管理部222基于画面配置变更信息，生成画面控制信息，并向显示控制部23输出。
显示控制部23的画面控制信息处理部230基于从视线引导部22输入的画面控制信息，生成显示信息并向显示输出部231输出，所述显示信息使显示部3显示依据画面控制信息的内容。显示输出部231接收该显示信息，生成显示控制信息并朝向显示部3输出。关于该显示的详细内容，使用图9及图12，在后文中阐述。
[0047]视线引导部22将包括注视目标位置在内的注视目标的显示信息输出到视线状态判断部20，并向视线方向检测装置I输出(步骤ST4)。借此，视线检测装置I具有视线方向检测信息和真实的视线方向即注视目标的显示信息。视线方向检测装置I对两者进行比较，从而能够执行校准的计算，用于使视线方向检测信息与真实的视线方向一致。
[0048]校准控制部21向视线检测装置I输出校准控制信号(步骤ST5)。例如，在判断为驾驶员正在对注视目标进行注视(步骤STl)，并利用显示部3进行视线引导的显示后(步骤ST2、步骤ST3)，校准控制部21对视线方向检测装置I输出校准数据保存开始命令，用于指示开始测定校准数据并保存所测定的校准数据。这里，校准数据是用于执行视线方向检测信息的校准所需要的信息，例如与视线方向检测信息和驾驶员真实的视线方向之间的偏差相关的信息。 由此，视线方向检测装置I例如以I秒钟30次(30Hz)的频率测定校准数据，并将其保存到存储器14中。另外，关于保存于存储器14中的样本数，各基准点有30个左右即充分够用。也就是说，作为判断为驾驶员正在注视的条件，即，判断为在0.5秒的期间内视线没有发生偏移之后，如果再有I秒钟左右，该基准点的校准便可以结束。因此，校准控制部21可以在输出上述校准数据保存开始命令后，经过规定时间，例如I?2秒钟后，输出校准数据保存停止命令即可。由此，停止向存储器14保存校准数据。
[0049]收集了校准数据的样本后，校准部13便可以计算具有可靠性的校准数据。因而，校准控制部21在输出了校准数据保存停止命令之后，对视线方向检测装置I输出校准数据计算命令。据此，校准部13计算校准数据。然后，所获得的校准数据被传输到存储器14中进行存储或信息更新。因此，继校准数据计算命令之后，校准控制部21对视线方向检测装置I输出校准数据更新命令(步骤ST5)。
如上所述，步骤ST5中所述的控制命令包括校准数据保存开始命令、校准数据保存停止命令、校准数据计算命令、校准数据更新命令等控制命令。
[0050]此外，如上所述在输出校准保存开始命令起，经过I?2秒钟的规定时间之后，输出校准数据保存停止命令。然而，在判断为在经过规定时间前驾驶员就不再对注视目标进行注视时，应快速地输出校准数据保存停止命令。其原因在于，在驾驶员未对注视目标进行注视的状态下，无法实施针对该注视目标的视线检测信息的校准。
[0051]或者，也可以通过驾驶员按下规定开关从而输出校准保存开始命令，通过再次按下开关从而输出校准数据保存停止命令。其原因在于，要根据驾驶员的意愿实施校准，因而在此期间驾驶员可能正在对注视目标进行注视。
[0052]进而，对于驾驶员注视操作键后、按下决定该操作内容的确定键来决定该操作内容的装置，则也可以在判断为驾驶员已从对于操作键的注视起移动视线而正在注视确定键时，输出校准保存开始命令，在驾驶员按下确定键时，输出校准数据保存停止命令。其原因在于，在驾驶员要按下确定键时，推测为从判断为正在注视确定键起到按下确定键为止，经过了 I?2秒钟左右的足够的规定时间。
[0053]视线方向检测部12使用通过上述处理获得的校准数据，对检测视线方向的计算处理进行校正。由此，能够对各个驾驶员实施经校准的视线方向检测。
[0054]另外，即便为同一驾驶员，实施校准后随着时间的流逝，如果环境发生变化，有可能会再次产生检测误差。因此，最好定期或者按规定的触发方式(例如乘车时等)执行校准处理。在本实施方式I中，以钥匙接通作为触发方式，执行图7的流程图，因此，每次钥匙接通时都执行视线方向检测信息的校准。另外，执行校准的触发方式并不限定于钥匙接通，本领域技术人员可以设计各种形态。
[0055]接下来，列举具体例，对视线引导处理进行说明。
图8是表示缩小注视目标并引导视线的显示画面的示例图。图8(a)表示显示部3是配置在驾驶座的前方仪表板(以下，简称为仪表板)的仪表板显示屏的情况。此外，图8(b)表示显示部3是对驾驶座前方的前窗玻璃或设置于方向盘和前窗玻璃之间的投影板等投影显示信息的HUD的情况。视线方向检测装置I设置于显示部3附近的位置处，相对于驾驶员照射红外线发光二极管的光。
[0056]在本实施方式中，如图8(a)及图8(C)所示，将显示部3显示于显示画面3a上的显示物设为驾驶员应注视的注视目标4。例如，将预先设定的图标图像、按钮图像、标记等设为注视目标4，将用于识别这些注视目标的识别编号设定到视线引导部22中。
另外，注视目标4也可以将显示于显示部3中的任意显示物设为注视目标，或者将预先设定的显示物设为注视目标。此外，如图8(a)或(b)中的虚线所示，可以将注视目标4设定在显示部3的中央部。
[0057]对于显示于显示画面3a中的注视目标4中，利用视线状态判断部20判断为驾驶员正在注视某一注视目标4时，视线引导部22的目标显示可变部221生成显示变更信息，使该注视目标4朝向基准点缩小。该显示变更信息是缩小注视目标4时的缩小率、缩小时基准点的位置或缩小的速度等信息。
[0058]显示状态管理部222基于显示变更信息和当前显示信息，生成画面控制信息，并输出至显示控制部23。显示控制部23接收画面控制信息，生成显示控制信息并向显示部3输出。由此，若为图8(a)的仪表板显示屏，则左上角的注视目标4朝向其中心逐渐缩小并显示。同样，若为图8(b)的HUD，则右上角的注视目标4朝向其中心逐渐缩小并显示。这里，注视目标4的缩小显示如图8(c)所示。其中一个是以注视目标4的中心为基准点，朝向该基准点逐渐缩小并显示。或者当注视目标为矩形时，以其4个角中的任一点为基准点，朝向该基准点逐渐缩小并显示。也就是说，注视目标的缩小也可以不朝向注视目标的中心进行缩小。由此，驾驶员对注视目标4进行注视，然后注视目标的显示尺寸缩小，通过这种显示变化，将驾驶员的视线朝向基准点引导。
因此，驾驶员对注视目标4的基准点进行注视，该基准点的视线方向检测信息的校准精度提高。
[0059]图9是表示将注视目标和接下来应注视的目标配置在不同位置处来引导视线的显示画面的示例图，图9(a)及图9(b)表示显示部3为仪表板显示屏的情况。在图9(a)及(b)中，显示画面的左侧排列有作为第I注视目标的多个选择键。另一方面，在画面右侧的上下角分别配置有作为第2注视目标的确定键4b和取消键4c。这里，选择键是指如上所述表示功能内容的键，确定键是决定利用选择键所选择的功能内容的键。此外，取消键是取消利用选择键所选择的功能内容的键，是取消暂时所选择的键而改为选择其他选择键的键。
这里，驾驶员注视左上角的选择键4a作为第I注视目标时，逐渐缩小选择键4a并显示，在该状态下获取关于选择键4a的校准数据。该操作可通过以下步骤执行，S卩:在图7的流程图中，判断为驾驶员正在注视左上角的选择键4a的状态(步骤STl)，通过步骤ST2、3使选择键4a进行缩小显示，在步骤ST4中输出作为注视目标的选择键4a的显示信息，在步骤ST5中输出校准控制信号。
接着，驾驶员注视确定键4b作为第2注视目标时，同样地逐渐缩小确定键4b并显示，在该状态下获取关于确定键4b的校准数据。此时，同样执行上述图7的流程图处理。由此，在图9(b)中，如实线a所示驾驶员视线移动时，可以在显示部3的对角位置的2个点上执行视线方向检测信息的校准。此外，驾驶员注视取消键4c作为第2注视目标时，同样地逐渐缩小取消键4c并显示，在该状态下获取关于取消键4c的校准数据。由此，在图9(b)中，如虚线b所示那样驾驶员视线移动时，可以在显示部3的一条边的2个点上执行视线方向检测信息的校准。
[0060]另外，驾驶员注视哪一个选择键4作为第I注视目标并不明确。
然而，在图9的示例中，当选择显示画面左下角的选择键4时，若接下来注视确定键4b，则可以在显示部3的一条边的2个点上实施视线方向检测信息的校准。同样，当中止取消键4c而非确定键4b时，可以在显示部3的对角位置的2个点上执行视线方向检测信息的校准。
[0061]或者，由于在注视选择键之后，接下来驾驶员注视确定键4b的可能性较高，因此，在选择了显示画面左下角的选择键4时，也可以变换确定键4b和取消键4c的显示。为了提高视线方向检测信息的校准精度，相较于显示部3的一条边的2个点，优选首先在显示部3的对角位置的2个点上获取校准数据。因此，根据驾驶员所注视的选择键，变更确定键或者取消键等的位置，从而能够提高视线方向检测信息的校准精度。此时，在图7的流程图中，在缩小显示左下角的选择键4a之后，通过步骤ST2、3变换确定键4b和取消键4c的配置。可以通过视线引导部22的显示配置可变部220执行该操作。之后，当判断为驾驶员注视移动至右上角而显示的确定键时，通过图7的流程图，对移动至右上角而显示的确定键进行缩小显示，获取校准数据。
[0062]在本实施方式中，要最终决定利用选择键4a所选择的操作时，通常是通过操作确定键4b，将被判断为驾驶员正在注视的注视目标为选择键(第I注视目标)4a，以及接下来应注视的确定键(第2注视目标4b)配置在显示部3的显示画面3a中不同的位置上。
由此，当驾驶员注视选择键4a时，可以缩小选择键4a的显示尺寸并将视线引导向基准点，将视线由该注视状态向确定键4b引导。
[0063]具体而言，视线引导部22的目标显示可变部221基于注视目标的注视状态，生成缩小注视目标的显示变更信息。
显示管理部222基于当前显示状态和显示变更信息，输出画面控制信息。该画面控制信息用于指示由当前显示状态向基准点缩小的显示形态。其结果为，注视目标向基准点逐渐缩小，直至变为规定的大小。另外，规定的大小是指为获取校准数据而足够小的状态，例如以5_到Icm左右为一边长的矩形，或者以该尺寸为直径的圆或其他形状。
[0064]如上所述，通过将选择键4a和确定键4b配置在显示画面3a中互不相同的位置上，从而可以自然地将驾驶员的视线从选择键4a引导向确定键4b。
因此，能够实现校准时间的缩短和校准精度的提高。
[0065]此外，以上所示的是将注视目标设为选择键4a，将接下来应注视的注视目标设为确定键4b的情况，但并不限定于此。
例如，也可以不依据操作者，而根据收集到的图标操作履历，计算驾驶员继首先注视的图标(第I注视目标)之后进行选择的选择率，将该选择率超过阈值的图标设为第2注视目标。
[ΟΟ??]图10是表示移动注视目标并引导视线的显示画面的示例图，图10(a)到图10(d)表示显示部3为仪表板显示屏的情况。
在本实施方式中，如图10(a)所示，当驾驶员正在对注视目标时进行注视，如图10(b)所示，使注视目标4向预先设定的方向Cl移动。
[0067]具体而言，在根据视线状态信息判断为驾驶员正在对注视目标进行注视时，目标显示可变部221生成移动注视目标的显示变更信息。显示变更信息是移动注视目标时的移动角度(方向Cl)及移动速度等相关的信息。目标显示可变部221从显示状态管理部222获取当前显示信息，将显示变更信息输出到显示状态管理部222，从而如图10(b)所示，在显示画面3a中使注视目标4例如从左侧朝向右侧移动。 如此一来，通过使驾驶员注视的注视目标移动这一显示变化，向预先设定的方向Cl引导驾驶员的视线。因此，可以引导视线，对移动前和移动后的注视目标获取校准数据，校准精度提高。
也就是说，在本实施方式I中，并不一定需要缩小注视目标。另外，要使注视目标由图10(a)移动为图10(b)的状态，可以通过执行上述图7的流程图而实现。
[0068]再者，作为使之移动的注视目标4，例如可列举图10(c)所示的已开封的邮件图标等。要删除已开封的邮件时，如图10(d)所示，如将邮件图标丢入垃圾箱图标的示意图所示，将作为注视目标4的邮件图标向垃圾箱图标4d的方向c2移动。
由此，将驾驶员的视线从最初注视邮件图标的位置引导至垃圾箱图标4d的位置。此时，如果将邮件图标和垃圾箱图标4d配置在对角位置上，则与选择键及确定键的情况一样，可以获取校准数据。
[0069]图11是表示移动注视目标并引导视线的显示画面的其他示例图，图11(a)到图11(C)表示显示部3为仪表板显示屏的情况。
显示区域d是显示部3的显示画面3a的位置(显示区域)中，视线方向检测信息的校准精度最差的位置。这里，所谓校准精度最差是指一次都未执行校准的位置，或者过去执行过校准的位置中精度最差的位置。在本实施方式中，使注视目标移动至校准精度最差的显示区域d并使其为缩小状态。另外，如图1中虚线所例示，过去的校准中视线方向检测信息的校准精度最差的位置从视线方向检测装置I中获得。例如，可以将校准精度相关的校准精度信息导入视线引导部22中。另外，关于其他虚线部分，此处并不需要，故于后文进行说明。
[0070]具体而言，视线引导部22的目标显示可变部221基于从视线检测装置I获得的校准精度最差的位置相关的信息、以及从显示状态管理部222获得的当前显示信息，生成向显示区域d移动注视目标4的显示变更信息。此外，目标显示可变部221基于从显示状态管理部获得的当前显示信息，生成逐渐缩小注视目标的显示变更信息。将兼顾这两个操作的显示变更信息赋予给显示状态管理部222。显示状态管理部222基于该显示变更信息，生成一边缩小注视目标4 一边向显示区域d移动的画面控制信息。由此，如图11(b)所示，一边缩小注视目标4 一边向显示区域d移动。通过该操作，在显示区域d执行校准，从而能够提高显示区域d的校准精度。
另外，除了如图11(b)所示一边缩小注视目标一边移动使其到达显示区域d的情况以夕卜，也可以如图11(c)所示，在注视目标到达显示区域d后再使其缩小。或者并不一定需要缩小显示注视目标，可以省略此操作。
[0071 ]另外，上述记载的是使注视目标移动至包括校准精度最差的位置在内的显示区域d的示例。然而，并不一定要移动至预先设定的基准点，原则上优先移动至显示区域d即可。其原因在于，例如，即使存在校准精度良好、但在钥匙接通后一次都未实施视线方向检测信息的校准的显示区域，则可以首先考虑以该显示区域为优先。
[0072]图12是表示画面跳转时视线引导的显示画面的示例图，图12(a)到图12(c)表示显示部3为仪表板显示屏的情况。
在图12(a)中，驾驶员正在注视并缩小的图标(第I注视目标)A与接下来应注视的图标(第2注视目标)4-1相关联。例如，也可以不依赖于操作者，而根据收集到的图标操作履历，求取驾驶员继最先注视的图标(第I注视目标)之后接下来选择的图标操作的选择率，将该选择率超过阈值的操作所对应的图标设为第2注视目标，从而执行上述关联。另外，对于基于图标操作履历的关联，本领域技术人员很容易想到，因此此处省略其说明。
[0073]在图12的动作中，在根据注视目标的识别编号判断注视目标为第I注视目标时，视线引导部22的显示配置可变部220确定接下来应注视的第2注视目标。这里，接下来应注视的第2注视目标是选择率最高的注视目标4-1。
然后，显示配置可变部220生成画面配置变更信息并输出，所述画面配置变更信息是在不同于显示第I注视目标的显示画面3a_l的显示画面中，即从显示画面3a_l跳转并显示的显示画面3a_2中，将第2注视目标配置于第I注视目标的对角位置上。
显示控制部23依据该画面配置变更信息，相对于显示于显示画面3a-l中的第I注视目标即注视目标A，将显示画面3a-2中的第2注视目标即注视目标4-1配置在对角位置上。
[0074]在本实施方式中，从显示被判断为驾驶员正在注视的第I注视目标的显示画面(第I显示画面)3a-l向显示第2注视目标的显示画面(第2显示画面)3a-2跳转。此时，第I及第2注视目标分别配置在显示画面3a_l和显示画面3a_2中的对角位置上。
例如，如图12(b)所示，操作显示画面3a-l中的“AUD1”(音频)按钮后，将用于选择接下来操作可能性较高的乐曲艺术家的“艺术家”按钮配置在显示画面3a-2的对角位置上。
通过该操作，如图12(c)所示，经由画面跳转，将驾驶员的视线引导至对角线上，移动距离a。因此，可以纵横二维地有效地获取校准所需要的校准数据，快速地实现校准精度的提尚O
另外，上述例示的是在第I注视目标的对角位置上显示第2注视目标的示例，但并不限定于此。例如，在图12(a)中，在判断为对注视目标A进行注视后，在其后的画面跳转中可以将注视目标4-1显示于右上、左下角或画面的中央部等任意位置上。关于该任意显示位置，也可以结合校准精度或一次都未实施校准的基准点等的状况。
[0075]另外，上述校准处理是在显示部3中进行引导驾驶员的视线的显示，在始终进行引导该驾驶员视线的显示的情况下，驾驶员可能会有异样感。
因此，当视线方向检测信息的校准精度超过预先设定的阈值A时，可以判断为视线方向检测信息的精度足够，从而解除视线引导模式。这里，所谓预先设定的阈值A，是在基于视线方向检测信息操作装置方面，判断为可以无较大障碍地进行操作的适当值。
[0076]图13是表示视线引导模式的解除处理的流程图。
图13的流程图以钥匙开关的接通为触发方式进行启动，与图7所示的流程图无直接关系地执行相关操作。该流程图的控制思路为，钥匙接通起的规定时间的期间中例如5?10分钟的期间中执行引导驾驶员视线的显示。然后，在经过5?10分钟后的时刻、判断为对以视线方向检测装置I的视线方向检测信息的精度为对象的装置进行操作方面具有足够的精度的情况下，结束引导驾驶员视线的显示。另一方面，在对以视线方向检测装置I的视线方向检测信息的精度为对象的装置进行操作方面不具有足够的精度的情况下，进一步在5?10分钟的期间中执行引导驾驶员视线的显示，并判断是否具有上述足够的精度。由此，对超出需要地执行引导驾驶员视线的显示的情况加以抑制。
以下，依据图13的流程图进行说明。
首先，校准控制部21先以钥匙接通为触发方式，启动定时器，判断定时器是否经过了规定时间，例如10分钟(步骤ST11)。这里，如果没有经过规定时间(步骤STll:否)，则重复步骤STl I的判断。
[0077]经过了规定时间的情况下(步骤STll:是)，校准控制部21判断在钥匙接通到经过规定时间为止的期间内通过处理而获得的校准精度是否超过预先设定的阈值A(步骤ST12)。这里，在上述记载中校准精度信息从视线方向检测装置I赋予到视线引导部22，但该信息也可以赋予给校准控制部21。作为其参考，如图1中的虚线所示。
当判断为校准精度超过阈值A时(步骤ST12:是)，校准控制部21对视线方向检测装置I指示停止校准处理，并将该判断结果通知给视线引导部22。
收到该判断结果后，视线引导部22解除视线引导模式(步骤ST13)。此时，视线引导部22不生成用于引导视线的画面配置变更信息及显示变更信息，显示部3不进行引导驾驶员视线的显示。
[0078]另一方面，当判断为校准精度在阈值A以下时(步骤ST12:否)，校准控制部21继续利用视线方向检测装置I执行校准处理。也就是说，在步骤ST15中对定时器初始化，并返回到步骤STll进行处理，从而，于此处开始进一步执行引导驾驶员视线的显示直至经过规定时间。
[0079]另外，在上述实施方式I中以特定的图标等作为预先设定的注视目标为例进行了说明，但注视目标也可以不预先设定。
也可以将驾驶员注视的任意图标等作为注视目标，和上述一样引导驾驶员的视线。
[0080]如上所述，根据本实施方式I，将驾驶员的视线引导至预先设定的方向或位置，因此，如果在该引导前后测定校准数据，就能够在多个基准点获得校准数据。此外，通过将视线引导至规定方向或位置，能够获得关于视线移动的角度的校准数据。从而能够高精度且快速地实施视线方向检测的校准。
[0081]此外，根据本实施方式I，视线引导部22使被判断为驾驶员正在注视的注视目标朝向基准点缩小，因此，能够将驾驶员的视线向注视目标的基准点引导，提高各个基准点的测定精度。从而能够实现校准精度的提高。
[0082]再者，根据本实施方式I，视线引导部22将被判断为驾驶员正在注视的第I注视目标和接下来应注视的第2注视目标配置在显示部3中的不同位置上。通过该操作，能够将驾驶员的视线从第I注视目标向第2注视目标引导，高精度且快速地实施视线方向检测信息的校准。
[0083]进而，根据本实施方式I，将第I及第2注视目标配置在显示部3的显示画面3a中的对角位置上。通过该操作，能够获得呈纵横二维的校准数据，能够高精度且快速地实施视线方向检测信息的校准。
[0084]进而，根据本实施方式I，在第I显示画面中注视第I注视目标后，跳转到第2显示画面时，将第2注视目标配置在第I注视目标的对角位置上。
通过该操作，能够高精度且快速地实施视线方向检测信息的校准。
[0085]再者，根据本实施方式I，视线引导部22将被判断为驾驶员正在注视的注视目标向显示部3的显示画面3a中预先设定的方向移动。
通过该操作，对于视线的移动角度也能执行校准，从而能够高精度且快速地实施视线方向检测信息的校准。
[0086]进而，根据本实施方式I，将注视目标向显示部3的显示画面3a中预先设定的位置移动。通过该操作，能够高精度且快速地实施视线方向检测信息的校准。
[0087]进而，根据本实施方式I，优先将注视目标移动至显示部3的显示画面3a中预先设定的位置中、视线方向检测的校准精度最差的位置处。并且，优选为缩小状态。通过该操作，在该位置实施校准，从而能够快速地提高该位置的校准精度。
[0088]再者，根据本实施方式I，校准控制部21根据预先设定的条件控制校准。通过这种构成，能够在适当的时刻开始和结束校准。
尤其是当该条件为驾驶员的开关操作时，能够在驾驶员期望的时刻进行校准。
此外，作为上述时刻，使用驾驶员对注视目标进行注视起所经过的时间的情况下，能够在驾驶员无意识的状态下进行校准测定。例如，适用于在驾驶员驾驶汽车期间进行校准的情况。
[0089]再者，根据本实施方式I，在视线引导部22的视线方向检测信息的校准精度超过预先设定的阈值而具有足够高的精度时，解除视线引导。由此，能够抑制始引导行驾驶员视线的显示，不会让驾驶员产生异样感。
[0090]实施方式2.图14是表示本发明实施方式2所涉及的视线方向检测系统的构成的框图。由视线方向检测部12检测出的视线方向检测信息中存在由驾驶员个体差异引起的误差。因此，为了确保视线方向检测信息的检测精度，优选对各个驾驶员执行校准。
图14所示的视线方向检测系统和实施方式I 一样，是搭载于汽车等移动物体上检测驾驶员的视线方向的系统，构成为包括视线方向检测装置1、显示控制装置2A及显示部3。另夕卜，在图14中，对于与图1相同的构成，标记相同标号，省略说明。
[0091]实施方式2所涉及的显示控制装置2A除实施方式I的构成外，还具备个人认证部
24。个人认证部24基于各个驾驶员的认证信息进行驾驶员的认证。例如，作为认证信息，包括拍摄驾驶员脸部的拍摄信息、驾驶员的生态信息、驾驶员持有的移动终端的设备信息等。
个人认证部24将这些信息和驾驶员个人的登录信息进行核对，认证是否为预先登录的驾驶员。向校准控制部21输出个人认证部24的认证结果。
[0092]校准控制部21对视线方向检测装置I指示对经个人认证部24认证的驾驶员进行校准。
例如，使校准部13计算经个人认证部24认证的驾驶员相关的视线方向检测信息的校准数据。也就是说，将与个人相对应的校准数据保存到存储器14中。
此外，使用保存于存储器14中的校准数据中、与经个人认证部24认证的驾驶员相对应的校准数据，使视线方向检测部12对检测视线方向的计算处理进行校正。
通过该操作，能够针对经个人认证部24认证的各个驾驶员实施视线方向检测信息的校准。
[0093]与上述实施方式I一样，通过例如由微型计算机执行记录有本实施方式2中特有的处理的程序，视线状态判断部20、校准控制部21、视线引导部22、显示控制部23以及个人认证部24能够作为硬件和软件联动的具体手段而得以实现。
[0094]如上所述，根据本实施方式2，显示控制装置2A进而具备进行对象认证的个人认证部24。由此，校准控制部21能够使用经个人认证部24认证的各个对象的校准数据，按对象对视线方向检测装置I输出的视线方向检测信息执行校准。
[0095]另外，本发明可以在其发明范围内，对各实施方式进行自由组合，或者对各实施方式的任意构成要素加以改进，或者可以在各实施方式中省略任意构成要素。
工业上的实用性
[0096]本发明所涉及的显示控制装置能够高精度且快速地实施对象视线方向检测信息相关的校准，因此，适用于例如利用驾驶员的视线方向支援驾驶的驾驶支援系统。
标号说明
[0097]I视线方向检测装置;2、2A校准控制装置;3显示部;3a、3a-l、3a-2、3b显示画面;4、4b、4c、4d、4-1?4-4注视目标;4a缩小的注视目标;5开关；1红外线LED ； 11视线检测用相机；12视线方向检测部；13校正部；14存储器;20视线状态判断部;21校准控制部;22视线引导部;23显示控制部;24个人认证部;200目标判断部;201注视状态判断部;210控制判断部；211控制命令输出部;220显示配置可变部;221目标显示可变部;230显示状态管理部;231显不输出部。
【主权项】
1.一种显示控制装置，该显示控制装置将显示部所显示的显示物设为注视目标，基于该注视目标，控制视线方向检测装置的校准，其特征在于，包括: 视线状态判断部，该视线状态判断部基于所述视线方向检测装置所检测出的视线方向检测信息以及所述注视目标的显示信息，判断对象是否正在注视存在于其视线方向上的所述注视目标； 视线引导部，该视线引导部输出所述注视目标的显示信息以及所述注视目标的显示形态相关的画面控制信息，并在判断为所述对象正在注视所述注视目标时，改变所述注视目标的显示形态，从而引导所述对象的视线； 显示控制部，该显示控制部基于所述视线引导部输出的所述画面控制信息，输出对所述显示部进行控制的显示控制信息；以及 校准控制部，该校准控制部在判断为所述对象正在注视所述注视目标时，向所述视线方向检测装置输出校准控制信号。2.如权利要求1所述的显示控制装置，其特征在于，所述视线引导部使被判断为所述对象正在注视的所述注视目标朝向基准点缩小。3.如权利要求1所述的显示控制装置，其特征在于，所述视线引导部将被判断为所述对象正在注视的第I注视目标和接下来应注视的第2注视目标配置在所述显示部中的不同位置。4.如权利要求3所述的显示控制装置，其特征在于，所述第2注视目标是决定通过所述第I注视目标选择的操作的确定键。5.如权利要求3所述的显示控制装置，其特征在于，所述视线引导部将所述第I及所述第2注视目标配置在所述显示部的显示画面中的对角位置。6.如权利要求3所述的显示控制装置，其特征在于，在从显示所述第I注视目标的第I显示画面向显示所述第2注视目标的第2显示画面跳转时，所述视线引导部将所述第I及所述第2注视目标分别配置在所述第I及所述第2显示画面中互相为对角关系的位置。7.如权利要求1所述的显示控制装置，其特征在于，所述视线引导部使被判断为所述对象正在注视的所述注视目标向所述显示部的显示画面中预先设定的方向移动。8.如权利要求1所述的显示控制装置，其特征在于，所述视线引导部使所述注视目标向所述显示部的显示画面中预先设定的位置移动。9.如权利要求8所述的显示控制装置，其特征在于，所述视线引导部使所述注视目标优先移动至所述显示部的显示画面中预先设定的多个基准点中、视线方向检测信息的校准精度最差的基准点，并且使所述注视目标为缩小状态。10.如权利要求1所述的显示控制装置，其特征在于，具备进行对象认证的个人认证部， 所述校准控制部将经所述个人认证部认证的对象的个人识别信息与校准控制信号一起输出。11.如权利要求1所述的显示控制装置，其特征在于，所述校准控制部根据预先设定的条件，输出所述校准控制信号。12.如权利要求11所述的显示控制装置，其特征在于，在接收到对象所进行的开关操作时，所述校准控制部至少输出校准数据保存开始命令或保存停止命令作为校准控制信号。13.如权利要求11所述的显示控制装置，其特征在于，在所述视线状态判断部判断为所述对象正在注视所述注视目标时，所述校准控制部至少输出校准数据保存开始命令作为校准控制信号。14.如权利要求11所述的显示控制装置，其特征在于，在所述对象的注视状态经过了预先设定的时间时，所述校准控制部至少输出校准数据保存停止命令作为校准控制信号。15.如权利要求1所述的显示控制装置，其特征在于，在视线方向检测装置的校准精度超过预先设定的阈值时，所述视线引导部解除所述视线的引导。16.—种显示控制装置的控制方法，该显示控制装置的控制方法将显示部所显示的显示物设为注视目标，基于该注视目标来控制视线方向检测装置的校准，其特征在于， 视线状态判断部基于所述视线方向检测装置所检测出的视线方向检测信息以及所述注视目标的显示信息，判断对象是否正在注视存在于其视线方向上的所述注视目标， 视线引导部输出所述注视目标的显示信息以及所述注视目标的显示形态相关的画面控制信息，并在判断为所述对象正在注视所述注视目标时，改变所述注视目标的显示形态，从而引导所述对象的视线， 显示控制部基于所述视线引导部输出的所述画面控制信息，输出对所述显示部进行控制的显示控制信息， 在判断为所述对象正在注视所述注视目标时，校准控制部向所述视线方向检测装置输出校准控制信号。17.—种视线方向检测系统，该视线方向检测系统具备:视线方向检测装置，该视线方向检测装置检测对象的视线方向；显示控制装置，该显示控制装置将显示部所显示的显示物设为注视目标，基于该注视目标来控制所述视线方向检测装置的校准；以及显示部，该显示部基于来自所述显示控制装置的显示控制信息来进行显示，该视线方向检测系统的特征在于， 显示控制装置将所述显示部所显示的显示物设为注视目标，基于该注视目标来控制视线方向检测装置的校准，具备: 视线状态判断部，该视线状态判断部基于所述视线方向检测装置所检测出的视线方向检测信息以及所述注视目标的显示信息，判断所述对象是否正在注视存在于其视线方向上的所述注视目标； 视线引导部，该视线引导部输出所述注视目标的显示信息以及所述注视目标的显示形态相关的画面控制信息，并在判断为所述对象正在注视所述注视目标时，改变所述注视目标的显示形态，从而引导所述对象的视线； 显示控制部，该显示控制部基于所述视线引导部所输出的所述画面控制信息，输出对所述显示部进行控制的显示控制信息；以及 校准控制部，该校准控制部在判断为所述对象正在注视所述注视目标时，向所述视线方向检测装置输出校准控制信号， 所述视线方向检测装置具备: 视线方向检测部，该视线方向检测部检测所述对象的视线方向检测信息； 校准部，该校准部根据所述显示控制装置所输出的校准控制信号，并基于所述视线方向检测部所检测出的视线检测方向信息和从所述显示控制装置获得的所述注视目标的显示信息，计算校准数据；以及 存储部，该存储部存储所述校准数据。18.如权利要求17所述的视线方向检测系统，其特征在于，所述视线方向检测装置的校准部对对象的个人识别信息和所述校准控制信号进行输出。19.一种视线方向检测系统的校准控制方法，所述视线方向检测系统具备:视线方向检测装置，该视线方向检测装置检测对象的视线方向；显示控制装置，该显示控制装置将显示部所显示的显示物设为注视目标，基于该注视目标来控制视线方向检测装置的校准；以及显示部，该显示部基于来自显示控制装置的显示控制信息来进行显示， 所述视线方向检测系统的校准控制方法是将所述显示部所显示的显示物设为注视目标，基于该注视目标来控制视线方向检测装置的校准的方法，其特征在于，视线状态判断部基于所述视线方向检测装置所检测出的视线方向检测信息以及所述注视目标的显示信息，判断所述对象是否正在注视存在于其视线方向上的所述注视目标，视线引导部输出所述注视目标的显示信息以及所述注视目标的显示形态相关的画面控制信息，并在判断为所述对象正在注视所述注视目标时，改变所述注视目标的显示形态，从而引导所述对象的视线， 显示控制部基于所述视线引导部所输出的所述画面控制信息，输出对所述显示部进行控制的显示控制信息， 在判断为所述对象正在注视所述注视目标时，校准控制部向所述视线方向检测装置输出校准控制信号， 视线方向检测部检测所述对象的视线方向检测信息， 校准部根据所述显示控制装置所输出的校准控制信号，并基于所述视线方向检测部所检测出的视线检测方向信息和从所述显示控制装置获得的所述注视目标的显示信息，来计算校准数据， 存储部存储所述校准数据。
【文档编号】B60R11/04GK106028913SQ201480076011
【公开日】2016年10月12日
【申请日】2014年2月19日
【发明人】重田朝子, 青柳贵久, 羽下哲司
【申请人】三菱电机株式会社