专利名称：斜视检测装置和方法、以及程序的制作方法
技术领域：
本发明涉及斜视检测装置和方法、以及程序，特别是涉及可以更准确地 检测斜视的斜视检测装置和方法、以及程序。
背景技术：
近年来，起因于驾驶员在驾驶中的斜视(看别处)的事故多发。因此， 开发了检测驾驶员的斜视，并且进行对于斜视的警告的技术。
例如，提出了以下技术，即在驾驶员的脸或者视线的朝向的至少一个未 朝向行进方向的状态已经过了与车辆的行驶速度相应的时间的情况下，使警 报工作(例如，参照专利文献1 )。
〔专利文献1〕日本特开2003-317197号公报
发明内容
发明要解决的课题
但是，在专利文献1中记载的发明中，在驾驶员的视线朝向行进方向而 脸未朝向行进方向的情况下，由于警报也工作，所以使驾驶员感到麻烦。 本发明是鉴于这样的状况而完成的，可以更准确地检测斜视。 用于解决课题的手段
本发明的一个方面的斜视4企测装置，包括 一见野;险测单元，检测以人的 视线的朝向为基准的第1范围作为人的视野；判定单元，根据纟企测到的所述 人的视野，判定人是否正在斜视。
在本发明的一个方面的斜视检测装置中，检测以人的视线的朝向为基准 的第1范围作为所述人的视野，根据检测到的所述人的视野，判定所述人是 否正在斜浮见。
因此，可以更准确地才企测斜一见。
该视野检测单元、判定单元，例如由CPU (Central Processing Unit,中 央处理器)构成。
在该视野检测单元中，可以根据人的脸的朝向和视线的朝向的错位大小 来调整第1范围的宽度。
由此，可以更准确地;险测斜一见。
在视野检测单元中，可以根据人驾驶的交通工具的速度，调整第1范围 的宽度。
在人的脸的水平方向的朝向相对于基准方向超过第2范围的情况下，该 判定单元判定为正在斜视，而与人的视线的朝向以及视野无关。 由此，可以更迅速地检测斜视。
本发明的一种斜视检测方法或者程序包括视野检测步骤，检测以人的 视线的朝向为基准的规定范围作为人的视野；判定步骤，根据冲企测到的人的 视野，判定人是否正在斜视。
本发明的一种斜视检测方法或者程序中，检测以人的视线的朝向为基准 的第l范围作为人的视野，根据检测到的人的视野，判定人是否正在斜视。
由此，可以更准确地;险测斜碎见。
该视野检测步骤例如由通过CPU检测以人的视线的朝向为基准的规定 的范围作为人的视野的视野检测步骤构成，该判定步骤例如由根据检测到的 人的视野，通过CPU判定人是否正在斜视的判定步骤构成。
发明的效果
如上所述，按照本发明的一个方面，可以检测斜视。特别是按照本发明 的一个方面，可以更准确地检测斜视。
图l是表示应用了本发明的驾驶支持装置的一个实施方式的方框图。
图2是用于说明由驾驶支持装置执行的驾驶支持处理的流程图。
图3是用于说明斜视的判定的例子的图。
图4是用于说明斜视的判定的例子的图。
图5是用于说明斜视的判定的例子的图。
图6是用于说明斜视的判定的例子的图。
图7是用于说明斜视的判定的例子的图。
图8是表示个人计算机的结构的例子的方框图。
101驾驶支持装置 111 ^聂影单元
112车速检测单元 113斜视检测单元 114车辆控制单元 121脸方向一企测单元 122视线方向检测单元 123视野检测单元 124判定单元
具体实施例方式
以下，参照附图对本发明的实施方式进行说明。
图1是表示应用了本发明的驾驶支持装置的一个实施方式的方框图。驾 驶支持装置101对驾驶设置了驾驶支持装置101的车辆(以下也称为本车) 的驾驶员的斜视进行检测处理，在检测到驾驶员的斜视时，控制设置在本车 上的车载装置，以对斜视进行处理。驾驶支持装置101被构成为包括摄影 单元lll、车速检测单元112、斜视;险测单元113、以及车辆控制单元114。
摄影单元111例如由照相机构成，从大致正面方向拍摄驾驶员的脸。摄 影单元111将包含拍摄的驾驶员的脸的图像(以下，称为脸图像)提供给斜 视检测单元113的脸方向检测单元121和视线方向检测单元122。
车速检测单元112例如由速度传感器构成，检测本车的速度。车速检测 单元112将表示检测到的本车的速度的信息提供给斜视检测单元113的视野 斗企测单元123和判定单元124。
斜视检测单元113进行驾驶员的斜视的检测处理。斜视检测单元113被 构成为包括脸方向4企测单元121、视线方向4企测单元122、视野检测单元 123、以及判定单元124。
脸方向检测单元121根据脸图像，利用规定的方法检测驾驶员的脸的朝 向。脸方向检测单元121将表示驾驶员的脸的朝向的信息提供给视野检测单 元123和判定单元124。而且，脸方向4企测单元121 4全测脸的朝向的方法不 限于特定的方法，希望应用可以更迅速并且正确地检测脸的朝向的方法。
视线方向检测单元122根据脸图像，利用规定的方法检测驾驶员的视线的朝向。视线方向检测单元122将表示驾驶员的视线的朝向的信息提供给视 野检测单元123。而且，视线方向检测单元122检测视线的朝向的方法不限 于特定的方法，希望应用可以更迅速并且正确地;险测^L线的朝向的方法。
视野检测单元123根据需要对视线方向检测单元122指示驾驶员的视线 的朝向的检测。而且，视野检测单元123如参照图2后述的那样，根据驾驶 员的脸的朝向、驾驶员的视线的朝向以及本车的速度来检测驾驶员的视野。 视野检测单元123将表示检测到的驾驶员的视野的信息提供给判定单元124。
判定单元124根据需要，对视野检测单元123指示检测驾驶员的视野。 判定单元124如参照图2后述的那样，根据驾驶员的脸的朝向、驾驶员的视 野以及本车的速度来判定驾驶员是否正在斜视、以及是否处于虽然未斜视但 是危险度高的状态。判定单元124将表示判定结果的信息提供给车辆控制单 元114。
车辆控制单元114例如由ECU ( Electronic Control Unit,电子控制单元) 构成。车辆控制单元114在检测到驾驶员斜视或者危险度高的状态的情况下， 控制被设置在本车上的车载装置，以对这些情况进行处理。
而且，以下，通过以本车的前方为基准方向的角度来表示驾驶员的脸和 视线的水平方向的朝向。具体来说，将基准方向设为0度，用负的值表示从 基准方向向左方向的角度，用正的值表示从基准方向向右方向的角度。例如， 从基准方向向左30度的方向被表示为-30度，从基准方向向右30度的方向 一皮表示为+30度。
而且，同样地，以下，在将某个方向作为基准的情况下，用负的值表示 从成为基准的方向向左方向的角度，用正的值表示从成为基准的方向向右方 向的角度。例如，在以驾驶员的脸的朝向为基准的情况下，从驾驶员的脸的 朝向向左30度的方向被表示为-30度，从基准方向向右30度的方向被表示 为+30度。
接着，参照图2的流程图，对由驾驶支持装置101执行的驾驶支持处理 进行说明。而且，该处理例如从本车的发动才几起动时开始。
在步骤S1中，摄影单元111开始拍摄。具体来说，摄影单元111开始拍 摄驾驶员的脸，并且开始将拍摄的脸图像提供给脸方向检测单元121和视线 方向4企测单元122。
在步骤S2中，车速检测单元112开始检测本车的速度，并且开始将表示
检测到的速度的信息提供给视野检测单元123和判定单元124。
在步骤S3中，脸方向检测单元121检测脸的朝向。具体来说，脸方向检 测单元121根据脸图像检测驾驶员的脸的朝向，并且将表示检测到的脸的朝 向的信息提供给视野冲佥测单元123和判定单元124。
在步骤S4，判定单元124判定脸的朝向是否在规定的范围(以下，称为 脸朝向判定范围)内。
这里，所谓脸朝向判定范围是作为判定驾驶员是否正在斜视的基准的脸 的朝向的范围，判定单元124在驾驶员的脸的朝向为脸朝向判定范围外的情 况下，判定为驾驶员正在斜视。
而且，对于脸朝向判定范围的例子在后面叙述。
在步骤S4中，在判定出脸的朝向为脸朝向判定范围内的情况下，处理进 入步骤S5。
在步骤S5中，视线方向检测单元122检测视线的朝向。具体来说，判定 单元124对视野检测单元123指示检测驾驶员的视野。视野检测单元123对 视线方向检测单元122指示检测驾驶员的视线的朝向。视线方向检测单元122 根据脸图像检测驾驶员的视线的朝向，将表示检测到的视线的朝向的信息提 供给一见野检测单元123。
在步骤S6中，视野检测单元123检测视野。具体来说，视野检测单元 123检测以驾驶员的视线的朝向为基准的规定的水平方向的范围(以下称为 视野范围)作为驾驶员的视野。
另外，在"高田 一($力、、卜，4" 0危険認知支援方法(二関卞3研究、 曰本、学術講演会前刷集No.4-06、社団法人自動車技術会、2006年5月、 11乃至16 、一r"(以下称为引用文件1)中，报告了以下实验结果，即， 驾驶员对于检测LED (Light Emitting Diode,发光二极管)的发光所需要的 时间，在LED的显示位置为相对于驾驶员的正面方向向左20度至向右20度 的范围内的情况下，没有由于显示位置、颜色、LED的直径的不同而呈现显 著的差别，在显示位置超出其范围时，由于显示位置、颜色、LED的直径的 不同而呈现出显著的差别。
例如根据该实验结果，作为视野范围的一个例子，考虑设定为以驾驶员 的视线的朝向为中心的-20度至+ 20度的范围。
而且，脸的朝向和视线的朝向的错位大的情况下，人的视野由于鼻子的
影响等而变窄，所以也可以根据脸的朝向和视线的朝向的错位的大小来调整 视野范围的宽度。例如，在驾驶员的脸的朝向和视线的朝向的水平方向的错 位的大小为5度以上的情况下，也可以将视野范围设定为以驾驶员的视线的
朝向为中心的-15度至+15度的范围。或者，主要考虑鼻子造成的视野的狭 小，也可以在驾驶员的脸的朝向和视线的朝向的水平方向的错位的大小为5 度以上的情况下，在驾驶员的视线相对于脸的朝向向左方向错位时，将视线 范围设定为以驾驶员的视线的方向为基准的-20度至+ IO度的范围，在驾驶 员的视线相对于脸的朝向向右方向错位的情况下，将视野范围设定为以驾驶 员的视线的朝向为基准的-10度至+ 20度的范围。而且，也可以根据脸的朝 向和视线的朝向的错位，更细微地调整视野范围的宽度。
或者，由于驾驶员的视野在本车的速度越快时变得越窄，所以也可以根 据本车的速度来调整视野范围的宽度。例如，可以在本车的速度为40km以 下的情况下，将视野范围设定为以驾驶员的视线的朝向为中心的-50度至+ 50度的范围，在时速为70km以下的情况下，将视野范围设定为以驾驶员的 视线的朝向为中心的-32度至+ 32度的范围，在时速为100km以下的情况 下，将视野范围设定为以驾驶员的视线的朝向为中心的-20度至+ 20度的范 围，在时速超过了 100km的情况下，将视野范围设定为以驾驶员的视线的朝 向为中心的-10度至+ IO度的范围。
而且，以下，以下列情况为例进行说明。在驾驶员的脸的朝向和视线的 朝向的水平方向的错位的大小不足5度的情况下，将视野范围设定为以驾驶 员的视线的朝向为中心的-20度至+ 20度的范围，在驾驶员的脸的朝向和视 线的朝向的水平方向的错位的大小为5度以上的情况下，将视野范围设定为 以驾驶员的视线的朝向为中心的-15度至+ 15度的范围。
视野检测单元123将表示检测到的驾驶员的视野的信息提供给判定单元
124。
在步骤S7中，判定单元124判定应注视的范围是否被包含在视野内。在 被设定为驾驶中驾驶员应注视的范围的规定的范围包含在由视野检测单元 123检测到的驾驶员的视野中的情况下，判定单元124判定为应注视的范围 包含在视野中，并且处理进入步骤S8。而且，以下，将从基准方向起-IO度 至+ 10的范围设定为驾驶中驾驶员应注视的范围。
在步骤S8中，判定单元124判定应注视的范围是否偏向视野的端部附近。
具体来说，在从驾驶员的视野的左端开始向右方向的规定的范围(以下称为 左端视野范围)、以及从视野的右端开始向左方向的规定的范围(以下，称为
右端视野范围)的任意一个中都未包含应注视的范围的情况下，判定单元124 判定为应注视范围未偏向视野的端部附近，处理进入步骤S9。
而且，以下，以将左端视野范围设为从驾驶员的视野的左端开始向右方 向20度为止的范围，将右端视野范围设为从驾驶员的视野的右端开始向左方 向20度为止的范围的情况为例进行说明。
图3表示驾驶员的脸和视线的朝向的例子，图内的虚线的箭头表示作为 本车的前方方向的基准方向，实线的箭头表示视线的朝向。而且，在后述的 图4至图7中，也设为虚线的箭头表示基准方向，实线的箭头表示视线的朝 向。
例如，如图3所示，在驾驶员的脸朝向O度的方向，并且驾驶员的视线 也朝向O度的方向的情况下，驾驶员的视野为-20度到+20度的范围。这时， 作为应注视范围的-IO度到+ IO度未包含在作为左端视野范围的-20度到0 度的范围、以及作为右端视野范围的+20度到O度的范围中的任意一个范围 内，所以判定为应注视范围未偏向视野的端部附近，处理进入步骤S9。
在步骤S9中，判定单元124判定为未斜;现而为安全的状态。判定单元 124将表示未斜视而为安全的状态的信息提供给车辆控制单元114。之后，处 理进入步骤S13。
另一方面，在步骤S8中，判定单元124在应注视范围被包含在左端视野 范围以及右端视野范围的至少 一 个中时，判定为应注视范围偏向视野的端部 附近，处理进入步骤SIO。
例如，如图4所示，在驾驶员的脸朝向+ 15度的方向，并且驾驶员的视 线朝向-5度的方向的情况下，驾驶员的视野为-20度到+ IO度的范围。这 时，作为应注视范围的-10度到+ 10度被包含在作为右端视野范围的-10 度到+ 10度的范围内，所以判定为应注视范围偏向视野的右端附近，处理进 入步骤SIO。
而且，例如如图5所示，在驾驶员的脸朝向+25度的方向，并且驾驶员 的视线朝向+5度的方向的情况下，驾驶员的视野为-IO度到+20度的范围。 这时，作为应注视范围的-10度到+ IO度被包含在作为左端视野范围的-10 度到+ IO度的范围内，所以判定为应注视范围偏向驾驶员的视野的左端附近，
处理进入步骤SIO。
在步骤SIO中，判定单元124判定为虽然未斜视但是危险度高的状态。 由于人的视力越接近视野的端部附近就越降低，所以判定单元124在应注视 的范围偏向驾驶员的视野的端部附近的情况下，由于虽然未斜视，但是应注 视的范围不能充分看到的可能性高，所以判定为危险度高的状态。判定单元 124将表示虽然驾驶员未斜视但是危险度高的状态的信息提供给车辆控制单 元114。之后，处理进入步骤S12。
另 一方面，在步骤S7中，判定为应注视的范围未包含在视野内的情况下， 处理进入步骤Sll。
例如，如图6所示，驾驶员的脸朝向0度的方向，并且驾驶员的视线朝 向-20度的方向的情况下，驾驶员的视野为从-35度到-5度的范围。这时， 判定为作为应注视范围的-10度到+ IO度未被包含在驾驶员的视野中，处理 进入步骤Sll。
在步骤S11中，判定单元124判定为正在斜视。判定单元124将表示驾 驶员正在斜视的信息提供给车辆控制单元114。
而且，在步骤S4中判定为脸的朝向为脸朝向判定范围以外的情况下，处 理进入步骤Sll，与驾驶员的视线的朝向和视野无关，在步骤Sll中判定为 正在斜4见。
另夕卜，在"中越聡($力、、卜、、，4戸一0顔向M二 J: 6前方不注視0推定 七警報反応時間O研究、日本、学術講演会前刷集No.58-06、社団法人自動 車技術会、2006年5月、17乃至20《一夕，，(以下称为引用文件2)中，报 告了以下实验结果，即，驾驶员在至视觉对象物的左右角度超过20度时，脸 朝向角度超过眼球运动，移动脸的倾向变得显著。
例如，根据该实验结果，在将驾驶员的脸和视线的朝向的错位的最大值 认为是20度的情况下，在驾驶员的脸朝向比-25度更左方向时，驾驶员的 视线的朝向比_ 5度更向左方向，驾驶员的视野为比+ 10度更向左方向的范 围。因此，在驾驶员的脸更朝比-25度更向左方向的情况下，作为应注视范 围的-10度至+IO度的范围不包含在驾驶员的视野中。同样，在驾驶员的脸 朝向比+ 25度更右方向的情况下，驾驶员的视线的朝向比+ 5度更向右方向， 驾驶员的视野为比-IO度更右方向的范围。因此，在驾驶员的脸朝向比+ 25 度更右方向的情况下，作为应注视范围的-10度至+ IO度的范围不被包含在
驾驶员的视野中。
因此，作为脸朝向判定范围的一个例子，考虑设定为从基准方向开始_
25度至+ 25度的范围。
这时，例如如图7所示，在驾驶员的脸朝向+30度的方向的情况下，由 于驾驶员的脸的朝向不包含在脸朝向判定范围内，所以被判定为正在斜视。 而且，在驾驶员的脸朝向+30度的方向的情况下，按照引用文献2所示的实 验结果，驾驶员的视线的朝向由于被设想为即使朝向最左方向也仅到+ 10度 为止，所以驾驶员的视野被设想为即使位于最左也是从-5度到+25度的范 围。即，在驾驶员的脸朝向+30度的方向的情况下，设想为即使驾驶员的视 线朝向了最左方向，应注视的范围也不包含在视野内。
在步骤S12中，车辆控制单元114进4于与斜^L对应的处理。例如，车辆 控制单元114在驾驶员的斜视持续了规定的第1时间以上，或者虽然未斜视， 但是危险度高的状态持续了比第1时间更长的规定的第2时间以上的情况下， 在本车上设置的显示装置上显示对驾驶员促使注意的警告画面，或者从本车 上设置的扬声器中输出促使注意的警报。
在步骤S13中，驾驶支持装置101判定是否结束处理。在判定出不结束 处理的情况下，处理返回步骤S3，重复执行步骤S3至步骤S13的处理，直 至在步骤S13中判定为结束处理。
另一方面，在步骤S13中，例如在停止了本车的发动机时，驾驶支持装 置101判定为结束处理，驾驶支持处理结束。
如上所述，不仅通过驾驶员的脸或者视线的朝向，还利用驾驶员的视野 来4企测斜视，从而可以更准确地;险测斜视。
而且，在本发明的实施方式中，作为检测脸的朝向和视线的朝向的方法 可以使用以往的方法，由于不需要进行其它复杂的处理，所以可以简单地提 高斜视的检测精度。
而且，在以上的说明中，表示了检测驾驶车辆的驾驶员的斜视的例子， 但是本发明除了上述的例子外，还可以应用在例如检测驾驶或者操作电车、 航空器、船舶等各种交通工具的人、操作工作机械等装置的人等需要注视规 定的方向的人的斜视的情况。
而且，在判定是否正在斜视的情况下，也可以考虑脸朝向脸朝向判定范 围外的时间、或者应注视范围未包含在视野内的状态所持续的时间。这时，
也可以根据本车的速度、脸或者视线的方向等来调整用于判定的时间。
而且，在本发明的实施方式中，检测脸和视线的朝向的方法不限于利用
图像的方法，例如也可以通过安装在驾驶员的头部的传感器等来进行检测。 上述的一连串的处理既可以通过硬件来执行，也可以通过软件来执行。
在通过软件来执行一连串的处理的情况下，构成该软件的程序从程序记录介
质被安装到被组装为专用硬件的计算机、或者通过安装各种程序而能够执行
各种功能的例如通用的个人计算机等中。
图8是表示通过程序来执行上述一连串处理的计算机硬件的结构例的方框图。
在计算机中，CPU ( Central Processing Unit,中央处理单元)301 、 ROM (Read Only Memory, 只读存储器)302、 RAM ( Random Access Memory, 随机存储器)303通过总线304相互连接。
在总线304上还连接有输入输出接口 305。在输入输出接口 305上连接 有由键盘、鼠标、麦克风等构成的输入单元306;由显示器、扬声器等构 成的输出单元307;由硬盘或非易失性的存储器等构成的存储单元308;由网 络接口等构成的通信单元309;以及驱动由磁盘、光盘、光磁盘或者半导体 存储器等的可拆卸的介质311的驱动器310。
在如上构成的计算机中，CPU301例如通过将存储在存储单元308中的 程序经由输入输出接口 305和总线304装载到RAM303中执行来进行上述一 连串的处理。
计算机(CPU301)执行的程序例如记录在作为由石兹盘(含软盘)、光盘 (CD-ROM ( Compact disc-Read Only Memory )， DVD ( Digital Versatile Disc ) 等)，光磁盘或者半导体存储器等构成的组件(package)介质的可拆卸介质 311中，或者经由局域网、因特网、数字卫星广播等有线或者无线的传播介 质来提供。
于是，程序可以通过将可拆卸介质311安装在驱动器310中，经由输入 输出接口 305安装到存储单元308。而且，程序可以经由有线或者无线的传 播介质，通过通信单元309接收，并且安装到存储单元308中。另外，程序 也可以预先安装在ROM302或者存储单元308中
序执行处理的程序，也可以并行地、或者按照进行调用时等的必要的定时来
进行处理的程序。
而且，本发明的实施方式不限于上述的实施方式，在不脱离本发明的要 旨的范围内可以进行各种变更。
权利要求
1、一种斜视检测装置，包括视野检测单元，检测以人的视线的朝向为基准的第1范围作为所述人的视野；判定单元，根据检测到的所述人的视野，判定所述人是否正在斜视。
2、 如权利要求1所述的斜视检测装置，所述视野检测单元根据所述人的脸的朝向和视线的朝向的错位大小来调 整所述第1范围的宽度。
3、 如权利要求1所述的斜视检测装置，所述视野检测单元根据所述人驾驶的交通工具的速度，调整所述第1范 围的宽度。
4、 如权利要求1所述的斜视i企测装置，情况下，所述判定单元判定为正在斜视，而与所述人的视线的朝向以及视野 无关。
5、 一种斜视检测方法，包括视野检测步骤，检测以人的视线的朝向为基准的规定的范围作为所述人 的视野；判定步骤，根据检测到的所述人的视野，判定所述人是否正在斜视。
6、 一种程序，使计算机执行包含以下步骤的处理，视野检测步骤，检测以人的视线的朝向为基准的规定的范围作为所述人 的视野；判定步骤，根据检测到的所述人的视野，判定所述人是否正在斜视。
全文摘要
本发明提供斜视检测装置，可以更准确地检测斜视。根据由摄影单元(111)拍摄的图像，脸方向检测单元(121)检测驾驶员的脸的朝向，视线方向检测单元(122)检测驾驶员的视线的朝向。视野检测单元(123)以驾驶员的视线的持续为基准，检测与驾驶员的脸的朝向和视线的朝向的错位对应的范围作为驾驶员的视野。判定单元(124)在驾驶员的脸的朝向为脸朝向判定范围外的情况下，判定为正在斜视。而且，判定单元(124)在驾驶员的脸的朝向为脸朝向判定范围内的情况下，根据驾驶员的视野判定驾驶员是否正在斜视。本发明可以应用于驾驶员的斜视检测装置。
文档编号G08B21/00GK101336827SQ20081012846
公开日2009年1月7日 申请日期2008年7月1日 优先权日2007年7月4日
发明者安藤丹一, 松冈美希 申请人:欧姆龙株式会社