专利名称：斜视检测装置和方法、以及程序的制作方法
技术领域：
本发明涉及斜祸j企测装置和方法、以及程序，特别是涉及可以更准确地 检测斜视的斜视检测装置和方法、以及程序。
背景技术：
近年来，起因于驾驶员在驾驶中的斜视(看别处)的事故多发。因此， 开发了检测驾驶员的斜视，并且进行对于斜视的警告的技术。
例如，提出了以下技术，即根据驾驶员的脸或者视线的朝向的角度，设 定容许斜视的时间，并且在驾驶员进行斜视的状态超过了设定时间的情况下， 对斜视进行警报(例如，参照专利文献1 )。
而且，例如提出了以下技术，即，根据驾驶员的脸或者视线的朝向来检 测斜视，根据方向盘的舵角、车辆的移动位置或者车速，判断是否输出对于
斜视的警报(例如，参照专利文献2)。
〔专利文献1〕日本特开平3-167698号公报 〔专利文献2〕日本特开平6-243367号公报
发明内容
发明要解决的课题
但是，在专利文献1和专利文献2中记载的发明中，在检测斜视时，由
于不考虑驾驶员的脸的朝向和视线的朝向的关系，因此，还留有改善用于提 高斜视的检测精度的余地。
本发明是鉴于这样的状况而完成的，可以更准确地检测斜视。
用于解决i果题的手段
本发明的一个方面的斜视检测装置包括脸朝向检测单元，检测人的脸 的朝向；第1判定单元，根据人的脸的朝向，判定人是否正在斜视；视线方 向检测单元，检测人的视线的朝向；以及第2判定单元，在根据人的脸的朝 向，判定为人未斜视的情况下，根据人的视线的朝向判定人是否正在斜视。
在本发明的一个方面的斜视检测装置中，检测人的脸的朝向，根据人的 脸的朝向判定人是否正在斜视，检测人的视线的朝向，在根据人的脸的朝向 判定为未斜视的情况下，根据人的视线的朝向判定人是否正在斜视。
因此，可以更准确地检测斜视。
该脸朝向检测单元、第1判定单元、视线方向检测单元以及第2判定单
元，例长口由CPU ( Central Processing Unit) 4勾成。
在该第l判定单元中，可以根据人驾驶的交通工具的速度来调整作为判 定是否正在斜视的基准的脸的朝向的范围。
由此，可以更准确地;险测斜视。
在该第2判定单元中，可以根据人驾驶的交通工具的速度来调整作为判 定是否正在斜视的基准的视线的朝向的范围。 由此，可以更准确地4企测斜视。
本发明的一种斜视检测方法或者程序包括脸朝向检测步骤，检测人的 脸的朝向；第1判定步骤，根据人的脸的朝向，判定人是否正在斜视；视线 方向检测步骤，检测人的视线的朝向；以及第2判定步骤，在根据人的脸的 朝向，判定为人未斜视的情况下，根据人的视线的朝向判定人是否正在斜视。
在本发明的一个方面的斜视检测方法或者程序中，检测人的脸的朝向， 根据人的脸的朝向判定人是否正在斜视，检测人的视线的朝向，在根据人的 脸的朝向判定为人未斜视的情况下，根据人的视线的朝向判定人是否正在斜 视。
由此，可以更准确地检测斜视。
该脸朝向检测步骤例如由通过CPU检测人的脸的程序的脸朝向检测步 骤构成，该第1判定步骤例如由根据人的脸的朝向，通过CPU判定人是否正 在斜视的第l判定步骤构成，该视线方向检测步骤例如由通过CPU检测人的 视线的朝向的视线方向检测步骤构成，该第2判定步骤例如由根据人的脸的 朝向，判定为人未斜视的情况下，根据人的视线的朝向，通过CPU判定人是 否正在斜视的第2判定步骤构成。
发明的效果
如上所述，按照本发明的一个方面，可以检测斜视。特别是按照本发明 的一个方面，可以更准确地检测斜牙见。
图1是表示应用了本发明的驾驶支持装置的一个实施方式的方框图。 图2是用于说明由驾驶支持装置执行的驾驶支持处理的流程图。 图3是用于说明斜视的判断的例子的图。
图4是用于说明斜视的判断的例子的图。
图5是用于说明斜视的判断的例子的图。
图6是表示个人计算机的结构的例子的方框图。
标号说明
101驾驶支持装置 111摄影单元 112车速检测单元 113斜视检测单元 114车辆控制单元 121脸方向检测单元 122判定单元 123视线方向检测单元 124判定单元
具体实施例方式
以下，参照附图对本发明的实施方式进行说明。
图1是表示应用了本发明的驾驶支持装置的一个实施方式的方框图。驾 驶支持装置101对驾驶设置了驾驶支持装置101的车辆(以下也称为本车) 的驾驶员的斜视进行检测处理，在检测到驾驶员的斜视时，控制设置在本车 上的车载装置，以对斜视进行处理。驾驶支持装置101被构成为包括摄影 单元lll、车速^r测单元112、斜视检测单元113、以及车辆控制单元114。
摄影单元111例如由照相机构成，从大致正面方向拍摄驾驶员的脸。摄 影单元111将包含拍摄的驾驶员的脸的图像(以下，称为脸图像)提供给斜 视检测单元113的脸方向检测单元121和视线方向检测单元123。
车速检测单元112例如由速度传感器构成，检测本车的速度。车速检测 单元112将表示检测到的本车的速度的信息提供给斜视检测单元113的判定 单元122和判定单元124。
斜视检测单元113进行驾驶员的斜视的检测处理。斜视检测单元113被 构成为包括脸方向4企测单元121、判定单元122、 一见线方向检测单元123、 以及判定单元124。
脸方向检测单元121根据脸图像，利用规定的方法检测驾驶员的脸的朝 向。脸方向检测单元121将表示驾驶员的脸的朝向的信息提供给判定单元 122。而且，脸方向检测单元121检测脸的朝向的方法不限于特定的方法，希 望应用可以更迅速并且正确地4企测脸的朝向的方法。
判定单元122根据驾驶员的脸的朝向和本车的速度，判定驾驶员是否正 在斜视。判定单元122将表示判定结果的信息提供给视线方向检测单元123 和判定单元124。而且，判定单元122在判定出驾驶员正在斜视时，将表示 驾驶员正在斜视的信息提供给车辆控制单元114。
视线方向检测单元123根据脸图像，利用规定的方法检测驾驶员的视线 的朝向。视线方向检测单元123将表示驾驶员的视线的朝向的信息提供给判 定单元124。而且，浮见线方向4全测单元123 ;险测视线的朝向的方法不限于特 定的方法，希望应用可以更迅速并且正确地;险测;魄线的朝向的方法。
判定单元124通过判定单元122,根据驾驶员的脸的朝向判定出驾驶员 未斜视的情况下，根据驾驶员的视线的朝向判定驾驶员是否正在斜视。判定 单元124在判定出驾驶员正在斜视的情况下，将表示驾驶员正在斜视的信息 提供给车辆控制单元114。
车辆控制单元114例如由ECU ( Electronic Control Uinit,电子控制单元) 构成。车辆控制单元114在检测到驾驶员斜视的情况下，控制被设置在本车 上的车载装置，以对斜视进行处理。
而且，以下，通过以本车的前方为基准方向的角度来表示驾驶员的脸和 视线的水平方向的朝向。具体来说，将基准方向设为0度，用负的值表示从 基准方向向左方向的角度，用正的值表示从基准方向向右方向的角度。例如， 从基准方向向左30度的方向被表示为-30度，从基准方向向右30度的方向 被表示为+30度。
而且，同样地，以下，在将某个方向作为基准的情况下，用负的值表示 从成为基准的方向向左方向的角度，用正的值表示/人成为基准的方向向右方 向的角度。例如，在以驾驶员的脸的朝向为基准的情况下，从驾驶员的脸的 朝向向左30度的方向纟皮表示为-30度，^人基准方向向右30度的方向^皮表示
为+30度。
接着，参照图2的流程图，对由驾驶支持装置101执行的驾驶支持处理 进行说明。而且，该处理例如从本车的发动机起动时开始。
在步骤S1中，摄影单元111开始拍摄。具体来说，摄影单元111开始拍 摄驾驶员的脸，并且开始将拍摄的脸图像提供给脸方向检测单元121和视线 方向4全测单元123。
在步骤S2中，车速检测单元112开始检测本车的速度，并且开始将表示 检测到的速度的信息提供给判定单元122和判定单元124。
在步骤S3中，脸方向检测单元121检测脸的朝向。具体来说，脸方向检 测单元121根据脸图像检测驾驶员的脸的朝向，并且将表示检测到的脸的朝 向的信息提供给判定单元122。
在步骤S4，判定单元122判定脸的朝向是否在规定的范围(以下，称为 脸朝向判定范围)内。
这里，所谓脸朝向判定范围是作为判定驾驶员是否正在斜视的基准的脸 的朝向的范围，判定单元122在驾驶员的脸的朝向为脸朝向判定范围外的情 况下，判定为驾驶员正在斜视。
另外，在"高田一3力\ K，,A厶(D危険認知支援方法K関卞？)研究、日 本、学術講演会前刷集No.4-06、社団法人自動車技術会、2006年5月、11乃 至16^—,，(以下称为引用文件1)中，报告了以下实验结果，即，驾驶员 对于检测LED (Light Emitting Diode,发光二极管)的发光所需要的时间， 在LED的显示位置为相对于驾驶员的正面方向向左20度至向右20度的范围 内的情况下，没有由于显示位置、颜色、LED的直径的不同而呈现显著的差 别，在显示位置超出其范围时，由于显示位置、颜色、LED的直径的不同而 呈现出显著的差别。
而且，在"中越聡@力\ K，一A—0顔向含〖二上^)前方不注視0推定 ^警報反応時間0研究、日本、学術講演会前刷集No. 58-06、社団法人自動 車技術会、2006年5月、17乃至20^—、,'(以下称为引用文件2)中，报 告了以下实验结果，即，驾驶员在至视觉对象物的左右角度超过20'度时，脸 朝向角度超过眼球运动，移动脸的倾向变得显著。
例如，根据这些实验结果，在驾驶员的脸朝向比-20度更左方向，或者 比+ 20度更右方向的情况下，被认为驾驶员未注视本车的前方，对于本车前
方的注意力降低的可能性高，作为脸朝向判定范围的一个例子，考虑设定为
从基准方向开始-20度至+ 20度的范围。
而且，驾驶员的视野在本车的速度越快时变得越窄，所以也可以根据本 车的速度来调整脸朝向判定范围。例如，可以在本车的速度为40km以下的 情况下，将脸朝向判定范围设为从基准方向开始-50度至+ 50度的范围，在 时速为70km以下的情况下，将脸朝向判定范围设为从基准方向开始-32度 至+ 32度的范围，在时速为100km以下的情况下，将脸朝向判定范围设为从 基准方向开始-20度至+ 20度的范围，在时速超过了 100km的情况下，将 脸朝向判定范围设为从基准方向开始-10度至+ IO度的范围。
在步骤S4中，在判定出脸的朝向为脸朝向判定范围内的情况下，处理进 入步骤S5。
在步骤S5中，视线方向检测单元123检测视线的朝向。具体来说，视线 方向检测单元123根据脸图像检测驾驶员的视线的朝向，将表示检测到的视 线的朝向的信息提供给判定单元124。
在步骤S6中，判定单元124判定视线的朝向是否在规定的范围(以下称 为视线方向判定范围)内。
这里，所谓视线方向判定范围是成为判定驾驶员是否正在斜视的基准的 视线的朝向的范围，判定单元124在驾驶员的视线的朝向在视线方向判定范 围外的情况下判定为驾驶员正在斜视。
例如，作为视线方向判定范围的一例，与脸朝向判定范围一样，根据引 用文献1和引用文献2所示的实验结果，考虑设定为从基准方向-20度至+ 20度的范围。
而且，如上所述，驾驶员的视野在本车速度越快时变得越窄，越慢时变 得越宽，所以与脸朝向判定范围一样，也可以根据本车的速度调整视线方向 判定范围。
在步骤S6中，在判定为视线的朝向在视线方向判定范围外的情况下，处 理进入步骤S7。
在步骤S7中，判定单元124判定为正在斜视。判定单元124将表示驾驶 员正在斜视的信息提供给车辆控制单元114。然后，处理进入步骤S9。
另一方面，在步骤S4中，判定为脸的朝向为脸朝向判定范围外的情况下， 处理进入步骤S8。
在步骤S8中，判定单元122判定为正在斜视。即，这时，与视线的朝向 无关，仅根据脸的朝向判定为正在斜视。判定单元122将表示驾驶员正在斜 视的信息提供给车辆控制单元114。
在步骤S9中，车辆控制单元114进行与斜视对应的处理。例如，车辆控 制单元114在驾驶员的斜视持续了规定的时间以上的情况下，在本车上设置 的显示装置上显示催促制止斜视的警告画面，或者从本车上设置的扬声器中 输出催促制止斜视的警报。
另一方面，在步骤S6中判定为视线的朝向为视线方向判定范围内的情况 下，即，根据驾驶员的脸和视线两者，判断出驾驶员未斜视的情况下，处理 进入步骤SIO。
在步骤S10中，驾驶支持装置101判定是否结束处理。在判定出不结束 处理的情况下，处理返回步骤S3，重复执行步骤S3至步骤S10的处理，直 至在步骤S10中判定为结束处理。
另一方面，在步骤S10中，例如在停止了本车的发动机时，驾驶支持装 置101判定为结束处理，驾驶支持处理结束。
如上所述，通过根据脸的朝向和视线的朝向两者来检测斜视，从而在例 如如图3所示那样，即使脸朝向大致正面，但是视线未朝向正面的情况下， 也可以可靠地检测斜视。相反，在虽然脸未朝向正面，但是-见线朝向正面的 情况下，也可以防止纟皮误纟企测为正在斜视。
而且，图4和图5表示视线的朝向相同，而脸的朝向不同的情况下的驾 驶员的状态的例子。具体来说，在图4中，驾驶员的脸的朝向为-10度，并 且视线的朝向为-20度，在图5中，驾驶员的脸的朝向为-30度，并且视线 的朝向为-20度。即使视线的朝向相同，但如图4所示，脸的朝向越接近正 面，驾驶员越容易看见正面，如图5所示，脸的朝向越远离正面，越难以看 见正面。如上所述，可以在脸的朝向为脸朝向判定范围以外的情况下，与视 线的朝向无关而判定为正在斜视，从而即使视线的朝向相同，在脸的朝向接 近正面的情况下判定为未斜视，而在脸的朝向远离正面的情况下，判定为正 在斜视。
即，可以更准确地检测斜视。
而且，在本发明的实施方式中，作为检测脸的朝向和视线的朝向的方法 可以使用以往的方法，由于不需要进行其它复杂的处理，所以可以简单地提
高斜视的检测精度。
而且，在以上的说明中，表示了检测驾驶车辆的驾驶员的斜视的例子， 但是本发明除了上述的例子外，还可以应用在例如检测驾驶或者操作电车、 航空器、船舶等各种交通工具的人、操作工作机械等装置的人等需要注视规 定的方向的某些人的斜视的情况。
而且，在判定是否正在斜视的情况下，也可以考虑脸朝向脸朝向判定范 围外的时间、或者视线朝向视线方向判定范围外的时间。这时，也可以根据 本车的速度、脸或者视线的朝向等来调整用于判定的时间。
而且，在本发明的实施方式中，检测脸和视线的朝向的方法不限于利用 图像的方法，例如也可以通过安装在驾驶员的头部的传感器等来进行检测。
上述的 一连串的处理既可以通过硬件来执行，也可以通过软件来执行。 在通过软件来执行一连串的处理的情况下，构成该软件的程序从程序记录介 质被安装到被组装为专用硬件的计算机、或者通过安装各种程序而能够执行 各种功能的例如通用的个人计算机等中。
图6是表示通过程序来执行上述一连串处理的计算机硬件的结构例的方 框图。
在计算机中，CPU ( Central Processing Unit,中央处理单元)301、 ROM (Read Only Memory,只读存4渚器)302、 RAM ( Random Access Memory, 随机存储器)303通过总线304相互连接。
在总线304上还连接有输入输出接口 305。在输入输出接口 305上连接 有由键盘、鼠标、麦克风等构成的输入单元306;由显示器、扬声器等构 成的输出单元307;由硬盘或非易失性的存储器等构成的存储单元308;由网 络接口等构成的通信单元309;以及用于驱动^兹盘、光盘、光》兹盘或者半导 体存储器等的可拆卸的介质311的驱动器310。
在如上构成的计算机中，通过CPU301将例如存储在存储单元308中的 程序经由输入输出接口 305和总线304装载到RAM303中执-f亍来进行上述一 连串的处理。
计算机(CPU301)执行的程序例如记录在作为由磁盘(含软盘)、光盘 (CD-ROM ( Compact disc-Read Only Memory ), DVD ( Digital Versatile Disc ) 等)，光磁盘或者半导体存储器等构成的组件(package)介质的可拆卸介质 311中，或者经由局域网、因特网、数字卫星广播等有线或者无线的传输介
质来提供。
于是，程序可以通过将可拆卸介质311安装在驱动器310中，经由输入
输出接口 305安装到存储单元308。而且，程序可以经由有线或者无线的传 播介质，通过通信单元309接收，并且安装到存储单元308中。另外，程序 也可以预先安装在ROM302或者存储单元308中。
序执行处理的程序，也可以是并行地、或者按照进行调用时等的必要的定时 来进行处理的程序。
而且，本发明的实施方式不限于上述的实施方式，在不脱离本发明的要 旨的范围内可以进行各种变更。
权利要求
1、斜视检测装置，包括脸朝向检测单元，检测人的脸的朝向；第1判定单元，根据所述人的脸的朝向，判定所述人是否正在斜视；视线方向检测单元，检测所述人的视线的朝向；以及第2判定单元，在根据所述人的脸的朝向，判定为所述人未斜视的情况下，根据所述人的视线的朝向判定所述人是否正在斜视。
2、 如权利要求1所述的斜视检测装置，所述第1判定单元根据所述人驾驶的交通工具的速度，调整作为判定是 否正在斜视的基准的脸的朝向的范围。
3、 如权利要求1所述的斜视检测装置，所述第2判定单元根据所述人驾驶的交通工具的速度，调整作为判定是 否正在斜视的基准的视线的朝向的范围。
4、 一种斜视4企测方法，包括 脸朝向检测步骤，检测人的脸的朝向；第1判定步骤，才艮据所述人的脸的朝向，判定所述人是否正在斜视； 视线方向检测步骤，检测所述人的视线的朝向；以及 第2判定步骤，在根据所述人的脸的朝向，判定为所述人未斜视的情况 下，根据所述人的视线的朝向判定所述人是否正在斜视。
5、 一种程序，使计算机执行包含以下步骤的处理， 脸朝向检测步骤，检测人的脸的朝向；第1判定步骤，根据所述人的脸的朝向，判定所述人是否正在斜视； 视线方向检测步骤，；险测所述人的视线的朝向；以及 第2判定步骤，在根据所述人的脸的朝向，判定为所述人未斜视的情况 下，根据所述人的视线的朝向判定所述人是否正在斜-現。
全文摘要
本发明提供斜视检测装置，可以更准确地检测斜视。根据由摄影单元(111)拍摄的图像，脸方向检测单元(121)检测驾驶员的脸的朝向，视线方向检测单元(123)检测驾驶员的视线的朝向。判定单元(122)根据驾驶员的脸的朝向判定驾驶员是否正在斜视。判定单元(124)在由判定单元(122)判定为驾驶员未斜视的情况下，根据驾驶员的视线的方向判定驾驶员是否正在斜视。本发明可以应用于驾驶员的斜视检测装置。
文档编号G08B21/00GK101336826SQ20081012846
公开日2009年1月7日 申请日期2008年7月1日 优先权日2007年7月4日
发明者松冈美希 申请人:欧姆龙株式会社