专利名称：视线终点估计装置和驾驶辅助装置的制作方法
技术领域：
本发明涉及一种估计驾驶员视线终点的视线终点估计装置。
背景技术：
已经开发出了估计驾驶员的视线指向何物以便辅助驾驶员的视线终 点估计装置。例如，车辆的视线终点估计装置检测驾驶员的视线方向，并 检测相对于宿主车辆而言存在于宿主车辆周围的每个目标物(车辆、人员 等)的相对方向，并通过将视线方向与目标物的相对方向的每个进行比较 来判定驾驶员的视线指向哪个目标物，并判定驾驶员是否意识到风险或危
险的存在(见(日本专利申请公报No.2005-134971)(JP-A-2005-134971))。
在上述视线终点估计装置中，驾驶员眼睛的位置与检测目标物相对方 向的检测装置的位置并不相同，使得简单地比较视线方向和相对方向并不 能准确估计驾驶员视线实际上指向的目标物。图10示出了驾驶员D的视 线方向a (相对于车辆的纵向方向的角度)与从视野视频图像摄^4^C提 供的视野图像检测到的目标物Oa、 Ob的相对方向Y、 P (相对于车辆的 纵向方向的角度)之间的关系的示例。在该示例中，目标物Oa和目标物 Ob都存在于驾驶员D的视线方向oc中。然而，由于驾驶员D的眼睛的位
置与视野视频图^im^c的位置互不相同，因此从视野视频图H^WI^
C提供的视野图傳验测到的目标物Oa的相对方向Y和目标物Ob的相对 方向P也互不相同并且不同于驾驶员D的视线方向oc。因此，当将视线方 向oc与相对方向Y、 P进行比较时，可能无法判定出驾驶员正看着目标物 Oa。
发明内容
因此，本发明提供一种提高驾驶员视线终点的估计准确度的视线终点 估计装置。
本发明一方面的视线终点估计装置包括视线方向检测部，其检测车
辆的驾驶员视线方向；目标物检测部，其检测存在于车辆周围的目标物的 位置；相对位置获取部，其获取所述驾驶员与所述目标物检测部之间的相对位置信息；以及视线终点估计部，其在考虑由所^f目对位置获取部获得的相对位置信息的基础上通过检测如下目标物来估测所述驾驶员的视线终点所述目标物的由所述目标物检测部检测的位置大致位于由所述视线方向检测部检测的所述驾驶员的视线方向上。
因此，根据本发明的上述方面的视线终点估计装置，在驾驶员位置与目标物检测部的位置互不相同的情况下，考虑它们之间的相对位置关系来估计驾驶员的视线终点，使得在估计驾驶员的视线终点时驾驶员的视点与目标物检测部的检测参考点能够变成一致。因此，提高视线终点的估计准确度。
相对位置信息是表明它们之间的相对关系的信息，例如相对方向、相对距离等。相对位置获取部可采用各种装置。例如，相对位置获取部可通过使用传感器等直接检测相对位置信息，或者可通过使用传感器等检测驾驶员的位置(驾驶员的头部位置或眼睛位置等)并通过所检测到的位置和目标物检测部的预先已知的位置来检测相对位置信息，或者也可通过驾驶员的估计位置和目标物检测部的预先已知的位置来计算相对位置信息并将该相对位置信息存储起来。用于获得相对位置信息的驾驶员的位置可以是驾驶员的头部位置或驾驶员的眼睛位置。当视线终点估计部考虑了相对位置信息时，在视线方向检测部和目标物检测部都执行了检测之后，视线终点估计部便可以在考虑相对位置信息的情况下从检测到的物体中搜索存在于驾驶员视线方向上的目标物。或者，在视线方向检测部和目标物检测部中的一个执行了检测之后，可以用相对位置信息对这个检测部检测到的信息进行校正，并可以用校正之后的信息来执行由所述检测部中的另一个执行的检测。
视线终点估测部可基于相对位置信息校正驾驶员视线方向信息和目标物的位置信息中的至少一个，使得驾驶员的位置与目标物检测部的位置彼此一致，校正完毕之后，视线终点估测部可检测大致位于驾驶员视线方向上的目标物。
也就是说，使用经过校正的驾驶员视线方向和/或经过校正的物体位置信息来检测存在于大致位于视线方向上的位置的目标物。通过执行该校正，使驾驶员视点与目标物检测部的检测参考点变得一致，以便执行视线终点的估计。
5该视线终点估计装置可进一步包括评估部，所述评估部评估驾驶员视线目前指向目标物的方向上的可能性。视线终点估计部可利用由评估部提供的评估结果、基于驾驶员视线目前很可能指向的目标物来估计驾驶员视线终点。特别地，评估部可基于大致位于驾驶员视线方向上的目标物来评估驾驶员视线目前指向所述目标物的方向上的可能性，其中驾驶员视线方向是在多个时间点与所述目标物的位置同时检测的。
就评估部的评估方法而言，基于与如下目标物有关的信息评估驾驶员视线目前指向某个目标物方向的可能性的方法是容易并且高度准确
的方法所述目标物的每一个在多个时间点中的任一时间点存在于大致位于驾驶员视线方向上的位置。例如，在不同时间点中的任一时间点被检测为存在于大致位于驾驶员视线方向上的位置的目标物的目标物中，在所有不同时间点都存在的目标物可被评估为驾驶员视线目前很可能
指向的目标物。然后，在位置大致位于驾驶员视线方向上的目标物有多个的情况下，视线终点估计部可以通过使用评估部提供的评估结果、基于驾驶员视线目前很可能指向的目标物从多个目标物中估计出驾驶员视线目前指向的目标物(视线终点)。然后，即便存在于大致位于驾驶员视线方向上的位置的目标物有多个，也能够通过对一个或多个目标物中的每个进行驾驶员视线目前指向目标物方向的可能性评估而将目标物的范围缩小至驾驶员视线目前指向的目标物。因此，提高了视线终点的估计准确度。
通过下文中参照附图对示例性实施方式的描述，本发明的上述以及其它目的、特征和优点将变得明显，在附图中相同标记用于指代相同元件，其中
图l是根据本发明实施方式的驾驶辅助装置的结构图2示出了根据该实施方式的驾驶员、视野视频图^^WI^和物体之间的位置关系的示例；
图3示出了根据该实施方式的由视野视频图^^WI4Ml供的、叠加有眼睛图标的视野图像的示例；
图4示出了根据该实施方式的毫米波雷达与物体之间的位置关系的示例；
图5示出了根据该实施方式的当前时间检测到的一组物体与之前S秒检测到的一组物体之间的位置关系的示例；
图6是示出了根据该实施方式的由ECU执行的物体识别扫描处理程序的流程图7是示出了根据该实施方式的由ECU执行的雷达混合处理程序的流程图8是示出了根据该实施方式的由ECU执行的时间-空间匹配处理程序(第一种方法)的流程图9是示出了根据该实施方式的由ECU执行的时间-空间匹配处理程序(第二种方法)的流程图；以及
图10示出了驾驶员、视野视频图^##^和物体之间的位置关系的示例。
具体实施例方式
下面将参照附图描述根据本发明的视线终点估计装置的实施方式。
在本发明的实施方式中，该视线终点估计装置应用于安装在车辆中的车辆驾驶辅助装置。为了告知驾驶员存在其没有意识到的障碍物，根据该实施方式的驾驶辅助装置基于驾驶员视线终点与该障碍物之间的位置关系发出警报。
下面将参照图1至5描述根据该实施方式的驾驶辅助装置1。图1是根据该实施方式的驾驶辅助装置的结构图。图2示出了根据该实施方式的驾驶员、视野视频图H^BN^和物体之间的位置关系的示例。图3示出了由该实施方式中的视野视频图^4聂^4MI:供的、叠加有眼睛图标的视野图像的示例。图4示出了亳米波雷达与物体之间的位置关系的示例。图5示出了根据该实施方式的当前时间检测到的 一组物体与之前S秒检测到的 一组物体之间的位置关系的示例。
驾驶辅助装置1估计驾驶员视线终点并检测可能阻碍宿主车辆行进的障碍物(车辆、行人等)。如果存在这种障碍物，则驾驶辅助装置l根据驾
7驶员对障碍物的意识程度来执行报警控制。为了估计视线终点，驾驶辅助装置1基于来自视野视频图1綠^^的视野图^^测存在于驾驶员视线向量上的图像物体(图像目标物)，并基于来自亳米波雷达的亳米波信息检测存在于驾驶员视线向量上的亳米波物体(亳米波目标物)，并在检测到的所有物体中识别视线物体(驾驶员视线指向的目标物)。特别地，驾驶辅助装置l在考虑驾驶员位置(特别是眼睛的位置)与每个检测装置位置之间的相对位置信息的情况下检测存在于驾驶员视线向量上的物体，以便提高估计视线终点的准确度。因此，驾驶辅助装置l包括驾驶员用摄<|^
2、 LED (发光二极管)3、视野视频图像摄像机4、毫米波雷达5、报警装置6以及ECU (电子控制单元)7。
在该实施方式中，应当理解的是，驾驶员用摄#4^2和由ECU7执行的处理程序对应于本发明的视线方向检测部，视野视频图像摄^J机4、亳
驾驶员用摄#4^2和由ECU 7执行的处理程序对应于本发明的相对位置获取部，并且由ECU7执行的处理程序对应于视线终点估计部和评估部。
驾驶员用摄^bL2是立体摄^^，其获取驾驶员面部及其周围的图像以便检测驾驶员视线向量和眼睛位置，并且其由两个摄H^组成。驾驶员用摄H4^ 2安装成面向驾驶员面部及其周围的方向，并且组成驾驶员用摄#4^2的两个摄#^沿水平方向彼此间隔预定间距。此外，驾驶员用摄像机2是近红外摄^4^，其捕获近红外辐射(从LED 3所反射的近红外光等)并根据该近红外辐射的亮度产生近红外视频图像。近红外视频图像由恒定时间间隔(例如1/30秒)的像帧的近红外图像组成。驾驶员用摄^^2在每个恒定时间间隔时将每个像帧的立体近红外图像信息作为驾驶员的图像信号发送给ECU7。
LED 3是放射近红外辐射的LED。 LED 3安^^Mj板上以便对驾驶员的面部及其周围进行辐射。当启动驾驶辅助装置l时，LED3向驾驶员的面部及其周围辐射近红外辐射。因此，近红外辐射由LED 3辐射到驾驶员的面部及其周围，并且驾驶员的面部及其周围的图像由近红外摄像机(驾驶员用摄<|^ 2)摄取。以这种方式，仅获得了驾驶员的面部及其周围的图像。另夕卜近红外辐射对人体没有伤害并且不会影响驾驶员的操作。
视野视频图H^WI4^ 4是获取与驾驶员视野对应的图像的单目摄像机。视野视频图像摄^^4安装在宿主车辆的前侧的中部(例如在后视镜的相反侧(前侧))以便面向前方。安装视野视频图傳凝^^4的位置作为相对于宿主车辆中的被限定为原点的预定位置的位置(例如宿主车辆的重心的位置，或者宿主车辆的前端的中央位置)预先存储在ECU7中。视野视频图<緣#^4摄取宿主车辆前方的图像，并产生视野视频图像。视野视频图像由恒定时间间隔的帧的视野图像组成。视野视频图像摄H^ 4在每个恒定时间时将每帧的视野图像信息作为视野图像信号发送给ECU 7。另外，视野视频图像摄^^4还获取关于存在于离宿主车辆较远处的物体的信息。
毫米波雷达5通过使用毫米波**测毫米波物体。亳米波雷达5安装在宿主车辆的前端的中部以^_面向前方。安装亳米波雷达5的位置作为相对于宿主车辆中的被限定为原点的预定位置预先存储在ECU7中。毫米波雷达5从宿主车辆向前发出毫米波，同时扫描水平面内的波，并接收反射回的毫米波。然后，亳米波雷达5将关于毫米波的发出/接收数据作为亳米波信号发送给ECU7。顺便提一下，与视野视频图^4聂^^4相比，毫米波雷达5能够仅获取关于存在于宿主车辆附近的物体的信息。
报警装置6在从ECU 7接收到报警信号时发出报警声音。报警装置6能够以任何期望的方式改变声音的强度、声音类型(频率)以;sjc出时间，并能够根据包含在报警信号中的报警信息来发出各种报警声音。
ECU 7由CPU (中央处理单元)、ROM (只读存储器)、RAM (随机存取存储器)等组成，并执行驾驶辅助装置l的总体控制。当启动驾驶辅助装置1时，ECU7将存储在ROM中的专用应用程序^ARAM中，并通过使用CPU来执行该程序。因此，ECU 7构成视线终点估计部、障碍物检测部和报警控制部。在基于CPU的主时钟的每个恒定时间时，ECU 7接收来自驾驶员用摄H^2的驾驶员图像信号、来自视野视频图^JHI^4的视野图像信号以及来自毫米波雷达5的毫米波信号。然后，ECU7在每个恒定时间时基于包含在这些信号中的信息在各个部分中执行处理程序，并在需要时将报警信号发送给报警装置6。
下面将描述在视线终点估计部中执行的处理程序。视线终点估计部检测图像物体和亳米波物体，并从检测到的所有物体中识别视线物体。为此目的，视线终点估计部执行驾驶员信息检测处理程序、物体识别扫描处理程序、雷达混合处理程序以及时间-空间匹配处理程序。下面将描述驾驶员信息检测处理程序。在驾驶员信息检测处理程序中，
驾驶员视线向量(对应于视线方向)和眼睛位置通it^驾驶员图像信号产生的驾驶员图像(立体图像)检测而来。首先，ECU7通过与眼睛的模板匹配的图型等从驾驶员图像中提取包括驾驶员眼睛的部分的图像。然后，ECU 7从眼部图像检测视线向量。视线向量通过使用常见的视线检测技术来检测。视线向量V由以驾驶员眼睛的位置为基准、相对于车辆纵向方向W的驾驶员视线方向cx来表示。此外，ECU7通过使用提取的眼部中的物体在左侧立体图像和右侧立体图像中看起来的差别、以三角测量的方式找到眼睛位置相对于驾驶员用摄像机2的相对距离和相对方向，并通过该相对距离、相对方向和驾驶员用摄#4^2的位置检测眼睛位置。该眼睛位置和驾驶员用摄像机2的位置是其相对于宿主车辆中的被限定为原点的预定位置的位置。
下面将描述物体识别扫描处理程序，在物体识别扫描处理程序中，考虑了驾驶员眼睛位置和视野视频图像摄像机4的位置之间的相对位置信息，并且在从视野图像中检测到的物体中将存在于驾驶员视线向量上的物体提取为图像物体。
首先，ECU 7计算驾驶员眼睛位置与视野视频图<綠#4^ 4的位置之间的相对距离和相对方向。如上所述视野视频图像摄#^4的位置被预先存储在ECU7中，并且该预先存储的值用于进行计算。然后，ECU7从靠近驾驶员的位置到随机位置按顺序将对焦距离P1、P2……设置在视线向量V上，如图2所示。该随机位置可根据需要设置，并且在考虑视野图《象的深度方向上的可检测距离的情况下设置。所M焦距离是驾驶员视线上的深度要素。所述对焦距离之间的差值或间隔可根据需要进行设置；例如所述间隔可以以恒定距离设置，或者也可以随着深度方向上的距离的增大而增大。此时，驾驶员的实际对焦距离是未知的(即，不知道驾驶员实际上看着视线向量上的哪个物体)。因此，对焦距离P1、 P2……是临时对焦距离。
再者，如图3所示，ECU 7将对应于视线向量V上的对焦距离Pl、P2……的位置的眼睛图标El、 E2……设置在视野图像中。此时，ECU 7基于驾驶员眼睛位置与视野视频图像摄像K 4的位置之间的相对距离和相对方向将视线向量V上的对焦距离Pl、 P2 转化为视野图像中的位置。
在假设驾驶员的眼睛位于视野视频图像摄像机4的位置处的情况下，眼睛图标E1、 E2……是视野图像中的与驾驶员视线向量V上的对焦距离Pl、 P2......的位置对应的位置。然后，ECU 7从视野图像中的每个眼睛图标
El、 E2……在象素半径r的范围内执行物体识别。象素半径r是在考虑眼 睛图标之间的间隔的情况下设置的。物体识别通过使用常用的物体识别技 术来执行。例如，准备估计会存在于路面上的物体的模板，并将所述模板 用于图型匹配以便识别物体。如果某物体被识别，则ECU7判定该物体为 图像物体，并将该图像物体在视野图像中的位置(x， y)以及对应于眼睛 图标的对焦距离作为关于该图像物体的信息保存起来。在图3所示的示例 中，ECU 7识别眼睛图标E3处的物体Oa并将对焦距离P3作为关于该图 像物体的信息保留起来，并且识别眼睛图标E5处的物体Ob并将对焦距离 P5作为关于该图像物体的信息保留起来。
由于该物体识别扫描处理程序使用视野图像，因此也能够检测到存在 于离宿主车辆相对较远的位置处的物体。此外，物体识别扫描处理程序是 在检测例如交通标识等(表示停止、没有入口、车辆限速等)、交通信号 (也包括颜色信息)、停止线等物体方面效果良好的一门技术。
对于使用视野图像的物体检测来说，也可以采用除上述方法之外的方 法。例如，相对于整个视野图像执行物体识别，并且提M在于视野图像 中的所有物体。然后，如上述方法中一样将眼睛图标设置在视野图像中。 再者，将视野图像中的眼睛图标的位置与物体的位置相比较，以便将存在 于从眼睛图标开始的象素半径r范围内的每个物⑩取为图像物体。
下面将描述雷达混合处理程序。在雷达混合处理程序，考虑了驾驶员 眼睛位置与毫米波雷达5的位置之间的相对位置信息，并且在从亳米波信 息中检测到的物体中将存在于驾驶员视线向量上的物体提取为亳米波物 体。
首先，ECU7计算驾驶员眼睛位置与毫米波雷达5的位置之间的相对 距离和相对方向。如上所述亳米波雷达5的位置^L预先存储在ECU7中， 并且该预先存储的值被用于进行计算。然后，如图4所示，ECU7基于驾 驶员眼睛位置与毫米波雷达5的位置之间的相对距离和相对方向将驾驶员 D的视线向量V转化为亳米波雷达5的坐标系中的向量(视线向量V，)。 在假设驾驶员的眼睛位于亳米波雷达5的位置处的情况下，视线向量V， 是视线向量。如图4所示，视线向量V，以亳米波雷达5的位置为基准M 示为相对于车辆的纵向方向W在驾驶员视线方向6上。再者，ECU 7基于毫米波信息检测存在于视线向量V，上的物体。此时， 如果接收到了沿视线向量V，方向发出的毫米波的反射亳米波，则意味着检 测到了物体。如，测到了物体，则ECU7判定该物体为毫米波物体并计 算到该物体的距离(对焦距离)，作为关于毫米波物体的信息。此处，该 对焦距离是通过以下方式获得的距离基于从发出到接收到亳米波的时间 计算从亳米波雷达5到物体的距离，并基于驾驶员眼睛位置与毫米波雷达 5的位置之间的相对距离和相对方向将计算出的从毫米波雷达5到物体的 距离转化为从驾驶员眼睛位置到物体的距离。在图4中示出的示例中，检 测到视线向量V，上的物体Oa，并且对焦距离被计算作为关于该亳米波物 体的信息。尽管物体Ob也存在于视线向量V，上，但是没有检测到物体 Ob，因为其位于物体Oa后面。没有检测到物体Oc，因为其没有在视线 向量V，上。
由于雷达混合处理程序使用亳米波信息，因此存在于距宿主车辆相对 较近位置处的物体被检测到。此外，雷达混合处理程序是在检测诸如其它 车辆、行人等物体方面效果良好的一门技术。
顺便提一下，对于使用亳米波信息的物体检测来说，也可以采用除 上述方法之外的方法。例如，在使用毫米波信息的情况下，相对于基于 毫米波的检测能够进行的整个区域执行物体检测，并且提取存在于整个 能够进行检测的区域中的所有物体，并计算所述物体的距离和方向。然 后，像前述方法那样，基于该相对位置信息将视线向量V转化为视线向 量V，。再者，比较视线向量V，和所述物体的方向，以便41取方向与视线 向量V，的方向相同的物体作为毫米波物体。替代性地，基于该相对位置信 息，将所提取的物体的方向和距离转化为驾驶员眼睛的坐标系中的方向和 距离(也就是假设亳米波雷达5位于驾驶员眼睛的位置时的方向和距离)。 再者，将视线向量V和物体的转化后的方向进行比较，以便提取方向与视 线向量V的方向相同的物体作为毫米波物体。
下面将描述时间-空间匹配处理程序。在时间-空间匹配处理程序 中，驾驶员视线实际指向的物体(视线物体)从所有检测到的图像物体 和所有检测到的亳米波物体中识别。该时间—空间匹配处理程序包括第 一种方法和第二种方法，其中的任一种被用于识别视线物体。在任一种 方法中，都利用如下事实，即由于宿主车辆在移动，因此宿主车辆(驾 驶员)与物体之间的位置关系在改变并且驾驶员的视线向量也在改变，所以通过将当前时间检测到的 一组物体与之前时间检测到的 一组物体 进行比较来识别视线物体。
现在将描述第一种方法。首先，如果当前时间检测到的物体(图像
物体或毫米波物体)的数目是l,则ECU 7将该物体认定为视线物体。 如果在当前时间检测到多个物体，则ECU7判定车辆是否静止。如果车辆 是静止的，则ECU7将当前时间检测到的一组物体中对焦距离最短的(即 距司机最近的)物体认定为视线物体。由于在车辆停止过程中是安全的(与 障碍物碰撞的可能性不大)，因此将最近的物体选定为视线物体。另外， 在判定车辆是否静止等方面，没有特别的限制；例如，由车速传感器检测
到的车辆速度可用于进行判定。
如果车辆正在行驶，则ECU 7将当前时间检测到的一组物体与之前S 秒检测到的一组物体进行比较，并检测所述两组中共有的物体。S秒可根 据需要进fr没置，也可设置为例如0.1秒、0.2秒等固定值，或者也可以是 根据车速变化的可变值。在图5中示出的示例中，在当前时间t检测到的 两个物体是物体Oa和物体Od，而在当前时间之前的s秒检测到的两个物 体是物体Oa和物体Ob。因此，物体Oa被作为共有物体检测出来。然后， 如果仅有一个共有物体，则ECU 7将该共有物体i人定为视线物体。如果有 多个共有物体，则ECU 7返回到之前另 一个s秒(即，之前2 x s秒)检 测到物体。具体而言，ECU7将当前时间检测到的一组物体、之前s秒检 测到一组物体以及之前2 x s秒检测到一组物体进行比较，然后检测出所有 组中共有的物体。在那之后，ECU7判定共有物体的数目是否为1。
ECU 7以s秒为时间间隔及时地返回以便获取s之前顺序地检测到的 一组物体并将其添加到比较对象中，并且ECU 7反复执行上述处理程序， 直到共有物体的数目变为1。然后，如果尽管添加了之前n x s秒检测到一 组物体进行比较但仍有多个共有物体，则ECU7不再及时返回并且不认定 视线物体。在这种情况下，ECU7判定驾驶员视线正在移动(即，追随运 动、扫视运动等)，并且无法识别视线终点，因此不认定视线物体。将n xs秒的时间设置成足以判定驾驶员视线是否在移动。另外，在这种情况
下，之前认定的视线物体可用作当前视线物体，或者可以将当前检测到的 物体中的对焦距离最短的物体用作视线物体。
下面将描述第二种方法。在第二种方法中，在仅有一个物体并且车辆 静止的情况下，如第一种方法中一样来认定视线物体。在车辆行驶的情况下，ECU7计算当前时间检测到的驾驶员视线向量与之前s检测到的驾驶 员视线向量的交叉点。该交叉点通过如下方式进行计算用当前时间的驾 驶员眼睛的位置(即当前时间视线向量的原始点)作为基准，并通过车辆 速度计算s秒内的移动距离，确定之前s秒发生的视线向量的原始点，从 所述原始点延伸所述视线向量。然后，ECU7将当前时间检测到的一组物 体中的最靠近交叉点的物体认定为视线物体。在图5中示出的示例中，当 前时间t检测到的两个物体为物体Oa和Od，并且当前时间t的视线向量 Vt与之前s秒的视线向量V^之间的交叉点是由I表示的点，并且最靠近 交叉点I的物体Oa被检测作为视线物体。如果没有出现交叉点，则如第 一种方法中一样ECU 7判定驾驶员视线正在移动并且不认定视线物体。在 这种情况下，之前认定的视线物体或对焦距离最短的物体可被确定为视线 物体。
顺便提一下，驾驶员视线终点由驾驶员视线向量和对焦距离来提供， 所述对焦距离与被识别的视点物体(物体)对应关联，这意味着驾驶员正 看着视线向量上的对焦距离点处。
现在将描述在障碍物检测部中执行的处理程序。在考虑宿主车辆行驶 方向的情况下，ECU 7基于来自各种检测装置的信息搜索可能阻碍宿主车 辆行驶的障碍物(另一车辆、行人等)。然后，如果ECU7检测到了障碍 物，则ECU7获取关于障碍物位置的信息。另外，对障碍物的检测方法没 有特别限制并且可以是其它方法，例如使用由单目摄^4M^供的视野图像 的方法、使用亳米波信息的方法、使用立体摄^4M^供的立体图像的方法。
下面将描述在报警控制部中执行的处理程序。ECU 7判定由视线终 点估计部识别出的视线物体是否与障碍物检测部检测到的障碍物彼此一 致，或者判定它们之间的一致程度。然后，如果它们之间不一致或一致程 度不高，则ECU7产生报警信息，并将指示报警信息的报警信号发送给报 警装置6。在仅执行关于识别到的视线物体与检测到的障碍物是否一致的 判定的情况下，报警信息仅仅是报警声音开/关信息。在判定它们之间的一 致程度的情况下，报警信息是使得产生报警声音的信息，当一致程度越低 时所述报警声音使驾驶员越多地注意(例如加强声音的信息、缩短发出声 音的间隔的信息)。
下面将参照图1描述驾驶辅助装置1的操作。特别地，将结合图6的 流程图描述ECU7执行的物体识别扫描处理程序，将结合图7的流程图描述雷达混合处理程序。将结合图8的流程图描述时间-空间匹配处理程序 的第一种方法。将结合图9的流程图描述时间—空间匹配处理程序的第二 种方法。
当启动驾驶辅助装置1时，LED 3朝驾驶员面部及其周围放射近红外 辐射。驾驶员用摄像机2接收反射回来的近红外辐射，并摄取近红外图像 (立体图像)，并将获得的近红外辐射图像作为驾驶员图像信号发送给 ECU 7。视野视频图^##^4摄取车辆前方的图像，并将获得的视野图 像作为视野图像信号发送给ECU7。亳米波雷达5向前发出亳米波，并接 i!t^射回来的毫米波，并将发出/接收数据作为亳米波信号发送给ECU7。
ECU 7在每个恒定时间时接收来自驾驶员用摄H^ 2的驾驶员图像信 号、来自视野视频图^^聂^^4的视野图像信号、来自毫米波雷达5的毫 米波信号。然后，基于驾驶员图像信号，ECU7检测驾驶员视线向量和驾 驶员眼睛的位置(图6中的S10、图7中的S20)。
ECU 7计算驾驶员眼睛与视野视频图像摄H^ 4之间的相对距离和相 对方向(图6中的Sll)。然后，ECU7W巨驾驶员一段短距离的位置到随 ^a巨离处将对焦距离以预定间隔顺序地设置在视线向量上(图6中的S12 )。 再者，ECU 7基于计算出的相对距离和计算出的相对方向在视野图像中将 眼睛图标叠加在设置于视线向量上的每个对焦距离处(图6中的S13 )。然 后，ECU7以视野图像中的每个眼睛图标的坐标为中心在象素半径r范围 内执行物体识别，如果识别到了物体，则ECU7判定该物体为图像物体(图 6中的S14)。此处，存在于驾驶员视线向量上的图像物体是在考虑驾驶员 眼睛与视野视频图像摄^^U 4之间的相对位置关系的情况下从视野图像中 检测出来的。该图像物体与视线向量上的对焦距离对应关联。
ECU 7计算驾驶员眼睛与亳米波雷达5之间的相对距离和相对方向 (图7中的S21)。然后，基于计算出的相对距离和相对方向，ECU7将驾 驶员视线向量转化为毫米波雷达的坐标系中的视线向量(图7中的S22)。 再者，基于毫米波信息(信号)，ECU 7搜寻存在于经转化的视线向量上 的物体，并且如果检测到了物体，ECU7便判定其为亳米波物体，并计算 该亳米波物体的对焦距离(图7中的S23)。此处，存在于驾驶员视线向量 上的亳米波物体是在考虑驾驶员眼睛与亳米波雷达5之间的相对位置关系 的情况下从亳米波信息中检测出来的。ECU 7使驾驶员视线向量和成组的检测到物体(检测到的图像物体和 检测到的毫米波物体)与对应关联的检测时间点相关联，并将它们存储在 预定存储区域中。
在时间-空间匹配处理程序的第一种方法的情形中，ECU 7判定检测 到的物体的数目是否为l (图8中的S30)。如果在S30中判定数目是l， 则ECU 7将该物体i人定为视线物体(图8中的S31 )。如果在S30中判定 检测到的物体的数目是复数，则ECU 7判定车辆是否静止(图8中的S32 )。 如果在S32中判定车辆是静止的，则ECU7将检测到的所有物体中的对焦 距离最短的物体认定为视线物体(图8中的S33 )。
如果在S32中判定车辆正在行驶，则ECU 7提取之前s秒检测到的一 组物体(图8中的S34)。然后，ECU7将当前时间检测到的一组物体与所 提取的一组物体进行比较以便检测出当前检测到的一组物体与所提取的 一组物体中共有的物体(图8中的S35 )。接下来，ECU 7判定该共有物体 的数目是否为1 (图8中的S36)。如果在S36中判定共有物体的数目为1， 则ECU 7将该共有物体i人定为视线物体(图8中的S37 )。
如果在S36中判定共有物体的数目是复数，则ECU 7判定ECU 7是 否已经返回之前n x s秒的时间(图8中的S38 )。如果在S38中判定ECU 7已经返回之前n x s秒的时间，则ECU 7不认定视线物体(图8中的S39 )。 如果在S38中判定ECU 7没有返回之前n x s秒的时间，则ECU 7返回S34 的处理程序，其中ECU 7拔_取之前更早的另 一个s秒检测到的 一组物体，
测出当前检测到的该组物体与所提取的该组物体之间共有的物体。ECU 7
反复执行该处理程序，直到共有物体的数目变为1或者直到ECU 7已经返 回到之前nxs秒的时间。
在时间-空间匹配处理程序的第二种方法的情形中，在图9中的S40 至S43中，ECU 7执行类似于第一种方法中的处理程序(图8中的S30至 S33)。如果在S42中判定车辆正在行驶，则ECU7计算当前时间的视线向 量与之前s秒出现的视线向量之间的交叉点(图9中的S44 )。接下来，ECU 7判定是否存在交叉点(图9中的S45 )。如果在S45中判定存在交叉点， 则ECU 7将当前时间检测到的该组物体中最靠近该交叉点的物体认定为 视线物体(图9中的S46)。如果在S45中判定不存在交叉点，则ECU 7 不认定视线物体(图9中的S47 )。通过上述处理程序，仅认定了一个驾驶员视线指向的视线物体，并 且驾驶员视线向量和该视线向量上的对焦距离(视线终点)变为已知的。
再者，ECU7搜索可能阻碍宿主车辆行驶的障碍物，如果检测到了障 碍物，则ECU7获取关于障碍物位置的信息。
ECU7判定所认定的视线物体与检测到的障碍物是否彼此一致，或者 判定它们之间的一致程度。然后，如果它们不一致或一致程度不高，则ECU 7产生报警信息，并将含有该报警信息的报警信号发送给报警装置6。另外， 如果已经检测到障碍物，同时不能认定视线物体，则ECU7将含有上述报 警信息的报警信号发送给报警装置6。如果没有检测到障碍物，则不发送 报警信号，因为不存在障碍物。
在接收到报警信号时，报警装置6根据包含在报警信号中的报警信息 发出报警声音。由于该报警声音，驾驶员认识到在视线终点之外存在障碍 物，并将其视线也指向该障碍物。
根据该驾驶辅助装置1，驾驶员视线终点在考虑驾驶员位置与每个物 体检测装置的位置之间的相对位置关系的情况下被估计。因此，能够在使 驾驶员的视点与各种检测装置的检测参考点变得一致的情况下实现视线 终点的估计。因此，提高了视线终点估计的精度。特别地，驾驶辅助装置 1在驾驶员视点与检测装置的检测参考点变得一致的情况下(在驾驶员眼 睛位置与检测装置的位置变得一致的情况下)将驾驶员视线终点估计为视 线向量，上述一致是通过利用驾驶员眼睛与用于检测物体的各种检测装置 之间的相对位置关系来调节驾驶员视线向量而实现的。
驾驶辅助装置1通过两种方法检测物体，即，使用图像信息的物体识 别扫描处理程序和使用毫米波信息的雷达混合处理程序，从而以高的准确 度检测出与任一所述方法的特4M艮好对应的物体，即以高准确度来检测各 种物体。此外，甚至在检测到多个物体的情况下，驾驶辅助装置l通过利 用时间—空间匹配处理程序来比较不同时间点检测到的各组物体而以高 准确度容易地识别出 一个视线物体。
结合该实施方式，已经描述了基于驾驶员视线终点与障碍物之间的 位置关系发出警报的驾驶辅助装置。然而，本发明的视线终点估计装置可 应用于各种装置。例如，本发明的视线终点估计装置可用作仅执行驾驶员视线终点估计的装置，或者也可应用于通过诸如声响/声音、图像等其他方 式警告驾驶员的驾驶辅助装置，或者也可应用于通过驾驶员视线终点和障 碍物之间的关系来执行诸如制动控制、车速控制等车辆控制的驾驶辅助装 置。
再者，在该实施方式中，视线终点通过识别视线物体来估计，但是也 可以找到驾驶员视线指向的区域等，而不是识别驾驶员视线指向的物体。
在该实施方式中，基于来自视野视频图^W沐的图像来险测图像物 体，并基于来自亳米波雷达的亳米波信息来检测亳米波物体，并且>^测 到的所有物体中识别出视线物体。然而，可以通过仅使用图像或仅使用毫 米波信息来检测物体，或者也可以通过使用其它信息**测物体。虽然在 上述实施方式中，视野视频图像摄像机和亳米波雷达被用作物体检测装 置，也可以采用任何其它检测装置，只要该装置是包括自主传感器的类型 即可，例如也可以釆用立#^#^机、激光雷达或超声波雷达。
虽然在该实施方式中，通过时间-空间匹配处理程序的两种方法中的 任一种来识别驾驶员视线物体，但是也可以通过其它方法来识别视线物 体。例如，检测到的物体中距离最短处的物体可被识别为视线物体，或者 最显眼的物体或最危险的物体可被识别为视线物体。
再者，在上述实施方式中，驾驶员眼睛的位置从驾驶员用摄^N^提 供的立体图像中检测出来，并到目对位置信息通过驾驶员眼睛的位置与视 野视频图像摄像机的预先设定位置或毫米波雷达的预先设定位置计算出 来。然而，也可采用其他方法来获糾目对位置信息。例如，可以直接获得 相对位置信息；例如，通过使用摄^^来摄取包括驾驶员和各种检测装置 的图像，并通过所述图像来获取驾驶员与检测装置之间的相对位置信息。 再者，由于能够大约地估计出驾驶员头部的位置(因此，驾驶员眼睛的位 置)，因此能够预先找出驾驶员头部的平均位置(眼睛位置)与检测装置 的位置之间的相对位置信息，并将该相对位置信息预先存储在存储装置 中，并且在需要时通it^存储装置中读取它来获取该相对位置信息。
尽管已经在上文中说明了本发明的某些实施方式，但是应当理解的 是，本发明不限于所说明的实施方式的细节，而是能够以各种变型、改 型或改进来实施，这是本领域技术人员可以想到的并且未偏离本发明的 精神和范围。
权利要求
1. 一种视线终点估计装置，包括视线方向检测部，其检测车辆的驾驶员视线方向；目标物检测部，其检测存在于车辆周围的目标物的位置；相对位置获取部，其获取所述驾驶员与所述目标物检测部之间的相对位置信息；以及视线终点估计部，其在考虑由所述相对位置获取部获得的相对位置信息的基础上通过检测如下目标物来估计所述驾驶员视线终点所述目标物的由所述目标物检测部检测的位置大致位于由所述视线方向检测部检测的所述驾驶员视线方向上。
2. 根据权利要求1所述的视线终点估计装置，其中，所述视线终 点估计部基于所述相对位置信息校正所述驾驶员视线方向和所述目标 物的位置中的至少一个，使得所述驾驶员的位置与所述目标物检测部的 位置彼此一致，然后所述视线终点估计部检测大致位于所述驾驶员视线 方向上的所述目标物。
3. 根据权利要求1或2所述的视线终点估计装置，还包括评估部， 所述评估部评估所述驾驶员视线目前指向所述目标物的方向的可能性，其中，所述视线终点估计部利用由所述评估部提供的评估结果、基 于所述驾驶员视线目前很可能指向的所述目标物来估计所述驾驶员视 线终点。
4. 根据权利要求3所述的视线终点估计装置，其中，所述评估部 基于大致位于所述驾驶员视线方向上的所述目标物来评估所述驾驶员 视线目前指向所述目标物的方向的可能性，其中所述驾驶员视线方向是 在多个时间点与所述目标物的位置同时检测的。
5. 根据权利要求4所述的视线终点估计装置，其中，所述相对位 置获取部获取所述驾驶员的眼睛与所述目标物检测部之间的相对位置 信息。
6. 根据权利要求4所述的视线终点估计装置，其中，在大致位于 所述驾驶员视线方向上的目标物中，所述评估部确定所述多个时间点共有的共有目标物是所述驾驶员视线目前很可能指向的目标物，其中所述 驾驶员视线方向是在所述多个时间点中的任意一个时间点与所述目标 物的位置同时获得的。
7. 根据权利要求4所述的视线终点估计装置，其中，所述视线方 向检测部在所述多个时间点中的每个时间点检测所述驾驶员视线方向， 并且所述评估部确定在所述多个时间点检测到的所述驾驶员视线方向 的交叉点，并基于所述交叉点与所述目标物之间的距离确定所述驾驶员 视线目前很可能指向的目标物。
8. 根据权利要求1所述的视线终点估计装置，其中，所述目标物 检测部包括获取所述驾驶员的视野图像的视野视频图像摄像机以及发 出亳米波并接收所发出的亳米波的反射波的亳米波雷达，并且所述目标雷达接收到的反射波来检测所述目标物。
9. 一种安装在车辆上的驾驶辅助装置，包括 根据权利要求1所述的视线终点估计装置；以及报警部，其检测可能阻碍车辆行驶的障碍物，并在所检测到的障碍 物与存在于所述视线终点估计装置估计到的视线终点处的目标物不一 致时发出警报。
全文摘要
一种视线终点估计装置(1)，包括视线方向检测部(2)，其检测车辆的驾驶员视线方向；目标物检测部(4、5)，其检测存在于车辆周围的目标物的位置；相对位置获取部(7)，其获取所述驾驶员与所述目标物检测部之间的相对位置信息；以及视线终点估计部，其在考虑由所述相对位置获取部获得的相对位置信息的基础上通过检测如下目标物来估计所述驾驶员的视线终点所述目标物的由所述目标物检测部检测的位置大致位于由所述视线方向检测部检测的所述驾驶员视线方向上。
文档编号A61B3/113GK101500874SQ200780030044
公开日2009年8月5日 申请日期2007年9月13日 优先权日2006年9月14日
发明者上地正昭 申请人:丰田自动车株式会社