信号机检测装置及信号机检测方法与流程

本发明涉及检测交通信号机的信号机检测装置及信号机检测方法。

背景技术：

提案有通过选择由具有宽的视角的广角摄像机拍摄的广角图像及由具有窄的视角的窄角摄像机拍摄的窄角图像的任一种的检测结果，能够连续监视车辆前方的物体的装置(参照专利文献1)。在这种装置中，在直至物体的距离超过通过广角图像以希望的精度可检测到的距离的情况下，选择窄角图像，在物体为窄角摄像机的视野外的情况，选择广角图像。

现有技术文献

专利文献

专利文献1:(日本)特开2011－121398号公报

然而，专利文献1记载的技术对于因切换检测结果时产生的识别的延迟时间或不确认等而车辆控制的判断延迟的可能性并没有提及。当使车辆停止的判断延迟时，可能需要大的减速度。

技术实现要素：

鉴于上述问题点，本发明的目的在于，提供能够抑制因切换检测结果中的延迟时间或不确认等引起的对车辆控制的影响的信号机检测装置及信号机检测方法。

信号机检测装置通过考虑为了车辆停止而应该开始减速的区域，以在检测结果切换中减少对车辆控制的影响的方式来切换窄角摄像机及广角摄像机对信号机(信号灯)的检测结果。

附图说明

图1是说明本发明的实施方式的信号机检测装置的基本的结构的示意性块图；

图2是说明本发明的实施方式的信号机检测装置的结构及数据流的块图；

图3是说明通过窄角摄像机及广角摄像机可检测信号机的区域、减速开始区域、及可切换区域的图；

图4(a)～图4(c)是说明窄角摄像机及广角摄像机的视角区域的图；

图5是说明通过窄角摄像机及广角摄像机可检测信号机的区域及减速开始区域、及可切换区域(w1侧)的图；

图6是说明通过窄角摄像机及广角摄像机可检测信号机的区域及减速开始区域、及可切换区域(n2侧)的图；

图7是说明本发明的实施方式的信号机检测装置的信号机检测方法的一例的流程图。

具体实施方式

参照附图，说明本发明的实施方式。在附图的记载中，在相同或类似的部分附加相同或类似的符号，省略重复的说明。

(信号机检测装置)

如图1所示，本实施方式的信号机检测装置具备包括窄角摄像机11及广角摄像机12的摄像部1、具有摄像机选择部2及图像处理部3的信号机检测部4、车速传感器10。车速传感器10检测车辆5的速度，并将检测出的速度作为速度信息dv向摄像机选择部2输出。信号机检测部4根据通过摄像部1拍摄的图像，检测设置于车辆5行驶的道路周边且存在于车辆5的前方的信号机，并将作为检测结果的信号机信息dt向外部输出。车辆5例如是基于信号机检测部4的信号机信息dt等，沿着预设定的行驶路径自动行驶的自动驾驶车辆。

窄角摄像机11及广角摄像机12分别搭载于车辆5，拍摄车辆5的前方。窄角摄像机11及广角摄像机12分别具备ccd、cmos等固体摄像元件，输出可进行图像处理的数字图像。广角摄像机12具有比窄角摄像机11宽的视角(视场角)。因此，广角摄像机12以相同的析像度拍摄离开相同的距离的对象的情况下，与窄角摄像机11相比，其分辨率低。窄角摄像机11将拍摄出的窄角图像作为窄角图像信息dn向信号机检测部4输出。广角摄像机12将拍摄出的广角图像作为广角图像信息dw向信号机检测部4输出。

摄像机选择部2及图像处理部3例如使用具备中央运算处理装置(cpu)、存储器、及输入输出部的微控制器能够实现。该情况下，cpu通过执行在微控制器预先安装的计算机程序，构成摄像机选择部2及图像处理部3。微控制器例如也可以兼用为用于自动驾驶控制等的车辆5的其它的控制的电子控制单元(ecu)。

图像处理部3根据通过窄角摄像机11拍摄的窄角图像及通过广角摄像机12拍摄的广角图像的至少任一图像，并通过图像处理检测出信号机。图像处理部3基于摄像机选择部2的决定，将根据窄角图像检测出的信号机及根据广角图像检测出的信号机的任一个作为信号机信息dt输出。图像处理部3根据窄角图像及广角图像的任一个检测信号机，由此，能够降低处理负荷。该情况下，图像处理部3在切换用于信号机的检测的窄角图像和广角图像时，检测中会产生延迟时间。

图像处理部3分别对通过窄角摄像机11拍摄的窄角图像及通过广角摄像机12拍摄的广角图像实施用于检测信号机的图像处理。例如，图像处理部3根据生成同步图像检测在基于工业用电源的交流周期的特定的周期进行闪烁的信号机所具有的信号灯。或者，图像处理部3使用色调及形状的类似判定处理，能够检测信号机。这样，图像处理部3使用各种图像处理方法或它们的组合能够检测信号机及信号机的颜色。

此外，图像处理部3在图像上不是设定窄角图像信息dn、广角图像信息dw表示的各图像的整个区域，而是设定一部分检测区域，通过只对检测区域实施图像处理，能够降低用于信号机检测的处理负荷及处理时间。基于从包括道路形状及信号机的位置的地图信息、车辆5的位置信息等推定的信号机的位置，检测区域被设定在图像上。

如图2所示，摄像机选择部2具备可检测区域计算部21、减速开始区域计算部22、可切换区域计算部23、延迟距离计算部24、切换区域决定部25、摄像机决定部26。摄像机选择部2基于速度信息dv等，向图像处理部3输出在图像处理部3指定将从窄角图像检测出的信号机及从广角图像检测出的信号机的哪个作为信号机信息dt输出的选择摄像机信息ds。

可检测区域计算部21基于表示在窄角摄像机11及广角摄像机12的所设定的视角、垂直及水平方向的角度、析像度的摄像机信息dc，计算出能够检测信号机的可检测区域，作为可检测区域信息d01输出。可检测区域计算部21对窄角摄像机11及广角摄像机12分别计算出信号机的检测率超过规定的阈值的区域、信号机未偏离视角的区域。可检测区域计算部21根据对窄角摄像机11及广角摄像机12分别计算出的区域，计算出窄角摄像机11及广角摄像机12任一个都能够检测信号机的区域作为可检测区域。

此外，基于检测对象和车辆5之间的距离，预测由窄角摄像机11及广角摄像机12取得的图像上的像素数量，信号机的检测率超过规定的阈值的区域通过预测的像素数量是否超过在过去的检测数据中成为阈值的检测对象的像素而计算出。信号机未偏离视角的区域基于沿着车辆5的行进方向的信号机从窄角摄像机11及广角摄像机12的光轴的偏离而计算出。

如图3所示，将从车辆5至信号机的距离设为x时，通过窄角摄像机11可检测信号机的区域是由右上的阴影所示的区域，在信号机t1和t2所在的区域，在车辆的前后方向的距离是n21＜x＜n1的区域。另外，通过广角摄像机12可检测信号机的区域是由左上阴影所示的区域，在信号机t2和t3所在的区域，在车辆的前后方向的距离是w2＜x＜w1的区域。此外，车辆的车宽方向表示未偏离窄角摄像机11及广角摄像机12的横向的视角的区域，车辆的前后方向的距离越近就越窄。

n1及w1分别指窄角摄像机11及广角摄像机12对信号机的检测率超过规定的阈值的距离，是基于根据各图像可检测信号机的距离而设定的规定值。窄角摄像机11对信号机的检测率超过规定的阈值的距离区域是x＜n1，广角摄像机12对信号机的检测率超过规定的阈值的距离区域是x＜w1。n2及w2分别是信号机偏离窄角摄像机11及广角摄像机12的视角的位置中基于车辆的前后方向的位置而设定的规定值。信号机偏离窄角摄像机11的视角的区域在车辆的前后方向中是x＜n2，信号机偏离广角摄像机12的视角的区域在车辆的前后方向中是x＜w2。由于n2＜w1，所以窄角摄像机11及广角摄像机12任一个都能够检测信号机的区域在信号机t2所在的区域，在车辆的前后方向是n2＜x＜w1。可检测区域计算部21将n2＜x＜w1作为可检测区域信息d01并输出。

图4(a)～(c)是表示从车辆5向前进方向捕获信号机的由窄角摄像机11及广角摄像机12取得的图像的图。图4(a)～(c)表示图3的信号机t1～t3分别所在的状态。窄角摄像机11的视角范围位于广角摄像机12的视角范围的内侧。图4(a)表示位于仅通过窄角摄像机11可检测的区域的信号机t1。广角摄像机12对信号机的检测率为规定的阈值以下的距离区域为x≥w1。图4(b)表示位于窄角摄像机11及广角摄像机12任一个都能够检测信号机的区域的信号机t2。图4(c)表示位于仅通过广角摄像机12可检测的区域的信号机t2。信号机偏离窄角摄像机11的视角的区域是x＜n2。

减速开始区域计算部22基于车辆5减速时作为目标的减速度的目标减速度dr和速度信息dv，计算出为了使车辆5停止在相对于各信号机的停止位置而车辆5应该减速的减速开始区域，并作为减速开始区域信息d02输出。目标减速度dr也可以是作为目标的减速度的范围。

目标减速度dr表示的减速度的范围设为a0～a1(a0＜a1)，速度信息dv表示的车辆5的速度设为v，从信号机至信号机的停止线的距离设为α时，减速开始区域的自车辆的前后方向的距离能够如下式(1)所示。

v²/(2×a0)－α～v²/(2×a1)－α(1)

在图3所示的例子中，c1相当于v²/(2×a1)－α，c2相当于v²/(2×a0)－α。即，减速开始区域信息d02是指只要在至信号机的距离x为c2≤x≤c1的期间开始减速，则车辆5就能够以减速度a0～a1停止在停止位置。考虑乘客的乘坐感觉等，减速度也可以调整大小及范围(a0～a1)。

可切换区域计算部23基于可检测区域信息d01及减速开始区域信息d02，以车辆控制不与开始减速的时刻重合的方式计算出图像处理部3能够从窄角图像切换为广角图像的可切换区域，并作为可切换区域信息d03输出。图3所示的例子中，可切换区域信息d03所示的区域是从可检测区域信息d01除去减速开始区域信息d02的区域。

假如，x在减速开始区域内时，如果图像处理部3从窄角图像切换为广角图像，则用于停止的判断延迟，车辆5有可能需要比目标减速度dr大的减速度。通过判断在x为可切换区域内的位置是否为了停止而减速，开始减速控制，车辆5以目标减速度dr内的减速度在相对于各信号机的停止位置能够停止。

延迟距离计算部24基于将图像处理部3用于信号机的检测的窄角图像切换为广角图像时的规定的延迟时间t、速度信息dv表示的车辆5的速度v，计算出在延迟时间t车辆5移动的延迟距离，并作为延迟距离信息d04输出。t可以预先设定。在图3所示的例子中，在延迟时间t，x从d1至变为d2，车辆5以速度v移动时，延迟距离|d1－d2|为vt。

切换区域决定部25基于可切换区域信息d03和延迟距离信息d04，决定表示图像处理部3从窄角图像切换为广角图像的区域的切换区域，并作为切换区域信息d05输出。

切换区域决定部25决定延迟距离收敛在可切换区域内的区域作为切换区域。另外，切换区域在信号机位于可切换区域时，即使产生延迟距离，以能够将根据分辨率高的窄角图像检测出的信号机作为尽可能长的时间检测结果而决定。即，切换区域决定部25将延迟距离|d1－d2|接近n2，且收敛在可切换区域(除了c2≤x≤c12的n2＜x＜w1)的区域作为切换区域而决定。

在图5所示的例子中，切换区域信息d05所示的区域(e2≤x≤e1)因延迟距离未收敛在比减速开始区域靠n2侧，所以决定为w1侧的区域中尽可能接近c1的区域。此外，e1及e2与d1及d2对应。即，图像处理部3在信号机经过e1时，从窄角图像切换为广角图像进行信号机的检测。信号机进入减速开始区域前，能够从窄角图像切换为广角图像，抑制对车辆控制的影响，能够切换信号机的检测结果。另外，在图6所示的例子中，切换区域信息d05所示的区域(e2≤x≤e1)由于延迟距离收敛在c2和n2之间，所以决定在尽可能接近n2的区域。直至信号机通过减速开始区域，利用图像处理部3根据窄角摄像机11的窄角图像能够检测信号机。抑制对车辆控制的影响，切换信号机的检测结果，同时，并通过长期使用析像度高的窄角图像，能够延长更高精度的信号机的检测。

摄像机决定部26基于可切换区域信息d03、信号机的相对位置信息dp、选择摄像机履历信息dh、速度信息dv，输出表示在信号机的检测中使用窄角摄像机11及广角摄像机12哪一个的选择摄像机信息ds。选择摄像机履历信息dh是拍摄用于前一个的信号机的检测的图像的摄像机及表示前一个的信号机的检测结果的信息。选择摄像机信息ds是在图像处理部3指定将根据窄角图像检测出的信号机及根据广角图像检测出的信号机的哪一个作为信号机信息dt输出的信息。

相对位置信息dp是表示各信号机相对于车辆5的相对位置的信息。相对位置信息dp根据包含道路形状及信号机的位置的地图信息、车辆5的位置信息来推定。车辆5的位置信息从全球定位系统(gps)接收机等测位装置、搭载于车辆5的加速度传感器、舵角传感器及车速传感器10取得。此外，相对位置信息dp表示的信号机是对车辆5提示信号的信号机，即车辆应该遵守的信号机。

(摄像机决定部的动作)

以下，参照图7的流程图，说明本实施方式的信号机检测装置的信号机检测方法的一例。以下所示的处理通过摄像机决定部26针对向车辆5提示信号的信号机的每一个执行。

在步骤s1，摄像机决定部26判定信号机的位置是否处于通过窄角摄像机11可检测的区域。即，从车辆5至信号机的距离x为通过可检测区域计算部21计算出的n2以上，且判定是否是不偏离窄角摄像机11的横向的视角的区域。摄像机决定部26在信号机的位置处于通过窄角摄像机11可检测的区域的情况下，向步骤s2进行处理，信号机的位置不在通过窄角摄像机11可检测的区域的情况下，不能根据窄角图像检测出信号机，所以，在步骤s7选择广角摄像机12。

在步骤s2，摄像机决定部26判定信号机的位置是否处于通过广角摄像机12可检测的区域。此外，广角摄像机12的横向的视角因比窄角摄像机11的横向的视角宽，所以在步骤s2，信号机处于不偏离广角摄像机12的横向的视角的区域。即，判定从车辆5至信号机的距离x是否为通过可检测区域计算部21计算出的w1以下。车辆5朝向信号机前进的情况下，摄像机决定部26判定在图像处理部3通过窄角摄像机11的窄角图像检测出的信号机是否进入通过广角摄像机12可检测的区域。摄像机决定部26在信号机的位置处于通过广角摄像机12可检测的区域的情况下，向步骤s3进行处理，在信号机的位置不在通过广角摄像机12可检测的区域的情况下，因信号机不能根据广角图像检测，所以，在步骤s8选择窄角摄像机11。

在步骤s3，摄像机决定部26判定通过图像处理部3检测出的信号机是否为绿色信号。摄像机决定部26在信号机不是绿色信号的情况下，向步骤s4进行处理。摄像机决定部26在信号机是绿色信号的情况下，向步骤s5进行处理。

在步骤s4，摄像机决定部26判定信号机的位置是否通过减速开始区域。即，判定从车辆5至信号机的距离x是否进入通过减速开始区域计算部22计算出的x≤c1的区域。在信号机的位置未通过减速开始区域的情况下，向步骤s5进行处理。摄像机决定部26在信号机不是绿色信号，或未检测出信号机的情况，在信号机的位置通过减速开始区域的情况下，车辆5已开始减速，在检测信号机的图像的切换时即使产生延迟，信号机变化为绿色信号，或检测有绿色信号的情况下，只在中止车辆的减速控制的时刻产生延迟，影响少，所以，在步骤s9选择广角摄像机12。由此，摄像机决定部26在信号机为绿色信号期间，能够不易产生因检测结果的切换而引起的延迟。

在步骤s5，摄像机决定部26根据选择摄像机履历信息dh判定前一个的信号机的检测结果是否是窄角摄像机11的检测结果。摄像机决定部26在前一个处理中选择窄角摄像机11的情况下，向步骤s7进行处理。摄像机决定部26在前一个的处理中选择广角摄像机12的情况下，向步骤s6进行处理。

在步骤s6，摄像机决定部26基于对于前一个的处理，从车辆5的位置信息等推定的交叉路口(信号机)的位置，判定车辆5是否通过交叉路口(信号机)。摄像机决定部26在判定出车辆5通过交叉路口(信号机)的情况下，向步骤s7进行处理。摄像机决定部26在判定出车辆5未通过交叉路口(信号机)的情况下，进入步骤s9，由于将检测结果的切换设为最低限度，所以，直至判定出车辆5通过交叉路口(信号机)为止，继续选择广角摄像机12。

在步骤s7，摄像机决定部26基于切换区域信息d05，判定检测出的信号机的位置是否处于通过切换区域决定部25决定的切换区域。即，判定从车辆5至信号机的距离x是否为e2≤x≤e1。摄像机决定部26在信号机的位置处于切换区域的情况下，在步骤s9，选择广角摄像机12。摄像机决定部26在信号机的位置不在切换区域的情况下，在步骤s8，继续选择窄角摄像机11。

摄像机决定部26生成在图像处理部3指定将根据步骤s8或步骤s9中选择的摄像机的图像检测出的信号机作为信号机信息dt输出的选择摄像机信息ds，向图像处理部3输出。

根据本实施方式的信号机检测装置，在信号机位于决定为避开减速开始区域的切换区域内时，将检测结果从根据窄角图像检测出的信号机切换为根据广角图像检测出的信号机。由此，本实施方式的信号机检测装置抑制对车辆控制的影响，能够切换信号机的检测结果，能够进行车辆5的顺畅的减速控制。

另外，根据本实施方式的信号机检测装置，切换区域基于信号机从窄角摄像机11的视角偏离的距离而设定，所以，能够长时间选择分辨率高的窄角摄像机11的检测结果。因此，本实施方式的信号机检测装置能够提高信号机的检测精度。

另外，根据本发明的实施方式的信号机检测装置，检测的信号机是绿色信号的情况下，基于信号机从窄角摄像机11的视角偏离的距离，将检测结果切换为广角摄像机12的检测结果。由此，本实施方式的信号机检测装置能够长时间选择分辨率高的窄角摄像机11的检测结果，能够提高信号机的检测精度。

另外，根据本实施方式的信号机检测装置，因切换区域基于根据广角图像可检测信号机的距离来设定，所以，在广角摄像机12的检测精度低的位置，继续选择窄角摄像机11的检测结果。因此，本实施方式的信号机检测装置能够长时间选择分辨率高的窄角摄像机11的检测结果，能够提高信号机的检测精度。

另外，根据本实施方式的信号机检测装置，在检测出的信号机不是绿色信号，或不能检测信号机的情况，且通过减速开始区域的情况下，车辆5已开始减速，所以，选择根据广角图像检测出的信号机作为检测结果。由此，本实施方式的信号机检测装置在信号机为绿色信号期间，能够难以产生因检测结果的切换而引起的延迟。

另外，根据本实施方式的信号机检测装置，在选择广角摄像机12的检测结果的情况下，直至车辆5通过交叉路口为止，继续选择广角摄像机12。由此，本实施方式的信号机检测装置降低不需要的检测结果的切换，能够将检测结果的切换抑制在最低限度。

(其它的实施方式)

如上述，通过上述实施方式描述了本发明，但不应该理解为构成本公开的一部分的论述及附图限定本发明。根据本公开的内容，各种代替实施方式、实施例及运用技术对于本领域技术人员来说是显而易见的。

例如，在已论述的实施方式中，图6的流程图的步骤s3及步骤s4的处理的顺序可以相反。其它，不用说，包含彼此应用上述各构成的构成等，本发明在此未描述的各种实施方式等。因此，本发明的技术的范围仅根据上述的说明并通过适当的请求保护范围的发明特定事项来确定。

产业上的可利用性

根据本发明，可提供通过考虑车辆应该开始减速的减速开始区域进行检测结果的切换，能够减少切换引起的对车辆控制的影响的信号机检测装置及信号机检测方法。

符号说明

4信号机检测部

5车辆

10车速传感器

11窄角摄像机

12广角摄像机