车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法与流程

文档序号:15235084发布日期:2018-08-21 20:24阅读:205来源:国知局

本发明涉及车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法。



背景技术:

在专利文献1中,公开了向本车辆前方在规定周期投射脉冲光,在根据目标距离设定的拍摄定时拍摄来自目标距离的反射光,基于由此得到的目标距离不同的多个拍摄图像中的同一像素的辉度,生成表示至每个像素的物体为止的距离的距离图像数据的车辆用距离图像数据生成装置。

此外,专利文献2公开了为了判定视野中有无雾等,在照明装置照射车辆的外部时,基于由车载照相机拍摄的图像中的非照射区域的辉度梯度,判定车辆外部的视野状况的车辆用视野状况判定装置。

而且,为了进行车辆的自动控制和对驾驶员的辅助驾驶等,已知例如在夜间进行本车辆周围的拍摄的情况下,由车载照相机拍摄前大灯等的夜间照明光的反射光而识别本车辆的周围环境的装置。此外,在这些装置中,在仅用前大灯等的直接视野确保用夜间照明不能得到车载用照相机为拍摄影像所需的拍摄照度时,有时利用追加了辅助照明器的车辆行驶状态检测装置(例如,参照专利文献3)。

现有技术文献

专利文献

专利文献1:日本国特开2009-257983号公报

专利文献2:日本国特开2008-33872号公报

专利文献3:日本国特开2005-271836号公报



技术实现要素:

发明要解决的问题

在专利文献1记载的车辆用距离图像数据生成装置中,以规定的距离分辨率拍摄想拍摄的距离范围(例如,本车辆前方的0m~200m)。该期望的距离范围和规定的距离分辨率根据脉冲光的发光时间和反射光的拍摄(曝光)时间、以及从发光开始时刻至曝光开始时刻为止的延迟时间而决定。为了在一帧内尽可能亮地(高辉度地)拍摄,期望反复多次发光和曝光。为此,可考虑尽量缩短发光和曝光的间隔时间。但是,若缩短间隔时间,则因不仅拍摄因期望的目标距离的发光的反射光,还拍摄该期望的目标距离的前一个目标距离的发光的反射光,而有可能获取不需要的目标距离的拍摄图像。

此外,在上述专利文献2记载的车辆用视野状况判定装置中,仅判定有无雾,无法获取与雾的深度有关的信息。

此外,如专利文献3,在使用夜间照明光,通过车载照相机进行拍摄的情况下,照明光源的近处区域的反射光量较多,所以拍摄的图像较亮,而照明光源的远处区域的反射光量较少,所以拍摄的图像较暗。

本发明的第一目的在于,提供可防止获取不需要的目标距离区域的拍摄图像的车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆及车辆用图像获取方法。

此外,本发明的第二目的在于,提供在特别恶劣天气时可获取详细的视野信息的车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆及车辆用图像获取方法。

而且,本发明的第三目的在于,提供以同等对比度可拍摄本车辆的近处区域和远处区域的车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆及车辆用图像获取方法。

解决问题的方案

为了实现上述第一目的,本发明的车辆用图像获取装置包括:

发光单元,向规定方向发出脉冲光;

图像获取单元,在根据目标距离区域设定的拍摄定时拍摄从所述目标距离区域返回来的反射光,获取目标距离区域的不同的多个拍摄图像;以及

定时控制单元,控制所述脉冲光的发光周期和所述拍摄定时,

所述定时控制单元设定发光间隔时间,以使所述发光间隔时间比用于拍摄在所述目标距离区域之中可拍摄所述反射光的最长距离区域所需要的延迟时间长,所述延迟时间是从所述发光单元的发光开始时刻至所述图像获取单元的拍摄开始时刻为止的时间。

根据上述结构,可以防止获取不需要的目标距离区域的拍摄图像。

用于拍摄所述最长距离区域所需要的延迟时间也可以由所述脉冲光的发光强度和漫射角及所述图像获取单元的灵敏度来确定。

通过使用上述记载的参数,可以容易地计算可拍摄最长距离区域的延迟时间。

所述发光单元也可以在所述目标区域之中越近距离区域的拍摄时,越减弱所述发光强度,越远距离区域的拍摄时,越增强所述发光强度。

根据上述结构,可以防止远距离区域的图像相比近距离区域变暗。

此外,为了实现上述第一目的,本发明的控制装置是用于控制车辆用图像获取装置的控制装置,所述车辆用图像获取装置包括向规定方向发出脉冲光的发光单元、以及在根据目标距离区域设定的拍摄定时拍摄从所述目标距离区域返回来的反射光并获取目标距离区域的不同的多个拍摄图像的图像获取单元,

所述控制装置设定所述发光间隔时间,以使所述发光间隔时间比用于拍摄在所述目标距离区域之中可拍摄所述反射光的最长距离区域所需要的延迟时间长,所述延迟时间是从所述发光单元的发光开始时刻至所述图像获取单元的拍摄开始时刻为止的时间。

根据上述结构,可以防止获取不需要的目标距离区域的拍摄图像。

此外,为了实现上述第一目的,本发明的车辆包括上述记载的车辆用图像获取装置、或控制装置。

根据上述结构,例如可以提高装载了自动驾驶系统的车辆中的安全性。

此外,为了实现上述第一目的,本发明的车辆用图像获取方法,通过一边使拍摄定时变化一边拍摄向规定方向发光的脉冲光的反射光,获取目标距离区域的不同的多个拍摄图像,该方法包括:

设定表示所述脉冲光的发光周期的发光间隔时间,以使所述发光间隔时间比用于拍摄所述目标距离区域之中可拍摄所述反射光的最长距离区域所需要的延迟时间长,所述延迟时间是从所述脉冲光的发光开始时刻至所述反射光的拍摄开始时刻为止的时间。

根据上述结构,可以防止获取不需要的目标距离区域的拍摄图像。

为了实现上述第二目的,本发明的车辆用图像获取装置包括:

发光单元,向规定方向发出脉冲光;

图像获取单元,在根据目标距离区域设定的拍摄定时拍摄从所述目标距离区域返回来的反射光,获取目标距离区域的不同的多个拍摄图像;以及

定时控制单元,控制所述脉冲光的发光周期和所述拍摄定时,

所述图像获取单元通过从所述多个拍摄图像判定对所述目标距离区域的暗度,测量不能视认的目标距离区域,获取视野信息。

根据上述结构,可以获取恶劣天气时的视野信息、特别是发生雾时的有关雾的深度的信息。

所述暗度也可以通过对于各拍摄图像的辉度设置阈值来判定。

根据上述结构,可以用容易的方法判定雾的深度。

所述图像获取单元也可以将所述视野信息发送到控制车辆的驾驶的综合控制单元。

根据上述结构,可以将在雾等发生时获取的视野信息有效用于车辆的驾驶控制。

此外,为了实现上述第二目的,本发明的控制装置是用于控制车辆用图像获取装置的控制装置,所述车辆用图像获取装置包括:向规定方向发出脉冲光的发光单元;在根据目标距离区域设定的拍摄定时拍摄从所述目标距离区域返回来的反射光并获取目标距离区域的不同的多个拍摄图像的图像获取单元,

该控制装置控制所述图像获取单元,使得通过从所述多个拍摄图像判定对所述目标距离区域的暗度,测量不能视认的目标距离区域,获取视野信息。

根据上述结构,可以获取恶劣天气时的视野信息、特别是发生雾时的有关雾的深度的信息。

此外,为了实现上述第二目的,本发明的车辆包括:

上述记载的车辆用图像获取装置或控制装置;以及

与所述图像获取单元或所述控制装置可通信的综合控制单元,

所述综合控制单元根据所述视野信息进行车辆的行驶速度的控制或向驾驶员的报告。

根据上述结构,可以将雾等发生时获取的视野信息有效用于车辆的安全行驶或自动驾驶等。

此外,为了实现上述第二目的,本发明的车辆用图像获取方法是通过一边使拍摄定时变化一边拍摄向规定方向发光的脉冲光的反射光,获取目标距离区域的不同的多个拍摄图像的车辆用图像获取方法,该方法包括以下步骤:

通过从所述多个拍摄图像判定对所述目标距离区域的暗度,测量不能视认的目标距离区域,获取视野信息。

根据上述结构,可以获取恶劣天气时的视野信息、特别是发生雾时的有关雾的深度的信息。

为了实现上述第三目的,本发明的车辆用图像获取装置包括:

发光单元,向规定方向发出脉冲光;

图像获取单元,在根据目标距离区域设定的拍摄定时拍摄从所述目标距离区域返回来的反射光,获取目标距离区域的不同的多个拍摄图像;以及

定时控制单元,控制所述脉冲光的发光周期和所述拍摄定时,

所述发光单元被控制,以使在所述目标距离区域之中、拍摄远处区域情况下的所述脉冲光的发光强度比拍摄近处区域情况下的所述发光强度高。

根据上述结构,可按同等对比度拍摄近处区域和远处区域,可以获取良好的图像。

所述发光强度也可以根据所述目标距离区域的距离而可线性地变化。

根据上述结构,可以在目标距离区域的全部范围内获取对比度均匀的图像。

为了实现上述第三目的,本发明的另一例子的车辆用图像获取装置包括:

发光单元,向规定方向发出脉冲光;

图像获取单元,在根据目标距离区域设定的拍摄定时拍摄从所述目标距离区域返回来的反射光,获取目标距离区域的不同的多个拍摄图像;以及

定时控制单元,控制所述脉冲光的发光周期和所述拍摄定时,

所述发光单元被控制,以使在所述目标距离区域之中、拍摄远处区域情况下的所述脉冲光的发光时间比拍摄近处区域情况下的所述发光时间长。

根据上述结构,可按同等对比度拍摄近处区域和远处区域,可以获取良好的图像。

所述发光时间也可以根据所述目标距离区域的距离而可线性地变化。

根据上述结构,可以在目标距离区域的全部范围内获取对比度均匀的影像。

为了实现上述第三目的,本发明的又一例子的车辆用图像获取装置包括:

发光单元,向规定方向发出脉冲光;

图像获取单元,在根据目标距离区域设定的拍摄定时拍摄从所述目标距离区域返回来的反射光,获取目标距离区域的不同的多个拍摄图像;以及

定时控制单元,控制所述脉冲光的发光周期和所述拍摄定时,

所述发光单元和所述拍摄单元被控制,以使在所述目标距离区域之中、拍摄远处区域情况下的所述脉冲光的发光次数和所述反射光的拍摄次数比拍摄近处区域情况下的所述发光次数和所述拍摄次数多。

根据上述结构,可按同等对比度拍摄近处区域和远处区域,可以获取良好的图像。

所述发光次数和所述拍摄次数也可以根据所述目标距离区域的距离而可线性地变更。

根据上述结构,可以在目标距离区域的全部范围内获取对比度均匀的图像。

为了实现上述第三目的,本发明的控制装置是用于控制车辆用图像获取装置的控制装置,所述车辆用图像获取装置包括:向规定方向发出脉冲光的发光单元;以及在根据目标距离区域设定的拍摄定时拍摄从所述目标距离区域返回来的反射光并获取目标距离区域的不同的多个拍摄图像的图像获取单元,

所述控制装置进行以下控制的至少一个:

控制所述发光强度,以使在所述目标距离区域之中拍摄远处区域情况下的所述脉冲光的发光强度比拍摄近处区域情况下的所述发光强度高;

控制所述发光时间,以使拍摄所述远处区域情况下的所述脉冲光的发光时间比拍摄所述近处区域情况下的所述发光时间长;以及

控制所述发光次数和所述拍摄次数,以使拍摄所述远处区域情况下的所述脉冲光的发光次数和所述反射光的拍摄次数比拍摄所述近处区域情况下的所述发光次数和所述拍摄次数多。

根据上述结构,可按同等对比度拍摄近处区域和远处区域,可以获取良好的图像。

为了实现上述第三目的,本发明的车辆包括:

上述任意一项记载的车辆用图像获取装置或控制装置;以及

显示单元,可显示将由所述图像获取单元获取的多个拍摄图像合成的合成图像。

根据上述结构,通过使均一对比度的合成图像显示在显示单元上,可以有助于夜间和雨天时等对驾驶员的辅助驾驶。

为了实现上述第三目的,本发明的车辆用图像获取方法是通过一边使拍摄定时变化一边拍摄向规定方向发光的脉冲光的反射光,获取目标距离区域的不同的多个拍摄图像的车辆用图像获取方法,该方法包括以下步骤中的至少一个:

控制所述发光强度,以使在所述目标距离区域之中拍摄远处区域情况下的所述脉冲光的发光强度比拍摄近处区域情况下的所述发光强度高的步骤;

控制所述发光时间,以使拍摄所述远处区域情况下的所述脉冲光的发光时间比拍摄所述近处区域情况下的所述发光时间长的步骤;以及

控制所述发光次数和所述拍摄次数,以使拍摄所述远处区域情况下的所述脉冲光的发光次数和所述反射光的拍摄次数比拍摄所述近处区域情况下的所述发光次数和所述拍摄次数多的步骤。

根据上述结构,可按同等对比度拍摄近处区域和远处区域,可以获取良好的图像。

发明的效果

根据本发明,可以提供能够防止获取不需要的目标距离区域的拍摄图像的车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆及车辆用图像获取方法。

此外,根据本发明,可以提供在特别恶劣天气时可获取详细的视野信息的车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆及车辆用图像获取方法。

此外,根据本发明,可以提供能以同等对比度拍摄本车辆的近处区域和远处区域的车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆及车辆用图像获取方法。

附图说明

图1是表示本实施方式的障碍物检测装置的结构的框图。

图2是表示拍摄各目标距离区域时的、发光单元的动作(发光动作)和电子快门(gate)的动作(照相机快门动作)之间的时间性关系的图。

图3是表示在本车辆前方的不同的位置存在4个不同的物体的状况的图。

图4是表示拍摄区域的一部分重叠的状态的图。

图5是表示与各物体对应的像素的时间性辉度变化的示意图。

图6是用于说明发光/曝光时间和距离分辨率之间的关系的图。

图7是用于说明缩短了发光间隔时间的情况下的课题的图。

图8是表示实施例1的发光间隔时间和拍摄定时的定时图。

图9是表示实施例2的、发光周期、拍摄定时和拍摄图像的图。

图10是表示实施例2的、根据雾的浓度而变化的拍摄图像的亮度和距本车辆的距离之间的关系的曲线图。

图11是光照射并拍摄车辆前方时的以往例子的拍摄图像的图像图。

图12是表示实施例3的发光周期和拍摄周期的定时图,是特别地表示发光强度变化的例子的图。

图13是实施例3的近处图像和远处图像、以及合成了近处图像和远处图像的合成图像的图像图。

图14是表示适用了实施例3的合成图像的例子的图。

图15是表示实施例4的发光周期和拍摄周期的定时图,是特别地表示发光时间变化的例子的图。

图16是表示实施例5的发光周期和拍摄周期的定时图,是特别地表示发光次数和拍摄次数变化的例子的图。

具体实施方式

以下,参照附图详细地说明本实施方式的一例子。

图1是表示适用了车辆用图像获取装置的本实施方式的障碍物检测装置的结构的框图。图2是表示拍摄各目标距离区域时的、发光单元的动作(发光动作)和电子快门的动作(照相机电子快门动作)的时间性关系的示意图。

如图1所示,车辆v(本车辆)中设置的障碍物检测装置1包括:图像获取装置2、以及可与图像获取装置2通信的综合控制单元100。综合控制单元100具有作为控制车辆v的驾驶的车辆用ecu的功能,在本实施方式中,例如包括:图像处理单元3、物体识别处理单元4、以及判断单元10。

图像获取装置2包括:发光单元5、物镜6、光倍增单元7、高速照相机(图像获取单元)8、以及定时控制器(定时控制单元)9。

发光单元5例如是配置在车辆v的前端部的近红外线led。如图2所示,发光单元5根据从定时控制器9输出的脉冲信号,在规定的发光时间tl(例如,5ns)的期间,向规定方向(例如,车辆v的前方)射出脉冲光。例如,从发光单元5照射的脉冲光的发光周期tp设为10μs以下的间隔。

物镜6例如是被设定为将车辆v前方的规定范围作为能够拍摄的视角的光学系统,接收来自物体的反射光。物镜6可以靠近发光单元5来配置,也可以分离配置。

光倍增单元7包括电子快门7a和图像增强器7b。

电子快门7a根据来自定时控制器9的打开/关闭指令信号而打开/关闭。在本实施方式中,将电子快门7a的打开时间(电子快门时间)tg设为与发光时间tl相同的5ns。电子快门时间tg与从区域1至区域n的全部拍摄区域中的各区域(目标距离区域)的拍摄目标长度(拍摄目标深度)成正比。越增长电子快门时间tg,各区域的拍摄目标长度越长。拍摄目标长度从光速×电子快门时间tg来求,在本实施方式中,由于电子快门时间tg=5ns,所以拍摄目标长度由“光速(约3×108m/s)×电子快门时间(5ns)”为1.5m。

图像增强器7b是用于将非常微弱的光(来自物体的反射光等)一次转换为电子并进行电放大,通过再次返回为荧光图像而将光量加倍来观察带有对比度的像的装置。由图像增强器7b放大的光导入到高速照相机8的图像传感器。

高速照相机8根据来自定时控制器9的指令信号,拍摄从光倍增单元7发出的像,将获取的拍摄图像输出到图像处理单元3。在本实施方式中,使用分辨率640×480(横:纵)、辉度值1~255(256级)、100fps以上的照相机。

定时控制器9通过设定从发光单元5的发光开始时刻至打开电子快门7a为止的时间即延迟时间td(在图2中,为tdn,tdn+1),以由高速照相机8拍摄的拍摄图像成为从瞄准的拍摄区域即目标距离区域返回来的反射光的定时,并输出与延迟时间td对应的打开/关闭指令信号,控制拍摄定时。即,延迟时间td是确定从车辆v至目标距离区域的距离(拍摄对象距离)的值。延迟时间td和拍摄对象距离之间的关系从以下的式(1)来求。

拍摄对象距离=光速(约3×108m/s)×延迟时间td/2...式(1)

定时控制器9通过将延迟时间td每次增长规定间隔(例如,10ns),以使目标距离区域向车辆v的前方(远处)连续地远离,并使高速照相机8的拍摄范围向车辆v的前方侧变化。再者,定时控制器9在电子快门7a打开之前开始高速照相机8的拍摄动作,在电子快门7a完全关闭后结束拍摄动作。

定时控制器9控制发光单元5、电子快门7a和高速照相机8,以对每个设定的规定的目标距离区域(区域1、区域2、...、区域n的各区域)进行多次发光和曝光。高速照相机8接收到的光被转换为电荷,通过反复多次的发光和曝光而被累积。将每个规定的电荷累积时间中得到的1张拍摄图像称为帧。再者,高速照相机8可以对每个目标距离区域每次获取1张(1帧)拍摄图像,或者也可以在各目标距离区域中获取多个拍摄图像(几帧)。这样一来,高速照相机8获取目标距离区域的不同的多个拍摄图像,将获取的多个拍摄图像输出到图像处理单元3。

图像处理单元3基于由高速照相机8拍摄的全部拍摄区域的拍摄图像中的同一像素的辉度,生成表示距每个像素的物体(对象物体)的距离的距离图像数据,将生成的距离图像数据输出到物体识别处理单元4。

物体识别处理单元4确定距离图像数据中包含的物体。物体的确定方法可以使用图案匹配等公知的技术。

判断单元10判断由物体识别处理单元4确定出的物体(人、汽车、标志等)和本车辆(车辆v)之间的关系(距离、方向等)。

接着,说明本实施方式的图像获取的作用。

[图像获取作用]

定时控制器9设定延迟时间td,并控制高速照相机8的拍摄定时,以使由高速照相机8拍摄的拍摄图像成为从规定的目标距离区域返回来的反射光的定时。在目标距离区域内存在物体的情况下,由发光单元5射出的光从目标距离区域返回来的时间为光在车辆v和目标距离区域之间的距离(拍摄对象距离)往复的时间,所以延迟时间td可以从拍摄对象距离和光速来求。

在由上述方法得到的高速照相机8的拍摄图像中,在目标距离区域内存在物体的情况下,与该物体的位置对应的像素的辉度值数据受到反射光的影响,显示比其他像素的辉度值数据高的值。由此,可以基于各像素的辉度值数据,求与在目标距离区域内存在的物体之间的距离。

图3表示在车辆v的前方的不同的位置存在4个物体a~d的状况。物体a是打着伞的人,物体b是相向车道侧的摩托车,物体c是人行道侧的树木,物体d是相向车道侧的车辆(相向车)。车辆v和各物体之间的距离的关系假设为a<b<c<d。

此时,在本实施方式中,使拍摄区域的一部分重叠,以使来自1个物体的反射光被反映为连续的多个拍摄区域中的拍摄图像的像素。即,如图4所示,在一边将拍摄对象距离连续地变化为b1→b2→b3→...并一边拍摄时,通过使拍摄对象距离的增加量(b2-b1)比拍摄区域的拍摄对象长度a短,设定拍摄对象距离的增加量,以使拍摄区域的一部分一边重叠一边变化。

图5表示与各物体对应的像素的时间性的辉度变化。

通过重叠拍摄区域的一部分,如图5所示,显示连续的多个拍摄图像中的同一像素的辉度值逐渐增加,在各物体a~d的位置为峰值后逐渐减小的三角波形的特性。这样,通过来自1个物体的反射光包含在多个拍摄图像中,像素的时间性辉度变化为三角波形,将与该三角波形的峰值对应的拍摄区域设为该像素中的车辆v至各物体(被摄体)a~d的距离,可以提高检测精度。

再者,可以将包括了上述实施方式的图像获取装置2的障碍物检测装置1用于所谓的ahb(自动远光)系统和adb(自适应远光)系统的配光控制。通过同时使用将障碍物检测装置1装载在车辆v上的其他照相机传感器,例如,从由图像获取装置2得到的目标距离区域的不同的多个拍摄图像检测车辆v前方有无物体和距离,并且通过其他照相机传感器获取车辆v前方的影像。从图像获取装置2中获取的拍摄图像来求照相机传感器中获取的影像之中的各光点的距离,可以从各光点的距离、辉度、形状(光点和其周围的形状)、时序变化等判别该光点是否为车辆。这样,通过同时使用图像获取装置2和其他照相机传感器,特别是可以高精度并且高速地进行远处的车辆的探测,可以最佳地进行ahb系统和adb系统的配光控制。

[实施例1]

图6是用于说明发光/曝光时间和距离分辨率之间的关系的图。图6的(a)表示脉冲光的脉冲宽度(发光时间)和高速照相机的快门时间(曝光时间)比较短的情况下的距离分辨率。另一方面,图6的(b)表示脉冲光的脉冲宽度(发光时间)和高速照相机的快门时间(曝光时间)分别比(a)的脉冲宽度和快门时间长的情况下的距离分辨率。此外,在图6的(c)和(d)中,表示发光/曝光时间和拍摄对象距离之间的关系。

如上述,拍摄对象距离l从“光速×延迟时间td(图6的(c)和(d)中的时间ta)/2”来求。即,从脉冲光的发光结束时刻至曝光开始时刻为止的时间ta1相当于距离l1,从脉冲光的发光开始时刻至曝光结束时刻为止的时间ta2相当于距离l2。因此,如图6的(a)那样,可知发光时间和曝光时间越短,如图6的(c)所示,拍摄对象长度(l2-l1)越短,即,距离分辨率越高。另一方面,如图6的(b)那样,发光时间和曝光时间越长,如图6的(d)所示,拍摄对象长度(l2-l1)越长,即,距离分辨率越降低。因此,发光时间和曝光时间越短,使目标距离的分辨率越细,可以提高距离检测的精度。

图7是用于说明缩短了发光间隔时间的情况下的课题的图。在图7中,图示了第一发光tl1、第二发光tl2、第三发光tl3和曝光这些第一发光tl1~第三发光tl3各自的反射光的第一曝光tg1、第二曝光tg2、第三曝光tg3。

然而,为了在1帧内尽可能亮地(高辉度地)拍摄,期望反复多次发光和曝光。为此,可考虑尽量缩短图2所示的脉冲光的发光周期tp(和跟随它的拍摄周期)。但是,若将脉冲光的发光周期(发光间隔时间)tp缩短得过短,则如图7所示,不仅通过第一曝光tg1受光第一发光tl1的反射光,还通过第二曝光tg2受光。同样地,不仅通过第二曝光tg2受光第二发光tl2的反射光,还通过第三曝光tg3受光。即,若将发光间隔时间tp缩短得过短,则因不仅拍摄期望的目标距离的发光的反射光,甚至还拍摄该期望的目标距离的前一个目标距离的发光的反射光,有可能获取不需要的目标距离的拍摄图像。

因此,本申请的发明人综合地考虑了上述情况,发现了通过以与延迟时间td之间的关系适当地设定发光间隔时间tp,可以防止获取不需要的目标距离区域的拍摄图像。以下,详述该方法。

图8是表示实施例1的发光间隔时间和拍摄定时的定时图。

在实施例1中,如图8所示,随着拍摄对象距离从区域1离开至区域n,延迟时间td1~tdz逐渐地增长。此时,定时控制器9设定发光间隔时间tp,以使发光间隔时间tp比为了拍摄目标距离区域之中可拍摄反射光的最长距离区域即区域n所需要的最长延迟时间tdz长。例如,在目标距离区域是距车辆v为0~200m的范围的情况下,发光间隔时间tp被设定,以使其比为了拍摄距车辆v为200m的区域所需要的最长延迟时间tdz长。

最长延迟时间tdz由从发光单元5射出的脉冲光的发光强度和该脉冲光的漫射角及高速照相机8(配备的图像传感器)的灵敏度来确定。来自发光单元5的脉冲光通过向发光单元5的前方以规定的水平角和垂直角漫射,按距发光单元5的距离的平方以上衰减。此外,高速照相机8例如包括ccd(chargedcoupleddevice;电荷耦合器件)传感器和cmos(complementarymetaloxidesemiconductor;互补金属氧化物半导体)传感器等的图像传感器(拍摄元件)。图像传感器累积通过各曝光动作入射的光产生的电荷并转换为电信号,输出到图像处理单元10。从与距车辆v的距离对应的脉冲光的衰减量、和高速照相机8的图像传感器的灵敏度,可以计算在该图像传感器中无法累积电荷的距离。在本例子中,将这样算出的无法累积电荷的距离的脉冲光的飞行时间设定为最长延迟时间tdz。

然而,在上述那样的图像获取装置2中,将目标距离区域分为多个拍摄区域1~n,一边使延迟时间td1~tdz变化,一边获取各拍摄区域1~n的拍摄图像。此时,随着拍摄区域从车辆v离开,反射光量逐渐地减少,所以远处区域的物体的拍摄图像会比近处区域的物体的拍摄图像暗。

因此,在实施例1中,在发光间隔时间tp被设定得比最长延迟时间tdz长的状态下,来自发光单元5的脉冲发光被控制(参照图8),以使在拍摄目标距离区域之中远处区域的情况下的脉冲光的发光强度比拍摄近处区域的情况下的发光强度高。由此,通过随着离开目标距离区域而逐渐提高发光强度,可以使拍摄各区域时的反射光量均匀。优选脉冲光的发光强度可线性地变化,以使拍摄对象距离随着离开车辆v而逐渐增加。再者,在目标距离区域距车辆v为0~200m的范围的情况下,发光间隔时间tp被设定,以使其比为了拍摄距车辆v离开200m的区域所需要的最长延迟时间tdz长。因此,若脉冲光的发光强度高于需要以上,则在1次曝光中,不仅拍摄刚好在曝光之前的发光的反射光,甚至有可能拍摄其前一个发光的反射光。因此,期望脉冲光仅以可拍摄刚好在曝光之前的发光的反射光的发光强度来照射。例如,在拍摄近处区域(例如,距车辆v为10m左右)时,来自发光单元5的脉冲光被设定为无法拍摄距车辆v为210m的区域的发光强度。此外,在拍摄远处区域(例如,距车辆v为190m左右)时,来自发光单元5的脉冲光被设定为比拍摄近处区域时的发光强度高,并且无法拍摄距车辆v为390m的区域的发光强度。

根据以上说明的实施例1的图像获取装置2,具有以下列举的效果。

(1)定时控制器9设定发光间隔时间tp,以使发光间隔时间tp比为了拍摄目标距离区域之中可拍摄反射光的最长距离区域(例如图9的区域n)所需要的最长延迟时间tdz长。根据该结构,不会不仅拍摄期望的目标距离的发光的反射光,甚至拍摄该期望的目标距离的前一个目标距离的发光的反射光,可以防止获取不需要的目标距离区域的拍摄图像。由此,可以抑制噪声的混入,可获取更高精度的距离信息。

(2)优选最长延迟时间tdz由脉冲光的发光强度、漫射角和高速照相机8的图像传感器的灵敏度来确定。在最长延迟时间tdz的计算上,可以通过使用上述参数而容易地计算最长延迟时间tdz。

(3)优选发光单元5在目标距离区域之中,越近处区域的拍摄时,越减弱脉冲光的发光强度,越远处区域的拍摄时,越增强脉冲光的发光强度。根据该结构,可以使拍摄各目标距离区域时的反射光量均匀,可以减少对应于各区域中的拍摄图像中存在的物体的位置的像素的辉度之差。

由此,可以防止远距离区域的图像比近距离区域暗。

[实施例2]

接着,参照图9和图10说明本实施方式的实施例2。

图9是表示实施例2的、发光周期、拍摄定时和拍摄图像的图。图10是表示实施例2的、根据雾的浓度变化的拍摄图像的亮度和距本车辆的距离之间的关系的曲线图。

如上述,拍摄对象距离l根据“光速×延迟时间td/2”来求。因此,通过使延迟时间td逐渐地变化,可以获取与不同的拍摄对象距离对应的拍摄图像。在实施例2中,如图9所示,图像处理单元3获取在不同的拍摄定时(曝光1~n)拍摄的多个图像1~n,判定获取的图像1~n各自的暗度(图像的暗度)。再者,图像1~n是随着离开车辆v的距离而暗度逐渐地升高(即,亮度(辉度)下降)的图像。

各图像1~n的暗度如以下那样判定。

如图10所示,在无雾或薄雾的情况下,随着距车辆v的距离变远(即,脉冲光的反射时间增长),反射光量逐渐变少,拍摄图像的亮度(辉度)变低、即,如图9所示,图像逐渐变暗。另一方面,在雾较浓的情况下,若与车辆v分开某个固定的距离,则反射光量急剧地变少,拍摄图像的亮度变低(暗度剧烈升高)。从该雾的深度和拍摄图像的亮度变化之间的关系,可以使用由高速照相机8获取的多个拍摄图像求从车辆v起的可见度。

以下,说明来自车辆v的可见度算出方法。

例如,图像处理单元3通过对于获取的多个拍摄图像的辉度值设置阈值,判定拍摄图像的暗度。这里,例如,图像处理单元3将对应于距车辆v的距离的拍摄图像的实际的辉度值与该距离的拍摄图像中的最大辉度值(最大的亮度)比较。最大辉度值例如是无雾的晴天情况下可预测的最大的辉度值。在拍摄图像的实际的辉度值为最大辉度值的例如50%以下的情况下,图像处理单元3将对应于该拍摄图像的距离判定为从车辆v不能视认的距离。图像处理单元3获取包含了该不能视认距离的视野信息,将该视野信息发送到控制车辆v的驾驶的综合控制单元100(图1)。再者,也可以设为不通过图像处理单元3,而由图像获取单元即高速照相机8从多个拍摄图像获取视野信息,将该视野信息直接发送到综合控制单元100的结构。

综合控制单元100基于从图像处理单元3接收到的视野信息,运算车辆v的限速,可以基于该限速进行行驶速度的控制。或者,综合控制单元100也可以将该限速作为安全速度向车辆v的驾驶员报告。

根据以上说明的实施例2的图像获取装置2和综合控制单元100,具有以下列举的效果。

(4)图像处理单元3(或高速照相机8)通过从由高速照相机8拍摄的多个拍摄图像判定对目标距离区域的暗度,并测量不能视认的目标距离区域,获取视野信息。

根据该结构,可以获取恶劣天气时的视野信息、特别是发生雾时的有关雾的深度的信息。

(5)优选上述拍摄图像的暗度通过对于拍摄图像的辉度设置阈值来判定。根据该结构,可以用容易的方法判定雾的深度。

(6)优选图像处理单元3(或高速照相机8)可将视野信息发送到控制车辆v的驾驶的综合控制单元100。根据该结构,可以将在雾等发生时获取的视野信息有效用于车辆v的驾驶控制。

(7)综合控制单元100基于从图像处理单元3(或高速照相机8)接收到的视野信息,进行车辆v的行驶速度的控制或向驾驶员的报告。根据该结构,可以将雾等发生时获取的视野信息有效用于车辆v的安全行驶或自动驾驶等。

[实施例3]

接着,参照图11~14说明本实施方式的实施例3。

图11是在光照射并拍摄车辆前方时的以往例子的拍摄图像的示意图。

如图11所示,人m1站在车辆前方的近处,人m2站在远处。此时,如以往那样,例如在使用夜间照明光,通过车载照相机进行拍摄的情况下,在车载照相机的拍摄图像中来自车辆的近处区域的反射光量较多,所以近处的人m1的影像的辉度高,被拍摄得亮。另一方面,来自车辆的远处区域的反射光量较少,所以远处的人m2的影像的辉度低,被拍摄得暗。即,在近处的物体和远处的物体中辉度之差较大,对比度变高,所以远处的物体的视认性差。

因此,本申请的发明人综合地考虑了上述情况,发现了通过可以使车辆v的近处区域的拍摄图像和远处区域的拍摄图像的像素的辉度同等的方法来拍摄,减少对比度之差,提高远处区域的物体的视认性。以下,详述有关用于以同等对比度拍摄车辆v的近处区域和远处区域的方法。

图12是表示实施例3的发光周期和拍摄周期的定时图,特别是表示发光强度变化的例子的图。

实施例3中,发光单元5被控制,以使目标距离区域之中拍摄远处区域情况下的脉冲光的发光强度比拍摄近处区域情况下的发光强度高。具体而言,脉冲光的发光强度可线性地变化,以使拍摄对象距离随着从车辆v离开而逐渐增加。区域1(距车辆v为10m前后的区域)中的发光强度例如是100lm(流明),区域n(距车辆v为100m前后的区域)中的发光强度例如是1000lm。这样,通过根据目标距离区域的距离(拍摄对象距离)而逐渐地提高发光强度,对应于各区域中的拍摄图像中存在的物体的位置的像素的辉度之差减少。

图13是实施例3的近处图像和远处图像、以及合成了近处图像和远处图像的合成图像的图像图。

例如,如图13所示,在拍摄近处区域时的近处图像中,与图11的以往例子同样,来自近处区域的反射光量较多,所以附近的人m1被明亮拍摄(此时,不拍摄来自远处的人m2的反射光)。此外,在拍摄远处区域时的远处图像中,被照射发光强度比近处区域高的脉冲光,所以来自人m2的反射光量比图11的以往例子增多。由此,远处的人m2也与近处图像中的人m1同等地被明亮拍摄(此时,不拍摄来自近处的人m1的反射光)。图像处理单元3将这样通过拍摄发光强度根据拍摄对象距离而逐渐地提高的脉冲光的反射光所获取的近处图像和远处图像进行合成,生成图13所示的合成图像(距离图像数据)。在合成图像中,附近的人m1和远处的人m2具有大致同等的辉度。

根据以上说明的实施例3的图像获取装置2,具有以下列举的效果。

(8)发光单元5被控制,使得在目标距离区域之中、拍摄远处区域情况下的脉冲光的发光强度比拍摄近处区域情况下的发光强度高。由此,可以获取近处的物体和远处的物体的像素的辉度之差减少的距离图像数据(合成图像)。因此,可以用同等对比度来拍摄近处区域和远处区域,获取良好的图像。

(9)优选脉冲光的发光强度可根据目标距离区域的距离而线性地变化。根据该结构,可以在目标距离区域的全部范围内获取对比度均匀的图像。

再者,可以将上述那样生成的图13的合成图像显示在车辆v中配备的各种装置上。例如,如图14的(a)~(c)所示,通过使合成图像显示在导航系统的显示单元、仪表面板内的显示单元、装载在车室后视镜的一部分上的显示单元等车辆v的驾驶员容易视认的位置,可以有助于夜间和雨天时等的安全性提高。

[实施例4]

接着,参照图15说明本实施方式的实施例4。

图15是表示实施例4的发光周期和拍摄周期的定时图,特别地是表示发光时间变化的例子的图。

在实施例4中,发光单元5被控制,以使拍摄目标距离区域之中远处区域情况下的脉冲光的发光时间比拍摄近处区域情况下的发光时间长。具体而言,可线性地变化脉冲光的发光时间,以使其随着拍摄对象距离离开车辆v而逐渐地增长。例如,区域1(距车辆v为10m前后的区域)中的发光时间(图2的时间tl)为10μs,区域n(距车辆v为100m前后的区域)中的发光时间为20μs。

这样,通过根据目标距离区域的距离而逐渐增长发光时间,与各区域中的拍摄图像中存在的物体的位置对应的像素的辉度之差减少。与实施例3同样,图像处理单元3将发光时间设为可变而获取的近处图像和远处图像合成,生成合成图像。因此,在实施例4中,也可以获取近处的物体和远处的物体的像素的辉度之差少的对比度均匀的合成图像。

[实施例5]

接着,参照图16说明本实施方式的实施例5。

图16是表示实施例5的发光周期和拍摄周期的定时图,特别地是表示发光次数和拍摄次数变化的例子的图。

在实施例5中,发光单元5被控制,以使拍摄目标距离区域之中远处区域情况下的脉冲光的发光次数比拍摄近处区域情况下的发光次数多,并且使得根据该发光次数拍摄远处区域情况下的电子快门7a的快门开放次数(拍摄次数)也比拍摄近处区域情况下的快门开放次数多。具体而言,可线性地变更脉冲光的发光次数和拍摄次数,以使其随着拍摄对象距离远离车辆v而逐渐地增多。区域1(距车辆v为10m前后的区域)中的1帧中的发光/拍摄次数例如为100次,区域n(距车辆v为100m前后的区域)中的1帧中的发光/拍摄次数例如为10000次。

这样,通过随着离开目标距离区域的距离而逐渐增多发光/拍摄次数,每个区域中累积的电荷的量逐渐增加,与在各区域中的拍摄图像中存在的物体的位置对应的像素的辉度之差减少。与实施例3同样,图像处理单元3将发光/拍摄次数设为可变而获取的近处图像和远处图像合成,生成合成图像。因此,在实施例5中,也可以获取近处的物体和远处的物体的像素的辉度之差少的对比度均匀的合成图像。

以上,基于实施例1~5说明了用于实施本发明的方式,但对于本发明的具体的结构,不限于各实施例的结构,只要不脱离专利要求范围的各权利要求的发明的宗旨,就容许设计变更和追加等。

例如,拍摄对象长度、拍摄对象距离的变化量、每个目标距离区域的帧数等,可以根据高速照相机8和图像处理单元3的性能而适当设定。

在上述实施方式中,如图1所示,设为照相机8具有作为图像获取单元的功能的结构,但不限于本例子。例如,图像处理单元3(图像处理单元110)也可以具有作为图像获取单元的功能,或者也可以在高速照相机8和图像处理单元3之间设置存储拍摄图像的单独的存储器作为图像获取单元。

在上述实施方式中,如图1所示,设为在物镜6和高速照相机8之间设置了光倍增单元7(电子快门7a、图像增强器7b)的结构,但不限于本例子。例如,也可不设置光倍增单元7,而在高速照相机8内以规定的拍摄定时进行快门开启(gating)而获取多个拍摄图像。

在上述实施方式中,设为通过由图像处理单元3生成距离图像数据进行物体识别的结构,但也可以从高速照相机8拍摄的各个目标距离的拍摄图像进行物体识别。

在上述实施例2中,特别地将与有关雾的深度的信息获取作为视野信息,但除了雾之外,也可以获取雨和雪等恶劣天气时的视野信息。

在上述实施例3~5中,例示了使脉冲光的发光强度、发光时间、发光次数分别单独地变化而生成距离图像数据的结构,但也可以将脉冲光的发光强度、发光时间、发光次数之中至少两个组合而使其根据拍摄对象距离变化。通过组合变更的参数,可以更有效地生成远近同等对比度的合成图像。

本申请基于2015年12月21日提交的日本专利申请、申请号为2015-248826、2015年12月21日提交的日本专利申请、申请号为2015-248827、以及2015年12月21日提交的日本专利申请、申请号为2015-248828,其内容在此作为参照而被引入。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1