图像处理设备和图像处理方法
【专利说明】图像处理设备和图像处理方法
[0001]相关申请的交叉引用
[0002]本申请要求于2014年3月24日提交的日本专利申请号2014-060739的优先权的权益,其全部内容通过引用并入本文中。
技术领域
[0003]本文中描述的实施方式总体上涉及一种图像处理设备以及一种图像处理方法。
【背景技术】
[0004]近年来，作为一种用于防止车辆(例如，汽车)或预定的对象(例如，在路肩上的路灯)与相对地接近预定对象的对象碰撞的技术，已经要求开发一种用于预测预定对象与该对象之间的碰撞时间(TTC)的技术。例如，这种技术包括一种用于基于由监控摄像头(例如，安装在车辆上的摄像头或固定安装在路灯上的摄像头)拾取(pick up)的图像预测在车辆与对象之间的碰撞时间的技术。在使用由车载摄像头拾取的图像时，由于与使用雷达时不同的是使用数字化图像数据，所以进行的关于对象等的接近角的判定复杂。
[0005]通常，例如，这种技术包括基于在源图像内的对象的放大因子预测碰撞时间(TTC)的技术以及基于源图像内的地面的位置与对象的位置预测碰撞时间(TTC)的技术。
[0006]另一方面，用于检测在源图像内的对象的图像处理技术近年来明显取得进展，其目的在于减少检测所需要的时间，同时提高检测精度。例如，这种对象检测技术包括使用HOG(方向梯度直方图)特征值的技术。
[0007]使用HOG特征值的对象检测处理(在后文中称为HOG处理)通过在预定的时间段内放大和缩小单个源图像可检测对象，从而制备多个图像(在后文中称为图像金字塔)，并且使用相同尺寸的框来扫描多个图像中的每一个。
[0008]构成图像金字塔的多个图像在比例因子上彼此不同，并且对象在多个图像中被显示成不同尺寸。因此，利用使用图像金字塔检测对象的技术，可通过分量图像的比例因子，大致预测到对象的距离，在分量图像中，扫描框和对象在图像金字塔的分量图像之中的尺寸上几乎一致。
[0009]然而，图像金字塔的每个分量图像的比例因子是离散值，使得使用图像金字塔检测对象的技术难以精确地预测碰撞时间(TTC)。而且，如果用于基于在源图像中的对象的放大因子预测TTC的技术应用于使用图像金字塔检测对象的技术，对象的放大因子采用异常值，使得难以精确地预测TTC。此外，当利用基于地面的位置与在源图像中的对象的位置预测TTC的技术，使用地面的位置时，误差在远位置时变得非常大。
【发明内容】
[0010]鉴于以上条件，设计本发明，并且本发明的一个目标在于，提供一种图像处理设备以及一种图像处理方法，用于检测包含在处理图像内的检测对象并且精确地预测所检测的检测对象的TTC (碰撞时间)。
[0011]为了解决以上问题，根据一个实施方式，图像处理设备包括处理图像生成单元、检测单元以及计算单元。
[0012]处理图像生成单元获取由设置在车辆上的摄像头拾取的车辆周围的图像，并且通过由相应的多个比例因子放缩摄像头所拾取的图像来生成多个处理图像。
[0013]检测单元根据检测对象，通过具有预定尺寸的框(frame)扫描所述多个处理图像中的每一个，并且使用检测对象的字典(dict1nary)来在每个扫描位置确定似然(likelihood)。检测单元还检测具有比预定似然更高的似然的扫描框。所述多个处理图像提前与相应的多个图像距离相关联，其中，所述多个图像距离中的每一个图像距离是距离车辆的预定推测距离。
[0014]计算单元根据与由检测单元检测的扫描框所属的处理图像相关联的图像距离，确定从车辆到检测对象的确定的推测距离。计算单元还基于所确定的推测距离的历史以及基于所述多个图像距离，计算和输出直到车辆和检测对象彼此碰撞的时间。
[0015]通过该图像处理设备以及该图像处理方法，能够检测包含在处理图像内的检测对象并且精确地预测经检测的检测对象的TTC(碰撞时间)。
【附图说明】
[0016]包含在本说明书内并且构成本说明书的一部分的附图示出了本发明的实施方式，并且与以上给出的概要说明以及以下给出的实施方式的详细说明一起用于解释本发明的原理。
[0017]图1为示出根据本发明的一个实施方式的图像处理设备的一个配置实例的方框图；
[0018]图2为概述用于使用从由摄像头获取的图像中生成的图像金字塔来检测包含在处理图像内的检测对象并且精确地预测经检测的检测对象的TTC的程序的流程图，其中，由在图1中所示的控制单元的CPU执行这些程序；
[0019]图3为示出在由字典生成单元生成字典时设置的预定范围的一个实例的说明图；
[0020]图4为示出用于检测在自有汽车旁边行驶的另一辆汽车的正面(front face，前面)而设置左部分、右部分以及后部分上的各个摄像头的视线轴和投影平面的一个实例的说明图；
[0021]图5为示出由处理图像生成单元生成的图像金字塔的一个实例的说明图；
[0022]图6为用于描述在检测对象是汽车时使用的扫描框(进行HOG处理的区域:检测平面)的不图；
[0023]图7A为示出在焦距为f时归一化图像的一个实例的说明图；
[0024]图7B为示出在检测对象是个人时将扫描框的高度Oh分成三种类型的方式的一个实例的说明图；
[0025]图8A为示出其中检测站在地面上的个人的焦点位置图像的一个实例的说明图；
[0026]图8B为用于计算在图8A中所示的实例中的检测框的下端Hyb的方法的示图；
[0027]图9为示出其中检测漂浮在地面之上预定的高度的个人的焦点位置图像的一个实例的说明图；
[0028]图10为示出在图2的步骤S7中由TTC计算单元执行的TTC计算处理的程序的一个实例的子程序流程图；
[0029]图11为用于描述选择有效距离的第一方法的示图；
[0030]图12为用于描述选择有效距离的第二方法的示图；
[0031]图13A为示出用于描述选择有效距离的第三方法的焦点位置图像的一个实例的说明图；
[0032]图13B为用于描述计算在图13A中所示的实例中从自有车辆到检测对象的距离Dz的方法的示图；
[0033]图14为用于描述基于有效距离的TTC计算方法的示图；
[0034]图15为用于描述在检测对象与自有车辆之间的相对速度下降时重新计算TTC的方法的示图；
[0035]图16A为在检测框的下端是在地面之上的Dy时示出焦点位置图像的一个实例的说明图；以及
[0036]图16B为用于描述在图16A中所示的实例中使用重新计算的距离Dz’来修改在处理图像上的检测框的位置的方法的示图。
【具体实施方式】
[0037]在后文中，参照附图，描述根据本发明的实施方式的一种图像处理设备以及一种图像处理方法。
[0038]图1为示出根据本发明的一个实施方式的图像处理设备10的一个配置实例的方框图。
[0039]图像处理设备10包括摄像头11、控制单元12、存储单元13、车辆信息获取单元14、照明系统16、喇叭17、扬声器18以及显示装置19。
[0040]由CXD (电荷耦合器件)图像传感器或CMOS (互补金属氧化物半导体)图像传感器构成的的摄像头11通过捕捉在车辆(例如，私家车)周围的视频图像来生成图像数据，并且将图像数据提供给控制单元12。
[0041]例如，为了在后面监控，在车辆的后车号牌附近或者在后窗的上部分中设置摄像头11 (后置摄像头)。而且，为了监控在车辆的侧边的状况，在侧视镜附近设置摄像头11 (侧置摄像头)。而且，为了监控车辆前面的状况，在车辆的前车号牌附近或者在前窗的上部分中设置摄像头11 (前置摄像头)。
[0042]摄像头11可装有广角镜头或鱼眼镜头，以能够进行广角成像。如果在侧视镜附近布置能够进行广角成像的摄像头11 (侧置摄像头)，那么可同时拾取在车辆前面和后面的状况以及在车辆的侧边的状况。而且，使用多个摄像头11，可捕捉在车辆周围的更大范围的图像。
[0043]在下面描述的一个实例中，摄像头11装有广角镜头或鱼眼镜头，以能够进行广角成像。
[0044]例如，控制单元12由配备有CPU、RAM以及ROM的微控制器构成。控制单元12的CPU将图像处理程序以及执行该程序所需要的数据从存储介质(例如，ROM)装载入RAM中，并且根据该程序执行处理，以使用图像金字塔来检测包含在处理图像内的检测对象，并且精确地预测经检测的检测对象的TTC(碰撞时间)，其中，从由摄像头11获取的图像中生成图像金字塔。
[0045]控制单元12的RAM提供工作区域，以临时存储由CPU执行的程序以及相关数据。控制单元12的存储介质(例如，ROM)存储图像处理程序以及为了执行该程序所需要的各种数据。
[0046]要注意的是，存储介质(例如，ROM)可被配置为包括由CPU可读的记录介质，例如，磁性或光学记录介质或半导体存储器，并且通过网络连接单元(未显示)，从电子网络中将程序和数据的一些或全部下载到这些存储介质上。
[0047]在这种情况下，网络连接单元支持各种信息和通信网络协议，以适应不同形式的网络，并且根据各种协议中合适的协议，经由电子网络连接控制单元12和其他车辆的ECU或其他电气设备。通过电子网络进行的电气连接可用于进行这种连接。电子网络在此表示使用电信技术的广义的信息和通信网络，并且可为无线/有线LAN(局域网)或互联网、电话通信网络、光纤通信网络、电缆通信网络以及卫星通信网络中的任一个。
[0048]存储单元13是非易失性存储器，控制单元12可从该非易失性存储器中读取数据以及将数据写入该非易失性存储器内，并且存储使用通过拾取检测对象所获得的图像来提前生成的各种信息，包括图像字典(模型)。通过电子网络或者通过便携式存储介质(例如，光盘)可更新所存储的信息。
[0049]车辆信息获取单元14至少获取关于自有汽车的当前加速度信息并且将该信息输出给控制单元12。例如，车辆信息获取单元14可由加速度传感器构成或者可配备有通常用于CAN(控制器局域网络)上的车辆信息获取功能。在本实施方式中，不需要安装车辆信息获取单元14。
[0050]由典型的前灯构成的照明系统16在控制单元12的控制下闪光(所谓的超车)，例如，从而将警报提供给自有车辆的外面。
[0051]喇叭17在控制单元12的控制下将警报声音输出到自有车辆的外面。
[0052]扬声器18设置于自有车辆的内部。在控制单元12的控制下，扬声器18输出蜂鸣