用于检测障碍物的装置和方法
【专利摘要】本发明提供一种用于检测障碍物的装置和方法，包括：摄像机，在不同的时间点连续地拍摄第一图像和第二图像。计算器，配置为通过将由上述摄像机拍摄的两个图像相互比较来计算车辆的移动距离和回转量。回转量补偿器，基于上述第二图像补偿上述第一图像的回转量。差值计算器，配置为基于上述计算得到的车辆的移动距离，计算补偿了回转量的上述第一图像与上述第二图像之间的差值。障碍物检测器提取具有超过期望值回转量的上述差值的区域，从而检测障碍物。
【专利说明】用于检测障碍物的装置和方法
【技术领域】
[0001]本发明涉及一种用于检测障碍物的装置和方法，更具体地说，涉及一种使用两个图像之间的差值来检测障碍物的技术。
【背景技术】
[0002]通常，在检测车辆的障碍物的技术中，会使用车辆中设置的超声波传感器。然而，超声波传感器可能会根据其安装的位置和周围环境错误地感测障碍物。此外，在使用超声波传感器检测障碍物的情况下，会由于地面的凹凸或声源干扰的原因错误地感测到不存在障碍物的位置，因此可能会发出错误的警告。因此，检测障碍物的可靠性降低。
[0003]而且，在使用超声波传感器检测障碍物的情况下，只有在安装有超声波传感器的方向才可能检测到障碍物。也就是说，为了在车辆各个方向上检测到障碍物，需要在车辆的各个方向都安装超声波传感器。
【发明内容】
[0004]本发明已经致力于解决现有技术中发生的上述问题，同时完整地保留了现有技术所能实现的优点。
[0005]本发明的一个方面提供一种用于检测障碍物的装置和方法，其能够使用根据车辆在不同的时间点拍摄的俯视图图像之间的车辆移动而定的差值来识别底表面(bottomsurface),由此检测车辆周围的障碍物。
[0006]根据本发明一个示例性实施例，一种用于检测障碍物的装置，包括摄像机，配置为在连续拍摄的图像中提供在不同的时间点拍摄第一图像和第二图像。计算器，配置为通过将由上述摄像机拍摄的两个图像相互比较来计算车辆的移动距离和回转量。回转量补偿器，基于上述第二图像补偿上述第一图像的回转量。差值计算器，配置为基于上述计算得到的车辆的移动距离，计算补偿了回转量的上述第一图像与上述第二图像之间的差值。障碍物检测器，提取具有超过期望值的上述差值的区域，从而检测障碍物。
[0007]上述差值计算器可以按特定像素单位移动参考图像，并基于各个移动像素单位中的各个区块中的平均值，确定取决于像素移动量的上述差值的关系式。
[0008]上述差值计算器可以将取决于控制器局域网(CAN:Controller Area Network)信息的车辆的移动距离换算为上述图像中的像素值从而计算上述像素移动量，并且将上述计算得到的像素移动量应用于上述确定的关系式从而计算上述差值的期望值。
[0009]用于检测障碍物的装置还可以包括:映射器(mapper)，配置为将根据上述第一图像和上述第二图像计算的上述差值和上述第一图像与上述第二图像之间的速度场的大小彼此映射(mapping)。
[0010]上述障碍物检测器可以从上述彼此映射的差值和速度场的大小识别具有相同速度和与车辆的移动对应的差值的区域作为底表面。
[0011]上述计算器可以将从车辆所处的区域至速度场的大小超过期望值的区域的图像内的像素值换算为单位距离，从而计算距障碍物的距离。
[0012]上述计算器可以使用上述车辆的控制器局域网(CAN)信息计算上述两个图像之间的车辆的移动距离和回转量，其中上述CAN信息包括车轮的半径、车轮的周长、后轮的锯齿数、取决于上述两个图像之间的车辆移动的车轮的脉冲值、和转向值中的至少一个。
[0013]上述第一和第二图像可以是俯视图图像。
[0014]根据本发明的另一个示例性实施例，一种用于检测障碍物的方法，包括:在不同的时间点获得第一图像和第二图像。通过将上述第一图像和上述第二图像相互比较，计算车辆的移动距离和回转量。基于上述第二图像补偿上述第一图像的回转量。基于上述计算得到的车辆的移动距离，计算补偿了回转量的上述第一图像与上述第二图像之间的差值。将根据上述第一图像和上述第二图像计算的上述差值和上述第一图像与上述第二图像之间的速度场的大小彼此映射。基于上述差值和速度场的大小，从具有超过期望值的差值的区域检测障碍物。
【专利附图】
【附图说明】
[0015]结合附图，从下文的详细描述中将更加容易理解本发明的上述及其它目的、特征和优点。
[0016]图1是示出本发明的示例性实施例的用于检测障碍物的装置的结构的框图。
[0017]图2至图1OB是用于描述本发明的示例性实施例的用于检测障碍物的装置的操作的示意图。
[0018]图11是示出本发明的示例性实施例的用于检测障碍物的方法的操作流程的流程图。
[0019]附图标记
[0020]110:信号处理器
[0021]120:摄像机
[0022]130:输出部
[0023]140:存储器
[0024]150:计算器
[0025]160:回转量补偿器
[0026]170:差值计算器
[0027]180:映射器
[0028]190:障碍物检测器
【具体实施方式】
[0029]在下文中，将参考附图，描述本发明的示例性实施例。
[0030]图1是示出本发明的示例性实施例的用于检测障碍物的装置的结构的框图。参照图1，本发明的示例性实施例的用于检测障碍物的装置包括信号处理器110、摄像机120、输出部130、存储器140、计算器150、回转量补偿器160、差值计算器170、映射器180和障碍物检测器190。此处，信号处理器110控制用于检测障碍物的装置的各单元之间的信号流。
[0031]拍摄车辆周围图像的摄像机120，可以配置在车辆的前侧、后侧、左侧和右侧。摄像机120能够在不同时间点连续地拍摄车辆周围的第一和第二图像。此处，假定第一图像是在第二图像拍摄之前拍摄的图像，第二图像是在拍摄第一图像之后拍摄的图像。第一和第二图像对应于车辆的前方、后方、左方、右方图像互相合成的俯视图图像。第一和第二图像可以通过将摄像机120拍摄的车辆的前方、后方、左方、右方图像互相合成并且将该合成图像进行视图转换(view-converting)而形成。具有周围视图监视(AVM:Around_ViewMoni toring )系统的车辆还可以提供俯视图图像。
[0032]输出部130在车辆中输出用于检测障碍物的装置的操作状态和障碍物检测结果，该输出部130可以是监视器、导航屏或扬声器和蜂鸣器。
[0033]存储器140可以存储用于检测障碍物的装置的操作值，并且存储从摄像机120获得的图像。
[0034]计算器150通过将第一和第二图像互相比较，根据第一与第二图像之间的差异，计算车辆的移动距离和回转量。此处，计算器150可以使用车辆的控制器局域网(CAN)信息计算两个图像之间的车辆的移动距离和回转量。换句话说，如图2所示，计算器150可以使用车辆的车轮半径R、车轮的周长2 π R、后轮的锯齿数目N、以及取决于两个图像之间的车辆的移动的车轮的脉冲值P，来计算车辆的移动距离L。
[0035]当使用CAN信息计算两个图像之间的车辆的移动距离L时，可以通过下列[公式I]来计算。
[0036][公式I]
[0037]L=P*2riR/N
[0038]计算器150可以使用取决于两个图像之间的车辆的移动的转向值(steeringvalue)来计算车辆的回转量。
[0039]此外，计算器150可以计算从车辆至图像中检测到的障碍物的距离。在这种情况下，计算器150将从车辆所处的区域至检测到障碍物的区域的图像中的像素值换算为每个像素的单位距离，从而能够计算距上述障碍物的距离。
[0040]回转量补偿器160使用由计算器150计算的车辆的回转量来补偿所获得的图像的回转量。在这种情况下，回转量补偿器160基于第二图像补偿第一图像的回转量。将参考图3A至图4B更详细地描述其实例。
[0041]差值计算器170按特定像素单位移动从摄像机120获得的俯视图图像的参考图像，并且基于各个移动像素单位中的各个区块中的平均值，确定取决于像素移动量的上述差值的关系式。将参考图5A至图6更详细地描述其实例。
[0042]此处，差值计算器170将第一与第二图像之间的车辆的移动距离换算为图像中的像素值从而计算像素移动量，并且将计算得到的像素移动量应用于如上所述的关系式从而计算上述差值的期望值。
[0043]此外，差值计算器170基于由计算器150计算的第一与第二图像之间的车辆的移动距离，计算由回转量补偿器160补偿了回转量的第一图像与第二图像之间的差值。补偿了回转量的第一图像与第二图像之间的差值可以是光流(optical flow)的大小，但是并不局限于此。然而，在下列示例性实施例中，将在补偿了回转量的第一图像与第二图像之间的差值是光流的大小的假设下，进行描述。
[0044]映射器180将根据第一和第二图像计算的差值和第一与第二图像之间的速度场的大小彼此映射。在这种情况下，障碍物检测器190可以从已将计算得到的差值和速度场的大小彼此映射的图像中检测障碍物区域。
[0045]换句话说，障碍物检测器190从彼此映射的上述差值和速度场的大小识别具有相同速度和与车辆的移动对应的差值作为底表面。此外，障碍物检测器190提取第一与第二图像之间计算得到的差值超过期望值的区域，并且将所提取的区域确认为存在障碍物的区域。而且，障碍物检测器190将速度场的大小超过参考值的区域确认为存在障碍物的区域。
[0046]因此，障碍物检测器190将存在障碍物的区域检测为障碍物，并且输出部130输出障碍物检测结果。在这种情况下，计算器150可以将从车辆所处的区域至速度场的大小超过参考值的区域的图像中的像素值换算为单位距离，从而计算距障碍物的距离。在这种情况下，输出部130输出关于计算得到的距障碍物的距离的信息。
[0047]图2至图1OB是用于描述本发明的示例性实施例的用于检测障碍物的装置的操作的示意图。
[0048]如图2示出后轮的实例，当假定车辆的车轮的半径R为0.33436m，且后轮的锯齿数目N为47时，由上述公式I得到L=0.045P。当将取决于从CAN信息获得的两个图像之间的车辆的移动的车轮的脉冲值P代入上述公式I时，可以容易地计算得到L。
[0049]图3A示出第一图像的原始图像，图3B示出第二图像的原始图像。图4A示出补偿了回转量的第一图像，图4B示出第二图像的原始图像。
[0050]如图3A和图3B所示，在车辆回转的情况下，在第一和第二图像中除车辆外的所有剩余区域中产生差异，这将会影响上述差值。因此，如图3A和图3B所示，当在没有补偿第一图像的回转量的状态下计算取决于两个图像之间的车辆的移动的差值时，与车辆的实际移动量相比可能产生较大误差。
[0051]另一方面，如图4A和图4B所示，当车辆回转并且第一图像的回转量基于第二图像的邻近区域被补偿时，由于两个图像之间的车辆周围的固定障碍物的位置或底表面彼此一致，因此与图3A和图3B相比，可以更精确地计算取决于车辆的移动的差值。
[0052]图5A至图5F示出取决于像素移动量的差值，图6示出图5的取决于像素移动量的差值的关系曲线图。
[0053]本发明的示例性实施例的用于检测障碍物的装置按特定像素单位移动参考图像，并基于各个移动像素单位中的各个区块中的平均值计算取决于像素移动量的上述差值。图5A至图5F示出通过将参考图像移动5px单位而获得的图像。
[0054]图5A示出通过将参考图像移动5px而获得的图像，其中差值Vxi是4.6928。图5B示出通过将参考图像移动1px而获得的图像，其中差值Vxi是8.9629。图5C示出通过将参考图像移动15px而获得的图像，其中差值Vxi成为13.6205。图示出通过将参考图像移动20px而获得的图像，其中差值Vxi是18.0932。图5E示出通过将参考图像移动25px而获得的图像，其中差值Vxi变为22.8412。图5F示出通过将参考图像移动30px而获得的图像，其中差值Vxi变为20.8990。
[0055]图5A至图5F中的像素移动量和差值可以通过图6的曲线图来表示。如图6所示，像素移动量和差值由线性图来表示，像素移动量与差值之间的关系式可以通过该线性图来确定。因此，用于检测障碍物的装置可以将取决于CAN信息的车辆的移动距离换算为图像中的像素值，从而计算像素移动量，并且将该计算得到的像素移动量应用于所确定的关系式中，从而计算上述差值的期望值。
[0056]图7A至图1OB示出取决于在车辆周围获得的两个图像之间的车辆的移动的差值和速度场。
[0057]参照示出取决于两个图像之间的车辆的移动的差值的图7A、图8A、图9A和图10A，障碍物所处的位置处的差值可以大于障碍物不存在的位置处的差值。
[0058]参照示出取决于两个图像之间的车辆的移动的速度场的大小的图7B、图8B、图9B和图10B，与差值类似，障碍物所处的位置处的速度场的大小可以大于障碍物不存在的位置处的速度场的大小。
[0059]下面将更详细地描述如上所述配置的本发明的示例性实施例的用于检测障碍物的装置的操作流程。
[0060]图11是示出本发明的示例性实施例的用于检测障碍物的方法的操作流程的流程图。如图11所示，本发明的示例性实施例的用于检测障碍物的装置在不同的时间点获得第一和第二图像(S100)，计算在SlOO中获得的两个图像之间的车辆的移动距离和回转量(S110)，并且根据在SllO中计算得到的回转量，基于第二图像，补偿第一图像的回转量(S120)。
[0061]本发明的示例性实施例的用于检测障碍物的装置使用取决于像素移动量和差值的关系式，计算取决于对应图像中的车辆的移动距离的差值的期望值(S130)，并且根据在SlOO中获得的两个图像之间的差异计算所述差值(S140)。
[0062]然后，本发明的示例性实施例的用于检测障碍物的装置将在S140中计算得到的差值与在S130中计算得到的期望值互相比较，提取计算得到的差值超过期望值的区域(S150)，并且从在S150中提取的区域检测障碍物(S160)。本发明的示例性实施例的用于检测障碍物的装置通过输出部130输出S160中的障碍物检测结果，以便由用户配置(确认)(S170)。
[0063]根据本发明的示例性实施例，利用取决于在不同的时间点拍摄的俯视图图像之间的车辆移动的差值检测底表面和车辆周围的障碍物，由此由于传感器的错误感测而产生的检测底表面和障碍物时的和检测车辆各个方向障碍物时的误差得以最小化。
[0064]尽管已经参考附图描述了本发明的示例性实施例的用于检测障碍物的装置和方法，然而本发明不局限于本发明中公开的示例性实施例和附图，而是可以在不脱离本发明的范围和精神的情况下进行修改。
【权利要求】
1.一种用于检测障碍物的装置，其特征在于，包括: 摄像机，在不同的时间点连续地拍摄第一图像和第二图像； 计算器，配置为通过将由所述摄像机拍摄的两个图像相互比较来计算车辆的移动距离和回转量； 回转量补偿器，基于所述第二图像补偿所述第一图像的回转量； 差值计算器，配置为基于所述计算得到的车辆的移动距离，计算补偿了回转量的所述第一图像与所述第二图像之间的差值；和 障碍物检测器，在补偿了回转量的所述第一图像与所述第二图像之间提取所述差值超过期望值的区域，从而检测障碍物。
2.如权利要求1所述的用于检测障碍物的装置，其特征在于: 所述差值计算器按特定像素单位移动参考图像，并基于各个移动像素单位中的各个区块中的平均值，确定取决于像素移动量的所述差值的关系式。
3.如权利要求2所述的用于检测障碍物的装置，其特征在于: 所述差值计算器将取决于控制器局域网⑴灿0信息的车辆的移动距离换算为所述图像中的像素值从而计算所述像素移动量，并且将所述计算得到的像素移动量应用于所述确定的关系式从而计算所述差值的期望值。
4.如权利要求1所述的用于检测障碍物的装置，其特征在于，还包括: 映射器，配置为将根据补偿了回转量的所述第一图像和所述第二图像计算的所述差值和补偿了回转量的所述第一图像与所述第二图像之间的速度场的大小彼此映射。
5.如权利要求4所述的用于检测障碍物的装置，其特征在于: 所述障碍物检测器从所述彼此映射的差值和速度场的大小识别具有相同速度和与车辆的移动对应的差值的区域作为底表面。
6.如权利要求3所述的用于检测障碍物的装置，其特征在于: 所述计算器将从车辆所处的区域至速度场的大小超过期望值的区域的图像内的像素值换算为单位距离，从而计算距障碍物的距离。
7.如权利要求1所述的用于检测障碍物的装置，其特征在于: 所述计算器使用所述车辆的控制器局域网⑴灿0信息计算所述两个图像之间的车辆的移动距离和回转量， 所述信息包括车轮的半径、车轮的周长、后轮的锯齿数、取决于所述两个图像之间的车辆移动的车轮的脉冲值、和转向值中的至少一个。
8.如权利要求1所述的用于检测障碍物的装置，其特征在于: 所述第一图像和所述第二图像是俯视图图像。
9.一种用于检测障碍物的方法，其特征在于，包括: 在不同的时间点获得第一图像和第二图像； 通过将所述第一图像和所述第二图像相互比较，计算车辆的移动距离和回转量； 基于所述第二图像补偿所述第一图像的回转量； 基于所述计算得到的车辆的移动距离，计算补偿了回转量的所述第一图像与所述第二图像之间的差值； 将根据补偿了回转量的所述第一图像和所述第二图像计算的所述差值和补偿了回转量的所述第一图像与所述第二图像之间的速度场的大小彼此映射；和基于所述差值和速度场的大小，从具有超过期望值的差值的区域检测障碍物。
【文档编号】G06K9/00GK104417454SQ201310741357
【公开日】2015年3月18日 申请日期:2013年12月27日 优先权日:2013年8月27日
【发明者】柳成淑, 崔在燮, 蒋裕珍 申请人:现代自动车株式会社