专利名称：障碍物检测系统的制作方法
技术领域：
本发明涉及障碍物检测系统且具体而言涉及基于相机的障碍物检测系统。
背景技术：
车辆系统开发者在车辆安全系统领域中持续革新。一种类型的车辆安全系统警告驾驶员在周围环境中有障碍物。这些安全系统-称为障碍物检测系统-在车辆移动的前方或后方路径中检测障碍物。障碍物可以是例如行人、自行车、路障、其它车等等。障碍物检测系统在车辆正在移动时监测所述车辆前方或后方的道路。如果所述车辆接近物体，那么障碍物检测系统将所述物体识别为障碍物且提醒驾驶员其存在。受到障碍物存在的警告后，驾驶员可接着警惕避免所述障碍物。因此，障碍物检测系统可减少碰撞障碍物的风险，从而改进车辆安全性。已知障碍物检测系统可以使用雷达、超声波传感器或相机操作以监测物体至车辆的临近。常规基于相机的障碍物检测系统采集且分析图像序列以在车辆路径中检测物体且识别障碍物。然而，分析图像序列的过程可能在计算上是复杂的且可能需要补充信息，诸如例如从车辆传感器获得的运动参数。结果，已知基于相机的障碍物检测系统可能需要相对更多的硬件资源和处理时间。因此，需要一种在车辆路径中检测物体且识别障碍物的简化方法。
发明内容
提供了一种检测车辆路径中的物体的计算机实现方法。获得描绘所述车辆路径的图像帧。产生对应于所述图像帧的边缘图像。还产生对应于所述边缘图像的二元图像。识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点。根据所述二元图像中的所述斑点的分析确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。还提供了一种用于检测车辆路径中的物体的系统。图像分割模块产生对应于描绘所述车辆路径的图像帧的边缘图像。二元图像建立模块产生对应于所述边缘图像的二元图像。斑点分析模块识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点。障碍物验证模块根据所述二元图像中的所述斑点的分析而确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。
图1是障碍物检测系统的实现的实施例的示意图。图2A是可被处理来检测车辆路径中的障碍物的车辆路径的灰度图像的实施例。图2B是使用图2A的灰度图像产生的实施例边缘图像。图2C是使用图2B的边缘图像产生的二元图像的实施例。图2D是图像处理后的图2C的二元图像。
图2E是额外图像处理后的图2D的二元图像。图2F是图2A的灰度图像，其包括用于所述图像中识别的组件的椭圆。图3是图像分割程序期间的图像表示。图4A是车辆路径的另一实施例图像，其包括用于所述图像中识别的组件的椭圆。图4B是使用图4B的实施例图像产生的俯视像。图5是用于检测车辆路径中的障碍物的实施例方法步骤的流程图。图6是用于基于多尺度积分图像的分割程序的实施例方法步骤的流程图。
具体实施例方式提供了一种用于检测车辆路径中的障碍物的系统和方法。所述系统根据车辆的移动路径的图像帧检测物体且识别障碍物。所述系统对所述图像帧执行边缘检测程序以产生指示所述图像帧中的物体的边缘的边缘图像。如本申请中所使用，边缘图像指的是包含一组线的图像，所述线指示诸如例如数字照片的图像帧中的物体的各自边界、表面标志，或表面轮廓。所述系统接着将所述边缘图像转换成二元图像，其中所述图像帧的物体被描绘成二元图像中的斑点。二元图像是数字图像，其中像素可以是可分别对应于例如黑和白(尽管可使用任何两种颜色)的两个值例如O或I中的一个。如本申请中所使用,斑点指的是比周围区域更亮(或更暗)的二元图像区，即，数字图像中可视为二元图像中的单个组件的邻近或临近像素子组。黑与白二元图像中连接的白像素的群集群是斑点的一个例子。所述系统接着对所述二元图像执行形态学操作以识别可能对应于车辆路径中的障碍物的关注斑点。对于所关注的每个物体斑点，所述系统确定围住所述斑点的椭圆。所述系统接着通过延长椭圆且将所述椭圆延长部分与图像的焦点相比较而确认哪个物体是车辆路径中的障碍物。下文将进一步详细讨论这个过程。如果所述系统检测到障碍物，那么所述系统可以产生可呈现给驾驶员的提醒信号，以警告驾驶员障碍物的存在。所述系统使用单个图像帧且不使用从车辆传感器获得的运动参数(例如，车辆速度)检测物体且识别障碍物。参考图1，示出了用于检测且识别车辆路径中的障碍物的障碍物检测系统100的实现的实施例。所述障碍物检测系统100与图像采集装置102和输出装置104信号连通。所述图像采集装置102采集车辆路径的图像。所述输出装置104可以用来警告驾驶员所述车辆路径中存在障碍物。所述障碍物检测系统100包括与图像处理单元信号连通的图像处理单元106和存储单元108。所述图像处理单元106处理由图像采集装置102采集的图像以检测且识别所述车辆路径中的障碍物。在本实施例中，可在障碍物检测和识别过程期间利用所述存储单元108以存储图像和图像处理信息。图像采集装置102可以是被构造来采集视频图像或摄影图像且将所述图像转换成电子信号的任何装置。举例而言，所述图像采集装置102可以是产生车辆路径的数字图像的数字相机。所述图像采集装置102可以安装至车辆的前部或后部。以此方式，所述图像采集装置102可以采集车辆路径在所述车辆的前面和后面的图像。因此，所述障碍物检测系统100可以在车辆正在向前或倒退移动时检测所述车辆路径中的障碍物。由图像采集装置102采集的图像可以是彩色或灰度的。在所示实施例中，障碍物检测系统100被构造来处理如下文进一步讨论的灰度图像。
输出装置104可以是被构造来响应接收提醒信号而警告驾驶员在车辆路径中存在障碍物的任何装置。举例而言，所述输出装置104可以是例如车辆音频系统的扬声器、安装在车辆中的娱乐单元的扬声器等等。所述输出装置104还可以是视觉装置，所述视觉装置使用例如闪光灯或视觉显示器在视觉上警告驾驶员障碍物的存在。所述输出装置104还可以是例如提供触觉提醒给驾驶员的触觉装置，例如在方向盘或座位中的振动元件。图1中的障碍物检测系统100包括图像处理单元106和存储单元108。所述存储单元108可以存储由图像采集装置102采集的图像以及在障碍物识别和检测过程期间产生的其它信息和中间图像。如下文进一步阐述，存储单元108可以是任何适当计算机可读存储媒介。在本实施例中，所述图像处理单元106包括用于在车辆路径的图像帧中识别物体且检测障碍物的各种模块110-120。图1的实施例中的模块110-120与执行由所述模块提供以检测且识别障碍物的指令·的处理单元122信号连通。所述处理单元122可以是任何适当处理模块，其被构造来执行诸如例如指令或代码，诸如例如中央处理单元(CPU)、微控制器单元(MCU)、图形处理单元(GPU)和下文阐述的类似单元。在所示实施例中，图像处理单元106的模块110-120包括:校正图像帧中的任何失真的失真校正模块110 ;将彩色图像帧变换成灰度图像帧的灰度变换模块112 ;从图像帧中产生边缘图像的图像分割模块114 ;从边缘图像中建立二元图像的二元图像建立模块116 ；将二元图像中的斑点识别为潜在障碍物的斑点分析模块118 ;和验证潜在障碍物为车辆路径中的实际障碍物的验证模块120。下文额外参考在每个阶段示出图像处理结果的图2A-F讨论所述图像处理模块110-120。所述障碍物检测系统100从图像采集装置102接收图像帧。在一些情况中，图像帧可以包括源自图像采集装置102的镜头的失真。在镜头失真发生时，图像帧中的物体的垂直边缘由于镜头失真而无法在图像帧中真实地呈现为垂直。在本实施例中，所述物体检测系统100被构造来检测从道路表面升起的物体，即，具有与道路表面相对正交的垂直边缘的物体。结果，所述障碍物检测系统100包括失真校正模块110以校正由图像采集装置102的镜头造成的垂直边缘的任何失真。所述失真校正模块110使用与图像采集装置102相关的失真校正系数来校正任何失真。可以使用常规校准方法导出所述失真校正系数。对于针孔相机模型，举例而言，可以使用用于将三维(3D)坐标投影至相对所述相机为固定的二维(2D)图像平面上的方程式来求解失真系数。以下透视变换可用来将3D坐
标(x，y，z)投影至图像平面上’丨I其中(X，Y，Z)是三维空间中的点的3D坐
标。图像平面中的对应特征点(U，V)可由以下方程式给出:u = fxx' +Cj^Pt =fyy' +Cx。在这些方程式中，fx和fy是像素有关单位的焦距；(cx，cy)是诸如例如图像的中心的主点；并且 X' =x/z 且 y' = y/zo径向失真和正切失真是可能发生的两种类型的镜头失真。为了说明径向和正切失真，可将以上方程式修改成包括径向失真系数和正切失真系数。其中h和k2是径向失真系数且P1和P2是正切失真系数，以下实施例方程式可用于3D点至2D图像平面上的透视变换:u = fxx' +(3!￡且￥ = ;^/ +cx。在这些方程式中，X' =X' (1+^Γ2+^Γ4) +2^)^' y1 +p2(r2+2x' 2);y"=y" (l+kir2+k2r4)+Pl (r2+2y/ 2)+2p2x' j' ;r2 = x' 2+y' 2 = x/Z ;且 y' = y/zo在本实施例方程式中，如果3D坐标(X，y, z)和对应特征点(U，V)已知，那么可以求解失真系数G^k2)和(Pl，p2)。举例而言，可以通过采集三维空间中的黑与白棋盘的图像，并且确定哪个3D点对应于图像平面中的特征点(例如，棋盘中的隅角)而获得图像平面中的三维点和对应特征点。在所示实施例中，障碍物检测系统110还被构造来处理车辆路径的灰度图像帧。在一些情况中，图像采集装置102可以为障碍物检测系统100提供图像帧作为彩色图像帧。结果，图1的障碍物检测系统100包括将彩色图像帧变换成灰度图像帧的灰度变换模块112。应当了解所述灰度变换模块112可以将原始彩色图像帧转换成灰度图像帧，或是可选地，产生新的且对应于所述彩色图像帧的灰度图像帧。如本申请中所使用，灰度图像是由各种灰色阴影组成的单色(例如，黑与白)图像。所述灰度变换模块112通过将彩色像素信息转换成强度像素信息(例如，0-1，其中O表示全黑，I表示全白，且O与I之间的值对应于各个色调的灰)而从彩色图像帧中消除颜色，因此将所述彩色图像帧变换成灰度图像帧。一旦障碍物检测系统100获得车辆路径的灰度图像帧，所述障碍物检测系统就可以处理所述灰度图像以在所述图像中识别物体并且检测障碍物。图2A是校正任何镜头失真的实施例灰度图像帧200。如实施例图像帧200中所见，行人202、树木204和厢车206在图像帧中且表示车辆路径中的潜在障碍物。所述障碍物检测系统100首先使用图像分割模块114将灰度图像200转换成边缘图像。所述图像分割模块114执行灰度图像帧200的基于多尺度积分图像的分割。参考图3，在本实施例中 ， 图像300是像素302的二维栅格。在图像300中，对于每个像素P，图像分割模块114使具有高度和宽度h的正方形304定中心在像素P的周围。如图3所见，所述图像分割模块114将hXh正方形304分成两个矩形，矩形A和矩形B。每个矩形具有高度h和宽度l/2h。此外，矩形A和矩形B可对应于(x，y)坐标系统，使得每个矩形中的像素可以由Ge' ,1’ )坐标对描述。因此，坐标X对应于矩形中沿其具有l/2h的最大值的宽度的点，且坐标y对应于所述矩形中沿其具有h的最大值的高度的点。在像素P靠近图像的边界使得正方形304落在图像边界外面的情况中，边缘图像中的对应像素在一些实现中可设置成零。图像分割模块114计算矩形A中每个像素的值的和SA，以及矩形B中每个像素的值的和SB。应当了解灰度图像帧200可以具有像素映射，其中像素坐标从左边至右边增加(沿水平X轴)且从顶部至底部(沿垂直I轴)增加；然而，可以选择性采用其它惯例。以下公式可以用来计算矩形A和矩形B中的值的和:
[
权利要求
1.一种检测车辆路径中的物体的计算机实现方法，所述方法包括: 获得描绘所述车辆路径的图像帧； 产生对应于所述图像帧的边缘图像； 产生对应于所述边缘图像的二元图像； 识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点；和 根据所述二元图像中的所述斑点的分析确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。
2.根据权利 要求1所述的计算机实现方法，其还包括响应所述障碍物在所述车辆路径中的确定而产生提醒信号，使得在输出装置接收所述提醒信号会造成所述输出装置输出警
3.根据权利要求1所述的计算机实现方法，其中所述图像帧是彩色图像帧且还包括产生对应于所述彩色图像帧的灰度图像帧。
4.根据权利要求1所述的计算机实现方法，其还包括执行所述图像帧的基于多尺度积分图像的分割以产生所述边缘图像。
5.根据权利要求4所述的计算机实现方法，其中所述边缘图像包括像素栅格，个别像素具有像素值且还包括将所述边缘图像中的所述个别像素的像素值与预定像素值阈值相比较以产生所述二元图像。
6.根据权利要求5所述的计算机实现方法，其还包括: 对所述二元图像执行腐蚀形态学操作以缩小所述二元图像中的至少一个斑点；和 对所述二元图像执行膨胀形态学操作以扩大所述二元图像中的至少一个所述斑点。
7.根据权利要求6所述的计算机实现方法，其还包括对所述二元图像执行标记操作以识别所述二元图像中的一个或多个组件，使得每个组件包括所述二元图像中的一个或多个所述斑点且每个组件分别对应于所述图像中的所述物体之一。
8.根据权利要求7所述的计算机实现方法，其中所述二元图像包括像素栅格且所述二元图像中的每个组件具有总像素面积，所述方法还包括: 将所述二元图像中的每个组件的总像素面积与预定像素面积阈值相比较；且响应一个组件具有比所述预定像素面积阈值更小的总像素面积的确定而从所述二元图像中消除所述组件的斑点。
9.根据权利要求8所述的计算机实现方法，其还包括: 确定用于所述二元图像中的所述组件之一的椭圆使得所述椭圆的大小对应于所述组件的所述总像素面积； 产生对应于所述图像帧的俯视图像； 朝向俯视图像的焦点延长所述椭圆的轴以获得用于所述椭圆的延长部分； 确定所述延长部分通过所述焦点周围的预定区域；和 响应所述延长部分通过所述预定区域的确定而确定对应于用于所述椭圆的所述组件的所述图像帧中的所述物体是所述车辆路径中的障碍物。
10.根据权利要求1所述的计算机实现方法，其还包括调整所述图像帧以校正所述图像帧中的镜头失真。
11.一种用于检测车辆路径中的物体的系统，所述系统包括: 图像分割模块，其产生对应于图像帧的边缘图像，所述图像帧描绘所述车辆路径； 二元图像建立模块，其产生对应于所述边缘图像的二元图像； 斑点分析模块，其识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点；和 障碍物验证模块，其根据所述二元图像中的所述斑点的分析而确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。
12.根据权利要求11所述的系统，其中所述系统响应所述障碍物在所述车辆路径中的确定而产生提醒信号，使得在输出装置接收所述提醒信号会造成所述输出装置输出警告。
13.根据权利要求11所述的系统，其中所述图像帧是彩色图像帧且还包括产生对应于所述彩色图像帧的灰度图像帧的灰度变换模块。
14.根据权利要求11所述的系统，其中所述图像分割模块执行所述图像帧的基于多尺度积分图像的分割以产生所述边缘图像。
15.根据权利要求14所述的系统，其中: 所述边缘图像包括像素栅格，个别像素具有像素值；且 所述二元图像建立模块将所述边缘图像中的所述个别像素的像素值与预定像素值阈值相比较以产生所述二元图像。
16.根据权利要求15 所述的系统，其还包括斑点分析模块，所述斑点分析模块对所述二元图像执行腐蚀形态学操作以缩小所述二元图像中的至少一个斑点，且对所述二元图像执行膨胀形态学操作以扩大所述二元图像中的至少一个所述斑点。
17.根据权利要求16所述的系统，其中所述斑点分析模块对所述二元图像执行标记操作以识别所述二元图像中的一个或多个组件，使得每个组件包括所述二元图像中的一个或多个所述斑点且每个组件分别对应于所述图像中的所述物体之一。
18.根据权利要求17所述的系统，其中: 所述二元图像包括像素栅格； 所述二元图像中的每个组件具有总像素面积； 所述斑点分析模块将所述二元图像中的每个组件的所述总像素面积与预定像素面积阈值相比较；且 响应所述组件之一具有比所述预定像素面积阈值更小的总像素面积的确定，所述斑点分析模块从所述二元图像中消除所述组件的斑点。
19.根据权利要求18所述的系统，其中: 所述斑点分析模块确定用于所述二元图像中的所述组件之一的椭圆使得所述椭圆的大小对应于所述组件的所述总像素面积； 所述障碍物验证模块产生对应于所述图像帧的俯视图像； 所述障碍物验证模块朝向所述俯视图像的焦点延长所述椭圆的轴以获得用于所述椭圆的延长部分； 所述障碍物验证模块确定所述延长部分通过所述焦点周围的预定区域；和 响应所述延长部分通过所述预定区域的确定而确定对应于用于所述椭圆的所述组件的所述图像帧中的所述物体是所述车辆路径中的障碍物。
20.根据权利要求10所述的系统，其还包括调整所述图像帧以校正所述图像帧中的镜头失真的失真校正模块 。
全文摘要
本发明提供了一种检测车辆路径中的物体的计算机实现方法。获得描绘所述车辆路径的图像帧。产生对应于所述图像帧的边缘图像。还产生对应于所述边缘图像的二元图像。识别所述二元图像中分别对应于所述图像帧中的一个或多个物体的一个或多个斑点。根据所述二元图像中的所述斑点的分析确定所述图像帧中的所述物体之一是所述车辆路径中的障碍物。
文档编号G06K9/00GK103150543SQ20121026142
公开日2013年6月12日 申请日期2012年7月26日 优先权日2011年7月26日
发明者张燕昆, 洪初阳, N.韦里奇 申请人:哈曼(中国)投资有限公司