专利名称：：障碍物分割方法及装置的制作方法
技术领域：
：本发明涉及图像处理
技术领域：
，尤其涉及基于视觉的障碍物检测领域。
背景技术：
：在基于视觉的障碍物检测领域中，障碍物通常是指高于地面的立体物，其具有垂直特征。目前，基于单目视觉的障碍物分割主要包括基于特征分割算法和基于运动分割算法的两种方案。基于特征的障碍物分割方法，通常是利用障碍物的特征进行分割，需要预先获知所要分割的障碍物的特征，因此仅适用于特定类型障碍物的分割，如利用车底阴影、车灯等特征对车辆进行分割，利用对称性和颜色特征分割行人等。基于运动的障碍物分割方法，则需要多帧图像作为输入才能分割障碍物，适用范围受到局限。
发明内容有鉴于此，本发明提供一种障碍物分割方法及装置，以解决现有方案仅适用于特定类型障碍物分割的问题。为此，本发明实施例采用如下技术方案一种障碍物分割方法，用于从图像中划分出障碍物区域，包括对所述图像进行边缘检测和分块，获得多个边缘图像块；对各个边缘图像块进行直线检测，分别获得直线；对于每条直线，确定该直线对应于基准道路平面的线段方向，并按照所述线段方向确定该直线所在的边缘图像块为障碍物块；将确定的所有障碍物块按连通原则生成障碍物区域。该方法还包括对某个边缘图像块进行直线检测时，若未能检测到直线，则将该边缘图像块确定为非障碍物块。确定所述直线位于所述图像中的两个像素点Gl和G2;按照Gl和G2于所述图像中的坐标，根据摄像机成像公式，计算出Gl和G2对应的基准道路平面的世界坐标；根据G1和G2对应的世界坐标，确定直线对应于基准道路平面的线段方向。所述按照所述线段方向确定该直线所在的边缘图像块为障碍物块的具体过程为按照线段方向，确定所述直线两个端点对应于所述基准道路平面上的两点延长线与基准道路平面上X轴的交点距离；将所述交点距离与预先设定的阈值进行比较；若所述交点距离小于或等于所述阈值，则确定边缘图像块为障碍物块，否则，确定边缘图像块不是障碍物块。所述连通原则为8连通原则。一种障碍物分割装置，用于从图像中划分出障碍物区域，包括边缘检测单元，用于对所述图像进行边缘检测和分块，获得多个边缘图像块；直线检测单元，用于对各个边缘图像块进行直线检测，分别获得直线；线段方向确定单元，用于确定各个直线对应于基准道路平面的线段方向；障碍物块确定单元，用于按照所述线段方向确定各个边缘图像块为障碍物块；障碍物区所述线段方向确定单元包括像素点确定子单元，用于确定所述直线位于所述图像中的两个像素点G1和G2;世界坐标计算子单元，用于按照G1和G2于所述图像中的坐标，根据摄像机成像公式，计算出Gl和G2对应于基准道路平面的世界坐标；线段方向确定子单元，用于根据G1和G2对应的世界坐标，确定直线对应于基准道路平面的线段方向。所述障碍物块确定单元包括交点距离确定子单元，用于按照线段方向，确定所述直线两个端点对应于所述基准道路平面上的两点延长线与基准道路平面上X轴的交点距离；比较子单元，用于将所述交点距离与预先设定的阈值进行比较；障碍物块确定子单元，若所述交点距离小于或等于所述阈值，则确定边缘图像块为障碍物块，否则，确定边缘图像块不是障碍物块。本发明提出的障碍物分割方法及装置，适用于单帧图像，不限定障碍物的类型，能够实现任意类型障碍物的分割，适用范围更广。并且，由于该发明利用真实世界中障碍物垂直于道路平面、其在图像中的边缘所对应的道路平面线段延长线通过相机在路面的投影点或投影点附近邻域这一特征来判断其是否是障碍物块，因此产生的错误分割更少。图1为本发明障碍物分割方法流程图2为本发明实施例世界坐标系和相机坐标系示意图一；图3为本发明实施例世界坐标系和相机坐标系示意图二；图4为本发明实施例障碍物区域生成示意图5为本发明障碍物分割装置内部结构示意图6a~图6d为本发明应用实例示意图。具体实施例方式本发明提供一种障碍物分割方法，用于从图像中划分出障碍物区域，参见图1，该方法包括以下步骤S101:对所述图像进行边缘^r测和分块，获得多个边缘图像块；S102:对各个边缘图像块进行直线检测，是否均获得直线，对于获得直线的，执行S103,否则，确定该边缘图像块为非障碍物块，结束流程；S103:对于每条直线，确定该直线对应于基准道路平面的线段方向；S104:按照所述线段方向确定该直线所在边缘图像块为障碍物块；S105:在对所有直线所在边缘图像块都进行了判断是否为障碍物块后，将确定的所有障碍物块按照连通原则划定为障碍物区域。其中，对于某个图像，其基准道路平面是根据具体图像确定的，一般为地平面。其中，所述连通原则是指，对于某个障碍物块，将它与其相邻的其他障碍物块一起连通，统一划定为障碍物区域。可见，本发明关键在于通过直线对应于基准道路平面中的线段方向确定障碍物块，也即利用障碍物的垂直边缘特征在真实世界中对应的道路平面的线段方向确定障碍物区域，能够实现任意类型障碍物的分割，适用范围广泛。下面结合示意图，以一个具体实施例对本发明障碍物分割方法进4亍具体说明。该实施例包括以下步骤步骤l:边缘4全测。将输入图像分成K个MxN大小的子图像，对每个子图像做Sobel(索贝尔)垂直边缘检测得到边缘子图像，将得到的边缘子图像按子图像在输入图像中的位置拼成输入图像的边缘图像。步骤2:直线4全测。将步骤1所获得的边缘图^f象分成若干nxm小块(其中n，m均为自然数，n表示行数，m表示列数)，对每个子边缘图像块进行直线检测，并记录所检测到的所有直线的端点及直线上边缘点的个数LineNum。常见的直线检测方法有Hough变换、链码等。优选采用Hough变换。简言之，Hough变换思路为在原始图像坐标系下的一个点对应了参数坐标系中的一条直线，同样参数坐标系的一条直线对应了原始坐标系下的一个点，然后，原始坐标系下呈现直线的所有点，它们的斜率和截距是相同的，所以它们在参数坐标系下对应于同一个点。这样在将原始坐标系下的各个点投影到参数坐标系下之后，看参数坐标系下有没有聚集点，这样的聚集点就对应了原始坐标系下的直线。对于Hough变换、链码等直线4全测方法都为现有技术，此处不详细讨论。步骤确定直线对应的道路平面线段的方向。建立如图2所示世界坐标系和相机坐标系。假设步骤2中某小块图像中检测到的直线中的第z'条直线的两个端点的图像坐标为/^,，c^),/2(r,2,c,2)。假设这两个图像点是真实世界中立体物的两个端点S和A所成的像，q为光心o与p,的连线与道路平面的交点。我们由如下方法可以计算出道路平面上的点(^和(2的世界坐标。其计算过程如下以图像中某一像素点P(r,c)为例，r,c分别为该点在图像中的行坐标和列坐标(已知)，P是道路平面上点a(Z『,^,Z『)的所成的像点。根据摄像机成像公式<table>tableseeoriginaldocumentpage8</column></row><table>其中，已知^=摄像机高度，a,s,"。,v。是相机内部参数，均可由相机标定获得。Zc是^在摄像机坐标系中Z轴的坐标。cos/cos々cosysin/sin"—sin7cos"cos;ksin/cos"+sinysin"、i=sinycos"cos"cos;k+sin/sin>^sin"sin/sin/cos"—cos;ksin"—sin々cos々sin"cos"cos"为旋转矩阵，",Ar分别是摄像机坐标系绕世界坐标系x,y,z轴的旋转角。平移向量,=，7;,rv,rz为摄像机坐标系原点在世界坐标系下的位置:在本实施例中，t;=o，7;=相机高度，rz=o。由公式1可知，当图像坐标(r,c)已知，相机高度已知己即i;已知时，公式l中有三个方程，三个未知数(ze,zw,zw)，因此，可以求得该图像点p对应的道路平面点p。的世界坐标。另外，由成像原理可知，当障碍物完全垂直于路面(即i^^垂直于路面)时，相机光心o与《的连线与道路平面的交点q与障碍物与路面的交点g2的连线的延长线通过世界坐标系的原点O'。考虑到实际的障碍物可能并非严格垂直于道路平面，因此，上述延长线与Z轴的交点^并非一定通过0,但交点O,与o的距离会在一个有限的范围内，即延长线的方向是向着o的，如图3所示。为此，按如下方式确定图3中直线对应于道路平面中延长线《《的方向由公式l可求出(^和^的世界坐标分别为(d，:^，zj和(x,2,;^，z,2),则两点决定的直线与世界坐标系X轴的交点为0,(《。,0,0),则可知"1z_z步骤4:障碍物块判断。当子边缘图像块满足如下条件时，则该块为障碍物块该块中有直线，且至少有一条直线两个端点在真实世界中对应的道路平面上的两点的延长线与X轴的交点o,与。的距离小于预先设定阈值。步骤5:障碍物区域生成。将步骤4中的图像块按连通原则生成候选障碍物区域，优选地，按照8连通原则，即如果某块被认为是候选障碍物，且该块的8邻域相邻的某块或某几块同样为候选障碍物，则该块与8邻域相邻的某块或某几块共同构成一个障碍物的区域。其中8邻域为与该块相邻的周围8个块，如图4所示，8个空白块为填充块的8邻域。与上述方法相对应，本发明还提供一种障碍物分割装置。该装置可以通过软件、硬件或软硬件结合方式实现。参见图5,为该装置内部结构示意图。该装置包括边續J险测单元501、直线检测单元502、线l殳方向确定单元503、障碍物块确定单元504以及障碍物区域划分单元505,其中边缘检测单元501，用于对所述图像进行边缘检测和分块，获得多个边缘图像块；直线检测单元502,用于对边缘检测单元501获得的各个边缘图^f象块进行直线检测，分别获得直线；线段方向确定单元503,用于确定直线;险测单元502获得的各个直线对应于基准道路平面的线段方向；障碍物块确定单元504,用于按照线段方向确定单元503确定的线段方向判断各个边缘图像块是否为障碍物块；障碍物区域划分单元505,用于将所述障碍物块确定单元504确定的所有障碍物块按照连通原则划定为障碍物区域。其中，线段方向确定单元503进一步包括像素点确定子单元5031,用于确定所述直线位于所述图像中的两个像素点Gl和G2;世界坐标计算子单元5032，用于按照Gl和G2对应于所述图像中的坐标，根据摄像机成像公式，计算出Gl和G2对应于基准道路4'面的世界坐标；具体地，摄像机成像公式为<formula>formulaseeoriginaldocumentpage10</formula>-公式1其中，以求得Gl世界坐标为例已知^=摄像机高度，ax，"y,w。，vQ是相才几内邵参凄吏，均可由相才几标定获4寻c4是Gl在才聂4象^L坐标系中Z轴的坐标。<formula>formulaseeoriginaldocumentpage10</formula>为旋转矩阵，",/,r分别是摄^^几坐标系绕世界坐标系x，y,z轴的旋转角平移向量<formula>formulaseeoriginaldocumentpage10</formula>为摄像机坐标系原点在世界坐标系下的位置:在本实施例中，7;=o,7;=相机高度，rz=o。由公式l可知，当图像坐标(r,c)已知，相机高度已知己即i;已知时，公式l中有三个方程，三个未知数(ze,xw,zw),因此，可以求得图像点Gi对应的道路平面点的世界坐标。G2同理。线段方向确定子单元5033，用于根据G1和G2的世界坐标，确定直线对应于基准道路平面的线段方向。具体地，由公式l可求出G,和(^的世界坐标分别为(;^,;^，Zd)和(jr,2,:^,z,2),则两点决定的直线与世界坐标系X轴的交点为q(1,。,0,0),则可知障碍物块确定单元504进一步包括交点距离确定子单元5041,用于按照线段方向，确定所述直线两个端点对应于所述基准道路平面上的两点延长线与基准道路平面上X轴的交点距离；比较子单元5042,用于将所述交点距离与预先设定的阔值进行比较；障碍物块确定子单元5043，若所述交点距离小于或等于所述阈值，则确定边缘图像块为障碍物块，否则，确定边缘图像块不是障碍物块。另外，边缘检测单元501可采用Sobel方法对图像进行边缘检测；直线^r测单元502可采用Hough变换或链码方法对边缘图像块进行直线检测；障碍物区域划分单元505可按照连通原则将所述障碍物块与相邻区域块划定为障碍物区域。本发明提出的障碍物分割方法及装置，适用于单帧图像，不限定障碍物的类型，能够实现任意类型障碍物的分割，产生的错误分割更少，适用范围更广。简单来说，本发明的应用即是给出一幅原始图像，需要分割出该图像中哪些区域可能包含障碍物。所附实验结果图即为具体应用场景。即给出一幅原始图像(图6a),通过边*|^企测(图6b)、直线检测(图6c),直线对应的道路平面线段方向计算和障碍物判断步骤，产生如图6d所示障碍物区域。本实例仅处理了消失线以下部分图像，"消失线"也就是"地平线"。本领域普通技术人员可以理解，实现上述实施例的方法的过程可以通过程序指令相关的硬件来完成，所述的程序可以存储于可读取存储介质中，该程序在执行时执行上述方法中的对应步骤。所述的存储介质可以如ROM/RAM、磁碟、光盘等。以上所述仅是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。权利要求1、一种障碍物分割方法，用于从图像中划分出障碍物区域，其特征在于，包括对所述图像进行边缘检测和分块，获得多个边缘图像块；对各个边缘图像块进行直线检测，分别获得直线；对于每条直线，确定该直线对应于基准道路平面的线段方向，并按照所述线段方向确定该直线所在的边缘图像块为障碍物块；将确定的所有障碍物块按连通原则生成障碍物区域。2、根据权利要求l所述方法，其特征在于，还包括对某个边缘图像块进行直线检测时，若未能检测到直线，则将该边缘图像块确定为非障碍物块。3、根据权利要求l所述方法，其特征在于，所述确定该直线对应于基准道路平面的线段方向的具体过程为确定所述直线位于所述图像中的两个^f象素点Gl和G2;按照G1和G2于所述图像中的坐标，根据摄像机成像公式，计算出G1和G2对应的基准道路平面的世界坐标；根据Gl和G2对应的世界坐标，确定直线对应于基准道路平面的线段方向。4、根据权利要求l、2或3所述方法，其特征在于，所述按照所述线段方向确定该直线所在的边缘图像块为障碍物块的具体过程为按照线段方向，确定所述直线两个端点对应于所述基准道路平面上的两点延长线与基准道路平面上X轴的交点距离；将所述交点距离与预先设定的阈值进行比较；若所述交点距离小于或等于所述阈值，则确定边缘图像块为障碍物块，否则，确定边缘图像块不是障碍物块。5、根据权利要求l、2或3所述方法，其特征在于，所述连通原则为8连通原则。6、一种障碍物分割装置，用于从图像中划分出障碍物区域，其特征在于，包括边缘检测单元，用于对所述图像进行边缘检测和分块，获得多个边缘图像块；直线检测单元，用于对各个边缘图像块进行直线检测，获得直线；线段方向确定单元，用于确定对于每条直线对应于基准道路平面的线段方向；障碍物块确定单元，用于按照各个直线的线段方向确定各个边缘图像块为障碍物块；障碍物区域划分单元，用于将确定的所有障碍物块:^要照连通原则划定为障碍物区域。7、根据权利要求6所述装置，其特征在于，所述线4殳方向确定单元包括像素点确定子单元，用于确定所述直线位于所述图像中的两个像素点Gl和G2;世界坐标计算子单元，用于按照G1和G2于所述图像中的坐标，根据摄像机成像公式，计算出Gl和G2对应于基准道路平面的世界坐标；线段方向确定子单元，用于根据G1和G2对应的世界坐标，确定直线对应于基准道路平面的线段方向。8、根据权利要求6或7所述装置，其特征在于，所述障碍物块确定单元包括交点距离确定子单元，用于按照线段方向，确定所述直线两个端点对应于所述基准道路平面上的两点延长线与基准道路平面上X轴的交点距离；比较子单元，用于将所述交点距离与预先设定的阈值进行比较；障碍物块确定子单元，若所述交点距离小于或等于所述阈值，则确定边缘图像块为障碍物块，否则，确定边缘图像块不是障碍物块。全文摘要本发明公开了一种障碍物分割方法及装置，用于从图像中划分出障碍物区域，其中方法包括以下步骤对所述图像进行边缘检测和分块，获得多个边缘图像块；对各个边缘图像块进行直线检测，分别获得直线；对于每条直线，确定该直线对应于基准道路平面的线段方向，并按照所述线段方向确定边缘图像块为障碍物块；将确定的所有障碍物块按照连通原则划定为障碍物区域。本发明适用于单帧图像，不限定障碍物的类型，能够实现任意类型障碍物的分割，适用范围更广，并且产生的错误分割更少。文档编号G06K9/00GK101436300SQ20081018579公开日2009年5月20日申请日期2008年12月10日优先权日2008年12月10日发明者威刘,张莹莹,段勃勃,淮袁申请人:东软集团股份有限公司