基于三维点云分割的双目视觉障碍物检测方法
【专利摘要】本发明提供一种基于三维点云分割的双目视觉障碍物检测方法，包括同步采集两个相同规格的摄像机图像；对双目摄像机进行标定校正并计算三维点云分割阈值；用立体匹配算法和三维重构计算得到三维点云，对基准图做图像分割得到图块；自动检测三维点云的路面高度，利用三维点云分割阈值分割出路面点云、不同位置的障碍物点云和未知区域点云；利用分割得到的点云结合分割后的图块，判决障碍物和路面的正确性，确定障碍物、路面和未知区域的位置范围。本发明在较复杂的环境中仍可检测摄像机与路面高度并自动估算三维分割的阈值，分割出障碍物点云、路面点云和未知区域点云；结束彩色图像分割技术，融合颜色信息判决障碍物和路面的正确性，确定障碍物、路面和未知区域的位置范围，实现高鲁棒性的障碍物检测，具有更高的可靠性和实用性。
【专利说明】基于三维点云分割的双目视觉障碍物检测方法
【技术领域】
[0001]本发明涉及自主移动机器人和自动驾驶等基于双目立体视觉障碍物自动检测领域，具体是基于三维点云分割的双目视觉障碍物检测方法。
【背景技术】
[0002]双目立体视觉是计算机视觉的一个重要分支，这种视觉直接模拟人类双眼处理景物的方式，简便可靠，在许多领域均极具应用价值，如机器人导航与航测、三维测量、智能交通及虚拟现实等。双目立体视觉是由不同位置的两台或者一台摄像机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。在自主移动机器人和自动驾驶等领域的研究中，最基本条件是要求机器人或自动驾驶车配备有视觉装置。该视觉系统应能完成类似人眼的基本功能，为路径的规划提供可靠的视觉信息。障碍物的目标检测和距离信息的获取是自主移动机器人和自动驾驶中的关键部分。基于双目立体视觉的障碍物检测的关键在于:(1)双目图像对的立体匹配，计算三维点云；(2)障碍物目标的提取，即识别出障碍物位置和大小。通常自主移动机器人和自动驾驶等应用环境复杂，受光学失真和噪声、平滑表面的镜面反射、投影缩减、透视失真、低纹理、重复纹理、透明物体和重叠和非连续区域因素的影响，无法保证通过立体匹配计算可得到稠密的视差图。另外，在复杂的道路环境下，仅依靠道路颜色经验值或道路边线检测来对单幅图像道路检测的正确性不高，无法直接应用到实际场合中。
[0003]随着对机器视觉的不断深入研究，目前已有不少高效且能获得较稠密视差图的立体匹配算法应用到实际场景当中，如三维重建、智能交通、智能检测等。图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程，它是由图像处理到图像分析的关键步骤。研究人员已不断改进原有的彩色图像分割方法并把其它学科的一些新理论和新方法用于图像分割，提出了不少新的适应特定场合的分割方法。
【发明内容】
[0004]本发明的目的是要提供一种基于三维点云分割的双目视觉障碍物检测方法，该方法在三维点云上初步分割出路面点云和高于地面的障碍物点云，再结合彩色图像分割算法融合判决，最终确定障碍物。
[0005]实现本发明目的的技术方案是:
[0006]一种基于三维点云分割的双目立体视觉的障碍物自动检测方法，包括如下步骤:
[0007](I)通过不同位置的两台摄像机获取两路彩色图像，利用立体标定方法对双目摄像机进行标定，计算两个摄像机的内外参数和相对位置关系，根据这些参数分别对两个摄像机进行消除畸变和行(或列)对准，使两路彩色图像的成像原点坐标一致，得到校正后的双目彩色视图。由传感器获取或预先确定摄像机相对路面的俯仰角和高度；
[0008](2)对步骤(I)校正后得到的双目彩色视图，选择其中一幅视图作为基准图。利用立体匹配算法对基准图进行匹配计算，得到初步的视差图。对基准图进行彩色图像分割，得到颜色相近的图块。根据步骤(I)获得的摄像机相对路面位置关系数据，计算点云分割的阈值，包括在一定精度下可检测到障碍物的最近距离、最远距离、最大高度和最大宽度。
[0009](3)在步骤(2)计算得到的视差图后，利用步骤(I)计算得到两个摄像机相对位置关系数据(重投影矩阵)进行视差图三维重构，计算出三维点云。
[0010](4)根据步骤(I)获取的摄像机相对地面的位置数据，校正由步骤(3)计算得出的三维点云，使路面点云相对于摄像机的高度一致。
[0011](5)对步骤(4)校正后的三维点云进行检测出路面高度(路面相对摄像机的高度)，由步骤(2)计算的分割阈值分割出障碍物、路面和未知点云。
[0012](6)融合步骤(5)分割的点云和步骤(2)对基准图图像分割的图块，确定障碍物、路面和未知区域，并标记显示出来。
[0013]上述整个过程，所述的两个摄像机是始终保持同规格的，即像素、焦距、光圈等性能相同或接近，考虑到影响立体匹配计算的因素，尽量选择高清晰度的摄像机。两个摄像机的相对位置和焦距是固定的，即一经标定不再改变两摄像机的相对位置和焦距。两个摄像机相与路面的俯仰角度和高度可以固定，也可以变动。步骤(I)中两个摄像头的分辨率综合设备的计算性能而确定，通常可采用640x480或1027x768等分辨率。标定摄像机可采用人工标定、平面棋盘标定或圆(平面圆或平行圆)标定等，计算出切向畸变、径向畸变、焦距、成像原点、校正映射矩阵和重投影矩阵。校正映射用于校正两个摄像机的彩色视图，使两幅图像成像原点坐标一致，两摄像头光轴平行、左右成像平面共面、对极线行或列对齐。摄像机相对路面的位置包括俯仰角和高度，其中高度为可选项。
[0014]步骤(2)中所述选择的基准图是确定后续计算参考的主图像。目前立体匹配算法是计算机视觉中的一个难点和热点，算法有很多种，一般的步骤有匹配代价计算、匹配代价叠加、视差获取、视差细化(亚像素级)，匹配策略有局部算法和和全局算法。综合设备的计算性能和精确度要求，选择合适的立体匹配算法，高效快速地计算出较稠密的视差图。彩色图像分割即对彩色图像按颜色信息进行图像分割。根据两个摄像机的相对距离和基准摄像机的焦距可以确定在可接受精度下可检测的障碍物离摄像机最近距离、离摄像机最远距离、最大高度和最大宽度。
[0015]步骤(3)所述的三维点云由视差图利用步骤(I)计算得到的重投影矩阵三维重构计算后得到。视差图是以图像对中任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像，包含了场景的距离信息。
[0016]步骤(4)所述根据摄像机相对地面的俯仰角度旋转三维点云，使路面点云相对于摄像机的高度一致。
[0017]步骤(5)所述根据步骤(2)检测的最大高度或步骤(I)获得的高度分割三维点云，得到路面点云；根据步骤(2)检测的障碍物离摄像机最近距离和离摄像机最远距离，分割三维点云得到离摄像机不同距离范围的障碍物点云和未知区域点云；根据步骤(2)检测的最大宽度分割离摄像机不同距离范围的障碍物点云，得到不同位置的障碍物点云。这一步骤即分割出障碍物点云、路面点云和未知区域点云，未区域点云是由一些匹配计算错误的点云和精度较差的点云构成。
[0018]步骤(6)所述融合步骤(5)分割的点云和步骤(2)对基准图图像分割的图块，即将步骤(2)彩色图像分割得到的图像块与障碍物点云和路面点云比较，判决障碍物和路面的正确性和区域范围。
[0019]所述双目摄像机标定:标定包括摄像机标定和立体标定。摄像机标定主要计算出切向畸变、径向畸变、焦距和光学中心。立体标定是计算空间上两台摄像机几何关系的过程，依赖于查找两台摄像机之间的旋转矩阵和平移向量；所述双目校正:摄像机需要矫正和立体校正，矫正是消除切向和径向畸变。立体校正是由于两台摄像机几乎不可能有准确的共面和行对准的成像平面，需要通过立体的标定两个摄像机之间的旋转矩阵和平移向量校正；
[0020]所述双目匹配与视差计算:立体匹配主要是通过找出每对图像间的对应关系，根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度信息和三维信息。立体匹配技术被普遍认为是立体视觉中最困难也是最关键的问题，目前立体匹配算法是计算机视觉中的一个难点和热点，算法很多，一般计算的步骤为:匹配代价计算，匹配代价叠加，视差获取，视差细化；
[0021]所述自动估算分割阈值:在允许的最小深度精度范围内，根据摄像机的分辨率和立体标定得到的两摄像机间距离、焦距计算出障碍物离摄像机的最近距离、离摄像机最远距离、最大高度和最大宽度。进而在允许的精度范围内计算出障碍物前后和左右之间的间隔、障碍物高度误差范围。
[0022]所述三维点云路面高度检测:对三维重构得到的三维点云进行路面高度检测，满足设定误差的高度视为路面高度。在第一次检测路面高度时误差可能会较大，进行多次迭代检测后，路面高度的检测精确度趋向稳定，并随着近几次的高度检测值更新而更新。
[0023]所述三维点云分割:在三维重构得到较稠密的三维点云后，根据摄像机相对地面的俯仰角度旋转三维点云，使三维点云上路面点云与摄像机处于同一高度。由障碍物离摄像机的最近距离、离摄像机最远距离、最大高度、最大宽度、路面点云高度和障碍物高度误差，分割三维点云得到路面点云、障碍物点云和未知区域点云；由障碍物前后和左右之间的间隔，分割障碍物点云得到各个位置的障碍物点云；未知区域点云是由一些匹配计算错误的点云和精度较差的点云构成。
[0024]所述三维点云融合颜色信息检测障碍物:三维点云融合颜色信息即对三维点云分割得到不同位置的障碍物点云、路面点云和未知区域点云，对彩色基准图进行按颜色图像分割得到图像块，将分割得到的点云与分割得到的图像块融合对比，判决障碍物和路面的正确性，确定障碍物、路面和未知区域的位置范围，实现高可靠性的障碍物检测。
[0025]本发明的优点是:与现有技术相比，本发明在较复杂的环境中三维重构较稠密的三维点云，在摄像机与路面成一定俯仰角下仍可检测摄像机与路面高度并自动估算三维分割的阈值，分割出障碍物点云、路面点云和未知区域点云；结束彩色图像分割技术，融合颜色信息判决障碍物和路面的正确性，确定障碍物、路面和未知区域的位置范围；相比单图像依靠经验检测路面障碍物的方法，具有更高的可靠性和实用性。
【专利附图】
【附图说明】
[0026]图1为基于三维点云分割的双目视觉障碍物检测方法原理图。
[0027]图2为双目立体成像原理图。【具体实施方式】
[0028]基于三维点云分割并融合颜色信息的障碍物自动检测方法，如图1所示，包括以下步骤:
[0029]步骤一:通过不同位置的两台摄像机获取两路彩色图像，利用立体标定方法对双目摄像机进行标定，计算两个摄像机的内外参数和相对位置关系，根据这些参数分别对两个摄像机进行消除畸变和行(或列)对准，使两路彩色图像的成像原点坐标一致，得到校正后的双目彩色视图。由传感器获取或预先确定摄像机相对路面的俯仰角和高度。两个摄像机的相对位置和焦距是固定的，即一经标定不再改变两摄像机的相对位置和焦距。两个摄像机相与路面的俯仰角度和高度可以固定，也可以变动。
[0030]两个摄像头的分辨率综合设备的计算性能而确定，通常可采用640x480或1027x768等分辨率。标定摄像机可采用人工标定、平面棋盘标定或圆(平面圆或平行圆)标定等，计算出切向畸变、径向畸变、焦距、成像原点、校正映射矩阵和重投影矩阵。校正映射用于校正两个摄像机的彩色视图，使两幅图像成像原点坐标一致，两摄像头光轴平行、左右成像平面共面、对极线行或列对齐。摄像机相对路面的位置包括俯仰角和高度，其中高度为可选项。
[0031]在本发明中，两个摄像机是始终保持同规格的，即像素、焦距、光圈等性能相同或接近，考虑到影响立体匹配计算的因素，尽量选择高清晰度的摄像机。
[0032]现举例使用平面棋盘标定方法标定左右水平放置好的双目摄像机。调整好双目摄像机并米集到两路RGB图像后，利用η彳丁 m列黑白格棋盘对其标定(η和m大于4),摄像头由于光学透镜的特性使得成 像存在着径向畸变:
[0033]xcorrected=x (I +kZ+ky+kf6) (I)
[0034]ycorrected=y (I +k^+k^+k^)
[0035]公式中(x，y)为获取的原始图像像素，(xM?ec;ted，yeOTec;tJ为校正径向畸变的图像像素，参数k” k2, k3为径向畸变参数；
[0036]由于在工艺上,装配成像传感器和镜头时存在误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变:
[0037]Xcorrected=X+ [2ρ!Υ+ρ2 (r2+2x2) ] (2)
[0038]ycorrected=y+ [P1 (r2+2y2) +2p2x]
[0039]公式中(x，y)为获取的原始图像像素，(xM?ec;ted，yeOTec;tJ为校正切向畸变的图像像素，参数P1, P2为切向畸变参数；单个摄像机的定标主要是计算出摄像机的内参以及外参。双目摄像机定标不仅要得出每个摄像机的内部参数，还需要通过立体标定来测量两个摄像机之间的相对位置(三维平移向量和旋转矩阵)。
[0040]双目校正是根据摄像机定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐，便于立体匹配的计算。
[0041]步骤二:对步骤一校正后得到的双目彩色视图，选择其中一幅视图作为基准图。利用立体匹配算法对基准图进行匹配计算，得到初步的视差图。对基准图进行彩色图像分割，得到颜色相近的图块。根据步骤一获得的摄像机相对路面位置关系数据，计算点云分割的阈值，包括在可接受精度下可检测的最近距离、最远距离、最大高度和最大宽度。
[0042]现利用Heiko Hirschmiiller提出的SGBM立体匹配算法并加以优化，以左视图为基图进行匹配，计算得到初步的视差图。立体匹配算法包括以下几个步骤:首先进行匹配代价计算，
[0043]C (P, d) =C (X，y, d) =Cbt (pLi, pLi+d, T L, I E)
[0044]=max{0, IL(pLi)- max, I; ‘込(PLi)} (3)
[0045]等式(3)中，d为视差。
[0046]匹配代价叠加如下式:
【权利要求】
1.基于三维点云分割的双目视觉障碍物检测方法，其特征是:包括如下步骤: (1)通过不同位置的两台摄像机获取两路彩色图像，利用立体标定方法对双目摄像机进行标定，计算两个摄像机的内外参数和相对位置关系，根据这些参数分别对两个摄像机进行消除畸变和行或列对准，使两路彩色图像的成像原点坐标一致，得到校正后的双目彩色视图，由传感器获取或预先确定摄像机相对路面的俯仰角和高度； (2)对步骤(1)校正后得到的双目彩色视图，选择其中一幅视图作为基准图，利用立体匹配算法对基准图进行匹配计算，得到初步的视差图；对基准图进行彩色图像分割，得到颜色相近的图块；根据步骤(1)获得的摄像机相对路面位置关系数据，计算点云分割的阈值，包括在一定精度下可检测障碍物的最近距离、最远距离、最大高度和最大宽度； (3)在步骤(2)计算得到的视差图后，利用步骤(1)计算得到两个摄像机相对位置关系数据(重投影矩阵)进行视差图三维重构，计算出三维点云； (4)根据步骤(1)获取的摄像机相对地面的位置数据，校正由步骤(3)计算得出的三维点云，使三维点云中路面点云相对于摄像机处于同一高度； (5)对步骤(4)校正后的三维点云进行检测出路面高度(路面相对摄像机的高度)，由步骤(2)计算的分割阈值分割出障碍物、路面和未知点云； (6)融合步骤(5)分割的点云和步骤(2)对基准图图像分割的图块，确定障碍物、路面和未知区域，并标记显示出来。
2.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法，其特征是:所述双目摄像机是由两个同规格的像机组合在一起的双路视频设备，可根据需要获取不同的图片像素，处理方法为原始RGB三通道彩色图片。
3.根据权利要求1或2所述基于三维点云分割的双目视觉障碍物检测方法，其特征是:所述自动检测三维分割阈值方法，是根据摄像机的分辨率和立体标定数据，计算出在一定精度下可检测障碍物的最近距离、最远距离、最大高度、最大宽度和分割阈值。
4.根据权利要求1和3所述基于三维点云分割的双目视觉障碍物检测方法，其特征是:所述利用三维点云进行检测出路面高度，是利用循环迭代的方法提高检测路面高度的准确性，同时在假设高于路面的物体为障碍物下，由路面高度和三维点云分割阈值分割出不同位置的障碍物点云、路面点云和未知区域点云。
5.根据权利要求1和4所述基于三维点云分割的双目视觉障碍物检测方法，其特征是:所述的障碍物、路面和未知区域的获得，是利用步骤(5)分割得到的三维点云结束图像分割后的图像块确定，并标记显示出来。
6.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法，其特征是:所述双目摄像机标定:标定包括摄像机标定和立体标定； 摄像机标定主要计算出切向畸变、径向畸变、焦距和光学中心； 立体标定是计算空间上两台摄像机几何关系的过程，依赖于查找两台摄像机之间的旋转矩阵和平移向量； 双目校正:摄像机需要矫正和立体校正，矫正是消除切向和径向畸变； 立体校正是由于两台摄像机几乎不可能有准确的共面和行对准的成像平面，需要通过立体的标定两个摄像机之间的旋转矩阵和平移向量校正。
7.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法，其特征是:所述双目匹配和视差计算:立体匹配主要是通过找出每对图像间的对应关系，根据三角测量原理，得到视差图；在获得了视差信息后，根据投影模型很容易地可以得到原始图像的深度息和二维息; 立体匹配技术被普遍认为是立体视觉中最困难也是最关键的问题，目前立体匹配算法是计算机视觉中的一个难点和热点，算法很多，但是一般的步骤是:匹配代价计算，匹配代价叠加，视差获取，视差细化。
8.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法，其特征是:所述自动估算分割阈值:在允许的最小深度范围精度内，根据摄像机的分辨率和立体标定得到的两摄像机间距离、焦距计算出离摄像机的最近距离、离摄像机最远距离、最大高度和最大宽度，进而在允许的精度范围内计算出障碍物前后和左右之间的间隔、障碍物高度误差范围。
9.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法，其特征是:所述三维点云路面高度检测:对三维重构得到的三维点云进行路面高度检测，满足设定误差的高度视为路面高度；在第一次检测路面高度时误差可能会较大，进行多次迭代检测后，路面高度的检测精确度趋向稳定，并随着近几次的高度检测值更新而更新。
10.根据权利要求1所述的基于三维点云分割的双目视觉障碍物检测方法，其特征是: 所述三维点云分割:在三维重构得到较稠密的三维点云后，根据摄像机相对地面的俯仰角度旋转三维点云，使三维点云上路面点云与摄像机处于同一高度； 由障碍物离摄像机的最近距离、离摄像机最远距离、最大高度、最大宽度路面、点云高度和障碍物高度误差，分割三维点云得到路面点云、障碍物点云和未知区域点云；由障碍物前后和左右之间的间隔，分割障碍物点云得到各个位置的障碍物点云；未知区域点云是由一些匹配计算错误的点云和精度较差的点云构成； 三维点云融合颜色信息检测障碍物:三维点云融合颜色信息即对三维点云分割得到不同位置的障碍物点云、路面点云和未知区域点云，对彩色基准图进行按颜色图像分割得到图像块，将分割得到的点云与分割得到的图像块融合对比，判决障碍物和路面的正确性，确定障碍物、路面和未知区域的位置范围，实现高可靠性的障碍物检测。
【文档编号】G06T7/00GK103955920SQ201410146864
【公开日】2014年7月30日 申请日期:2014年4月14日 优先权日:2014年4月14日
【发明者】袁华, 曾日金, 莫建文, 陈利霞, 张彤, 首照宇, 欧阳宁, 赵晖 申请人:桂林电子科技大学, 桂林宇辉信息科技有限责任公司