本发明涉及机器视觉、三维测量、三位传感领域等研究领域,特别是涉及无人驾驶,目标物识别匹配的行车安全方法。
背景技术
目前,使用在无人驾驶上的识别装置是使用二维的匹配识别算法,在测量深度上,使用的是外置雷达或超声波传感器。将雷达或超声波传感器装配在无人驾驶汽车上,当汽车在行驶过程中摄像机实时获取前方平面图像,超声波或雷达返回目标距离信息。但是,由于摄像机是通过光返回信号,而超声波通过声波返回信号,两个返回的信号类型不同,所以处理完之后偶然误差相当大,不利于三维重建,只能知道前方有存在目标单位但无法显示其形貌,而且二维的平面识别匹配和三维的立体识别匹配比较,效率不高、时间还长。
通过doe光学衍射元件衍射在空间中形成规则的散斑,其中包含了空间个点的深度信息,通过红外ccd相机来捕获形成的散斑。
通过编码结构光,三角测距法计算深度;方法二:通过特征提取,分类器的训练、分类和编码,最终可以获得关于空间每个点所形成的散斑的深度信息。
由所获得的深度信息,通过公式
重建通过icp迭代最近点算法,通过projectivedataassociation方法逐帧计算不同朝向点集相关度,配准点云;已配准的点云数据,执行的融合处理,采用了经典的[curless96]体集成方法融合这些点云数据;光线投射渲染,采用光线投射渲染前步生成的隐式表面。
技术实现要素:
为了克服现有无人驾驶中行车威胁物识别的采集缺陷、二维算法效率低时间长的不足,本发明提供了一种行车威胁物识别方法,该识别系统不仅能解决采集图像和深度冲突的缺陷,而且在算法起点上高于二维的平面世界。
本发明解决其技术问题所采用的技术方案是:
一种基于激光散斑三维重建的行车障碍物识别方法,所述方法包括以下步骤:
步骤一:激光器投射单束激光束;
步骤二:单束激光束过doe衍射散斑;
步骤三:激光散斑标定得标记空间;
步骤四:编码结构光,三角法测距;
步骤五:特征提取;
步骤六:svm训练、分类、编码;
步骤七:计算深度信息;
步骤八:建立世界坐标系;
步骤九:渲染匹配更新点云;
步骤十:实时显示。
进一步,所述步骤一和步骤二中,激光散斑能级得到的团能量不得超过0.4mw上限,范围为-30°到30°(包括左右,上下),纵深距离为0.5-3.5m,由doe光学衍射元件形成主观散斑光路的激光散斑场。
再进一步,所述步骤三中,所标定的相机为红外ccd相机和彩色摄像机,标定方法可以使用但不限以下方法:两步法,三步法,最小二乘法等;标记空间获取安全空间范围,得到标记安全距离。
所述步骤四中,采用点阵编码的方法,投射激光点阵到被测物体上,形成激光散斑,一次成像即可获得一个完整的三维点云,从而克服了现有三角法主动三维传感技术中的单光束点激光束或线阵激光必须逐点或逐行扫描才能获得完整的三维点阵,提高了采样效率;与相位测量轮廓术比较,点阵编码方法是直接通过对成像点阵的位置确定来计算物体的深度,不存在相位模糊和误差传播的问题,并可在一定程度上缓解由于信息盲区造成的数据残缺不全的问题。
所述步骤五中,对于采集到的图样,进行如下特征提取:pca主成分、光斑大小、亮度、灰度等,以及他们之间相关系数和hurst指数。
所述步骤六中,将dist距离下的每一幅图的特征作为训练集送入参数相同的svm分类其中,使用rbf核函数,通过svm交叉验证得到参数σ和c在训练结果的90%以上;将测试集送入svm分类组中,对于样本在分类器中的时间不超过0.015ms;根据分类器组得到二进制数据。
步骤七中,通过公式d=ls+b*dist,计算每个样本的深度信息,然后根据所选的样本像素内进行插值,得到每个像素的深度信息。
所述步骤九中,三维重建通过icp迭代最近点算法,projectivedataassociation方法逐帧计算不同朝向点集相关度,配准点云;已配准的点云数据,执行的融合处理,融合点云数据;光线投射渲染,采用光线投射渲染前步生成的隐式表面。
所述步骤十中,将渲染过后的重建图像通过led显示屏显示,实时更新。
本发明的有益效果主要表现在:使用激光点阵散斑获取障碍物深度信息,解决了装置的完整性、克服了超声波带来的偶然误差;利用三维点阵算法提升平面识别匹配的效率及时间。。
附图说明
图1是基于激光散斑三维重建的行车障碍物识别方法的流程图。
图2为本发明的内部拆解图镜头面;
图3为本发明的内部拆解图led显示屏面;
图4为本装置外壳。
图中1.红外摄像头,2.ccd相机,3.激光器,4.doe光学衍射元件,5.rgb彩色摄像机,6.fpga开发板,7.电源接口,8.lcd液晶显示器,9.固定架,10.sd卡。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图4,一种基于激光散斑三维重建的行车障碍物识别方法,所述方法包括以下步骤:
步骤一:激光器投射单束激光束;
步骤二:单束激光束过doe衍射散斑;
步骤三:激光散斑标定得标记空间;
步骤四:编码结构光,三角法测距;
步骤五:特征提取;
步骤六:svm训练、分类、编码;
步骤七:计算深度信息;
步骤八:建立世界坐标系;
步骤九:渲染匹配更新点云;
步骤十:实时显示。
进一步,所述步骤一和步骤二中,激光散斑能级得到的团能量不得超过0.4mw上限,范围为-30°到30°(包括左右,上下),纵深距离为0.5-3.5m,由doe光学衍射元件形成主观散斑光路的激光散斑场。
再进一步,所述步骤三中,所标定的相机为红外ccd相机和彩色摄像机,标定方法可以使用但不限以下方法:两步法,三步法,最小二乘法等;标记空间获取安全空间范围,得到标记安全距离。
所述步骤四中,采用点阵编码的方法,投射激光点阵到被测物体上,形成激光散斑,一次成像即可获得一个完整的三维点云,从而克服了现有三角法主动三维传感技术中的单光束点激光束或线阵激光必须逐点或逐行扫描才能获得完整的三维点阵,提高了采样效率;与相位测量轮廓术比较,点阵编码方法是直接通过对成像点阵的位置确定来计算物体的深度,不存在相位模糊和误差传播的问题,并可在一定程度上缓解由于信息盲区造成的数据残缺不全的问题。
所述步骤五中,对于采集到的图样,进行如下特征提取:pca主成分、光斑大小、亮度、灰度等,以及他们之间相关系数和hurst指数。
所述步骤六中,将dist距离下的每一幅图的特征作为训练集送入参数相同的svm分类其中,使用rbf核函数,通过svm交叉验证得到参数σ和c在训练结果的90%以上;将测试集送入svm分类组中,对于样本在分类器中的时间不超过0.015ms;根据分类器组得到二进制数据。
步骤七中,通过公式d=ls+b*dist,计算每个样本的深度信息,然后根据所选的样本像素内进行插值,得到每个像素的深度信息。
所述步骤九中,三维重建通过icp迭代最近点算法,projectivedataassociation方法逐帧计算不同朝向点集相关度,配准点云;已配准的点云数据,执行的融合处理,融合点云数据;光线投射渲染,采用光线投射渲染前步生成的隐式表面。
所述步骤十中,将渲染过后的重建图像通过led显示屏显示,实时更新。
本实施例中,一种基于散斑点阵结构光的行车障碍物识别系统,包括绝缘外壳,所述绝缘外壳内安装激光器3、doe光学衍射元件4、ccd相机2、红外摄像头1、rgb彩色摄像机5、fpga开发板6,所述激光器3与doe光学衍射元件4连接成为一套激光点阵散斑模组,所述ccd相机2搭载红外摄像头1成为深度模组,所述rgb彩色摄像机5为平面模组,所述激光点阵散斑模组、深度模组和平面模组平行布置且相互隔离,所述激光点阵散斑模组位于所述深度模组和平面模组之间,所述激光点阵散斑模组、深度模组和平面模组均与所述fpga开发板连接。
进一步,所述激光点阵散斑模组中,外部片状突出部分为doe光学衍射元件4,内部圆柱部分为激光器3。
再进一步,所述激光点阵散斑模组、深度模组和平面模组组成采集模块,所述fpga开发板位于采集模块上层平行放置;lcd液晶显示器8位于镜头相对处;电源放置于装置一角。
所述采集模块通过usb与fpga开发板连接;lcd液晶显示器8使用fpc排线接入fpga开发板;电源通过适配器连接fpga开发板。
所述绝缘外壳安装在固定架9上。
将雷达或超声波测量深度信息的传感器换成可以标记空间的激光模组,激光器发射一束特定波长、功率的激光束,再通过光学衍射元件将一束激光束衍射成为特定图案的点阵结构光将目标空间标记。通过设定安全距离,然后通过usb传入fpga中的flash进行记录。在小车行驶过程中,如果有障碍物进入标记的空间,则该区域的点阵结构光被打破,通过图案的变化锁定目标空间,使用rgb彩色摄像机采集目标空间平面彩色图像和使用装载特定滤波镜头的ccd相机抓取目标区域激光点阵结构散斑图像变化后的激光点阵结构散斑图像,将采集到的目标空间的平面图样和结构散斑图样传入fpga开发板中的flash进行记录。
如图1所示,在图1中,红外摄像头1与ccd工业相机组成深度模组,激光器3与doe光学衍射元件4组成激光模组,rgb彩色摄像机5为平面模组,三个采集模组连接在fpga开发板6上,电源提供各个模块所需功率消耗。三个采集模组应该平行放置于同一水平,电源放于正中是为了保持装置重心偏上,固定于顶时不底重顶轻。
在图2中,led液晶显示器8放置于内测提供用户界面操作,顶部固定架9用来固定装置于车顶。
在图3中,为放置内部装置的外壳,方便配合固定架9固定在车身,使得在行车过程中不会随之摆动。
标定红外ccd相机每隔1mm取一次标定散斑图像共300副图像。
方法一:使用激光散斑对空间进行编码,即通过doe将激光束形成散斑点阵,通过红外ccd获取编码图像。通过三角测量法计算出目标空间物体的深度信息记作空间当中的z信息。通过3个世界坐标恢复重建物体的三维空间几何点阵形状,再通过点云库的相应点阵算法将重建的三维点阵图像进行处理、识别、匹配。
空间中任意一点p在世界坐标系中的齐次坐标为pw(xwywzw1)t,在图像坐标系中的齐次坐标为p(uv1)t。λ是任意比例因子;k是摄像机内参数矩阵,其中s为图像畸变因子,fu,fv为图像在u方向和v方向上像点的物理坐标到图像像素坐标的比例系数,即有效焦距,(u0v0)是主光轴与图像平面交点的图像坐标。r是一个3*3单位正交的旋转矩阵;t是一个平移向量;同时(r,t)是摄像机坐标系相对于世界坐标的位置。
通过上述公式,在已知从、内外参数的情况下,可以得到两个方程组,求出世界坐标系下的物理坐标。
方法二:通过pca方法对标定的图像进行特征提取。
使用rbf核函数将提取出的特征训练集送入svm进行训练,初始化σ,计算特征空间;解lagrange-duality对偶因子α,通过α求解分类器参数w,b;交叉验证正确率如果平均正确率大于90%,则训练结束。
ei=ri-yi,η=k(x1,x1)+k(x1,x1)-2k(x1,x2),r为几何距离,
分类完成对每组测试集进行300bit二进制编码,通过公式
d=ls+b*dist,计算出d深度距离,其中ls表示纵深距离的起始距离,b表示svm二进制码转换为10进制的数,dist表示间隔距离。
通过公式
通过彩色摄像机获取图像的rgb数据。
三维重建通过icp迭代最近点算法,projectivedataassociation方法逐帧计算不同朝向点集相关度,配准点云;已配准的点云数据,执行的融合处理,融合点云数据;光线投射渲染,采用光线投射渲染前步生成的隐式表面,在显示屏上实时更新。