一种融合雷达和ccd摄像机信号的车辆检测方法
【专利摘要】本发明公开了一种融合雷达和CCD摄像机信号的车辆检测方法，包括：输入雷达和CCD摄像机信号；进行摄像头校正，得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标；建立适合车辆HOG描述器的正负样本集；对车辆样本集进行批量特征提取，建立HOG样本集；建立线性支持向量机SVM分类模型，对SVM进行训练；提取雷达检测到的障碍物在视频图像中的感兴趣区域，输入SVM分类器中进行目标类型判断；输出识别结果；利用雷达测出判断为车辆的目标的距离。本发明利用雷达和CCD摄像机信号进行联合检测，不仅获取了车辆的深度信息，同时也能较好地检测出车辆的轮廓信息，提高了车辆检测、定位的可靠性和精确性。
【专利说明】一种融合雷达和CCD摄像机信号的车辆检测方法
【技术领域】
[0001]本发明属于计算机视觉领域，涉及一种基于多传感器信息融合技术的智能车前方车辆检测方法，特别涉及一种融合雷达和CCD摄像机信号的车辆检测方法。
【背景技术】
[0002]智能驾驶技术中，主流的环境检测传感器为惯导、激光雷达、毫米波雷达、红外和彩色(XD摄像机等。
[0003]采用雷达可以快速精确地获取智能车前方二维水平面上的车辆距离信息，同时雷达的工作频率高，测量的距离数据精度高，价格相对便宜，能够满足车辆检测的实时性。但是雷达获取车辆的信息量较少，单独使用雷达只能检测出车辆扫描平面上的深度信息。
[0004]视频传感器可以提供二维可见光图像，通过对特定物体(车辆)已知的明显特征(如边缘、角点、纹理、位置和形状等特征信息)进行检测判定，在一些特定的条件下，可以有效地检测出车辆。使用视频传感器检测车辆通常包含三个过程:首先从图像中确定出目标物体，然后对物体分类识别，最后是跟踪车辆。视频传感器的缺点是无法得到车辆的距离信肩、O
[0005]在实际的智能车辆检测应用中，单独使用某一种检测传感器都难以全面而精确地完成车辆检测和定位，所以有必要利用多种传感器的数据进行融合，实现优势互补以提高车辆检测和定位的可靠性、精确性。
【发明内容】
[0006]针对现有技术中存在的单独使用一种检测传感器难以全面而精确地完成车辆检测和定位问题，本发明提出了一种融合雷达和CCD摄像机信号的车辆检测方法。
[0007]本发明的多传感器包括单线激光雷达和视频传感器。单线激光雷达可以快速精确地获取智能车前方二维水平面上车辆的距离信息；视频传感器可以提供车辆的二维可见光图像，根据图像可以检测目标车辆的类型信息。
[0008]一种融合雷达和CXD摄像机信号的车辆检测方法，包括以下步骤:
[0009]步骤一，输入来自雷达的路面障碍物信息信号和来自CXD摄像机的路平面图像信号。
[0010]步骤二，校正视频传感器摄像头，得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标。将单线激光雷达所在的路平面坐标转换成选定的标定板所在的参考系坐标，得到雷达监测到的路平面的车辆坐标对应的图像坐标。
[0011]步骤三,建立适合车辆H0G(Histogram of Oriented Gradient,梯度方向直方图)特征描述器的正负样本集。
[0012]HOG特征描述器是应用于计算机视觉和图像处理领域，用于目标检测的特征描述器。利用HOG来计算局部图像梯度的方向信息的统计值。
[0013]步骤四，采用HOG算法对车辆样本集进行批量的特征提取，从而建立HOG特征样本集。
[0014]步骤五，建立线性支持向量机SVM分类模型，使用特征样本集对SVM进行训练。
[0015]步骤六，提取雷达检测到的障碍物在视频图像中的区域，并进行HOG特征提取，输入训练得到的SVM分类器中进行目标类型判断。
[0016]步骤七，输出SVM分类器的目标物体识别结果。
[0017]步骤八，输出单线激光雷达测出的智能车前方判断为车辆的目标的距离。
[0018]本发明的有益效果主要表现在:利用由视频传感器获得的车辆的图像信息和由单线激光雷达测得的车辆的距离信息进行联合检测，不仅获取了车辆的深度信息，同时也能较好地检测出车辆的轮廓信息，实现优势互补以提高车辆检测、定位的可靠性和精确性。
【专利附图】
【附图说明】
[0019]图1为融合雷达和CXD摄像机信号的车辆检测方法流程图；
[0020]图2为世界坐标系到照相机坐标系的变换示意图；
[0021]图3为照相机坐标系到图像坐标系的变换示意图；
[0022]图4为车辆图像水平竖直梯度示意图。
【具体实施方式】
[0023]下面结合附图和实施例对本发明做进一步说明。
[0024]本发明所述的车辆检测方法由存于电脑内的软件实现，电脑安装在车辆后备箱中。雷达水平固定在汽车前段车牌位置处，CCD摄像机安装在车内后视镜位置。
[0025]图1为融合雷达和CXD摄像机信号的车辆检测方法流程图，包括以下步骤:
[0026]步骤一，输入雷达和CXD摄像机信号。
[0027]步骤二，进行摄像头校正(包括照相机的内参和外参)，得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标。
[0028]世界坐标系中的点到图像坐标中的点的投影过程分两步来实现:
[0029](I)将世界坐标系(或参考坐标系)中点的坐标(XW，YW，Zw)变换到照相机坐标系(Xe, Y。，Z。)。变换过程如图2所示，变换公式为:
【权利要求】
1.一种融合雷达和CXD摄像机信号的车辆检测方法，其特征在于包括以下步骤:步骤一，输入来自雷达的路面障碍物信息信号和来自CCD摄像机的路平面图像信号；步骤二，进行包括照相机的内参和外参的摄像头校正，得到路平面坐标与图像坐标的投影矩阵，将路平面世界坐标转换成图像平面坐标； 世界坐标系中的点到图像坐标中的点的投影过程分两步来实现: (1)将世界坐标系(或参考坐标系)中点的坐标(XW，YW，Zw)变换到照相机坐标系(Xe, Yc, Z。)，变换公式为:
rIl rI 2 rI 3^-W
_ rIl 1Il 23 Zc r3i r32 ? t3 Zw _ I」[O O O lj[ I _'rU rB I「A 式中，T1 r22 r为由世界坐标系到照相机坐标系的旋转矩阵，?2为由世界坐标
J !、，」U_系到照相机坐标系的平移矩阵； (2)由照相机坐标系变换到图像坐标系，变换公式为:
-叫[fx O 叫「xc_
fy V0 Yc
I」[O O I J[zc 式中，fx、fy代表以像素为单位的水平方向和垂直方向焦距，IVVci分别表示摄像机主轴与图像平面的交点的横、纵坐标，s为投影参数； 世界坐标系中的点到图像坐标中的点的投影公式为:
勹「4 0 ?OITrll ?；2 rB!
s y ^ O fy V0 r2l r22 r23 t2 ;
— I」L。0 I JLr- r32 r33 rj j* 选择棋盘格中定义的坐标系作为参考坐标系，每个视角都建立相应的刚体变换，通过给定照相机内参数，得到求解过程的初始值，使求得的照相机的内参尽量使重投影误差最小；在标定出相机的内参数时，最后选择地平面上的一张标定板的图片的棋盘格坐标系作为参考坐标系； 通过将雷达所在路平面坐标系与选定的标定板的坐标系之间进行变换，得到雷达监测到的路平面的车辆坐标与图像坐标的转换矩阵、车辆高度与图像坐标的转换矩阵，从而可以确定出车辆在图像平面上的位置及所在位置的车辆的高度； 步骤三，建立适合车辆HOG特征描述器的正负样本集； 步骤四，采用HOG算法对车辆样本集进行批量特征提取，从而建立HOG特征样本集； HOG特征是针对矩形区域中的梯度方向上的强度统计； 米用行人模板大小为64*128,将行人模板样本分为16*16大小的block块,设block的高为H，宽为W，本发明采用H:W=1:1块特征提取方法:每个block块分为4个相同的cell单元，每个cell单元的大小为8*8，每个单元的特征是其内部64个像素的特征向量之和；用I(x，y)表示图像I在(x，y)处像素点的灰度值，按下式计算矩形区域中的梯度方向的强度统计特征:
【文档编号】G06K9/62GK103559791SQ201310530503
【公开日】2014年2月5日 申请日期:2013年10月31日 优先权日:2013年10月31日
【发明者】鲍泓, 徐成, 田仙仙, 张璐璐 申请人:北京联合大学