基于多传感器信息融合的障碍物检测方法与流程

本发明涉及障碍物检测
技术领域：
，特别是涉及一种基于多传感器信息融合的障碍物检测方法。
背景技术：
：随着智慧城市建设的大力推进和智能交通行业的快速形成，卫星导航、高速公路信息化、城市智能交通、电子警察和道路监控这些智能交通的传统形式逐渐向电子车牌、智能停车、车联网、自动驾驶、智能驾驶安全辅助系统等新领域发展，而智能障碍物检测更是成为其中一个重要的研究方向。所谓智能障碍物检测，是指车辆能够借助传感器感知周边环境，并判断是否存在障碍物，从而避免发生碰撞，造成事故。障碍物检测的方法通常有基于机器视觉的检测方法和基于雷达技术的检测方法。基于机器视觉的检测方法具有探测范围广、获取信息量大的优点。毫米波雷达则具有探测范围广，适应性好，可穿透雨雾，可以直接获得深度信息等优点。现有技术中，使用单传感器检测障碍物的方法有：申请号为CN201210143389.6的专利“一种基于单目视觉的前方车辆检测方法”，申请号为CN201410193393.2的专利“基于毫米波雷达的汽车主动防撞预警系统”，申请号为CN201510662223.9的专利“一种基于毫米波雷达的车载主动预警方法、系统及装置”等。近年来，毫米波雷达和机器视觉的多传感器信息融合障碍物检测方法是研究的热点之一，如申请号为CN201510066989.0的专利申请中公开了一种基于毫米波雷达和机器视觉的夜间前方车辆检测方法。基于单传感器的障碍物检测缺点在于：基于机器视觉的障碍物检测方法受天气、光照变化等因素影响大，且不易获取深度信息；基于激光雷达的障碍物检测方法一方面受天气影响较大，另一方面在获知障碍物的速度、距离等数据信息时，计算量较大；基于毫米波雷达的障碍物检测方法无法感知目标纹理、形状等特征。现有的基于毫米波雷达和机器视觉融合的障碍物检测方法缺点在于：检测对象仅限于行车环境中的前方车辆；仅根据雷达扫描点在图像像素坐标系上的投影点建立感兴趣区域，继而利用图像处理方法检验感兴趣区域内是否存在车辆，一旦雷达遗漏目标，该方法则无法实现有效目标的检测。因此，针对上述技术问题，有必要提供一种基于多传感器信息融合的障碍物检测方法。技术实现要素：有鉴于此，本发明的目的在于提供一种基于多传感器信息融合的障碍物检测方法。为了实现上述目的，本发明实施例提供的技术方案如下：一种基于多传感器信息融合的障碍物检测方法，所述方法包括：S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。作为本发明的进一步改进，所述步骤S1中的空间融合具体为：雷达坐标系与世界坐标系的转换关系为：其中，H为世界坐标系原点距地面高度，l和L分别为Ow与Or在Xr方向和Zr方向的偏移量；根据雷达与摄像头的位置关系等条件得出世界坐标系与图像坐标系的转换关系为：其中，(Xp,Yp)为图像坐标系中投影点的坐标；dx、dy分别为每一个像素在x轴与y轴方向上的物理尺寸；(Xp0，Yp0)是摄像机主点偏移量；f为摄像机焦距；R是摄像机外部参数旋转矩阵；t为摄像机外部参数平移向量；M称为投影矩阵；摄像机参数获取后，将雷达坐标转换为图像坐标，实现雷达目标位置在图像中的投影。作为本发明的进一步改进，所述步骤S1中的时间融合具体为：创建雷达线程，采集当前时刻雷达数据并加入缓存队列；创建摄像机线程，采集当前时刻图像数据；创建数据融合处理线程，在雷达数据缓存队列中获取与图像数据同一时刻的雷达数据进行数据融合处理。作为本发明的进一步改进，所述步骤S2中“筛选雷达数据”包括：对雷达数据进行预处理，滤除空目标信号、无效目标信号和静止目标信号；对于雷达探测到的原始目标，只保留在检测区域之内的目标信号，剔除检测区域以外的目标。作为本发明的进一步改进，所述步骤S2中的“感兴趣区域”为矩型区域，矩形区域为：其中，Rratio为矩形宽高比，(Rx，Ry)为感兴趣区域左上角顶点坐标，Rwidth为矩形宽度，Rheight为矩形高度，(Xp1，Yp1)为目标底点像素坐标，(Xp2，Yp2)为目标顶点像素坐标。作为本发明的进一步改进，所述步骤S2中的“感兴趣区域”为矩型区域内的“凸”型区域，“凸”型区域为：其中，w为“凸”型区域的凸出部的宽度，h为“凸”型区域的凸出部高度。作为本发明的进一步改进，所述步骤S3中“基于机器视觉进行运动目标检测”具体为：利用图像处理方法检测障碍物，进而对比二者检测的结果，最终决策是否存在障碍物作为本发明的进一步改进，所述步骤S3中毫米波雷达与机器视觉融合的目标重合度为：其中，RROI为目标感兴趣区域，即雷达检测区域，Rcamera为机器视觉检测区域，Rintersection为雷达检测区域与视觉检测区域重合的部分，c为重合度。作为本发明的进一步改进，所述步骤S4具体为：判断雷达检测区域和机器视觉检测区域有无重合；若雷达检测区域和机器视觉检测区域无重合，当只有机器视觉检测到目标，进行二级危险报警，当只有雷达检测到目标，进行一级危险报警；雷达检测区域和机器视觉检测区域有重合，计算重合度，并进行一级危险报警。本发明的有益效果是：本发明利用不同域信息的重合度来检测、追踪障碍物目标，提高了障碍物检测方法的可靠性，同时，该方法可实现障碍物分类，区分出目标是行人还是车辆。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明基于多传感器信息融合的障碍物检测方法的流程示意图；图2为本发明雷达、摄像机、三维世界和图像坐标系的示意图；图3为本发明毫米波雷达与机器视觉时间融合的示意图；图4为本发明中“凸”型区域的示意图；图5为本发明中目标危险等级报警分析流程图；图6为本发明一具体实施例中摄像机标定棋盘格的示意图；图7为本发明一具体实施例中雷达和摄像机空间同步示意图；图8为本发明一具体实施例中雷达数据与摄像机图像帧时间同步示意图；图9a、9b为本发明一具体实施例中基于雷达的目标检测图；图10a～10c为本发明一具体实施例中雷达目标感兴趣区域规划的示意图；图11a～11e为本发明一具体实施例中基于机器视觉的目标检测图；图12为本发明一具体实施例中不同距离处基于雷达和机器视觉的目标检测图；图13a～13c为本发明一具体实施例中雷达与机器视觉分别检测到目标示意图；图14为本发明一具体实施例中车辆和行人检测区域重合度分布图。具体实施方式为了使本
技术领域：
的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。本发明公开了一种基于多传感器信息融合的障碍物检测方法，基于毫米波雷达和机器视觉信息融合的障碍物检测方法，该方法利用不同域信息的重合度来检测、追踪障碍物目标，提高了障碍物检测方法的可靠性。同时，该方法可实现障碍物分类，区分出目标是行人还是车辆。参图1所示，该方法包括：S1、获取毫米波雷达探测到的雷达数据和机器视觉探测到的图像数据，并对雷达数据和图像数据进行空间融合和时间融合；S2、基于毫米波雷达进行目标检测，筛选雷达数据，并根据毫米波雷达返回目标信号的位置动态规划感兴趣区域；S3、基于机器视觉进行运动目标检测，并计算毫米波雷达与机器视觉融合的目标重合度；S4、根据毫米波雷达和机器视觉的运动目标检测结果检测、追踪障碍物目标。本发明主要包括毫米波雷达和摄像机的数据时空融合、毫米波雷达和机器视觉信息融合的数据处理、目标检测及分类三步，以下对各步骤进行详细说明。毫米波雷达和摄像机的数据时空融合：毫米波雷达和摄像机的数据时空融合包括时间融合和空间融合。空间融合毫米波雷达与摄像机的空间融合，可以实现毫米波雷达坐标系、摄像机坐标系、三维世界坐标系和图像坐标系的统一，从而将雷达获取的前方目标位置信息转换到摄像机获取的图像上，进而生成感兴趣区域。图2所示描述了毫米波雷达坐标系、摄像机坐标系、三维世界坐标系和图像坐标系的位置关系。其中，设摄像机坐标系为Oc-XcYcZc，它以摄像头光心为原点，Xc轴指向地面，Yc轴指向车身右侧，Zc轴指向车辆前进方向。设雷达坐标系为Or-XrYrZr，它以雷达几何中心为原点，Xr指向雷达左侧，Yr垂直向上，Zr指向车辆前进方向。三维世界坐标系为Ow-XwYwZw，图像坐标系是二维平面坐标系，记为Op-XpYpZp。雷达坐标系与世界坐标系的转换关系如公式(1)所示。其中，H为世界坐标系原点距地面高度，l和L分别为Ow与Or在Xr方向和Zr方向的偏移量。根据雷达与摄像头的位置关系等条件得出世界坐标系与图像坐标系的转换关系，如公式(2)所示。其中，(Xp,Yp)为图像坐标系中投影点的坐标；dx,dy分别为每一个像素在x轴与y轴方向上的物理尺寸；(Xp0,Tp0)是摄像机主点偏移量；f为摄像机焦距；R是摄像机外部参数旋转矩阵，为3×3正交单位矩阵；t为摄像机外部参数平移向量；M称为投影矩阵。上述参数中，(dx,dy)、(Xp0,Yp0)、焦距f是摄像机内部参数，R和T是摄像机外部参数，它们均可通过摄像机标定方法离线获取。本发明使用张正友标定法实现摄像机标定。摄像机参数获取后，代入公式(1)、(2)即可将雷达坐标转换为图像坐标，实现雷达目标位置在图像中的投影。时间融合毫米波雷达与摄像机数据的时间融合是指两者在时间上的同步。由于两个传感器的数据采集频率不同，其中毫米波雷达的采集频率为20Hz，而摄像机的为10Hz，因此毫米波雷达与摄像机两者采集到的数据不是同一时刻的信息，造成了数据在时间上的偏差。本发明以采样频率低的摄像头数据为基准，采用多线程同步方式实现数据时间同步。在程序中创建雷达线程、摄像机线程和数据融合处理线程。其中雷达线程用来接收和处理雷达数据，摄像机线程用来接收和处理摄像机图像数据。当数据融合处理线程触发时，系统在雷达数据缓存队列中获取与图像数据同一时刻的雷达数据进行数据融合处理。毫米波雷达与机器视觉时间融合模型如图3所示。毫米波雷达和机器视觉信息融合的数据处理：雷达数据的筛选由于毫米波雷达获取的所有信号中包含了一部分空目标信号、无效目标信号和静止目标信号。因此，要先对雷达探测到的目标信号进行预处理，滤除空目标信号、无效目标信号和静止目标信号。并且对于雷达探测到的原始目标，只保留在检测区域之内的目标信号，剔除检测区域以外的目标。基于雷达目标的感兴趣区域动态规划毫米波雷达以点的形式返回目标信号的位置，实际运用中需要根据该点的位置生成一个目标感兴趣区域。由于城市道路障碍物主要是行人和车辆，而人和车的实际尺寸可以根据先验知识获得。在图像中生成的感兴趣区域应能较好地包含人和车辆，综合二者实际尺寸，使用参考尺寸为高1.8m(一般行人高度)，宽1.65m(一般车辆宽度)的矩形框作为目标感兴趣区域。感兴趣区域生成方法具体描述如下：雷达探测到某一目标距离为R，角度为α，根据前述假设其高度为1.8m,根据公式(1)和公式(2)可以得到该目标底点和顶点在图像中的坐标为：其中，(Xp1，Yp1)为目标底点像素坐标，(Xp2，Yp2)为目标顶点像素坐标。得到目标底点和顶点后，可知感兴趣区域的高度为|Yp2-Yp1|，于是可求得感兴趣区域参数如公式(4)所示。其中，Rratio等于11/12，为矩形宽高比，(Rx，Ry)为感兴趣区域左上角顶点坐标，Rwidth为矩形宽度，Rheight为矩形高度。实验发现，式(3)(4)设定的目标感兴趣区域并不完善。相对于人和车而言，感兴趣区域的左上角和右上角都是多余的区域，如图4a、4b所示。所以，去除这部分区域得到一种新的“凸”型区域，如图4c所示。根据人的实际高度、宽度与车的实际高度、宽度的比例，该“凸”型区域具体参数选择如下：在上述基于雷达目标的感兴趣区域求取过程中，由于加入了摄像机内外参数矩阵的引用，因此，感兴趣区域可以根据目标距离变化改变自身大小，能够较准确地在图像中框出包含目标的区域，具有较好的自适应性和稳定性。基于机器视觉的运动目标检测在规划雷达检测目标感兴趣区域的同时，还需利用图像处理方法检测障碍物，进而对比二者检测的结果，最终决策是否存在障碍物。本发明所指障碍物大多具有运动特征，故采用图像差分法中的帧间差分法加以检测。首先，获取连续两帧图像，对其进行差分处理；对于差分后的二值图像，利用图像形态学运算进行增强，而后提取目标轮廓及轮廓质心，根据轮廓质心可拟合出一个基于机器视觉的矩形检测区域。基于雷达与机器视觉融合的目标重合度计算就同一帧图像而言，通过雷达可以得到目标感兴趣区域。同时，通过机器视觉也可以检测到目标矩形区域。对于重叠的区域，需要计算其重合度，即重合区域面积占目标感兴趣区域面积的百分比。重合度计算方法如公式(6)所示。其中，RROI为目标感兴趣区域，即雷达检测区域，Rcamera为机器视觉检测区域，Rintersection为雷达检测区域与视觉检测区域重合的部分，c为重合度。目标检测及分类：雷达和机器视觉在检测障碍物的过程中存在各自的局限性，有时候会出现二者检测结果不一致的情况。例如，当目标距离超出毫米波雷达检测范围时，雷达无法检测到目标，而机器视觉仍然可以检测到目标。此时，认为该区域存在目标，由于目标距离较远，危险等级为二级。反之，机器视觉由于受天气、光照等因素影响，存在视觉未检测到目标，而雷达检测到目标的情况。此时，认为该区域存在目标，危险等级为一级。在某些场景中，这两种情况可能同时出现，某一目标只被机器视觉检测到，而另一目标只被雷达检测到，二者呈互补之势。综合考虑两种传感器返回的信息，本发明提出的基于图像数据和雷达数据融合的检测分析流程如图5所示。以下结合具体实施例对本发明作进一步说明。毫米波雷达和摄像机的数据时空融合本实施方式中首先采集不同位置，不同姿态下的标准棋盘图像，如图6所示。利用基于张正友标定原理的标定程序即可计算出摄像头内、外部参数。摄像机参数获取如下：内参数矩阵为：外参数矩阵：摄像机参数代入公式(2)即可将雷达坐标转换为图像坐标，实现雷达目标位置图像中的投影，如图7所示。毫米波雷达与摄像机数据的时间融合是指两者在时间上的同步。由于两个传感器的数据采集频率不同，其中毫米波雷达的采集频率为20Hz，而摄像机的为10Hz，因此毫米波雷达与摄像机两者采集到的数据不是同一时刻的信息，造成了数据在时间上的偏差。本实施例以采样频率低的摄像头数据为基准，采用多线程同步方式实现数据时间同步。在如第100ms、200ms等时间节点，当每次摄像机接收图像帧时，获取对应图像当前时间的雷达数据，如图8所示。毫米波雷达和机器视觉信息融合的数据处理雷达数据的筛选将雷达探测到的所有目标信号对应到图像上，生成包含雷达目标信号的图像，如图9a图所示。对毫米波雷达获取的所有信号进行预处理中，去掉其中包含的一部分空目标信号、无效目标信号和静止目标信号，只保留在检测区域之内的目标信号，剔除检测区域以外的目标。筛选出的最终潜在目标如图9b所示。基于雷达目标的感兴趣区域动态规划达探测到某一目标距离R为35.4米，角度α为-0.2度(雷达正前方左侧为负)，根据前述假设其高度为1.8m，如图10a所示。根据公式(3)可以得到该目标底点在图像中的坐标(Xp1，Yp1)为(886，679)，目标顶点像素坐标(Xp2，Yp2)为(886，247)。得到目标底点和顶点后，可知感兴趣区域的高度为432，根据公式(4)可求得矩形感兴趣区域参数：感兴趣区域左上角顶点坐标(Rx，Ry)为(688，247)，矩形宽度为Rwidth为395，矩形高度为Rheight为432，如图10b所示。再根据公式(5)求得“凸”型感兴趣区域如图10c所示，其中w为132，h为72。雷达目标感兴趣区域规划基于机器视觉的运动目标检测帧间差分法简单快捷，只对运动物体敏感，适应性较好，本发明采用该方法提取图像中的运动区域。获取连续两帧图像，如图11a、11b所示，差分后的二值图像如11c所示，再通过图像形态学运算增强后提取目标轮廓如11d所示，最后提取轮廓质心，拟合成一个基于机器视觉的矩形框如11e所示。基于雷达与机器视觉融合的目标重合度计算分别对行人和车辆在不同的距离处进行多组试验，如图12所示，其中凸型区域为雷达检测的目标区域，矩形区域为视觉检测的目标区域。根据公式(6)计算目标重合度，结果如表1所示。表1基于“凸”型区域的雷达与机器视觉检测区域重合度计算结果人/％车/％40m31.4±377.6±850m30.9±375.8±860m30.2±472.9±770m29.9±370.0±680m28.3±365.3±890m27.5±364.7±7100m26.1±461.7±9目标检测及分类雷达和机器视觉在检测障碍物的过程中，都有各自的局限性，有时候会出现二者检测结果不一致的情况，如图13所示，其中凸13a为雷达检测到的目标区域，13b为视觉检测的目标区域，13c为二者结合。该场景下，左侧行人由于距离太远，雷达未检测到，而机器视觉检测到该区域发生了变化；右侧车辆由于车身颜色与背景较接近，机器视觉未能检测到变化，而雷达检测到了该目标。在这种场景中，根据图5所示流程对目标进行检测不会造成目标遗漏，体现出极强的优势。雷达与机器视觉分别检测到目标(无重合度情况)分别对人和车为目标进行检测，各获取50帧融合数据，计算各自检测区域重合度如图14所示。车辆和行人检测区域重合度分布凸14中上下两条折线分别为车和人的检测区域重合度折线图，由图14可以看出，车辆检测区域重合度在70％上下浮动，而行人检测区域重合度大部分在30％上下浮动，二者具有显著的差异，可以以此来区分车辆和行人。由上述技术方案可以看出，本发明提出了一种毫米波雷达和机器视觉信息融合的方法来检测障碍物，先通过时间同步获取同一时刻的雷达数据和摄像机图像帧数据，再通过坐标转换将雷达探测到的障碍物位置信息投影到图像中，生成感兴趣区域。采用帧差法检测图像中的运动物体，最后计算目标区域重合度，以此来区分行人和车辆及其他情况。实验结果表明，该方法不仅能联合毫米波雷达和机器视觉信息较好地检测障碍物，降低目标漏检概率，并且可实现目标类型的初步分类。对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。当前第1页1 2 3