障碍物检测的方法、装置、系统、设备以及存储介质与流程

本申请涉及智能设备技术领域，具体而言，涉及一种障碍物检测的方法、装置、设备、系统以及存储介质。

背景技术：

在城市新型基础设施、未来社区等商业领域，车路协同，自动驾驶，辅助驾驶等需求已愈加迫切，在无人驾驶车辆行驶过程中，需要实时检测行驶道路的障碍物，根据障碍物信息进行规避障碍物等操作。

现有技术下大多基于激光雷达，毫米波雷达，摄像头或组合多种传感器，对无人驾驶车辆的行驶道路进程障碍物检测；然而毫米波雷达尺寸大，不方便安装，并且带宽与分辨率低，感知的数据不够准确，也不能获得障碍物的高度信息；激光雷达能够获得障碍物较准确的三维数据，但制造成本较高，批量生产困难，并且数据的精度易受感知距离和环境的影响；采用多种传感器组合测量障碍物需要将多个不同的传感器采集的数据进行同步，利用软件对数据同步误差较大，利用硬件对数据同步则需要额外的硬件装备，并且多种传感器融合算法设计复杂，导致计算复杂，且对处理器的计算能力要求较高。

摄像头成本低，像素语义丰富，相关图像算法简单、成熟度高。但目前基于摄像头只能获得障碍物的二维信息，定位精度不高，不能映射到实际的三维空间，影响障碍物速度信息的计算。

技术实现要素：

本申请实施例提供一种障碍物检测的方法、装置、设备、系统以及存储介质，旨在仅利用单目摄像头检测得到障碍物的三维信息。

本申请实施例第一方面提供一种障碍物检测的方法，所述方法包括：

对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；

对所述前景区域图像进行障碍物提取，得到目标障碍物在相机坐标下的平面信息；

基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框。

可选地，所述方法还包括：

汇总测量得到的参照障碍物的底面三维坐标点集；

将所述底面三维坐标点集代入第一预设方程；

利用随机抽样一致性算法计算所述第一预设方程，得到所述预设平面方程。

可选地，基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框，包括；

对代入所述平面信息的所述预设平面方程进行计算机视觉投影反变换，得到所述目标障碍物的深度信息；

结合所述平面信息和所述深度信息，得到所述目标障碍物的三维信息；

以所述三维信息进行几何绘制得到所述三维立体框。

可选地，所述方法还包括：

利用标注工具，对第一样本障碍物图像标注相机坐标下的平面信息；

基于多个携带标注的第一样本障碍物图像，对第一预设模型进行训练，得到障碍物提取模型；

对所述前景区域图像进行障碍物提取，包括：

将所述前景区域图像输入所述障碍物提取模型，得到所述目标障碍物在相机坐标下的平面信息。

可选地，所述方法还包括：

在特定环境下采集第二样本障碍物图像，其中，所述特定环境为所述障碍物提取模型不适用的环境；

利用标注工具，对所述第二样本障碍物图像标注相机坐标下的平面信息；

基于多个携带标注的第二样本障碍物图像，对所述障碍物提取模型进行二次训练；

在所述障碍物提取模型适应所述特定环境时，得到稳定的障碍物提取模型；

在所述障碍物提取模型不适应所述特定环境时，重新设计所述第一预设模型。

可选地，在得到所述目标障碍物的三维立体框之后，所述方法还包括：

根据所述目标障碍物的三维立体框，得到所述目标障碍物的位移量、旋转量、比例量信息。

本申请实施例第二方面提供一种障碍物检测的装置，所述装置包括：

前景分割模块，用于对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；

障碍物提取模块，用于对所述前景区域图像进行障碍物提取，以二维图像平面框选定目标障碍物，其中，所述二维图像平面框携带所述目标障碍物在相机坐标系下的信息；

转换模块，用于对所述二维图像平面框进行计算机视觉投影反变换，得到所述目标障碍物在相机坐标系下的正面平面框；

第一计算模块，用于根据所述正面平面框和预设平面方程，得到所述目标障碍物的三维立体框。

可选地，所述装置还包括：

测量模块，用于汇总测量得到的参照障碍物的底面三维坐标点集；

代入模块，用于将所述底面三维坐标点集代入第一预设方程；

第二计算模块，用于利用随机抽样一致性算法计算所述第一预设方程，得到所述预设平面方程。

可选地，所述第一计算模块包括：

坐标获得子模块，用于获得所述正面平面框的顶点坐标；

深度计算子模块，用于将所述正面平面框的顶点坐标代入所述预设平面方程，得到所述障碍物的深度点坐标；

几何绘制子模块，用于对所述正面平面框的顶点坐标和所述深度点坐标进行几何绘制，得到所述目标障碍物的三维立体框。

可选地，所述装置还包括：

第一样本标注模块，对第一样本障碍物图像标注相机坐标下的平面信息；

第一模型训练模块，用于基于多个携带标注的第一样本障碍物图像，对第一预设模型进行训练，得到障碍物提取模型；

所述障碍物提取模块包括：

模型计算子模块，用于将所述前景区域图像输入所述障碍物提取模型，得到所述二维图像平面框。

可选地，所述装置还包括：

样本获得模块，用于在特定环境下采集第二样本障碍物图像，其中，所述特定环境为所述障碍物提取模型不适用的环境；

第二样本标注模块，利用标注工具，对所述第二样本障碍物图像标注相机坐标下的平面信息；

第二模型训练模块，用于基于多个携带标注的第二样本障碍物图像，对所述障碍物提取模型进行二次训练；

第三模型训练模块，在所述障碍物提取模型适应所述特定环境时，得到稳定障碍物提取模型；

模型设计模块，用于在所述障碍物提取模型不适应所述特定环境时，重新设计所述第一预设模型。

可选地，所述装置还包括：

九自由度信息模块，用于根据所述目标障碍物的三维立体框，得到所述目标障碍物的位移量、旋转量、比例量信息。

本申请实施例第三方面提供一种障碍物检测的系统，所述系统包括：单目摄像头、计算单元、信息传输单元以及配套电源；

所述单目摄像头用于获取路况图像，并发送给所述计算单元；

所述计算单元执行如权利要求1-6任一所述的障碍物检测的方法，获取所述路况图像中障碍物的二维信息和三维信息；

所述信息传输单元将所述障碍物的二维信息和三维信息发送至数字轨控制器，或保存所述障碍物的二维信息和三维信息；

所述配套电源提供系统所需电源。

本申请实施例第四方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。

本申请实施例第五方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。

本申请实施例基于单目摄像头采集的路况图像进行前景分割，再将前景分割后的路况图像输入障碍物提取模型，经过神经网络计算得到目标障碍物在相机坐标下的平面信息，对平面信息和预设平面方程进行计算机视觉投影反变换，得到目标障碍物的深度数据，并通过几何绘制得到目标障碍物的三维立体框。

根据上述分析可知，本申请实施例仅以单目摄像头采集的图像帧就可获得目标障碍物的三维信息，相较于现有技术下使用激光雷达、组合传感器、毫米波雷达等其检测硬件获取的障碍物数据，单目摄像头获得障碍物的数据语义像素丰富，数据算法简单成熟，可参考思路较多，技术储备充足，可快速更新检测模型，不需结合其他传感器的数据，进行复杂的融合计算。

并且单目摄像头价格便宜，外形小巧精致，适合大规模生产和安装。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例障碍物检测方法的步骤流程图；

图2是本申请实施例图像预处理的流程图；

图3是本申请实施例通过前景分割得到的前景区域图像；

图4是本申请实施例训练障碍物提取模型的步骤流程图；

图5是通过本申请实施例得到的携带平面信息的前景区域图像；

图6是本申请实施例障碍物检测硬件系统的框架图；

图7是本申请实施例计算单元的系统框架图；

图8是本申请实施例障碍物检测的装置示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

障碍物主要是指道路中，影响车辆行驶、通行的物体，主要分为两类，一类主要指行人、车辆、交通标识等，另一类障碍物还包括石头、塑料袋等非常规物体。

障碍物检测：在感知到的前景区域里面检测障碍物，包括但并不局限于：行人、自行车、汽车、卡车等。可以使用激光雷达，深度传感器、摄像头等硬件装置进行前景区域感知，也可以组合使用，本申请旨在使用单目摄像头进行障碍物检测，输出障碍物的二维信息和三维信息。

障碍物检测可用于车路协同、自动驾驶，辅助驾驶等领域，通过检测车辆行驶道路中障碍物的二维、三维信息，以分析交通的实时路况，例如，可将检测到的障碍物信息输送至数字轨控制器，数字轨控制器融合其他硬件装置(激光雷达，深度传感器等)感知到的障碍物信息，融合现代通信与网络技术，实现车与(人、车、路、云端等)智能信息交换、共享，具备复杂环境感知、智能决策、协同控制等功能，可实现“安全、高效、舒适、节能”行驶，并最终可实现替代人来操作的无人驾驶汽车。

数字轨控制器用于综合处理多个检测系统数据，然后做出最后决策，检测系统包括但不限于障碍物检测系统、定位系统、汽车行驶状态检测等。

相关技术中，通常使用激光雷达、毫米波雷达或结合多传感器，对道路的障碍物进行检测。

其中，毫米波雷达具有尺寸大，带宽低，分辨率低，并且没有高度信息、感知数据不够稳定的缺点。例如毫米波雷达不能分辨感知到的指路牌是否是悬空的；利用毫米波雷达在实验室测量静止的障碍物，得到的可视化分析结果中，障碍物点一直跳动。

激光雷达与一辆汽车相当的价格，给批量生产和使用带来困难，并且其测量精度收到感知距离与环境的影响，例如，在距离障碍物25米的距离时，激光雷达仅仅有几根线束打在汽车上，采集信息量有限；雨天车辆行驶会溅起的水花，造成采集信息上的噪点的，进而需要大量的计算去除噪点。

采用多种传感器组合测量障碍物需要将多个不同的传感器采集的数据进行同步，利用软件对数据同步误差较大，利用硬件对数据同步则需要额外的硬件装备，并且多种传感器融合算法设计复杂，导致计算复杂，且对处理器的计算能力要求较高。

鉴于此，本申请提出对单目摄像头采集的实时路况图像进行前景背景分割，剔除背景部分，得到前景区域图像，利用神经网络对前景区域图像进行预测，输出前景区域图像中障碍物在相机坐标下的平面信息，根据计算机视觉投影反变换原理，并假设障碍物位于平面上，通过预设平面方程，计算得到障碍物的深度信息，对平面信息和深度信息进行几何绘制，得到障碍物的三维立体框。

现有技术下，大部分的图像算法研究都是基于单目摄像头开发的，因此，相比于激光雷达、毫米波雷达等硬件装置，基于单目摄像头获取的二维信息和三维信息的算法成熟度较高。

另外，得到目标障碍物的三维立体框后，可根据三维立体框得到位移量、旋转量、比例量信息，将位移量、旋转量、比例量信息通过高速网络传输单元传输至数字轨控制器，数字轨控制器接收其他多个障碍物检测单元分析的结果，综合处理分析，最终做出决策判断。车路协同、自动驾驶等应用原理综合概括为：先感知，再分析，然后信息传输，最后根据信息做出判断。本申请的障碍物检测的技术方案主要关注“感知”障碍物的部分。

收其他多个障碍物检测单元可以是多种传感器组合、激光雷达、毫米波雷达等，本申请对此并不限定。

自动驾驶或辅助驾驶的核心不在车而在人，是物化驾驶员在长期驾驶实践中，对“环境感知-决策规划-控制执行”过程的理解、学习和记忆。环境感知作为第一环节，处于智能驾驶车辆与外界环境信息交互的关键位置，其关键在于使智能驾驶车辆更好地模拟人类驾驶员的感知能力，从而理解自身和周边的驾驶态势，而本申请关注的障碍物检测正是感知车辆行驶道路中的目标障碍物。

参考图1，图1是本申请实施例障碍物检测方法的步骤流程图。

步骤s11：对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；

单目摄像头指安装于固定道路区域的检测障碍物装置仅包含单个摄像头，即用单个摄像头采集实时的路况图像。可根据地面交通安全属性、地形条件、天气原因、经济条件等因素选择单目摄像头固定位置以及安装数量。

单目摄像头采集的路况图像分辨率较高，像素语义丰富，但路况图大部分属于背景区域，需剔除掉背景区域，对后续的障碍物提取节省大量的计算资源。

另外地，进行前景分割后的路况图像后续可与高精度地图身层次融合，同时对路径规划提出有用信息。

对单个摄像头采集的实时路况图像进行前景分割前，还可以对路况图像进行数据预处理，首先将路况图像为可被神经网络读取的格式，其次，按固定比例缩放转换格式的路况图像，使路况图像的大小适配网络传输要求以及神经网络模型的大小的同时，综合考虑路况图像的精度。一般情况下，路况图像越大，保留的特征信息越多，但会导致神经网络模型较大，计算较为复杂，因此需要在保证路况图像精度的前提下，使其更符合当前神经网络和硬件的计算能力。然后是去均值，使数据特征标准化，数据的每一个维度具有零均值和单位方差；最后是降维处理，数据量较大时可以通过pca等方法进行降维处理，以便减小计算量，提升处理速度。

参考图2，图2是本申请实施例图像预处理的流程图。

示例地，对于一帧3通道摄像头数据输入，将得到的路况图像转换为32位的jpg格式，再将其缩放比例至1280×1040，然后按(128,128,128)去均值，最后用pca方法对路况图像做降维处理。

本实施例中以分割模型对预处理后的路况图像进行前景分割，完成提取图片前景的工作。示例地，可预设第二预设模型，第二预设模型可选用u-net或者segnet，利用现有标注方法标注前景分割样本图片，将图片中的障碍物标注为1，图片中其他不属于障碍物的部分标注为0，以携带前景背景标注的前景分割样本图片训练第二预设模型，使第二预设模型能准确地将前景分割样本图片分割出前景区域，得到前景分割模型。

在利用训练好的分割模型进行前景分割时，将经过图片预处理的路况图片输入分割模型，分割模型输出每个像素点的类别的概率大小，按照最大概率原则，根据每个像素点类别的概率的最大值判断像素点的类别，得到前景区域图像。

参考图3，图3是本申请实施例通过前景分割得到的前景区域图像。

前景区域图像中只保留了行人、车辆、交通标识等障碍物。

步骤s12：对所述前景区域图像进行障碍物提取，得到目标障碍物在相机坐标下的平面信息；

为了更智能地实现前景区域图像的障碍物提取，发明人首先建立了第一预设模型，然后采集合适的训练样本，对第一预设模型进行训练，获得障碍物提取模型，再使用障碍物提取模型执行上述步骤。

参考图4，图4是本申请实施例训练障碍物提取模型的步骤流程图。

步骤s21:利用标注工具，对第一样本障碍物图像标注相机坐标下的平面信息；

首先准备第一样本障碍物图像，一般通过在道路交通区域放置好的摄像头，采集当前路况的图片帧数据作为第一样本障碍物图像。

第一样本障碍物图像的标注可以用标注工具完成，输出为障碍物在相机坐标系下的平面信息。

图像的相机坐标系是指，以拍摄图像的相机的聚焦中心为原点，以光轴为z轴建立的三维直角坐标系。

本实施例中标注工具包含基本功能：图片缩放，移动图片，障碍物边框左转、右转、上下移、左右侧翻滚。利用标注工具对第一样本障碍物图像进行标注时，先在第一样本障碍物图像中的障碍物周围生成边边框，然后通过标注工具的界面，调整生成边框，使其比较好的贴合障碍物。该边框的点的坐标为障碍物在相机坐标系下的平面信息。

步骤s22：基于多个携带标注的第一样本障碍物图像，对第一预设模型进行训练，得到障碍物提取模型；

对所述前景区域图像进行障碍物提取，包括：

将所述前景区域图像输入所述障碍物提取模型，得到所述目标障碍物在相机坐标下的平面信息。

本实施例中，主要采用全卷积网络、批量处理单元、池化层组成第一预设模型，全卷积网络的构成方式为金字塔模型，目的是为了更好的学习多比例下障碍物参数的回归。第一预设模型的网络初始化权重可以选择激活函数relu和何凯明初始化方法，或tanh激活函数和xavier初始化方法，并按照(学习率->损失函数->批量数->迭代数->优化函数中动量大小->隐藏层数目->惩罚参数)的重要性调试超参数，调试遵循“从粗至精”的原则：先做网格搜索，先选择代价函数最小的一部分区域，然后在代价函数最小的区域随机搜索最优参数。

再以多个携带标注的第一样本障碍物图像训练建立的第一预设模型。

以上述方法训练得到的障碍提取模型，可以得到目标障碍物的二维信息和三维信息。

在本申请的另一种实施例中，为应对不断变化的气候、光照等天气因素,还可以采集不同环境条件下的第一样本障碍物图像，对第一预设模型进行训练，在多种天气环境、多时间段下开展神经网络模型的测试，检查障碍物检测的精度和鲁棒性。

具体的，可以在障碍物提取模型不适用某一特定环境时，在该特定环境下，重新采集新的训练样本。特定环境可以是雨天、雪天、晴天、雾等天气。

步骤s31：在特定环境下采集第二样本障碍物图像，其中，所述特定环境为所述障碍物提取模型不适用的环境；

以单目摄像头采集特定环境下的样本障碍物图像，并利用标注工具在该样本障碍物图像进行标记。可以理解的是特定环境下采集的样本障碍物图像有影响输出结果的环境噪点(雨水、雪等)，而在特定环境下采集的样本障碍物图像标注的正确地标注了障碍物在相机坐标系下的平面信息，基于携带该标注的样本障碍物图像训练障碍物提取模型，能使障碍物提取模型更能适应当前的特定环境。

步骤s32：利用标注工具，对所述第二样本障碍物图像标注相机坐标下的平面信息；

步骤s33：基于多个携带标注的第二样本障碍物图像，对所述障碍物提取模型进行二次训练；

利用标注工具，对携带天气环境标记的所述样本障碍物图像集标注相机坐标系下的平面信息的方法与前述方法相同，发明人不再赘述。

步骤s34在所述障碍物提取模型适应所述特定环境时，得到稳定障碍物提取模型；

若重新训练后的障碍物提取模型仍不适用当前特定的环境，应该针对此种环境重新更新标注数据，再次训练模型，如果训练结果不理想，则需要修改或者重新设计网络模型，并更新模型。

步骤s35：在所述障碍物提取模型不适应所述特定环境时，重新设计所述第一预设模型。

基于本实施例的障碍物提取模型获取到的目标障碍物的三维信息，不会被雨天、雪天、晴天、雾等天气环境干扰，应性更好，同时摄像头像素信息丰富，对障碍物的检测更加鲁棒。

进一步地，在道路测试、实际运营时可根据天气环境条件对障碍物提取模型进行优化调整，提高障碍物提取模型的鲁棒性与稳定性，进而提高障碍物感知的准确性，并提高自动驾驶车辆的路径规划与决策判断。

对于二维障碍物，可以得到该二维障碍物在相机坐标系下的平面信息。首先通过设计针对性的图像特征，经过神经网络训练层，得到大量感兴趣区域，然后根据感兴趣区域之间重合度的大小剔除大部分无关紧要感兴趣区域，最终输出图片层面上障碍物信息。图片层面上障碍物信息可以利用任意二维检测技术得到，例如onestage与twostage，onestage方法直接在像素点周围设置锚框，然后回归方法大小和类别，twostage主要是生成一系列作为样本的候选框，再通过卷积神经网络进行样本分类。

二维信息缺少距离信息，在估计出障碍物在图片坐标系上的位置后，不能够确定障碍物在实际世界的位置，则无法确定障碍物距离车辆多远，对实际环境感知形成较大障碍。

在障碍物为三维障碍物时，也可以将二维信息结合深度传感器采集的障碍物的深度数据，通过融合算法，得到障碍物的三维信息。融合的算法一般是两种：第一种将其他深度传感器信息投射到图片坐标系上做障碍物融合，然后再训练数据特征学习融合参数；另一种是将图片信息反投射到实际周围环境中，再融合深度传感器采集的深度数据。

除此之外，本申请实施例的障碍物提取模型可以直接得到三维障碍物的三维信息。对于三维障碍物，经过神经网络训练层，得到大量感兴趣区域，然后根据感兴趣区域之间重合度的大小剔除大部分无关紧要感兴趣区域，区别在于训练及预测过程中图像像素特征不一样，此时的输出为三维点信息。

本申请的障碍物提取模型的训练是基于以标注工具标注得到的第一样本障碍物图像的，因此，将通过前述前景分割步骤得到的前景区域图像，输入障碍物提取模型，输出能够得到在前景区域图像上表示出目标障碍物三维信息的二维图像平面框。即通过步骤12-3可以得到在前景区域图像标记目标障碍物在相机坐标系下的平面信息。

参考图5，图5是通过本申请实施例得到的携带平面信息的前景区域图像。

前景区域图像中边框选定的车为目标障碍物，选定目标障碍物的边框表达了车在相机坐标系下的平面信息。该平面信息不携带障碍物的深度数据。

步骤s13：基于计算机视觉投影反变换，将所述平面信息代入预设平面方程，得到所述目标障碍物的三维立体框；

如图5中所示，假设单目摄像头置于道路b，并在汽车c的斜后方，得到图像。以单目摄像头为中心，建立三维(x,y,z)坐标系，具体的以单目摄像头为中心，向水平方向延伸的直线作为坐标系的x轴，以单目摄像头为中心，向竖直方向延伸的直线作为y轴，以单目摄像头为中心，向道路的延伸方向延伸的直线作为z轴。图像经过预处理与前景分割后，输入预先训练完成的障碍物提取模型，得到汽车c车尾的平面信息，即汽车c车尾平面的多个点在相机坐标系下的坐标(x,y)。同时也得到车头底面端点的(x1,y1)

将汽车c车尾平面的多个点做计算机视觉投影反变换，得到汽车c车尾平面上的多个点在实际空间的集合。例如，对正方形进行计算机视觉投影反变换，能够得到正方形上的点在空间上的集合，该集合从视觉上观察为正方体的形式。为得到汽车c车尾平面上的多个点的z轴的信息，将汽车c车尾平面的多个点的平面信息，代入预设平面方程，得到汽车c车尾平面上的点对应z轴的坐标。其中预设平面方程可以表示在相机坐标系下，空间上的任意点m的(x,y,z)的对应关系，已知(x,y,z)中任意两个值，代入预设平面方程，可以得到第三个值。

基于同样的原理得到车头底面端点的z轴坐标z1。

再根据相机坐标系下，汽车c车尾平面上的多个点的三维信息(x,y,z)，和车头底面端点的三维信息(x1,y1,z1)，进行几何绘制，得到汽车c的三维立体框。

为得到适应实际路况的预设平面方程，上述步骤还可以包括以下子步骤：

步骤s14-1：汇总测量得到的参照障碍物的底面三维坐标点集；

在完成相机坐标系标定后，使相机在世界坐标系中的位置固定不变，以任意现有方式测量得到参照障碍物实际在相机坐标系下的地面坐标数据，本申请实施例对测量方式不做限定。

假定参照障碍物位于平面，建立预设平面方程的计算模型，再筛选出相对计算模型偏差较小的有效数据，作为最优的底面三维坐标点集。

步骤s14-2：将所述底面三维坐标点集代入第一预设方程；

步骤s14-3：利用随机抽样一致性算法计算所述第一预设方程，得到所述预设平面方程。

将最优的底面三维坐标点集代入预设平面方程的计算模型，以随机抽样一致性算法，求解得到预设平面方程：px+qy+mz＝0。

其中，p、q、m为平面法向量参数

步骤s14-4：对代入所述平面信息的所述预设平面方程进行计算机视觉投影反变换，得到所述目标障碍物的深度信息；

步骤s14-5：对所述平面信息和所述深度信息进行几何绘制，得到所述目标障碍物的三维立体框；

首先需要假设目标障碍物并非悬空而是紧贴地面的。

将障碍物提取模型输出的平面信息和上述平面方程代入计算机视觉投影反变换，计算得到障碍物的深度信息。

获得障碍物的平面信息和深度信息后，经过几何变换得到障碍物的三维立体框。

本申请实施例基于单目摄像头采集的图像帧，通过神经网络计算得到目标障碍物在图片坐标系下的二维图像平面框，该二维图像平面框携带目标障碍物在相机坐标系下的三维信息，再利用计算机视觉投影反变换，将二维图像平面框投射到相机坐标系，得到目标障碍物在相机坐标系下的正面平面框，将正面平面框的顶点坐标代入预先计算得到的预设平面方程，得到目标障碍物的深度数据，并通过几何绘制得到目标障碍物的三维立体框。

根据上述分析可知，本申请实施例仅以单目摄像头采集的图像帧就可获得图像帧中障碍物的三维信息，相较于现有技术下，基于单目摄像头仅能获得障碍物的二维信息，输出信息更加丰富，包含了障碍物的位置信息，也可以根据障碍物的三维信息进一步得到障碍物的姿态信息，并且单目摄像头获取的数据算法简单成熟，可参考思路较多，技术储备充足，可快速更新检测模型，不需结合其他传感器的数据，进行复杂的融合计算。

除此之外，相比较其他的硬件装置(例如激光雷达、固态激光雷达等)，单目摄像头造价便宜，技术成熟，易于车路协同技术的发展。

该三维立体框携带了目标障碍物在相机坐标系下，实际的长、宽、高，以及该目标障碍物相对单目摄像头的距离和旋转角度等信息，因此对三维立体框作进一步计算，可以得到目标障碍物的位移量、旋转量、比例量信息。

在得到所述目标障碍物的三维立体框之后，所述方法还包括：

根据所述目标障碍物的三维立体框，得到所述目标障碍物的位移量、旋转量、比例量信息。

位移量可以理解为目标障碍物相对于相机的纵向距离，旋转量可以理解为目标障碍物相对于相机的横向距离，比例量可以理解为目标障碍物的实际大小。

在本申请的另一种实施例中，还可以将目标障碍物的三维立体框输入数字轨单元，结合高精度的地图，或结合多种传感器组合、激光雷达、毫米波雷达等的检测信息，或结合计算机视觉算法分析，利用物体的运动模式，定位或者将本次检测目标障碍物得到的三维立体框与上一帧结果做数据关联，估算目标障碍物与本车的相对距离和相对速度。

同时，单目摄像头的形态简单静止，可以轻松融入汽车的设计中并隐藏结构中，不会让汽车外形显得突兀，或安装与道路的固定位置，与环境融合不显突兀，对消费者更具吸引力。

参考图6，图6是本申请实施例障碍物检测硬件系统的框架图。

本申请的障碍物检测系统主要由单目摄像头、信息传输单元、计算单元以及配套的电源组成，障碍物检测系统采集图像进行处理，将图片转换为二维数据；然后识别出图像中的目标障碍物，随后，信息传输单元目标障碍物的信息量传输至数字轨控制器，数字轨控制器综合处理多个其他检测系统数据，然后做出最后决策。

参考图7，图7是本申请实施例计算单元的系统框架图。

本申请主要关注的是计算单元对单目摄像头采集的路况图像预测过程，通过本申请提出的障碍物提取模型可以直接得到目标障碍物的三维信息。

如图7所示，对于单目摄像头发出的每一帧路况图像数据，第一步是进行图片数据预处理，然后是根据建立的分割模型进行图像分割，完成提取路况图像前景的工作，再进行障碍物提取，结果包括目标障碍物的二维和三维信息，然后进行数据信息后处理，统一汇总障碍物的位置、姿态、比例大小等信息，最后交由信息传输单元发送至数字轨控制器或者由存储中心存储信息。

基于同一发明构思，本申请一实施例提供一种障碍物检测的装置，参考图8，图8是本申请实施例障碍物检测的装置示意图。所述装置包括：

前景分割模块81，用于对单目摄像头获取的路况图像进行前景分割，获得前景区域图像；

障碍物提取模块82，用于对所述前景区域图像进行障碍物提取，以二维图像平面框选定目标障碍物，其中，所述二维图像平面框携带所述目标障碍物在相机坐标系下的信息；

转换模块83，用于对所述二维图像平面框进行计算机视觉投影反变换，得到所述目标障碍物在相机坐标系下的正面平面框；

第一计算模块84，用于根据所述正面平面框和预设平面方程，得到所述目标障碍物的三维立体框。

可选地，所述装置还包括：

测量模块，用于汇总测量得到的参照障碍物的底面三维坐标点集；

代入模块，用于将所述底面三维坐标点集代入第一预设方程；

第二计算模块，用于利用随机抽样一致性算法计算所述第一预设方程，得到所述预设平面方程。

可选地，所述第一计算模块包括：

坐标获得子模块，用于获得所述正面平面框的顶点坐标；

深度计算子模块，用于将所述正面平面框的顶点坐标代入所述预设平面方程，得到所述障碍物的深度点坐标；

几何绘制子模块，用于对所述正面平面框的顶点坐标和所述深度点坐标进行几何绘制，得到所述目标障碍物的三维立体框。

可选地，所述装置还包括：

第一样本标注模块，用于利用标注工具，对第一样本障碍物图像标注相机坐标下的平面信息；

第一模型训练模块，用于基于多个携带标注的第一样本障碍物图像，对第一预设模型进行训练，得到障碍物提取模型；

所述障碍物提取模块包括：

模型计算子模块，用于将所述前景区域图像输入所述障碍物提取模型，得到所述二维图像平面框。

可选地，所述装置还包括：

样本获得模块，用于在特定环境下采集第二样本障碍物图像，其中，所述特定环境为所述障碍物提取模型不适用的环境；

第二样本标注模块，用于利用标注工具，对所述第二样本障碍物图像标注相机坐标下的平面信息；

第二模型训练模块，用于基于多个携带标注的第二样本障碍物图像，对所述障碍物提取模型进行二次训练；

稳定模型获得模块，在所述障碍物提取模型适应所述特定环境时，得到稳定障碍物提取模型；

模型设计模块，用于在所述障碍物提取模型不适应所述特定环境时，重新设计所述第一预设模型。

可选地，所述装置还包括：

九自由度信息模块，用于根据所述目标障碍物的三维立体框，得到所述目标障碍物的位移量、旋转量、比例量信息。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

基于同一发明构思，本申请另一实施例提供一种障碍物检测的系统，所述系统包括：单目摄像头、计算单元、信息传输单元以及配套电源；

所述单目摄像头用于获取路况图像，并发送给所述计算单元；

所述计算单元执行本申请第一方面所述的障碍物检测的方法，获取所述路况图像中障碍物的二维信息和三维信息；

所述信息传输单元将所述障碍物的二维信息和三维信息发送至数字轨控制器；

所述配套电源提供系统所需电源。

基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的障碍物检测方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的障碍物检测方法中的步骤。

本说明书中的各个实施例均采用递进或说明的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种障碍物检测的方法、装置、设备、系统以及存储介质，进行了详细介绍，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。