一种目标车辆的检测方法、系统及装置与流程

1.本发明涉及图像处理技术领域，具体涉及一种目标车辆的检测方法、系统及装置。


背景技术：

2.自动驾驶技术由于其便利性，目前成为热门的研究方向之一。对车辆运行环境的实时感知与定位是自动驾驶系统实施决策和控制的基础。环境感知主要包括三个方面，路面、静态物体和动态物体，其中动静态车辆的检测是自动驾驶感知过程的核心问题之一，与自动驾驶的避障绕行等功能的实现尤为相关。精确且稳定的车辆检测是一项极具挑战性的技术，该技术已受到学术界和工业界的重点关注。
3.为满足实时性与可靠性要求，自动驾驶车辆通常配备有视觉相机、惯性测量单元（inertial measurement unit，imu）、激光雷达和轮速计等多种传感器。其中，相机能够感知的外界信息最为丰富，如车辆周边景物的色彩、结构、纹理以及一些语义信息（如：道路、行人、交通标识等），因此视觉相机是自动驾驶车辆通常的基本配置。在自动驾驶技术的环境感知功能模块中，车辆检测是感知过程的核心问题之一。该经典的目标检测问题通常可被分为2d车辆目标检测和3d车辆目标检测两类。2d车辆目标检测需要识别出基于相机获得的二维图像上存在的车辆，并将车辆的位置通过最小包围框（bounding box）的方式给出。目前学术界和工业界常用的多种目标检测框架如fasterrcnn、yolo等已经可以较好地处理一般的目标检测问题，给出精度较高的检测结果。但是应用于自动驾驶技术中时，车辆检测局限在二维图像空间中，无法有效估计车辆在现实三维空间中的位置和姿态等信息。
4.3d检测通常基于相机获得的二维图像或激光雷达获得的三维点云。相较于2d目标检测，3d检测可以获取物体在三维空间中的位置和类别信息。其中激光雷达获得的三维点云数据相较于二维图像数据，具有更加丰富的几何信息，检测结果更加精确稳定，因此基于激光雷达的3d目标检测技术相较基于视觉的解决方案更具优势，涌现了很多经典算法，例如pointnet、voxelnet、pointrcnn等。但由于激光雷达目前成本较高，目前很难广泛普及在乘用车终端上，而视觉相机凭借便宜的特点，有着其他传感器无法替代的优越性。


技术实现要素：

5.有鉴于此，本发明实施方式提供了一种目标车辆的检测方法、系统及装置，能够减少目标车辆检测过程中所投入的成本。
6.本发明提供了一种目标车辆的检测方法，所述方法包括：针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型；将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定；修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
7.在一个实施方式中，根据语义分割结果拟合所述目标车辆的立体模型包括：从语义分割结果中识别所述目标车辆的尺寸信息，并根据所述尺寸信息，构建立体拟合参数；通过所述立体拟合参数生成所述目标车辆的椭球模型，并将所述椭球模型作为所述目标车辆的立体模型。
8.在一个实施方式中，所述立体模型在所述目标车辆的车体坐标系下生成；将所述立体模型投影为平面模型包括：根据所述目标车辆相对于所述当前车辆的初始相对位姿，将所述立体拟合参数转换为所述当前车辆的相机坐标系下的变换拟合参数；通过所述变换拟合参数，将所述椭球模型椭球面上的三维空间点映射至所述相机坐标系下；将所述相机坐标系下的三维空间点投影至图像坐标系中，得到由所述图像坐标系中的投影点构成的平面模型。
9.在一个实施方式中，所述立体模型按照以下方式表示：，其中，表示所述立体模型中各个点的位置，为的转置，表示所述立体模型中的立体拟合参数，、、分别表示所述目标车辆的长、宽、高，为利用椭球这一几何形状来拟合目标车辆的3d边界框时产生的；所述平面模型按照以下方式表示：其中，，表示所述平面模型中的各个投影点的位置，为的转置，表示第帧图像数据对应的平面模型的平面拟合参数，表示第帧图像数据中所述立体拟合参数转换得到的变换拟合参数，表示第帧图像数据中所述目标车辆相对于所述当前车辆的初始相对位姿，为的转置，下标表示矩阵第4列的1-3行构成的向量，为矩阵第4列第4个元素，表示求范数。
10.在一个实施方式中，所述误差函数按照以下方式构建：
其中，表示第帧图像数据中所述外轮廓点集中的第个点，表示第帧图像数据对应的平面模型的平面拟合参数，表示所述目标车辆的初始位姿中的旋转分量，表示所述目标车辆的初始位姿中的平移分量，表示图像数据的总帧数，表示所述外轮廓点集中包含的总点数。
11.在一个实施方式中，所述目标车辆的初始位姿按照以下方式确定：识别所述目标车辆相对于所述当前车辆的初始相对位姿；获取所述当前车辆在世界坐标系下的实际位姿，并根据所述实际位姿和所述初始相对位姿，计算所述目标车辆在所述世界坐标系下的初始位姿。
12.在一个实施方式中，识别所述目标车辆相对于所述当前车辆的初始相对位姿包括：从所述语义分割结果中识别所述目标车辆的接地点，并确定所述接地点对应的方向向量；根据相机相对于地面的高度和所述方向向量，确定所述接地点相对于所述当前车辆的位姿，并将确定的所述位姿作为所述目标车辆相对于所述当前车辆的初始相对位姿。
13.在一个实施方式中，所述初始相对位姿按照以下方式计算：其中，表示第帧图像数据中目标车辆相对于当前车辆的初始相对位姿，表示相机相对于地面的高度，为单位矩阵，为所述方向向量，为所述方向向量中的第三个元素，表示相机的标定平移外参。
14.在一个实施方式中，所述系统包括：立体模型拟合单元，用于针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型；误差函数构建单元，用于将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定；迭代优化单元，用于修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
15.在一个实施方式中，所述目标车辆的检测装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述目标车辆的检测方法。
16.本技术提供的技术方案，通过确定目标车辆的初始位姿，并对初始位姿进行修正，在误差满足指定条件时确定目标车辆相对于当前车辆的相对位姿以达到对目标车辆的检
测。可见，本技术的技术方案通过单目相机采集目标车辆图像并确定目标车辆的初始位姿，并根据目标车辆相对当前车辆的相对位姿对目标车辆进行检测，相比于现有技术中用激光雷达获得的三维点云数据获取目标车辆在三维空间中的位置，显然具备更低的投入成本。
附图说明
17.通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：图1示出了本发明一个实施方式中相机安装示意图；图2示出了本发明一个实施方式中目标车辆检测的步骤；图3示出了本发明一个实施方式中目标车辆检测系统的功能模块示意图；图4示出了本发明一个实施方式中目标车辆检测装置的结构示意图。
具体实施方式
18.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
19.本技术提供的目标车辆的检测方法，由于航迹推算任务通常要求将多相机的信息转换到同一个坐标系下进行描述，因此需要对多相机相对于车体后轴中心的外参数进行标定和各相机内参数提前进行标定，相机之间通过硬件触发进行同步采集。
20.可以应用于图1所示的系统中。在图1中，矩形框表示车体，在车体的前后左右可以各安装一路单目车载相机（圆形所示）。当然，在实际应用中，根据车体配置的不同，也可以安装更多路的车载相机，本技术对此并不做限定，下文仅以四个车载相机为例进行阐述本技术的技术方案，更多路的车载相机对应的技术方案可以类推。
21.在图1所示的系统中，可以先定义各个不同的坐标系。这些坐标系可以包括车体坐标系、相机原始坐标系和图像坐标系。这些坐标系都可以是右手系的坐标系。其中，车体坐标系的原点为车体后轴中心，y轴垂直车体后轴中心向下指向地面，x轴指向车体行进方向的右侧，z轴指向车体行进方向。相机原始坐标系的原点为车载相机的光心，z轴指向车载相机的朝向，x轴平行于图像平面且指向图像右侧，y轴垂直于图像平面且指向地面。图像坐标系是一个二维直角坐标系，反映了相机ccd芯片中像素的排列情况。其原点位于图像的左上角，其它两个坐标轴分别与图像的两条边重合。当然，在实际应用中，可以根据车辆的实际构造，灵活地调整相机的分布，并且相机的类型也可以根据实际应用场景的需求灵活调整。
22.请参阅图2，本技术一个实施方式提供的目标车辆的检测方法，可以包括以下多个步骤。
23.s1：针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型。
24.s3：将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标
车辆的初始位姿确定。
25.s5：修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
26.在一个实施方式中，图像数据在进行采集时帧率可控。通过计算机视觉领域中常用的图像处理方法，检测每个相机获得图像中的某一类型2d特征点并对其追踪，包括但不限于sift、surf、orb或深度学习方法提取的superpoint等类型的特征点，并通过计算机视觉中常用的brute force matching、flann或基于深度学习方法的superglue的匹配方法获得相邻帧之间匹配特征点，该特征点用于计算帧间目标车辆的相对位姿。同时，通过深度学习的2d语义分割方法，获得相机采集图像中分割出的车辆对应的像素位置信息，并利用目标跟踪的方法建立相邻帧之间分割结果的关联关系。记在当前第帧下分割结果的外轮廓边缘的点集为，即外轮廓点集，表示外轮廓点集中的总点数。为规避目标车辆3d边界框由于观测过少产生的姿态歧义性，车辆需连续行驶一段时间，且每个检测目标被至少2帧图片观测。
27.在一个实施方式中，根据上述语义分割结果拟合目标车辆的立体模型包括：s101：从语义分割结果中识别目标车辆的尺寸信息，并根据所述尺寸信息，构建立体拟合参数。
28.s103：通过所述立体拟合参数生成所述目标车辆的椭球模型，并将所述椭球模型作为所述目标车辆的立体模型。
29.在本实施方式中，语义分割结果中包含目标车辆的2d物体框和关键点，将这些2d物体框和关键点与数据库中的多种3d车辆cad模型分别进行匹配，选择相似度最高的模型作为3d物体检测的输出，此时可以得到目标车辆的尺寸信息，如车辆的长、宽、高。根据目标车辆的尺寸信息构建立体拟合参数，具体为：其中为目标车辆的长，为目标车辆的宽，为目标车辆的高，为利用椭球这一几何形状来拟合目标车辆的3d边界框时产生的。
30.根据椭球方程：
构建目标车辆的椭球模型，目标车辆的椭球模型可以表示为：，将该椭球模型作为目标车辆的立体模型，该立体模型是在目标车辆的车体坐标系下生成的。其中表示立体模型中各个点的位置即目标车辆3d边界框各个点在目标车辆坐标系中的位置，为的转置，，为立体模型中的立体拟合参数，即上述的根据目标车辆的尺寸信息构建的立体拟合参数，为目标车辆的长，为目标车辆的宽，为目标车辆的高。
31.在一个实施方式中，将所述立体模型投影为平面模型包括：s301：根据目标车辆相对于当前车辆的初始相对位姿，将立体拟合参数转换为所述当前车辆的相机坐标系下的变换拟合参数。
32.在本实施方式中，目标车辆相对于当前车辆的初始相对位姿按以下方式获取：根据语义分割的结果，把目标车辆的图像中分割部分的位置最低点作为目标车辆的接地点，即分割区域的y像素坐标最大值对应的2d点。定义为对应接地点的2d像素点通过相机内参数计算出来的方向向量。其中为相机拍摄到目标车辆的第帧，为对应的帧中目标车辆的外边框上的点。
33.本实施方式还需要获取相机相对于地面的高度。具体地，利用已标定好的相机相对于后轴中心的外参数和以及后轴相对地面的高度，可以获取相机相对于地面的高度，其表达式可以表示为：上述的是一个的单位矩阵，是标定后的相机平移外参，表示标定后的相机平移外参中的第三个元素。
34.根据上述的相机相对于地面的高度和上述的方向向量计算可以得到当前第帧时目标车辆的接地点相对于当前车辆的位姿，将这个位姿确定为目标车辆相对于当前车辆的初始相对位姿。
35.在本实施方式中，初始相对位姿按如下方式进行计算：
其中，表示第帧图像数据中目标车辆相对于当前车辆的初始相对位姿，表示相机相对于地面的高度，为单位矩阵，为所述方向向量，为所述方向向量中的第三个元素，表示标定后的相机平移外参。
36.目标车辆在世界坐标系下与当前车辆的初始位姿获取：s111：获取所述当前车辆在世界坐标系下的实际位姿。
37.利用计算机视觉中针对多相机系统的相对位姿估计算法，计算两帧之间自身车体坐标系的相对位姿，并与车载惯性测量单元（imu）和轮速计、gps等信息进行融合，获得自身车辆在第帧时在世界坐标系下的位姿，而非任意时刻在世界坐标系下的位姿。
38.s113：根据所述实际位姿和所述初始相对位姿，计算所述目标车辆在所述世界坐标系下的初始位姿。
39.目标车辆在世界坐标系下初始位姿根据从步骤s111航迹推算模块中获得在帧时车辆位置信息，和在帧时目标车辆相对于当前车辆的初始相对位姿，依据几何关系，可获得目标车辆在世界坐标系下的初始位姿，中包含旋转矢量和平移量。
40.在本实施方式中，将立体拟合参数转换为当前车辆的相机坐标系下的变换拟合参数，其表达式为，其中表示第帧图像中立体拟合参数转换为当前车辆的相机坐标系下的变换拟合参数，表示第帧图像数据中目标车辆相对于当前车辆的初始相对位姿，为第帧图像中立体拟合参数。
41.s303：通过所述变换拟合参数，将椭球模型椭球面上的三维空间点映射至所述相机坐标系下。
42.椭球模型椭球面上的三维空间点映射至所述相机坐标系下的位置用表示。在相机坐标系下的点应满足。
43.s305：将所述相机坐标系下的三维空间点投影至图像坐标系中，得到由所述图像坐标系中的投影点构成的平面模型。
44.在本实施方式中，图像坐标系是一个二维平面，三维空间中的椭球在二维平面上的投影为椭圆，将上述相机坐标系下的三位空间点投影至图像坐标系中，可得到图像坐标系中的投影点构成的平面模型。
45.具体地，三维空间中的椭球投影到图像平面上椭圆上的点
所构成的平面模型按以下方式进行表示：，其中，，表示所述平面模型中的各个投影点的位置，为的转置，表示第帧图像数据对应的平面模型的平面拟合参数，表示第帧图像数据中所述立体拟合参数转换得到的变换拟合参数，表示第帧图像数据中所述目标车辆相对于所述当前车辆的初始相对位姿，为的转置，下标表示矩阵第4列的1-3行构成的向量，为矩阵第4列第4个元素，表示求范数。
46.在一个实施方式中，根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数，其中，所述平面拟合参数根据所述目标车辆的初始位姿确定。
47.误差函数按照如下方式进行构建：其中，表示第帧图像数据中所述外轮廓点集中的第i个点，表示第帧图像数据对应的平面模型的平面拟合参数，表示所述目标车辆的初始位姿中的旋转分量，表示所述目标车辆的初始位姿中的平移分量，表示图像数据的总帧数，表示所述外轮廓点集中包含的总点数。下标1和2分别表示向量中的第一个元素和第二个元素。
48.其中，从和得到，而通过得到，通过和得到，而是个固定的，而是不准确的，修正初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿。
49.本技术提供的技术方案，通过确定目标车辆的初始位姿，并对初始位姿进行修正，在误差满足指定条件时确定目标车辆相对于当前车辆的相对位姿以达到对目标车辆的检测。可见，本技术的技术方案通过单目相机采集目标车辆图像并确定目标车辆的初始位姿，并根据目标车辆相对当前车辆的相对位姿对目标车辆进行检测，相比于现有技术中用激光
雷达获得的三维点云数据获取目标车辆在三维空间中的位置，显然具备更低的投入成本。
50.请参阅图3，本技术一个实施方式还提供一种目标车辆的检测系统，所述系统包括：立体模型拟合单元，用于针对当前车辆采集到的包含目标车辆的图像数据进行语义分割，并根据语义分割结果拟合所述目标车辆的立体模型；误差函数构建单元，用于将所述立体模型投影为平面模型，并根据所述平面模型中的平面拟合参数和所述语义分割结果中的外轮廓点集，构建误差函数；其中，所述平面拟合参数根据所述目标车辆的初始位姿确定；迭代优化单元，用于修正所述初始位姿，以对所述误差函数进行迭代优化，在迭代优化后的误差函数满足指定条件的情况下，确定所述目标车辆修正后的位姿，并基于所述修正后的位姿确定所述目标车辆相对于所述当前车辆的相对位姿请参阅图4，本技术一个实施方式还提供一种目标车辆的检测装置，所述目标车辆的检测装置包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的目标车辆检测方法。
51.其中，处理器可以为中央处理器（central processing unit，cpu）。处理器还可以为其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
52.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
53.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
54.本领域技术人员可以理解，实现上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施方式的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，rom）、随机存储记忆体（random access memory，ram）、快闪存储器（flash memory）、硬盘（hard disk drive，缩写：hdd）或固态硬盘（solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
55.虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。