一种停车场场景下基于无人机的自动纠偏方法与流程

本发明属于自动驾驶
技术领域：
，具体涉及一种停车场场景下基于无人机的自动纠偏方法。
背景技术：
：近年来，无人机发展很快，在交通、农业等多种领域得到广泛应用。在车辆行驶过程中，无人机能给汽车提供全局视角，而这些视觉图像中包含了车辆周围的环境信息。基于无人机的汽车导航将摒弃传统汽车依靠车载单目/双目摄像头导航的方式，以第三视角代替第一视角，给汽车带来更加全局性的视野，给自动驾驶带来新的可能性。在自动驾驶领域，人们普遍采用车载摄像头的方法为车辆提供视觉信息，达到导航与纠偏的目的。但是，一个车载摄像头往往只能提供一个方向的视角，在自动驾驶中往往需要多个摄像头共同工作。同时，在车辆上大量装载传感器，无疑将提高车辆设计的复杂性，增加车辆的成本。汤一平等(汤一平,严海东,柳圣军,贺武杰,金海明,周思宗.基于全方位计算机视觉的智能停车辅助装置)提出一种基于视觉的智能停车辅助装置。该装置通过视觉传感器获取周围环境信息，实现纠偏、避撞、停车的目的。其中，纠偏主要用于停车场的倒车过程。首先，需要根据优秀驾驶员的驾驶经验、倒车技巧做成一个有关倒车的知识库。在倒车过程中，基于倒车知识库，结合视觉传感器获得的车辆位置信息、目标位置信息、障碍物等环境信息，形成倒车轨迹线。然后，车辆沿着倒车轨迹线进行倒车。在整个倒车过程中，需要根据视觉传感器获取的信息不断调整轨迹线，直到顺利停车。此装置主要存在以下不足：(1)整个装置置于车上，需要对车辆进行改装，增加许多额外的装置，增大车辆结构的复杂性和车辆成本；(2)该装置所涉及的纠偏方法需要事先建立完善的倒车知识库，而知识库的建立是一个复杂、漫长的工作；(3)该装置的倒车纠偏只能提供倒车轨迹线，真正的纠偏过程仍然需要驾驶员人工完成，并不能实现真正意义上的自动化。此外，陈嘉延(陈嘉延.基于四旋翼无人机做引导的智能停车引导系统)提出一种利用四旋翼无人机做引导的智能停车引导系统。该系统利用无人机为车辆提供停车引导服务，通过无人机的超声波探测器获取停车场车位状况，引导车辆沿最优路线从停车场入口进入停车位，或从停车位到达停车场出口。此系统主要存在以下不足：(1)该系统能通过无人机引导车辆，但是车辆仍然是人工驾驶，在行驶过程中的偏移纠正仍然需要驾驶员实现；(2)该系统的无人机主要依靠超声波，没有视觉传感器或视觉定位系统，无法保证无人机准确的室内定位与稳定的室内定点悬停。技术实现要素：鉴于上述，本发明提供了一种停车场场景下基于无人机的自动纠偏方法，通过无人机获取下方行驶在路面上的车辆图像，结合图像的Hog特征，利用SVM图像分类模型将图像归类到某一图像类型，然后通过两种映射关系对应到当前所需的纠偏控制指令，并发送给车辆，车辆将控制指令翻译成车辆控制命令并执行，实现车辆纠偏。一种停车场场景下基于无人机的自动纠偏方法，包括如下步骤：(1)无人机依靠机载摄像头采集处于不同偏转角度下的车辆的实景图像，并对采集到的图像进行去噪、平滑以及视角变化处理，得到最后处理图像；(2)确立不同偏转角度下的车辆的图像类型，并建立图像类型-偏转角度映射表和偏转角度-控制指令映射表；(3)以最后处理图像作为样本图像组成训练集，然后提取样本图像的Hog特征向量，并将Hog特征向量作为SVM模型的输入，样本图像的图像类型作为SVM模型输出的真值标签，利用训练集中所有的样本图像及其Hog特征向量，训练和建立SVM分类模型；(4)利用无人机的机载摄像头采集下方实景图像，并根据步骤(1)的方法对实景图像进行处理，然后提取处理后实景图像的Hog特征向量，将Hog特征向量输入到SVM图像分类模型中，经计算得到实景图像的图像类型；(5)通过步骤(2)中建立的图像类型-偏转角度映射表，将实景图像的图像类型映射为偏转角度；(6)通过步骤(2)中建立的偏转角度-控制指令映射表，将当前偏转角度映射为控制指令；(7)将控制指令传输给目标车辆，目标车辆接收控制指令，将该控制指令翻译成车辆控制命令并执行。所述的步骤(1)的具体步骤为：(1-1)无人机依靠机载摄像头采集下方处于不同偏转角度下的车辆的实景图像，对实景图像进行直方图均衡化处理，调整图像的饱和度和亮度，以便于后续处理；(1-2)对均衡化处理后的图像进行中值滤波，去除微小噪声，并对连通区域边缘进行平滑处理；(1-3)通过逆透视变换，将非正俯视视角下滤波及平滑处理后的图像映射到正俯视视角下滤波及平滑处理后的图像，得到最后处理图像。步骤(1-3)中所述的将非正俯视角度拍摄的已进一步处理后的图像映射到正俯视视角下的图像的方法为：(1-3-1)建立滤波及平滑处理后的图像坐标系和世界坐标系之间的对应关系，将滤波及平滑处理后的图像中的像素点映射到世界坐标系下，得到世界坐标系下图像；(1-3-2)根据世界坐标系与正俯视图像坐标系的比例尺，将世界坐标系下图像投射到正俯视视角下滤波及平滑处理后的图像。步骤(2)中，图像类型对应车辆所处的偏转状态，根据需求自行定义的，定义标准规则为：车辆的偏转角度处于某一偏转角度区间的图像属于同一图像类型或每一车辆的偏转角度的图像属于一种图像类型。例如：定义车辆的偏转角度处于[1°,20°]内的图像类型为A。步骤(2)中所述的图像类型-偏转角度映射表是自行定义的，建立规则为：每一种图像类型对应一组偏转角度，映射表的输入为图像类型，输出为一组偏转角度中任一偏转角度；映射关系为一对多，其中，每组偏转角度是由一定区间范围内的多个偏转角度组成；或每一种图像类型对应一个偏转角度，映射关系为一对一。步骤(2)中所述的偏转角度-控制指令映射表是自行定义的，建立规则为：每一组偏转角度对应一个用来纠偏的控制指令，映射表的输入为一组偏转角度中任一偏转角度，输出为控制指令；映射关系为多对一，每组偏转角度中的任一角度值对应同一个用于纠偏的控制指令；或每一个偏转角度对应一个用来纠偏的控制指令，映射关系为一对一。步骤(3)中所述的Hog特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。与现有技术相比，本发明具有以下有益技术效果：(1)本发明的车辆纠偏方法依靠无人机及其视觉传感器，不需要对车辆进行大幅度改装，降低了车辆的复杂性与成本。(2)本发明的无人机装载视觉传感器与视觉定位系统，可以保证自身准确的室内定位与稳定的室内定点悬停，从而更好地为车辆纠偏。(3)本发明使用基于Hog特征向量的SVM方法建立图像分类模型，并将纠偏过程分为图像分类、图像类型映射到偏转角度、偏转角度对应到控制指令、执行控制指令四个子过程，具有简单易行、实时高效的优点；(4)本发明的纠偏过程，从无人机采集图像，到目标车辆执行控制命令，全程无需人工参与，可以实现真正意义上的纠偏自动化。附图说明图1为本发明停车场场景下基于无人机的自动纠偏方法的流程图；图2为本发明中从无人机视角向下拍摄的视线示意图；图3为本发明中计算地面实物位置Y坐标的示意图；图4为本发明中计算地面实物位置X坐标的示意图；图5为本发明中世界坐标系与正俯视视角坐标系的映射示意图。具体实施方式为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。如图1所示，本发明一种停车场场景下基于无人机的自动纠偏方法，包括如下步骤：步骤1：无人机依靠机载摄像头采集下方处于不同偏转角度下的车辆的实景图像，对实景图像进行直方图均衡化处理，调整图像的饱和度和亮度，以便于后续处理。无人机装载视觉传感器，并且与车辆同步前行，可以通过视觉传感器捕捉正下方包含车辆的原始像素图；无人机搭载视觉定位系统，可以保证自身准确的室内定位与稳定的室内定点悬停；无人机采集的原始图像需要进行直方图均衡化处理、饱和度调节以及亮度调节，以突出目标区域的颜色特征便于后续识别。其中，直方图均衡化是一种利用图像直方图对对比度进行调整的方法，其基本思想是把原始图像的直方图变换为均匀分布的形式，对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同，这样就增加了图像灰度值的动态范围，从而可以用于增强局部的对比度而不影响整体的对比度。步骤2：对预处理图像进行中值滤波，去除微小噪声，并对连通区域边缘进行平滑处理。中值滤波通过图像中的像素按照灰度级进行排序，然后选择出这个输入窗口中所有像素点的灰度值的中间值，并作为最后输出的灰度值，从而有效抑制图像噪声，提高图像信噪比。步骤3：通过逆透视变换，将非正俯视视角下滤波及平滑处理后的图像映射到正俯视视角下滤波及平滑处理后的图像，得到最后处理图像。具体方法为：首先，通过建立原图像坐标系和世界坐标系之间的对应关系，将原图像中的像素点映射到世界坐标系下：如图2所示，XY位于地平面，Z垂直地面，Y为视觉方向，X轴正向指向纸面；相机位于OZ轴，离地h的C处；相机光轴CP位于YOZ平面，光轴俯仰角θ；沿光轴CP，离C点f(焦距)的点A定义为原始图像平面MN的中心；图中两虚线的夹角为相机的纵向视角，定义为2α。求Y坐标(包含量纲)：如图3所示，XOY平面上任意点Q(X，Y)，其Y轴对应点为B，该点在图像上的像点为b，像点b在图像坐标系下的y坐标(包含量纲)为t，因此Q的Y坐标为求X坐标(包含量纲)：如图4所示，世界坐标系XOY平面上线段BQ在原始图像上的的像是bq，像点q在图像坐标系下的坐标(包含量纲)为(s，t)，Q的X坐标为然后，再根据世界坐标系与俯视图像坐标系的比例尺，将世界坐标系下的图像投射到正俯视图像。如图5所示，新图像的像素坐标系uv中，原点位于左上角点，u沿水平向右，v垂直向下；u方向m像素，v方向n像素；u向像素的物理长度为Dx毫米/像素点，即横向比例尺；v向像素的物理长度为Dy毫米/像素点，即纵向比例尺；图像的世界坐标系xy中，原点位于像素为(u0,v0)；x平行于u，与u同向；y平行于v，与v反向；所以根据(1)中所求X与Y，计算坐标系uv中各像素坐标为步骤4：确立不同偏转角度下的车辆的图像类型，并建立图像类型-偏转角度映射表和偏转角度-控制指令映射表。步骤5：以最后处理图像作为样本图像组成训练集，然后提取样本图像的Hog特征向量，并将Hog特征向量作为SVM模型的输入，样本图像的图像类型作为SVM模型输出的真值标签，利用训练集中所有的样本图像及其Hog特征向量，训练和建立SVM分类模型。Hog特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中。在训练过程中，根据风险最小化原则，利用Hog特征向量训练集构造最优超平面，使每一类别数据之间的分类间隔最大，从而使实际风险变小。步骤6：利用无人机依靠机载摄像头采集下方实景图像，并根据步骤1～3的方法对实景图像进行处理，然后提取处理后实景图像的Hog特征向量，将Hog特征向量输入到SVM图像分类模型中，经计算得到实景图像的图像类型；步骤7：通过步骤4中建立的图像类型-偏转角度映射表，将实景图像的图像类型映射为偏转角度值；步骤8：通过步骤4中建立的偏转角度-控制指令映射表，将当前偏转角度值映射为控制指令；步骤9：将控制指令传输给目标车辆，目标车辆接收控制指令，将该控制指令翻译成车辆控制命令，并执行，达到纠偏目的。实施例采集不同偏转角度车辆的图像共85000幅，并利用步骤1～3的方法进行处理，得到处理后图像；然后，建立图像类型-偏转角度映射表和偏转角度-控制指令映射表，如表1和表2所示：表1图像类型偏转角度图像类型偏转角度图像类型偏转角度L1左偏1°～5°R1右偏1°～5°T0°L2左偏6°～10°R2右偏6°～10°FL左偏大于35°L3左偏11°～15°R3右偏11°～15°FR右偏大于35°L4左偏16°～20°R4右偏16°～20°L5左偏21°～25°R5右偏21°～25°L6左偏26°～30°R6右偏26°～30°L7左偏31°～35°R7右偏31°～35°表2偏转角度控制指令偏转角度控制指令偏转角度控制指令左偏1～5°TurnRight(3)右偏1～5°TurnLeft(3)0°Noturningaction左偏6～10°TurnRight(8)右偏6～10°TurnLeft(8)左偏大于35°TurnRight(40)左偏11～15°TurnRight(13)右偏11～15°TurnLeft(13)右偏大于35°TurnLeft(40)左偏16～20°TurnRight(18)右偏16～20°TurnLeft(18)左偏21～25°TurnRight(23)右偏21～25°TurnLeft(23)左偏26～30°TurnRight(28)右偏26～30°TurnLeft(28)左偏31～35°TurnRight(33)右偏31～35°TurnLeft(33)采集新实景图像，将提取的该图像的Hog特征向量输入到用85000幅样本图像训练得到的SVM图像分类模型中，得到该实景图像的图像类型为L2，经过表1与表2的映射，得到此时需要的控制指令为TurnRight(8)，目标车辆接受此控制指令后翻译成车辆控制命令，完成对车辆的纠偏。以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。当前第1页1 2 3