一种泊车辅助方法与流程

本发明属于汽车智能驾驶领域，具体涉及一种泊车辅助方法。

背景技术：

随着科学技术的飞速发展，汽车工业近年来面临着重大革新，自动驾驶已经成为各大汽车厂商和高校的研究热点。根据自动驾驶技术分级，l1级别的辅助驾驶是目前最为可行技术方案。这其中，泊车辅助系统，已经逐渐成为各大汽车品牌在新产品中的标准配置。

然而，由于传统的泊车辅助系统方案中，车位感知主要通过超声波雷达进行。由于超声波雷达的工作原理的局限性，使得该方案对于车位场景的适应性较差，例如前后均无车的停车场中，该方案无法检测出车位，从而使得基于超声波雷达的泊车功能失效。此外，由于超声波雷达的抗干扰特性较差，对于车位尺寸及坐标的检测精度也较差，进一步削弱了该方案的适用性。

目前基于多传感器的泊车辅助系统，现有的基于超声波雷达和多摄像头的方案，大多是采用超声波雷达进行车位检测，用摄像头只是进行环视图生成，因此抗干扰特性较差，对于车位尺寸及坐标的检测精度也较差。而尽管现有技术中也存在采用超声波雷达和摄像头的多传感器协同工作方案，其技术上采用摄像头进行车位检测，但是一方面由于利用满足一定角度的直线的交点作为车位角点，算法精度较低，容易导致车位角点的误检测；另一方面其车位检测技术仅在车辆行驶过程中通过摄像机进行检测，并未在泊车过程中对车位信息进行实时校正，同样导致精度较低。

技术实现要素：

本发明的目的在于提供一种基于超声波雷达和多视觉传感器的泊车辅助方法，以在泊车过程中对车位信息进行实时校正。

为了实现上述目的，本发明提供一种泊车辅助方法，包括：

s1：利用布置于车辆上的摄像头在线实时采集原始图像数据；

s2：对原始图像数据进行车位检测处理，得到车位数据，包括：

s21；对原始图像数据进行校正，生成俯瞰图，随后对生成的俯瞰图进行图像分割；

s22：采用直线检测算法检测出步骤s21所述的俯瞰图中的所有直线；

s23：采用排除算法除去不合条件的直线，得到车位角点；其中，所述排除算法包括对步骤s22所检测到的直线的所有交点进行交点邻域二值化水平、垂直梯度计算，并判断水平和纵向梯度是否均大于一第二阈值；

s24：根据车位角点计算车位原点和判断车位类型，并计算坐标系转换角度，得到车位数据；

s3：实时获取车速、车辆位姿和坐标信息，结合车位与车辆的相对位置关系，计算出车位的世界坐标；

s4：根据车位的世界坐标，进行路径规划，并进入泊车模式。

优选地，所述排除算法还包括对步骤s22所检测到的直线进行亮点对特征计算、直线的特征参数计算以及直线的角点间的距离计算。

其中，所述步骤s23包括：

s231：遍历步骤s22所检测到的所有直线的端点，进行亮点对特征计算，判断是否符合亮点对特征，根据判断结果得到所有候补车位线并保存；

s232：若候补车位线个数大于2，则遍历步骤s231所得到的所有候补车位线，进行直线的特征参数的计算，并判断参数与已存储的直线的参数间的差别是否小于一第一阈值；随后根据判断结果得到所有聚类候补车位线并保存；

s233：若聚类候补车位线个数大于2，则计算步骤s4所得到的所有聚类候补车位线的交点，并遍历所有交点，进行交点邻域二值化水平、垂直梯度计算，判断水平和纵向梯度是否均大于一第二阈值；随后根据判断结果得到所有候补角点；

s234：若候补角点个数大于2，则计算所有候补角点间的距离，并遍历所有候补角点，判断候补角点间的距离是否与车位宽度、长度或对角线匹配；并根据判断结果存储相应的车位角点。

所述步骤s2和所述步骤s3均采用一与所述摄像头相连的图像处理器来进行，且所述步骤s4采用一泊车控制器来进行。

所述步骤s1还可以包括：采用安装于车辆的前后保险杠上的超声波雷达检测障碍物并对数据进行处理，得到障碍物信息；且所述步骤s4还包括对步骤s1得到的障碍物信息和所述步骤s3中的车位的世界坐标进行融合分析，根据车位的世界坐标和障碍物信息进行路径规划。

所述泊车辅助方法还包括步骤s5：实时读取是否进入泊车阶段，当车辆进入泊车阶段时，实时判断车辆与泊车位的距离关系并根据判断结果进入车位信息校正状态，再次重复步骤s1-s3来更新车位的世界坐标，进行车位信息的检测校正。

其中，所述步骤s5还包括：当车辆进入泊车阶段时，利用布置于车辆前后保险杆以及左右后视镜下方的摄像头的数据进行图像拼接，生成车辆的全景环视图。

其中，所述步骤s5包括：当车辆进入泊车阶段时，采用所述超声波雷达对障碍物进行实时感知并对数据进行处理，得到障碍物距离信息，并根据障碍物距离信息与当前规划路径的位置是否发生碰撞确定是否进行重新规划。

所述步骤s21中的对原始图像数据进行校正采用畸变矫正和逆投影变换方式，且图像分割采用canny算法，所述步骤s22中的直线检测算法为hough变换算法。

所述步骤s3中的车速、车辆位姿和坐标信息是根据车轮转角脉冲数和车辆转角实时计算获取的。

所述进入泊车模式包括：车辆通过一执行机构对转向执行机构进行控制，并通过一人机交互系统进行选换挡、制动和停车的信息提示和报警提醒。

本发明的泊车辅助方法由于采用新的车位检测算法，利用车位角点的特征在图像检测的过程中进行特征匹配，对交点进行交点邻域二值化水平、垂直梯度计算的计算，从而能够有效减小车位的误检测，提高车位的检测精度。此外，本发明通过在车辆泊车过程中，利用图像处理算法对车位进行实时校正，能通过多摄像头在泊车过程中对车位尺寸进行修正，再结合泊车控制器，实现高精度高成功率的泊车辅助功能。同时，本发明还在车辆进行泊车的过程中，通过多摄像头实时生成的全景环视图，能够有效扩展驾驶员的视野盲区，减小泊车的风险，提高泊车的成功率和安全性。另外，超声波雷达对障碍物进行实时检测，也提高了泊车过程中的准确性和安全性。

附图说明

图1为用来实现根据本发明的泊车辅助方法的系统的硬件架构图。

图2为根据本发明的泊车辅助方法的基于视觉的车位检测算法的架构图。

图3为根据本发明的泊车辅助方法的基于视觉的高精度车位检测算法的流程图。

图4为根据本发明的泊车辅助方法的原始图像和俯瞰图的车位特征对比图，其中，图4(a)为垂直车位原始图像，图4(b)为垂直车位俯瞰图，图4(c)为斜向车位原始图像，图4(d)为斜向车位俯瞰图。

图5是根据本发明的泊车辅助方法的对交点进行交点邻域二值化水平、垂直梯度计算的计算示意图。

图6为根据本发明的泊车辅助方法的泊车过程车位校正开启时刻的后摄像机图像以及车辆与车位的关系示意图。

图7是根据本发明的泊车辅助方法的泊车过程中的全景环视功能示意图。

具体实施方式

下面结合附图，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。

如图1所示为根据本发明的一个实施例的泊车辅助系统100，该系统100包括连接在can总线c上的感知系统1、泊车控制器2、执行机构3和人机交互系统4。其中，感知系统1、执行机构3和人机交互系统4均与泊车控制器2通过can总线c通信相连，感知系统1用于实现车位识别；泊车控制器2对感知系统1的信息进行处理，利用感知系统1获得的车位及障碍物等信息，进行故障诊断、泊车控制和障碍无检测处理等，并通过can总线c将控制信号及显示信号发送至人机交互系统4和执行机构3，利用执行机构3对车辆的转向执行机构进行自动控制，通过人机交互系统4对驾驶员进行选换挡、制动和停车的信息提示和报警提醒，最终实现车辆的泊车辅助功能。

其中，所述感知系统1包括毫米波雷达11、摄像头系统12，以及轮速传感器13。其中，超声波雷达11的数量为8个，安装于车辆的前后保险杠上，每个保险杠上各安装4颗，其包括超声波传感器111和单片机112，超声波传感器111在车辆行驶和倒车过程中检测障碍物，超声波雷达11的单片机112对超声波传感器111的数据进行处理。摄像头系统12的数量为4个，包括摄像头121和图像处理器122，摄像头121优选为广角数字摄像头，图像处理器所采用的硬件为nvidiajetontx2，轮速传感器13探测车轮转角脉冲数和车辆转角等信息。执行机构3为电动助力转向电机(eps)，并与转向执行机构如方向盘以及制动辅助机构相连。

根据上文所述的泊车辅助系统，所实现的泊车辅助方法可按如下步骤进行：

步骤s1：采用安装在车辆左右后视镜下方的两个摄像头121在线实时采集原始图像数据；

其中，在在线实时采集原始图像数据之前，还包括摄像头参数初始化，摄像头参数包括摄像机内外参数读取、逆透视变换参数读取以及环视鸟瞰图参数。

步骤s2：采用与摄像头122相连的图像处理器122对原始图像数据进行车位检测处理，得到车位数据，包括：

其中，如图2和图3所示，车位检测处理，大致包括获取原始图像、畸变矫正、逆投影变换、图像分割、直线对检测和车位参数提取，具体包括：

步骤s21：采用畸变矫正和逆投影变换方式对原始图像数据进行校正，生成俯瞰图，所生成的俯瞰图与原始图像的对比如图4所示，随后采用canny算法对生成的俯瞰图进行图像分割。其中，所述图像分割包括以下步骤：

步骤s211：通过对生成的俯瞰图进行高斯滤波，对图像进行卷积处理，以减小噪声的影响；

步骤s212：利用一阶偏导的有限差分作为导数算子对每个像素点的横向和纵向的灰度梯度进行计算；

步骤s213：搜索整个图像空间，比较与其梯度方向相邻的两个像素点的梯度值，如果该像素点的梯度值不是最大的，则标记为该像素点不是边缘点，否则保留该点；

步骤s214：采用双阈值与各像素点的梯度进行比较，进一步排除非边缘像素。其中，双阈值包括梯度幅值的高阈值t1和低阈值t2，在本实施例中，高阈值t1为80，低阈值t2为160，如果某一像素位置的梯度幅值超过高阈值t1,该像素被保留为边缘像素，如果某一像素位置的幅值小于低阈值t2,该像素被排除；如果某一像素位置的幅值在两个阈值之间,该像素仅仅在连接到一个高于高阈值的像素时被保留。

由此，可以通过以上4步实现图像的分割，得到图像的边缘图。

步骤s22：采用直线检测算法检测步骤s21所述的俯瞰图中的所有直线；其中，所述直线检测算法为hough变换算法。

步骤s23：采用排除算法除去不合条件的直线，得到车位角点；其中，所述排除算法包括对步骤s22所检测到的直线进行亮点对特征计算、直线的特征参数计算、交点邻域二值化水平、垂直梯度计算，以及直线的角点间的距离计算；具体可以包括：

步骤s231：遍历步骤s22所检测到的所有直线的端点，进行亮点对特征计算，判断是否符合亮点对特征，根据判断结果得到所有候补车位线并保存；

步骤s232：若候补车位线个数大于2，则遍历步骤s231所得到的所有候补车位线，进行直线的特征参数的计算，并判断参数与已存储的直线的参数间的差别是否小于一第一阈值，其中直线的特征参数包括长度ρ和角度θ，在本实施例中，第一阈值为包括角度阈值和长度阈值，其中角度阈值为20-40°，长度阈值为13-17；随后根据判断结果得到所有聚类候补车位线并保存；否则，流程结束；

步骤s233：如图5所示，若聚类候补车位线个数大于2，则计算步骤s4所得到的所有聚类候补车位线的交点，并遍历所有交点，进行交点邻域二值化水平、垂直梯度计算，并判断计算出的水平和纵向梯度是否均大于一第二阈值，在本实施例中，第二阈值为18-22；随后根据判断结果得到所有候补角点；否则，流程结束；

步骤s234：若候补角点个数大于2，则计算所有候补角点间的距离，并遍历所有候补角点，判断候补角点间的距离是否与车位宽度、长度或对角线匹配；并根据判断结果存储相应的车位角点；否则，流程结束；

步骤s24：若车位角点个数大于2，则根据车位角点计算车位原点和判断车位类型，并计算坐标系转换角度，得到车位数据。

由此，本发明通过对已检测的直线交点进行灰度领域二值化处理，并分别计算正交方向上的灰度梯度值，并于正确的车位角点模板进行匹配，从而避免了图像处理器在检测车位过程中由于是利用满足一定角度的直线(如90°)的交点作为车位角点而产生的车位角点误检测，进而剔除了非车位角点。

步骤s3：采用图像处理器122通过can总线c实时获取车速、车辆位姿和坐标信息，结合划线车位与车辆的相对位置关系，计算出车位的世界坐标，发送至泊车控制器2；

其中，车速、车辆位姿和坐标信息是通过泊车控制器2根据车轮转角脉冲数和车辆转角实时计算来获取的。

步骤s4：采用泊车控制器2根据车位的世界坐标，进行路径规划，并进入泊车模式。其中，所述进入泊车模式包括：车辆通过一执行机构3对转向执行机构进行控制，并通过一人机交互系统4进行选换挡、制动和停车的信息提示和报警提醒。

此外，本发明的泊车辅助方法还可以结合超声波雷达来进行，即所述步骤s1还可以包括：采用安装于车辆的前后保险杠上的8个超声波雷达11检测障碍物并对数据进行处理，得到障碍物信息；且所述步骤s4还包括采用所述泊车控制器2对步骤s1得到的障碍物信息和所述步骤s3中的车位的世界坐标进行融合分析，根据车位的世界坐标和障碍物信息进行路径规划。由此，实现了基于超声波雷达和多视觉传感器的泊车辅助方法。

此外，本发明还可以包括步骤s5：采用图像处理器122通过can总线c实时读取是否进入泊车阶段，当车辆进入泊车阶段时，实时判断车辆与泊车位的距离关系并根据判断结果进入车位信息校正状态，再次重复步骤s1-s3来更新车位的世界坐标，并发送至泊车控制器2进行车位信息的检测校正。其中，实时判断车辆与泊车位的距离关系并根据判断结果进入车位信息校正状态，具体包括：当车辆后轴中心点与泊车位的距离判断为小于车位校正阈值时，进入车位信息校正状态。该车位校正阈值一般为0.8-1.2m，根据上述该方法，进入车位信息校正状态的时刻的后摄像机图像以及车辆与车位的关系如图6所示。由此，提供更精确的车位信息，泊车控制器更加更新的车位信息，对车辆路径规划进行修正，极大改善了车辆的泊车效果。

此外，步骤s5还可以包括：如图7所示，当车辆进入泊车阶段时，采用图像处理器122利用布置于车辆前后保险杆以及左右后视镜下方的4个摄像头121的数据进行图像拼接，生成车辆的全景环视图，保证车辆在泊车过程中360°无视野盲区；或者步骤s5还可以包括：当车辆进入泊车阶段时，超声波雷达11的超声波传感器111对障碍物进行实时感知并对数据进行处理，得到障碍物距离信息，并采用泊车控制器2根据障碍物距离信息与当前规划路径的位置是否发生碰撞确定是否进行重新规划。

以上所述的，仅为本发明的较佳实施例，并非用以限定本发明的范围。本发明的上述实施例还可以做出各种变化。即凡是依据本发明申请的权利要求书及说明书内容所作的简单、等效变化与修饰，皆落入本发明专利的权利要求保护范围。本发明未详尽描述的均为常规技术内容。