泊车系统和泊车方法与流程

1.本发明涉及对象定位领域，并且更具体地涉及一种泊车系统和泊车方法。


背景技术：

2.随着我国经济的快速发展，汽车保有量越来越多，然而停车场数量较少，使得停车难和难停车的问题日益显现。目前很多车辆开始配备泊车辅助系统来进行辅助泊车，多为通过倒车影像来进行泊车提示、预警等，泊车操作还需人为完成，无法从本质上改变难泊车问题，因此开发一种全自动泊车系统来代替人为泊车是当前迫切的需求。
3.自动泊车技术主要分为两种。第一种为基于超声波传感器的自动泊车，其技术相对成熟，但是超声波传感器只能探测障碍物和车辆，如果车位两侧无车辆则将无法实现自动泊车，因此存在探测盲区、障碍物干扰等问题，从而导致泊车效率较低。第二种为基于摄像头传感器的自动泊车技术，其多采用传统视觉算法进行车位检测，由于受光照条件、阴影遮挡等环境因素影响较大，且无法精确识别出障碍物的距离，因此无法实现精确自动泊车的要求。


技术实现要素：

4.因此，需要一种高精度泊车系统，以提高车位检测和障碍物检测的精度，从而实现复杂场景下的自动泊车功能。
5.为实现以上目的中的一个或多个，本发明提供以下技术方案。
6.按照本发明的第一方面，提供一种泊车系统，其包括：传感器单元，其包括摄像头、超声波雷达和惯性测量单元；泊车控制单元，其配置为：接收来自所述传感器单元的信号并对所述接收的信号进行预处理；基于所述预处理的信号进行障碍物检测和车位检测以获得障碍物信息和车位信息；基于目标泊车车位和所述获得的障碍物信息来规划出泊车路径和目标车速；以及基于所述泊车路径、当前转向角、目标车速和当前车速生成泊车控制指令；以及执行单元，其配置为基于来自所述泊车控制单元的所述泊车控制指令来执行泊车操作。
7.根据本发明一实施例所述的泊车系统，其中所述泊车系统进一步包括人机接口交互单元，所述人机接口交互单元配置为通过显示泊车影像和可供选择的泊车车位来与所述泊车控制单元进行交互。
8.根据本发明一实施例或以上任一实施例的所述的泊车系统，其中所述泊车控制单元进一步包括：传感器数据预处理模块，其配置为接收来自所述传感器单元的信号并对所述接收的信号进行预处理；车位检测模块，其配置为基于所述预处理的信号进行车位检测以获得车位信息；障碍物检测模块，其配置为基于所述预处理的信号进行障碍物检测以获得障碍物信息；算法融合模块，其配置为将所述车位检测模块中的车位检测算法和所述障碍物检测模块中的障碍物检测算法融合，以筛选出有效车位并剔除已占用车位，从而得到可用泊车位；规划与决策模块，其配置为基于所述目标泊车车位和所述获得的障碍物信息
来规划出泊车路径和目标车速；以及控制算法模块，其配置为包括横向控制算法和纵向控制算法，其中所述横向控制算法用于基于所述泊车路径和当前转向角来生成转向角控制指令，以及所述纵向控制算法用于基于当前车速和所述目标车速来生成档位控制指令以及加速或制动指令。
9.根据本发明一实施例或以上任一实施例的所述的泊车系统，其中所述车位检测模块配置为执行以下中的一个或多个：传统视觉算法，其用于对来自所述摄像头的原始图像进行图像灰度化、边缘检测以及车位线检测；深度学习算法，其用于通过经由多个车位数据集训练的神经网络来进行图像中车位点的检测；以及超声波探测算法，其用于通过探测车位上的车辆或障碍物来识别出空余的车位。
10.根据本发明一实施例或以上任一实施例的所述的泊车系统，其中所述障碍物检测模块配置为执行以下中的一个或多个：视觉障碍物检测算法，其用于通过设计车辆与行人的特征器和分类器来进行车辆与行人的检测；以及超声波障碍物探测算法，其用于利用来自所述超声波雷达的信号来探测障碍物。
11.根据本发明一实施例或以上任一实施例的所述的泊车系统，其中所述规划与决策模块配置为执行以下中的一个或多个：建图与定位算法，其用于基于车辆姿态、位置信息与当前车速来以车辆中心为坐标系而建立地图，以在所述地图中定位出车辆以及通过所述算法融合模块得到的可用泊车位；以及规划与决策算法，其用于基于目标泊车车位和障碍物信息来规划出泊车路径以及泊车速度，并将所述泊车路径以及泊车速度发送到控制算法模块。
12.根据本发明的第二方面，提供一种车辆，所述车辆包括如上所述的泊车系统。
13.根据本发明的第三方面，提供一种泊车方法，其包括：接收来自所述传感器单元的信号并对所述接收的信号进行预处理；基于所述预处理的信号进行障碍物检测和车位检测以获得障碍物信息和车位信息；基于目标泊车车位和所述获得的障碍物信息来规划泊车路径和目标车速；基于所述泊车路径、当前转向角、目标车速和当前车速生成泊车控制指令；以及基于所述泊车控制指令来执行泊车操作。
14.根据本发明的第四方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现根据本发明第三方面所述的泊车方法的步骤。
15.根据本发明的第五方面，提供一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序可被计算机执行以实现根据本发明第三方面所述的泊车方法的步骤。
附图说明
16.本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。在所述附图中：图1为按照本发明的第一方面一实施例的泊车系统的简化框图。
17.图2为按照本发明的第一方面一实施例的泊车系统的系统框图。
18.图3为按照本发明的第三方面一实施例的泊车方法的流程图。
19.图4为按照本发明的第四方面的用于实现本发明的泊车方法的计算机设备的框图。
具体实施方式
20.在本说明书中，参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的各实施例旨在使本文的公开全面完整，以将本发明的保护范围更为全面地传达给本领域技术人员。
21.诸如“包含”和“包括”之类的用语表示除了具有在说明书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。
22.下文参考根据本发明实施例的装置和设备的框图来描述本发明。
23.图1为按照本发明的第一方面一实施例的泊车系统的简化框图。泊车系统10包括传感器单元110、泊车控制单元120、执行单元130和人机接口交互单元140。
24.传感器单元110包括摄像头、超声波雷达和惯性测量单元。作为示例，传感器单元110可以包括4个环视鱼眼摄像头、12个超声波雷达和（一个或多个）惯性测量单元。可选地，车辆左右前后各加装一个环视鱼眼摄像头，输入视频信号形成全景影像供检测算法进行车位检测和障碍物检测。可选地，惯性测量单元可输出车辆位置、姿态等信息，以用于车辆定位与车位建图，便于车位跟踪。
25.泊车控制单元120配置为接收来自所述传感器单元110的信号并对所述接收的信号进行预处理；基于所述预处理的信号进行障碍物检测和车位检测以获得障碍物信息和车位信息；基于目标泊车车位和所述获得的障碍物信息来规划出泊车路径和目标车速；以及基于所述泊车路径、当前转向角、目标车速和当前车速生成泊车控制指令。可选地，所述泊车控制单元120进一步包括：传感器数据预处理模块，其配置为接收来自所述传感器单元的信号并对所述接收的信号进行预处理；车位检测模块，其配置为基于所述预处理的信号进行车位检测以获得车位信息；障碍物检测模块，其配置为基于所述预处理的信号进行障碍物检测以获得障碍物信息；算法融合模块，其配置为将所述车位检测模块中的车位检测算法和所述障碍物检测模块中的障碍物检测算法融合，以筛选出有效车位并剔除已占用车位，从而得到可用泊车位；规划与决策模块，其配置为基于所述目标泊车车位和所述获得的障碍物信息来规划出泊车路径和目标车速；以及控制算法模块，其配置为包括横向控制算法和纵向控制算法，其中所述横向控制算法用于基于所述泊车路径和当前转向角来生成转向角控制指令，以及所述纵向控制算法用于基于当前车速和所述目标车速来生成档位控制指令以及加速或制动指令。上述模块将在图2中进一步详细描述。
26.执行单元130配置为基于来自所述泊车控制单元120的所述泊车控制指令来执行泊车操作。可选地，执行单元130可以包括ecu/转向机构、换挡ecu/换挡机构、ebcm/制动机构和油门ecu/油门加速机构等。
27.人机接口交互单元140配置为通过显示泊车影像和可供选择的泊车车位来与所述泊车控制单元120进行交互。作为示例，司机通过选择想要泊车的车位，人机接口交互单元140即可将目标车位信息发送至泊车控制单元120以执行泊车操作。
28.图2为按照本发明的第一方面一实施例的泊车系统的系统框图。
29.如图2中所示，泊车系统10'包括传感器单元110'、泊车控制单元120'、执行单元
130'和人机接口交互单元140'。
30.传感器单元110'包括摄像头、超声波雷达和惯性测量单元。
31.泊车控制单元120'进一步包括：传感器数据预处理模块，其配置为接收来自所述传感器单元的信号并对所述接收的信号进行预处理；车位检测模块，其配置为基于所述预处理的信号进行车位检测以获得车位信息；障碍物检测模块，其配置为基于所述预处理的信号进行障碍物检测以获得障碍物信息；算法融合模块，其配置为将所述车位检测模块中的车位检测算法和所述障碍物检测模块中的障碍物检测算法融合，以筛选出有效车位并剔除已占用车位，从而得到可用泊车位；规划与决策模块，其配置为基于所述目标泊车车位和所述获得的障碍物信息来规划出泊车路径和目标车速；以及控制算法模块，其配置为包括横向控制算法和纵向控制算法，其中所述横向控制算法用于基于所述泊车路径和当前转向角来生成转向角控制指令，以及所述纵向控制算法用于基于当前车速和所述目标车速来生成档位控制指令以及加速或制动指令。下面将对上述六种模块进行详细阐述。
32.作为示例，传感器数据预处理模块接收来自摄像头、超声波雷达和惯性测量单元的数据并进行处理以供后续的车位检测模块和障碍物检测模块使用。可选地，所述传感器数据预处理模块接收4路鱼眼摄像头信号，其中原始鱼眼图像信号不做处理，输入至车位检测模块中的传统视觉算法中，另外将4路鱼眼图像进行校正、透视变换和图像拼接，以形成360
°
环视全景影像，输入至车位检测模块中的深度学习算法中。可选地，所述传感器数据预处理模块接收来自超声波雷达的数据信号并进行解析，以获得障碍物位置、距离等信息，以供后续的车位检测模块和障碍物检测模块使用。可选地，所述传感器数据预处理模块解析来自惯性测量单元的信号，其包括车辆位置、姿态等信息，以用于建立地图定位以及车位记忆等。
33.作为示例，车位检测模块接收来自摄像头和超声波雷达的经由传感器数据预处理模块处理后的数据用来实现车位检测。可选地，为了充分利用传感器数据，所述车位检测模块采用了三种车位检测算法，分别为传统视觉算法、深度学习算法和超声波探测算法。传统视觉算法通过对原始图像进行图像灰度化、边缘检测、车位线检测等来实现车位线的检测，该算法的优势在于运行占用资源少、检测速度快，但是图像清晰度不高时无法检测出有效车位，因此精度不高。深度学习算法是通过经由多个车位数据集训练的神经网络来进行图像中车位点的检测，用以完成全景图像中车位点的检测，采用深度学习算法可以在不同场景下显著提高车位检测的精度，包括雨天、光线暗淡、车位反光等场景，有效弥补了传统视觉车位检测算法的劣势。超声波探测算法通过探测车位上的车辆（障碍物）来识别出空余的车位，在车位线被遮挡或者损坏等情况下可通过超声波算法来检测出车位，以弥补基于摄像头影像的车位检测算法的缺陷。将传统视觉算法、深度学习算法和超声波探测算法三者的结果进行同步融合，极大提高了车位检测的精度。
34.作为示例，障碍物检测模块用来检测障碍物信息，以用于辅助有效车位的筛选和后续的规划与决策模块的运行。可选地，障碍物检测模块可以包括视觉障碍物检测算法和超声波障碍物探测算法。视觉障碍物检测算法通过设计车辆与行人的特征器、分类器等完成车辆与行人的检测，可以实现道路上车辆与行人检测用于泊车时蔽障，以及车位上车辆检测以用于筛选出有效的停车位。超声波障碍物探测算法可以探测出多种障碍物，以用于蔽障和有效车位检测。
35.作为示例，算法融合模块包括车位检测融合算法和障碍物检测融合算法。车位检测融合算法用于对三种车位检测算法的结果进行后处理。具体而言，将深度学习算法输出的车位点组成多个车位候选框，通过判断车位候选框的长宽比等特征，以筛选出有效车位；将传统视觉算法输出的车位线变换至车辆坐标系，然后将检测出来的线进行有效的组合，以筛选出车位；通过处理超声波探测算法输出的车位上车辆障碍物信息，来剔除已经被占用的车位，保留空车位。算法融合模块最终通过各车位检测的置信度来同时融合三种车位检测算法输出的车位信息，以得到可用泊车位。障碍物检测融合算法用于融合基于图像的视觉障碍物检测结果和基于超声波障碍物探测的障碍物探测结果，以检测出车位上的车辆以用于筛选出可泊车车位，检测出道路上的车辆和行人等障碍物以用于蔽障操作。
36.作为示例，规划与决策模块可以包括建图与定位算法和规划与决策算法，其结合人机接口交互单元给出的目标泊车车位以及障碍物信息，规划出泊车路径和目标车速。其中，建图与定位算法用于根据来自惯性测量单元的车辆姿态、位置等信息并且结合当前车速，以车辆中心为坐标系，实时建立地图，在地图中定位出车辆以及上述模块检测出来的车位，用于车位记忆，便于司机从人机接口交互系统中选出预泊目标车位。规划与决策算法用于根据目标车位，结合基于视觉与语义分割技术检测出来的可行驶区域，来规划出泊车路径以及泊车速度，然后发送至控制算法模块以用于控制指令的计算。
37.作为示例，控制算法模块包括横向控制算法和纵向控制算法。其中，横向控制算法用于根据泊车路径以及当前转向角，基于比例积分微分(pid)算法计算出转向角控制指令，发送至转向ecu以用于控制eps机构。纵向控制算法用于根据当前车速以及目标车速，基于pid算法计算出挡位控制指令、加速或制动命令，分别发送至换挡ecu、电子制动模块(ebcm)或油门ecu，以来控制选换挡机构、制动机构或者油门加速机构。
38.通过上述六种模块以及多个算法的协同操作，在不提高硬件成本的前提下，通过优化泊车系统内部算法架构来降低成本，且摄像头或超声波雷达中的任何一个发生故障也可完成自动泊车，提供了自动泊车系统的可靠性和安全性。
39.图3为按照本发明的第三方面一实施例的泊车方法的流程图。
40.如图3中所示，所述泊车方法包括：在步骤310中，接收来自所述传感器单元的信号并对所述接收的信号进行预处理；在步骤320中，基于所述预处理的信号进行障碍物检测和车位检测以获得障碍物信息和车位信息；在步骤330中，基于目标泊车车位和所述获得的障碍物信息来规划泊车路径和目标车速；在步骤340中，基于所述泊车路径、当前转向角、目标车速和当前车速生成泊车控制指令，并基于所述泊车控制指令来执行泊车操作。
41.基于按照本发明的第一方面一实施例的泊车系统，上述泊车方法可分为5个步骤进行：步骤1：基于摄像头完成车位检测和障碍物检测。可选地，首先4个鱼眼摄像头输出图像至泊车控制单元120，一部分图像直接进行传统视觉车位检测，另一部分图像经过图像处理形成全景图像，以利用训练好的神经网络算法检测出全景图像中的车位，同时基于视觉障碍物检测算法检测出车辆和行人等障碍物，进而可以实现只有摄像头的可泊车位筛选。
42.步骤2：基于超声波雷达完成车位检测和障碍物检测。可选地，首先12个超声波雷达输出障碍物信息至泊车控制单元120，经过数据预处理之后送至超声波障碍物探测算法，根据探测到的车辆障碍物来标识出空余车位，进而可以实现只有超声波雷达的可泊车位筛
选。
43.步骤3：将基于视觉和超声波技术的车位检测和障碍物检测结果进行融合，进一步提高各种泊车场景下的车位检测精度。可选地，首先将基于传统视觉算法、深度学习算法和超声波探测算法检测到的车位信息进行后处理，变换到车辆坐标系下进行同步融合，以显著提高车位检测的精度。同时将视觉障碍物检测算法和超声波障碍物探测算法检测到的障碍物信息进行融合，然后对上述检测到的车位进行进一步筛选，得到可泊车位信息。如果摄像头或者超声波雷达出现了故障，该步骤将无法进行，这时候可以由步骤1或步骤2直接跳至步骤4，以实现基于单一传感器（摄像头或超声波雷达）的可泊车位检测。
44.步骤4：完成自动泊车的路径规划与决策。首先司机在人机接口交互单元中选出预泊车的车位（目标车位），规划与决策算法接收到目标车位信息之后，结合基于视觉语义分割和超声波技术得到的可行驶区域，完成目标轨迹和目标车速规划，发送至控制算法模块。
45.步骤5：在控制算法模块中，横纵向控制算法分别计算出控制指令，由泊车控制单元120发送至执行单元130以完成全自动泊车操作。横向控制算法接收目标轨迹信息，结合当前转向角和pid算法计算出控制指令，发送至转向ecu，该ecu控制转向机构完成轨迹跟踪动作；纵向控制算法接收目标车速信息，基于pid算法输出换挡命令指令、加速指令/制动指令至换挡ecu、加速ecu/ebcm，进而控制换挡操作、加速/减速操作，完成目标车速跟踪动作，直至全自动泊车完成。
46.图4为按照本发明的第四方面的用于实现本发明的泊车方法的计算机设备的框图。如图4所示，计算机设备400包括存储器410和处理器420。虽然未图示，但是计算机设备400还包括存储在存储器410上并可在处理器420上运行的计算机程序。所述处理器执行所述程序时实现例如图3所示的按照本发明的第三方面一实施例的泊车方法的各个步骤。
47.另外，如上所述，本发明也可以被实施为一种计算机存储介质，在其中存储有用于使计算机执行按照本发明的第三方面一实施例的泊车方法的程序。
48.在此，作为计算机存储介质，能采用盘类（例如，磁盘、光盘等）、卡类（例如，存储卡、光卡等）、半导体存储器类（例如，rom、非易失性存储器等）、带类（例如，磁带、盒式磁带等）等各种方式的计算机存储介质。
49.通过在这些计算机存储介质中记录使计算机执行上述实施例中的泊车方法的计算机程序。而且，在计算机上装载上述计算机存储介质，由计算机读出在计算机存储介质中记录的计算机程序并储存在存储器中，计算机所具备的处理器（cpu：central processing unit（中央处理单元）、mpu：micro processing unit（微处理单元））从存储器读出该计算机程序并执行，由此，能执行上述实施方式中的泊车方法。
50.根据本公开提出的泊车系统和泊车方法，基于多车位检测算法的融合，利用摄像头和超声波雷达，通过融合传统视觉车位检测算法、深度学习车位检测算法和超声波车位探测算法，同时融合视觉障碍物检测和超声波障碍物探测算法，提高了车位和障碍物检测的精度，从而实现了复杂场景下全自动泊车功能。
51.提供本文中提出的实施例和示例，以便最好地说明按照本技术及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本发明。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。