基于多视觉系统的机械式停车位泊车方法与流程
本公开涉及无人驾驶行业中的自主泊车技术领域以及计算机视觉技术领域，具体涉及一种基于多视觉系统的机械式停车位泊车方法和装置。
背景技术：
近年来，自动驾驶技术发展迅猛，而解决停车难的问题也是自动驾驶领域研发的重点之一。由以倒车雷达为代表的辅助泊车系统、以超声波雷达为基础的双边障碍自动泊车技术发展到现在，自动泊车技术已经不仅仅限于泊车入库这一操作，而是扩展成包含自主低速巡航、寻车位、泊车以及召唤响应的综合泊车系统。在综合泊车应用中，机械式停车位相较于普通停车位，其特点是入车口窄，空间重叠且停车位与车辆行驶路面往往不在同一水平面，因此对于定位和测量的精度均要高于普通停车位泊车的要求，现有的普通车位泊车方法不能。一方面，从车位检测角度来看，现有的车位检测技术往往依靠环视视觉系统拼接鸟瞰图进行车位检测工作，该方法受地面平整假设的约束，对于车位线要求高且检测精度不足，仅能基本满足普通停车位的检测精度要求，无法达到机械式停车位的检测工作需求。另一方面，从车位定位角度来看，现有的自动泊车技术都是基于普通停车位泊车需要设计的，通常使用gps/imu或者双目slam等的定位算法，然而，这些常用算法均不能直接应用于机械式停车位的定位：首先，gps/imu不适用于室内场景，不能满足机械式泊车的定位需求；其次，双目slam算法存在着视场角度限制，可视角度范围远小于鱼眼相机；而对于机械式泊车停车场环境，车辆与包括光滑墙面和行驶车辆等在内的障碍物距离相对较近，必须获得广阔的视角才能能保证车辆的行驶安全和定位的稳定性，因此，存在视场角度限制的双目slam算法也无法满足机械式泊车的定位需求。
为了解现有技术的发展状况，本公开对已有的专利和论文进行了检索、比较和分析：
技术方案1：专利文献cn105015419a(“基于立体视觉定位与建图的自动泊车方法”)中提出使用双目系统作为感知采集系统，并将深度信息以及剔除动态点后，由slam模块对车身进行自定位工作，并根据自定位与停车位信息进行路径规划，完成停车任务。其中双目slam系统中，双目系统的可视角度范围一般不超过水平80度和垂直70度，远小于普通鱼眼相机系统的可视范围；且由于机械式停车场环境下更多光滑墙壁和运动障碍物，狭窄的视角限制了感知范围，进而显著威胁了车辆行驶过程中的安全性和定位的鲁棒性，所述方法不适用机械式停车位。
技术方案2：专利文献cn107600067a(“一种基于多视觉惯导融合的自主泊车系统及方法”)中提出了多视觉惯导融合的技术，感知系统包括双目相机、环视相机和imu。其中，双目相机和imu惯性导航单元负责对停车场进行建图和定位工作，此外双目相机还负责检测车身周围的障碍物信息；环视相机负责检测车身周围的车道线和车位信息。由于双目slam算法会有视角狭窄的问题，而基于环视的车位检测算法，但是，鉴于机械式停车位的结构特性和高精度要求，所述方案并不适用于机械式停车位的检测。
技术方案3：专利文献cn108909706a(“自动泊车方法及装置”)中提供了一种多传感器融合的泊车策略。所述方案在泊车启动后，会调用相机、雷达、差分gps等多个传感器，并结合高精地图、车联网等技术更精准地定位车位信息，并依次制定泊车路线。上述方案中，应用到了多个传感器，造成了数据上的冗余和融合优化的困难，同时，差分gps用于定位，高精地图和车联网技术，加大了对于停车场建设的要求，不适用于一般停车方案，难以大规模适用。此外，由于机械式停车位不同于普通停车位，存在着移动的可能性和立柱式边沿，存在车端传感器与云端数据不一致问题，导致停车困难。
技术方案4：专利文献cn109817018a(“一种自动泊车方法及相关装置”)中提供了仅使用视觉传感器的自动泊车方案，通过采集连续的多帧图像，供vslam算法进行停车场地图构建和定位工作，并通过将多个视觉传感器的图像拼接成俯视图，以检测空余车位的车位线信息，并根据定位于车位的位置信息，规划泊车路径。上述方案中，同样是采取了将采集的原始图像拼接成俯视图像进行车位检测的方案，并对车位特征进一步细分出了四条车位线；而实际情况中，由于相机视野的关系，拼接得到的俯视图几乎无法完全覆盖整个停车位，同时俯视图技术不适用于机械式停车位的检测，难以大规模应用。
可见，机械式自主泊车中，现有的方法在车位检测和车位定位等方面均不能满足需要，尤其在定位精度、稳定性和实时性上难以获得满意的综合效果。因此，需要研究新的适用于机械式停车场的车辆检测及自定位方法，既能检测到有效车位，又能保证定位精度，适应机械式停车场特殊的背景环境，又不增加额外的计算开销，可用于低功耗车载处理器，同时无需高成本传感器系统支持的机械式停车位自主泊车方法。
技术实现要素：
本公开致力于提出一种新的适用于机械式停车位的多视觉技术，将完整的机械式停车位停车流程分解成车位定位和车位检测与测量两大部分。其中，slam技术用于车位定位，贯穿巡航与泊车整个流程的始终，为车位检测与测量提供精准的定位信息；而对于车位检测与测量部分，针对机械式停车位检测精度和测量精度要求高的特点，本公开将停车位检测与测量工作分解，使用鱼眼相机完成车辆巡航时的车位巡检工作以及泊车预备时的双目相机接替鱼眼相机进行车位精检工作，并实时利用定位模块提供的定位信息，完成机械式停车位的泊车工作。相比于其他的泊车技术，本公开的多视觉技术解决了机械式泊车位定位复杂、检测测量精度又要求高的困难，在机械式泊车位自动泊车应用上的成功率上升明显。
为解决上述技术问题，根据本公开的一个方面，提供了一种基于多视觉系统的机械式停车位泊车方法，包括如下步骤：
步骤一、从鱼眼相机的视频流中抓取帧数据，分别传输到视觉单目slam自定位模块、机械式停车位检测模块以及障碍物检测模块；
步骤二、所述视觉单目slam自定位模块结合所述鱼眼相机传输的所述视频流与轮速计信息，给出车身定位与姿态信息；所述车身定位与姿态信息为后续的所述机械式停车位检测模块和所述障碍物检测模块提供精准的地图和位置信息；
步骤三、所述机械式停车位检测模块在车辆巡航过程中，利用鱼眼相机安装位置和宽视野的特性，采用机器学习方法给出图像中车位的检测框和宽度信息，为有效车位释放模块提供候选车位列表；
步骤四、所述障碍物检测模块检测自动驾驶车辆或辅助驾驶车辆在自主巡航过程中，车身周边的障碍物情况，并帮助所述有效车位释放模块决定是否释放有效车位；
步骤五、所述有效车位释放模块负责评价所述机械式停车位检测模块检测出的车位，综合所述视觉单目slam自定位模块、所述机械式停车位检测模块和所述障碍物检测模块的输出信息，决定是否释放出目标车位为有效车位；
步骤六、当所述有效车位被释放后，后视相机开始工作，其视频流开始加入到系统中，逐渐接替鱼眼相机，接受所述车身定位与姿态信息以及所述障碍物检测模块检测到的障碍物信息，以进行机械式停车位的追踪与精准检测工作。
优选地，所述机器学习方法为深度学习，特别是基于深度神经网络的深度学习。
优选地，所述后视相机为后视双目相机。
优选地，所述视觉单目slam自定位模块的输入包括右视鱼眼相机视频输入信息和轮速计信息，通过单目slam算法完成车辆定位。
优选地，所述通过单目slam方法完成车辆定位包括：
初始化：完成车辆位于世界坐标系的初始定位；
特征的检测、匹配与追踪：用以计算两帧之间的匹配关系，解算两帧之间的相机位姿变换信息；
建图与图优化：通过对于相机位姿的初步解算，提取关键帧用于建立世界地图，用于描述车辆在行驶过程中的环境信息；在检测到回环之后，将对世界地图中的关键帧进行一次全局优化，解算最优的位姿信息；而后继续进行特征匹配与追踪以及建图优化。
优选地，采用轮速计信息修正单目slam方法中的尺度信息，包括：
采用插值方法将局部地图中的关键帧与轮速计信息对齐，解算尺度因子；在定位阶段乘上该尺度因子，恢复尺度信息，实现对于定位的高精度解算。
优选地，给定车辆的初始坐标，在单位时间(即采样时间)内，依据车轮的轴距估算车辆左右两轮的单位移动距离；位姿估计表达式如公式(1)所示：
其中，[xt,yt]t代表t时刻时，当前车辆在世界坐标系下的坐标，相应地，[xt+1,yt+1]t代表t+1时刻的坐标，θt代表t时刻时车辆的航向角，θt+1代表t+1时刻时车辆的航向角；
优选地，采用线性插值算法，以时间为轴，计算相机位于轮速计位姿序列的位置，并以此计算尺度因子；其中，优化公式如公式(2)所示：
mink|kpi-σ(qj,qj+1,i)|(2)
其中pi代表时间为i时刻下slam系统估算的车辆位姿，qj和qj+1代表轮速计里程计中距离pi时间最近两帧位姿坐标，k代表尺度因子，σ(qj,qj+1,i)为插值算法函数，代表的是通过时间i计算连续两帧间的插值位姿。
优选地，所述机械式停车位检测模块包括特征提取模块；所述特征提取模块提取的特征子包括但不限于角点与车位边缘凸起。
优选地，所述角点为harris角点或fast角点。
优选地，利用hog特征描述子和预训练的svm分类器，选择候选区域，并对每个候选区域利用霍夫变换检测直线，追踪过滤，将冗余的直线剔除，筛选出车位边缘特征。
优选地，所述车位边缘特征成对存在。
优选地，将特征子输入到分类网络中，对车位类型进行分类。
优选地，作为车位类型的所述分类网络为以alexnet或resnet为骨架的多分类深度神经网络。
优选地，设定地面平坦且车位边缘与地面正交，通过逆投影方法计算车位与车身的相对坐标，进而计算车位宽度；投影公式如公式(3)所示：
其中[xc,yc,zc]t代表的是世界坐标系中的一点在以相机光心为原点的相机坐标系下的坐标值，fx,fy分别是相机焦距，cx,cy代表中心像素的偏移，[u,v,1]t代表的是图像上的坐标。
优选地，其中，坐标值yc＝h，h代表的是相机光心距离地面的高度，则相应的坐标如公式(4)所示：
通过有限次的浮点数运算解算得到车位的位置坐标。
优选地，所述障碍物检测模块检测视频帧中的障碍物，所述障碍物包括但不限于车辆、行人、宠物、地锁。
优选地，训练两种深度学习模型，以分别适应单目鱼眼相机和双目相机；以鱼眼相机检测模型检测动态障碍物，以双目相机检测模型检测机械车位内的障碍物。
优选地，所述有效车位释放模块接受所述视觉单目slam自定位模块、所述机械式停车位检测模块和所述障碍物检测模块三个模块的输入，即车身定位与姿态信息、车位信息以及障碍物信息；结合车身姿态信息和车位信息计算车位相对于车身的位置，再依据自定位信息将目标车位投影到视觉地图中，更新车位在地图中的绝对坐标；依据车位的宽度是否满足本车泊入要求以及车位内是否有障碍物来判定车位是否释放。
优选地，当机械式停车位释放后，转入试泊车过程；采用渐进式的多视觉替换方法泊车。
优选地，仅使用左目相机进行车位检测，左目相机检测出的多个车位通过逆投影和定位信息，投影到世界坐标系中与目标车位进行粗匹配；当连续多帧匹配成功后，丢弃鱼眼相机检测的车位信息，同时开启双目车位检测和深度估计，进而接替鱼眼相机以计算目标车位的宽度和位置信息；同时双目相机也进行障碍物检测工作，以实现泊车过程中对于动态障碍物的避让；其中匹配损失如公式(5)所示：
其中lmatch代表匹配损失项，pi和qi代表世界坐标系下两个车位特征列表中第i个特征点；n代表车位特征列表的长度。
优选地，当lmatch小于第一阈值时，即代表粗匹配成功。
优选地，双目车位检测中，当计算出车位边缘特征和角点特征后，依据视差和定位信息将特征投影到世界坐标系中，计算与目标车位距离，将大于第二阈值的特征筛除。
优选地，所述筛除是指对于某一检测特征点，计算其与目标车位全部特征点的距离的最小值，若所述最小值仍然超过所述第二阈值，则丢弃所述检测特征点。
优选地，所述距离计算公式如公式(6)所示：
ls＝min(|ps-qi|)i＝1,2,3,…(6)
其中ls代表检测的特征点ps与目标车位所有特征点qi距离的最小值。
优选地，在双目相机接管车位检测后，实时地计算机械车位两侧边缘与车尾的相对关系，若满足正交关系，且车位宽度满足泊车要求，即发送泊车指令到泊车控制模块。
优选地，其中车尾姿态分为如下两类：
标定阶段计算车尾相对于双目相机的姿态；
在视觉slam进行自定位时，依据对自身车辆的建模计算得到的车位姿态。
根据本公开的另一个方面，一种基于多视觉系统的机械式停车位泊车装置，包括：鱼眼相机、视觉单目slam自定位模块、机械式停车位检测模块、障碍物检测模块、后视相机和有效车位释放模块；
其中，所述鱼眼相机，其视频流中抓取的帧数据，被分别传输到所述视觉单目slam自定位模块、所述机械式停车位检测模块以及所述障碍物检测模块；
所述视觉单目slam自定位模块，结合所述鱼眼相机传输的所述视频流与轮速计信息，给出车身定位与姿态信息，所述车身定位与姿态信息为后续的所述机械式停车位检测模块和所述障碍物检测模块提供精准的地图和位置信息；
所述机械式停车位检测模块，在车辆巡航过程中，利用鱼眼相机安装位置和宽视野的特性，采用机器学习方法给出图像中车位的检测框和宽度等信息，为所述有效车位释放模块提供候选车位列表；
所述障碍物检测模块，检测所述自动驾驶车辆或所述辅助驾驶车辆在自主巡航过程中，车身周边的障碍物情况，并帮助所述有效车位释放模块决定是否释放有效车位；
所述有效车位释放模块，负责评价所述机械式停车位检测模块检测出的车位，综合所述视觉单目slam自定位模块、所述机械式停车位检测模块和所述障碍物检测模块的输出信息，决定是否释放出目标车位为有效车位；
所述后视相机，当所述有效车位被释放后，开始工作，其视频流开始加入到系统中，逐渐接替鱼眼相机，接受所述车身定位与姿态信息以及所述障碍物检测模块检测到的障碍物信息，以进行机械式停车位的追踪与精准检测工作。
根据本公开的再一个方面，一种基于多视觉系统的机械式停车位泊车系统，包括：
存储器，所述存储器存储执行如上所述方法的程序；
处理器；所述处理器执行所述程序。
根据本公开的再一个方面，一种自动驾驶车辆，包括：
所述自动驾驶车辆上搭载如上所述的装置或如上所述的系统。
根据本公开的再一个方面，一种自主泊车系统，包括：
所述如上所述的装置或如上所述的系统。
本公开的有益效果：
1、通用的单目slam算法通常会面临尺度漂移问题。因此，本公开引入了轮速计用于修正单目slam算法中的尺度信息。
2、提出的单目鱼眼相机检测算法，放弃了俯视图拼接的思路，转换为从原始图片中检测机械式停车位的方式，并通过定位信息和逆投影关系，快速高效地计算停车位的地图坐标。
3、综合考虑了功耗和多相机视角问题，提出了多视觉的渐进式机械车位检测方法，满足巡航状态下的低功耗和泊车过程中的高精度需求。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本公开的实施例进行详细描述，本公开的上述和其它目的、特征、优点将更加清楚。
图1是系统主流程图；
图2是单目鱼眼相机融合轮速的建图及定位流程图；
图3是机械车位示例图；
图4是基于单目鱼眼的机械车位检测流程；
图5是基于双目的车位检测基本流程。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
本公开提出了一种基于多视觉系统的机械式停车位的有效车位检测以及自主泊入方法，以低成本的车身环视鱼眼相机组与车尾处的双目相机组合成的多视觉系统进行信息采集，在车辆行驶过程中，利用视觉slam技术对车身与周围环境进行建图和定位工作，同时鲁棒地检测有效机械式停车位；并在释放有效车位信息后，利用自定位信息调整车身位姿，同时利用双目相机对有效车位进行高精度再检测和匹配工作，从而保证车辆可以顺利地泊入所述机械式停车位。
图1为系统主流程图。如图1所示，所述基于多视觉系统的机械式停车位泊车装置主要包括：鱼眼相机、视觉单目slam自定位模块、机械式停车位检测模块、障碍物检测模块、后视相机、有效车位释放模块和泊车控制模块。
自动驾驶车辆或辅助驾驶车辆进入自主泊车模式之后，从所述鱼眼相机的视频流中抓取帧数据，分别传输到所述视觉单目slam自定位模块、所述机械式停车位检测模块以及所述障碍物检测模块。
其中，所述视觉单目slam自定位模块结合所述鱼眼相机传输的所述视频流与轮速计信息，消除单目视觉slam中的尺度漂移问题，给出车身定位与姿态信息，所述车身定位与姿态信息为后续的所述机械式停车位检测模块和所述障碍物检测模块提供精准的地图和位置信息。
所述机械式停车位检测模块主要在车辆巡航过程中，利用鱼眼相机安装位置和宽视野的特性，通过特征点提取、机器学习(尤其是深度学习，特别是基于深度神经网络的深度学习)等算法，给出图像中车位的检测框和宽度等信息，为所述有效车位释放模块提供候选车位列表。
所述障碍物检测模块则是主要负责检测所述自动驾驶车辆或所述辅助驾驶车辆在自主巡航过程中，车身周边的障碍物情况，保证车辆行驶安全，并帮助所述有效车位释放模块决定是否释放有效车位。
所述有效车位释放模块负责评价所述机械式停车位检测模块检测出的车位，综合所述视觉单目slam自定位模块、所述机械式停车位检测模块和所述障碍物检测模块的输出信息，决定是否释放出目标车位为有效车位。
当所述有效车位被释放后，后视相机开始工作，以后视双目相机为例，其视频流开始加入到系统中，逐渐接替鱼眼相机，接受所述车身定位与姿态信息以及所述障碍物检测模块检测到的障碍物信息，以进行机械式停车位的追踪与精准检测工作。
相比于鱼眼相机的车位检测方法，后视双目相机可以更精准地检测目标车位的位置与宽度，但是由于后视双目相机的安装位置和视野范围限制导致不利于在巡航过程中实时检测车位，由于机械式停车位相对于普通停车位存在特殊的立体空间结构限制，如果仅采用后视双目相机则不能有效地检测出立体空间范围内的机械式停车位中的有效车位；因此，本公开创新性地采用鱼眼相机巡航检测，泊车阶段双目相机接替的渐进式流程；当监测到车尾与机械式停车位有效车位入口平行时，即可以开始泊车；既保证了对机械式停车位中立体空间内的有效车位的检测，避免遗漏上层立体空间内有效车位，同时又由后视双目相机系统的双目车位精准检测模块精准判断所述有效车位车库入口是否与车身位姿对齐，从而辅助完成机械式停车位的自主泊车控制。
如上，下面将分别介绍各子模块工作过程：
视觉slam模块的输入包括右视鱼眼相机视频输入信息和轮速计信息，通过单目slam算法完成车辆定位功能。其主要流程包括：
初始化工作，以完成车辆位于世界坐标系的初始定位；
特征的检测、匹配与追踪工作，用以计算两帧之间的匹配关系，解算两帧之间的相机位姿变换信息；
建图与图优化：通过对于相机位姿的初步解算，可以提取关键帧用于建立世界地图，用于描述车辆在行驶过程中的环境信息；而在检测到回环之后，将对世界地图中的关键帧进行一次全局优化，解算最优的位姿信息；而后继续进行特征匹配追踪、建图优化等的工作。
通用的单目slam算法通常会面临尺度漂移问题。因此，本公开引入了轮速计用于修正单目slam算法中的尺度信息：在统一的时间刻度下，轮速计可以通过对于轮齿脉冲的计数得到真实的距离信息；但是由于单目slam算法和轮速计的周期不同，强行使用时间戳对齐则会导致匹配偏移，进而影响解算误差；因此引入插值算法将局部地图中的关键帧与轮速计信息对齐，解算尺度因子。在定位阶段乘上该尺度因子则可以恢复尺度信息，实现对于定位的高精度解算。单目鱼眼相机融合轮速的建图及定位流程图如图2所示。
其中轮速计的位姿估计模型如下：给定车辆的初始坐标，在单位时间(采样时间)内，依据车轮的轴距可以估算车轮左右两轮的单位移动距离，此处特指车辆后轴的左右两轮。有位姿估计表达式如下：
其中，[xt,yt]t代表t时刻时，当前车辆在世界坐标系下的坐标，相应地，[xt+1,yt+1]t代表t+1时刻的坐标，θt代表t时刻时车辆的航向角，θt+1代表t+1时刻时车辆的航向角；
应值得注意的是，由于轮速计和相机的采样频率不同，坐标点难以完美重合，因此采用线性插值算法，以时间为轴，计算相机位于轮速计位姿序列的位置，并以此计算尺度因子。有优化公式如下：
mink|kpi-σ(qj,qj+1,i)|(2)
其中pi代表i时刻下slam系统估算的车辆位姿，qj和qj+1代表轮速计里程计中距离pi时间最近两帧位姿坐标，k代表尺度因子，σ(qj,qj+1,i)为插值算法函数，代表的是通过时间i计算连续两帧间的插值位姿。
图3为机械车位示例图。相较于传统的停车位检测方法依赖于停车位的黄白线，机械式停车位无黄白线可言，同时因为立体式的原因，俯视图投影机制产生的误差过大。本公开提出的单目鱼眼相机检测算法，放弃了俯视图拼接的方法，采用了从原始图片中检测停车位的方式，并通过利用逆投影矩阵和定位模块的定位信息，可以快速高效地计算停车位位于世界地图中的位置坐标，在提升检测精度的同时，降低了运算量。
机械车位检测模块分两部分进行：首先是特征提取模块，机械车位与传统停车位有明显不同，具体示例见上图。提取的特征子包括但不限于角点与车位边缘凸起，角点提取使用传统的角点提取算法(包括但不限于harris角点、fast角点等)或者深度学习算法(出于速度考虑，一般选取yolo或者ssd目标检测算法)，车位边缘算法则是利用hog特征描述子和预训练的svm分类器，选择候选区域，并对每个候选区域利用霍夫变换检测直线，追踪过滤，将冗余的直线剔除，筛选出车位边缘特征(一般是成对存在)；其次是将特征子输入到神经网络中，对车位类型进行分类，选择以alexnet、resnet等为骨架的多分类深度神经网络作为车位类型的分类网路。对于检测出的车位，需要精确地计算其宽度，此时假定地面平坦且车位边缘与地面正交，则可以通过逆投影算法计算其与车身的相对坐标，进而计算车位宽度。对于普通相机来说，有投影公式如下：
其中[xc,yc,zc]t代表的是世界某一点在以相机光心为原点的相机坐标系下的坐标值，fx,fy分别是相机焦距，cx,cy代表中心像素的偏移，[u,v,1]t代表的是图像上的坐标。而在地面点这样的强假设下，有yc＝h，h代表的是相机光心距离地面的高度，则可以算出相应的坐标为：
其中各项参数的解释同上。通过公式(4)可以仅通过有限的几次浮点数运算解算得到车位的位置坐标，可以同时满足计算复杂度低和车位坐标精准的需求。
图4为基于单目鱼眼的机械车位检测流程。
障碍物检测模块主要负责视频帧中障碍物的检测工作，包括但不限于车辆、行人、宠物、地锁等类别。注意需要训练两种深度学习模型，以分别适应单目鱼眼相机和双目相机；此外，依据主要任务的不同，鱼眼相机检测模型主要负责检测动态障碍物，双目相机主要负责机械车位内障碍物的检测，因此训练类别应有所区别。
有效车位释放模块接受上述三个模块的输入，即车身姿态和自定位信息、车位信息以及障碍物信息，结合车身姿态信息和车位信息可以计算出车位相对于车身的位置，再依据自定位信息可以将目标车位投影到视觉地图中，更新车位在地图中的绝对坐标；依据车位的宽度是否满足本车泊入要求以及车位内是否有障碍物(包括车辆、行人、地锁等障碍物)，来判定车位是否释放。
当机械式停车位释放后，将转入试泊车过程。相较于普通停车位，机械式停车位存在车位狭窄、检测精度要求高的特点，而且由于鱼眼相机的安装位置位于右侧，泊车过程中车位不在其视野范围内，且其对于深度估计的精度低，仅仅使用鱼眼相机无法满足机械式停车位的泊车需求。而双目相机通过计算视差可以精细的测量距离，以满足高精度的要求。考虑到使用双目相机时因为安装位置和视场角原因，视野狭窄且易错失合适的目标车位。因此本公开采取了渐进式的多视觉替换方案。
其中本方法中引用的视差计算算法包括但不限于bm、sgbm和gc等算法。
由于右侧鱼眼相机与后视双目相机安装位置的关系，双方视野的重叠范围极小，即同一机械式停车位无法同时出现在后视双目相机和右侧鱼眼相机中，因此双目相机需要接替鱼眼相机完成机械式停车位的检测工作。
为进一步节省算力资源，在车位匹配追踪过程中，仅使用左目相机进行车位检测工作，左目相机检测出的多个车位通过逆投影和定位信息，可以投影到世界坐标系中与目标车位进行粗匹配工作；当连续多帧匹配成功后，丢弃鱼眼相机检测的车位信息，同时开启双目车位检测算法和深度估计算法，进而接替鱼眼相机以实现更精准地计算目标车位的宽度和位置信息；同时双目相机也进行障碍物检测工作，以实现泊车过程中对于动态障碍物的避让。
其中lmatch代表匹配损失项，pi和qi代表世界坐标系下两个车位特征列表中第i个特征点，当lmatch小于一定阈值时，即代表粗匹配成功。其中n代表车位特征列表的长度。
其中，上述双目车位检测算法基本流程同上述车位检测算法基本一致，不同点在于，当计算出车位边缘特征和角点特征后，会依据视差和定位信息将特征投影到世界坐标系中，计算与目标车位距离，将大于一定阈值的特征筛除，节省计算资源的同时，降低误检测率，实现更鲁棒的车位检测工作。算法流程图如图5所示。
其中，筛选是指对于某一检测特征点，计算其与目标车位全部特征点的距离的最小值，若扔超过阈值，则丢弃。距离计算公式如下：
ls＝min(|ps-qi|)i＝1,2,3,…(6)
其中ls代表检测的特征点ps与目标车位所有特征点qi距离的最小值。
在双目相机接管车位检测后，需要实时地计算机械车位两侧边缘与车尾的相对关系，若满足正交关系，且车位宽度满足泊车要求，即可以发送泊车指令到泊车控制模块。其中车尾姿态的计算方式分为如下两类：标定阶段计算车尾相对于双目相机的姿态；在视觉slam进行自定位时，依据对自身车辆的建模计算得到。
对于机械式停车位的自主泊车控制中，现有的方法在定位精度、稳定性和实时性上难以获得满意的综合效果，自主泊车成功率低。通用的单目slam算法通常会面临尺度漂移问题。本公开中引入轮速计用于修正单目slam算法中的尺度信息，很好地解决了通用单目slam算法自身固有的尺度漂移问题；
本公开提出的单目鱼眼相机检测算法，放弃了俯视图拼接的方法，采用了从原始图片中检测停车位的方式，并通过利用逆投影矩阵和定位模块的定位信息，可以快速高效地计算停车位位于世界地图中的位置坐标，在提升检测精度的同时，降低了运算量。
在机械式停车位检测方面，本公开综合考虑了算法的复杂度和不同相机的视角问题，提出了多视觉的渐进式机械车位检测算法：即首先通过右视鱼眼相机以低计算复杂度的方法，在巡航过程中对目标车位进行粗略筛选；继而在泊车过程中，双目相机逐渐接管鱼眼相机的车位检测工作，以实现高精度的机械式停车位检测，满足机械式停车位泊车的严苛要求。
由此可见，本公开提出的新的基于多视觉系统的机械式停车位泊车方法，既能保证机械式停车位自动泊车的定位精度，又能适应室内、室外的背景环境，又不增加额外的计算开销，可用于低功耗车载处理器，同时仅需采用现有自动驾驶车辆中已有的视觉传感系统接口，也无需高成本传感器系统支持。本公开的基于多视觉系统的机械式停车位泊车方法和装置具有广泛的应用前景。
至此，已经结合附图所示的优选实施方法描述了本公开的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定，本公开的保护范围显然不局限于这些具体实施方式。在不偏离本公开的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本公开的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！