基于集中式视觉的停车场‑车辆协同的智能停车系统及方法与流程

本发明属于智能交通及自动控制领域，具体涉及一种基于集中式视觉的停车场-车辆协同的智能停车系统及方法。

背景技术：

传统停车场仅实现了计时收费、车位查询、车牌识别等基础服务功能，自动化与智能化水平不高。与室外停车场相比，室内停车场往往具有环境复杂、道路狭窄、视野不开阔等特点，导致车辆在驶入时对空闲车位的寻找以及在驶出时对车辆的寻找都较为麻烦。此外，目前针对智能车辆停车问题的解决方案通常只关注单个智能车辆本身，使得智能车辆对停车场全局的感知能力有限，停车场与车辆之间缺乏有效的协同关系，不能提供更高质量的停车服务。

中国专利申请：视觉辅助系统和引导车辆的方法(申请号：200580045956.2)公开了一种视觉辅助系统和引导车辆的方法，该系统包括为车辆收集位置数据的位置确认接收机、为车辆收集视觉数据的视觉模块。该专利提出利用视觉传感器辅助定位的思想，由GPS获得位置数据和视觉传感器获得的视觉位置数据加权得到车辆位置，从而辅助车辆控制。该专利以GPS为主，机器视觉为辅助，仅仅适用于能够获得GPS数据的室外停车场，并不适用于室内停车场自动停车需求。中国专利申请：一种基于鸟瞰系统的辅助泊车方法(申请号：201310109884.X)公开了一种基于机器视觉辅助泊车方法，该方法通过安装在车辆前后四个方位的摄像机来对周围的环境进行图像采集，经过图像处理技术，将车辆周围的环境信息以图像的方式返回给驾驶员，使得输出结果具有一定直观性。该系统仅依赖于车载传感器，未通过车辆与停车场之间的协同来实现停车。中国专利申请：一种全自动泊车系统(申请号：CN201410215303.5)公开了一种全自动泊车系统，利用环境信息采集系统的超声波传感器和摄像机获取泊车信息，规划出可行的泊车路径，作出相关指令，将指令发送各执行机构，并获得的实际反馈信号对规划的泊车路径进行时时的修正，实现对车辆的闭环控制。该系统同样仅依赖于车载传感器，未通过车辆与停车场之间的协同来实现停车。中国专利申请：一种与智能停车场协同的智能车辆自动驾驶系统和方法(申请号：201610107483.4)公开了一种与智能停车场协同的智能车辆自动驾驶系统和方法，该方法实现了车辆与停车场之间的协同，但后台服务系统只进行位置分配与地图传输，而环境检测与路径规划由车辆进行，依赖于车载传感器的支持。中国专利申请：基于分布式视觉的停车场-车辆协同智能停车系统及方法(申请号：201610228232.1)公开了一种基于分布式视觉的停车场-车辆协同智能停车系统及方法，由停车场服务中心通过分布式视觉传感器覆盖停车场区域来检测目标运动状态及障碍物，分配停车位置并规划车辆行驶路径。该方法采用分布式结构，每个视觉传感器都需要一个局部跟踪器模块，在视觉传感器数量较多时成本会比较高。

本发明针对室内停车场的车辆自动驶入/驶出需求，提出一种基于集中式视觉的停车场与车辆协同的智能停车系统和方法，减少了复杂停车场环境下停车、寻车的困难，实现了车辆出入停车场的自动化与智能化，并降低对系统配置的要求。

技术实现要素：

本发明旨在解决以上现有技术的问题。提出了一种减少了复杂停车场环境下停车、寻车的困难，实现了车辆出入停车场的自动化与智能化，并降低对系统配置的要求、降低成本的基于集中式视觉的停车场-车辆协同的智能停车系统及方法。本发明的技术方案如下：

一种基于集中式视觉的停车场-车辆协同的智能停车系统，包括停车场服务中心、智能车辆车载设备和用户移动终端，

所述的停车场服务中心包括视觉传感器组、车辆跟踪模块、路径规划模块、数据管理模块以及停车场通信模块，所述视觉传感器组用于采集停车场通行区域的图像序列并实时传输到车辆跟踪模块；所述车辆跟踪模块接收来自视觉传感器组的图像序列，通过逆投影变换、配准和拼接，得到停车场内的全局图像，在全局图像上检测停车场通行区域的车辆目标位置及障碍物信息，获得停车场实时地图；所述路径规划模块用于根据智能车辆当前位置、终点以及停车场实时地图实时规划出车辆的行驶路径；数据管理模块用于对车位数据进行查询、分配与更新，并存储停车场实时地图、运动车辆目标位置及其行驶路径；所述停车场通信模块用于接收来自用户移动终端的驶入/驶出请求，并将路径规划模块规划的行驶路径发送到智能车辆；

所述的智能车辆车载设备包括车辆通信模块与车辆控制模块两部分，所述车辆通信模块用于接收来自停车场服务中心的路径规划模块规划的行驶路径；车辆控制模块根据接收到的停车场服务中心规划的路径，控制智能车辆按该路径自动驾驶到终点；

所述的用户移动终端具有用户终端通信模块，实现向停车场服务中心发出驶入/驶出停车场的请求信息，并能接收停车场服务中心发送的处理结果。

进一步的，所述车辆跟踪模块接收并处理来自视觉传感器组的图像序列，具体包括以下步骤：

2.1接收来自视觉传感器组的实时图像序列；

2.2对接收到的不同视觉传感器获得的各图像分别利用对应视觉传感器通过参数标定获得的内部参数进行畸变校正，然后进行逆投影变换，将各图像视角统一变换到俯视角度；

2.3对经过步骤2.2矫正处理和逆投影变换后的各图像进行配准和拼接，得到停车场内的全局图像；

2.4从全局图像中检测目标车辆并计算其位置和姿态角，进行跟踪滤波得到目标车辆运动状态的最优估计；从全局图像中检测障碍物，根据目标车辆及障碍物生成停车场的实时地图。

进一步的，在智能车辆驶入停车场时，所述路径规划模块规划的终点是停车场服务中心为该车辆分配的车位位置；在智能车辆驶出停车场时，所述路径规划模块规划的终点是用户请求的停车场出口位置。

进一步的，在车辆驶入停车场的过程中，数据管理模块根据给定的车位分配方法(例如距离目的地最近)，查找距离待停车辆最近的空闲车位及其坐标，并在驶入任务完成后更新空闲车位信息；在车辆驶出停车场过程中，数据管理模块根据目标车辆信息查找相应车辆停放位置，根据出口位置查找出口在实时地图的坐标，并在驶出任务完成后更新空闲车位信息。

一种所述系统的基于集中式视觉的停车场-车辆协同的智能停车方法，当智能车辆驶入停车场时包括以下步骤：

5.1当智能车辆行驶到停车场入口时，车主利用用户移动终端向停车场服务中心发送车辆当前位置以及驶入请求；

5.2停车场服务中心通过停车场通信模块接收步骤5.1中用户移动终端发送的驶入请求，进行身份验证后，将车辆当前位置信息以及驶入请求转发给数据管理模块，由数据管理模块分配空闲车位，确定空闲车位位置；

5.3停车场服务中心视觉传感器组采集停车场通行区域的图像序列，实时传输到车辆跟踪模块进行处理，检测停车场通行区域的车辆目标的位置、姿态及障碍物的位置，并构造停车场实时地图；

5.4停车场服务中心路径规划模块以智能车辆当前位置为起点，以分配的车位位置为终点，根据步骤5.3的停车场实时地图规划智能车辆行驶路径；

5.5停车场服务中心通信模块将智能车辆的当前位置、姿态以及规划的车辆行驶路径发送给智能车辆，并将智能车辆当前位置与分配的车位位置发送给用户移动终端；

5.6智能车辆车载设备通信模块接收步骤5.5中的智能车辆的当前位置、姿态以及规划的车辆行驶路径；

5.7智能车辆车载设备车辆控制模块根据步骤5.6中通信模块接收到的信息控制智能车辆自动驾驶；

5.8重复步骤5.3～5.7，直到智能车辆驶入指定车位，驶入任务结束。

进一步的，当智能车辆驶出时的方法包括以下步骤：

6.1车主利用用户移动终端向停车场服务中心发送车辆身份、驶出请求以及出口位置；

6.2停车场服务中心通信模块接收到驶出请求，进行身份验证后，将车辆身份、驶出请求以及出口位置信息转发给数据管理模块，查找车辆停放位置；

6.3停车场服务中心视觉传感器组采集停车场通行区域的图像序列，实时传输到车辆跟踪模块进行处理，检测停车场通行区域的车辆目标的位置、姿态及障碍物的位置，并构造停车场实时地图；

6.4停车场服务中心路径规划模块以智能车辆当前位置为起点，以出口位置为终点，根据步骤6.3的停车场实时地图规划智能车辆行驶路径；

6.5停车场服务中心通信模块将智能车辆的当前位置、姿态以及规划的车辆行驶路径发送给智能车辆，并将智能车辆当前位置发送给用户移动终端；

6.6智能车辆车载设备通信模块接收步骤6.5中的智能车辆的当前位置、姿态以及规划的车辆行驶路径；

6.7智能车辆车载设备车辆控制模块根据步骤6.6中通信模块接收到的信息控制智能车辆自动驾驶；

6.8重复步骤4.3～6.7，直到智能车辆到达出口，驶出任务结束。

进一步的，所述步骤2.2逆投影变换，将各图像视角统一变换到俯视角度；包括步骤：利用摄像机的外部参数完成图像坐标几何变换，使之转换成为俯视图，所述外部参数有：摄像机垂直视角2α、摄像机水平视角2β、摄像机俯仰角θ、摄像机安装高度h，令相机的分辨率为m*n，则世界坐标系下的路面坐标和图像坐标系的路面坐标(x,y,0)和图像坐标系下的图像坐标(u,v)之间的关系为：

以图像中心为坐标原点对上述公式求反，有：

利用求反公式对源图像进行几何变换即可得到逆投影变换图像。

进一步的，所述停车场服务中心车辆跟踪模块具有车辆定位和多目标跟踪模块，包括以下步骤：

(1)利用连续多帧的全局图像建立背景模型；

(2)运用背景差分法检测出车辆目标，根据检测结果初始化搜索窗口；

(3)Kalman滤波器的初始化；

(4)利用初始化状态信息或上一时刻的状态信息来预测当前时刻车辆的目标位置；

(5)在预测值附近一定范围内运用自适应均值漂移算法对车辆目标进行迭代搜索，直到搜索到最佳匹配目标；

(6)利用评价参数对搜索结果进行评估，判断跟踪目标是否存在遮挡或者颜色干扰，如果搜索结果错误，则利用预测值来替代搜索结果；否则，将搜索结果作为跟踪结果；

(7)如果连续M帧出现跟踪目标和预测目标之间的像素差值大于T个像素的情况，则将其标记为新目标，并为新目标分配新的搜索框和Kalman滤波器，从而实现多目标跟踪；

(8)将上述图像坐标转换到世界坐标，保存到数据管理模块，并发送至路径规划模块；

(9)利用跟踪结果来更新Kalman滤波器的状态，重复步骤(4)、(5)、(6)、(7)、(8)，继续对车辆目标进行跟踪。

本发明的优点及有益效果如下：

本发明提出一种基于集中式视觉的停车场-车辆协同的智能停车系统及方法。本系统利用移动通信网络实现了智能车辆与后台服务中心、用户移动终端与后台服务中心的互联，利用停车场后台服务中心检测各车辆运动状态、规划车辆行驶路径，结合智能车辆的自动驾驶功能，实现了车辆出入停车场的自动化与智能化，减少了复杂停车场环境下停车、寻车的困难。通过将多个视觉传感器的图像集中处理，降低停车系统配置要求。

附图说明

图1.本发明基于集中式视觉的停车场-车辆协同的智能停车系统总体架构；

图2.本发明实现智能车辆自动驶入停车场的流程；

图3.本发明实现智能车辆自动驶出停车场的流程；

图4.本发明停车场服务中心的视觉传感器组设置效果；

图5.本发明停车场服务中心视觉传感器组中单个视觉传感器安装示意图；

图6.本发明停车场服务中心车辆跟踪模块的全局图像生成流程；

图7.本发明停车场服务中心车辆跟踪模块的车辆检测与跟踪流程。

具体实施方式

以下结合附图，对本发明作进一步说明：

本发明提出一种基于集中式视觉的停车场-车辆协同的智能停车系统及方法，利用移动通信网络实现智能车辆-停车场服务中心、用户移动终端-停车场服务中心互联，利用停车场服务中心的视觉传感器组和车辆跟踪模块检测各车辆运动状态、规划各智能车辆行驶路径，结合智能车辆的自动驾驶功能，引导智能车辆自动驾驶，最终实现智能车辆自动驶入/驶出停车场。

以下结合附图和具体实例对本发明的具体实施方式进行描述。

如图1所示为本发明提出的一种基于集中式视觉的停车场-车辆协同的智能停车系统的总体架构。该系统由停车场服务中心、智能车辆车载设备和用户移动终端三部分组成。

所述的停车场服务中心包括视觉传感器组、车辆跟踪模块、路径规划模块、数据管理模块以及通信模块。视觉传感器组用于采集停车场通行区域的图像序列并实时传输到车辆跟踪模块。车辆跟踪模块接收并处理来自视觉传感器组的图像序列，实时检测停车场通行区域的车辆目标的位置、姿态及障碍物的位置，构造停车场实时地图。路径规划模块根据停车场实时地图、智能车辆当前位置以及终点规划出行驶路径，其中，智能车辆驶入停车场时的终点是停车场服务中心为该车辆分配的车位位置，智能车辆驶出停车场时的终点是用户请求的停车场出口位置。数据管理模块用于对车位数据进行查询、分配与更新，并存储停车场实时地图、运动车辆目标的位置及其行驶路径。在车辆驶入停车场时，数据管理模块根据给定的车位分配方法查找合适的空闲车位及其坐标，并更新空闲车位信息；在车辆驶出停车场时，数据管理模块根据车辆信息查找停放位置，根据出口位置查找出口在实时地图的坐标，并在驶出任务完成后更新空闲车位信息。通信模块用于接收来自用户移动终端的驶入/驶出请求，将规划的行驶路径发送到智能车辆，并将智能车辆当前位置与终点位置发送给用户移动终端。

所述智能车辆车载设备包括通信模块与车辆控制模块。通信模块用于接收来自停车场服务中心的规划的本车行驶路径；车辆控制模块根据接收到的停车场服务中心规划的路径，控制智能车辆按该路径自动驾驶到终点。

所述用户移动终端用于向停车场服务中心发出驶入/驶出停车场的请求信息，并接收停车场服务中心发送的处理结果：在驶入时为智能车辆当前位置及分配的车位位置，在驶出时为智能车辆当前位置与出口位置信息。

如图2所示为本发明实现智能车辆自动驶入停车场的流程，包括以下步骤：

(1)当智能车辆行驶到停车场入口时，车主利用用户移动终端向停车场服务中心发送车辆当前位置以及驶入请求；

(2)停车场服务中心通过通信模块接收步骤(1)中用户移动终端发送的驶入请求，进行身份验证后，将车辆当前位置信息以及驶入请求转发给数据管理模块，由数据管理模块分配空闲车位，确定空闲车位位置；

(3)停车场服务中心视觉传感器组采集停车场通行区域的图像序列，实时传输到车辆跟踪模块进行处理，检测停车场通行区域的车辆目标的位置、姿态及障碍物的位置，并构造停车场实时地图；

(4)停车场服务中心路径规划模块以智能车辆当前位置为起点，以分配的车位位置为终点，根据步骤(3)的停车场实时地图规划智能车辆行驶路径；

(5)停车场服务中心通信模块将智能车辆的当前位置、姿态以及规划的车辆行驶路径发送给智能车辆，并将智能车辆当前位置与分配的车位位置发送给用户移动终端；

(6)智能车辆车载设备通信模块接收步骤(5)中的智能车辆的当前位置、姿态以及规划的车辆行驶路径；

(7)智能车辆车载设备车辆控制模块根据步骤(6)中通信模块接收到的信息控制智能车辆自动驾驶；

(8)重复步骤(3)～(7)，直到智能车辆驶入指定车位，驶入任务结束。

如图3所示为本发明实现智能车辆自动驶出停车场的流程，包括以下步骤：

(1)车主利用用户移动终端向停车场服务中心发送车辆身份、驶出请求以及出口位置；

(2)停车场服务中心通信模块接收到驶出请求，进行身份验证后，将车辆身份、驶出请求以及出口位置信息转发给数据管理模块，查找车辆停放位置；

(3)停车场服务中心视觉传感器组采集停车场通行区域的图像序列，实时传输到车辆跟踪模块进行处理，检测停车场通行区域的车辆目标的位置、姿态及障碍物的位置，并构造停车场实时地图；

(4)停车场服务中心路径规划模块以智能车辆当前位置为起点，以出口位置为终点，根据步骤(3)的停车场实时地图规划智能车辆行驶路径；

(5)停车场服务中心通信模块将智能车辆的当前位置、姿态以及规划的车辆行驶路径发送给智能车辆，并将智能车辆当前位置与出口位置发送给用户移动终端；

(6)智能车辆车载设备通信模块接收步骤(5)中的智能车辆的当前位置、姿态以及规划的车辆行驶路径；

(7)智能车辆车载设备车辆控制模块根据步骤(6)中通信模块接收到的信息控制智能车辆自动驾驶；

(8)重复步骤(3)～(7)，直到智能车辆到达出口，驶出任务结束。

如图4所示为本发明停车场服务中心的视觉传感器组设置效果示例。

所述视觉传感器组中包含安装在停车场内不同地点的多个视觉传感器，各个视觉传感器的观测范围有部分重叠，但多个视觉传感器观测范围的并集覆盖停车场的全部出入口区域及通行区域。本示例仅用于描述视觉传感器组设置效果，并不只限于图中这一种场景。

图5所示为本发明停车场服务中心视觉传感器组中单个视觉传感器安装示意图。设停车场全局坐标系的原点为O(0,0,0)，作为示例的视觉传感器C的坐标为(x_c,y_c,h)。视觉传感器C包含外部参数：2α(垂直视角)、2β(水平视角)、θ(俯仰角)，h(高度)。其中，安装高度h固定，其余参数可以通过标定获取。

图6所示为本发明停车场服务中心车辆跟踪模块的全局图像生成流程，包括以下步骤：

(1)接收视觉传感器组采集的图像，对来自每个视觉传感器的图像分别进行畸变校正；

(2)对来自每个视觉传感器的图像分别进行逆投影变换，使之转换成为俯视图。设视觉传感器C的分辨率为m*n，根据视觉传感器成像原理，对应于视觉传感器C的世界坐标系下的坐标(x，y，0)和图像坐标系下的坐标(u,v)之间的关系为：

从上述公式(1)-(2)可解出逆投影变换关系：

(3)根据逆投影变换得到的俯视图图像之间的单应性矩阵，逐个将图像映射到停车场全局坐标系，进行融合和边界平滑处理，得到全局图像。

图7所示为本发明停车场服务中心车辆跟踪模块的车辆检测与跟踪流程，包括以下步骤：

(1)初始化：利用连续多帧的全局图像建立背景模型，设定车辆姿态角从-90°到90°的模板共[180/R]个，其中R为模板组分辨率，并初始化Kalman滤波器；

(2)利用背景差分法检测出车辆目标，根据检测结果初始化搜索窗口；

(3)利用初始化状态信息或上一时刻的状态信息根据Kalman滤波器来预测当前时刻车辆目标的位置；

(4)在预测值附近一定范围内用连续自适应均值漂移算法(Continuously Adaptive Mean-SHIFT，CamShift)对车辆目标进行迭代搜索，直到搜索到最佳匹配目标；

(5)利用评价参数对搜索结果进行评估，判断跟踪目标是否存在严重的遮挡或者颜色干扰，如果搜索结果错误，则利用预测值来替代搜索结果；否则，将搜索结果作为跟踪结果；

(6)如果连续M帧出现跟踪目标和预测目标之间的像素差值大于T个像素的情况，则将其标记为新目标，并为新目标分配新的搜索框和Kalman滤波器，从而实现多车辆目标的跟踪；

(7)对检测出的每一车辆目标的图像，与姿态角模板进行匹配，则最佳匹配模板对应的角度即为该车辆当前的姿态角度；

(8)利用跟踪结果来更新Kalman滤波器的状态，

(9)重复步骤(3)-(9)，继续对车辆目标进行跟踪。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。