基于机器视觉的停车场导航系统及方法与流程

本发明属于计算机和自动化技术，特别是车联网与车辆导航技术领域，具体涉及一种基于机器视觉的停车场导航系统及方法。

背景技术：

随着停车场规模与复杂程度增加，尤其是室内停车场，往往存在道路狭窄、环境复杂、视野不开阔的情况，使得驾驶员无论是在停车场内寻找空闲车位或者驶出停车场都比较麻烦。此外，现有的停车场系统往往只能提供空闲车位的数量或者编号，不能提供直观的导航和实时地图来引导车辆，从而不能提供更高质量的停车服务，停车场与车辆之间也缺乏有效的协同，自动化与智能化水平不高。

中国专利申请：一种停车场智能管理服务器、系统、方法及uwb定位标签(申请号：201610875430.7)公开了一种基于uwb定位的停车场智能管理系统及方法，该系统使用uwb定位方法对需要指引的车辆所在位置进行实时的定位，能够实现停车场内的车辆至空闲停车位的导航，但该方法不能独立实现车位空闲状态检测。中国专利申请：一种停车场导航系统及方法(申请号

201610811935.7)公开了一种基于压力传感器和gps定位的停车场导航的方法，该系统使用压力传感器来确定车位的空闲状态，使用gps来定位车辆的实施位置，能够实现停车场内的车辆至空闲车位的导航，但不适用于室内停车场。中国专利申请：基于分布式视觉的停车场-车辆协同智能停车系统及方法(申请号：201610228232.1)公开了一种基于分布式视觉的停车场-车辆协同的智能停车系统和方法，该方法由停车场服务中心通过分布式视觉传感器覆盖停车场区域来检测目标运动状态及障碍物，停车场服务中心规划好路径发送给智能车辆，由智能汽车的车辆控制模块控制车辆完成停车场内的自动驾驶，但不适合由人驾驶的车辆。

本发明针对大型复杂停车场车辆驶入/驶出的导航需求，提出一种基于机器视觉的停车场导航系统及方法，利用机器视觉方法检测车位空闲状态及车辆位置，通过停车场与车辆的协同来为车辆提供导航信息，实现停车场内车辆导航的智能化，提高停车场内停车的效率与便利性。

技术实现要素：

本发明旨在解决以上现有技术的问题。提出了一种提高大型复杂停车场内停车的效率与便利性的基于机器视觉的停车场导航系统及方法。本发明的技术方案如下：

一种基于机器视觉的停车场导航系统，包括停车场服务中心和车辆上的用户移动终端两部分，所述停车场服务中心包括车辆跟踪模块、数据管理模块以及停车场服务中心通信模块。所述车辆跟踪模块用于实时检测各车位占用状态以及停车场通行区域的车辆目标的运动状态，构造停车场实时地图；所述数据管理模块用于对车位数据进行查询与更新，并存储停车场实时地图、运动车辆目标的位置；所述停车场服务中心通信模块用于接收来自用户移动终端的驶入/驶出请求，并将停车场实时地图及车辆实时位置发送到用户移动终端；

所述用户移动终端包括终端通信模块与车辆导航模块，所述终端通信模块用于向停车场服务中心发出驶入/驶出停车场的请求信息，并接收停车场服务中心发送的停车场实时地图与车辆实时位置；所述车辆导航模块根据接收到的停车场实时地图、车辆实时位置以及用户选择的终点位置规划导航路径，并进行显示及语音提示。

进一步的，所述车辆跟踪模块是通过停车场内安装的多组局部视觉传感器来观测范围覆盖停车场内的所有通行和停车区域，来实现实时检测各车位占用状态以及停车场通行区域的车辆目标的运动状态。

进一步的，所述车辆跟踪模块还包括一个全局跟踪器及局部视觉传感器组对应的局部跟踪器，各局部视觉传感器组的观测范围覆盖停车场的全部车位区域、行车路径区域及出入口区域，每一个局部视觉传感器组对应一个局部跟踪器，对局部视觉传感器组中的多个传感器获得的图像进行变换与融合，得到局部视图，并从局部视图中检测出车辆目标，对行车路径区域的车辆目标进行跟踪滤波获得车辆目标的运动状态，对车位区域的车辆目标则更新车位占用状态，再将车辆目标的运动状态与车位占用状态发送给全局跟踪器，全局跟踪器对来自各局部跟踪器的车辆目标运动状态进行融合，获得停车场内各运动车辆的当前位置及姿态，并对车位占用状态进行融合，构造停车场实时地图。

进一步的，所述全局跟踪器对来自各局部跟踪器的车位占用状态进行融合，融合规则是”或”规则，对任意车位，只要有一个局部跟踪器检测到该车位的状态为占用，则该车位的状态为占用。

进一步的，所述停车场实时地图中除了包含停车场内的路径信息外，还包含各车位的实时占用状态。

一种基于所述系统的基于机器视觉的停车场导航方法，车辆驶入停车场时的导航方法包括以下步骤：

(1)当车辆行驶到停车场入口时，用户移动终端向停车场服务中心发送车辆身份、当前位置以及驶入请求；

(2)停车场服务中心通信模块接收步骤(1)中用户移动终端发送的驶入请求，将车辆身份、当前位置信息以及驶入请求转发给数据管理模块，并将停车场实时地图及系统推荐车位发送给用户移动终端；

(3)停车场服务中心车辆跟踪模块通过视觉传感器组实时采集通行区域运动目标信息，获得停车场内各运动车辆的当前运动状态，同时检测停车场内各车位占用状态，构造停车场实时地图；

(4)停车场服务中心通信模块根据车辆身份将车辆的当前运动状态发送给用户移动终端；

(5)用户移动终端通信模块接收本车的当前运动状态；

(6)用户移动终端车辆导航模块以车辆当前位置为起点，以用户选择或系统推荐的空闲车位位置为终点规划车辆导航路径，以语音及图像方式提供路径指引；

(7)重复步骤(3)～(6)，直到车辆到达终点；

(8)用户移动终端通信模块向停车场服务中心发送“导航结束”标志；

(9)停车场服务中心通信模块接收“导航结束”标志，记录车辆停车位置，驶入过程结束。

进一步的，车辆驶出停车场时的导航方法包括以下步骤：

(1)用户移动终端向停车场服务中心发送车辆身份与驶出请求；

(2)停车场服务中心通信模块接收步骤(1)中用户移动终端发送的驶出请求，进行身份验证后，将车辆身份及驶出请求转发给数据管理模块查找车辆停放位置，并将车辆停放位置及停车场实时地图发送给用户移动终端；

(3)停车场服务中心车辆跟踪模块通过视觉传感器组实时采集通行区域运动目标信息，获得停车场内各运动车辆的当前运动状态；

(4)停车场服务中心通信模块根据车辆身份将车辆的当前运动状态发送给用户移动终端；

(5)用户移动终端通信模块接收本车的当前运动状态；

(6)用户移动终端车辆导航模块以车辆当前位置为起点，以用户选择或系统推荐的出口位置为终点规划车辆导航路径，以语音及图像方式提供路径指引；

(7)重复步骤(3)～(6)，直到车辆到达出口，驶出过程结束。

进一步的，所述车辆跟踪模块的局部跟踪器i的处理流程是：

(1)接收视觉传感器组i采集的图像组{pi1，pi2，…，pin}，对其中的每个图像pij分别进行畸变校正及逆投影变换，得到校正后的俯视图像组{p^ti1，p^ti2，…，p^tin}：

(2)将俯视图像组{p^ti1，p^ti2，…，p^tin}的图像逐个映射到局部跟踪器的坐标系，进行融合和边界平滑处理，得到与该局部跟踪器对应的全局图像p^ti；

(3)根据全局图像p^ti对行车路径区域检测出运动车辆目标位置，作为局部跟踪器i的观测向量zi(k)＝[x1，y1，x2，y2，…，xj，yj，…，xim，yim]，其中xj，yj是检测到的运动车辆目标的位置坐标，im是检测到的运动车辆目标个数；

(4)根据全局图像p^ti对车位区域检测出车位状态，检测结果记为si(k)＝[s1，s2，…，sj，…，sil]，其中sj＝[idj，fj]是局部跟踪器i检测到的车位状态，idj是车位编号，fj是车位状态，fj＝0表示车位空闲，fj＝1表示车位被占用，il是检测到的车位个数。

本发明的优点及有益效果如下：

本发明针对大型复杂停车场车辆驶入/驶出的导航需求，提出一种基于机器视觉的停车场导航系统及方法，利用机器视觉方法检测车位空闲状态及车辆位置，通过停车场与车辆的协同来为车辆提供导航信息，实现停车场内车辆导航的智能化，提高大型复杂停车场内停车的效率与便利性。机器视觉方法只需要在停车场内安装视觉传感器即可实现车位空闲状态及运动车辆位置的同时检测，不需要其他类型的传感器辅助，并且不需要在车辆上额外安装传感器，简化了系统结构，易于实施。停车场实时地图中除了包含停车场内的路径信息外，还包含各车位的实时占用状态，实现将“导航”与“停车”两个问题关联起来，构造完整的解决方案。

附图说明

图1是本发明提供优选实施例的基于机器视觉的停车场导航系统总体架构；

图2.本发明停车场服务中心车辆跟踪模块结构；

图3.本发明停车场服务中心车辆跟踪模块的视觉传感器组设置示例；

图4.本发明实现车辆驶入停车场导航的流程；

图5.本发明实现车辆驶出停车场导航的流程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种基于机器视觉的停车场导航系统及方法，利用停车场内安装的视觉传感器组检测车位空闲状态及车辆位置，并发送给车辆上的用户移动终端，通过停车场与车辆的协同来为车辆提供导航信息。

以下结合附图和具体实例对本发明的具体实施方式进行描述。

如图1所示为本发明提出的一种基于机器视觉的停车场导航系统的总体架构。该系统由停车场服务中心和车辆上的用户移动终端两部分组成。

所述停车场服务中心包括车辆跟踪模块、数据管理模块以及停车场服务中心通信模块。所述车辆跟踪模块由一个全局跟踪器、多个局部视觉传感器组及传感器组对应的局部跟踪器组成，用于通过停车场内安装的观测范围覆盖停车场内的所有通行和停车区域的多组视觉传感器来实时检测各车位占用状态以及停车场通行区域的车辆目标的运动状态，构造停车场实时地图。

所述数据管理模块用于对车位数据进行查询与更新，并存储停车场实时地图、运动车辆目标的位置。在车辆驶入停车场时，数据管理模块根据给定的车位检索方法(如：距离车辆当前位置最近的空闲车位优先、距离目的地最近的空闲车位优先)推荐合适的空闲车位，并在车辆驶入导航结束后更新车辆停放信息；在车辆驶出停车场时，数据管理模块根据车辆信息查找停放位置，并在驶出任务完成后更新车辆停放信息。

所述停车场服务中心通信模块用于接收来自用户移动终端的驶入/驶出请求，并将停车场实时地图及车辆实时位置发送到用户移动终端供车辆导航。

所述用户移动终端包括终端通信模块与车辆导航模块。

所述终端通信模块用于向停车场服务中心发出驶入/驶出停车场的请求信息，并接收停车场服务中心发送的停车场实时地图与车辆实时位置。

所述车辆导航模块根据接收到的停车场实时地图、车辆实时位置以及终点位置规划导航路径，并进行显示及语音提示。在驶入时，终点位置为停车场服务中心推荐车位或用户选择的空闲车位位置；在驶出时，终点位置为停车场服务中心推荐或用户选择的出口位置。

如图2所示为本发明停车场服务中心车辆跟踪模块结构，该模块包括一个全局跟踪器、多个局部视觉传感器组及传感器组对应的局部跟踪器，用于检测停车场行车区域内的车辆目标的运动状态以及停车区域的车位占用状态，并构造停车场实时地图。停车场实时地图中除了包含停车场内的路径信息外，还包含各车位的实时占用状态。

所述车辆跟踪模块的视觉传感器组中包含多个视觉传感器，多个视觉传感器的观测范围的并集覆盖停车场的全部车位区域、行车路径区域及出入口区域。

所述车辆跟踪模块的局部跟踪器组中的每一局部跟踪器对应一个视觉传感器组，用于从视觉传感器组采集的图像中获取运动目标信息及车位状态信息，供全局跟踪器融合处理。局部跟踪器i的处理流程是：

(1)接收视觉传感器组i采集的图像组{pi1，pi2，…，pin}，对其中的每个图像pij分别进行以下变换，得到校正后的俯视图像组{p^ti1，p^ti2，…，p^tin}：

●畸变校正：利用标定获得的视觉传感器畸变参数对图像进行畸变校正；

●逆投影变换：将畸变校正后的图像通过逆投影变换转换成为俯视图p^tij；

(2)将俯视图像组{p^ti1，p^ti2，…，p^tin}的图像逐个映射到局部跟踪器的坐标系，进行融合和边界平滑处理，得到与该局部跟踪器对应的全局图像p^ti。

(3)根据全局图像p^ti对行车路径区域检测出运动车辆目标位置，作为局部跟踪器i的观测向量zi(k)＝[x1，y1，x2，y2，…，xj，yj，…，xim，yim]，其中xj，yj是检测到的运动车辆目标的位置坐标，im是检测到的运动车辆目标个数；

(4)根据全局图像p^ti对车位区域检测出车位状态，检测结果记为si(k)＝[s1，s2，…，sj，…，sil]，其中sj＝[idj，fj]是局部跟踪器i检测到的车位状态，idj是车位编号，fj是车位状态，fj＝0表示车位空闲，fj＝1表示车位被占用，il是检测到的车位个数。

所述车辆跟踪模块的全局跟踪器对来自各局部跟踪器的车辆目标运动状态进行融合，获得停车场内各运动车辆的当前位置及姿态，并对车位占用状态进行融合，构造停车场实时地图。全局跟踪器的处理流程是：

(1)车辆目标运动状态融合：对各局部跟踪器的观测向量{zi(k)}，首先与已有车辆目标轨迹进行数据关联，再通过kalman滤波来获得各运动车辆目标位置的最优估计；

(2)车位占用状态进行融合：对来自各局部跟踪器的车位占用状态进行融合，融合规则是”或”规则，对任意车位，只要有一个局部跟踪器检测到该车位的状态为占用，则该车位的状态为占用。设车位idj有m个局部跟踪器检测其状态，记为s¹j＝[idj，f¹j]，…，s^mj＝[idj，f^mj]，该车位sj＝[idj，fj]的状态融合方法表达式为：

fj＝f¹jf^mj

如图3所示为本发明停车场服务中心车辆跟踪模块的视觉传感器组设置示例。所述视觉传感器组包含安装在停车场内不同区域的多个局部视觉传感器组。在每个局部视觉传感器组中，各个视觉传感器的观测范围有部分重叠，多个视觉传感器观测范围的并集覆盖停车场的一个局部区域。各个视觉传感器组的观测范围有部分重叠，全部视觉传感器组的观测范围的并集覆盖停车场的全部出入口区域及通行区域。例如，图中局部视觉传感器组1中包含5个传感器1-1～1-5，覆盖区域为横向通道附近的停车区域及通行区域，各传感器之间有部分重叠区域；局部视觉传感器组2中包含3个传感器2-1～2-3，覆盖区域为纵向通道附近的停车区域及通行区域，各传感器之间有部分重叠区域；在纵、横向通道的交叉区域，两个传感器组有部分重叠，两个传感器组的观测范围的并集覆盖停车场的全部出入口区域及通行区域。本示例仅用于描述视觉传感器组设置效果，并不只限于图中这一种场景。

如图4所示为本发明实现车辆驶入停车场导航的流程，包括以下步骤：

(1)当车辆行驶到停车场入口时，用户移动终端向停车场服务中心发送车辆身份、当前位置以及驶入请求；

(2)停车场服务中心通信模块接收步骤(1)中用户移动终端发送的驶入请求，将车辆身份、当前位置信息以及驶入请求转发给数据管理模块，并将停车场实时地图及系统推荐车位发送给用户移动终端；

(3)停车场服务中心车辆跟踪模块通过视觉传感器组实时采集通行区域运动目标信息，获得停车场内各运动车辆的当前运动状态，同时检测停车场内各车位占用状态，构造停车场实时地图；

(4)停车场服务中心通信模块根据车辆身份将车辆的当前运动状态发送给用户移动终端；

(5)用户移动终端通信模块接收本车的当前运动状态；

(6)用户移动终端车辆导航模块以车辆当前位置为起点，以用户选择或系统推荐的空闲车位位置为终点规划车辆导航路径，以语音及图像方式提供路径指引；

(7)重复步骤(3)～(6)，直到车辆到达终点；

(8)用户移动终端通信模块向停车场服务中心发送“导航结束”标志；

(9)停车场服务中心通信模块接收“导航结束”标志，记录车辆停车位置，驶入过程结束。

如图5所示为本发明实现车辆自动驶出停车场的流程，包括以下步骤：

(1)用户移动终端向停车场服务中心发送车辆身份与驶出请求；

(2)停车场服务中心通信模块接收步骤(1)中用户移动终端发送的驶出请求，进行身份验证后，将车辆身份及驶出请求转发给数据管理模块查找车辆停放位置，并将车辆停放位置及停车场实时地图发送给用户移动终端；

(3)停车场服务中心车辆跟踪模块通过视觉传感器组实时采集通行区域运动目标信息，获得停车场内各运动车辆的当前运动状态；

(4)停车场服务中心通信模块根据车辆身份将车辆的当前运动状态发送给用户移动终端；

(5)用户移动终端通信模块接收本车的当前运动状态；

(6)用户移动终端车辆导航模块以车辆当前位置为起点，以用户选择或系统推荐的出口位置为终点规划车辆导航路径，以语音及图像方式提供路径指引；

(7)重复步骤(3)～(6)，直到车辆到达出口，驶出过程结束。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。