一种面向自动泊车的停车位视觉识别系统及其识别方法与流程

本发明属于计算机图像识别技术领域，尤其是一种面向自动泊车的停车位视觉识别系统及其识别方法。

背景技术：

经济的繁荣发展与科技的进步推动了汽车工业朝着自动化、智能化的方向不断前进。随着汽车保有量的不断上升，引发了“泊车难”等一系列问题。为了充分利用城市空间中有限的停车位，提高泊车效率，自动泊车技术应运而生。作为汽车智能化的关键技术之一，自动泊车技术相较人为泊车过程，泊车路径更加准确，泊车操作更加简洁，能尽量减少人为操作失误导致的刮蹭、碰撞等事故，使得泊车过程安全高效。

在自动泊车领域，成熟且应用广泛的停车位检测技术是基于超声波雷达的停车位探测技术。该技术通过超声波雷达探测目标车位周围的停驻车辆，并以停驻车辆之间的距离作为参考来判断目标车位是否可用于泊车。但是，基于超声波雷达的停车位探测技术对目标车位周围的环境过于依赖，当目标车位周围没有停驻车辆或停驻车辆只存在目标车位的前后一侧或左右一侧时，无法有效识别出目标车位。并且，泊车过程结束后，车辆的停放位置受目标车位周围停驻车辆停放位置的影响，当目标车位周围停驻车辆的停放位置偏离所在车位中心区域时，可能导致自动泊车结束后车辆的停放位置偏向目标车位的一侧甚至超出目标车位以致泊车失败。同时，超声波雷达的探测精度受天气、温度、噪声等环境因素的影响，恶劣的环境条件下对目标车位的探测存在较大的偏差，将对最终的泊车精度产生消极影响。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出一种面向自动泊车的停车位视觉识别系统及其识别方法，解决泊车过程中利用超声波雷达探测停车位时的局限与不足，减少停车位识别过程对周围环境的依赖，进而提高泊车的效率与准确性。

本发明解决其技术问题是采取以下技术方案实现的：

一种面向自动泊车的停车位视觉识别系统，包括如下模块：

停车位图像采集模块：对停车场内的停车位图像进行采集，并将采集到的停车位视频图像传递给停车位图像识别处理模块；

停车位图像识别处理模块：对接收到的停车位视频图像按帧依次进行识别处理，直至在某帧视频图像中识别出拍摄完整的停车位，确定该帧视频图像中识别出的完整停车位为目标停车位，并将目标停车位的四个角点的图像坐标传递给停车位追踪模块；

停车位追踪模块：对停车位图像识别处理模块识别出的目标停车位进行追踪识别，绘制目标停车位与目标停车位在世界坐标系下的坐标信息并传递给停车位显示模块；

停车位显示模块：将停车位追踪模块传递的目标停车位与目标停车位在世界坐标系下的坐标信息实时显示出来，供驾驶员参考。

进一步，所述停车位图像采集模块整体安装在车辆两侧b柱上方的车顶边缘；该停车位图像采集模块包含两个安装在底座上的广角摄像头，每个广角摄像均安装在一个底座上并可360度旋转。

一种面向自动泊车的停车位视觉识别系统的识别方法，包括以下步骤：

步骤1、停车位图像采集模块对停车场内的停车位图像进行采集，并将采集到的停车位视频图像传递给停车位图像识别处理模块；

步骤2、停车位图像识别处理模块对接收到的停车位视频图像按帧依次进行识别处理，直至在某帧视频图像中识别出拍摄完整的停车位，确定该帧视频图像中识别出的完整停车位为目标停车位，并将目标停车位的四个角点的图像坐标传递给停车位追踪模块；

步骤3、对停车位图像识别处理模块识别出的目标停车位进行追踪识别，绘制目标停车位与目标停车位在世界坐标系下的坐标信息并传递给停车位显示模块，直至自动泊车过程结束；

步骤4、停车位显示模块将停车位追踪模块检测到并绘制出来的目标停车位与目标停车位在世界坐标系下的坐标信息实时显示出来，供驾驶员参考，实现人机交互功能。

进一步，所述步骤1停车位图像采集模块是通过安装在车辆两侧b柱上方的车顶边缘处的可360度旋转的两个广角摄像头实现的。

进一步，所述步骤2停车位图像识别处理模块识别停车位视频图像中停车位的方法为：

(1)对原始停车位图像中的停车位与背景进行优化分割，将该帧停车位图像分别转换至灰度图与hsv颜色空间；

(2)对优化处理后得到的停车位与背景的分割图像进行细化操作以提取停车位的骨架；

(3)将每条车位线的骨架点聚集起来进行直线拟合，得到每条车位线所在的直线，并将拟合得到的直线聚集，形成车位线集合；

(4)对车位线集合中的直线两两求交点作为停车位角点的候选点，并对候选角点进行判断，如果两个候选停车位角点均在图像之内且连线与车位线集合中的某条直线重合同时该两点之间均匀分布着车位线骨架点，则说明这两个停车位候选角点是停车位四个角点中位于同一条车位线上的两个角点，进行多次判断后，得到图像中停车位的所有角点；判断角点的个数，如果其个数为四，则确定该停车位为拍摄到的完整的目标停车位并将其四个角点的图像坐标传递给停车位追踪模块；否则，继续对接收到的停车位视频图像的第二帧停车位图像进行上述识别操作，直至检测到的角点个数等于四即图像中拍摄到完整的停车位。

进一步，所述步骤(1)的具体实现方法为：

①统计停车位灰度图像中的灰度值，利用直方图阈值法确定灰度分割阈值，根据灰度分割阈值对灰度图进行二值化操作，得到停车位与背景的分割图像即二值图，记为pgray；

②对停车位的hsv颜色空间图进行直方图均衡化，然后根据停车位的颜色设定色调h、饱和度s、明度v三个分量的分割阈值，根据分割阈值对停车位的hsv颜色空间图进行二值化操作，得到停车位与背景的分割图像即二值图，记为phsv；

③对分割图像pgray与phsv分别进行强角点检测，通过对分割图像pgray与phsv中强角点的分布情况来判断pgray与phsv分割效果的优劣，决定对二者进行择优选择或者将二者合并。

进一步，所述步骤②三个分量的分割阈值设置如下：白色停车位：h∈[0，360]，s∈[0，0.12]，v∈[0.78，1]；黄色停车位：h∈[22，70]，s∈[0.27，1]，v∈[0.02，1]；蓝色停车位：h∈[200，248]，s∈[0.17，1]，v∈[0.18，1]。

进一步，所述步骤③决定对二者进行择优选择或者将二者合并的方法为：比较分割图像pgray与phsv中强角点的分布效果，如果二者强角点的分布效果相差较大，取分布效果较优者作为最终的停车位与背景分割图像；如果二者强角点的分布规律相近，将二者合并后的到的图像作为最终的停车位与背景分割图像。

进一步，所述步骤3的具体实现方法为：

停车位追踪模块接收由停车位图像识别处理模块传来的目标停车位的四个角点的图像坐标，并在接下来的每帧停车位视频图像中追踪目标停车位的四个角点；对每帧停车位视频图像中追踪到的停车位的四个角点，结合其图像坐标以及停车位图像采集模块中摄像头的内外参数，同时建立图像平面与地面的平面单应性关系，进行图像坐标系、摄像头坐标系、世界坐标系的转换，获得该帧中停车位四个角点在世界坐标系下的坐标即目标停车位的实际位置信息，并将其实时传送给自动泊车系统的路径规划模块，路径规划模块根据实时获得的目标停车位的实际位置信息实时规划泊车路径；同时，停车位追踪模块根据每帧停车位视频图像中目标停车位四个角点的图像坐标在该帧中绘制停车位，将绘制的停车位连同停车位四个角点在世界坐标系下的坐标信息一并传递给停车位显示模块并在停车位显示模块中实时显示出来；在车辆沿泊车路径移动时，停车位追踪模块根据视频图像中目标停车位的移动方向与趋势向停车位图像采集模块发送动作信息，使停车位图像采集模块及时调整自身的姿态和拍摄角度，保证其能一直拍摄到目标停车位，避免目标停车位脱离视频图像画面，直到自动泊车过程结束。

本发明的优点和积极效果是：

1、本发明对目标停车位的识别不依赖目标停车位周围的停驻车辆，只要停车区域的地面上绘制有停车位，不论停车位周围是否有车辆停驻，均能将停车位识别出来。

2、本发明使自动泊车系统的路径规划模块所规划的泊车路径不受目标停车位周围停驻车辆的影响，直接从本发明系统获取目标停车位的准确位置并据此实时规划泊车路径，使最终自动泊车结束后车辆准确的停放在目标停车位的中心区域，避免车辆偏离目标停车位停放甚至超出目标停车位停放。

3、本发明在对停车位视频图像中的目标停车位进行识别时，采用了将基于灰度图的图像分割方法与基于hsv颜色空间的图像分割方法相结合的图像分割方法，使不同光照条件下视频图像中目标停车位与背景的分割均能达到良好的效果，进而提高了本发明系统在不同光照条件下对停车位视频图像中目标停车位识别效果的鲁棒性。

4、本发明在对停车位视频图像中的目标停车位进行识别时，采用了提取目标停车位骨架并根据车位线骨架点拟合车位线的车位线检测方法，准确的检测出了每条车位线的中轴所在的直线，同时尽量避免了对图像中冗余直线和干扰直线的检测，有效的降低了车位线的误检率，使车位线的检测过程准确而简洁。

5、本发明在某帧停车位视频图像中利用识别算法识别出目标停车位后，在接下来的每帧停车位视频图像中采用追踪的方法追踪识别目标停车位，相较于对每帧停车位视频图像均采用识别算法识别目标停车位的方法，采用追踪识别目标停车位的方法用时较短，提高了目标停车位识别过程的实时性。

6、本发明的停车位图像采集模块能根据车辆沿泊车路径的运动而实时调整自身的姿态和拍摄角度，保证其能一直拍摄到目标停车位，避免目标停车位脱离视频图像画面，使自动泊车的路径规划模块能实时接收到目标停车位的准确位置信息，确保了泊车路径与最终车辆停放位置的准确性。

7、本发明将目标停车位的识别结果和实际的位置信息在停车位显示模块中显示出来，供驾驶员参考，人机交互友好。

8、本发明设计合理，能在不同环境下准确的识别目标停车位，且识别过程不受目标车位周围停驻车辆的影响，使自动泊车成过程更加准确，具有成本较低、停车位识别正确率较高、能适应不同的环境且鲁棒性较好等特点，有着良好的市场应用前景与推广使用价值。

附图说明

图1为本发明的系统连接示意图；

图2为本发明的停车位图像采集模块的布置示意图；

图3为本发明的停车位识别处理模块对停车位视频图像中目标停车位进行识别的算法流程图；

图4为本发明的停车位追踪模块追踪识别目标停车位的示意图。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

实施例1

一种面向自动泊车的停车位视觉识别系统，如图1所示，包括停车位图像采集模块、停车位图像识别处理模块、停车位追踪模块和停车位显示模块。下面对各个模块分别进行说明：

停车位图像采集模块将停车场内采集到的停车位视频图像传递给停车位图像识别处理模块。如图2所示，停车位图像采集模块包含两个广角摄像头，每个广角摄像均有一个底座与其配套安装，每个摄像头能够在底座上360度旋转并可以按需要调整自身姿态及拍摄角度。停车位图像采集模块整体安装在车辆两侧b柱上方的车顶边缘，负责采集停车场内的停车位图像。

停车位图像识别处理模块对接收到的停车位视频图像按帧依次进行识别处理，直至在某帧视频图像中识别出拍摄完整的停车位，即识别出了停车位的四个角点，确定该帧视频图像中识别出的完整停车位为目标停车位，并将目标停车位的四个角点的图像坐标传递给停车位追踪模块。

停车位追踪模块根据停车位图像识别处理模块传来的目标停车位四个角点的图像坐标在接下来的每帧停车位视频图像中对目标停车位的四个角点进行追踪，获取目标停车位四个角点在每帧停车位视频图像中的坐标。同时，停车位追踪模块对每帧停车位视频图像中目标停车位的四个角点的图像坐标进行图像坐标系、摄像头坐标系、世界坐标系的转换，获得该帧中停车位四个角点在世界坐标系下的坐标即目标停车位的实际位置信息，将其传递给自动泊车系统的路径规划模块，同时根据该帧中停车位四个角点的图像坐标在该帧中绘制停车位，将绘制的停车位连同停车位四个角点在世界坐标系下的坐标信息一并传递给停车位显示模块并在停车位显示模块中实时显示出来。自动泊车系统的路径规划模块根据停车位追踪模块实时传来的目标停车位的实际位置信息开始实时规划泊车路径并使车辆沿规划路径移动。随着车辆的移动，目标停车位在视频图像中也沿着某一方向移动，有脱离图像画面的趋势。此时，停车位追踪模块根据视频图像中目标停车位移动的方向与趋势向停车位图像采集模块发出动作指令，使停车位图像采集模块及时调整自身的姿态与拍摄角度，保证其能一直拍摄到目标停车位，避免目标停车位脱离视频图像画面，直至自动泊车过程结束。

停车位显示模块：将停车位追踪模块检测到并绘制出来的目标停车位与目标停车位在世界坐标系下的坐标信息实时显示出来，供驾驶员参考。

实施例2

基于上述面向自动泊车的停车位视觉识别系统，一种面向自动泊车的停车位视觉识别方法，包括以下步骤：

步骤1、停车位图像采集模块对停车场内的停车位图像进行采集，并将采集到的停车位视频图像传递给停车位图像识别处理模块。

步骤2、停车位图像识别处理模块对接收到的停车位视频图像按帧依次进行识别处理，直至在某帧视频图像中识别出拍摄完整的停车位，确定该帧视频图像中识别出的完整停车位为目标停车位，并将目标停车位的四个角点的图像坐标传递给停车位追踪模块。

如图3所示，停车位图像识别处理模块在对停车位视频图像中目标停车位进行识别时，停车位图像识别处理模块从停车位图像采集模块传来的停车位视频图像中获取一帧图像，对其进行识别处理的步骤如下：

(1)对原始停车位图像中的停车位与背景进行优化分割；将该帧停车位图像分别转换至灰度图与hsv颜色空间。

停车位的每条车位线是具有一定宽度的直线，亮度较地面等背景较高，且具有特定的颜色，包括白色、黄色、蓝色，分别表示收费停车位、专用停车位、免费停车位。

本步骤的具体实现方法为：

①统计停车位灰度图像中的灰度值，利用直方图阈值法确定灰度分割阈值，根据灰度分割阈值对灰度图进行二值化操作，得到停车位与背景的分割图像即二值图，记为pgray。

②对停车位的hsv颜色空间图进行直方图均衡化，增强图像中不同区域之间的对比度。然后根据停车位的颜色设定h(色调)、s(饱和度)、v(明度)三个分量的分割阈值，其中，其中白色停车位(收费停车位)：h∈[0，360]，s∈[0，0.12]，v∈[0.78，1]；黄色停车位(专用停车位)：h∈[22，70]，s∈[0.27，1]，v∈[0.02，1]；蓝色停车位(免费停车位)：h∈[200，248]，s∈[0.17，1]，v∈[0.18，1]。根据分割阈值对停车位的hsv颜色空间图进行二值化操作，得到停车位与背景的分割图像即二值图，记为phsv。

③对分割图像pgray与phsv分别进行强角点检测，通过对分割图像pgray与phsv中强角点的分布情况来判断pgray与phsv分割效果的优劣，决定对二者进行择优选择或者将二者合并。鉴于车位线是具有一定宽度的直线，因而停车位与背景分割效果好的图像中强角点集中在车位线边缘呈直线分布，整体表现出规律的分布效果。反之，停车位与背景分割效果差的图像中多数强角点分布杂乱，沿直线分布的强角点较少，整体表现出无规律的分布效果。比较分割图像pgray与phsv中强角点的分布效果，如果二者强角点的分布效果相差较大，取强角点分布较为规律即分布效果较优者作为最终的停车位与背景分割图像；如果二者强角点的分布规律相近，将二者合并(取并集)后的到的图像作为最终的停车位与背景分割图像。经过对分割图像pgray与phsv的择优选择或合并，提高了不同光照条件下图像中停车位与背景分割效果的鲁棒性。

(2)对优化处理后得到的停车位与背景的分割图像进行细化操作以提取停车位的骨架。本发明采用改进的zhang并行细化算法对优化处理后的停车位与背景的分割图像进行细化操作以提取停车位的骨架，该方法保证在细化过程中使停车位的基本结构特征保持不变，同时保证停车位的细节特征与车位线的连通性不被破坏，得到的骨架线位于车位线的中轴且其宽度为单像素。

(3)将每条车位线的骨架点聚集起来进行直线拟合，得到每条车位线所在的直线，并将拟合得到的直线聚集，形成车位线集合。

(4)对车位线集合中的直线两两求交点作为停车位角点的候选点，并对候选角点进行判断，如果两个候选停车位角点均在图像之内且连线与车位线集合中的某条直线重合同时该两点之间均匀分布着车位线骨架点，则说明这两个停车位候选角点是停车位四个角点中位于同一条车位线上的两个角点，进行多次判断后，得到图像中停车位的所有角点。判断角点的个数，如果其个数为四，则确定该停车位为拍摄到的完整的目标停车位并将其四个角点的图像坐标传递给停车位追踪模块；否则，继续对接收到的停车位视频图像的第二帧停车位图像进行上述识别操作，直至检测到的角点个数等于四即图像中拍摄到完整的停车位。

步骤3、对停车位图像识别处理模块识别出的目标停车位进行追踪识别，绘制目标停车位与目标停车位在世界坐标系下的坐标信息并传递给停车位显示模块，直至自动泊车过程结束。

如图4所示，停车位追踪模块追踪识别目标停车位的具体方法为：

停车位追踪模块接收到停车位识别处理模块传来的目标停车位abcd的四个角点的图像坐标后，在接下来的每帧停车位视频图像中对目标停车位abcd的四个角点进行追踪识别。同时，对每帧停车位视频图像中追踪到的目标停车位abcd的四个角点，结合其图像坐标以及停车位图像采集模块中摄像头的内外参数，同时建立图像平面与地面的平面单应性关系，进行图像坐标系、摄像头坐标系、世界坐标系的转换，获得该帧中目标停车位abcd四个角点在世界坐标系下的坐标即目标停车位abcd的实际位置信息，并将其实时传送给自动泊车系统的路径规划模块，路径规划模块根据实时获得的目标停车位abcd的实际位置信息实时规划泊车路径。与此同时，停车位追踪模块根据每帧停车位视频图像中目标停车位abcd四个角点的图像坐标在该帧中绘制目标停车位abcd，将绘制的目标停车位abcd连同其四个角点在世界坐标系下的坐标信息一并传递给停车位显示模块并在停车位显示模块中实时显示出来。在车辆沿泊车路径移动时，停车位追踪模块根据视频图像中目标停车位abcd的移动方向与趋势向停车位图像采集模块c2发送动作信息，使停车位图像采集模块c2及时调整自身的姿态和拍摄角度，保证目标停车位abcd一直处于停车位图像采集模块c2的视角范围ec2f之内，避免车辆沿泊车路径移动时目标停车位abcd脱离视频图像画面，直到自动泊车过程结束。

步骤4、停车位显示模块将停车位追踪模块检测到并绘制出来的目标停车位与目标停车位在世界坐标系下的坐标信息实时显示出来，供驾驶员参考，实现良好的人机交互功能。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。