一种车位检测方法及其系统、汽车与流程

本发明涉及智能驾驶技术领域，具体涉及一种车位检测方法及其系统、汽车。

背景技术：

车位检测是实现自动泊车的一个关键所在。当前的车位检测领域，主要分为两种模式，分别是基于超声波雷达探测和基于环视图检测。其中，所述基于超声波雷达探测方式探测车位需要依赖于空闲车位周边的障碍物或者标志物，以此构建车位；而所述基于环视图检测方法则都大多通过专家知识进行车位框提取，进而对别出车位线，过程复杂，漏检率高。

技术实现要素：

本发明所要解决的技术问题在于，提供一种车位检测方法及其系统、汽车，以克服基于超声波雷达探测车位和基于环视图检测车位的缺陷。

为了解决上述技术问题，本发明实施例提供一种车位检测方法，所述方法包括如下步骤：

获取车辆不同角度方向的图像；

根据所述车辆不同角度方向的图像得到车辆环视图像；

检测所述车辆环视图像得到相应的角点方框和车位方框，并确定每一角点方框和车位方框的相应类别及位置信息；其中，所述角点方框中心为车位角点，每一车位方框内具有多个角点方框；

根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框；

根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框。

其中，所述根据所述车辆不同角度方向的图像得到车辆环视图像包括：对所述车辆不同角度方向的图像进行矫正、透视变换及拼接得到车辆环视图像。

其中，所述基于fasterrcnn算法检测所述车辆环视图像得到相应的角点方框和车位方框包括：

提取所述车辆环视图像的图像特征；

根据所述图像特征生成相应角点方框和车位方框；

根据车位方框和角点方框的分类规则确定生成的相应角点方框和车位方框的类别和位置信息。

其中，所述车位方框的类别包括垂直车位、平行车位和斜列车位；

所述角点方框的类别包括l形角点方框、t形角点方框和不完整角点方框；

所述角点方框的位置信息为（x1，y1，w1，h1），其中，x1，y1分别为角点方框中心在所述图像中的坐标，w，h分别为角点方框的宽和高；

所述车位方框的位置信息为（x2，y2，w2，h2），其中，x2，y2分别为车位方框中心在所述图像中的坐标，w2，h2分别为角点方框的宽和高。

其中，所述根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框包括：

根据每一车位方框的位置信息（x2，y2，w2，h2）确定对应车位方框的方框范围大小为w2×h2，方框中心坐标为（x2，y2）；

根据每一角点方框的位置信息（x1，y1，w1，h1）确定对应角点方框的方框范围大小为w1×h1，方框中心坐标为（x2，y2）；

判断角点方框的方框范围是否落入车位方框的方框范围中，若落入，则表示该角点方框为相应车位方框中一个角点方框。

其中，所述根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框包括：

对于位于同一个车位方框内的角点方框，经过非极大值抑制和重叠率阈值筛选后，在各类角点方框中按置信度大小对同一类角点方框进行降序排序，至多选取前4个角点方框，并根据选取的角点方框数量及类别确定对应的车位线框。

其中，所述根据选取的角点方框数量及类别确定对应的车位线框包括：

根据选取的角点方框数量及类别确定对应的角点数量及类别；

其中，若确定的l形角点或t形角点的角点数为4、或l形角点与t形角点的角点总数为4，则分别计算确定的4个角点两两之间的距离，距离最大的两个角点为对角角点，据此依次连接4个角点形成相应的车位线框；

其中，若确定的l形角点或t形角点的角点数为3、或l形角点与t形角点的角点总数为3，则以确定的3个角点为平行四边形的三个顶点得到3个平行四边形，分别计算这3个平行四边形与包围其的车位方框的共有面积，取共有面积最大的平行四边形为相应的车位线框；

其中，若确定的l形角点或t形角点的角点数为2、或l形角点与t形角点的角点总数为2，并且不完整角点的角点数为1，则以确定的3个角点为平行四边形的三个顶点得到3个平行四边形，分别计算这3个平行四边形与包围其的车位方框的共有面积，取共有面积最大的平行四边形为车位线框；若确定的不完整角点的角点数为0，则无法确定相应的车位线框；

其中，若确定的l形角点或t形角点的角点数为2、或l形角点与t形角点的角点总数为2，并且不完整角点的角点数为0，则判断确定的两个角点互为对角角点或相邻角点；如果确定的两个角点互为对角角点，则无法确定相应的车位线框；如果确定的两个角点互为相邻角点，则过选取的两个角点分别作垂线相交于其相对边线，得到2个交点作为补充角点，从而得到4个角点，并且根据相应4个角点确定相应的车位线框。

本发明实施例还提供一种用于实现所述车位检测方法的车位检测系统，包括：

设置于车辆车体上的多个摄像头，用于获取车辆不同角度方向的图像；

图像预处理模块，用于根据所述车辆不同角度方向的图像得到车辆环视图像；

车位特征检测模块，用于检测所述车辆环视图像得到相应的角点方框和车位方框，并确定每一角点方框和车位方框的相应类别及位置信息；其中，所述角点方框中心为车位角点，每一车位方框内具有多个角点方框；

车位角点确定模块，用于根据所述车位方框和角点方框的类别和位置信息确定每一车位方框内所对应的角点方框；

车位线构建模块，用于根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框。

其中，所述摄像头为鱼眼摄像头，所述图像预处理模块具体用于对所述车辆不同角度方向的鱼眼图像进行矫正、透视变换及拼接得到车辆环视图像。

本发明实施例还提供一种汽车，包括所述车位检测系统。

本发明实施例的有益效果在于：利用深度网络将车位检测问题分解为车位角点检测和车位方框检测，得到相应的车位角点和车位方框，再以专家知识对深度网络输出的结果进行后处理，根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框，准确率高，鲁棒性强，不需要人为选取特征，处理方式简单明了，其中，深度网络依靠数据驱动网络学习，不需要人工知识即可完成对车位角点检测和车位角点聚类的工作，由于是自学习，避免了人选特征局限性；又以简单专家知识根据车位角点进行车位刻画，完成较为简易的任务。深度网络解决高维非线性问题，专家知识解决确定性倾向强、推理简单的问题，充分利用深度网络和专家知识两种方法的优点，使得检测准确率高，鲁棒性强，克服完全人工专家知识算法在光影变换较大场景下车位漏检率高的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一中一种车位检测方法流程图。

图2为本发明实施例二中一种车位检测系统框架图。

具体实施方式

以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。

如图1所示，本发明实施例一公开了一种车位检测方法，所述方法包括如下步骤：

s100获取车辆不同角度方向的图像；

本实施例中，当驾驶员驾驶车辆在室内停车场或室外停车场行驶时，通过设置于车体上不同位置处的四个摄像头采集车辆周围环境的信息，并依据时间戳对4个摄像头的图像进行同步，得到车体不同角度方向的图像。其中，四个摄像头具体包括环视前视摄像头、左摄像头、右摄像头和环视后视摄像头，所述环视前视摄像头布置于前中网格栅内，位于车身中轴面上；所述左摄像头和右摄像头分别布置于左右两侧的外后视镜内；所述环视后视摄像头安装于后背门钣金、后保险杠、牌照灯饰条或抠手盒内。

s200根据所述车辆不同角度方向的图像得到车辆环视图像；

本实施例中，由于四个摄像头采集到的图像是不同方向的，因此需要对四个摄像头的图像进行整合得到一个车辆环视图像。需要说明的是，本实施例对于设置摄像头的数量不做限制，只要能够获取到车体不同角度方向的图像，并便于整合得到一个车辆环视图像即可。

s300检测所述车辆环视图像得到相应的角点方框和车位方框，并确定每一角点方框和车位方框的相应类别及位置信息；其中，所述角点方框中心为车位角点，每一车位方框内具有多个角点方框；

本实施例中，具体是基于fasterrcnn算法检测所述车辆环视图像得到相应的角点方框和车位方框，所述fasterrcnn算法为一种基于深度学习的目标检测算法，其基于fasterrcnn模型实现，所述fasterrcnn模型包括特征提取网络、区域生成网络和检测网络，由于所述特征提取网络具有一定的通用性，因此本实施例使用已在imagenet数据集上训练过的resnet34网络的卷积层进行迁移学习。所述区域生成网络则是在特征提取网络的最后一层通过3×3和两路1×1的卷积层获取目标的初步区域，初步区域通过检测网络则是将区域生成网络生成的目标的初步区域经过一个roi_pooling层、两个全连接层以及并行的两路分类和边界回归层，最终完成对所需检测目标的类别分类和位置定位。其中，所述两路分类分别输出分类和位置定位，所述边界回归层的作用是进一步定位输出位置信息，具体而言，本实施例中通过对环视图像建立一平面直角坐标系，相应的位置信息即为对应目标区域在该平面坐标系中的坐标信息。

其中，对于车位角点（即车位线与车位线的交点），本实施例方法用一个角点方框包围角点周边的图像，再间接以该角点方框的中心位置表示角点的位置；对于车位方框，由于每一车位应包括四个角点，因此，在使用车位方框进行检测时，当图像中某个区域的出现多个角点，则可能存在车位，本实施例方法用一个车位方框包围图像中某个区域的多个角点，表示该车位方框的内可能存在一个停车位，具体是否真的存在停车位，则需结合该车位方框内的角点及角点连接关系来进一步确定，相关内容在本文后续部分介绍。

s400根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框；

本实施例中，根据步骤s300输出的车位方框和角点方框及相应的位置信息，可以根据位置关系来判断相应的角点方框是否落入某一车位方框的方框内。

s500根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框。

本实施例中，当确定了一个车位方框内的角点方框后，由于一个车位方框实际上对应一个可能存在的停车位，每一个角点方框的中心则对应一个车位角点，据此，步骤s400的结果已经给出了一个疑似车位内的若干车位角点，当然，一个车位内的角点最多为4个，那么根据以上步骤检测得到的这若干个车位角点，可以绘制出对应的车位线框。

本实施例方法利用深度网络将车位检测问题分解为通过角点方框和车位方框两种检测方框去检测车位角点和车位框线，得到多个候选车位角点和车位框，然后再进行车位角点和车位框的匹配，确定哪些车位角点为同一车位框的车位角点，最后以专家知识对深度网络输出的结果进行后处理，根据同一车位框内的车位角点进行对应车位线框的绘制，得到最终的车位，所述专家知识指的是根据预先设置的一些如何根据车位角点绘制车位线框的策略。

在一实施例中，所述步骤s200根据所述车辆不同角度方向的图像得到车辆环视图像包括：对所述车辆不同角度方向的图像进行矫正、透视变换及拼接得到车辆环视图像。

具体而言，实际车位检测过程中，车位与车辆比较接近，故与摄像头的距离也较近，因此本实施例使用短焦距大视角的鱼眼摄像头获取近距离大角度的信息。鱼眼摄像头存在严重的畸变，物体与摄像头光轴的夹角越大，畸变程度越大，因此需要预先进行矫正，矫正后的4幅图像进行透视变换，然后再全景拼接，使得车辆周边环境信息在一幅图像上呈现。

在一实施例中，所述步骤s300中，根据车位线的情况，可以将车位方框的类别包括垂直车位、平行车位和斜列车位，分别用0、1和2表示相应车位方框类别；

因为角点有l形角点、t形角点和不完整角点，因此所述角点方框的类别包括l形角点方框、t形角点方框和不完整角点方框，分别用3、4和5表示相应角点方框类别；其中，所述不完整角点指的是车位线与图像边缘的交点或车位线与其它车位线没有交点时的端点。

所述角点方框的位置信息用（x1，y1，w1，h1）来表示，其中，x1，y1分别为角点方框中心在所述图像中的坐标，w，h分别为角点方框的宽和高；

所述车位方框的位置信息用（x2，y2，w2，h2）来表示，其中，x2，y2分别为车位方框中心在所述图像中的坐标，w2，h2分别为车位方框的宽和高。

因此，在本实施例车位检测方法中，对图像内的目标进行上述的6分类，所有的6类目标都用方框进行形体标注，数字标量0-5进行类别标注。通常的物体检测中，物体的位置形体标注使用的是矩形框的左上角和右下角坐标，而本实施例中需要对角点位置进行较为准确的定位，因此，矩形框的中心位置一定要与角点位置非常接近，因此本实施例的标注是通过一个中心点和宽及高进而确定方框左上角和右下角的坐标。

通过以上分类和位置信息的定义，可以确定步骤s300输出的车位方框和角点方框具有位置和方框大小，为后面步骤中对车位方框和角点方框的匹配做准备。

在一实施例中，所述步骤s300中，所述基于fasterrcnn算法检测所述车辆环视图像得到相应的角点方框和车位方框包括：

s301提取所述车辆环视图像的图像特征；其中，步骤s301对应前面所述的特征提取网络；

s302根据所述图像特征生成相应角点方框和车位方框；其中，步骤s301对应前面所述的区域生成网络；

s303根据车位方框和角点方框的分类规则确定生成的相应角点方框和车位方框的类别和位置信息。其中，步骤s303对应前面所述的检测网络。

其中，对于深度网络训练，为了降低对数据量的依赖，因此在特征提取网络使用了迁移学习，因此将特征提取网络的学习率从底层往高层递增，在一些特别低的层级，直接设置学习率为0，而在区域生成网络和检测网络中，本实施例中将分布式特征表达映射至向量空间，因此需要从头开始训练，每层的学习率设置也稍微大些（相对于特征提取网络）。在生成框的尺度设计上，本实施例借鉴yolov2算法，对边界框的尺度使用了6类的均值聚类，提高网络对自身数据集的适应性以及简化网络。在训练过程中，学习率随着训练的步数增加而呈阶梯状衰减，由于深度网络的特性，低层网络用于浅层特征提取，高层网络用于抽象特征提取，对于不同的数据集，浅层特征信息提取有高共通性，因此本实施例迁移从别的数据集上预训练好的网络，并在利用此任务中的数据集继续训练的时候在低层设置较低的学习率，对于高层抽象特征设定较高的学习率使网络适应数据集。随步数衰减是时间上的一个调整，开始训练时网络学习率较大，随着训练逐渐进行，网络拟合程度变好，学习率减少。

所述生成框是指深度网络中为了检测大小不同的物体而生成的一系列大小不同的框，也就是前面所述的车位方框和角点方框，对图像的每个位置，分别检测各种尺度下是否存在物体，此时需要设计生成框的尺度。其中，关于角点和车位的检测尺度是有一定的数据集特定大小规律的，因此，此处的均值聚类利用已标注好的数据集中角点方框以及车位方框的尺度信息，通过聚类生成6类目标的尺度信息，对应前面0，1，2，3，4，5的六种类别的检测目标，作为深度网络中生成框的尺度信息。

在一实施例中，所述步骤s400根据所述车位方框和角点方框的位置信息确定每一车位方框内所对应的角点方框包括：

s401根据每一车位方框的位置信息（x2，y2，w2，h2）确定对应车位方框的方框范围大小为w2×h2，方框中心坐标为（x2，y2）；

s402根据每一角点方框的位置信息（x1，y1，w1，h1）确定对应角点方框的方框范围大小为w1×h1，方框中心坐标为（x2，y2）；

s403判断角点方框的方框范围是否落入车位方框的方框范围中，若落入，则表示该角点方框为相应车位方框中一个角点方框。

通过以上步骤，可以确定哪些角点是属于同一车位的。

其中，所述步骤s500根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框包括：

s501对于位于同一个车位方框内的角点方框，经过非极大值抑制(non-maximumsuppression,nms)和重叠率（iou）阈值筛选后，在各类角点方框中按置信度大小对同一类角点方框进行降序排序，由于一个车位只有四个角点，因此对于降序排序的角点方框，本步骤至多选取前4个角点方框。

其中，非极大值抑制也就是局域内求最大值，保留最大值角点方框；而重叠率阈值的筛选指的是同一个车位方框内可能有很多个角点方框，例如角点方框a，b，c，如果角点方框a，b，c的方框重叠率达到预设阈值，那么就可以将其中两个角点方框b，c去掉，只保留其中一个角点方框a。

s502根据选取的角点方框数量及类别确定对应的车位线框；其中，基于前面关于角点方框类别的分类，根据选取的角点方框可以确定相应的角点为l形角点、t形角点还是不完整点角点。其中，角点方框中心为车位角点，每一车位方框内具有多个角点方框。

具体而言，根据专家知识确定对应的车位线框过程如下：

根据选取的角点方框数量及类别确定对应的角点数量及类别；

基于确定的角点数量及类别，按以下预设策略进行车位线框的确定：

（1）若确定的l形角点或t形角点的角点数为4，或l形角点与t形角点的角点总数为4，此种情况下，需要确定4个点的连接顺序，则分别计算确定的4个角点两两之间的距离，距离最大的两个角点为对角角点，其余两点穿插进对角点即为合理连接顺序，据此依次连接确定的4个角点形成相应的车位线框；

（2）若确定的l形角点或t形角点的角点数为3、或l形角点与t形角点的角点总数为3，此种情况下，需要确定第4个角点的坐标以及四点连接顺序，则以确定的3个角点为平行四边形的三个顶点可以组合得到3个平行四边形，分别计算这3个平行四边形与包围其的车位方框的共有面积，取共有面积最大的平行四边形为相应的车位；

需说明的是，所述l形角点或t形角点的角点数为3指的是l形角点角点数为3且没有出现t形角点，或者t形角点角点数为3且没有出现l形角点。

（3）若确定的l形角点或t形角点的角点数为2、或l形角点与t形角点的角点总数为2，并且不完整角点的角点数为1，此种情况下，需要确定第4个角点的坐标以及四点连接顺序，则以确定的3个角点为平行四边形的三个顶点可以组合得到3个平行四边形，分别计算这3个平行四边形与包围其的车位方框的共有面积，取共有面积最大的平行四边形为相应的车位；

需说明的是，所述l形角点或t形角点的角点数为2指的是l形角点角点数为2且没有出现t形角点，或者t形角点角点数为2且没有出现l形角点。

（4）若确定的l形角点或t形角点的角点数为2、或l形角点与t形角点的角点总数为2，并且不完整角点的角点数为0，则判断确定的两个l形角点与t形角点的角点互为对角角点还是相邻角点；

（4.1）如果确定的两个角点互为对角角点，则无法确定相应的车位线框；

（4.2）如果确定的两个角点互为相邻角点，则需要确定车位的摆向，默认车位角为直角情况下，考虑车位方框为矩形，则首先寻找离确定的2个角点最近的车位方框边线，以及与之平行的相对边线，过2个角点分别作垂线相交于其相对边线，得到2个交点作为补充角点，从而可以得到4个角点，并且以这4个角点确定相应的车位线框。

需说明的是，所述l形角点或t形角点的角点数为2指的是l形角点角点数为2且没有出现t形角点，或者t形角点角点数为2且没有出现l形角点。

需说明的是，以上根据选取的角点方框数量及类别确定对应的车位线框的绘线方法仅是本申请的一种示例，本申请并不限于此。

如图2所示，本发明实施例二还提供一种用于实现实施例一所述车位检测方法的车位检测系统，该系统包括：

设置于车辆车体上的多个摄像头1，用于获取车辆不同角度方向的图像；其中，所述多个摄像头1具体包括环视前视摄像头、左摄像头、右摄像头和环视后视摄像头，所述环视前视摄像头布置于前中网格栅内，位于车身中轴面上；所述左摄像头和右摄像头分别布置于左右两侧的外后视镜内；所述环视后视摄像头安装于后背门钣金、后保险杠、牌照灯饰条或抠手盒内。

图像预处理模块2，用于根据所述车辆不同角度方向的图像得到车辆环视图像。

车位特征检测模块3，用于检测所述车辆环视图像得到相应的角点方框和车位方框，并确定每一角点方框和车位方框的相应类别及位置信息。

车位角点确定模块4，用于根据所述车位方框和角点方框的类别和位置信息确定每一车位方框内所对应的角点方框。

车位线构建模块5，用于根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框。

其中，所述摄像头1选用鱼眼摄像头，所述图像预处理模块具体用于对所述车辆不同角度方向的鱼眼图像进行矫正、透视变换及拼接得到车辆环视图像。

对于实施例二公开的系统而言，由于其与实施例一公开的方法相对应，相关之处参见实施例一的说明即可。

本发明实施例三还提供一种汽车，包括实施例二所述车位检测系统。

本发明实施例中未展开的部分，可参考以上实施例的对应部分，在此不再赘述。

通过上述说明可知，本发明实施例的有益效果在于：利用深度网络将车位检测问题分解为车位角点检测和车位方框检测，得到相应的车位角点和车位方框，再以专家知识对深度网络输出的结果进行后处理，根据所述每一车位方框内所对应的角点方框确定与该车位方框对应的车位线框，准确率高，鲁棒性强，不需要人为选取特征，处理方式简单明了，其中，深度网络依靠数据驱动网络学习，不需要人工知识即可完成对车位角点检测和车位角点聚类的工作，由于是自学习，避免了人选特征局限性；又以简单专家知识根据车位角点进行车位刻画，完成较为简易的任务。深度网络解决高维非线性问题，专家知识解决确定性倾向强、推理简单的问题，充分利用深度网络和专家知识两种方法的优点，使得检测准确率高，鲁棒性强，克服完全人工专家知识算法在光影变换较大场景下车位漏检率高的问题。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。