一种地下车库自动定位系统及方法与流程

本发明涉及自动驾驶技术领域，更具体地说，涉及一种地下车库自动定位系统及方法。

背景技术：

随着自动驾驶技术的不断发展，对于车辆的自动驾驶程度要求越来越高。而为实现地下车库内的自动驾驶，就需要解决地下车库环境中车辆自动定位的问题。

现阶段主要采用纯惯性导航的定位手段，即从一已知点的位置根据连续测得的运动体航向角和速度推算出其下一点的位置，从而连续测出运动体的当前位置。但这需要在车辆上安装高精度的惯性导航设备，同时，车辆在地库内的行驶时间也有限制，若长时间未寻找到库位，定位误差会越来越大。

技术实现要素：

为解决上述问题，本发明提供一种地下车库自动定位系统及方法，技术方案如下：

一种地下车库自动定位系统，包括：视觉定位传感器和与所述视觉定位传感器相连的车辆控制器，所述视觉定位传感器包括扫描范围覆盖360°的四路高清环视相机；

所述四路高清环视相机，用于采集四路高清环视图像，并发送至所述车辆控制器；

所述车辆控制器，用于从所述四路高清环视图像中确定预设标记编号所在的感兴趣图像区域roi，所述预设标记编号包括预设库位标记编号和/或预设特殊标记编号，所述预设库位标记编号设置于靠近车道线一侧的库位线的中间区域，所述预设特殊标记编号设置于独立车道内的中间区域；识别所确定的所述roi中目标预设标记编号，并根据所述目标预设标记编号确定车辆在车体坐标系下的第一位置坐标；将所述第一位置坐标变换为所述车辆在全局坐标系下的第二位置坐标。

优选的，所述视觉定位传感器，还包括：惯性测量单元imu传感器和车辆传感器；

所述imu传感器，用于测量所述车辆在所述车体坐标系下的角速度和加速度；

所述车辆传感器，用于测量所述车辆在所述车体坐标系下的轮速和方向盘转角；

所述车辆控制器，用于基于所述角速度和所述加速度计算所述全局坐标系下的imu位置和imu航向角信息；基于所述轮速和所述方向盘信息计算所述全局坐标系下的车辆位置和车辆航向角信息；依据所述imu位置、所述imu航向角信息、所述车辆位置和所述车辆航向角信息计算环视定位误差修正量，并利用所述环视定位误差修正量补偿所述第二位置坐标。

优选的，用于从所述四路高清环视图像中确定预设标记编号所在的感兴趣图像区域roi的所述车辆控制器，具体用于：

对所述四路高清环视图像进行阈值分割；对阈值分割后的所述四路高清环视图像进行直线段检测；根据所检测到的直线段信息以及预设标记编号所对应的感兴趣图像区域roi识别规则，确定预设标记编号所在的roi。

优选的，用于识别所确定的所述roi中目标预设标记编号的所述车辆控制器，具体用于：

利用标记编号识别模型识别所确定的所述roi中目标预设标记编号，所述标记编号识别模型是利用预先标定有标记编号的roi进行深度学习训练得到的。

优选的，用于根据所述目标预设标记编号确定车辆在车体坐标系下的第一位置坐标的所述车辆控制器，具体用于：

从预先构建的二维地图表中获取所述目标预设标记编号所对应的目标顶点坐标，其中，所述二维地图表中记录有车体坐标系下所述预设库位标记编号所对应的库位顶点坐标以及所述预设特殊标记编号所对应的特殊标记顶点坐标；将所述目标顶点坐标确定为车辆在车辆坐标系下的第一位置坐标。

优选的，用于将所述第一位置坐标变换为所述车辆在全局坐标系下的第二位置坐标的所述车辆控制器，具体用于：

确定所述车体坐标系的原点在全局坐标系下的原点坐标以及所述车体坐标系和所述全局坐标系的横轴夹角；根据所述原点坐标、所述横轴夹角计算所述车体坐标系和所述全局坐标系的位置坐标差量；以所述位置坐标差量对所述第一位置坐标进行补偿，得到所述车辆在所述全局坐标系下的第二位置坐标。

一种地下车库自动定位方法，应用于上述技术方案任意一项所述的地下车库自动定位系统，所述系统包括视觉定位传感器和与所述视觉定位传感器相连的车辆控制器，所述视觉定位传感器包括扫描范围覆盖360°的四路高清环视相机；所述方法应用于所述车辆控制器，包括：

接收所述四路高清环视相机发送的四路高清环视图像；

从所述四路高清环视图像中确定预设标记编号所在的感兴趣图像区域roi，所述预设标记编号包括预设库位标记编号和/或预设特殊标记编号，所述预设库位标记编号设置于靠近车道线一侧的库位线的中间区域，所述预设特殊标记编号设置于独立车道内的中间区域；

识别所确定的所述roi中目标预设标记编号，并根据所述目标预设标记编号确定车辆在车体坐标系下的第一位置坐标；

将所述第一位置坐标变换为所述车辆在全局坐标系下的第二位置坐标。

优选的，从所述四路高清环视图像中确定预设标记编号所在的感兴趣图像区域roi，包括：

对所述四路高清环视图像进行阈值分割；

对阈值分割后的所述四路高清环视图像进行直线段检测；

根据所检测到的直线段信息以及预设标记编号所对应的感兴趣图像区域roi识别规则，确定预设标记编号所在的roi。

优选的，所述根据所述目标预设标记编号确定车辆在车体坐标系下的第一位置坐标，包括：

从预先构建的二维地图表中获取所述目标预设标记编号所对应的目标顶点坐标，其中，所述二维地图表中记录有车体坐标系下所述预设库位标记编号所对应的库位顶点坐标以及所述预设特殊标记编号所对应的特殊标记顶点坐标；

将所述目标顶点坐标确定为车辆在车辆坐标系下的第一位置坐标。

优选的，所述将所述第一位置坐标变换为所述车辆在全局坐标系下的第二位置坐标，包括：

确定所述车体坐标系的原点在全局坐标系下的原点坐标以及所述车体坐标系和所述全局坐标系的横轴夹角；

根据所述原点坐标、所述横轴夹角计算所述车体坐标系和所述全局坐标系的位置坐标差量；

以所述位置坐标差量对所述第一位置坐标进行补偿，得到所述车辆在所述全局坐标系下的第二位置坐标。

相较于现有技术，本发明实现的有益效果为：

本发明提供一种地下车库自动定位系统及方法，该系统由视觉定位传感器和车辆控制器构成，其中视觉定位传感器包括扫描范围覆盖360°的四路高清环视相机。车辆控制器利用四路高清环视相机发送的四路高清环视图像，结合预先设置的库位标记和特殊标记确定车辆附近的目标预设标记编号，从而利用目标预设标记编号确定车辆在全局坐标系下的位置坐标。基于此，仅利用低成本的高清环视相机就可实现稳定可靠的定位，提高经济性和实用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的地下车库自动定位系统的结构示意图；

图2为特殊标记区域以及库位标记编号示例；

图3为特殊标记编号外形与尺寸示例；

图4为本发明实施例提供的地下车库自动定位方法的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种地下车库自动定位系统，该系统的结构示意图如图1所示，包括视觉定位传感器1和与视觉定位传感器1相连的车辆控制器2，视觉定位传感器1包括扫描范围覆盖360°的四路高清环视相机；

四路高清环视相机，用于采集四路高清环视图像，并发送至车辆控制器2；

车辆控制器2，用于从四路高清环视图像中确定预设标记编号所在的感兴趣图像区域roi，所述预设标记编号包括预设库位标记编号和/或预设特殊标记编号，所述预设库位标记编号设置于靠近车道线一侧的库位线的中间区域，所述预设特殊标记编号设置于独立车道内的中间区域；识别所确定的roi中目标预设标记编号，并根据目标预设标记编号确定车辆在车体坐标系下的第一位置坐标；将第一位置坐标变换为车辆在全局坐标系下的第二位置坐标。

本实施例中，四路高清环视相机的位置布局要求360°范围内全覆盖，前向和后向两个高清环视相机在整车上的位置布局要求见表1，左向和右向两个高清环视相机在整成上的位置布局要求见表2。同时，对于高清环视相机来说，其分辨率至少720p(分辨率≥1280*720)，水平视场角h≥180°，垂直视场角v≥130°

表1

表2

此外，预设标记编号分为预设库位标记编号和预设特殊标记编号两种，其中，预设库位标记编号是预先设置在靠近车道线一侧的库位线的中间区域，而预设特殊标记编号是预先设置在可通行的道路区域，也就是独立车道内的中间区域。

假设地下车库中的所有库位按照区域划分，比如，分为a、b、c……y、z等多个区域，要求在每个独立车道内的中间位置绘制一种特殊标记，其所在的特殊标记区域以及库位标记编号示例如图2所示，如果特殊标记的类别与其所在区域保持一致，分为a、b、c……y、z等，以z区域为例，图3示出编号为001的特殊标记编号外形与尺寸示例(图中1～4为标记4个顶点顺序示意)，以此类推，最大可以支持特殊标记编号为z999。

假设一个闭环道路中总共有n个特殊标记，每个特殊标记的中心点位置坐标记为(xi，yi)(i＝1,2,3,…,n),则具体的布局要求，相邻两个特殊标记中心点之间欧氏距离dis按照如下公式(1)计算：

欧氏距离dis满足如下要求：

非路口区域附近dis≤5m，路口区域附近dis≤3m；

此外，要求在地下车库内入口处必须保证有特殊标记编号。

本实施例中，确定预设标记编号所在的感兴趣图像区域roi，即确定目标预设库位标记编号所在的中间区域和/或目标预设特殊标记编号所在的中间区域；进一步，将所确定的中间区域进行深度学习训练，即可确定目标预设标记编号的类别以及数值，从而结合预先构建的二维地图表来确定车辆在车体坐标系下的第一位置坐标；最后，利用车体坐标系和全局坐标系的位置坐标差量，将第一位置坐标转换为全局坐标系下的第二位置坐标。

以下对二维地图表的构建过程进行介绍：

在地下车库任意入口处建立全局坐标系w。通过高精度设备对靠近车道线一侧的库位线的两个顶点以及特殊标记区域的4个顶点进行精确测量，测量精度要求≤5cm，得到所有预设库位标记编号以及预设特殊标记编号所对应顶点在全局坐标系下的二维坐标，根据这些信息构建一张二维地图表，表的具体结构如表3所示：

表3

在其他一些实施例中，车辆控制器从四路高清环视图像中确定预设标记编号所在的感兴趣图像区域roi的过程，包括如下步骤：

对四路高清环视图像进行阈值分割；对阈值分割后的四路高清环视图像进行直线段检测；根据所检测到的直线段信息以及预设标记编号所对应的感兴趣图像区域roi识别规则，确定预设标记编号所在的roi。

本实施例中，可采用自适应阈值分割法对四路高清环视图像进行阈值分割，以下对自适应阈值分割法进行简单介绍：

自适应阈值分割法的主要思想是是按图像的灰度特性，将图像分成背景和目标两个部分。背景和目标之间的类间方差越大,说明构成图像的背景和目标区域差异越大，通过遍历不同的阈值，计算不同阈值下对应的背景和前景之间的类内方差，当类内方差取得极大值时，此时对应的阈值即为所求的阈值。

otsu算法也称最大类间差法，是图像分割中阈值选取的一种算法。该算法按图像的灰度特性,将图像分成背景和前景两部分。因为方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,错分概率最小即为类间方差最大的分割。

而为提高阈值分割的效果，可以在对四路高清环视图像进行阈值分割之前，对图像进行畸变校正。

在完成阈值分割之后，可进一步对阈值分割后的四路高清环视图像进行直线段检测，以得到图像中所包含的直线段信息。以下简单介绍直线段检测的基本原理：

首先通过对原始图像进行边缘分割得到直线段可能存在的区域，然后，通过一种投票算法检测具有直线特征的物体。如公式(2)所示为标准直线hough变换采用的参数化直线方程，θ表示直线的法线方向，0≤θ＜180°，ρ表示原点至直线的距离，通过计算累计结果的局部最大值得到一个符合该直线特征的集合作为最终结果。

x*cosθ+y*sinθ＝ρ(2)

基于直线段信息和预设标记编号所对应的roi识别规则进一步筛选，即可得到预设标记编号所在的roi(regionofinterest)。以下分别介绍预设库位标记编号所对应的roi识别规则以及预设特殊标记编号所对应的roi识别规则：

假设通过直线段检测出n条直线段，首先分别计算每条直线段的长度，假设记为d1、d2、d3、…,dn，那么按照以下公式(3)采用最小距离约束过滤一些直线段：

d＞dd(3)

其中，d0为直线段最小距离要求，一般情况下，取20cm。

假设，最终有效直线段为m条，其直线斜率分别为k1、k2、k3,…,km,直线段长度分别为d1、d2、d3、…,dm。则满足如下公式(4)的四条直线ki，kj，kp，kq则构成预设特殊标记编号的最小外边界正方形区域，即roi：

ki≈kj&di≈dj&kp≈kq&dp≈dq&di≈dp&ki*kp≈0&di≈0，5m(4)

其中，i＝1,2,3,…,m,j＝1,2,3,…,m,p＝1,2,3,…,m,q＝1,2,3,…,m,≈要求两个量相差10％以内即为满足。四条直线段的端点即为预设特殊标记上的顶点，按照从上到下，从左到右的顺序分别为1、2、3、4。

同理，库位线端点1和2的确定准则如下：

若直线段r和s方程分别为：y＝kr*x+br，y＝ks*x+bs

设(x0,y0)为直线方程r上的任意一点，则直线段r与s之间的垂直距离可如下公式(5)计算：

设(x1,y1)和(x2,y2)分别为两条直线段距离车体坐标系原点最近的端点坐标信息，则若满足如下公式(6)的直线段r和s分别为库位的两条直线段，

kr＝ks&drs≥d0&x1＞0&y1＞0&x2＞0&y2＞0(6)

其中，d0为距离阈值，对于垂直库位而言，一般为最小库位宽度，这里取1.8m。

因此，(x1,y1),(x2,y2)(其中欧式距离d(x1,y1)<d(x2,y2))分别对应图2中的库位线端点1和2。

考虑到库位编号在库位线端点1和2连线的中间区域，因此，库位编号区域选取准则如下：

首先按照如下公式(7)计算库位线端点1和2的中点坐标(x,y)：

进一步，按照如下公式(8)确定预设库位标记编号所在的roi左上角坐标(rect.x，rect.y)：

rect.x＝x-rect.width/2rect.y＝y+drs/2(8)

其中，rect.width表示roi宽度，rect.height表示roi高度。

在其他一些实施例中，车辆控制器识别所确定的roi中目标预设标记编号的过程，包括如下步骤：

利用标记编号识别模型识别所确定的roi中目标预设标记编号，所述标记编号识别模型是利用预先标定有标记编号的roi进行深度学习训练得到的。

lenet-5是一个经典的卷积神经网络结构，主要是用于手写字体的识别。lenet-5不含输入共有7层，包括两个卷积层，两个池化层，两个全连接层，一个高斯连接层。每层都包含可训练参数(连接权重)。使用该模型前，可以先用网络上的手写字母、数字集(如mnist数据库)训练lenet网络。训练过程大致分为四步：前向传导、损失函数、后项传导，以及权重更新。训练完成后，用一个测试集对网络进行测试，若识别率达到要求，即可用该网络进行编号识别。具体来说，环视相机采集到的图像经过一定的预处理后，符合lenet网络的输入规范，即被输入网络，并得到识别结果。用手写字母数字集进行训练，一定程度上提高了编号识别的鲁棒性。

在其他一些实施例中，车辆控制器根据目标预设标记编号确定车辆在车体坐标系下的第一位置坐标，包括以下步骤：

从预先构建的二维地图表中获取目标预设标记编号所对应的目标顶点坐标，其中，所述二维地图表中记录有车体坐标系下预设库位标记编号所对应的库位顶点坐标以及预设特殊标记编号所对应的特殊标记顶点坐标；将目标顶点坐标确定为车辆在车辆坐标系下的第一位置坐标。

在其他一些实施例中，车辆控制器将第一位置坐标变换为车辆在全局坐标系下的第二位置坐标，包括以下步骤：

确定车体坐标系的原点在全局坐标系下的原点坐标以及车体坐标系和全局坐标系的横轴夹角；根据原点坐标、横轴夹角计算车体坐标系和全局坐标系的位置坐标差量；以位置坐标差量对第一位置坐标进行补偿，得到车辆在全局坐标系下的第二位置坐标。

假设在四路高清环视图像提取出4个特殊标记顶点，分别记为p1(x1,y1)、p2(x2,y2)、……p4(x4,y4)，同时还有2个库位标记点，分别记为p5(x5,y5)，p6(x6,y6)，通过坐标变换得到这6个点在全局坐标系下的坐标分别为(x1,y1)、(x2,y2)、……(x6,y6)，以下介绍确定位置坐标差量的过程：

根据如下公式(9)可确定未知数dx,dy和θ，其中，dx,dy为车体坐标系原点在全局坐标系下原点坐标，θ为b系x轴与w系x之间横轴夹角。

已知两个坐标系下同一个点的对应关系如公式(9)所示：

根据两个一一对应点可计算得到初值dx0,dy0,θ0，具体如公式(10)～(13)：

θ0＝arctg(δy/δx)-arctg(δy/δx)(13)

基于非线性最小二乘原理，对公式(9)线性化展开可得(14)

求解公式如(15)和(16)所示：

v＝bx-l(15)

x＝(b^tb)^-1b^tl(16)

其中(vx,vy)为坐标变换前后的位置坐标差量。

本发明实施例提供的地下车库自动定位系统，车辆控制器利用四路高清环视相机发送的四路高清环视图像，结合预先设置的库位标记和特殊标记确定车辆附近的目标预设标记编号，从而利用目标预设标记编号确定车辆在全局坐标系下的位置坐标。基于此，仅利用低成本的高清环视相机就可实现稳定可靠的定位，提高经济性和实用性。

在上述实施例提供的地下车库自动定位系统的基础上，本发明实施例提供另一种地下车库自动定位系统，该系统中视觉定位传感器1还包括：惯性测量单元imu传感器和车辆传感器；

imu传感器，用于测量车辆在车体坐标系下的角速度和加速度；

车辆传感器，用于测量车辆在车体坐标系下的轮速和方向盘转角；

车辆控制器，用于基于角速度和加速度计算全局坐标系下的imu位置和imu航向角信息；基于轮速和方向盘信息计算全局坐标系下的车辆位置和车辆航向角信息；依据imu位置、imu航向角信息、车辆位置和车辆航向角信息计算环视定位误差修正量，并利用环视定位误差修正量补偿第二位置坐标。

imu传感器直接得到车辆角速度与加速度信息后，车辆控制器通过积分可得到车体坐标系下imu位置与imu航向角信息，结合车体坐标系和全局坐标系之间的固有位置姿态变换关系(该关系可在建立全局坐标系时所标定的)得到全局坐标系下的imu的位置与航向角信息。

车辆传感器直接得到车辆轮速和方向盘转角，车辆控制器通过积分可得到车体坐标系下的车辆位置和车辆航向角信息，结合车体坐标系和全局坐标系之间的固有位置姿态变换关系得到全局坐标系下的车辆位置和车辆航向角信息。

在全局坐标系下，车辆控制器将车辆位置与航向角信息作为观测量，将车辆定位误差与航向角误差作为估计量，构建状态方程利用ekf滤波估计即可得到环视定位结果的误差修正量，将此修正量补偿环视定位结果，即可得到相对准确的视觉定位结果。

本实施例提供的地下车库自动定位系统，可以保证交通参与者，如人或者车等障碍物短时遮挡时也能得到准确的定位结果，辅助控制系统进行决策规划与控制。

基于上述实施例提供的地下车库自动定位系统，本发明实施例则提供一种地下车库自动定位方法，该方法应用于车辆控制器，方法流程图如图4所示，包括如下步骤：

s10，接收四路高清环视相机发送的四路高清环视图像；

s20，从四路高清环视图像中确定预设标记编号所在的感兴趣图像区域roi，所述预设标记编号包括预设库位标记编号和/或预设特殊标记编号，所述预设库位标记编号设置于靠近车道线一侧的库位线的中间区域，所述预设特殊标记编号设置于独立车道内的中间区域；

s30，识别所确定的roi中目标预设标记编号，并根据目标预设标记编号确定车辆在车体坐标系下的第一位置坐标；

s40，将第一位置坐标变换为车辆在全局坐标系下的第二位置坐标。

在其他一些实施例中，从四路高清环视图像中确定预设标记编号所在的感兴趣图像区域roi，包括如下步骤：

对四路高清环视图像进行阈值分割；对阈值分割后的四路高清环视图像进行直线段检测；根据所检测到的直线段信息以及预设标记编号所对应的感兴趣图像区域roi识别规则，确定预设标记编号所在的roi。

在其他一些实施例中，根据目标预设标记编号确定车辆在车体坐标系下的第一位置坐标，包括如下步骤：

从预先构建的二维地图表中获取目标预设标记编号所对应的目标顶点坐标，其中，所述二维地图表中记录有车体坐标系下预设库位标记编号所对应的库位顶点坐标以及预设特殊标记编号所对应的特殊标记顶点坐标；将目标顶点坐标确定为车辆在车辆坐标系下的第一位置坐标。

在其他一些实施例中，将第一位置坐标变换为车辆在全局坐标系下的第二位置坐标，包括如下步骤：

确定车体坐标系的原点在全局坐标系下的原点坐标以及车体坐标系和全局坐标系的横轴夹角；根据原点坐标、横轴夹角计算车体坐标系和全局坐标系的位置坐标差量；以位置坐标差量对第一位置坐标进行补偿，得到车辆在全局坐标系下的第二位置坐标。

本发明实施例提供的地下车库自动定位方法，车辆控制器利用四路高清环视相机发送的四路高清环视图像，结合预先设置的库位标记和特殊标记确定车辆附近的目标预设标记编号，从而利用目标预设标记编号确定车辆在全局坐标系下的位置坐标。基于此，仅利用低成本的高清环视相机就可实现稳定可靠的定位，提高经济性和实用性。

以上对本发明所提供的一种地下车库自动定位系统及方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。