车辆的定位方法、系统、设备及计算机可读存储介质与流程

1.本发明属于汽车电子领域以及计算机技术领域，涉及一种定位方法和系统，特别是涉及一种车辆的定位方法、系统、设备及计算机可读存储介质。


背景技术：

2.随着社会的发展，家庭乘用车数量日益增多，停车场空间也日益增大。停车难，找车难等问题日益凸显出来。为解决泊车问题，智能代客泊车技术应运而生。目前，智能泊车技术从智能化程度可以分为自动泊车辅助(apa,automated parking assist)，家庭记忆泊车(homezone parking pilot)以及自主代客泊车(avp,autonomous valet parking)。在avp泊车技术中，高精定位功能是基础与前提。目前存在多种用于乘用车的高精定位技术，如：室外实时差分定位(rtk,real-time kinematic)，激光雷达定位，惯性导航定位，相机视觉定位等。但avp功能主要应用于室内大型停车场，该场景无rtk信号，且光线变化明显，场景特征稀缺或特征纹理相似性较高等。但是，现有的室外实时差分定位(rtk,real-time kinematic)，激光雷达定位，惯性导航定位，相机视觉定位等定位技术存在硬件设备价格昂贵，使用维护成本高，定位场景适应性不强等缺点，制约自主代客泊车技术的应用与发展。
3.因此，如何提供一种车辆的定位方法、系统、设备及计算机可读存储介质，以解决现有定位技术存在硬件设备价格昂贵，使用维护成本高，定位场景适应性不强等缺点，导致自主代客泊车技术的应用与发展受到制约，定位精度不满足乘用车在停车场无人代客泊车的精度需求等缺陷，实已成为本领域技术人员亟待解决的技术问题。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种车辆的定位方法、系统、设备及计算机可读存储介质，用于解决现有定位技术存在硬件设备价格昂贵，使用维护成本高，定位场景适应性不强等缺点，导致自主代客泊车技术的应用与发展受到制约，定位精度不满足乘用车在停车场无人代客泊车的精度需求的问题。
5.为实现上述目的及其他相关目的，本发明一方面提供一种车辆的定位方法，包括：获取车辆的当前地理信息，通过车辆的当前地理信息查找并确定该车辆待进入的停车区域的地图数据；在车辆进入所述停车区域时，获取该停车区域的全景影像数据；从所述停车区域的全景影像数据中提取特征信息，将所提取的特征信息与停车区域的地图数据进行匹配定位，以获取车辆于停车区域的地图数据中的位姿数据；将实时推算的车辆的里程定位数据作为预测输入，利用车辆于停车区域的地图数据中的位姿数据来更新车辆于地图坐标系下的位姿。
6.于本发明的一实施例中，所述停车区域的地图数据包括停车区域的语义图层和停车区域的特征图层；从所述停车区域的全景影像数据中提取特征信息，将所提取的特征信息与停车区域的地图数据进行匹配定位，以获取车辆于停车区域的地图数据中的位姿数据的步骤包括：从所述停车区域的全景影像数据中提取语义信息，将所提取的语义信息与所
述停车区域的语义图层进行语义匹配定位，以获取该车辆于语义图层中的位姿数据，和/或从所述停车区域的全景影像数据中提取图像特征点，将所提供的图像特征点与所述停车区域的特征图层进行特征匹配定位，以获取该车辆于特征图层中的位姿数据。
7.于本发明的一实施例中，从所述停车区域的全景影像数据中提取语义信息，将所提取的语义信息与所述停车区域的语义图层进行语义匹配定位，以获取该车辆于语义图层中的位姿数据的步骤包括：从所述停车区域的全景影像数据中检测当前时刻车辆于车身坐标系下各个语义元素的像素点；通过实时推算的车辆的里程定位数据，查找到当前时刻车辆的位置信息；根据当前时刻车辆的位置信息，将各个语义元素的像素点投影至停车区域的语义图层上，并在所述语义图层上查找距离各个语义元素的像素点最近的语义地图像素点；基于车辆于车身坐标系下各个语义元素的像素点及与之匹配的车辆于语义图层上的地图像素点，获取该车辆于语义图层中的位姿数据；所述车辆于语义图层中的位姿数据包括车身坐标系到语义地图坐标系的第一姿态量和第一位置量。
8.于本发明的一实施例中，获取该车辆于语义图层中的位姿数据的步骤包括：
9.基于车辆于车身坐标系下各个语义元素的像素点坐标、车身坐标系到语义地图坐标系的第一姿态量和第一位置量，确定各个语义元素的像素点匹配的地图像素点与前三者之间的相关关系；将语义图像中提取的语义元素像素点投影至语义地图中，得到投影像素点坐标，与匹配上的地图像素点坐标之间的误差最小化，获取于误差最小化下对应的车身坐标系到地图坐标系的第一姿态量和第一位置量。
10.于本发明的一实施例中，从所述停车区域的全景影像数据中提取图像特征信息，将所提供的图像特征点与所述停车区域的特征图层进行特征匹配定位，以获取该车辆于特征图层中的位姿数据的步骤包括：将所述停车区域的全景影像数据中提取的图像特征点依次与停车区域的特征图层中的三维地图点进行匹配度计算；计算与之匹配度最大的三维地图点，认为从所述停车区域的全景影像数据中提取的图像特征点与对应的特征图层中已知的三维地图点相匹配；基于所述停车区域的全景影像数据中提取的图像特征点和与之匹配的于特征图层上的地图点，获取车辆于特征图层中的位姿数据；所述车辆于特征图层中的位姿数据包括车身坐标系到特征地图坐标系的第二姿态量和第二位置量。
11.于本发明的一实施例中，获取车身坐标系到特征地图坐标系的第二姿态量和第二位置量的步骤包括：根据所述停车区域的全景影像数据中提取的图像特征点、车身坐标系到特征地图坐标系的第二姿态量和第二位置量，确定于停车区域的特征图层中匹配的三维地图点与三者之间的相关关系；将特征图层中的三维地图点重投影到特征检测的图像上，得到重投影像素坐标，与匹配的图像特征点坐标之间的误差最小化，以获取于误差最小化下对应的车身坐标系到特征地图坐标系的第二姿态量和第二位置量。
12.于本发明的一实施例中，将实时推算的车辆的里程定位数据作为预测输入，利用车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据来更新求解车辆于地图坐标系下的位姿的步骤包括：通过实时推算的车辆的里程定位数据，获取当前时刻的车辆位姿预测结果；计算当前时刻的车辆位姿预测结果的可信度；基于当前时刻的车辆位姿预测结果的可信度，生成用于校正当前时刻的车辆位姿预测结果的校正参数；利用所述校正参数，将车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据作进行融合处理，以校正当前时刻的车辆位姿预测结果，形成车辆于地图坐标系下的位姿。
13.于本发明的一实施例中，利用所述校正参数，将车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据作进行融合处理的步骤还包括：根据车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据的预设接收频率，接收车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据；其中，车辆于语义图层中的位姿数据在语义图层匹配时会根据匹配距离生成匹配权重；当匹配权重大于权重阈值时，接收车辆于语义图层中的位姿数据；车辆于特征图层中的位姿数据在特征图层匹配时会生成特征点匹配数量；当匹配特征点数量大于数量阈值时，接收车辆于特征图层中的位姿数据。
14.本发明另一方面提供一种车辆的定位系统，包括：第一获取模块，用于获取车辆的当前地理信息，通过车辆的当前地理信息查找并确定该车辆待进入的停车区域的地图数据；第二获取模块，用于在车辆进入所述停车区域时，获取该停车区域的全景影像数据；匹配模块，用于从所述停车区域的全景影像数据中提取特征信息，将所提取的特征信息与停车区域的地图数据进行匹配定位，以获取车辆于停车区域的地图数据中的位姿数据；预测与更新模块，用于将实时推算的车辆的里程定位数据作为预测输入，利用车辆于停车区域的地图数据中的位姿数据来更新求解车辆于地图坐标系下的位姿。
15.本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述车辆的定位方法。
16.本发明最后一方面提供一种车辆的定位设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述车辆的定位设备执行所述车辆的定位方法。
17.如上所述，本发明所述的车辆的定位方法、系统、设备及计算机可读存储介质，具有以下有益效果：
18.本发明所述车辆的定位方法、系统、设备及计算机可读存储介质的场景适应性强，在获取定位数据时仅需四个低成本的环视鱼眼摄像头以及imu，避免了常见的价格昂贵的传感器，如激光雷达等，同时避免了外界环境对传感器性能的约束，如rtk等，且定位精度满足乘用车在停车场无人代客泊车的精度需求，满足乘用车自主代客泊车系统量产需求。
附图说明
19.图1显示为本发明的车辆的定位方法于一实施例中的流程示意图。
20.图2显示为本发明的s13的一种实施流程示意图。
21.图3显示为本发明的s13的另一种实施流程示意图。
22.图4显示为本发明的s14的原理示意图。
23.图5显示为本发明的s14的流程示意图。
24.图6显示为本发明的车辆的定位系统于一实施例中的原理结构示意图。
25.元件标号说明
[0026]6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
车辆的定位系统
[0027]
61
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一获取模块
[0028]
62
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二获取模块
[0029]
63
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
匹配模块
[0030]
64
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
预测与更新模块
[0031]
631
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
语义匹配定位单元
[0032]
632
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
特征匹配定位单元
[0033]
s11～s15
ꢀꢀꢀꢀꢀꢀꢀꢀ
步骤
[0034]
s131～s134
ꢀꢀꢀꢀꢀꢀ
步骤
[0035]
s131’～s133
’ꢀꢀ
步骤
[0036]
s141～s144
ꢀꢀꢀꢀꢀꢀ
步骤
具体实施方式
[0037]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0038]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0039]
本发明所述车辆的定位方法、系统、设备及计算机可读存储介质技术原理如下：
[0040]
车机端接收全球导航卫星系统(gnss,global navigation satellite system)数据，与云端包含gnss信息的地图数据库作比对，获取对应停车场的高精地图，并下载至车机端。高精地图包含语义图层和特征图层。车辆轮速脉冲结合惯性测量单元(imu,inertial measurement unit)通过位姿递推得到里程计定位数据。车机端使用廉价的四路环视鱼眼相机，提取语义感知信息以及视觉特征信息，采用地图语义匹配与特征匹配算法，实现车辆在地图中的定位。将里程计定位数据、语义图层定位数据、特征图层定位数据输入到扩展卡尔曼滤波器(ekf,extended kalman filter)中。在扩展卡尔曼滤波中，里程计定位数据作为预测输入，语义图层定位数据和特征图层定位数据作为观测输入，滤波器可以平滑上述两个图层的定位观测量，同时保证在短时间无观测量的时候仍然输出位置数据，融合输出最终高精度的地图坐标系下的车辆位置。
[0041]
实施例一
[0042]
本实施例提供一种车辆的定位方法，包括：
[0043]
获取车辆的当前地理信息，通过车辆的当前地理信息查找并确定该车辆待进入的停车区域的地图数据；
[0044]
在车辆进入所述停车区域时，获取该停车区域的全景影像数据；
[0045]
从所述停车区域的全景影像数据中提取特征信息，将所提取的特征信息与停车区域的地图数据进行匹配定位，以获取车辆于停车区域的地图数据中的位姿数据；
[0046]
将实时推算的车辆的里程定位数据作为预测输入，利用车辆于停车区域的地图数据中的位姿数据来更新求解车辆于地图坐标系下的位姿。
[0047]
以下将结合图示对本实施例所提供的车辆的定位方法进行详细描述。请参阅图1，显示为车辆的定位方法于一实施例中的流程示意图。如图1所示，所述车辆的定位方法具体
包括以下步骤：
[0048]
s11，获取车辆的当前地理信息，通过车辆的当前地理信息查找并确定该车辆待进入的停车区域的地图数据。
[0049]
在本实施例中，可以通过将车辆的当前地理信息与云端包含gnss信息的地图数据库作比对，以于预设查找范围内查找车辆待进入的停车区域的地图数据。
[0050]
在无gnss数据的情况下，可以在车机端人机交互界面上自主确定对应的车辆待进入的停车区域的地图数据。
[0051]
在本实施例中，所述停车区域的地图数据包括停车区域的语义图层和停车区域的特征图层。两个图层地图路径和停车场相关信息完全保持一致，可保证两个图层单独定位的结果基于同一个地图坐标系，输出的定位结果保持一致。
[0052]
s12，在车辆进入所述停车区域时，获取该停车区域的全景影像数据。
[0053]
在本实施例中，采用安装在车辆周围的四个鱼眼相机，该组鱼眼相机外参经标定好，可以组成全景影像系统(avm,，around view monitor)，采集该停车区域的全景影像数据，以便车机端获取该停车区域的全景影像数据。
[0054]
s13，从所述停车区域的全景影像数据中提取特征信息，将所提取的特征信息与停车区域的地图数据进行匹配定位，以获取车辆于停车区域的地图数据中的位姿数据。
[0055]
在本实施例中，从所述停车区域的全景影像数据中提取的特征信息包括语义信息和/或图像特征点。
[0056]
具体地，所述s13包括：从所述停车区域的全景影像数据中提取语义信息，将所提取的语义信息与所述停车区域的语义图层进行语义匹配定位，以获取该车辆于语义图层中的位姿数据。和/或从所述停车区域的全景影像数据中提取图像特征点，将所提供的图像特征点与所述停车区域的特征图层进行特征匹配定位，以获取该车辆于特征图层中的位姿数据。
[0057]
请参阅图2，显示为s13的一种实施流程示意图，所述s13中从所述停车区域的全景影像数据中提取语义信息，将所提取的语义信息与所述停车区域的语义图层进行语义匹配定位，以获取该车辆于语义图层中的位姿数据的步骤包括：
[0058]
s131，从所述停车区域的全景影像数据中检测当前时刻车辆于车身坐标系下各个语义元素的像素点。
[0059]
在本实施例中，使用深度学习技术在所述停车区域的全景影像数据中检测出包括车位线，减速带，道路边缘等语义元素。
[0060]
s132，通过实时推算的车辆的里程定位数据，查找到当前时刻车辆的位置信息，即车身坐标系下第i个语义元素像素点坐标xi。
[0061]
在本实施例中，通过车辆轮速脉冲提供的行驶距离的位置数据，行驶速度等数据和imu可提供车辆在三个方向的旋转角度数据来推算的车辆的里程定位数据。
[0062]
具体地，车辆的里程定位数据包括车辆运动的水平面位置数据(x，y)以及航向角数据θ。其中，车辆的水平面位置数据(x，y)以及航向角数据θ的推算公式如下：
[0063]
xk＝x
k-1
+ds
×
cos(θ
k-1
+0.5
×
da)；
[0064]
yk＝y
k-1
+ds
×
sin(θ
k-1
+0.5
×
da)；
[0065]
θk＝θ
k-1
+da；
[0066]
其中，xk，yk，θk分别为当前时刻车辆的位置坐标和航向角，x
k-1
，y
k-1
，θ
k-1
为上一时刻车辆的位置坐标和航向角，ds为轮速脉冲提供的车辆两个时刻的位移变化值，da为imu提供的车辆两个时刻之间的航向变化值。
[0067]
s133，根据当前时刻车辆的位置信息，将各个语义元素的一像素点xi投影至停车区域的语义图层上，并在所述语义图层上查找距离该像素点最近的地图像素点xi。
[0068]
s134，基于车辆于车身坐标系下各个语义元素的像素点及与之匹配的车辆于语义图层上的地图像素点，获取该车辆于语义图层中的位姿数据。所述车辆于语义图层中的位姿数据包括车身坐标系到语义地图坐标系的第一姿态量和第一位置量
[0069]
在本实施例中，所述s134包括以下步骤：
[0070]
基于车辆于车身坐标系下各个语义元素的像素点、车身坐标系到语义地图坐标系的第一姿态量和第一位置量，确定各个语义元素的像素点匹配的地图像素点与前三者之间的相关关系；
[0071]
在本实施例中，各个语义元素的像素点匹配的地图像素点与前三者之间的相关关系为：xi＝rxi+t。
[0072]
将语义图像中提取的语义元素像素点投影至语义地图中，得到投影像素点坐标，与匹配上的地图像素点坐标之间的误差最小化，以，获取于误差最小化下对应的车身坐标系到地图坐标系的第一姿态量和第一位置量。
[0073]
在本实施例中，投影像素点坐标与匹配上的地图像素点坐标之间的误差为：ei＝x
i-(rxi+t)，假设该时刻所有匹配像素点集合为s，将该时刻所有观测匹配像素点误差求和，并使它最小化，如下式所示：
[0074][0075]
其中，xi为停车区域的全景影像数据中检测到的车身坐标系下第i个语义元素像素点坐标，xi为xi在所述语义图层上查找距离各个语义元素的像素点最近的匹配的地图像素点，s为所有匹配的语义元素像素点集合，和分别为待求解的车身坐标系到地图坐标系的第一姿态量和第一位置量。通过非线性优化的方法最小化误差和，可以迭代求解得到该语义图层位姿r，t的最优解，即
[0076]
在本实施例中，通过上述语义图层的车辆定位，输出的定位数据为地图坐标系下车辆的位姿，包括位置数据和姿态数据。该图层定位方法受停车场光照影响较小，且所用语义信息为停车场固有语义元素信息，如：减速带、停车位、道路边缘等。能够满足长期定位(long-term localization)的需求，地图无需频繁更新，且定位仅需车身周围四个低成本的环视鱼眼摄像头，大幅减少制图与定位成本。
[0077]
请参阅图3，显示为s13的另一种实施流程示意图，所述s13中从所述停车区域的全景影像数据中提取图像特征点，将所提供的图像特征点与所述停车区域的特征图层进行特征匹配定位，以获取该车辆于特征图层中的位姿数据的步骤包括：
[0078]
s131’，将所述停车区域的全景影像数据中提取的图像特征点依次与停车区域的特征图层中三维地图点进行匹配度计算。
[0079]
在本实施例中，通过采用安装在车辆周围的四个鱼眼相机获取停车区域的全景影
像数据，并对全景影像数据去畸变校正后，提取全景影像数据中的图像特征点。在特征图层中，图像特征点是指图像中变化较为显著的像素角点，边缘轮廓像素点等。
[0080]
具体地，本实施例根据图像中像素灰度值变化，提取图像角点及轮廓点，并用一定位数的二进制编码描述角点或轮廓点周围像素点的灰度变化。
[0081]
s132’，计算与之匹配度最大的三维地图点，选取匹配度最高的三维地图点，认为从所述停车区域的全景影像数据中提取的图像特征点与特征图层中对应的的三维地图点相匹配。
[0082]
具体地，将图像中提取的图像特征点和特征图层中预存的带有相同位数二进制编码的地图三维点进行匹配，若两者对比的等长度二进制编码在对应二进制数字位置上字符为不同的数目越少，则表明像素特征点和地图三维点的匹配度越高，找出图像特征点和特征图层中地图点的匹配度最高点，即为与该图像特征点匹配的对应地图点。
[0083]
s133’，基于所述停车区域的全景影像数据中提取的图像特征点和与之匹配的于特征图层上的三维地图点，获取车辆于特征图层中的位姿数据。所述车辆于特征图层中的位姿数据包括车身坐标系到特征地图坐标系的第二姿态量和第二位置量。
[0084]
在本实施例中，所述s133’中获取车身坐标系到特征地图坐标系的第二姿态量和第二位置量的步骤包括：
[0085]
根据所述停车区域的全景影像数据中提取的图像特征点、车身坐标系到特征地图坐标系的第二姿态量和第二位置量，确定于停车区域的特征图层中匹配的三维地图点与三者之间的相关关系。
[0086]
例如，xj为当前时刻从图像中提取到的一图像特征点，xj为与xj匹配的于特征图层上的三维地图点，于停车区域的特征图层中提取到的图像特征点与停车区域的全景影像数据中提取的图像特征点、车身坐标系到特征地图坐标系的第二姿态量和第二位置量之间的相关关系为：
[0087]
xj＝k(rxj+t)
[0088]
其中，k为已知的相机坐标系下三维地图点到图像特征点的投影矩阵，该投影矩阵为相机内参矩阵，所述相机内参矩阵为事先标定。
[0089]
将特征图层中的三维地图点重投影到特征检测的图像上，得到重投影像素坐标，与匹配的图像特征点坐标之间的误差最小化，以获取于误差最小化下对应的车身坐标系到特征地图坐标系的第二姿态量和第二位置量。
[0090]
在本实施例中，确定的特征图层中的图像特征点与匹配的特征图层中的图像特征点之间误差为：ej＝x
j-k(rxj+t)，其中，s为当前时刻所有匹配的特征点集合。
[0091]
通过非线性优化的方法最小化误差和如下式所示，可迭代求解到该特征图层位姿的最优解，即第二姿态量和第二位置量
[0092][0093]
在本实施例中，特征图层的匹配定位可以实现车辆在全局地图中的初始定位，该初始位置尤其重要，可为上述语义图层定位提供初始值，也可为后续滤波器定位提供初始值。同时，特征图层计算量较小，速度较快，定位成本较低。
[0094]
s14，将实时推算的车辆的里程定位数据作为预测输入，利用车辆于停车区域的地
图数据中的位姿数据来更新求解车辆于地图坐标系下的位姿。
[0095]
在本实施例中，如附图4所示，将里程计定位数据、车辆于语义图层中的位姿数据、车辆于特征图层中的位姿数据输入到扩展卡尔曼滤波器(ekf，extended kalman filter)中。扩展卡尔曼滤波器可解决非线性系统状态问题，通过系统输入数据，对非线性系统状态进行最优估计。
[0096]
请参阅图5，显示为s45的流程示意图。如图5所示，所述s14具体包括以下步骤：
[0097]
s141，通过实时推算的车辆的里程定位数据，获取当前时刻的车辆位姿预测结果。
[0098]
在本实施例中，若需要估计的系统的状态量即车辆位姿数据为o，当里程计数据到来后，可从上一时刻k-1状态通过公式预测到当前k时刻车辆的预测位姿结果，包括上述里程计定位转换递推关系：xk＝x
k-1
+ds
×
cos(θ
k-1
+0.5
×
da)；yk＝y
k-1
+ds
×
sin(θ
k-1
+0.5
×
da)；θk＝θ
k-1
+da。
[0099]
s142，计算当前时刻的车辆位姿预测结果的可信度当前时刻的车辆位姿预测结果的可信度的计算公式为其中，通过计算上一时刻位姿后验估计的协方差矩阵获取，协方差矩阵表述状态量之间的相关性。rk为里程计预测的噪声大小，可根据所用传感器的固有属性或工程经验直接给定，f为转换函数相对位姿变量求导的雅可比矩阵，计算公式为：其中，v
k-1
为上一时刻车辆的前进速度，θ
k-1
为上一时刻车辆位姿中的航向角度，δt为当前时刻和上一时刻的时间差。
[0100]
s143，基于当前时刻的车辆位姿预测结果的可信度生成用于校正当前时刻的车辆位姿预测结果的校正参数kk。
[0101]
在实际应用中，用于校正当前时刻的车辆位姿预测结果的校正参数kk为卡尔曼滤波器中的卡尔曼增益，其计算公式为：qk为给定的观测量噪声矩阵，可根据所用传感器的固有属性或工程经验直接给出，h为观测量到状态量的转换矩阵，由于车辆观测输入量和待估计状态量相同，因此h为单位矩阵
[0102]
s144，利用所述校正参数，将车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据作进行融合处理，以更新校正当前时刻的车辆位姿预测结果，形成车辆于地图坐标系下的位姿
[0103]
在本实施例中，车辆于地图坐标系下的位姿通过计算公式获取，以达到更新修正的目的。其中，函数包含单位矩阵变换关系，即不做任何转换，结果仍为
[0104]
在平滑处理过程中，所述s144包括车辆于语义图层中的位姿数据或车辆于特征图
层中的位姿数据的筛选策略。
[0105]
具体地，所述s144包括：
[0106]
根据车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据的预设接收频率，接收车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据；
[0107]
在预设的接受频率基础上，按照以下策略进一步筛选观测数据：
[0108]
其中，车辆于语义图层中的位姿数据在语义图层匹配时会根据匹配距离生成匹配权重，公式如下：其中，常数e为自然对数函数的底数，d为匹配距离，σ可根据传感器固有属性或工程经验给定。当匹配权重大于权重阈值时，通过筛选，接收车辆于语义图层中的位姿数据；
[0109]
车辆于特征图层中的位姿数据在特征图层匹配时统计特征点匹配数量，当前图像特征点匹配数量大于阈值时，通过筛选，接收车辆于特征图层中的位姿数据。
[0110]
之后将当前k时刻的位姿数据作为上一时刻位姿，k+1时刻的位姿为待求解的当前位姿，继续循环计算s151～s154，整个滤波定位过程为一个循环递推，并更新修正的过程。
[0111]
以上滤波定位过程还需要设置初始值，即初始时刻的在本实施例中，将s13在初始时刻通过所述筛选策略的某个地图数据定位结果直接赋值成根据工程经验设置以执行上文所描述的后续递推更新过程。整个流程满足封闭循环求解。
[0112]
在本实施例中，利用卡尔曼滤波器除了达到多传感器数据融合定位的目的，还可以平滑上述语义图层和特征图层的定位观测量使定位结果不会产生较大跳变，同时保证在短时间无观测量的时候仍然存在位置数据，融合输出最终高精度的地图坐标系下的位置。
[0113]
本实施例所述车辆的定位方法的场景适应性强，在获取定位数据时仅需四个低成本的环视鱼眼摄像头以及imu，避免了常见的价格昂贵的传感器，如激光雷达等，同时避免了外界环境对传感器性能的约束，如rtk等，且定位精度满足乘用车在停车场无人代客泊车的精度需求，满足乘用车自主代客泊车系统量产需求。
[0114]
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的车辆的定位方法。
[0115]
在任何可能的技术细节结合层面，本技术可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本技术的各个方面的计算机可读程序指令。
[0116]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电
信号。
[0117]
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本技术操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本技术的各个方面。
[0118]
实施例二
[0119]
本实施例提供一种车辆的定位系统，包括：
[0120]
第一获取模块，用于获取车辆的当前地理信息，通过车辆的当前地理信息查找并确定该车辆待进入的停车区域的地图数据；
[0121]
第二获取模块，用于在车辆进入所述停车区域时，获取该停车区域的全景影像数据；
[0122]
匹配模块，用于从所述停车区域的全景影像数据中提取特征信息，将所提取的特征信息与停车区域的地图数据进行匹配定位，以获取车辆于停车区域的地图数据中的位姿数据；
[0123]
预测与更新模块，用于将实时推算的车辆的里程定位数据作为预测输入，利用车辆于停车区域的地图数据中的位姿数据来更新求解车辆于地图坐标系下的位姿。
[0124]
以下将结合图示对本实施例所提供的车辆的定位系统进行详细描述。请参阅图6，显示为车辆的定位系统于一实施例中的原理结构示意图。如图6所示，所述车辆的定位系统6包括：第一获取模块61、第二获取模块62、匹配模块63及预测与更新模块64，其中，所述匹配模块63包括语义匹配定位单元631及特征匹配定位单元632。
[0125]
所述信息获取模块61用于获取车辆的当前地理信息，通过车辆的当前地理信息查找并确定该车辆待进入的停车区域的地图数据。
[0126]
在本实施例中，所述停车区域的地图数据包括停车区域的语义图层和停车区域的特征图层。两个图层地图路径和停车场相关信息完全保持一致，可保证两个图层单独定位的结果基于同一个地图坐标系，输出的定位结果保持一致。
[0127]
所述第二获取模块62用于在车辆进入所述停车区域时，获取该停车区域的全景影
像数据。
[0128]
在本实施例中，采用安装在车辆周围的四个鱼眼相机，该组鱼眼相机外参经标定好，可以组成全景影像系统(avm,，around view monitor)，采集该停车区域的全景影像数据。
[0129]
所述匹配模块63用于从所述停车区域的全景影像数据中提取特征信息，将所提取的特征信息与停车区域的地图数据进行匹配定位，以获取车辆于停车区域的地图数据中的位姿数据。
[0130]
在本实施例中，从所述停车区域的全景影像数据中提取的特征信息包括语义信息和/或图像特征点。
[0131]
具体地，所述语义匹配定位单元631用于从所述停车区域的全景影像数据中提取语义信息，将所提取的语义信息与所述停车区域的语义图层进行语义匹配定位，以获取该车辆于语义图层中的位姿数据。
[0132]
在本实施例中，所述语义匹配定位单元631用于从所述停车区域的全景影像数据中检测当前时刻车辆于车身坐标系下各个语义元素的像素点；通过实时推算的车辆的里程定位数据，查找到当前时刻车辆的位置信息；根据当前时刻车辆的位置信息，将各个语义元素的像素点投影至停车区域的语义图层上，并在所述语义图层上查找距离各个语义元素的像素点最近的地图像素点；基于车辆于车身坐标系下各个语义元素的像素点及与之匹配的车辆于语义图层上的地图像素点，获取该车辆于语义图层中的位姿数据；所述车辆于语义图层中的位姿数据包括车身坐标系到语义地图坐标系的第一姿态量和第一位置量。
[0133]
其中，所述语义匹配定位单元631通过基于车辆于车身坐标系下各个语义元素的像素点、车身坐标系到语义地图坐标系的第一姿态量和第一位置量，确定各个语义元素的像素点匹配的地图像素点与前三者之间的相关关系；将语义图像中提取的语义元素像素点投影至语义地图中，得到投影像素点坐标，与匹配上的地图像素点坐标之间的误差最小化，以获取于误差最小化下对应的车身坐标系到地图坐标系的第一姿态量和第一位置量来获取该车辆于语义图层中的位姿数据。
[0134]
所述特征匹配定位单元632用于从所述停车区域的全景影像数据中提取图像特征点，将所提供的图像特征点与所述停车区域的特征图层进行特征匹配定位，以获取该车辆于特征图层中的位姿数据。
[0135]
在本实施例中，所述特征匹配定位单元632用于将所述停车区域的全景影像数据中提取的图像特征点依次与停车区域的特征图层中提取到的特征点进行匹配度计算；计算与之匹配度最大的三维地图点，选取匹配度最高的三维地图点，认为从所述停车区域的全景影像数据中提取的图像特征点与特征图层中提取到的特征点相匹配；基于所述停车区域的全景影像数据中提取的图像特征点和与之匹配的于特征图层上的图像特征点，获取车辆于特征图层中的位姿数据；所述车辆于特征图层中的位姿数据包括车身坐标系到特征地图坐标系的第二姿态量和第二位置量。
[0136]
所述特征匹配定位单元632根据所述停车区域的全景影像数据中提取的图像特征点、车身坐标系到特征地图坐标系的第二姿态量和第二位置量，确定于停车区域的特征图层中匹配的三维地图点与三者之间的相关关系；将特征图层中的三维地图点重投影到特征检测的图像上，得到重投影像素坐标，与匹配的图像特征点坐标之间的误差最小化，以获取
于误差最小化下对应的车身坐标系到特征地图坐标系的第二姿态量和第二位置量来获取车身坐标系到特征地图坐标系的位姿数据。
[0137]
所述预测与更新模块64用于将实时推算的车辆的里程定位数据作为预测输入，利用车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据来更新求解车辆于地图坐标系下的位姿的过程包括：通过实时推算的车辆的里程定位数据，获取当前时刻的车辆位姿预测结果；计算当前时刻的车辆位姿预测结果的可信度；基于当前时刻的车辆位姿预测结果的可信度，生成用于校正当前时刻的车辆位姿预测结果的校正参数；利用所述校正参数，将车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据作进行融合处理，以更新校正当前时刻的车辆位姿预测结果，形成车辆于地图坐标系下的位姿。
[0138]
所述特征匹配定位单元632基于车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据的筛选策略。
[0139]
所述筛选策略包括根据车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据的预设接收频率，接收车辆于语义图层中的位姿数据或车辆于特征图层中的位姿数据；在预设接受频率的基础上，按照以下策略进一步筛选观测数据：其中，车辆于语义图层中的位姿数据在语义图层匹配时会根据匹配距离生成匹配权重，当匹配权重大于权重阈值时，通过筛选，接收车辆于语义图层中的位姿数据；车辆于特征图层中的位姿数据在特征图层匹配时统计特征点匹配数量，当前图像特征点匹配数量大于阈值时，通过筛选，接收车辆于特征图层中的位姿数据。
[0140]
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，一个或多个微处理器(digital singnal processor，简称dsp)，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0141]
实施例三
[0142]
本实施例提供一种车辆的定位设备，所述车辆的定位设备包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使车辆的定位设备执行如上所述车辆的定位方法的各
个步骤。
[0143]
上述提到的系统总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0144]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0145]
本发明所述的车辆的定位方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
[0146]
本发明还提供一种车辆的定位系统，所述车辆的定位系统可以实现本发明所述的车辆的定位方法，但本发明所述的车辆的定位方法的实现装置包括但不限于本实施例列举的车辆的定位系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
[0147]
综上所述，本发明所述车辆的定位方法、系统、设备及计算机可读存储介质的场景适应性强，在获取定位数据时仅需四个低成本的环视鱼眼摄像头以及imu，避免了常见的价格昂贵的传感器，如激光雷达等，同时避免了外界环境对传感器性能的约束，如rtk等，且定位精度满足乘用车在停车场无人代客泊车的精度需求，满足乘用车自主代客泊车系统量产需求。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
[0148]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。