交通标识及其制作方法、车辆位姿估计方法与流程

1.本发明涉及自动驾驶技术领域，具体涉及一种交通标识及其制作方法、车辆位姿估计方法。


背景技术：

2.自动驾驶技术作为未来汽车发展的重要前沿方向，集现代传感技术、通信技术、自动控制技术和人工智能技术于一体，可以有效减少因驾驶员的疏忽而造成的交通事故，同时在缓解交通拥堵、提高交通效率、降低能耗等方面具有巨大潜能。
3.目前交通标志识别主要是深度学习目标检测，传统的目标检测算法在实景测试中面临着一些弊端，例如：易受光线、角度、障碍物遮挡、行车速度等因素限制，而且难以实现多目标检测、容易漏检、识别慢。此外训练算法需要大量的交通标志数据且需要花费大量的时间和资源。
4.当前gps定位在高度上不灵敏，在立交桥，高架桥等复杂场景， gps定位经常会发生偏差，造成定位错误。


技术实现要素：

5.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种交通标识的制作方法，采用的技术方案包括：
6.步骤1、对待处理交通标识图片进行bgr通道分解，获取待处理交通标识图片的b通道的灰度值b；
7.步骤2、消除待处理交通标识图片的b通道，获得预处理交通标识图片；
8.步骤3、采用qr code开源库生成灰度值为b、与预处理交通标识图片大小一致的二维码，二维码的编码信息为交通标识图片对应的位置信息或数据库表中唯一的uid，数据库中预存有二维码的uid及其对应的位置信息，位置信息包括道路信息、经度、维度、距离地面高度、二维码的尺寸中的一种或多种，所述二维码的尺寸包括二维码的边长l及相邻两个位置探测图形中心点的距离l1；
9.步骤4、将步骤3中生成的二维码与预处理交通标识图片进行融合得到具有二维码的交通标识图片；
10.步骤5、将具有二维码的交通标识图片雕刻在反光膜上获得交通标识。
11.本技术还提出一种交通标识，采用上述方法制备得到。
12.本技术还提出一种基于上述交通标识的车辆位姿估计方法，其特征在于，包括以下步骤：
13.步骤1、自动驾驶系统感知到交通标识后，视觉相机获取当前交通标识的图像，对当前交通标识进行通道分解获得当前交通标识上b 通道的二维码图像；
14.步骤2、对步骤1中获得的二维码图像进行解码获得二维码对应的位置信息；
15.步骤3、定义二维码的至少四个特征点，获取二维码的多个特征点在二维码图像中
的像素坐标，根据二维码对应的位置信息，获取二维码的四个特征点在世界坐标系下的世界坐标；
16.步骤4、根据二维码图像的特征点的世界坐标和像素坐标采用 epnp算法计算出由世界坐标系转换为相机坐标系的位姿变换矩阵，该变换矩阵即为第n个图像帧下视觉相机的外参矩阵tn，即获得车辆的估计位姿。
17.作为优选，所述步骤2中，自动驾驶系统解码获得uid并上传至交通服务中心，交通服务中心访问数据库，查询数据库中上述uid预存的位置信息并发送至自动驾驶系统，自动驾驶系统获得二维码对应的位置信息。
18.本技术另外还提出一种基于上述交通标识的车辆位姿估计方法，包括以下步骤：
19.步骤1、构建所有交通二维码中每两个交通二维码之间的位姿转换关系，选取一个交通二维码作为参考二维码，构建参考二维码与其余交通二维码之间的位姿转换关系，以该参考二维码的中心为原点建立参考世界坐标系，定义二维码的至少四个特征点，计算所有交通二维码的特征点的参考世界坐标，构建二维码地图，二维码地图的地图信息包括所有交通二维码及其特征点的参考世界坐标；
20.步骤2、自动驾驶系统感知到交通标识后，视觉相机采集当前交通标识的图像帧，对当前交通标识的图像帧进行通道分解获得b通道上的二维码图像，检测二维码图像，获得若干个检测二维码；
21.步骤3、识别所有的检测二维码，从当前交通标识的图像帧中获取识别成功的检测二维码的特征点的像素坐标，并从二维码地图中获取识别成功的检测二维码的特征点的参考世界坐标；
22.步骤4、根据识别成功的检测二维码的特征点的参考世界坐标和像素坐标采用epnp算法计算识别成功的检测二维码的特征点由世界坐标系转换为相机坐标系的变换矩阵，该变换矩阵即为该图像帧下视觉相机的外参矩阵；
23.步骤5、计算视觉相机在参考世界坐标系中的坐标视觉相机在参考世界坐标系中的坐标计算公式如下所示：
[0024][0025]
其中，
[0026]
t为该图像帧下特征点从参考世界坐标系转换到相机坐标系的变换矩阵,t＝[r t]；
[0027]
r为特征点从世界坐标系转换到相机坐标系的旋转矩阵；
[0028]
t为特征点从世界坐标系转换到相机坐标系的平移向量；
[0029]
为相机的光心在相机坐标系下的坐标；
[0030]
为相机的光心在参考世界坐标系的坐标。
[0031]
作为优选，所述步骤1中构建所有交通二维码之间的位姿转换关系的方法包括：建图优化：
[0032]
步骤1、视觉相机采集所有交通二维码的关键帧，关键帧为具有至少两个交通二维码的图像帧，从关键帧中获得视觉相机坐标系与关键帧中所有交通二维码的变换矩阵，由
此得到关键帧中所有的两个交通二维码之间的变换矩阵；
[0033]
步骤2、遍历所有关键帧，获得所有交通二维码中每两个交通二维码之间的变换矩阵合集，由此得到所有交通二维码的每两个交通二维码之间的位姿转换关系。
[0034]
作为优选，根据参考二维码与其余所有交通二维码之间的位姿转换关系计算所有交通二维码的特征点在参考世界坐标系下的参考世界坐标的方法包括：
[0035]
对进行线性优化，获得最优和根据最优和建立参考二维码的特征点与其余交通二维码的特征点之间的参考世界坐标关系，根据参考二维码的特征点的参考世界坐标计算其余交通二维码的特征点的参考世界坐标。
[0036]
其中，
[0037]
ti表示第i个二维码坐标系到参考世界坐标系的变换矩阵；
[0038]
tn表示第n个关键帧中参考世界坐标系到相机坐标系的变换矩阵 (第n帧相机的外参矩阵)；
[0039]
k表示相机的内参矩阵；
[0040]
n表示关键帧序号；
[0041]
ζ＝[r t]
t
∈se(3)，se(3)为特殊欧式群se(3)对应的李代数；
[0042]
r＝[r
x
，ry，rz]
t
为单位旋转向量，t为平移向量；
[0043][0044]cj
表示第i个的交通二维码的第j个特征点pj，在以自身中心为原点建立坐标系下的三维齐次坐标；
[0045]
表示第n个关键帧中，第i个交通二维码的第j个特征点的二维像素坐标。
[0046]
作为优选，所述步骤1中，将交通标识二维码地图上传到云端，车辆的自动驾驶系统可与云端进行通信以下载上述交通标识二维码地图。
[0047]
道路交通标志牌是城市道路上随处可见的，在道路交通标志牌上融入二维码，二维码中编码的是唯一的uid，每个uid中包含的信息包括但不限于交通标志表示的信息和交通标志所在地的精确坐标，可以让无人汽车实时得到交通标志的信息，以及为车辆提供辅助定位的精确坐标，同时不影响人对交通标志的识别；
[0048]
通过上述交通标识，可以通过自动驾驶系统感知并识别交通标识上的二维码，从而根据二维码上特征点的像素坐标及世界坐标估计车辆位姿；
[0049]
还可以通过上述交通标识，利用所有交通标识上的二维码建立二维码地图，自动驾驶系统可根据感知到的二维码图像来计算相机当前姿态，进而获得驾驶车辆的位姿，实现室内车辆的位姿估计。
附图说明
[0050]
图1为实施例1中所述交通标识的制作方法流程示意图；
[0051]
图2为实施例1中所述对待处理交通标识图片进行bgr通道分解后的示意图；
[0052]
图3为实施例1中所述消除待处理交通标识图片的b通道后的示意图；
[0053]
图4为实施例1中所述灰度值为b的二维码的示意图；
[0054]
图5为实施例1中所述具有二维码的交通标识图片的示意图；
[0055]
图6为实施例1中所述交通标识的示意图；
[0056]
图7为实施例2中二维码边长和二维码相邻的两个位置探测图形中心点的距离的示意图；
[0057]
图8为实施例2中二维码特征点的像素坐标示意图；
[0058]
图9为实施例2中利用二维码求解相机位姿的原理示意图；
[0059]
图10为实施例3中所述视觉相机捕获的关键帧的示意图；
[0060]
图11为实施例3中所述重投影误差示意图；
[0061]
图12为实施例3中重建得到的相机关键帧轨迹和二维码分布图；
[0062]
图13为自动驾驶系统感知到交通标识后获得的图像帧的示意图；
[0063]
图14为视觉相机在二维码地图中实时位姿显示示意图。
具体实施方式
[0064]
实施例1
[0065]
参照附图1所示，提出本技术的实施例1，本实施例提出一种交通标识的制作方法，包括以下步骤：
[0066]
步骤1、对待处理交通标识图片进行bgr通道分解，图2为分解后的待处理交通标识图片的示意图，获取待处理交通标识图片的b通道的灰度值b；
[0067]
步骤2、消除待处理交通标识图片的b通道，图3为消除待处理交通标识图片的b通道后的示意图；获得预处理交通标识图片；
[0068]
步骤3、采用qr code开源库生成灰度值为b的二维码，如图4 所示，二维码的编码信息为交通标识图片对应的位置信息或数据库表中唯一的uid，数据库中预存有uid及其对应的位置信息，位置信息包括道路信息、经度、维度、高度和二维码的尺寸中的一种或多种，所述二维码的尺寸包括二维码的边长l及相邻两个位置探测图形中心点的距离l1；
[0069]
步骤4、如图5所示，将步骤3中生成的二维码与预处理交通标识进行融合得到具有二维码的交通标识图片；
[0070]
步骤5、将步骤4中获得的具有二维码的交通标识图片雕刻在反光膜上获得交通标识如图6所示。
[0071]
所述步骤3中，采用qr code开源库生成灰度值为b的二维码后，再根据预处理交通标识图片的尺寸缩放二维码，得到灰度值为b、与预处理交通标识图片的尺寸一致的二维码。
[0072]
交通标志二维码通过在城市道路中常见的交通标志牌融合二维码，使汽车的自动驾驶系统实时获得交通标志的信息和提供辅助定位的精确坐标。
[0073]
交通标志二维码与常见的道路交通标志在尺寸上相同，其具体尺寸的大小包括600mm*600mm，800mm*800mm，1000mm*1000mm， 2400*1200mm，3000*2000mm，4000*2000mm。经过上述步骤后得到交通标志二维码，用精密雕刻机直接在反光膜上制作出图。
[0074]
所述步骤3中，自动驾驶系统解码获得uid，则将uid上传至交通服务中心，交通服务中心访问数据库，查询数据库中上述uid预存的位置信息并发送至自动驾驶系统，自动驾
驶系统获得位置信息；
[0075]
所述步骤3中，还可直接在二维码中编码位置信息，参照附图6 中所示的二维码中的编码信息为展示信息_经度_纬度_高度，具体为直行学府路_左转公滨路_右转黄河路_120.372069568_30.310328745 _5.5128。
[0076]
实施例2
[0077]
本实施例在实施例1的基础上提供了一种基于交通标识的车辆定位方法，包括以下步骤：
[0078]
步骤1、自动驾驶系统感知到交通标识后，视觉相机获取当前交通标识的图像，对当前交通标识进行通道分解获得当前交通标识上b 通道的二维码图像；
[0079]
步骤2、对步骤1中获得的二维码图像进行解码获得对应的位置位置信息，位置信息包括道路信息、经度、维度、距离地面高度、二维码尺寸，二维码尺寸包括二维码的边长l及相邻的两个位置探测图形中心点的距离l1，参照附图7所示为二维码边长和二维码相邻的两个位置探测图形中心点的距离的示意图；
[0080]
步骤3、参照图8，定义二维码三个位置探测图形中心点和第四个角点p
04
为特征点，获取二维码的四个特征点在二维码图像中的像素坐标；二维码的4个角点的像素坐标为p
01
(u
01
，v
01
)、p
02
(u
02
，v
02
)、 p
03
(u
03
，v
03
)和p
04
(u
04
，v
04
)，3个位置探测图形的角点坐标记为p
ij
＝(u
ij
，v
ij
)， i＝1，2，3，j＝1，2，3，4，即二维码的四个特征点的像素坐标的公式为：
[0081][0082]
根据二维码对应的位置信息中的二维码尺寸、经度、维度、距离地面高度计算二维码的四个特征点在世界坐标系下的世界坐标；
[0083]
步骤5、建立二维码的四个特征点的像素坐标和世界坐标的点对，采用epnp算法计算相机坐标系与二维码坐标系之间的位姿变换矩阵，该位姿变换矩阵即为第n个图像帧下视觉相机的外参矩阵，参照附图9所示为利用二维码求解相机位姿的原理示意图。
[0084]
所述步骤2中，自动驾驶系统解码获得uid并上传至交通服务中心，交通服务中心访问数据库，查询数据库中上述uid预存的位置信息并发送至自动驾驶系统，自动驾驶系统获得位置信息。
[0085]
实施例3
[0086]
本实施例中，提出一种车辆位姿估计方法，包括以下步骤：
[0087]
步骤1、构建所有交通二维码中每两个交通二维码之间的位姿转换关系，选取一个交通二维码作为参考二维码，构建参考二维码与其余交通二维码之间的位姿转换关系，以该参考二维码的中心为原点建立参考世界坐标系，定义交通二维码的至少四个特征点，本实施例中的交通二维码的特征点与实施例2相同，计算所有交通二维码的特征点的参考世界坐标，构建二维码地图，二维码地图的地图信息包括所有交通二维码及其特征点的参考世界坐标；
[0088]
步骤2、自动驾驶系统感知到交通标识后，视觉相机采集当前交通标识的图像帧，对当前交通标识的图像帧进行通道分解获得b通道上的二维码图像，检测二维码图像，获得若干个检测二维码；
[0089]
步骤3、识别所有的检测二维码，从当前交通标识的图像帧中获取识别成功的检测二维码的特征点的像素坐标，并从二维码地图中获取识别成功的检测二维码的特征点的参考世界坐标；
[0090]
步骤4、根据识别成功的检测二维码的特征点的参考世界坐标和像素坐标采用epnp算法计算识别成功的检测二维码的特征点由世界坐标系转换为相机坐标系的变换矩阵，该变换矩阵即为该图像帧下视觉相机的外参矩阵，即获得车辆的估计位姿。
[0091]
步骤5、计算视觉相机在参考世界坐标系中的坐标视觉相机在参考世界坐标系中的坐标计算公式如下所示：
[0092][0093]
其中，
[0094]
t为该图像帧下特征点从参考世界坐标系转换到相机坐标系的变换矩阵,t＝[r t]；
[0095]
r为特征点从参考世界坐标系转换到相机坐标系的旋转矩阵；
[0096]
t为特征点从参考世界坐标系转换到相机坐标系的平移向量；
[0097]
为相机的光心在相机坐标系下的坐标；
[0098]
为相机的光心在参考世界坐标系下的坐标。
[0099]
记所有交通二维码为m个，将所有交通二维码依次编号为i，i ∈[1,m]，参照附图10所示为视觉相机捕获的关键帧的示意图，视觉相机捕获的第一幅关键帧中同时检测到1号和2号二维码，第二幅关键帧中同时检测到1号二维码、2号二维码和3号二维码，第三幅关键帧中同时检测到3号和4号二维码。
[0100]
第二幅关键帧中可计算得到视觉相机坐标系与1号二维码坐标系的变换矩阵视觉相机坐标系与2号二维码坐标系的变换矩阵以及视觉相机坐标系与3号二维码坐标系的变换矩阵由此可以得到f2中1号二维码和2号二维码的变换矩阵1号二维码和3号二维码的变换矩阵以及2号二维码和3号二维码的变换矩阵以及2号二维码和3号二维码的变换矩阵所有交通二维码中每两个交通二维码之间的计算方法如下：
[0101][0102]
其中，ξn表示fn中所有交通二维码与相机坐标系的位姿关系集合，ψn表示fn中所有交通二维码中每两个交通二维码之间的变换矩阵集合。
[0103]
同理，可以获得fn中观测到的所有交通二维码之间的变换矩阵集合ψn，
指定某一交通二维码的中点为原点建立参考世界坐标系后，即可获得具有相同的世界坐标系的二维码地图。
[0104]
考虑到相机观测数据存在误差，本实施例利用最小化重投影误差的原理，优化求解二维码地图的位姿分布，最终得到所有二维码标签的特征点在参考坐标系下的参考世界坐标，参照图11所示为重投影误差的原理示意图。
[0105]
实际情况中，由于光照不佳、移动过快、分辨率不足及镜头畸变等因素影响，观测结果会存在噪声，从而产生极大的累计误差，此时需要利用非线性优化的方法来减小误差积累，从而避免定位结果的漂移。
[0106]
根据针孔模型的重投影原理，构建最小二乘优化问题对估计值进行调整，第i个交通二维码在第n个关键帧中的最小误差项定义如下：
[0107][0108]
式中变量定义如下，ti，tn，k为待优化量。
[0109]
k表示相机的内参矩阵；
[0110]
tn表示第n个关键帧中参考世界坐标系到视觉相机坐标系的变换矩阵(即第n个关键帧中视觉相机的外参矩阵)。
[0111]
ti表示第i个交通二维码的二维码坐标系到参考世界坐标系的变换矩阵。
[0112]cj
为已知量，表示第i个交通二维码的第j个特征点pj在二维码坐标系下的三维齐次坐标，本实施例中，四个特征点在二维码坐标系下的三维齐次坐标为：次坐标，本实施例中，四个特征点在二维码坐标系下的三维齐次坐标为：)。
[0113]
(ti·cj
)表示将cj变换到参考世界坐标系中得到
[0114]
ψ(k，tn，ti·cj
)表示将根据相机针孔模型，经过相机外参tn和内参k 运算后，重投影的交通二维码的特征点的像素坐标。
[0115]
为观测量，表示第i个交通二维码在第n个关键帧中的第j个特征点观测像素坐标，其存在观测噪声。
[0116]
表示第i个交通二维码在n个关键帧中的特征点的重投影坐标与观测像素坐标之间的欧式距离，即重投影误差。
[0117]
由式可以得到全部关键帧的总投影误差：
[0118][0119]
式中m为交通二维码的总数，n为总关键帧数量。考虑到变换矩阵tn，ti内部存在约束关系，为减少搜索空间(未知量个数)，将变换矩阵转换为李代数形式。
[0120]
假定空间中任意参考系a中的点pa＝[x，y，z]
t
，先进行旋转然后平移可以将该点转换到另一个坐标系b中。定义该变换为下式：
[0121][0122]
其中r＝[r
x
，ry，rz]为单位旋转向量，t为平移向量，ζ∈se(3)，se(3)为特殊欧式群
对应的李代数。由罗德里格斯公式可得：
[0123][0124]
其中为r的反对称矩阵，θ为r对应的旋转角度。则变换矩阵t如下：
[0125][0126]
由式(3)(4)(5)(6)可得下式
[0127][0128]
对上式进行非线性优化，可以获得最优的本实施例使用列文伯格-马夸特(levenberg-marquadt，lm)算法来解决该最小二乘问题，该算法在高斯牛顿法的基础上进行改进，认为近似只在一定范围内成立，如果近似效果不佳则缩小范围，可以保证增量方程的正定性。为了避免迭代失败，该方法须提前获取初始值，相机的内参k初值可通过张友正标定法获取，tn初值可通过epnp方法获取，ti初值可通过已建立的二维码地图获取。
[0129]
最后可得到优化后的参数，根据该参数建立可计算得到所有交通二维码在参考世界坐标系下的坐标，根据每个交通二维码的特征点在参考世界坐标系下的坐标就可构建二维码地图，同时也能得到相机关键帧轨迹和交通二维码的分布图，其结果如图12所示。
[0130]
构建地图的具体方法包括：
[0131]
步骤1、视觉相机采集所有交通二维码的关键帧，关键帧为具有至少两个交通二维码的图像帧，从关键帧中获得视觉相机坐标系与关键帧中所有交通二维码的变换矩阵，由此得到关键帧中所有的两个交通二维码之间的变换矩阵；
[0132]
步骤2、遍历所有关键帧，获得所有交通二维码中每两个交通二维码之间的变换矩阵合集，由此得到所有交通二维码的每两个交通二维码之间的位姿转换关系。
[0133]
构建二维地图前要指定任意一个交通二维码的中点作为参考世界坐标系的原点，从视觉相机捕获的关键帧获取其余交通二维码相对于参考二维码坐标系的位姿转换关系，关键帧指至少检测且识别到2 个交通二维码的图像帧，再根据参考二维码坐标系与其余交通二维码之间的位姿转换关系计算得到参考世界坐标系下所有交通二维码特征点的参考世界坐标，最终得到的结果即为同一个参考世界坐标系下的交通二维码地图，该二维码地图包含参考二维码坐标系与其余交通二维码之间的位姿转换关系、所有交通二维码的特征点的参考世界坐标。
[0134]
在构建地图时，可设计增加辅助交通标识来构建地图便于视觉相机获取关键帧，二维码地图构建完成后，再将辅助交通标识去除，保留实际需要的交通标识。
[0135]
二维码地图构建完成后，即可利用上述二维码地图辅助进行大范围定位，该地图中包含每个二维码坐标系与参考世界坐标系的变换矩阵，以及每个交通二维码的四个特征点在参考世界坐标系中的参考世界坐标。当视觉相机捕获到任意一个交通二维码或多个交
通二维码时，便可以求解出视觉相机在参考世界坐标系下的位姿。
[0136]
参照图13所示为自动驾驶系统感知到交通标识后获得的图像帧的示意图，指定9号二维码为参考二维码，则参考世界坐标系以9号二维码的中点作为原点建立，完成二维码地图构建后，即可得到8号、 10号、11号二维码与9号二维码的位姿关系ψ＝{t
8，9
，t
10，9
，t
11，9
}，同时得到了地图中所有交通二维码的全部特征点的参考世界坐标其中i表示第i个交通二维码，j表示第i个交通二维码的第j个特征点。
[0137]
当视觉相机检测到9号和10号二维码时，视觉相机获取当前交通标识的二维码图像，并从二维码图像中获得9号二维码的四个特征点和10号二维码的四个特征点共8个像素坐标，并从二维码地图获取9号二维码的四个特征点和10号二维码的四个特征点共8个参考世界坐标，即获得八个特征点的像素坐标和参考世界坐标共八个点对，由epnp方法及lm方法可得到当前关键帧下视觉相机的外参矩阵 tn。
[0138]
相机位姿为tn＝[r t]，视觉相机在三维世界坐标系中的坐标为计算公式如下所示：
[0139][0140]
利用构建的二维码地图进行定位的效果如图14所示，在图14为视觉相机在二维码地图中的实时位姿显示，其中小方框为交通二维码的位姿，大方框为相机当前图像帧下的位姿。
[0141]
结果表明，利用二维码建立的地图，可以实时获取相机当前的位姿，从而获得驾驶车辆的位姿，实现室内定位功能。