一种基于车道检测与目标跟踪的车辆辅助定位方法
【专利摘要】本发明涉及一种基于车道检测与目标跟踪的车辆辅助定位方法，属于智能交通技术领域。该方法主要针对车辆所在的具体车道进行精确定位。在车道线检测与多目标车辆跟踪的基础上，将最靠近图像竖直中轴线的两条车道线作为本车车道线，以道路图像底边中点为原点，将目标车辆与原点用直线连接，判断该直线与本车车道线是否有交点，确定目标车辆与本车道的相对位置关系，结合相对位置关系与车道线确定车辆所在的具体车道，结合具体车道信息与GPS信息实现车辆的车道级定位。本发明能够弥补GPS系统无法精确定位本车所在具体车道的缺点，为车道级定位和辅助驾驶提供更加可靠与准确的数据。
【专利说明】
一种基于车道检测与目标跟踪的车辆辅助定位方法
技术领域
[0001] 本发明属于智能交通技术领域，涉及一种基于车道检测与目标跟踪的车辆辅助定 位方法。
【背景技术】
[0002] 自动驾驶系统利用多种传感器，感知车辆周围环境，并根据感知系统得到的道路 车道信息、车辆位置和状态信息和障碍物信息，构建局部地图，规划局部路径，并实时控制 控制车辆的转向和速度，从而使得车辆能够安全、可靠地在道路上行驶。它能把人从单一持 久的驾驶活动中解放出来，减少驾驶行为差异对交通流稳定性的影响，有利于提高现有道 路网络的车辆通行率缓解交通拥堵，另一方面可以提高汽车行驶安全，降低交通事故率改 善交通安全，降低能源消耗和环境污染，对我国能源转型减少污染、缓解交通拥堵有重大意 义。
[0003] 车辆所在车道定位是自动驾驶的一个重要部分，尤其是当前自有车辆日益增加， 越来越越复杂的城市交通环境给人的生命财产带来了新的挑战。由于当前GPS定位系统只 能将车辆所在公路以及公路方向进行定位，无法进行车辆所在车道的精确定位。目前，为了 实现所需精度的车辆定位，都需要来自车辆外部来源的校正。例如有相对定位或差分的 DGPS，广域增强系统等，此类系统的缺点有价格较高，部分地区接收的信息没有跟新而导致 与实际路口有所差别，无法精确到车辆具体所在哪条车道的定位。
【发明内容】
[0004] 有鉴于此，本发明的目的在于提供一种基于车道检测与目标跟踪的车辆辅助定位 方法，该方法将视频跟踪和GPS结合起来实现车道定位，提高了车道定位精度，为智能车的 决策系统提供更多的道路环境信息，增强导航设备的导航能力。
[0005] 为达到上述目的，本发明提供如下技术方案：
[0006] -种基于车道检测与目标跟踪的车辆辅助定位方法，该方法包括以下步骤：
[0007] Sl:检测车道线与确定本车车道线，输入视频序列，对图像进行预处理，利用Hough 变换与直线拟合检测车道线，取最靠近图像竖直中轴线的左右侧车道线为本车车道线，初 步预测下一帧车道所在的感兴趣区域；
[0008] S2:用预先训练好的车辆模型检测车辆，利用卡尔曼滤波算法跟踪车辆，利用匈牙 利算法(Hungarian Algorithm)关联相邻两帧的同一目标;计算前方车辆在图像上与车道 线的重叠区域，将车辆所在区域从初步预测的车道线感兴趣区域除去，重新确定下一帧车 道线感兴趣区域；
[0009] S3:计算前方车辆与本车道的相对位置关系，结合相对位置关系与检测到的车道 线确定本车的车道信息，利用GPS定位系统确定本车在地图上的位置信息，将位置信息与车 道信息融合实现对自身车辆的车道级定位。
[0010]进一步，所述步骤Sl具体包括：
[0011] Sll:假设输入视频序列的道路图像为uXv，将图像上部分1/3去掉，并以u/2为中 线将图像分为左右两部分感兴趣区域ROIl和R0I2;
[0012] S12:对图像进行灰度化处理以及中值滤波去噪，然后利用Canny算法进行边缘检 测，再对处理后的图像进行Hough变换，检测图像中的车道线；取ROIl中最右侧的车道线为 本车道左车道线，取R0I2中最左侧的车道线为本车道右车道线；
[0013] S13:以车道线的斜率、截距、斜率变化率以及截距变化率作为状态变量，利用卡尔 曼滤波预测出下一帧该车道线的初步感兴趣区域。
[0014]进一步，所述步骤S2具体包括：
[0015] S21:使用DPM算法(Deformable Parts Model)训练的车辆模型检测图像中的车 辆；
[0016] S22:利用卡尔曼滤波预测车辆位置，给定目标车辆的状态向量Vt如下
[0017] Vt= [xt yt wt htAitAjtitt]T
[0018] ihe {-1，〇，1}
[0019] 其中Xt，yt表示车辆在图像中目标框架的左上角坐标，Wt，h t表示该框架的宽与高， Δ Xt，△ yt表示相邻两帧Xt，yt的变化率，Φ表示车辆相对于本车道的位置；
[0020] S23:数据关联采用匈牙利算法(HungarianAlgorithm):首先利用车辆相对于本车 道的位置对检测到的车辆分类，对处于同一车道内的车辆分别与前一帧同车道内的各车计 算欧式距离，并以该距离矩阵作为匈牙利算法输入的置信度矩阵，根据匈牙利算法的匹配 结果实现数据关联；
[0021] S24:其中置信度的求取过程是:假设t时刻跟踪目标数为Nt，t+Ι时刻检测目标数 为M t+1，并已知道各车所在车道;对同一车道内相邻时刻各车辆分别计算欧式距离，假设有η 条车道，以在η车道为例，公式如下：
[0022] Cij= I it-jt+i| i, j = 1,2,3···
[0023] 其中it表示t时刻该车道内的第i个目标的图像坐标，jt+1表示t+1时刻该车道内的 第j个目标的图像坐标，I · I表示欧式距离计算方法；
[0024] S25:定义一个二分图61(0，1'4)，其中每条边E有一个非负的置信度C ij表示检测结 果与跟踪目标的相似度，用欧式距离表示，通过匈牙利算法(Hungar i an AI gor i thm)解出最 优匹配；
[0025] S26:判断车辆在图像中的区域与车道感兴趣区域重叠部分，计算车辆区域^与车 道感兴趣区域?的重叠部分，公式如下：
[0026] overlap = π Π Γ2 ；
[0027] S27:新的车道线感兴趣区域为r2_overlap。
[0028]进一步，所述步骤S3具体包括：
[0029] S31:计算前方车辆与本车道的相对位置关系，假设其中一个目标车辆的检测框架 为(x，y，w，h)，其中x，y表示框架左上角的像素坐标，w，h表示宽与高；取点+ +i?与 (f，〇建立直线方程，若该直线与左车道线直线相交，则该车辆位于本车车道左侧，记为状 态-1;若该直线与车道线没有相交，则该车辆位于本车车道内，记为状态〇;若该直线与右车 道线直线相交，则该车辆位于本车车道右侧，记为状态1;
[0030] S32:结合所测车道线与每条车道上目标车辆的标记状态，确定本车所在车道的车 道顺序，将车道顺序与GPS在地图上的位置信息融合，最终实现车道级定位。
[0031] 本发明的有益效果在于:本发明利用了车道线检测与车辆跟踪，与现有技术相比 提高了复杂环境下车辆与车道线跟踪的准确度和效率;建立车辆与车道线的相对位置关 系，减少了车辆与车道线跟踪相互之间的干扰，同时关联算法只对同一车道内的车辆目标 进行匹配，提高了车辆跟踪的准确度与效率。最后利用车辆与车道线的关系，实现本车所处 车道的确定，弥补了 GPS系统只能定位车辆所在公路而无法确定车辆在公路上哪条车道的 缺点，为车辆驾驶提供了更加可靠的精确数据。
【附图说明】
[0032] 为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行 说明：
[0033] 图1为本发明实施例的方法流程图；
[0034] 图2为本发明实施例的自身车辆所在车道的车道线确定图；
[0035]图3为本发明实施例的二分图匹配图；
[0036] 图4为本发明实施例的前方车辆与自身车辆所在车道的相对位置关系确定图；
[0037] 图5为本发明实施例的车道定位确定方法。
【具体实施方式】
[0038]下面将结合附图，对本发明的优选实施例进行详细的描述。
[0039] 图1为本发明实施例的方法流程图，如图1所示，本发明提供的基于车道检测与目 标跟踪的车辆辅助定位方法，包括以下步骤：
[0040] 步骤1:检测车道线与确定本车车道线，将摄像机安装在智能车前方正中间，摄像 机的水平朝向与车辆方向相同。在摄像机采集的视频序列中，将道路图像用竖直中轴线分 成左右两部分，分别进行图像预处理，利用Canny与Hough变换检测车道线，取最靠近图像竖 直中轴线的左右侧车道线为本车车道线。图2为本发明实施例的自身车辆所在车道的车道 线确定图。结合卡尔曼滤波初步预测出下一帧车道线所在的感兴趣区域，具体过程如下：
[0041] 11)假设输入视频序列的道路图像为uXv，将图像上部分1/3去掉，并以u/2为中线 将图像分为左右两部分感兴趣区域ROIl和R0I2;
[0042] 12)对图像进行灰度化处理以及中值滤波去噪，然后利用Canny算法进行边缘检 测，再对处理后的图像进行Hough变换，直线拟合提取出图像中的车道线。取ROIl中最右侧 的车道线为本车道左车道线，取R0I2中最左侧的车道线为本车道右车道线；
[0043] 13)利用卡尔曼滤波预测出下一帧该车道线的感兴趣区域：以右车道为例，用(kr， br)表示车道线直线的斜率和截距，用（Akr，Abr)表示斜率和截距变化率，所以定义如下： 状态变量为:Xr(n) = (kr，br，Akr，Abr)
[0044] 观测向量:Zr= (kr，br)
[0045] 由卡尔曼滤波算法得p(n，n-l):
[0046] P(n,n-1) =AP(n-l)AT+Q
[0047] 其中A表示状态转移矩阵，Q表示系统方程的误差协方差矩阵。
[0048] 由卡尔曼滤波算法预测方程得P(n):
[0049] P(n)=P(n，n-l)-K(n) XH(n)P(n，n-l)
[0050] P (η)表示感兴趣区域的不确定范围，P (η, n-1)表示n-1时刻对η时刻不确定范围的 预测值，Κ(η)表示增益矩阵，Η(η)表示观测矩阵，在进入跟踪后，则右车道线的感兴趣范围： (A-,： , K , Vb ,bp = ( X1 (n) (i) - Pin) (1,1), Xi (η) (2) + L〇〇51」 尸⑶（2.2)，Jj/j) (I) + 尸(/j)(1，1), Λ\(/?)⑵-PO]) (2,2))
[0052] 14)t时刻直接从t-1帧得出的感兴趣区域内检测车道线，若此兴趣范围内无法检 测到车道线，重复11)步骤开始进行车道线检测。
[0053] 步骤2:用预先训练好的模型进行目标车辆检测，利用卡尔曼滤波算法跟踪车辆， 利用匈牙利算法(Hungarian Algorithm)关联相邻两帧的同一目标，具体包括以下步骤：
[0054] 21)使用DPM算法(Deformable Parts Model)训练的车辆模型检测视频序列中的 车辆，获取车辆在图像中的位置信息，位置信息用矩形框架来描述；
[0055] 22)利用卡尔曼滤波预测车辆位置，给定目标车辆的状态向量Vt如下：
[0056] Vt= [Xt yt Wt ht Δ it Δ jti])t]T [0057 ] Φ? G 1,0,1}
[0058]其中乂1；，71；，'?1；，111；是目标车辆在图像平面中的框架，4 11；，4 71；表示相邻两帧11；，71；的 变化率，φ表示车辆相对于本车道的位置；
[0059] 23)数据关联采用匈牙利算法(Hungarian Algorithm):首先利用车辆相对于本车 道的位置对检测到的车辆分类，对处于同一车道内的车辆分别与前一帧同车道内的各车计 算欧式距离，并以该距离矩阵作为匈牙利算法的输入，根据匈牙利算法的匹配结果实现数 据关联。
[0060] 24)其中置信度的求取过程是:假设t时刻跟踪目标数为Nt，t+1时刻检测目标数为 M t+1，并已知道各车所在车道。对同一车道内相邻时刻各车辆分别计算欧式距离，假设有η条 车道，以在η车道为例，公式如下：
[0061] Cij= I it-jt+i| i, j = 1,2,3···
[0062] 其中it表示t时刻该车道内的第i个目标的图像坐标，jt+1表示t+1时刻该车道内的 第j个目标的图像坐标，I · I表示欧式距离计算方法。
[0063] 25)定义一个二分图61(0，1'4)，其中每条边E有一个非负的置信度C ij表示检测结 果与跟踪目标的相似度，这里用欧式距离表示，通过匈牙利算法(Hungarian Algorithm)解 出最优匹配，其中匈牙利算法匹配过程如图3所示。
[0064] 步骤3:将车辆所在区域从车道线检测兴趣区域除去，重新确定车道线感兴趣区 域，具体包括以下步骤：
[0065] 31)判断车辆在图像中的区域与车道感兴趣区域重叠部分，计算车辆区域^与车 道感兴趣区域?的重叠部分，公式如下：
[0066] overlap = π Π Γ2 ；
[0067] 32)新的车道线感兴趣区域为r2_overlap。
[0068] 步骤4:计算前方各车辆相对于本车道的位置关系并标记，结合所测车道线，确定 本车所在车道的车道顺序，具体包括以下步骤：
[0069] 41)计算前方车辆与本车道的相对位置关系，假设其中一个目标车辆的检测框架 为(x，y，w，h)，其中x，y表示框架左上角的像素坐标，w，h表示宽与高。取点+ + &与 W .... 建立直线方程，若该直线与车道线左侧直线相交，则该车辆位于本车车道左侧，记为 状态-1;若该直线与车道线没有相交电，则该车辆位于本车车道内，记为状态〇;若该直线与 车道线右侧直线相交，则该车辆位于本车车道右侧，记为状态1，判断过程如图4所示。
[0070] 42)本发明设定车道按从右往左的顺序排列，设有4条车道，那么车道顺序从右往 左分别是1车道、2车道、3车道、4车道。假设每条车道上都检测到了车辆，取每条车道上最靠 近本车的目标车辆做判断，获取该车的状态标记，设这4个目标车辆的状态标记集合为R。若 1?￡{-1，-1，-1，〇}，则本车处于1车道上，如图5( &)所示。若1?￡{-1，-1，〇，1}，则本车处于2车 道上，如图5(b)所示。若Re{-l，〇，l，l}，则本车处于3车道上，如图5(c)所示。若Re{〇，l，l， 1}，则本车处于4车道上，如图5(d)所示。其它数量的车道按次方法类推。
[0071] 步骤5:利用GPS确定车辆所在公路以及车辆的行驶方向，结合具体车道信息与GPS 信息，最终实现车辆的车道级定位。
[0072]最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通 过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在 形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
【主权项】
1. 一种基于车道检测与目标跟踪的车辆辅助定位方法，其特征在于：该方法包括以下 步骤： S1:检测车道线与确定本车车道线，输入视频序列，对图像进行预处理，利用Hough变换 与直线拟合检测车道线，取最靠近图像竖直中轴线的左右侧车道线为本车车道线，初步预 测下一帧车道所在的感兴趣区域； S2:用预先训练好的车辆模型检测车辆，利用卡尔曼滤波算法跟踪车辆，利用匈牙利算 法(Hungarian Algorithm)关联相邻两帧的同一目标;计算前方车辆在图像上与车道线的 重叠区域，将车辆所在区域从初步预测的车道线感兴趣区域除去，重新确定下一帧车道线 感兴趣区域； S3:计算前方车辆与本车道的相对位置关系，结合相对位置关系与检测到的车道线确 定本车的车道信息，利用GPS定位系统确定本车在地图上的位置信息，将位置信息与车道信 息融合实现对自身车辆的车道级定位。2. 根据权利要求1所述的一种基于车道检测与目标跟踪的车辆辅助定位方法，其特征 在于:所述步骤S1具体包括： S11:假设输入视频序列的道路图像为uXv，将图像上部分1/3去掉，并以u/2为中线将 图像分为左右两部分感兴趣区域R0I1和R0I2; S12:对图像进行灰度化处理以及中值滤波去噪，然后利用Canny算法进行边缘检测，再 对处理后的图像进行Hough变换，检测图像中的车道线;取R0I1中最右侧的车道线为本车道 左车道线，取R0I2中最左侧的车道线为本车道右车道线； S13:以车道线的斜率、截距、斜率变化率以及截距变化率作为状态变量，利用卡尔曼滤 波预测出下一帧该车道线的初步感兴趣区域。3. 根据权利要求2所述的一种基于车道检测与目标跟踪的车辆辅助定位方法，其特征 在于:所述步骤S2具体包括： S21:使用DPM算法(Deformable Parts Model)训练的车辆模型检测图像中的车辆； S22:利用卡尔曼滤波预测车辆位置，给定目标车辆的状态向量Vt如下 Vt=[xt yt wt ht Ait Δ jt Φ?]τ ihe{-l，〇，l} 其中Xt，yt表示车辆在图像中目标框架的左上角坐标，wt，h t表示该框架的宽与高，AXt， A yt表示相邻两帧xt，yt的变化率，Φ表示车辆相对于本车道的位置； S23:数据关联采用匈牙利算法(Hungarian Algorithm):首先利用车辆相对于本车道 的位置对检测到的车辆分类，对处于同一车道内的车辆分别与前一帧同车道内的各车计算 欧式距离，并以该距离矩阵作为匈牙利算法输入的置信度矩阵，根据匈牙利算法的匹配结 果实现数据关联； S24:其中置信度的求取过程是:假设t时刻跟踪目标数为Nt，t+Ι时刻检测目标数为Mt+1， 并已知道各车所在车道;对同一车道内相邻时刻各车辆分别计算欧式距离，假设有η条车 道，以在η车道为例，公式如下： Cij= | it-jt+i| i，j = l，2,3··· 其中it表示t时刻该车道内的第i个目标的图像坐标，jt+1表示t+1时刻该车道内的第j个 目标的图像坐标，I · I表示欧式距离计算方法； S25:定义一个二分图61(0，1'4)，其中每条边E有一个非负的置信度Cij表示检测结果与 跟踪目标的相似度，用欧式距离表示，通过匈牙利算法(Hungarian Algorithm)解出最优匹 配； S26:判断车辆在图像中的区域与车道感兴趣区域重叠部分，计算车辆区域^与车道感 兴趣区域r2的重叠部分，公式如下： overlap = ri Π Γ2; S27:新的车道线感兴趣区域为r2_overlap。4.根据权利要求3所述的一种基于车道检测与目标跟踪的车辆辅助定位方法，其特征 在于:所述步骤S3具体包括： S31:计算前方车辆与本车道的相对位置关系，假设其中一个目标车辆的检测框架为 (x，y，w，h)，其中x，y表示框架左上角的像素坐标，w，h表示宽与(f，W建立直线方程，若该直线与左车道线直线相交，则该车辆位于本车车道左侧，记为状 态-1;若该直线与车道线没有相交，则该车辆位于本车车道内，记为状态〇;若该直线与右车 道线直线相交，则该车辆位于本车车道右侧，记为状态1; S32:结合所测车道线与每条车道上目标车辆的标记状态，确定本车所在车道的车道顺 序，将车道顺序与GPS在地图上的位置信息融合，最终实现车道级定位。
【文档编号】G06K9/32GK106056100SQ201610486724
【公开日】2016年10月26日
【申请日】2016年6月28日
【发明人】朱浩, 胡劲松, 张斌, 李银国
【申请人】重庆邮电大学