一种北斗视觉融合精准车道辨识与定位方法及其实现装置与流程
本发明属于智能交通技术领域，具体地涉及一种北斗视觉融合车道辨识与精准定位方法及其实现装置。
背景技术：
随着现代交通系统的不断发展，公交车专用车道、应急车道、潮汐车道等特殊机动车道越来越常见。这些特殊车道提高了城市车辆通行效率，有效解决了交通拥堵问题，同时为救护车等特种车辆赢得宝贵的时间。
但是，目前仍然存在着私家车占用公交车道、非法占用应急车道、不遵守潮汐车道通行规则的情况，其主要原因如下：第一、证据采集主要以固定点抓拍为主，覆盖面窄，驾驶员容易存在侥幸心理；第二、城市道路交通情况复杂，不同城市对特殊车道管理方法不同(如公交车专用道分时通行)，车载辅助警告系统缺失，驾驶员难以注意是否占用特殊车道。
针对上述原因一，目前解决方案采用车载抓拍方式,中国专利文献cn104240515a公开了一种基于图像处理的公交专用道占道抓拍方法，步骤1，在公交车的车头和车尾各设一个摄像头，对摄像头采集到的视频图像进行预处理：步骤2，对视频图像中的公交车道进行车道检测，确定左右两个车道在图像中出现的可能区域；步骤3，检测处于两车道之间可能的车辆；步骤4，通过计算，来估计此可能车辆的宽度；步骤5，对符合占道车宽度的车进行处理，来最终确认此车确为占道车；步骤6，对占道车进行车牌的粗定位。该方法将摄像头安装于公交车车头与车尾，识别公交车专用道，抓拍非法占用公交车专用道车辆。
针对上述原因二，目前解决方案为在现有辅助驾驶系统中增加警告方法，中国专利文献cn108230714a公开了一种公交专用车道警告方法，该方法包括如下步骤：识别公交专用车道；判断车辆是否正在越过公交专用车道线，或者是否已经驶入公交专用车道；如果所述车辆正在越过公交专用车道线或者已经驶入公交专用车道，则向所述车辆的驾驶员发出提示警告信息。该方法识别公交车专用车道，判断车辆是否正越过公交车专用车道线，是否需要发出警告。
目前的解决方案只能解决其中一个问题，且解决方案存在仅适用于单一特殊车道的不足，其根本原因是无法解决精准车道辨识与定位的问题。
技术实现要素：
针对现有技术的不足，本发明提供了一种北斗视觉融合精准车道辨识与定位方法及其实现装置，车道辨识与定位结果可用于车辆非法驶入公交车道、应急车道、潮汐车道时进行预警，同时对占道行驶车辆抓拍识别上传。
术语解释：
1、vgg16卷积神经网络，是karensimonyan2016年提出的用于图像识别的一种16层卷积神经网络。见图2。
2、距离度量法，具体为计算像素的信息熵(informationentropy)，将信息熵相同的像素分为同一类，信息熵计算公式为：
3、meanshift算法，即均值漂移算法，计算所有像素均值后所有像素减去该均值，计算公式如式(ⅰ)：
式(ⅰ)中，l表示聚类损失函数，c表示聚类后车道数量，nc为此车道中每个像素，μc为所有像素均值，pi为第i个像素的像素值,δ为预设像素阈值。
4、车道与车道线对照表，车道与车道线对照表指附图表1中车道线、车道位置与车道类别对应关系表格。
5、电子地图道路网，是指用于描述道路基本拓扑关系和几何要素的电子地图，本发明采用arcgis电子地图道路网。
本发明的技术方案为：
一种北斗视觉融合精准车道辨识与定位方法，包括步骤如下：
(1)车道检测，包括：
步骤a1：图像采集设备拍摄前方道路图片并存储；
步骤a2：根据道路图片提取道路特征，检测、识别车道线并分割车道；
步骤a3：将分割后的车道送入分类网络，精准识别当前、左侧、右侧车道类型，并使用不同颜色掩膜加以区分，同时确定车辆当前车道；
(2)地图匹配，包括：
步骤b1：北斗接收机接受卫星数据，并将卫星数据解码得到定位信息，定位信息包括经纬度与时间；
步骤b2：将定位信息与地图道路网信息匹配，确定车辆所在道路，提取道路车道数、车道类型、车道宽、公交车道开放时间、当前潮汐车道导向；
步骤b3：北斗接收机利用导出多普勒频移法测量车速，获取btd(北斗时)；
(3)定位修正，包括：
步骤c1：使用透视变换将步骤a1采集的前方道路图片投影为鸟瞰图；
步骤c2：使用三项式最小二乘法拟合遮挡、间断车道线，计算车辆横向位置；
步骤c3：利用所在车道与车辆横向位置，修正北斗定位结果；
(4)监控预警，包括：
步骤d1：根据定位结果、时间、车速、车辆姿态信息判断车辆是否已经占道行驶，或将占道行驶；
步骤d2：监控前方公交车道、应急车道、潮汐车道，识别行驶车辆类别及状态，判断是否占道行驶，若是则抓拍识别上传。
根据本发明优选的，步骤a2，包括：
a、将道路图片进行均值化预处理后送入vgg16卷积神经网络，是指：将道路图片中每个像素减去所有像素均值，并送入vgg16卷积神经网络，得到特征图；
b、步骤a得到的特征图分别用于车道检测与车道分割；
特征图用于车道检测的过程包括：将特征图中的所有特征分为背景类与车道线类，输出背景与车道线二值化结果，例如，0为背景，1为车道线；
特征图用于车道分割的过程包括：使用距离度量法分离每个车道像素，将属于不同车道的像素分离开，将属于相同车道的像素聚类，实现车道分割。
进一步优选的，步骤b中，将属于相同车道的像素采用meanshift算法聚类，计算公式如式(ⅰ)所示：
式(ⅰ)中，l表示聚类损失函数，c表示聚类后车道数量，nc为此车道中每个像素，μc为所有像素均值，pi为第i个像素的像素值,δ为预设像素阈值，取值范围5-20；
进一步优选的，δ＝12.5。
当聚类损失函数l取最小值时，此时c即为分割后车道数，每个像素与车道建立对应关系，如式(ⅱ)所示：：
yc＝p(xi,yi)(ⅱ)
式(ⅱ)中，(xi,yi)为第i个像素坐标，yc表示为此像素所属车道类。
根据本发明优选的，步骤a3，包括：
c、将车道线送入分类网络，识别车道线类别，车道线类别包括：实线车道线或虚线车道线、白色车道线或黄色车道线、单线车道线或双线车道线或可变导向车道线；分类网络为残差神经网络resnet；
d、根据车道与车道线对照表，判断车道类型，车道类型包括普通车道、应急车道、公交车专用车道、潮汐车道，并用不同颜色作为掩膜加以区分，同时确定车辆所在车道。
进一步优选地，步骤d，确定车辆所在车道，是指：车辆像素近似点为车道图上与车辆属于同一车道，且离车辆最近像素点，其坐标(x0,y0)＝(sw/2，sh)，sw为图像宽，sh为图像高，车辆所在车道即为车辆像素近似点所属车道类别，代入式(ⅱ)确定车辆所在车道：yc＝p(sw/2，sh)。
进一步优选的，步骤d，用不同颜色作为掩膜加以区分，是指：
查询车道分类结果及地图数据库，确定公交车专用道开放时间、潮汐车道导向信息，以此判断是否满足通行条件，结合通行条件与具体车道类型，给车道人为加入红、绿颜色掩膜区分，具体掩膜对应关系如表1所示：
表1
根据本发明优选的，步骤b1，是指：
捕获北斗卫星信号，跟踪北斗卫星信号，调解导航电文，测量伪距、载波相位，计算经纬度。
根据本发明优选的，步骤b2，包括：
e、输入北斗接收机当前得到的定位信息，与电子地图道路网数据库初始匹配，初始匹配是指使用隐马尔科夫模型hmm法，根据定位信息，寻找多条可能相匹配的初始路段；
f、进入跟踪匹配，跟踪匹配是指将当前时刻定位点(由定位信息确定)匹配到与上一时刻定位点相匹配的同一路段上；当到达复杂地段如道路交叉口时，返回步骤e；
g、将当前跟踪匹配路段输入电子地图道路网数据库，直接获取当前路段同向道路车道数、车道类型、车道宽、公交车道开放时间、当前潮汐车道导向信息。
根据本发明优选的，所述步骤b3，北斗接收机利用导出多普勒频移法测量车速，是指：
北斗接收机测量接收到卫星频率fr,标准北斗卫星信号频率fs，多普勒频移δf＝fr-fs；
通过导出多普勒频移公式测量车速(dd/dt)，如式(ⅲ)所示：
δf＝-(1/c)(dd/dt)fs(ⅲ)
式(ⅲ)中，c为真空光速，d为地面距离，t为时间。
根据本发明优选的，所述步骤b3，获取btd(北斗时)，是指：
北斗接收机利用单向测量法对接收信号进行解码后，直接得到单点卫星标准时间btd。
根据本发明优选的，步骤c1中所使用透视变换公式如式(ⅳ)所示：
[xy1]＝[uvw]*t(ⅳ)
式(ⅳ)中：(u,v,w)表示原始道路图片像素坐标，(x,y)为变换后的像素坐标，t为六自由度变换矩阵，
根据本发明优选的，步骤c2，包括：
h、筛选步骤a2检测出有效车道线段：若车道线左、右端像素满足|xn_r-xn_l-w|≤δw，则该车道线段有效，xn_r、xn_l为第n条车道线段最左、右端横坐标，w为车道线宽，δw为宽度误差阈值，车道线中心坐标为((xn_r+xn_l)/2,yn)；否则，返回步骤a1；
i、采用三项式最小二乘法拟合车道线中心点坐标，包括：
①按照相邻选取原则，选取5组相邻待拟合车道线中心点坐标(xc1,yc1)、(xc2,yc2)、(xc3,yc3)、(xc4,yc4)、(xc5,yc5)为待拟合数据；
②拟合后曲线方程为：
③将待拟合数据代入下列方程，求出待求参数：
n＝5，为数据数量，(xi,yi)为待拟合数据；
j、计算车辆横向位置，车辆横向位置是指车辆中线与车道边界线夹角θ、车辆中心离左侧边界横向距离xdl，包括：
车辆位于第n车道，左侧车道线横坐标即第n条车道线横坐标xn,右侧车道线横坐标即第n+1条车道线横坐标xn+1，车辆中心离左侧边界横向距离xdl＝x0-xn，；x0为车辆像素近似点横坐标；，
计算车辆中线与车道边界线夹角θ，计算公式如式(ⅱ)所示：
cosθ＝h0/|xn+1-xn|(ⅱ)
式(ⅱ)中，h0＝h/λ，h为实际车道宽，λ为实际距离与图像距离比例系数。
根据本发明优选的，步骤c3，包括：
北斗接收机单点定位精度为1.5米，我国车道宽度为3.75米，接收机定位结果会产生1车道误差,无法确定车辆实际所处车道。
根据步骤c2确定车辆距离左车道线实际距离xdl＝xdl*λ，λ为实际距离与图像距离比例系数，xdl为步骤c2确定车辆中心离左侧边界横向距离，图像距离，单位为像素，xdl为车辆距离左车道线实际距离，单位为米，其距离误差主要源于车道线段中心点拟合误差，其误差为0.1米。
北斗接收机定位图像车辆坐标为(x0,y0)，其误差半径为r0，视觉定位车辆距离左车道线xdl，误差半径为r1；北斗接收机定位实际车辆坐标为(x0,y0)；
定位修正后图像车辆坐标为(x1,y1)，x1＝xn+xdl，y1＝y0；xn为图像第n条车道线横坐标，图像修正后误差半径为r1；
定位修正后实际车辆坐标为(x1,y1)，x1＝xn*λ+xdl，y1＝y0*λ。
根据本发明优选的，步骤d1，包括：
读取当前、左、右车道掩膜颜色为m0、m1、m2，若m0、m1、m2全为绿色，则车辆正常行驶；若当前车道掩膜m0为红色，蜂鸣器报警提醒车主；若左侧车道掩膜m1为红色，则读取车辆横向距离x，当横向距离x小于左阈值d1时预警；若右侧车道掩膜m2为红色，当横向x距离大于右阈值d2时报警，左阈值d1的取值范围为0.3m＜d1＜0.5m；右阈值d2的取值范围为3.2m＜d1＜3.4m。
根据本发明优选的，步骤d2，包括：
当左侧车道或右侧车道为公交车道、潮汐车道且其掩膜为红色时，拍摄车辆照片，识别车牌号，将车辆照片、车牌号上传至交警平台；当右侧车道为应急车道且有车辆行驶时，通过相对位移测算其车速，若车速正常(即非故障)，拍照上传信息至交警平台，信息包括：车辆照片、车牌号、北斗定位修正结果、时间。
上述北斗视觉融合精准车道辨识与定位方法的实现装置，包括图像采集模块、北斗接收机模块、车道检测模块、地图匹配模块、定位修正模块、监控预警模块；
所述图像采集模块用于拍摄前方道路图片并存储；所述车道检测模块用于所述车道检测；所述北斗接收机模块用于接受卫星数据，并将卫星数据解码得到定位信息；定位信息包括经纬度、时间；
所述地图匹配模块用于所述地图匹配；所述定位修正模块用于所述定位修正；所述监控预警模块用于所述监控预警。
根据本发明优选的，所述图像采集模块包括图像采集设备、视频存储器sdram、可编程逻辑处理器fpga；图像采集设备拍摄图像后存入所述视频存储器sdram，所述可编程逻辑处理器fpga周期性取出图像进行预处理后送入所述车道检测模块。
进一步优选的，图像采集设备为摄像头或行车记录仪。
根据本发明优选的，所述北斗接收机模块包括射频前端处理器rfic、基带数字信号处理器asic、定位导航处理器fpga；所述射频前端处理器rfic通过天线接收所有可见北斗卫星信号，经过放大、混频下变、ad转换后输出离散数字中频信号给所述基带数字信号处理器asic；所述基带数字信号处理器asic将数字中频信号处理后得到载波和伪码信号，进而调制解调出测量值与导航电文，并发送给所述定位导航处理器fpga，所述定位导航处理器fpga对导航电文进行处理后得到定位结果，与所述地图匹配模块对比数据后送入所述视频存储器sdram存储。
根据本发明优选的，所述车道检测模块包括图像处理器gpu与微处理器arm；所述图像处理器gpu将预处理后图像送入分割识别网络，提取图像特征图，得到识别后车道线与分割后车道，所述图像处理器gpu将识别处理后图片输入所述微处理器arm，所述微处理器arm提取车道级定位结果送入定位修正模块。
根据本发明优选的，所述地图匹配模块包括离线地图存储器sdram、所述可编程逻辑处理器fpga、数据存储器sdram；
所述离线地图存储器sdram存储有电子地图道路网数据库，电子地图道路网数据库与接收机定位值进行几何匹配后，得到实际位置，结果存入数据存储器sdram。
根据本发明优选的，定位修正模块包括显示屏与所述微处理器arm；所述微处理器arm接收所述图像处理器gpu输出信息，对信息进行处理得到车道级定位结果，并从数据存储器sdram中提取北斗定位结果进行修正，修正后结果显示在显示屏上。
根据本发明优选的，所述监控预警模块包括4g路由器、蜂鸣器、所述微处理器arm；当车辆非法驶入公交车道、应急车道、潮汐车道时，所述微处理器arm启动所述蜂鸣器发出警报，当监测到有车辆非法占道行驶时，所述微处理器arm控制摄像机拍照，所述图像处理器gpu识别车牌照后将采集证据通过所述4g路由器上传。
本发明的有益效果为：
1、本发明中的车道辨识方法能精准辨识出普通车道、公交车专用车道、应急车道、潮汐车道，同时用不同颜色掩膜区分，给驾驶员提供参考。
2、本发明将摄像机视觉信息与北斗定位信息融合，使横向定位精度从1.5米提高到0.1米，给辅助驾驶、导航系统提供更精准定位。
3、本发明能同时做到公交车道、应急车道、潮汐车道的占道预警与违法抓拍，从预防与处罚两方面解决占道问题，保证公交车道、应急车道、潮汐车道的畅通。
附图说明
图1为本发明北斗视觉融合精准车道辨识与定位方法的流程示意图；
图2为本发明北斗视觉融合精准车道辨识与定位方法的实现装置结构图；
图3为本发明中车道检测网络结构示意图；
图4为本发明实例中输入图片示意图；
图5为本发明实例中车道线检测输出图片示意图；
图6为本发明实例中车道分类掩膜后输出图片示意图；
图7为本发明实例中透视变换后输出图片示意图；
图8为本发明实例中车辆横向位置计算示意图；
图9为本发明实例中定位修正计算示意图；
图10为本发明占道预警判断流程示意图；
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种北斗视觉融合精准车道辨识与定位方法，如图1所示，包括步骤如下：
(1)车道检测，包括：
步骤a1：图像采集设备拍摄前方道路图片并存储；如图4所示，横坐标为图片宽，纵坐标为图片高；图像采集设备选用行车记录仪或120°广角摄像头，设备安装于前挡风玻璃中线、后视镜正前方位置，摄像头光轴与地面成20°夹角。车辆行驶在具有车道标志线的道路上，行驶过程中图像采集设备持续拍摄前方图像并存储在视频存储器sd卡中。
步骤a2：根据道路图片提取道路特征，检测、识别车道线并分割车道；使用可编程逻辑处理器fpga读取视频存储器sd卡中视频，选取最近一帧图像以800*600分辨率rgb格式读出，进行图像均值化处理后传送至dsp图像处理器。此实施例中fpga选用altera公司cyclone系列fpga，gpu选用英伟达公司gtx1060。
步骤a3：将分割后的车道送入分类网络，精准识别当前、左侧、右侧车道类型，并使用不同颜色掩膜加以区分，同时确定车辆当前车道；
(2)地图匹配，包括：
步骤b1：北斗接收机接受卫星数据，并将卫星数据解码得到定位信息，定位信息包括经纬度与时间；
步骤b2：将定位信息与地图道路网信息匹配，确定车辆所在道路，提取道路车道数、车道类型、车道宽、公交车道开放时间、当前潮汐车道导向；
步骤b3：北斗接收机利用导出多普勒频移法测量车速，获取btd(北斗时)；
(3)定位修正，包括：
步骤c1：使用透视变换将步骤a1采集的前方道路图片投影为鸟瞰图；
步骤c2：使用三项式最小二乘法拟合遮挡、间断车道线，计算车辆横向位置；
步骤c3：利用所在车道与车辆横向位置，修正北斗定位结果；
(4)监控预警，包括：
步骤d1：根据定位结果、时间、车速、车辆姿态信息判断车辆是否已经占道行驶，或将占道行驶；
步骤d2：监控前方公交车道、应急车道、潮汐车道，识别行驶车辆类别及状态，判断是否占道行驶，若是则抓拍识别上传。
实施例2
根据实施例1所述的一种北斗视觉融合精准车道辨识与定位方法，其区别在于：
步骤a2，包括：
如图3所示，车道检测网络包括vgg16特征提取层、车道线检测层、meanshift车道分割层、resnet车道分类层；vgg16特征提取层用于道路图特征提取，resnet车道分类层用于车道线分类，meanshift车道分割层完成车道聚类，车道线检测层将车道线与背景分离分为0、1。
a、将道路图片进行均值化预处理后送入vgg16卷积神经网络(vgg16特征提取层)，是指：将道路图片中每个像素减去所有像素均值，并送入vgg16卷积神经网络，得到特征图；vgg16卷积神经网络包括13个卷积层、5个最大池化层、3个全连接层。特征提取部分将输入图像转化为14*14*256特征图。
b、步骤a得到的特征图分别用于车道检测与车道分割；
特征图送入车道线检测层进行车道检测，包括：将特征图中的所有特征分为背景类与车道线类，输出背景与车道线二值化结果，例如，0为背景，1为车道线；车道线检测输出图片如图5所示。车道线检测层包括5个卷积层、3个最大池化层、1个softmax层。使用sigmoid函数将车道线与背景分离开。
特征图送入车道分割层进行车道分割，包括：使用距离度量法分离每个车道像素，将属于不同车道的像素分离开，将属于相同车道的像素聚类，实现车道分割。车道分割层包括4个卷积层、2个bn(batchnormalization)层、3个反卷积层、1个softmax层。将不同车道进行像素级实例分割，得到车道数量与像素与车道对应关系。
步骤b中，将属于相同车道的像素采用meanshift算法聚类，计算公式如式(ⅰ)所示：
式(ⅰ)中，l表示聚类损失函数，c表示聚类后车道数量，nc为此车道中每个像素，μc为所有像素均值，pi为第i个像素的像素值,δ＝12.5。
当聚类损失函数l取最小值时，此时c即为分割后车道数，每个像素与车道建立对应关系，如式(ⅱ)所示：：
yc＝p(xi,yi)(ⅱ)
式(ⅱ)中，(xi,yi)为第i个像素坐标，yc表示为此像素所属车道类。
步骤a3，包括：
c、将车道线送入分类网络(车道分类层)，车道分类层包括2个全连接层、1个dropout层，1个softmax层，识别车道线类别，车道线类别包括：实线车道线或虚线车道线、白色车道线或黄色车道线、单线车道线或双线车道线或可变导向车道线；分类网络为残差神经网络resnet；由何凯明2015年提出，见图2。
d、根据车道与车道线对照表，判断车道类型，车道类型包括普通车道、应急车道、公交车专用车道、潮汐车道，并用不同颜色作为掩膜加以区分，同时确定车辆所在车道。车道分类掩膜后输出图片如图6所示。
步骤d，确定车辆所在车道，是指：车辆像素近似点为车道图上与车辆属于同一车道，且离车辆最近像素点，其坐标(x0,y0)＝(sw/2，sh)，sw为图像宽，sh为图像高，车辆所在车道即为车辆像素近似点所属车道类别，代入式(ⅱ)确定车辆所在车道：yc＝p(sw/2，sh)。
步骤d，用不同颜色作为掩膜加以区分，是指：
查询车道分类结果及地图数据库，确定公交车专用道开放时间、潮汐车道导向信息，以此判断是否满足通行条件，结合通行条件与具体车道类型，给车道人为加入红、绿颜色掩膜区分，具体掩膜对应关系如表1所示：
表1
实施例3
根据实施例1或2所述的一种北斗视觉融合精准车道辨识与定位方法，其区别在于：
步骤b1，是指：
捕获北斗卫星信号，跟踪北斗卫星信号，调解导航电文，测量伪距、载波相位，计算经纬度。
步骤b2，包括：
e、输入北斗接收机当前得到的定位信息，与电子地图道路网数据库初始匹配，初始匹配是指使用隐马尔科夫模型hmm法，根据定位信息，寻找多条可能相匹配的初始路段；
f、进入跟踪匹配，跟踪匹配是指将当前时刻定位点(由定位信息确定)匹配到与上一时刻定位点相匹配的同一路段上；当到达复杂地段如道路交叉口时，返回步骤e；
g、将当前跟踪匹配路段输入电子地图道路网数据库，直接获取当前路段同向道路车道数、车道类型、车道宽、公交车道开放时间、当前潮汐车道导向信息。
步骤b3，北斗接收机利用导出多普勒频移法测量车速，是指：
北斗接收机测量接收到卫星频率fr,标准北斗卫星信号频率fs，多普勒频移δf＝fr-fs；
通过导出多普勒频移公式测量车速(dd/dt)，如式(ⅲ)所示：
δf＝-(1/c)(dd/dt)fs(ⅲ)
式(ⅲ)中，c为真空光速，d为地面距离，t为时间。
所述步骤b3，获取btd(北斗时)，是指：
北斗接收机利用单向测量法对接收信号进行解码后，直接得到单点卫星标准时间btd。
实施例4
根据实施例1所述的一种北斗视觉融合精准车道辨识与定位方法，其区别在于：
步骤c1中所使用透视变换公式如式(ⅳ)所示：
[xy1]＝[uvw]*t(ⅳ)
式(ⅳ)中：(u,v,w)表示原始道路图片像素坐标，(x,y)为变换后的像素坐标，t为六自由度变换矩阵，
a、b、c、d、e、f参数只与相机自身参数与安装位置有关，本实施例中变换矩阵为：
步骤c2，包括：
h、筛选步骤a2检测出有效车道线段：若车道线左、右端像素满足|xn_r-xn_l-w|≤δw，则该车道线段有效，xn_r、xn_l为第n条车道线段最左、右端横坐标，w为车道线宽，δw为宽度误差阈值，车道线中心坐标为((xn_r+xn_l)/2,yn)；否则，返回步骤a1；
i、采用三项式最小二乘法拟合车道线中心点坐标，包括：
①按照相邻选取原则，选取5组相邻待拟合车道线中心点坐标(xc1,yc1)、(xc2,yc2)、(xc3,yc3)、(xc4,yc4)、(xc5,yc5)为待拟合数据；
②拟合后曲线方程为：
③将待拟合数据代入下列方程，求出待求参数：
n＝5，为数据数量，(xi,yi)为待拟合数据；
j、计算车辆横向位置，车辆横向位置是指车辆中线与车道边界线夹角θ、车辆中心离左侧边界横向距离xdl，包括：
车辆位于第n车道，左侧车道线横坐标即第n条车道线横坐标xn,右侧车道线横坐标即第n+1条车道线横坐标xn+1，车辆中心离左侧边界横向距离xdl＝x0-xn，；x0为车辆像素近似点横坐标；本实施例中车辆位于第一车道，车辆中心近似横坐标x0＝236，xn＝48，xdl＝188。
计算车辆中线与车道边界线夹角θ，计算公式如式(ⅱ)所示：
cosθ＝h0/|xn+1-xn|(ⅱ)
式(ⅱ)中，h0＝h/λ，h为实际车道宽，λ为实际距离与图像距离比例系数。本实施例中θ＝13.5°。
车辆横向位置计算示意图如图8所示。
步骤c3，包括：
北斗接收机单点定位精度为1.5米，我国车道宽度为3.75米，接收机定位结果会产生1车道误差,无法确定车辆实际所处车道。
根据步骤c2确定车辆距离左车道线实际距离xdl＝xdl*λ，λ为实际距离与图像距离比例系数，xdl为步骤c2确定车辆中心离左侧边界横向距离，图像距离，单位为像素，xdl为车辆距离左车道线实际距离，单位为米，其距离误差主要源于车道线段中心点拟合误差，其误差为0.1米。
北斗接收机定位图像车辆坐标为(x0,y0)，其误差半径为r0，视觉定位车辆距离左车道线xdl，误差半径为r1；北斗接收机定位实际车辆坐标为(x0,y0)；
定位修正后图像车辆坐标为(x1,y1)，x1＝xn+xdl，y1＝y0；xn为图像第n条车道线横坐标，图像修正后误差半径为r1；
定位修正后实际车辆坐标为(x1,y1)，x1＝xn*λ+xdl，y1＝y0*λ。定位修正计算示意图如图9所示。
本实施例中北斗接收机定位车辆坐标(x0,y0)为(1.2，,5.3)，误差半径r0为1.5米。当前车道为第1车道，车辆距离左车道线实际距离xdl＝xdl*λ，λ＝0.0125，xdl＝2.4米即定位修正后车辆坐标(x1,y1)为(2.4，5.3)，其横向误差半径r1为0.1米，同时车身中轴线偏移角θ＝13.5°。
实施例5
根据实施例1所述的一种北斗视觉融合精准车道辨识与定位方法，其区别在于：
步骤d1，如图10所示，包括：
读取当前、左、右车道掩膜颜色为m0、m1、m2，若m0、m1、m2全为绿色，则车辆正常行驶；若当前车道掩膜m0为红色，蜂鸣器报警提醒车主；若左侧车道掩膜m1为红色，则读取车辆横向距离x，当横向距离x小于左阈值d1时预警；若右侧车道掩膜m2为红色，当横向x距离大于右阈值d2时报警，左阈值d1的取值范围为0.3m＜d1＜0.5m；右阈值d2的取值范围为3.2m＜d1＜3.4m。
步骤d2，包括：
当左侧车道或右侧车道为公交车道、潮汐车道且其掩膜为红色时，拍摄车辆照片，识别车牌号，将车辆照片、车牌号上传至交警平台；当右侧车道为应急车道且有车辆行驶时，通过相对位移测算其车速，若车速正常(即非故障)，拍照上传信息至交警平台，信息包括：车辆照片、车牌号、北斗定位修正结果、时间。
实施例6
实施例1-5任一所述北斗视觉融合精准车道辨识与定位方法的实现装置，如图2所示，包括图像采集模块、北斗接收机模块、车道检测模块、地图匹配模块、定位修正模块、监控预警模块；
图像采集模块用于拍摄前方道路图片并存储；车道检测模块用于车道检测；北斗接收机模块用于接受卫星数据，并将卫星数据解码得到定位信息；定位信息包括经纬度、时间；
地图匹配模块用于地图匹配；定位修正模块用于定位修正；监控预警模块用于监控预警。
图像采集模块包括图像采集设备、视频存储器sdram、可编程逻辑处理器fpga；图像采集设备拍摄图像后存入视频存储器sdram，可编程逻辑处理器fpga周期性取出图像进行预处理后送入车道检测模块。
图像采集设备为摄像头或行车记录仪。
北斗接收机模块包括射频前端处理器rfic、基带数字信号处理器asic、定位导航处理器fpga；射频前端处理器rfic通过天线接收所有可见北斗卫星信号，经过放大、混频下变、ad转换后输出离散数字中频信号给基带数字信号处理器asic；基带数字信号处理器asic将数字中频信号处理后得到载波和伪码信号，进而调制解调出测量值与导航电文，并发送给定位导航处理器fpga，定位导航处理器fpga对导航电文进行处理后得到定位结果，与地图匹配模块对比数据后送入视频存储器sdram存储。
车道检测模块包括图像处理器gpu与微处理器arm；图像处理器gpu将预处理后图像送入分割识别网络，提取图像特征图，得到识别后车道线与分割后车道，图像处理器gpu将识别处理后图片输入微处理器arm，微处理器arm提取车道级定位结果送入定位修正模块。
地图匹配模块包括离线地图存储器sdram、可编程逻辑处理器fpga、数据存储器sdram；
离线地图存储器sdram存储有电子地图道路网数据库，电子地图道路网数据库与接收机定位值进行几何匹配后，得到实际位置，结果存入数据存储器sdram。
定位修正模块包括显示屏与微处理器arm；微处理器arm接收图像处理器gpu输出信息，对信息进行处理得到车道级定位结果，并从数据存储器sdram中提取北斗定位结果进行修正，修正后结果显示在显示屏上。
监控预警模块包括4g路由器、蜂鸣器、微处理器arm；当车辆非法驶入公交车道、应急车道、潮汐车道时，微处理器arm启动蜂鸣器发出警报，当监测到有车辆非法占道行驶时，微处理器arm控制摄像机拍照，图像处理器gpu识别车牌照后将采集证据通过4g路由器上传。
- 还没有人留言评论。精彩留言会获得点赞！