一种基于全息投影与AR结合的汽车辅助驾驶系统的制作方法

本发明涉及全息投影和ar领域，尤其涉及一种基于全息投影与ar结合的汽车辅助驾驶系统。
背景技术：
：随着我国经济发展，汽车越来越多的汽车进入寻常百姓家，为公路运营带来了一定的压力。车辆的虚拟仪表将车辆的工作状态展现给驾驶人员，是驾驶人员与车辆进行信息交流的重要接口和界面，是车辆安全行驶的重要保障。同时行车辅助驾驶系统为驾驶人员提供车辆以外的环境信息，为驾驶人员提供更高的预见能力。驾驶人员在驾驶汽车的过程中，常常因驾驶车头限制视线导致车轮压标志线行驶，占用其他车道，影响了其他车辆的正常行驶，极易造成车辆刮擦事故。此外，公路上画出的边缘线主要用于为驾驶员提供路边缘参考线，防止驾驶员因不能够准确识别出道路边缘而发生侧翻、碰撞等交通事故。现有技术中，主要采用车载显示屏显示摄像头采集到的道路图像信息，用于为驾驶员提供道路标志线信息，该方法给驾驶员的视觉感知较差，且需要驾驶员低头查看显示屏，容易分散驾驶员的注意力，尤其是在高速公路上行驶时，视线短暂的转移都将可能造成交通安全事故。技术实现要素：为了解决上述问题，本发明的目的在于提供一种基于全息投影与ar结合的汽车辅助驾驶系统，采用全息投影技术和ar技术相结合的方式将虚像与实像结合起来辅助驾驶员行驶，将当前车辆与附近车辆间距信息标记在实像上，并在实像上画出道路标志线，增强驾驶员的视觉感知，使驾驶员更加准确的得知当前车辆所处环境。ar为增强现实技术，可用于辅助驾驶员驾驶车辆，将驾驶员所需要得知的路况信息凸显在驾驶员视线前方，增强驾驶员的视觉感知能力，大大提高了驾驶员驾驶车辆的警觉性。为了实现上述目的，本发明提供的一种基于全息投影与ar结合的汽车辅助驾驶系统是这样实现的：一种基于全息投影与ar结合的汽车辅助驾驶系统，包括语音报警器、控制电路板、投影仪、透明全息膜、摄像头、激光发射器、扩束镜、k波段雷达，在汽车顶盖上安装三个相同的摄像头，分别采集汽车前、左、右三个方位的道路图像信息，摄像头与控制电路板连接在一起，摄像头将采集到的图像信息传输给控制电路板，由控制电路板对三个摄像头采集到的图像信息进行融合，将汽车前、左、右三个方位的道路图像信息显示在一张图片上，采用三个k波段雷达检测汽车距前车距离、左车距离、右车距离，检测前车距离的k波段雷达安装在汽车前面品牌标志下方，检测左车距离的k波段雷达安装在汽车左前门防擦条上，检测右车距离的k波段雷达安装在汽车右前门防擦条上，语音报警器、控制电路板、投影仪安装在汽车上面杂物箱中，透明全息膜贴附在前风挡玻璃内侧，激光发射器安装在室内镜上方，用于向透明全息膜发射激光束，激光发射器镜头上安装扩束镜，用于对激光发射器发出的激光束进行扩束后照射到透明全息膜上，控制电路板控制投影仪将处理后的图像信息投射到透明全息膜上，投影仪投射出的图像光线和激光发射器发出的激光束在透明全息膜上产生干涉反应，将摄像头采集到的图像再现出来，驾驶员透过透明全息膜即可查看到汽车当前的路况信息，k波段雷达将采集到的车间距信息传输给控制电路板，由控制电路板在融合后的图像上标记出汽车与前车、左车、右车的距离信息，并在图像上标记道路标志线，并将道路标志线标志成白色或者蓝色图案，增加驾驶员的视觉感知，当识别到车间距低于预设值时或者汽车超出标志线时，控制电路板控制语音报警器为驾驶员提供报警信息。本发明辅助驾驶员驾驶汽车的方案在于：开启本系统后，控制电路板先自我进行初始化处理，控制器电路板控制激光发射器向透明全息膜上发射激光束，车顶上的三个摄像头将采集到的信息传输给控制电路板进行图像处理，并识别出道路标志线的位置，并将标志线标记在图像上，三个k波段雷达将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板，完成车距的采集，控制电路板在图像上标记出车距信息，这样即将虚拟图像和真实图像叠加在一起，其中摄像头采集到的道路图像信息为实像，标记在图像上的车距信息和凸显的道路标志信息为虚像，通过虚像叠加在实像上来增强现实空间的感知，达到增强驾驶员的视觉感知的目的，使驾驶员更加准确的得知当前车辆所处环境，当三个k波段雷达中的其中一个检测到车距低于预设值时，控制电路板将图像是标记的对应车距信息显示成红色，并控制语音报警器向驾驶员发出报警信息，提醒驾驶员注意车距，当驾驶员调节车距后，控制电路板控制语音报警器解除报警，并将图像上的车距显示为白色或者蓝色图案信息；当控制电路板识别到车辆超出道路标志线时，控制电路板控制语音报警器发出偏移的信息，并将图像上标记出的道路标志线显示为红色，提醒司机超出了道路标志线的信息，当驾驶员将车辆控制到道路标志线内时，控制电路板控制语音报警器解除报警，并将图像上标记出的道路标志线显示为白色或者蓝色图案。本发明的控制电路板对三个摄像头采集到的图像信息进行图像融合后，再进行图像识别，具体步骤如下：(1)图像预处理阶段：三个摄像头采集到的图像信息传输给控制电路板，由于采集到的图像含有大量干扰信息，这些干扰信息会影响车道线的检测，且三个摄像头采集到的图像信息有重叠的地方，需要将这三张图像融合到一张图上，便于处理，所以需要对图像进行灰度化、图像融合、平滑滤波、图像增强、边缘检测及二值化处理；在图像灰度化后利用了小波图像融合算法将三个摄像头采集到的图像进行融合，使它们成为一张图，再采用垂直灰度均值分布的方法选取分割线去除了图像天空部分；针对光照强弱的情况分别对图像进行了拉伸和均衡处理，提高图像的对比度；选取canny算子对图像进行边缘检测；根据图像底部中间是道路的前提下利用其灰度特征优化阂值的选取来实现图像的二值化，增强道路线与道路的对比度；(2)道路标志线边缘检测阶段：针对二值化后边缘图像依然含有大量噪声边缘的问题，再利用车道线在图像中成一定角度的特点进行边缘筛选，将图像平均划分成若干子区域，选取子区域中边缘线角度异常的线加以排除，再利用形态学处理算法对去噪后的图像加以补偿，利用分块的思想，对每个子区域判断边缘线方向，去除异常方向的子区域，最后利用加权的最小二乘法求取消失线；(3)车道线检测和跟踪：对已有的车道线模型匹配方法进行改进，针对直线模型，利用改进的hough变换和改进的概率hough变换进行车道线的识别，在传统hough变换下建立极角约束区域限制边缘点搜索区域，避免了车道外部边缘的干扰，而在利用概率hough变换时设置了累加阂值和车道线长度闭值这两个阂值以提高实时性，改进后的hough变换和概率hough变换加快了识别的速度，且大大提高了识别的准确率；针对弯道建立了抛物线模型，分别采用改进的ransac算法结合最小二乘法还有lmedsquare算法进行拟合，限制ransac的随机取点，删除己经用过的特征点，加快识别速度，实验显示，在检测一些道路时依然会出现较多错误；针对直线一抛物线模型，采用二分图像模型分界线的提取方法，利用车道弯曲时斜率发生改变的现象，基于子区域边缘方向，寻找最大区分度的方式来获取分界线，接着采用最小二乘法来拟合模型；利用kalman滤波来跟踪道路图像，利用前一帧获取的车道线预测下一帧车道线的范围。由于本发明采用全息投影技术和ar技术相结合的方式将虚像与实像结合起来辅助驾驶员行驶，的结构，从而可以得到以下有益效果：本发明采用摄像头采集汽车前、左、右三个方向的路况图像信息，并将采集到的图像信息传输给控制电路板进行融合、识别处理，在实像上画出道路标志线，增强驾驶员的视觉感知，并利用k波段雷达将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板，控制电路板在图像上标记出车距信息，这样即将虚拟图像和真实图像叠加在一起，其中摄像头采集到的道路图像信息为实像，标记在图像上的车距信息和凸显的道路标志信息为虚像，当汽车与其他车辆车距低于预设值时向驾驶员提供视觉和听觉上的报警信息，防止司机麻痹大意与其他车辆发生剐蹭等交通事故，当控制电路板识别到车辆超出道路标志线时，控制电路板控制语音报警器发出偏移的信息，并将图像上标记出的道路标志线显示为红色，提醒司机超出了道路标志线的信息，同样在视觉和听觉上提醒司机谨慎驾驶。由于透明全息膜贴附在前风挡玻璃内侧，即虚拟现实图像展示在前风挡玻璃上，无需驾驶员低头查看显示屏，提升安全性。附图说明图1为本发明一种基于全息投影与ar结合的汽车辅助驾驶系统的车内安装结构示意图；图2为本发明一种基于全息投影与ar结合的汽车辅助驾驶系统的车外安装结构示意图；图3为本发明一种基于全息投影与ar结合的汽车辅助驾驶系统的辅助驾驶员驾驶汽车的方案流程图；图4为本发明一种基于全息投影与ar结合的汽车辅助驾驶系统的图像融合及识别的流程图；图5为本发明一种基于全息投影与ar结合的汽车辅助驾驶系统的工作原理图。主要元件符号说明。语音报警器1控制电路板2投影仪3透明全息膜4摄像头5激光发射器6扩束镜7k波段雷达8具体实施方式下面结合实施例并对照附图对本发明作进一步详细说明。请参阅图1至图5所示为本发明中的一种基于全息投影与ar结合的汽车辅助驾驶系统，包括语音报警器1、控制电路板2、投影仪3、透明全息膜4、摄像头5、激光发射器6、扩束镜7、k波段雷达8。如图1和图2所示，所述的摄像头5安装在车顶上，且在汽车顶盖上安装三个相同的摄像头5，分别采集汽车前、左、右三个方位的道路图像信息，摄像头5与控制电路板2连接在一起，摄像头5将采集到的图像信息传输给控制电路板2，由控制电路板2对三个摄像头5采集到的图像信息进行融合，将汽车前、左、右三个方位的道路图像信息显示在一张图片上，采用三个k波段雷达8检测汽车距前车距离、左车距离、右车距离，检测前车距离的k波段雷达8安装在汽车前面品牌标志下方，检测左车距离的k波段雷达8安装在汽车左前门防擦条上，检测右车距离的k波段雷达8安装在汽车右前门防擦条上，语音报警器1、控制电路板2、投影仪3安装在汽车上面杂物箱中，透明全息膜4贴附在前风挡玻璃内侧，激光发射器6安装在室内镜上方，用于向透明全息膜4发射激光束，激光发射器6镜头上安装扩束镜7，用于对激光发射器6发出的激光束进行扩束后照射到透明全息膜4上，控制电路板2控制投影仪3将处理后的图像信息投射到透明全息膜4上，投影仪3投射出的图像光线和激光发射器6发出的激光束在透明全息膜4上产生干涉反应，将摄像头5采集到的图像再现出来，驾驶员透过透明全息膜4即可查看到汽车当前的路况信息，k波段雷达8将采集到的车间距信息传输给控制电路板2，由控制电路板2在融合后的图像上标记出汽车与前车、左车、右车的距离信息，并在图像上标记道路标志线，并将道路标志线标志成白色或者蓝色图案，增加驾驶员的视觉感知，当识别到车间距低于预设值时或者汽车超出标志线时，控制电路板2控制语音报警器1为驾驶员提供报警信息。语音报警器1、投影仪3、摄像头5、激光发射器6、k波段雷达8均与控制电路板2连接，摄像头5向下倾斜安装，便于采集到路面的图像信息，语音报警器1提醒驾驶员车距过低信息以及车轮车辆占道信息，为驾驶员提供视觉和听觉上的结合，提高驾驶员对路况的认知能力，减少交通事故。所述的摄像头5采用高清摄像头5，可以清晰的拍摄出道路的图像信息。如图3所示，所述的辅助驾驶员驾驶汽车的方案在于：开启本系统后，控制电路板2先自我进行初始化处理，控制器电路板控制激光发射器6向透明全息膜4上发射激光束，车顶上的三个摄像头5将采集到的信息传输给控制电路板2进行图像处理，并识别出道路标志线的位置，并将标志线标记在图像上，三个k波段雷达8将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板2，完成车距的采集，控制电路板2在图像上标记出车距信息，这样即将虚拟图像和真实图像叠加在一起，其中摄像头5采集到的道路图像信息为实像，标记在图像上的车距信息和凸显的道路标志信息为虚像，当三个k波段雷达8中的其中一个检测到车距低于预设值时，控制电路板2将图像是标记的对应车距信息显示成红色，并控制语音报警器1向驾驶员发出报警信息，提醒驾驶员注意车距，当驾驶员调节车距后，控制电路板2控制语音报警器1解除报警，并将图像上的车距显示为白色或者蓝色图案信息；当控制电路板2识别到车辆超出道路标志线时，控制电路板2控制语音报警器1发出偏移的信息，并将图像上标记出的道路标志线显示为红色，提醒司机超出了道路标志线的信息，当驾驶员将车辆控制到道路标志线内时，控制电路板2控制语音报警器1解除报警，并将图像上标记出的道路标志线显示为白色或者蓝色图案。在视觉和听觉上给驾驶员提供汽车的路况信息，使驾驶员更加准确的得知当前车辆所处环境，防止司机因不能够准确得知与前、左、右方向的车距信息而发生剐蹭事故，也能防止司机因不知道车辆超过道路标志线而影响其他车辆行驶的情况，驾驶员无需频繁低头即可查看汽车当前的路况信息。本发明的控制电路板2还可以与汽车中控台连接，将汽车的车速、油量、水温等重要参数信息作为虚拟图像叠加到采集到的的真实图像上，便于司机在不低头的情况下能够查看到汽车的运行参数信息。本发明的控制电路板2采用fpga控制板，能对采集到的图像进行快速处理。如图4所示，所述的控制电路板2对三个摄像头5采集到的图像信息进行图像融合后，再进行图像识别，具体步骤如下：(1)图像预处理阶段：三个摄像头5采集到的图像信息传输给控制电路板2，由于采集到的图像含有大量干扰信息，这些干扰信息会影响车道线的检测，且三个摄像头5采集到的图像信息有重叠的地方，需要将这三张图像融合到一张图上，便于处理，所以需要对图像进行灰度化、图像融合、平滑滤波、图像增强、边缘检测及二值化处理；在图像灰度化后利用了小波图像融合算法将三个摄像头5采集到的图像进行融合，使它们成为一张图，再采用垂直灰度均值分布的方法选取分割线去除了图像天空部分；针对光照强弱的情况分别对图像进行了拉伸和均衡处理，提高图像的对比度；选取canny算子对图像进行边缘检测；根据图像底部中间是道路的前提下利用其灰度特征优化阂值的选取来实现图像的二值化，增强道路线与道路的对比度；(2)道路标志线边缘检测阶段：针对二值化后边缘图像依然含有大量噪声边缘的问题，再利用车道线在图像中成一定角度的特点进行边缘筛选，将图像平均划分成若干子区域，选取子区域中边缘线角度异常的线加以排除，再利用形态学处理算法对去噪后的图像加以补偿，利用分块技术，对每个子区域判断边缘线方向，去除异常方向的子区域，最后利用加权的最小二乘法求取消失线；(3)车道线检测和跟踪：对已有的车道线模型匹配方法进行改进，针对直线模型，利用改进的hough变换和改进的概率hough变换进行车道线的识别，改进的hough变换为在传统hough变换下建立极角约束区域限制边缘点搜索区域，避免了车道外部边缘的干扰，改进的概率hough变换为在利用概率hough变换时设置了累加阂值和车道线长度闭值这两个阂值以提高实时性，改进后的hough变换和概率hough变换加快了识别的速度，且大大提高了识别的准确率；针对弯道建立了抛物线模型，分别采用改进的ransac算法结合最小二乘法还有lmedsquare算法进行拟合，限制ransac的随机取点，删除己经用过的特征点，加快识别速度，实验显示，在检测一些道路时依然会出现较多错误；针对直线一抛物线模型，采用二分图像模型分界线的提取方法，利用车道弯曲时斜率发生改变的现象，基于子区域边缘方向，寻找最大区分度的方式来获取分界线，接着采用最小二乘法来拟合模型；利用kalman滤波来跟踪道路图像，利用前一帧获取的车道线预测下一帧车道线的范围。由于本发明采用全息投影技术和ar技术相结合的方式将虚像与实像结合起来辅助驾驶员行驶，从而可以得到以下有益效果：本发明采用摄像头5采集汽车前、左、右三个方向的路况图像信息，并将采集到的图像信息传输给控制电路板2进行融合、识别处理，在实像上画出道路标志线，增强驾驶员的视觉感知，并利用k波段雷达8将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板2，控制电路板2在图像上标记出车距信息，这样即将虚拟图像和真实图像叠加在一起，其中摄像头5采集到的道路图像信息为实像，标记在图像上的车距信息和凸显的道路标志信息为虚像，当汽车与其他车辆车距低于预设值时向驾驶员提供视觉和听觉上的报警信息，防止司机麻痹大意与其他车辆发生剐蹭等交通事故，当控制电路板2识别到车辆超出道路标志线时，控制电路板2控制语音报警器1发出偏移的信息，并将图像上标记出的道路标志线显示为红色，提醒司机超出了道路标志线的信息，同样在视觉和听觉上提醒司机谨慎驾驶。由于透明全息膜贴附在前风挡玻璃内侧，即虚拟现实图像展示在前风挡玻璃上，无需驾驶员低头查看显示屏，提升安全性。具体实施时，虚拟现实图像显示在不影响驾驶员视线的位置，例如前风挡玻璃的偏下方位置。本发明的工作原理与工作过程如下：如图5所示，控制器电路板控制激光发射器6向透明全息膜4上发射激光束，车顶上的三个摄像头5将采集到的信息传输给控制电路板2进行图像处理，并识别出道路标志线的位置，并将标志线标记在图像上，三个k波段雷达8将采集到汽车距离前车、左车、右车的车距信息传输给控制电路板2，完成车距的采集，控制电路板2在图像上标记出车距信息，这样即将虚拟图像和真实图像叠加在一起，其中摄像头5采集到的道路图像信息为实像，标记在图像上的车距信息和凸显的道路标志信息为虚像，由控制电路板2控制投影仪3将控制电路板2中叠加的虚实图像投射到透明全息膜4上，投影仪3投射出的图像光线和激光发射器6发出的激光束在透明全息膜4上产生干涉反应，将摄像头5采集到的图像再现出来，当三个k波段雷达8中的其中一个检测到车距低于预设值时，控制电路板2将图像是标记的对应车距信息显示成红色，并控制语音报警器1向驾驶员发出报警信息，提醒驾驶员注意车距，当驾驶员调节车距后，控制电路板2控制语音报警器1解除报警，并将图像上的车距显示为白色或者蓝色图案信息；当控制电路板2识别到车辆超出道路标志线时，控制电路板2控制语音报警器1发出偏移的信息，并将图像上标记出的道路标志线显示为红色，提醒司机超出了道路标志线的信息，当驾驶员将车辆控制到道路标志线内时，控制电路板2控制语音报警器1解除报警，并将图像上标记出的道路标志线显示为白色或者蓝色图案。当前第1页12