基于ADAS和AR技术的全液晶仪表系统的制作方法

本发明涉及汽车辅助驾驶设备技术领域，尤其涉及一种基于adas和ar技术的全液晶仪表系统。

背景技术：

随着新能源车辆技术的发展，全尺寸屏幕显示导航地图和道路实景及adas（advanceddrivingassistantsystem，高级驾驶辅助系统）功能在汽车仪表端都是单独的显示模块，并无相关一体化显示的方案。尤其是指针式的仪表盘更无法满足现有新能源汽车发展的需要，进而在仪表界面布局和显示一直不能摆脱传统产品设计模式的框架，无法让驾驶者更好地体验到全面的车辆状态信息、路况信息，也不能给驾乘者以安全驾驶提醒，道路疏导及清晰的行驶方向指示。因而现有的汽车仪表无法提供给驾驶者准确而可靠的信息，仅靠人为的识别以及及时灵活的操作才能避免一些行车危险。

技术实现要素：

本发明的目的在于提供一种基于adas和ar技术的全液晶仪表系统，可应用于大型新能源车辆或具有强电磁干扰的车辆上，通过该系统可在汽车仪表中显示集车辆行驶周边车辆及路况、实时交通信息、交通标示指示、安全车距提示及具体实时路况信息提醒于一体的ar全景地图，并为驾驶者提供危险预警，引导及辅助驾驶者更准确、安全地驾驶车辆。

为了实现上述目的，本发明采用的技术方案为，一种基于adas和ar技术的全液晶仪表系统，包括全液晶仪表、adas信息采集系统、车载娱乐导航系统、bcm车身控制系统，adas信息采集系统、bcm车身控制系统均通过can总线连接车载娱乐导航系统的输入端，车载娱乐导航系统的输出端通过双路lvds信号线连接全液晶仪表，adas信息采集系统通过can总线连接全液晶仪表以实现信息同步，bcm车身控制系统通过can总线连接全液晶仪表以实现车辆状态信息显示。

作为本发明的一种改进，所述adas信息采集系统包括视距成像模块、第一can收发器，视距成像模块包括多个毫米波雷达和一个图像采集器，所有毫米波雷达通过第一can收发器连接车载娱乐导航系统和全液晶仪表，图像采集器通过cvbs信号线连接车载娱乐导航系统。

作为本发明的一种改进，所述车载娱乐导航系统包括soc模块、娱乐mcu、gps和北斗卫星定位模块、lvds编码器、视频编码器、第二can收发器，第二can收发器连接娱乐mcu的rx与tx端口，娱乐mcu通过spi总线连接soc模块，soc模块通过fpd-link传输总线连接lvds编码器和视频编码器，gps和北斗卫星定位模块连接soc模块的rx与tx端口，图像采集器通过cvbs信号线连接视频编码器，第一can收发器通过can总线连接第二can收发器。

作为本发明的一种改进，所述全液晶仪表包括仪表mcu、第三can收发器、lvds解码器、图像显示驱动器、液晶显示屏、控制按键，第三can收发器连接仪表mcu的rx与tx端口，仪表mcu通过spi总线连接图像显示驱动器，lvds解码器通过fpd-link传输总线连接图像显示驱动器，图像显示驱动器连接液晶显示屏，控制按键连接仪表mcu的i/o端口，第一can收发器连接通过can总线连接第三can收发器，lvds编码器通过双路lvds信号线连接lvds解码器。

作为本发明的一种改进，所述bcm车身控制系统包括bcm模块、peps模块、abs模块、ecu模块，bcm模块、peps模块、abs模块和ecu模块均通过can总线连接第二和第三can收发器。

作为本发明的一种改进，所述视距成像模块包括四个毫米波雷达，分别设置在车身的前后左右，图像采集器包括四个高清图像摄像头，分别设置在车身的前后左右。

作为本发明的一种改进，所述娱乐mcu和仪表mcu均采用rh850微处理器进行设计，soc模块采用j6-dra725处理器进行设计，图像显示驱动器采用imx6d工控板进行设计，第一至第三can收发器采用tja1042can收发器。

上述系统进行仪表ar全景地图显示的方法，利用adas信息采集系统的视距成像模块获取车身周边的实时全景图像和成像，发送至车载娱乐导航系统中由娱乐mcu和soc模块组成的数据分析模块，此数据分析模块接收到数据后，将采集和捕捉到的图像实物（障碍物/目标物）做预设的显示标记后，结合数据分析模块的融合算法，进行持续实时追踪，并同时将图像实物的位移信息与车辆行驶状态信息结合分析，对分析所得数据与gps和北斗导航数据/bcm数据进行算法融合，结合车辆当前行驶速度、图像中障碍物速度、目标物速度进行融合计算得出车辆与障碍物/目标物的相对距离，经过融合计算所得所有数据后，将数据发送给全液晶仪表，全液晶仪表融合实时全景图像和实车融合后的数据再进行ar实时全景图像融合，并且全液晶仪表再将实车状态信息再次与仪表mcu中的ar实时解析模块融合，最后在全液晶仪表的显示屏中显示ar图像，同时全液晶仪表给出相应的危险预警及提醒。

相对于现有技术，本发明的全液晶仪表系统整体结构设计巧妙，结构合理稳定，易于安装操作使用，汽车全液晶仪表系统中的adas信息采集系统对处于行驶过程中的车辆周围障碍物/目标物的相关数据进行采集，并将数据通过can总线提供给车载娱乐导航系统中与bcm车身控制系统所检测到的车辆实时状态信息进行进一步融合计算处理，最后将融合计算处理后的数据生成图像传送至全液晶仪表中进行ar全景地图显示，并在车辆处于危险警戒线时，全液晶仪表和车载娱乐导航系统中共同产生危险预警提示，以及时提醒驾驶者消除隐患和即将发生的危险，从而指导并辅助驾驶者更准确、安全地驾驶车辆。

附图说明

图1为本发明优选实施例的全液晶仪表系统的结构框图。

图2为本发明优选实施例的全液晶仪表系统的硬件架构示意图。

图3为本发明优选实施例的全液晶仪表系统的工作原理流程图。

具体实施方式

为了加深对本发明的理解和认识，下面结合附图对本发明作进一步描述和介绍。

如图1所示，为本发明优选实施例提供的一种基于adas和ar技术的全液晶仪表系统，包括全液晶仪表、adas信息采集系统、车载娱乐导航系统、bcm车身控制系统，adas信息采集系统、bcm车身控制系统均通过can总线连接车载娱乐导航系统的输入端，车载娱乐导航系统的输出端通过双路lvds信号线连接全液晶仪表，adas信息采集系统通过can总线连接全液晶仪表以实现信息同步，bcm车身控制系统通过can总线连接全液晶仪表以实现车辆状态信息显示。所述的全液晶仪表系统具有ar（augmentedreality，增强现实）功能，adas信息采集系统中的图像采集器对处于行驶过程中的车辆周围障碍物/目标物的相关数据进行采集，形成360°立体图像数据，并将数据通过can总线提供给车载娱乐导航系统中与bcm车身控制系统所检测到的车辆实时状态信息进行进一步融合计算处理，即进行参数标定、点云拼接及消除冗余等处理，并结合同步来的同一时间的图像数据及毫米波雷达测得的车辆数据（包括车辆当前的位置信息、方向、角度等）渲染出具有增强视觉效果的当前车辆的位置信息、方向、角度根据车辆图像传送至全液晶仪表中进行ar全景地图显示，并在车辆处于危险警戒线时，全液晶仪表和车载娱乐导航系统中共同产生危险预警提示，以及时提醒驾驶者消除隐患和即将发生的危险。

如图2所示，所述adas信息采集系统包括视距成像模块、第一can收发器，视距成像模块包括多个毫米波雷达和一个图像采集器，所有毫米波雷达通过第一can收发器连接车载娱乐导航系统和全液晶仪表，图像采集器通过cvbs信号线连接车载娱乐导航系统。具体的，所述视距成像模块包括四个毫米波雷达，分别设置在车身的前后左右，图像采集器包括四个高清图像摄像头，分别设置在车身的前后左右。通过视距成像模块实时获取车身周边的包括车道路况、车道标线、前方车辆、路标、交通识别标识牌、车身周边行人、车身周边障碍物等在内的全景图像和雷达图像（包含夜视图像），并通过第一can收发器对获取的图像数据进行传输。

所述车载娱乐导航系统包括soc模块、娱乐mcu、gps和北斗卫星定位模块、lvds编码器、视频编码器、第二can收发器，娱乐mcu主要负责车载娱乐导航系统的电源开启与关闭、控制和切换can芯片、lvds芯片及soc模块之间的启动与关闭功能，第二can收发器连接娱乐mcu的rx与tx端口，娱乐mcu通过spi总线连接soc模块，soc模块通过fpd-link传输总线连接lvds编码器和视频编码器，gps和北斗卫星定位模块连接soc模块的rx与tx端口，图像采集器通过cvbs信号线连接视频编码器，第一can收发器通过can总线连接第二can收发器，通过第二can收发器接收来自第一can收发器传输来的图像数据，并传输至娱乐mcu进行预处理后送入soc模块，同时soc模块接收gps和北斗卫星定位模块传输过来的虚拟的导航地图路线图数据、由视频编码器处理后的车身周边实况视频数据以及由bcm车身控制系统传输过来的实时车辆状态信息数据，soc模块将所接收到的四部分数据进行数据融合处理后生成虚拟的导航地图路线指引模型叠加到真实的道路上，以实现adas的功能，并通过lvds编码器处理后形成lvds信号数据通过lvds信号线传输至全液晶仪表中。

所述全液晶仪表包括仪表mcu、第三can收发器、lvds解码器、图像显示驱动器、液晶显示屏、控制按键，第三can收发器连接仪表mcu的rx与tx端口，仪表mcu通过spi总线连接图像显示驱动器，lvds解码器通过fpd-link传输总线连接图像显示驱动器，图像显示驱动器连接液晶显示屏，控制按键连接仪表mcu的i/o端口，第一can收发器连接通过can总线连接第三can收发器，lvds编码器通过双路lvds信号线连接lvds解码器。lvds解码器接收到数据后传送至图像显示驱动器中一方面驱动显示屏进行ar全景地图显示，另一方面送入仪表mcu中进行数据时钟同步处理，同时仪表mcu还接收来自控制按键输入的相关信息，并将信息进行处理后通过图像显示驱动器送入显示屏中进行显示。

所述bcm车身控制系统包括bcm（车身控制器）模块、peps（无钥匙进入及无钥匙启动系统）模块、abs（防抱死制动系统）模块、ecu（电子控制单元/行车电脑）模块，bcm模块、peps模块、abs模块和ecu模块均通过can总线连接第二和第三can收发器。bcm车身控制系统将车辆的所有状态信息（包括车速状态、车灯状态、发动机状态、车门状态、胎压状态、天窗状态、后备箱状态等）通过can总线传送给车载娱乐导航系统和全液晶仪表中进行处理和显示。

所述娱乐mcu和仪表mcu均采用rh850微处理器进行设计，rh850微处理器采用双核rh850g3处理器，cpu主频最大120mhz，支持存储器保护单元，支持双精度浮点单元（fpu），支持存储器保护单元（mpu），支持内部外围设备保护（ipg），支持处理器元件保护（peg），具有低功耗、高处理能力和多种外设功能等优点。soc模块采用j6-dra725处理器进行设计，j6-dra725信息娱乐应用处理器可满足现代信息娱乐汽车体验的密集处理需求，向上可扩展至dra74x器件，其在信息娱乐、仪表、adas等应用上都具有对应的软件框架和sdk，支持1920*7203dqnx图形数字仪表以及1920*1080全尺寸高清安卓信息娱乐系统，通过操作系统层面的隔离实现互不干扰。具有超高集成度，通过dsp，可作为3d环视硬件加速器，可以在不影响信息娱乐、仪表显示和交互应用的前提下，实现额外的环视显示。还可实现ar技术，通过对摄像头对实景的采集、识别，并把行车辅助信息叠加到实景应用上。还集成了isp，可以节约掉传统isp芯片，降低整个系统bom。图像显示驱动器采用imx6d工控板进行设计，第一至第三can收发器采用tja1042can收发器，该收发器专门设计用于汽车行业的高速can应用，可以为(微控制器中的)can协议控制器提供发送和接收差分信号的功能，低电磁辐射(eme)和高电磁干扰耐受能力(emi)，具有极低电流待机模式，并具有主机和总线唤醒功能。

如图3所示，上述系统进行仪表ar全景地图显示的方法，利用adas信息采集系统的视距成像模块获取车身周边的实时全景图像和毫米波雷达成像，发送至车载娱乐导航系统中由娱乐mcu和soc模块组成的数据分析模块，数据分析模块接收到数据后，将采集和捕捉到的图像实物（障碍物/目标物）做预设的显示标记后，结合数据分析模块的融合算法进行持续实时追踪，同时将图像实物的位移信息与车辆行驶状态信息结合分析，对分析所得数据与gps和北斗导航数据/bcm数据进行算法融合，结合车辆当前行驶速度、图像中障碍物速度、目标物速度进行融合计算得出车辆与障碍物/目标物的相对距离，经过融合计算所得所有数据，并将数据发送给全液晶仪表，全液晶仪表融合实时全景图像和实车融合后的数据再进行ar实时全景图像融合，并且全液晶仪表再将实车状态信息再次与仪表mcu中的ar实时解析模块融合，最后在全液晶仪表的显示屏中显示ar图像，同时全液晶仪表给出相应的危险预警及提醒。

本系统是将通过adas信息采集系统的视距成像模块采集实时道路信息，并将该实景图像结合到传统地图导航中，通过场景算法与实时实地交通信息进行融合计算，生成虚拟的导航地图路线图指引模型叠加到真实的道路上，以指导驾驶者更准确、更安全、更直观地驾驶车辆，并在当车辆处于危险警戒线时，及时提醒驾驶者消除隐患和即将发生的危险。

本系统是将adas中的车道偏离系统（ldw）、自动紧急制动系统（aeb）、前车碰撞报警系统（fcw）、自适应巡航功能（acc）、交通堵塞辅助（tja）以及车载娱乐导航系统的全屏导航功能通过lvds通信和can通信进行数据综合运算处理，从而为车辆提供稳定直观、清晰全面且安全的ar显示。其中，车道偏离系统是通过视距成像模块采集车辆实时行驶的道路路径上的车道标线图像，经过soc模块进行图像处理和虚拟导航地图道路标线比对，并在当车头方向或车身有压线等偏离时，或有偏离的趋势时，通过全液晶仪表发出结合ar和adas技术的图像提醒，并显示车辆偏离车道图像，在可能会遇到危险时，全液晶仪表上发出预警提示信号，同时在车载娱乐导航系统中也会发出相应的预警提示音。

自动紧急制动系统是通过视距成像模块采集行车前方车辆或行人的交通状态信息，在当出现紧急情况或通过soc模块数据融合计算出即将有紧急情况发生趋势时，全液晶仪表通过快速融合计算结合soc模块发出紧急信号给紧急制动控制器，进行车辆紧急制动，同时全液晶仪表上会显示图像，并结合实景交通状态发出最高安全措施信号给bcm车身控制系统，bcm车身控制系统收到并确认信号后，发出紧急制动命令，驱动制动系统，进行紧急制动。在当全液晶仪表接收到soc模块发出的最高安全信号时，结合图像采集的实地实况信息进行数据融合计算后显示出可能产生或已经产生的危险目标。

前车碰撞报警系统是通过视距成像模块采集实车前方车辆和行人及路况，在紧急转弯时结合高精度导航信息和实车行驶速度等数据进行融合计算，在当出现前方车辆或行人的安全距离不满足要求并当有碰撞可能距离时，全液晶仪表中发出碰撞预警，并结合实车实时状态数据（如行驶速度、gps和北斗定位经纬度、路面实况、前后左右其他车辆或行人的行驶速度和距离等）进行融合计算处理后由全液晶仪表显示实车碰撞预警图像，并发出预警提示音。

自适应巡航功能是通过视距成像模块采集车辆行驶车道状态路况信息、前车道路和辅道行车状态信息，结合bcm车身控制系统提供的实车实时行驶速度进行融合计算处理后在全液晶仪表上实时显示实车与目标车辆（具体是实车正前方的所有车辆）的距离，并实时调整行车速度，以保持行车速度和与目标车辆间的安全距离。具体的速度调整逻辑包括：1）全液晶仪表在实时显示实车行车速度以及与目标车辆的距离图像的同时，也会实时提供危险预警图像，同时由车载娱乐导航系统发出提示音进行预警，驾驶者在收到全液晶仪表的提示图像和车载娱乐导航系统的预警提示音时，人为进行车速调整；2）在当soc模块预警可能有危险驾驶的趋势或已经处于危险驾驶状态时，产生相应的减速指令给bcm车身控制系统以进行强制减速。

交通堵塞辅助是通过车载娱乐导航系统提供的gps和北斗导航数据在全液晶仪表中提供城市高峰期路况、紧急道路疏导信息（如前方道路有拥堵，前方道路有紧急修路，或有道路紧急事故处理封路时段等）及城市坑洼道路实况信息等进行预警提示，以辅助驾驶者提前规划最优的行车路线。

本发明所提出的汽车ar仪表系统通过全液晶仪表和车载娱乐导航系统中的ar技术及嵌入式adas互联技术通过巧妙的算法融合，并在全液晶仪表中将融合后的ar全景图像展示出来，给驾驶者提供更加直观、清晰、准确且安全的车道状况、交通标示指示、安全车距提示及具体且精准的实时路况信息提醒，省时且省力，以指导并辅助驾驶者更加准确安全地驾驶车辆，并在当车辆处于危险警戒线时，及时提醒驾驶者消除隐患和即将发生的危险，从而避免严重的危险驾驶。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。