基于摄像头与雷达融合的定位装置及其工作方法与流程

本发明涉及定位装置，更具体地说是指基于摄像头与雷达融合的定位装置及其工作方法。

背景技术：

自动驾驶汽车(autonomousvehicles；self-pilotingautomobile)又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人，是一种通过电脑系统实现无人驾驶的智能汽车。在20世纪已有数十年的历史，21世纪初呈现出接近实用化的趋势。自动驾驶汽车依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让电脑可以在没有任何人类主动的操作下，自动安全地操作机动车辆。

高精度定位是自动驾驶车辆正常工作必须优先解决的问题，目前已有的高精度定位技术主要有两种，一是基于激光雷达等亚米级定位模组与高精度地图的技术；二是基于差分gps定位。基于激光雷达的技术首先需要利用亚米级定位模组进行卫星定位，使用激光雷达对车辆周边环境进行实时建模，并将建模结果与高精度地图进行匹配，从而实现高精度定位，基于差分gps定位的技术，其卫星定位精度能达到10cm以内，可直接实现高精度定位。

但是，这些定位方式的成本较高，且这些定位方式并不能基于车载环境做适配，导致存在较多局限性，不适用于自动驾驶车辆的量产使用。

因此，有必要设计一种新的定位装置，实现结合车载环境进行精准定位，成本低。

技术实现要素：

本发明的目的在于克服现有技术的缺陷，提供基于摄像头与雷达融合的定位装置及其工作方法。

为实现上述目的，本发明采用以下技术方案：基于摄像头与雷达融合的定位装置，包括摄像头、视频处理单元、雷达单元以及主控单元；所述摄像头，用于获取车载环境的视频；所述视频处理单元，用于对视频进行解码处理；所述雷达单元，用于获取车辆的雷达信号以及can信号；所述主控单元，用于接收视频处理单元输入的解码处理后的视频、雷达信号以及can信号，对视频、雷达信号以及can信号进行融合处理，以得到车辆的定位信号。

其进一步技术方案为：所述装置还包括编码单元，所述编码单元，用于将定位信号进行编码处理后，传输至终端。

其进一步技术方案为：所述主控单元的型号为csrs3662a01-ibbo-r。

其进一步技术方案为：所述雷达单元包括雷达传感器、处理芯片u2、串口芯片u3以及can芯片u5；所述雷达传感器，用于获取雷达信号；所述can芯片u5，用于接收雷达信号以及can信号；所述处理芯片u2，用于将雷达信号以及can信号进行集成处理；所述串口芯片u3，用于将集成处理后的雷达信号以及can信号传输至主控单元。

其进一步技术方案为：所述处理芯片u2的端脚还连接有切换子单元；所述切换子单元，用于输入模式切换信号至处理芯片u2，以使处理芯片u2从休眠模式进入工作模式。

其进一步技术方案为：所述切换子单元包括三极管q1、q2，所述三极管q1的集电极与所述三极管q2的基极连接，所述三极管q2的发射极与所述处理芯片u2连接。

其进一步技术方案为：所述装置还包括供电单元，所述供电单元包括电源、抗干扰子单元、电压转换子单元，所述电源与所述抗干扰子单元连接，所述抗干扰子单元与所述电压转换子单元连接，所述电压转换子单元分别与所述摄像头、视频处理单元、雷达单元、编码单元以及主控单元连接；所述处理芯片u2的端脚连接着电源检测子单元，所述电源检测子单元与所述抗干扰子单元连接。

其进一步技术方案为：所述编码单元包括编码器u18，所述编码器u18的型号为ch7026b-tf1。

其进一步技术方案为：所述视频处理单元包括解码器，所述解码器的型号为tvp5158ipnpq1。

本发明还提供了基于摄像头与雷达融合的定位装置的工作方法，所述方法包括：

摄像头获取车载环境的视频；

视频处理单元对视频进行解码处理；

雷达单元获取车辆的雷达信号以及can信号；

主控单元接收视频处理单元输入的解码处理后的视频、雷达信号以及can信号，对视频、雷达信号以及can信号进行融合处理，以得到车辆的定位信号。

本发明与现有技术相比的有益效果是：本发明通过结合雷达信号、can信号以及摄像头获取的车载环境视频，视频经过视频处理单元解码处理后，传输至主控芯片，主控单元对视频、雷达信号、can信号进行融合和分析，得到高精准度的定位信号，并由编码单元处理后在终端显示，实现结合车载环境进行精准定位，成本低。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具体实施例提供的基于摄像头与雷达融合的定位装置的示意性框图；

图2为本发明具体实施例提供的处理芯片u2的具体电路原理图；

图3为本发明具体实施例提供的串口芯片u3的具体电路原理图；

图4为本发明具体实施例提供的can芯片u5的具体电路原理图；

图5为本发明具体实施例提供的模式切换子单元的具体电路原理图；

图6为本发明具体实施例提供的使能子单元的具体电路原理图(包括预留子单元)；

图7为本发明具体实施例提供的主控芯片u6a、u6h的具体电路原理图；

图8为本发明具体实施例提供的主控芯片u6d、u6f的具体电路原理图；

图9为本发明具体实施例提供的usb子单元的具体电路原理图；

图10为本发明具体实施例提供的解码器u14b的具体电路原理图；

图11为本发明具体实施例提供的解码器u14a、主控芯片u6c的具体电路原理图；

图12为本发明具体实施例提供的主控芯片u6e、编码器u18的具体电路原理图；

图13为本发明具体实施例提供的存储器u20、主控芯片u6g的具体电路原理图；

图14为本发明具体实施例提供的内存器u23、主控芯片u6b的具体电路原理图；

图15为本发明具体实施例提供的抗干扰子单元的具体电路原理图；

图16为本发明具体实施例提供的第一转换模块的具体电路原理图；

图17为本发明具体实施例提供的第二转换模块的具体电路原理图；

图18为本发明具体实施例提供的第三转换模块的具体电路原理图；

图19为本发明具体实施例提供的第四转换模块的具体电路原理图；

图20为本发明具体实施例提供的第五转换模块的具体电路原理图；

图21为本发明具体实施例提供的第六转换模块的具体电路原理图；

图22为本发明具体实施例提供的第七转换模块的具体电路原理图；

图23为本发明具体实施例提供的摄像头的具体电路原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如图1～23所示的具体实施例，本实施例提供的基于摄像头与雷达融合的定位装置，可以运用于无人驾驶汽车内，实现结合车载环境进行精准定位，成本低。

请参阅图1，图1为本发明具体实施例提供的基于摄像头与雷达融合的定位装置的示意性框图；如图1所示，该基于摄像头与雷达融合的定位装置，包括摄像头10、视频处理单元20、雷达单元30以及主控单元40；摄像头10，用于获取车载环境的视频；视频处理单元20，用于对视频进行解码处理；雷达单元30，用于获取车辆的雷达信号以及can信号；主控单元40，用于接收视频处理单元20输入的解码处理后的视频、雷达信号以及can信号，对视频、雷达信号以及can信号进行融合处理，以得到车辆的定位信号。

摄像头10获取汽车所在路况等车载环境，比如车道线、交通灯、交通指示标志等；视频处理单元20会对获取到的视频进行解码处理，以便于主控单元40进行融合处理；雷达信号来自于雷达传感器，主控单元40根据该雷达信号查找一定范围内的高精度地图数据，并对视频内的车道线、交通灯、交通指示标志等进行识别和测距，得到识别结果，并将识别结果与之前查找的高精度地图数据进行匹配，从而实现高精度定位。

在一实施例中，如图1所示，上述的装置还包括编码单元50，所述编码单元50，用于将定位信号进行编码处理后，传输至终端60。

请参阅图2至图4，上述的雷达单元30包括雷达传感器、处理芯片u2、串口芯片u3以及can芯片u5；雷达传感器，用于获取雷达信号；can芯片u5，用于接收雷达信号以及can信号；处理芯片u2，用于将雷达信号以及can信号进行集成处理；串口芯片u3，用于将集成处理后的雷达信号以及can信号传输至主控单元40。

如图2所示，该处理芯片u2的型号为但不局限于upd78f1828agaa，且该处理芯片u2的端脚还连接有烧录接口p1，用于烧录程序；该处理芯片u2的端脚连接有振荡器y1以及滤波电容c28、c29、滤波电阻r34，实现提供时钟的效果。

更进一步地，该处理芯片u2的端脚还连接有ad检测子单元，该ad检测子单元用于进行电瓶电压检测，以实现对电源的检测，具体地，该ad检测子单元包括检测电阻r31、下拉电阻r33、滤波电容c27以及滤波二极管d5，其中，检测电阻r31分别与供电单元以及处理芯片u2连接，下拉电阻r33、滤波电容c27以及滤波二极管d5均为一端接地，另一端连接于检测电阻r31与处理芯片u2之间。

在一实施例中，如图3所示，上述串口芯片u3的型号为但不局限于nlsx4373mutag。

在一实施例中，如图4所示，上述的can芯片u5的型号为但不局限于tja1040-can，该can芯片u5用于接收车速信号、档位信号以及雷达信号；can芯片u5与雷达传感器等汽车检测装置之间连接有滤波器l2，该滤波器l2的两端并联有滤波电阻r45、r44，滤波器l2还与设有的瞬变抑制二极管d7连接，以起到滤波抑制效果；另外，上述的can芯片u5与滤波器l2之间还连接有一端接地的滤波电容c35、c36；且can芯片u5与滤波器l2之间还连接有依次连接的稳压电阻r42、滤波电容c37，其中滤波电容c37的一端接地，can芯片u5与滤波电容c37之间还连接有电阻r43，以进行对获取到的雷达信号、车速信号以及档位信号等进行滤波处理，提高定位的准确率。

且处理芯片u2输出高电平或低电平以控制can芯片u5的工作以及停止工作。

在一实施例中，请参阅图5，处理芯片u2的端脚还连接有切换子单元以及使能子单元；切换子单元，用于输入模式切换信号至处理芯片u2，以使处理芯片u2从休眠模式进入工作模式。

具体地，上述的切换子单元包括三极管q1、q2。且该三极管q1可与切换开关元件连接，切换开关元件依次通过稳压电感fer15、稳压二极管d3以及稳压电阻r5与三极管q1的基极连接，三极管q1的集电极与三极管q2的基极连接，三极管q2的发射极与处理芯片u2连接。通过切换开关元件的操作，以使得三极管q1、q2导通或截断，实现处理芯片u2从休眠状态进入工作状态或从工作状态进入休眠状态。具体地，当三极管q1截断，三极管q2导通时，处理芯片u2从休眠状态进入工作状态，反之则处理芯片u2从工作状态进入休眠状态。

另外，上述的切换开关元件与三极管q1的基极之间还连接有一端接地的稳压二极管d4。切换开关元件与三极管q1的基极之间还连接有依次连接的滤波电容c14、c15，该滤波电容c15的一端接地。

在一实施例中，请参阅图6，该处理芯片u2的端脚还连接有预留子单元，所述预留子单元包括与设有的按键连接的三极管q20，其中，该三极管q20的基极与集电极之间连接有稳压二极管d8以及滤波电感c270，三极管q20的集电极接地，以实现信号的传输稳定，通过按键控制三极管q20的导通与截断，实现对处理芯片u2的不工作或工作的控制。

另外，上述的预留子单元还包括三极管q4以及mos管q5，该三极管q4与设有的灯光按键连接，且三极管q4的集电极与mos管q5连接，当三极管q4导通且mos管q5导通时，处理芯片u2接收信号驱动led点亮。

在一实施例中，请参阅图15至图22，上述的装置还包括供电单元，所述供电单元包括电源、抗干扰子单元、电压转换子单元，电源与抗干扰子单元连接，抗干扰子单元与电压转换子单元连接，电压转换子单元分别与摄像头10、视频处理单元20、雷达单元30、编码单元50以及主控单元40连接；处理芯片u2的端脚连接着电源检测子单元，电源检测子单元与抗干扰子单元连接。

具体地，请参阅图15，上述的抗干扰子单元包括依次连接于电源与电压转换子单元之间的稳压电阻r1、稳压二极管d2、滤波器l35、滤波电感l1；其中，上述的电源与电压转换子单元之间连接有一端接地的滤波电容c2，该滤波电容c2的另一端连接有滤波电容c1，滤波电容c1的另一端连接在电源与电压转换子单元之间，以起到滤波功能，另外，上述的抗干扰子单元还包括滤波电容c282、c281、c5、稳压电阻d1，滤波电容c282、c281、c5、稳压电阻d1的两端分别与滤波器l35的两个端脚连接。上述的抗干扰子单元还包括滤波电容c292、c280、c6、c7、c8，滤波电容c292、c280、c6、c7、c8的一端连接于滤波电感l1与电压转换子单元之间，另一端接地。上述的抗干扰子单元还包括与滤波电感l1连接的接口p0。

在一实施例中，请参阅图16，该电压转换子单元包括第一转换模块，该第一转换模块用于将12v的电压转换为5v的电压，为处理芯片u2以及can芯片u5供电。该第一转换模块包括第一转换芯片u1，该第一转换芯片u1的型号为但不局限于ncv4275，该第一转换芯片u1与处理芯片u2之间还连接有稳压电阻r4以及一端接地的滤波电容c269；另外，该第二转换芯片u1与can芯片u5之间还连接有一端接地的滤波电容c12、c13，以实现供电的稳定。

在一实施例中，请参阅图17，上述的电压转换子单元还包括第二转换模块，该第二转换模块包括第二转换芯片u12，该第二转换芯片u12的型号为但不局限于rp170n331d-tr-ae，该转换芯片u12将5v电压转换为3.3v电压，提供给编码单元50使用。

在一实施例中，请参阅图18，上述的电压转换子单元还包括第三转换模块，该第三转换模块将5v电压转换为1.8v/1.1v，其中，该第三转换模块包括第三转换芯片u11，该第三转换芯片u11的型号为但不局限于rp550l001b，该第三转换芯片u11的端脚连接有滤波电感l3，该滤波电感l3与视频处理单元20之间还连接有一端接地的滤波电容c112、c113，该滤波电感l3与视频处理单元20之间连接有稳压电阻r76、r77以及滤波电容c111，其中稳压电阻r76的一端与滤波电阻r77连接，且滤波电阻r77的一端接地，上述的滤波电容c111与滤波电阻r77连接，以实现提供1.8v电压给视频处理单元20。另外，该第三转换芯片u11的端脚连接有滤波电感l4，该滤波电感l4与视频处理单元20之间还连接有一端接地的滤波电容c109、c110，该滤波电感l3与视频处理单元20之间连接有稳压电阻r74、r75以及滤波电容c108，其中稳压电阻r74的一端与滤波电阻r75连接，且滤波电阻r75的一端接地，上述的滤波电容c108与滤波电阻r75连接，以实现提供1.1v电压给视频处理单元20。

在一实施例中，请参阅图19，该电压转换子单元还包括第四转换模块，该第四转换模块包括第四转换芯片u15、u6、u17，第四转换芯片u15、u6、u17的型号分别为但不局限于pr170n251d-tp-ae，第四转换芯片u15、u6、u17分别将5v的电压对应转换为2.5v、1.8v、3.3v，以对编码单元50供电。

在一实施例中，请参阅图20，该电压转换子单元还包括第五转换模块，该第五转换模块包括第五转换芯片u31，该第五转换芯片u31的型号为但不局限于tps5430ddar，且该第五转换芯片u31与主控单元40之间连接有稳压电感l10，该第五转换芯片u31将12v电压转换为5v电压，供给主控单元40使用。

在一实施例中，如图6所示，上述的处理芯片u2与第五转换模块之间连接有使能子单元，该使能子单元用于接收处理芯片u2输出的使能信号，以驱动第五转换模块对主控单元40供电或者不供电，从而控制主控单元40的工作与否。具体地，该使能子单元包括三极管q9，该三极管q9在导通的状态下驱动第五转换模块对主控单元40供电，三极管q9在截断的状态下驱动第五转换模块对主控单元40不供电。该三极管q9的基极与处理芯片u2之间连接有稳压电阻r29，且三极管q9的发射极与第五转换模块连接。

在一实施例中，请参阅图21，上述的电压转换子单元还包括第六转换模块，该第六转换模块包括三极管q12、q14、q16、q18以及mos管q13、q15、q17、q19；该三极管q12、q14、q16、q18的基极与接口p0连接，mos管q13分别与摄像头10以及三极管q12的集电极连接，mos管q15分别与摄像头10以及三极管q14的集电极连接，mos管q17分别与摄像头10以及三极管q16的集电极连接，mos管q19分别与摄像头10以及三极管q18的集电极连接，从而实现将5v的电压供给四路摄像头10。

在一实施例中，请参阅图22，上述的电压转换子单元还包括第七转换模块，该第七转换模块包括第七转换芯片u25，该第七转换芯片u25的型号为但不局限于rn5t566b，利用第七转换芯片u25将5v的电压转换为1.5v/1.1v/3.3v/1.8v，以对主控单元40进行供电。

在一实施例中，请参阅图7至14，上述的主控单元40的型号为但不局限于csrs3662a01-ibbo-r，该主控单元40包括主控芯片u6a、u6b、u6c、u6d、u6e、u6f、u6g、u6h。

在一实施例中，请参阅图9，上述的主控芯片u6d的端脚连接有usb子单元，该usb子单元包括usb接口j2以及usb芯片u10，该usb芯片u10与主控芯片u6d连接，usb接口j2与usb芯片u10连接，通过usb芯片u10与usb接口j2进行软件升级。另外，上述的主控芯片u6d的端脚连接有只读存储器u32，该只读存储器u32的型号为但不局限于at24c16，且主控芯片u6d与第七转换模块之间还连接有电压检测芯片u7，以进行电压检测，该电压检测芯片u7的型号为但不局限于s-19100c27h-m5t2u。且该第七转换模块与主控芯片u6d之间通过稳压电阻r68、r69连接。另外该主控芯片u6d的端脚还连接有时钟芯片x3，以提供时钟功能。

在一实施例中，如图23所示，该摄像头10与视频处理单元20之间分别连接有滤波器l5、l6、l7、l8，以对视频信号进行滤波处理。

在一实施例中，请参阅图10至图11，该视频处理单元20包括解码器u14a、u14b，所述解码器u14a、u14b的型号为但不局限于tvp5158ipnpq1。其中，该解码器u14a与主控芯片u6c连接，解码器u14a与滤波器l5、l6、l7、l8连接，该解码器u14a、u14b是同一芯片。

在一实施例中，请参阅图12，该编码单元50包括编码器u18，所述编码器u18的型号为但不局限于ch7026b-tf1，该编码器u18与主控芯片u6e连接。

在一实施例中，请参阅图13，该主控单元40的端脚连接有存储器u20，该存储器u20的型号为但不局限于s34ml02g100tf100，该存储器u20与主控芯片u6g连接。且主控芯片u6g与接口j0之间还连接有依次连接的电源稳压器u21以及电压检测芯片u22，以进行电压检测，该电压检测芯片u22的型号为但不局限于s-19100c27h-m5t2u，电源稳压器u21的型号为但不局限于rp170n331d-tr-ae。

在一实施例中，请参阅图14，主控单元40的端脚还连接有内存器u23，该内存器u23的型号为但不局限于is46tr16128b-15hbla2，该内存器u2与主控芯片u6b连接。

上述的基于摄像头与雷达融合的定位装置，通过结合雷达信号、can信号以及摄像头10获取的车载环境视频，视频经过视频处理单元20解码处理后，传输至主控芯片，主控单元40对视频、雷达信号、can信号进行融合和分析，得到高精准度的定位信号，并由编码单元50处理后在终端60显示，实现结合车载环境进行精准定位，成本低。

在一实施例中，还提供了基于摄像头与雷达融合的定位装置的工作方法，该方法包括：

摄像头10获取车载环境的视频；

视频处理单元20对视频进行解码处理；

雷达单元30获取车辆的雷达信号以及can信号；

主控单元40接收视频处理单元20输入的解码处理后的视频、雷达信号以及can信号，对视频、雷达信号以及can信号进行融合处理，以得到车辆的定位信号。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述基于摄像头与雷达融合的定位装置的工作方法的具体实现过程，可以参考前述基于摄像头与雷达融合的定位装置实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述仅以实施例来进一步说明本发明的技术内容，以便于读者更容易理解，但不代表本发明的实施方式仅限于此，任何依本发明所做的技术延伸或再创造，均受本发明的保护。本发明的保护范围以权利要求书为准。