雷达和视频融合系统及方法与流程

本发明应用在无人机、无人车等无人驾驶系统上，属于雷达和视频处理技术领域，特别是雷达和视频融合系统及方法。

背景技术：

随着科学技术的发展，无人机、无人车等无人驾驶系统，在各种危险作业场所、货运场所、军事场所和研究场所，应用越来越广泛，因为它可以规划自己的行车路线，感知周围环境，针对实时交通情况做出合理决策，进行安全、可靠、高效的驾驶，在应用中节约了人力，规范了驾驶规则，避免了有人驾驶系统的局限性、不确定性，给各种场所更深度和广度的应用提供了便捷性。

而雷达和视频传感技术是无人驾驶系统应用中的关键传感技术，用于探测周围的环境和障碍物，便于无人机、无人车进行自动路径规划，传感器的测量精度、测量角度、分辨率直接影响到无人驾驶系统的控制效果，是无人驾驶系统研究领域的重要课题。

雷达传感器通过发射高频电磁波及接收回波的原理来测量周围物体的距离、速度、角度。视频传感器通过监测镜头内的视频影像来检测周围物体的类型、角度。

以往的无人驾驶系统通常采用单一的雷达技术或单一的视频技术进行环境测定，但都表现出了一定的局限性：

雷达技术在应用中的局限性在于：第一，对环境和障碍物的细节分辨率尤其在角度分辨率方面不高，第二，无法对目标类型进行识别；

视频技术在应用中的局限在于：第一，受光照、环境如雾、雨、雪天气等影响较大，第二，无法准确获取目标的距离、速度信息；

另外，在处理器方面,传统的dsp由于其运行速率的限制，有时无法直接处理产生的超高速数据流,而fpga处理器在雷达和视频融合系统中的应用给上述问题带来了经济、有效的解决方案。

因此，为了更安全更可靠的控制无人机、无人车等，本发明提出了雷达和视频融合系统及方法，用fpga处理器接收、处理雷达和视频信息，并进行了校验和融合，克服了单一雷达或视频传感技术的缺点，能够更可靠的识别障碍物类型、距离、速度、角度信息，提高无人驾驶系统运行的可靠性、实时性。

技术实现要素：

本发明为了提高无人驾驶系统对周围环境的识别率，克服单一使用雷达传感器和单一使用视频传感器的缺点，使无人驾驶系统能够更可靠的规划自己的行车路线，感知周围环境，针对实时交通情况做出合理决策，进行安全、可靠、高效的驾驶，拟提出雷达和视频融合系统及方法。

为了达到上述目的，本发明首先提供了一种雷达和视频融合系统，所述系统包括fpga处理器，其特征在于，

fpga处理器包括目标识别单元、雷达信号处理单元和信息融合单元，其中，

所述目标识别单元从视频传感器接收视频信号，并进行信号处理，得到第一目标信息传输给所述信息融合单元；

所述雷达信号处理单元从雷达传感器接收雷达信号，并进行信号处理，得到第二目标信息传输给所述信息融合单元；

所述信息融合单元接收所述的第一目标信息和第二目标信息，并对第一目标信息和第二目标信息进行融合和校验，之后输出控制信息。

进一步地,所述系统还包括视频传感器、雷达传感器，所述视频传感器传输视频输入到所述目标识别单元，所述雷达传感器传输雷达回波信号到所述雷达信号处理单元。

进一步地，所述的fpga处理器还包括下列单元:可编程i/o口、嵌入式块ram、内嵌专用硬核单元、布线，上述单元的连接关系同常规fpga处理器中这些单元的连接关系。

进一步地，所述目标识别单元还包括深度图提取单元，对来自第一视频传感器的第一视频输入和来自第二视频传感器的第二视频输入进行“深度图提取”，得到第一目标信息传输给所述信息融合单元。

进一步地，所述的目标识别单元和雷达信号处理单元是fpga处理器的基本可编程逻辑单元。

进一步地，所述的信息融合单元是fpga处理器的底层嵌入功能单元。

进一步地，所述的雷达传感器是毫米波雷达传感器。

本发明的另一目的是提供一种利用所述雷达和视频融合系统进行雷达和视频融合的方法，所述方法包括以下步骤：

a.利用目标识别单元从视频传感器接收视频信号，并进行存储和有效信息提取、亮色分离、出错判决信号处理，得到第一目标信息传输给所述信息融合单元；

b.利用雷达信号处理单元从雷达传感器接收雷达信号，并进行信号处理，该信号处理包括数据重采样、自适应滤波、脉冲压缩、参数估计、恒虚警处理、自适应波速形成，得到第二目标信息传输给所述信息融合单元；

c.利用信息融合单元接收所述的第一目标信息和第二目标信息，并对第一目标信息和第二目标信息进行融合和校验，之后输出控制信息。

进一步地，对于步骤a，还包括利用所述目标识别单元的深度图提取单元对第一视频输入和第二视频输入进行深度图提取，所述深度图提取流程包括五个模块：图像获取、摄像机标定、图像匹配、三维恢复和视频分析。

进一步地，所述控制信息包括目标编号、类型、距离、速度和角度。

方案中的fpga处理器是专用集成电路中设计周期最短、开发费用最低、风险最小的器件之一，采用fpga处理器设计专用集成电路，用户不需要投片生产，就能得到合用的芯片，可以说，fpga处理器是小批量系统提高系统集成度、可靠性的最佳选择之一，而且由于它功能强大、应用灵活，在无人驾驶系统中的应用越来越受到青睐，用它作为主处理器，对于雷达和视频传感器信息的融合和校验获得了非常明显的益处：

使用了单一的fpga处理器，统一在底层完成信息校验和融合，简化了系统结构；

基于fpga处理器技术，实时完成视频信号和雷达信号的预处理，并获取第一目标信息和第二目标信息，之后在同一处理器中实现两种信息的融合和校验，提高了系统的处理带宽，增加了系统的输出速率；

应用fpga处理器的信息融合单元，对雷达信息和视频信息很好的进行了信息融合和校验，使输出的控制信息更全面、准确。

附图说明

图1：为系统构成图1。

图2：为图1所示系统工作时的处理流程图。

图3：为系统构成图2。

图4：为图3所示系统工作时的处理流程图。

图5：为平行光轴的立体视觉系统示意图。

具体实施方式

以下结合附图及实施例，对本发明的具体实施方式进行更加详细的说明，以便能够更好地理解本发明的方案以及其各个方面的优点，然而，以下描述的具体实施方式仅是说明的目的，而不是对本发明的限制。

本发明提供了雷达和视频融合系统及方法，所述系统包括fpga处理器，其特征在于，fpga处理器包括目标识别单元、雷达信号处理单元和信息融合单元，其中，所述目标识别单元从视频传感器接收视频信号，并进行信号处理，得到第一目标信息传输给所述信息融合单元；所述雷达信号处理单元从雷达传感器接收雷达信号，并进行信号处理，得到第二目标信息传输给所述信息融合单元；所述信息融合单元接收所述的第一目标信息和第二目标信息，并对第一目标信息和第二目标信息进行融合和校验，之后输出控制信息。

所述fpga处理器还包括下列单元:可编程i/o单元、嵌入式块ram、内嵌专用硬核单元、布线，上述单元的连接关系同常规fpga处理器中这些单元的连接关系。

所述可编程i/o单元包括第一视频输入口、第二视频输入口、雷达信号输入口、控制信息输出口。所述可编程i/o单元是芯片与外界电路的接口部分，完成不同电气特性下对输入/输出信号的驱动与匹配要求，fpga处理器内的i/o按组分类，每组都能够独立地支持不同的i/o标准。通过软件的灵活配置，可适配不同的电气标准与i/o物理特性，目前，i/o口的频率也越来越高，一些高端的fpga处理器通过ddr寄存器技术可以支持高达2gbps的数据速率。

所述目标识别单元和雷达信号处理单元为fpga处理器的可编程逻辑单元，是实现用户功能的基本单元，多个逻辑功能块通常规则地排成一个阵列结构，分布于整个芯片。其中，所述目标识别单元还包括深度图提取单元。

所述信息融合单元为fpga处理器的底层嵌入功能单元，主要指dll(delaylockedloop)、pll(phaselockedloop)、dsp和cpu等软处理核，现在越来越丰富的内嵌功能单元，使得单片fpga处理器成为了系统级的设计工具，使其具备了软硬件联合设计的能力，逐步向soc平台过渡。

所述嵌入式块ram是fpga处理器的重要单元，fpga处理器的工作状态是由存放在片内的嵌入式块ram中的程序来设置的，因此，工作时需要对片内的ram进行编程，用户可以根据不同的配置模式，采用不同的编程方式，加电时，fpga处理器将eprom中数据读入片内编程ram中，配置完成后，fpga处理器进入工作状态，掉电后，fpga处理器恢复成白片，内部逻辑关系消失，因此fpga处理器能够反复使用。当需要修改fpga处理器功能时，只需要更换一片eprom即可，使用非常灵活。嵌入式块ram，大大拓展了fpga处理器的应用范围和灵活性。

所述内嵌专用硬核单元是相对底层嵌入的软核而言的，指fpga处理器处理能力强大的硬核(hardcore)，等效于asic电路。为了提高fpga处理器性能，芯片生产商在芯片内部集成了一些专用的硬核。例如：为了提高fpga处理器的乘法速度，主流的fpga处理器中都集成了专用乘法器；为了适用通信总线与接口标准，很多高端的fpga处理器内部都集成了串并收发器，可以达到数十gbps的收发速度。

布线连通fpga处理器内部的所有单元，而连线的长度和工艺决定着信号在连线上的驱动能力和传输速度。

所述视频传感器，也就是摄像头，是一种视频输入设备，被广泛的运用于视频会议，远程医疗及实时监控等方面。视频传感器的扫描制式有pal制和ntsc制之分，中国采用隔行扫描(pal)制式，只有医疗或其它专业领域才用到一些非标准制式，两种制式fpga处理器都可以接收。本实施方式中，我们选用了pal制式视频传感器。

由于图像数据的数据量大，一幅1024×1024的8位图像需要1mb的存储空间，而放映30分钟动画需要5.4万帧画面，共需5400mb的存储空间，要对如此大的数据量进行非常及时快速准确的存储、信息提取、处理，对fpga处理器的性能要求比较高，所以本发明用一路视频传感器或一路以上视频传感器，多路视频传感器，fpga也可以配置接收。

视频传感器进行视频信号的采集，视频传感器主要有镜头、ccd(chargedcoupleddevice)图像传感器、预中放、agc(automaticgaincontrol)、a/d(analog/digital)转换电路、同步信号发生器、ccd驱动器、dsp主控芯片、d/a(digital/analog)转换电路和电源的电路构成。摄像头的主要图像传感部件是ccd，即电荷耦合器件，它具有灵敏度高、畸变小、寿命长、抗震动、抗磁场、体积小、无残影等特点，它能够将光线变为电荷并可将电荷储存及转移，也可将储存之电荷取出使电压发生变化，因此是理想的摄像元件，是代替摄像管传感器的新型器件。

被摄物体反射光线，传播到镜头，经镜头聚焦到ccd芯片上，ccd根据光的强弱积聚相应的电荷，经周期性放电，产生表示一幅幅画面的电信号，经过预中放电路放大、agc自动增益控制，再经模数转换到摄像头的dsp处理，同步信号发生器主要产生同步时钟信号(由晶体振荡电路来完成)，即产生垂直和水平的扫描驱动信号，到摄像头的dsp，以保持扫描同步，避免图像失真，然后，经数模转换电路通过输出端子输出一个标准的复合视频信号。这个标准的视频信号同家用的录像机、vcd机、家用摄像机的视频输出是一样的，所以也可以录像或接到电视机上观看。

本实施方式中，视频传感器的视频输入有两种处理方式，一种是只有一路视频传感器，则利用所述目标识别单元通过视频输入i/o口接收来自视频传感器的视频信号输入，并对视频输入进行存储和有效信息提取、亮色分离、出错判决的数据处理后，得到第一目标信息，传输给所述信息融合单元，第一目标信息包括目标编号、类型、角度。

一种是有两路视频传感器，则利用所述目标识别单元的深度图提取单元通过视频输入i/o口接收来自第一视频传感器的第一视频输入和来自第二视频传感器的第二视频输入，并对第一视频输入和第二视频输入进行“深度图提取”处理，所述深度图提取流程包括五个模块：图像获取、摄像机标定、图像匹配、三维恢复和视频分析。

所述图像获取，就是上述利用第一视频传感器和第二视频传感器获取图像的过程。

如图5所示，为平行光轴的立体视觉系统示意图。进行摄像机标定，就是对三维场景中对象点在左右摄像机图像平面c1、cr上的坐标位置al(ul，vl)、ar(ur，vr)与其世界空间坐标a(x，y，z)之间进行映射关系确定，并由此得到两个视频传感器的光心距离b和焦距f。

如图5所示，进行图像匹配，是指将三维空间中一点a(x，y，z)在左右摄像机的成像面cl和cr上确定像点al(ul，vl)和ar(ur，vr)。

如图5所示，所述三维恢复，就是深度图提取，深度信息z可以利用三角测量法由以下公式得到：d1-d2＝b*f/z，其中d1是图像中的目标点a在成像面c1中所成的像点a1到第一视频传感器光轴的距离，d2是图像中的目标点在成像面c2中所成的像点ar到第二视频传感器光轴的距离，b是两个视频传感器之间的光心距，f是摄像头焦距，z是该目标点a到摄像头平面的距离。通过对两个摄像头的每个像素的上述计算，即可获得深度图。最后利用深度图进行所述视频分析。

完成深度图提取处理的第一目标信息包括目标编号、类型、包含距离信息的深度图矩阵，然后把第一目标信息传输到所述信息融合单元。

所述雷达传感器的种类可选性比较多，有电磁波雷达、激光雷达、超宽带雷达等，各有优缺点和适合的应用场所，在无人驾驶系统中用的比较多的是毫米波雷达，激光雷达也有应用。

激光雷达是工作在红外和可见光波段的雷达，它包括：激光发射机、光学接收机、转台和信息处理系统。激光雷达具有波束窄、定向性好、测量精度高、分辨率高的优点，但比较笨重和昂贵，随着技术的发展，如果解决了这些缺点，激光雷达的应用会越来越广泛。

毫米波雷达，相比波长更长的米波雷达、厘米波雷达，波长更小，精度更高。而相对于波长更短的微米波雷达来说，在天线口径相同的情况下，毫米波雷达具有天线波束窄、分辨率高、频带宽、抗干扰能力强等优点。同时它工作在目前隐身技术所能对抗的波段之外，因此能探测隐身目标，又因为技术进步、成本低而应用比较广泛，更适合应用在无人驾驶系统。

本实施方式中，我们选用了毫米波雷达传感器，毫米波雷达传感器通过自身的天线、发射单元、接收单元、模数转换器进行雷达回波信号的采集，通过fpga处理器的可编程i/o口输入到所述雷达信号处理单元。

雷达的基本任务是探测目标，测定目标的距离、方向、速度等状态参数，雷达发射单元产生足够的电磁能量传送给天线，天线将这些电磁能量辐射至大气中，集中在一个很窄的方向上形成波束，向前传播，电磁波遇到波束内的目标后，将沿着各个方向产生反射，其中的一部分电磁能量反射回雷达的方向，被雷达天线获取，天线获取的能量送到接收单元，形成雷达的回波信号，由于在传播过程中电磁波会随着传播距离而衰减，雷达回波信号非常微弱，几乎被噪声所淹没，接收单元放大微弱的回波信号，经过模数转换器，提取出包含在回波中的信息，传送到所述雷达信号处理单元。

所述雷达信号处理单元通过雷达信号输入i/o口接收来自雷达传感器的雷达回波信号，并进行信号处理，该信号处理包括数据重采样、自适应滤波、脉冲压缩、参数估计、恒虚警处理、自适应波速形成，这些步骤需要完成具有高度重复性的fft傅立叶变换、fir滤波运算，并且实时性要求极高，得到第二目标信息，传输给所述信息融合单元，第二目标信息包括目标编号、距离、速度、角度。

所述信息融合单元接收所述的第一目标信息和第二目标信息，并对第一目标信息和第二目标信息的对应像素点进行一一比对，即可删除误检测目标信息，完成融合和校验，从而提高整体系统的检测精度和效率。之后通过可编程i/o口输出最终控制信息包括目标编号、类型、距离、速度、角度。

实施例1

一种雷达和视频融合系统，如附图1、附图2，系统包括一个fpga处理器3，一个雷达传感器1，一个视频传感器2。

本实施例中，视频传感器我们选用了pal制式，视频传感器包括镜头、ccd图像传感器、预中放、agc、a/d、同步信号发生器、ccd驱动器、dsp、d/a转换电路和电源。

本实施例中，雷达传感器我们选用了毫米波雷达，雷达传感器包括天线11、发射单元12、接收单元13、模数传感器14。

本实施例中，fpga处理器3通过嵌入式ram模块31进行编程，其中，将接收视频传感器信号的可编程i/o口设置为视频输入口34，将接收雷达传感器信号的可编程i/o口设置为雷达信号输入口33，对可编程逻辑单元进行软硬件配置，设置成将视频输入处理成第一目标信息的目标识别单元35和将雷达信号输入处理成第二目标信息的雷达信号处理单元32，通过对底层嵌入功能单元的编程，设置为实现相应功能的信息融合单元36，以实现第一目标信息和第二目标信息的融合和校验，配置相应的可编程i/o口为输出口37，输出控制信息。

本实施例中，应用所述系统进行雷达和视频融合的方法,详细描述如下。

所述视频输入口34接收视频传感器传输的标准的视频信号，输入到所述目标识别单元35，所述目标识别单元35将视频信号进行了信号处理，该信号处理包括存储、有效信息提取、亮色分离、出错判决，去除了干扰因素，处理成所需要的第一目标信息，然后将第一目标信息传输给所述信息融合单元36，第一目标信息为包括目标编号、类型、角度。

所述雷达信号输入口33接收雷达传感器传输的雷达回波信号，输入到所述雷达信号处理单元32，所述雷达信号处理单元32对雷达信号进行信号处理，该信号处理包括数据重采样、自适应滤波、脉冲压缩、参数估计、恒虚警处理、自适应波速形成，去除了干扰因素，处理成所需要的第二目标信息，然后将第二目标信息传输给所述信息融合单元36，第二目标信息包括目标编号、距离、速度、角度。

所述信息融合单元36接收所述的第一目标信息和第二目标信息，并对第一目标信息和第二目标信息的对应像素点进行一一比对，即可删除误检测目标信息，完成融合和校验，从而提高整体系统的检测精度和效率。之后通过输出口37输出控制信息包括目标编号、类型、距离、速度、角度。

采用本实施例的雷达和视频融合系统及方法，在实际应用中，克服了单一雷达传感器和单一视频传感器的缺点，数据进行了融合和校验，对周围环境和障碍物的判定更及时、准确、全面，给无人驾驶系统的进一步可靠安全应用提供了条件。

实施例2

雷达和视频融合系统及方法，如附图3、附图4，系统包括一个fpga处理器3，一个雷达传感器1，两个视频传感器21、22。

本实施例中，采用了两个视频传感器，为第一视频传感器21和第二视频传感器22，两个视频传感器的安装位置角度差一般是90度或180度。

视频传感器、雷达传感器、fpga处理器的选型同实施例1。

本实施例中，fpga处理器3通过嵌入式ram模块31进行编程，其中，将接收第一视频传感器信号的可编程i/o口设置为第一视频输入口34，将接收第二视频传感器信号的可编程i/o口设置为第二视频输入口38，将接收雷达传感器信号的可编程i/o口设置为雷达信号输入口33，对可编程逻辑单元进行软硬件配置，设置成对第一视频输入和第二视频输入进行深度图提取的深度图提取单元39和将雷达信号输入处理成第二目标信息的雷达信号处理单元32，通过对底层嵌入功能单元的编程，设置为实现相应功能的信息融合单元36，以实现第一目标信息和第二目标信息的融合和校验的功能，配置相应的可编程i/o口为输出口37，输出控制信息。

本实施例中，应用所述系统进行雷达和视频融合的方法,详细描述如下。

本实施方式中，来自第一视频传感器的第一视频输入通过所述第一视频输入口34和来自第二视频传感器的第二视频输入通过所述第二视频输入口38，传输到所述深度图提取单元39，所述深度图提取单元对所述第一视频输入和所述第二视频输入进行“深度图提取”处理，

为实现深度图提取，一个完整流程包括五个模块：图像获取、摄像机标定、图像匹配、三维恢复和视频分析。

所述图像获取，就是上述利用第一视频传感器21和第二视频传感器22获取图像的过程。

如图5所示，进行摄像机标定，就是对三维场景中对象点在左右摄像机图像平面c1、cr上的坐标位置al(ul，vl)、ar(ur，vr)与其世界空间坐标a(x，y，z)之间进行映射关系确定，并由此得到两个视频传感器的光心距离b和焦距f。

如图5所示，进行图像匹配，是指将三维空间中一点a(x，y，z)在左右摄像机的成像面cl和cr上确定像点al(ul，vl)和ar(ur，vr)。

如图5所示，所述三维恢复，就是深度图提取，深度信息z可以利用三角测量法由以下公式得到：d1-d2＝b*f/z，其中d1是图像中的目标点a在成像面c1中所成的像点a1到第一视频传感器光轴的距离，d2是图像中的目标点在成像面c2中所成的像点ar到第二视频传感器光轴的距离，b是两个视频传感器之间的光心距，f是摄像头焦距，z是该目标点a到摄像头平面的距离。通过对两个摄像头的每个像素的上述计算，即可获得深度图。最后利用深度图进行所述视频分析。

完成深度图提取处理的第一目标信息为包括目标编号、类型、包含距离信息的深度图矩阵，然后将第一目标信息传输给所述信息融合单元36。

来自雷达传感器的雷达回波信号通过所述雷达信号输入口33传输到所述雷达信号处理单元32，所述雷达信号处理单元对雷达回波信号进行信号处理，该信号处理包括数据重采样、自适应滤波、脉冲压缩、参数估计、恒虚警处理、自适应波速形成，去除了干扰因素，处理成所需要的第二目标信息，然后将第二目标信息传输给所述信息融合单元36，第二目标信息包括目标编号、距离、速度、角度。

所述信息融合单元36接收所述的第一目标信息和第二目标信息，并对第一目标信息和第二目标信息的对应像素点进行一一比对，即可删除误检测目标信息，完成融合和校验，从而提高整体系统的检测精度和效率。之后通过可编程i/o口37输出控制信息包括目标编号、类型、距离、速度、角度。

采用本实施例的雷达和视频融合方法的系统，在实际应用中，由于采用了两路视频传感器21、22，一路雷达传感器1，所采集的环境和障碍物信息为多方位，更全面的信息，适用于环境状况更复杂的应用，信息处理量更大，根据不同的应用场所，可以选择不同的传感器融合组合，给无人驾驶系统的更广泛安全应用提供了条件。

最后应说明的是：上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于在上述说明的基础上做出其它不同形式的变化或变动，仍处于本发明的保护范围之中。