一种实时多源视频图像融合系统的制作方法
【技术领域】
[0001]本实用新型涉及通信技术领域，尤其涉及一种视频图像融合系统。
【背景技术】
[0002]随着科学技术的进步，人们对视频图像的要求越来越高，尤其是在医学、遥感、监控以及军事等领域，均要求视频图像所包含的信息越丰富越好。在这种情况下，传统的单一传感器无法满足这一要求。例如，可见光成像传感器在白天可以得到颜色及细节信息比较丰富的图像，然而在夜间却得不到理想的图像，红外成像传感器在夜间成像效果好但该类型的传感器分辨率不高并且只能得到灰度图像，没有丰富的颜色信息，可见，单一的成像传感器都无法提供信息量丰富的场景图像，因此我们需要图像融合技术来把多幅具有信息互补的图像融合成为一幅图像，便于后续的处理。
[0003]图像融合是把多个成像传感器所得到的多幅图像融合成为一幅图像的技术。由于视频图像融合的数据量很大，对硬件要求非常高；再有，目前的图像融合系统需要处理几路视频，其数据量非常大，且在对多幅图像进行图像融合前还需要对输入的视频图像进行配准，整个视频图像融合算法的复杂度比较高。这些都对实际的硬件系统提出了较高的要求。因此目前图像融合系统都采用台式计算机来完成，这样一来整个系统的成本比较高、体积比较大，而且还需要人来维护，不利于电子设备的小型化。
【实用新型内容】
[0004]针对上述问题，本实用新型中提供了一种实时多源视频图像融合系统，其在现有的视频图像融合系统的基础上增加了紫外相机，即有可见光、红外光和紫外光三路视频输入，使得融合后的视频图像的信息量更加丰富。
[0005]本实用新型提供的技术方案如下:
[0006]—种实时多源视频图像融合系统，所述实时多源视频图像融合系统中包括:用于在红外光的条件下获取第一视频图像的红外相机，用于在可见光条件下获取第二视频图像的可见光相机，用于在紫外光条件下获取第三视频图像的紫外相机，用于对所述第一视频图像进行解码的第一解码芯片，用于对所述第二视频图像进行解码的第二解码芯片，用于对所述第三视频图像进行解码的第三解码芯片，用于分别对解码后的第一视频图像、第二视频图像和第三视频图像进行预处理并对所述第一视频图像、所述第二视频图像和所述第三视频图像进行图像融合生成彩色视频图像的FPGA芯片，用于对经过FPGA(Field-Programmable Gate Array，即现场可编程门阵列)芯片预处理后的第一视频图像进行图像融合处理的第一 DSP (Digital Signal Processing，数字信号处理)芯片，用于对经过FPGA芯片预处理后的第二视频图像进行图像融合处理的第二 DSP芯片，用于对经过FPGA芯片预处理后的第三视频图像进行图像融合处理的第三DSP芯片，用于对经过FPGA芯片预处理的第一视频图像、第二视频图像和第三视频图像以及经过FPGA芯片合成的彩色视频图像进行存储的存储芯片，用于对经过FPGA芯片合成的彩色视频图像进行编码的编码芯片以及用于对经过编码芯片编码的彩色视频图像进行显示的显示器；其中，所述红外相机的输出端与所述第一解码芯片的输入端连接，所述可见光相机的输出端与所述第二解码芯片的输入端连接，所述紫外相机的输出端与所述第三解码芯片的输入端连接，所述第一解码芯片、所述第二解码芯片和所述第三解码芯片的输出端分别与所述FPGA芯片的输入端连接，所述编码芯片的输入端与所述FPGA芯片的输出端连接，所述编码芯片的输出端与所述显示器的输入端连接，所述FPGA芯片与所述存储芯片连接实现双向通信，所述FPGA芯片分别与所述第一 DSP芯片、第二 DSP芯片和第三DSP芯片连接实现双向通信。
[0007]优选地，所述实时多源视频图像融合系统中还包括用于存储所述DSP芯片中使用的融合算法的FLASH芯片，所述FLASH芯片与所述FPGA芯片连接实现双向通信。
[0008]优选地，所述实时多源视频图像融合系统中包括两片所述存储芯片，每片所述存储芯片与所述FPGA芯片连接实现双向通信。
[0009]优选地，每片所述存储芯片为DDRII SDRAM芯片。
[0010]优选地，所述实时多源视频图像融合系统中还包括用于扩充所述存储芯片容量的CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)芯片，所述CPLD芯片的输出端与每片所述存储芯片的输入端连接。
[0011]优选地，所述实时多源视频图像融合系统中还包括PCI (Peripheral ComponentInterconnect，外设部件互连标准)接口，所述PCI接口与FPGA芯片连接。
[0012]通过本实用新型提供的实时多源视频图像融合系统，能够带来以下有益效果:
[0013]本实用新型提供的实时多源视频图像融合系统采用高端芯片(DSP芯片、FPGA芯片和DDRII SDRAM存储芯片)为支撑，同时采用硬件并行算法来实现数据信息的实时处理，实现了实时处理大量的数据的目的；其可用于城市路口的交通监控、智慧社区等领域，大大扩展了传统的视频图像融合系统的应用；
[0014]再有，与传统的视频图像融合系统相比，本实用新型提供的实时多源视频图像融合系统中增加了紫外相机，即同时有有可见光、红外光和紫外光三路视频输入，使得融合后的视频图像的信息量更加丰富；
[0015]另外，在本实用新型中，除相机外，整个硬件系统都集成到一块电路板上，与传统的基于台式计算机的视频图像融合系统相比不仅体积小而且重量轻；
[0016]最后，我们还在本实用新型中提供的实时多源视频图像融合系统中加入了 PCI接口，通过该PCI接口可以将该系统插入到电脑主板上，用于硬件配置不高的视频监控系统的升级更新。
【附图说明】
[0017]下面将以明确易懂的方式，结合【附图说明】优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。
[0018]图1是本实用新型中实时多源视频图像融合系统中第一实施例的结构示意图；
[0019]图2是本实用新型中实时多源视频图像融合系统中第二实施例的结构示意图；
[0020]图3是本实用新型中实时多源视频图像融合系统中第三实施例的结构示意图。
[0021]附图标记:
[0022]11-红外相机，12-可见光相机，13-紫外相机，21-第一解码芯片，
[0023]22-第二解码芯片，23-第三解码芯片，30-FPGA芯片，40-存储芯片，
[0024]41-第一存储芯片，42-第二存储芯片，51-第一 DSP芯片，52-第二 DSP芯片，
[0025]53-第三DSP芯片，60-编码芯片，70-显示器，80-FLASH芯片，
[0026]90-CPLD 芯片。
【具体实施方式】
[0027]如图1所示为本实用新型提供的实时多源视频图像融合系统中第一具体实施例的结构示意图，从图中可以看出，该实时多源视频图像融合系统中包括:红外相机11、可见光相机12、紫外相机13、第一解码芯片21、第二解码芯片22、第三解码芯片23、FPGA芯片30、第一 DSP芯片51、第二 DSP芯片52、第三DSP芯片53、存储芯片40、编码芯片60以及显不器70，其中，红外相机11的输出端与第一解码芯片21的输入端连接，可见光相机12的输出端与第二解码芯片22的输入端连接，紫外相机13的输出端与第三解码芯片23输入端连接，第一解码芯片21、第二解码芯片22和第三解码芯片23输出端分别与FPGA芯片30的输入端连接，编码芯片60的输入端与FPGA芯片30的输出端连接，编码芯片60的输出端与显示器70的输入端连接，FPGA芯片30与存储芯片40连接实现双向通信，FPGA芯片30分别与第一 DSP芯片51、第二 DSP芯片52和第三DSP芯片53连接实现双向通信。
[0028]具体来说，红外相机11、可见光相机12和紫外相机13分别用于在红外光、可见光和紫外光的条件下获取第一视频图像、第二视频图像和第三视频图像。在具体实施例中，该可见光相机12可以使用工业监控相机，红外相机11可以使用型号为Goldeye P-032的相机，紫外相机13可使用型号为(XD180-512-SFT的相机。当然，在本实用新型中，我们对红外相机11、可见光相机12和紫外相机13的具体型号均不作限定，只要其能实现本实用新型的目的，都包括在本实用新型的内容中。
[0029]第一解码芯片21与红外相机11连接，第二解码芯片22与可见光相机12连接，第三解码芯片23与紫外相机13连接，其中，第一解码芯片21从红外相机11中获取第一视频图像并对其进行解码，第二解码芯片22从可见光相机12中获取第二视频图像并对其进行解码，第三解码芯片23从紫外相机13中获取第三视频图像并对其进行解码。在具体实施例中，第一解码芯片21、第二解码芯片22和第三解码芯片23都可以使用型号为MB86H51的芯片。当然，在其他实施例中，还可以使用其他型号的第一解码芯片21、第二解码芯片22和第三解码芯片23实现对第一视频图像、第二视频图像和第三视频图像的解码，三个解码芯片也可以使用完全不同型号的解码芯片分别对三个视频图像进行解码，只要其能实现该目的，都包括在本实用新型的内容中。
[0030]FPGA芯片30，接收从第一解码芯片21、第二解码芯片22和第三解码芯片23中发送的解码后的第一视频图像、第二视频图像和第三视频图像并进行预处理，分别将第一视频图像、第二视频图像和第三视频图像分解为一帧一帧的图像，同时是用插值算法将上述解码后的第一视频图像、第二视频图像和第三视频图像插值为相同的分辨率，随后再将经过了预处理之后的第一视频图像、第二视频图像和第三解码芯片发送至存储芯片40中进行存储。另外，在本实用新型中，FPGA芯片30还用于对经过第一 DSP芯片51、第二 DSP芯片52和第三DSP芯片53融合处理后的第一视频图像、第二视频图像和第三视频图像进行图像融合生成彩色视频图像。在具体实施例中，这里的FPGA芯片30可以使用型号为Stratix V5SGXEA7N2F45C2的芯片，当然，在这里我们同样对该FPGA芯片30的具体型号不做限定，只要能够实现上述目的的，都可以。另外，对于上述的插值算法，可以使用最近邻插值、双线性插值等插值算法，只要其能将解码后的第一视频图像、第二视频图像和