一种便携式红外图像与低照度图像融合系统的制作方法

本发明涉及一种图像处理系统，特别是涉及一种便携式红外图像和低照度图像实时融合系统，属于数字图像处理技术领域。

背景技术：

夜视技术不仅成为军队的不可缺少的现代装备，而且在各行各业有广泛的应用。近年来，随着非制冷红外探测器的国产化和价格下降，民用红外夜视市场进入快速增长期。

夜视技术包括红外夜视技术和微光夜视技术两方面。红外夜视中的热成像技术是一种被动红外夜视技术，通过借助目标自身发射的红外辐射来实现观察，它根据目标与背景或目标各部分之间的温度差或热辐射差来发现目标。热成像技术相对其他夜视技术有独特的优点，如可在雾、雨、雪的天气下工作，作用距离远，能识别伪装和抗干扰等。

微光夜视仪则是利用月光、星光等夜光，通过像增强器的光增强作用，帮助人眼实现夜间观察的一种夜视器材。主要由望远光学系统、像增强和高压供电装置组成。微光夜视图像的获得，可以使人类在亮度极低的天光环境下，依然能够较为清楚的观察到目标。随着CCD（电荷耦合元件）/CMOS（互补金属氧化物半导体）技术的发展，低照度传感器成为新的微光夜视技术的发展方向，低照度传感器设计的夜视成像产品成本大大降低，将进入各应用领域。

尽管红外夜视技术和低照度夜视技术各自取得了显著性地发展，但是依旧存在各自的局限性。利用红外传感器拍摄的红外图像在全黑的条件下也能够识别目标，但是层次和立体感较差，缺少细节和对比度，与可见光图像相比灰度分布方式不一致，不具有直观性和识别性特征；利用低照度传感器拍摄的低照度图像，与人眼已经适应的可见光图像在灰度分布上保持同一性，但是低照度图像传感器仅在天光条件下适用，全黑条件下则失效，且易受到强光影响。

图像融合是将两种来自不同时间或同一时间来自不同传感器所获取的关于同一场景的图像进行综合处理，并生成新的有关此场景解释的信息处理过程。利用图像融合技术，能够将两种不同来源的图像进行多级别、多层次、多方面地处理与综合，提取出更丰富、更精确可靠的关键信息。图像融合技术实现红外图像和低照度图像的融合，能够弥补各传感器的局限性，获得更为可靠的信息，使系统具有信息量大，可全天候观察等特点。目前的夜视装置仅能够提供单色的图像，利用图像融合中的伪彩色技术，则能够还原图像的彩色信息，更有助于目标识别。

目前，最常见的夜视融合技术是可见光与中、远红外波段的融合。从实现的手段上划分，图像融合的技术方案有两种：光学融合方法、全数字融合方法。简单光学融合依赖于光学结构，融合过程没有延迟，但融合的画面不方便调整，且无法实现储存记录功能；全数字融合方法将不同的夜视图像逐个像素地进行融合，能够更好地适应外界环境的变化，但是实现起来相对更复杂。

技术实现要素：

本发明解决的问题之一是：克服现有简单光学融合系统中图像质量较差的问题，基于全数字融合系统方案集成高性能数字图像处理算法并实现较好的图像融合效果。

本发明解决的问题之二是：克服现有融合系统中视场、时间同步较难的问题，利用光学同步调焦设计以及图像信号处理器同步触发设计方法，满足视场、时间同步的同步需求，简化图像配准算法和图像融合算法的复杂性。

本发明解决的问题之三是：针对便携式融合系统中算法复杂度高但要求处理器体积小的矛盾，采用嵌入式多核异构微处理器AM572x作为系统控制中心以及图像数字化融合算法的运行载体，使系统设计容易实现小型化、便携化。

本发明为了克服上述不足，提供一种便携式红外图像与低照度图像纯数字化融合系统的实现方案，具体通过如下措施来实现：

一种便携式红外图像与低照度图像融合系统，包括低照度光学镜组、红外光学镜组、同步调焦装置、低照度图像传感器、红外图像传感器、低照度图像传感器驱动模块、红外图像传感器驱动模块、图像传感器模拟前端、低照度图像信号处理器、红外图像信号处理器、同步信号发生器、主控处理器、图像同步采集模块、数字图像处理模块、图像显示控制模块、显示切换按键、第一微显示器、第二微显示器、第一显示器放大镜组、第二显示器放大镜组、处理器外围电路、电源模块，所述图像同步采集模块、数字图像处理模块、图像显示控制模块分别为主控处理器的子处理单元。

进一步，所述主控处理器为AM572X型嵌入式多核异构处理器。主控处理器采用德州仪器的Sitara多核异构处理器AM572x作为主处理器并执行图像采集、图像处理、图像显示等相关程序，其中图像采集过程主要由多核异构处理器中的ARM核心控制，而图像算法主要运行在多核异构处理器的DSP核心中。

进一步，所述低照度光学镜组（101）、红外光学镜组（102）、同步调焦装置（103）为一体联合设计。

进一步，所述低照度图像传感器为高灵敏度低照度图像传感器MCCD，具体型号为BG0601D。

进一步，所述图像传感器模拟前端包括低照度图像传感器模拟前端和红外图像传感器模拟前端，低照度图像传感器模拟前端和红外图像传感器模拟前端的芯片均采用AFE芯片。

进一步，所述同步信号发生器所产生的同步信号由8051单片机实现；

进一步，所述图像显示控制模块利用AM572X处理器中的协处理器实现。

进一步，所述数字图像处理模块由红外图像预处理、红外图像复制、低照度图像处理、低照度图像复制、数字图像配准、数字图像融合、输出图像选择构成。

进一步，所述显示切换按键用于切换显示模式，所支持的模式包括低照度图像显示模式、红外图像显示模式、融合图像显示模式。

进一步，所述第一微显示器和第二微显示器均为OLED微显示器，系统采用两个OLED微显示器作为显示器，且微显示器显示的图像经过放大镜组进一步放大使图像最终适合人眼观看。

进一步，所述电源模块包括锂电池、直流供电端子、电源管理模块、多路直流稳压器、输出端子。

进一步，处理器外围电路包括时钟震荡电路、复位电路、储存器。

本发明与现有技术相比，本发明具有以下优点：

（1）采用红外传感器与低照度图像传感器所采集的图像进行数字化融合，并以伪彩色方式显示融合后的图像信息；

（2）红外与低照度双路图像采集、调焦同步、时间同步的采集系统设计；

（3）采用体积较小的嵌入式多核异构微处理器作为系统控制中心以及图像数字化融合算法的运行载体，使设备具有便携性特征。同时，嵌入式多核异构微处理器的采用也保证了算法运行的流畅性，能够运行复杂度高、数据量大的数字图像融合算法；

（4）红外、低照度与伪彩色三种显示模式的双目微型OLED显示、切换功能。

附图说明

图1是本发明系统结构示意图；

图2是本发明数字图像处理模块实现框图；

图3是本发明电源模块内部原理图。

附图标记说明：101低照度光学镜组，102红外光学镜组，103同步调焦装置，104低照度图像传感器，105红外图像传感器，106低照度图像传感器模拟前端，107低照度图像传感器驱动模块，108红外图像传感器模拟前端，109红外图像传感器驱动模块，110低照度图像信号处理器ISP，111同步信号发生器，112红外图像信号处理器，113主控处理器，114图像同步采集模块，115数字图像处理模块，116图像显示控制模块，117显示切换按键，118第一微显示器，119第二微显示器，120第一显示器放大镜组，121第二显示器放大镜组，122处理器外围电路，123电源模块，201红外图像预处理，203红外图像复制，202低照度图像预处理，204低照度图像复制，205数字图像配准，206数字图像融合，207输出图像选择，301锂电池，302直流供电端子，303电源管理模块，304多路直流稳压器，305输出端子。

具体实施方式

以下将结合附图，对本发明的技术方案进行进一步描述：

如图1所示，本发明的系统结构由低照度光学镜组101、红外光学镜组102、同步调焦装置103、低照度图像传感器104、红外图像传感器105、低照度图像传感器模拟前端106、低照度图像传感器驱动模块107、红外图像传感器模拟前端108、红外图像传感器驱动模块109、低照度图像信号处理器ISP110、同步信号发生器111、红外图像信号处理器112、主控处理器113、图像同步采集模块114、数字图像处理模块115、图像显示控制模块116、显示切换按键117、第一微显示器118、第二微显示器119、第一显示器放大镜组120、第二显示器放大镜组121、处理器外围电路122、电源模块123组成。

所述系统工作原理为：场景的光学图像通过低照度光学镜组101和红外光学镜组102分别成像于低照度图像传感器104和红外图像传感器105中，低照度图像传感器驱动模块107和红外图像传感器驱动模块109分别为上述两个图像传感器提供基本驱动时序，这两个传感器同时启动并将光学图像转换为与图像强度分布呈正相关的电信号，低照度图像传感器模拟前端106和红外图像传感器模拟前端108对来自两个图像传感器的模拟信号分别进行放大，并完成模拟/数字的转换后，图像信号处理器ISP110根据同步信号发生器111产生同步信号对电信号进行同步采样、处理，将转换结果输出到视频接口总线；微处理器中的图像同步采集控制模块114输出同步信号，并从视频总线中接收图像数据到内存中，数字图像处理模块115从内存中分别提取红外图像和低照度图像，进而进行图像融合等相关处理工作；图像显示控制模块116输出时序逻辑信号，驱动两个显示器工作，将图像数据输出到第一微型显示器118和第二微型显示器119的数据输入端口，最后，两个微显示器屏幕中同步显示融合图像，并分别经第一光学放大镜组120和第二光学放大镜组121将图像进一步放大，使人眼能够观看到合适大小的画面。

所述图像同步采集模块114、数字图像处理模块115和图像显示控制模块116分别为主控处理器113的子处理单元，主控处理器113为AM572X型嵌入式多核异构处理器；采用德州仪器的Sitara多核异构处理器AM572x作为主处理器并执行图像采集、图像处理、图像显示等相关程序，其中图像采集过程主要由多核异构处理器中的ARM核心控制，而图像算法主要运行在多核异构处理器的DSP核心中。

所述融合系统通过实时采集红外图像和低照度图像作为图像源进行融合，红外图像由被动式非制冷焦平面红外探测器采集，低照度图像由被动式低照度图像传感器104采集。

所述低照度图像传感器104采用高灵敏度低照度图像传感器MCCD，具体型号为BG0601D。

所述系统在光学设计上采用了同步调焦设计和初步同视场设计，所述低照度光学镜组101、红外光学镜组102、同步调焦装置103为一体联合设计，即利用一个调焦旋钮同时控制两个光路中的透镜位置，可在光学上保证红外图像传感器105和低照度图像传感器104所呈图像大小一致的效果，从而实现两个传感器同步调焦的功能；

为实现同步曝光，使用一个同步信号发生器产生同步信号同时控制两个图像信号处理器启动采集和转换，以保证每次采集时捕获到同一个时刻的红外图像和可见光图像。

所述同步信号发生器111所产生的同步信号由8051单片机实现，该单片机能够根据配置参数产生固定频率和占空比的同步脉冲。

所述低照度图像传感器模拟前端106和红外图像传感器模拟前端108均采用通用的AFE芯片，如TLV990。两个图像传感器模拟前端AFE对来自两个图像传感器的模拟信号分别进行放大，并完成模拟-数字的转换，最后输出数字信号给后一个处理单元。

所述的低照度图像传感器驱动模块107和红外图像传感器驱动模块109驱动图像传感器的过程为：将图像信号处理器ISP输出的驱动逻辑转换成低照度图像传感器及红外图像传感器的高压驱动信号，驱动低照度图像传感器和红外图像传感器实现图像像素扫描。

所述低照度图像信号处理器110和红外图像信号处理器112即图像信号处理器ISP对来自图像传感器的图像数据做初级数字图像处理，包括自动曝光控制AEC、自动增益控制AGC和白平衡AWB、伽马Gamma矫正，处理后以并行方式输出到视频总线中并由处理器中的图像同步采集模块114采集，且上述图像信号处理器对图像数据进行初步处理的方法和参数是能够被后端处理器调整设置。

所述融合系统开始采集一次图像时，图像同步采集模块114首先发送一个采集指令，同步信号发生器111将指令转换为同步采集脉冲，采集脉冲触发图像信号处理器ISP启动一次图像采集，待采集完毕后，同步采集模块114从总线中读取图像数据至内存中。

如图2所示，数字图像处理模块115由红外图像预处理201、红外图像复制203、低照度图像预处理202、低照度图像复制204、数字图像配准205、数字图像融合206、输出图像选择207构成，以上子功能模块的处理过程是利用现有软件算法实现的。其中，红外图像预处理201对图像进行初步的图像增强和滤波处理；红外图像复制203和低照度图像复制204过程分别将图像复制为两个副本，其中一个副本用于图像配准和图像融合处理，另外一个副本用于直接显示；数字图像配准205过程利用图像配准算法对图像进行矫正和配准，使两幅图像中的对象在位置上重叠、统一；配准后的图像通过图像融合算法进行融合，产生一幅融合后的图像；图像选择器根据按钮状态从3幅图像复制的红外图像、复制的低照度图像、融合图像中选择一幅图像输出到显示设备。

所述图像显示控制模块116利用AM572X处理器中的协处理器实现，其功能是输出驱动逻辑，驱动OLED显示器工作。

所述显示器即第一微显示器118和第二微显示器119为两个型号为SVGA050的微型显示器，为0.5英寸微型OLED显示器，两个显示器显示的内容一致，微显示器显示的图像经过光学放大镜组进一步放大，使适合人眼观察。

特别的，所述系统还包括显示切换按键117，该切换按键用于切换显示模式，每按一次切换按钮，系统就切换一个模式，所支持模式包括：纯低照度显示模式、纯红外显示模式、融合图像显示模式。

所述电源模块123为整个系统提供多种稳定可靠的供电电压，为实现便携式系统设计，供电方式包括AC适配器供电和锂电池供电两种方式，且系统适配器采用DC 12V/2A适配器。

如图3所示，所述电源模块123包括锂电池301、直流供电端子302、电源管理模块303、多路直流稳压器304、输出端子305，所述锂电池301和直流供电端子302为两种备选供电方式，默认采用电池供电。当有外部供电时切换到内部供电，同时给锂电池充电；切换过程以及给锂电池充电的控制过程均由电源管理模块303实现；多路直流稳压器304提供多种稳定的直流电压输出，提供能量给系统各个模块；各个电压最终通过输出端子305输出。

所述处理器外围电路122包括时钟震荡电路、复位电路、储存器等，为处理器提供基本工作条件。