专利名称：一种基于sopc的双路视频融合处理装置及其融合方法
技术领域：
本发明涉及一种基于SOPC ( System-on-a-Programmable-Chip)的双路视频融合处理装置及其融合方法，特别是对于紫外相机视频信号及背景视频信号融合的处理系统。
背景技术：
通过不同波段的摄像机对同一场景拍摄获得的视频信息具有一定的相关性和互补性，将两路视频信号经过图像融合技术获得一路视频信号，则能够保存更多的信息，对图像源的特征有更精准和全面的认识。双路视频融合的处理技术可以用于科学研究、工农业生产、军事技术、医疗卫生等领域。在军事领域中的应用主要有海防监控、目标识别、双波段成像制导等。在高压电路传输、变电站和配电系统的检测方面，可以使用可见光和紫外双波段的视频信号融合来检测系统的运行状态。专利文件“基于A R M和D S P异构双核处理器的图像融合系统和方法”(专利号200910196270)提供了一种了采用 A RM (Advanced RISC Machines)和 DSP (digital signal processor)双核处理的方式，通过ARM调用D S P的嵌入式系统来共同完成图像融合，其缺点是使用较多的处理器内核，功耗比较大，电路板布局比较复杂，成本较高。
发明内容
本发明为解决使用ARM、DSP双核处理功耗大、电路板布局复杂、成本高等技术问题提供一种基于SOPC的双路视频融合处理装置及其融合方法。本发明解决上述技术问题的技术方案如下一种基于SOPC的双路视频融合装置， 包括第一 A/D转换器、第二 A/D转换器、可编程芯片系统和显示设备，
所述第一 A/D转换器的输入端与所述紫外相机的输出端连接，所述第一 A/D转换器的输出端与所述可编程芯片系统连接，用于将接收的模拟视频信号转化为数字视频信号，并将其发送至所述可编程芯片系统；
所述第二 A/D转换器的输入端与可见光相机的输出端连接，其输出端与所述可编程芯片系统连接，用于将接收的模拟视频信号转化为数字视频信号，并将其发送至所述可编程芯片系统；
所述可编程芯片系统，由FPGA芯片及及其外围电路组成，用于将所接收的所述第一 A/ D转换器、所述第二 A/D转换器传输的数字视频信号、进行融合、字幕叠加后发送至所述显不设备显不。进一步的，所述可编程芯片系统包括阈值分割模块、图像存储模块、图像融合模块、字幕叠加和进程控制模块、以及图像显示模块，
所述阈值分割模块，用于根据设定的阈值、将接收的所述第一 A/D转换器发送的数字视频信号分割为0和1的二值图像信息，并将其存储到图像存储模块；
所述图像融合模块，将所述二值图像信息与所述第二 A/D转换器发送的数字视频信号，依据选定的图像融合算法，融合为一路视频信号，并将其发送至所述字幕叠加和进程控
4制模块；
所述字幕叠加和进程控制模块，用于控制所述可编程芯片系统的运行状态、以及将字幕叠加到所述图像融合模块发送的视频信号上，并将其发送至所述图像显示模块；
所述图像显示模块，用于将所述字幕叠加和进程控制模块发送的视频信号转换为模拟视频信号，并将其发送至所述显示设备显示。进一步的，还包括与字幕叠加和进程控制模块连接的输入模块，用于输入字幕的颜色或图像的颜色或其他控制信息，实现人机交互。一种通过权利要求1至3任一项所述的基于SOPC的双路视频融合装置实现的双路视频融合方法，包括以下步骤
步骤1 所述第一 A/D转换器将所述紫外相机输出的模拟视频信号转换为数字视频信号并传输至所述可编程芯片系统，同时，所述第二 A/D转换器将所述可见光相机输出的模拟视频信号转换为数字视频信号并传输至所述可编程芯片系统；
步骤2 所述可编程芯片系统将所述第一 A/D转换器传输的数字视频信号和所述第二 A/D转换器传输的数字视频信号融合为一路视频信号，并将其输出至所述显示设备显示。进一步的，所述步骤2包括
步骤2. 1 所述阈值分割模块根据设定的阈值、将接收的所述第一 A/D转换器发送的数字视频信号分割为0和1的二值图像信息，并将其存储到图像存储模块；
步骤2. 2 所述图像融合模块，将所述二值图像信息与所述第二 A/D转换器发送的数字视频信号融合为一路视频信号，并将其发送至所述字幕叠加和进程控制模块；
步骤2. 3 所述字幕叠加和进程控制模块将字幕叠加到所述图像融合模块发送的视频信号上，并将其发送至所述图像显示模块；
步骤2. 4 所述图像显示模块将所述字幕叠加和进程控制模块发送的视频信号转换为模拟视频信号，并将其发送至所述显示设备显示。进一步的，所述步骤2. 3中，所述字幕叠加和进程控制模块将字幕叠加到所述图像融合模块发送的视频信号上，可通过输入模块设置字幕的颜色，并将经过上述处理的视频信号发送至所述图像显示模块。进一步的，所述步骤2. 2中的图像融合算法为双线性插值算法。本发明的有益效果是本装置使用SOPC作为控制系统中心，在一片FPGA上完成视频采集，图像融合，字幕叠加等功能，结构设计紧凑，系统可靠性高。通用性本系统不仅可以用作一路黑白、一路彩色图像的融合，也可以用作两路黑白或两路彩色图像的融合，具有较好的通用性。可扩展性在模拟信号处理的基础上，本装置也可以通过扩展接口，处理数字式输入的视频信号，能够在更广泛的范围内使用
人机交互性本装置加上显示装置和按键，能够较好地实现人机交互，通过键盘控制叠加灰度图像的颜色，和字幕的颜色等。多用途性本装置不仅可以用在紫外成像仪中，也可以使用在有相对关系的两路图像的叠加上，也可以只使用一路图像，并控制相关的设备。
图1为本发明双路视频融合装置的结构框图； 图2为本发明双路视频硬件结构框图3为电路板系统电源连接图； 图4为本发明融合方法流程图。
具体实施例方式以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。如图1所示，一种基于SOPC的双路视频融合装置，包括第一 A/D转换器、第二 A/D 转换器、可编程芯片系统和显示设备，
所述第一 A/D转换器的输入端与所述紫外相机的输出端连接，所述第一 A/D转换器的输出端与所述可编程芯片系统连接，用于将接收的模拟视频信号转化为数字视频信号，并将其发送至所述可编程芯片系统；
所述第二 A/D转换器的输入端与可见光相机的输出端连接，其输出端与所述可编程芯片系统连接，用于将接收的模拟视频信号转化为数字视频信号，并将其发送至所述可编程芯片系统；
所述可编程芯片系统，由FPGA芯片及及其外围电路组成，用于将所接收的所述第一 A/ D转换器、所述第二 A/D转换器传输的数字视频信号、进行融合、字幕叠加后发送至所述显不设备显不。所述可编程芯片系统包括阈值分割模块、图像存储模块、图像融合模块、字幕叠加和进程控制模块、以及图像显示模块，
所述阈值分割模块，用于根据设定的阈值、将接收的所述第一 A/D转换器发送的数字视频信号分割为0和1的二值图像信息，并将其存储到图像存储模块；
所述图像融合模块，将所述二值图像信息与所述第二 A/D转换器发送的数字视频信号融合为一路视频信号，并将其发送至所述字幕叠加和进程控制模块；
所述字幕叠加和进程控制模块，用于控制所述可编程芯片系统的运行状态、以及将字幕叠加到所述图像融合模块发送的视频信号上，并将其发送至所述图像显示模块；
所述图像显示模块，用于将所述字幕叠加和进程控制模块发送的视频信号转换为模拟视频信号，并将其发送至所述显示设备显示。可编程芯片系统还包括产生各个模块所要求的工作时钟和供电路板使用的本地同步时钟的时钟模块。可编程芯片系统还包括与字幕叠加和进程控制模块连接的输入模块，用于输入字幕的颜色或图像的颜色或其他控制信息，实现人机交互。如图2所示，所述现场可编程门阵列FPGA芯片采用Xilinx公司Vietex-4系列的芯片，它是本系统硬件的核心。FPGA除了与IDT72V659S (作为图像存储模块的DPRAM)以及第一 A/D转换器、第二 A/D转换器连接以外，还连接用键盘接口(本实施例中的输入模块采用键盘)和备用接口。所述FPGA芯片周围的主要芯片有
FPGA芯片的配置芯片采用XCF32P，存储容量为32Mbits。在FPGA中可以通过M[2:0] 选择FPGA在上电时的配置模式，在本系统中使用Sbits并行的配置模式。配置芯片与FPGA在JTAG上为菊花链的结构。第一 A/D转换器和第二 A/D转换器均采用芯片ADV7180，能够将PAL制式的模拟视频信号转化为16位的YCrCb分量的数字视频信号，并输出行场同步信号和时钟信号到现场可编程门阵列FPGA中，这些信号将作为图像融合模块融合图像的输入信息。图像存储模块采用DPRAM芯片IDT72V659S，用来缓存紫外图像数据，并缓存字幕叠加和进程控制模块所需要的信息。DPRAM芯片，容量为128K χ 36字节，配置成够满足绝大多数情况下对需要处理的图像的容量要求。本系统32位连接到FPGA上，能将DPRAM的两个端口都接入到FPGA 中，接数据线的是时候接的是按照 LD[7:0]、LD[16:9]、LD[25:18]、LD[35:27]、RD[7:0]、 RD[16:9]、RD[25:18]、RD[35:27]的方式连接的。这样连接的原因是，DPRAM在操作的是以 9bits为一个单位进行操作的，其中的Byte Enable信号都是针对9bits设计的，但是常用的数据格式为Sbits的，在设计的时候，取9bits数据的低Sbits接到FPGA进行操作。图像显示模块采用模拟信号输出芯片采用ADV7170，它能够将FPGA输入的数字信号和FPGA输入的行场同步信号及时钟信号合成为PAL制式的模拟信号，送到显示设备显示出来。电源电路模块由2块开关电源变换芯片和2块线性电源变换芯片组成，分别提供 +5V、3. 3V、1. 8V和1. 2V的电压到信号处理电路板。图3为电路板系统电源连接图，通过PTH78060将12V的外接电源转为3. 3V，在通过PTH04070将3. 3V转化为1. 2V，这个是FPGA工作的内核电压。通过LT1963AEST-1. 8将 3. 3V 的电压转化为 1. 8V，为 FPGA 的 I/O 口及 ADV7180 供电。通过 LT1963AEST-2. 5 将 3. 3V 的电压转化为2. 5V，为FPGA的I/O提供工作电压。在本系统中设计了一个电源监控系统。电源监控系统使用的芯片为TPS3307。该芯片可以监控3. 3V，2. 5V以及一个可以配置的高于1. 25V的电源。在设计中中将3. 3V、2. 5V 以及1. 8V作为监控对象。当这些电源低于预设值的时候系统就会复位。如图4所示，一种通过基于SOPC的双路视频融合装置实现的双路视频融合方法， 包括以下步骤
步骤1 所述第一 A/D转换器将所述紫外相机输出的模拟视频信号转换为数字视频信号并传输至所述可编程芯片系统，同时，所述第二 A/D转换器将所述可见光相机输出的模拟视频信号转换为数字视频信号并传输至所述可编程芯片系统；
步骤2 所述可编程芯片系统将所述第一 A/D转换器传输的数字视频信号和所述第二 A/D转换器传输的数字视频信号融合为一路视频信号，并将其输出至所述显示设备显示。进一步的，所述步骤2包括
步骤2. 1 所述阈值分割模块根据设定的阈值、将接收的所述第一 A/D转换器发送的数字视频信号分割为0和1的二值图像信息，并将其存储到图像存储模块；
步骤2. 2 所述图像融合模块，采用设定的图像融合算法将所述二值图像信息与所述第二 A/D转换器发送的数字视频信号融合为一路视频信号，并将其发送至所述字幕叠加和进程控制模块；所述图像融合算法为双线性插值算法，还可以将所述二值图像的信息和所述第二 A/D转换器发送的数字视频信号叠加，也可以使用其他的视频融合算法；
步骤2. 3 所述字幕叠加和进程控制模块将字幕叠加到所述图像融合模块发送的视频信号上，并将其发送至所述图像显示模块；
步骤2. 4 所述图像显示模块将所述字幕叠加和进程控制模块发送的视频信号转换为模拟视频信号，并将其发送至所述显示设备显示。进一步的，所述步骤2. 3中，所述字幕叠加和进程控制模块将字幕叠加到所述图像融合模块发送的视频信号上，可通过输入模块设置字幕的颜色，并将经过上述处理的视频信号发送至所述图像显示模块。系统工作时，通过配置芯片XCF32配置FPGA，FPGA启动之后，通过配置模块和IIC 总线配置ADV7180，使其输出8:4:4的YCrCb分量的彩色视频信号，连接可见光相机的A/D 转换芯片输出彩色图像，连接紫外相机的A/D转换芯片输出灰度图像。两路A/D转换芯片正常工作之后，将转换后的数字信号输入到FPGA中，FPGA读取两视频数据，并对由紫外相机传输过来的灰度图像进行预处理，将其分割为二值图像之后存储在内部RAM中。同时图像融合模块依据相关的参数，将处理后的二值图像和可见光图像融合在一起，融合处理后，通过数字转模拟芯片转换之后输出视频信号到显示模块上。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
8
权利要求
1.一种基于SOPC的双路视频融合装置，其特征在于包括第一 A/D转换器、第二 A/D转换器、可编程芯片系统和显示设备，所述第一 A/D转换器的输入端与所述紫外相机的输出端连接，所述第一 A/D转换器的输出端与所述可编程芯片系统连接，用于将接收的模拟视频信号转化为数字视频信号，并将其发送至所述可编程芯片系统；所述第二 A/D转换器的输入端与可见光相机的输出端连接，其输出端与所述可编程芯片系统连接，用于将接收的模拟视频信号转化为数字视频信号，并将其发送至所述可编程芯片系统；所述可编程芯片系统，由FPGA芯片及及其外围电路组成，用于将所接收的所述第一 A/ D转换器、所述第二 A/D转换器传输的数字视频信号、进行融合、字幕叠加后发送至所述显不设备显不。
2.根据权利要求1所述的基于SOPC的双路视频融合装置，其特征在于所述可编程芯片系统包括阈值分割模块、图像存储模块、图像融合模块、字幕叠加和进程控制模块、以及图像显示模块，所述阈值分割模块，用于根据设定的阈值、将接收的所述第一 A/D转换器发送的数字视频信号分割为0和1的二值图像信息，并将其存储到图像存储模块；所述图像融合模块，将所述二值图像信息与所述第二 A/D转换器发送的数字视频信号，依据选定的图像融合算法，将两路视频信号融合为一路视频信号，并将其发送至所述字幕叠加和进程控制模块；所述字幕叠加和进程控制模块，用于控制所述可编程芯片系统的运行状态、以及将字幕叠加到所述图像融合模块发送的视频信号上，并将其发送至所述图像显示模块；所述图像显示模块，用于将所述字幕叠加和进程控制模块发送的视频信号转换为模拟视频信号，并将其发送至所述显示设备显示。
3.根据权利要求2所述的基于SOPC的双路视频融合装置，其特征在于还包括与字幕叠加和进程控制模块连接的输入模块，用于输入字幕的颜色或图像的颜色或其他控制信息，实现人机交互。
4.一种通过权利要求1至3任一项所述的基于SOPC的双路视频融合装置实现的双路视频融合方法，其特征在于包括以下步骤步骤1 所述第一 A/D转换器将所述紫外相机输出的模拟视频信号转换为数字视频信号并传输至所述可编程芯片系统，同时，所述第二 A/D转换器将所述可见光相机输出的模拟视频信号转换为数字视频信号并传输至所述可编程芯片系统；步骤2 所述可编程芯片系统将所述第一 A/D转换器传输的数字视频信号和所述第二 A/D转换器传输的数字视频信号融合为一路视频信号，并将其输出至所述显示设备显示。
5.根据权利要求4所述的双路视频融合方法，其特征在于所述步骤2包括步骤2. 1 所述阈值分割模块根据设定的阈值、将接收的所述第一 A/D转换器发送的数字视频信号分割为0和1的二值图像信息，并将其存储到图像存储模块；步骤2. 2 所述图像融合模块，将所述二值图像信息与所述第二 A/D转换器发送的数字视频信号，依据相关的图像融合算法，融合为一路视频信号，并将其发送至所述字幕叠加和进程控制模块；步骤2. 3 所述字幕叠加和进程控制模块将字幕叠加到所述图像融合模块发送的视频信号上，并将其发送至所述图像显示模块；步骤2. 4 所述图像显示模块将所述字幕叠加和进程控制模块发送的视频信号转换为模拟视频信号，并将其发送至所述显示设备显示。
6.根据权利要求5所述的双路视频融合方法，其特征在于所述步骤2.3中，所述字幕叠加和进程控制模块将字幕叠加到所述图像融合模块发送的视频信号上，可通过输入模块设置字幕的颜色，并将经过上述处理的视频信号发送至所述图像显示模块。
7.根据权利要求5所述的双路视频融合方法，其特征在于所述步骤2.2中的图像融合算法为双线性插值算法。
全文摘要
本发明涉及一种基于SOPC的双路视频融合装置，包括第一A/D转换器、第二A/D转换器、可编程芯片系统和显示设备，第一A/D转换器的输入端与紫外相机的输出端连接，第一A/D转换器的输出端与可编程芯片系统连接，用于将接收的模拟视频信号转化为数字视频信号，并将其发送至可编程芯片系统；第二A/D转换器的输入端与可见光相机的输出端连接，其输出端与可编程芯片系统连接，用于将接收的模拟视频信号转化为数字视频信号，并将其发送至可编程芯片系统；可编程芯片系统，由FPGA芯片及及其外围电路组成，用于将所接收的第一A/D转换器、第二A/D转换器传输的数字视频信号、进行融合、字幕叠加后发送至显示设备显示。本发明还涉及一种融合方法。
文档编号H04N5/265GK102523389SQ201110417548
公开日2012年6月27日 申请日期2011年12月14日 优先权日2011年12月14日
发明者商凯, 王建辉, 王文涵, 王斌, 金明智, 钟胜 申请人:武汉市兑尔科技有限公司