专利名称：一种视频拼接器的制作方法
技术领域：
本实用新型涉及一种视频拼接器。
背景技术：
目前对于多路视频拼接技术主要采取如下方案，分离一路成像器件同步信号，对其它路成像器件进行外同步，并使用专用的解码芯片，以达到多路视频信号的完全同步，视频数据的随意切换、拼接。此种技术方案可以实现视频的拼接，但控制电路庞大、时序复杂且设计十分复杂。 因此，希望由一种新型的装置来实现视频拼接，且该装置的结构与时序相对简单。
实用新型内容本实用新型的目的是提供一种结构与时序相对简单的视频拼接装置来实现。[0005] 本实用新型的目的是通过提供一种基于FPGA的新型视频拼接装置而实现的。所述视频拼接装置包括多组帧缓存FIFO,每组帧缓存FIFO适于与一个提供数字化图像信息及其行场同步控制信号的相应视频信号源相连接以接收所述数字化图像信息，且每组帧缓存FIFO包括两个帧缓存FIFO,每个所述帧缓存FIFO包括用于输出经其缓存的数字化图像信息的图像信息输出端口和用于接收控制信号的控制端。所述视频拼接装置还包括FPGA数据处理模块，所述FPGA数据处理模块适于与各所述视频信号源相连接而接收所述行场同步控制信号，所述FPGA数据处理模块进一步与所述各帧缓存FIFO的控制端相连接并适于接收经各帧缓存FIFO缓存的数字化图像信息，其中所述FPGA数据处理模块设置成基于所述行场同步控制信号而控制所述各帧缓存FIFO从相连的相应视频信号源接收数字化图像信息和/或输出其缓存的数字化图像信息在奇场，各视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第一帧缓存FIFO中，在偶场，各视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第二帧缓存FIFO中。在奇场，所述多组帧缓存FIFO的各所述第二帧缓存FIFO依次输出经其缓存的数字化图像信息，在偶场，所述多组帧缓存FIFO的各所述第一帧缓存FIFO依次输出经其缓存的数字化图像信息。[0006] 由于上述视频拼接装置仅涉及较少的元器件，并采用FPGA进行数据处理和控制，从而以一种简单的电路结构与简单的时序实现了两路或多路视频的拼接。[0007] 优选地，所述每个帧缓存FIFO的控制端可以包括片选控制端(OE)、读复位控制端(RRST)、读使能控制端(RE)、写复位控制端(WRST)和写使能控制端(WE)。从而通过所述控制端，可以简单地控制每个帧缓存FIFO。当然，用于本实用新型的帧缓存FIFO也可以具有更多的控制端。例如，还可以具有片选控制端，用于对帧缓存FIFO进行片选。用于本实用新型的帧缓存FIFO也可以具有较多的控制端。例如，还可以具有片选控制端，用于对帧缓存FIFO进行片选。如本领域的普通技术人员可以理解的，用于本实用新型的帧缓存FIFO也可以具有较少的控制端。例如，只使用一个复位端来进行复位。 优选地，所述帧缓存FIFO可以为FIFO AL422B。从而可以更好地满足高速、大容量和低成本的系统要求。 优选地，所述视频拼接装置可以进一步包括多个CMOS视频传感器用作所述视频信号源，每个所述CMOS视频传感器对应一组帧缓存FIFO。从而所述视频拼接装置可以用作经拼接图像的信号源。优选地，所述视频拼接装置可以进一步包括S3C2440处理器，所述S3C2440处理器
向各所述CMOS视频传感器提供所述外部时钟，以及接收FPGA数据处理模块输出的图像数
据信号和行场同步信号。从而，可以方便的连接至显卡，实现数据格式的转化。优选地，所述CMOS视频传感器的数量可以为两个。从而，所述视频拼接装置用于
将两路视频拼接在一起。例如将两路视频上下拼接在一起。需要指出的是，视频拼接装置可
以具有多组帧缓存FIFO，但仅仅使用其中中的两组。每个CMOS视频传感器与帧缓存FIFO
组的对应关系是可以人工或自动调整的。 优选地，所述多组帧缓存FIF0的数量可以为两组。从而所述视频拼接装置用作两路视频拼接器，从而具有最简单的结构。此外，在以隔行写入的方式对帧缓存FIFO进行写入时，合成后的图像与输入的图像(每一路视频中的图像帧)具有相同的大小(象素数相同)，并且图像的输入速度与输出速度保持相同。从而，非常有利于在第一路视频、第二路视频以及合成后的视频之间进行切换，而不需要进行复杂的控制和处理。[0013] 本实用新型还提供一种视频拼接方法。所述视频拼接方法包括以下步骤提供同步的多路视频数据流，各路所述视频数据流包括数字化图像信息及其行场同步控制信号；提供多组帧缓存FIF0，每组帧缓存对应一路视频数据流，且每组所述帧缓存FIFO包括一个第一帧缓存FIFO和一个第二帧缓存FIFO ;将各路所述视频数据流中的数字化图像信息输送至其相应的一组帧缓存FIFO中，其中在奇场，将各视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第一帧缓存FIFO中，在偶场，将各视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第二帧缓存FIFO中；以及使得所述多组帧缓存FIFO输出经其缓存的数字化图像信息，其中，在奇场，所述多组帧缓存FIFO的各所述第二帧缓存FIFO依次输出经其缓存的数字化图像信息，在偶场，所述多组帧缓存FIFO的各所述第一帧缓存FIFO依次输出经其缓存的数字化图像信息。从而，以一种简单的方式将多路视频简单地拼接在一起。 优选地，所述视频拼接方法采用隔行写入的方式将各路视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第一帧缓存FIFO和第二帧缓存FIFO。从而，以简单的方式实现图像的压縮。 优选地，所述多路视频数据流的数量为两组，且所述多组帧缓存FIFO的数量也是两组。合成后的图像与输入的图像(每一路视频中的图像帧)具有相同的大小(象素数相同)，并且图像的输入速度与输出速度保持相同。从而，非常有利于在第一路视频、第二路视频以及合成后的视频之间进行切换(例如，通过上位机选择显示模式，即选择输入至显示器的视频是第一路视频、第二路视频还是拼接之后的视频)，而不需要进行复杂的控制和处理。 根据本实用新型的一实施例的视频拼接器采用4片大容量帧FIF0存储器，接收视频数据流。FIF0分别缓存4帧数据(图像数据)，在FPGA产生的读写控制信号控制下，两路视频交替输出，构成一幅完整的拼接视频。。与现有技术相比具有帧速率高、图像稳定、无缝拼接的优点，增加FIFO数量可以很方便的实现任意多路、任意部分的视频拼接。 本实用新型可以提供一种2路CMOS视频信号上下拼接显示的方法。拼接显示的
图像帧速率与原有CMOS视频信号的帧速率相同，而且利用FPGA完全模拟了 S3C2440的CI
接口 (CAMERA INTERFACE)，实现了 2路CMOS视频信号与S3C2440的无缝连接。 根据本实用新型的一个方面，所述视频拼接器可以包括CMOS视频传感器、帧缓存
FIFO、FPGA芯片和S3C2440处理器组成。CMOS视频传感器在外部时钟驱动下完成光电转换，
产生数字化图像信息与行场同步控制信号。帧缓存FIFO能够容纳一帧完整图像，用于缓存
数据，实现视频同步。FPGA接收各路CMOS图像数据与控制信号，根据图像拼接和拼接要求，
产生各FIFO片选、读写控制信号，完成拼接后的图像数据和行场同步信号的输出。S3C2440
提供CAMERA接口 ，产生CMOS驱动时钟，分别采集图像数据信号和行场同步信号，能够非常
方便完成图像数据的采集。 根据本实用新型的一个方面，所述视频拼接器可以包括CMOS传感器、视频帧缓存FIFO、FPGA控制器、ARM CAMERA接口 ，通过上位机ARM设定图像显示模式，由FPGA控制各帧缓存FIFO动态连续的切换，完成图像数据的连续输出、存储，视频同步控制信号的输出，从而达到视频的拼接合成的目的。
图1为根据本实用新型一实施例的的示意性原理图；[0021] 图2为根据本实用新型的两路视频拼接器的时序逻辑具体实施方式根据本实用新型的一个实施例，视频拼接装置包括多组帧缓存FIFO(在图1中示出为AL422B，但也可以采用其它FIFO器件)，每组帧缓存FIFO适于与一个提供数字化图像信息及其行场同步控制信号的相应视频信号源相连接以接收所述数字化图像信息，且每组帧缓存FIFO包括两个帧缓存FIFO,每个所述帧缓存FIFO包括用于输出经其缓存的数字化图像信息的图像信息输出端口和用于接收控制信号的控制端。所述视频拼接装置还包括FPGA数据处理模块(即图1中的FPGA)，所述FPGA数据处理模块适于与各所述视频信号源相连接而接收所述行场同步控制信号，所述FPGA数据处理模块进一步与所述各帧缓存FIFO的控制端相连接并适于接收经各帧缓存FIFO缓存的数字化图像信息，其中所述FPGA数据处理模块设置成基于所述行场同步控制信号而控制所述各帧缓存FIFO从相连的相应视频信号源接收数字化图像信息和/或输出其缓存的数字化图像信息在奇场，各视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第一帧缓存FIFO中，在偶场，各视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第二帧缓存FIFO中。在奇场，所述多组帧缓存FIFO的各所述第二帧缓存FIFO依次输出经其缓存的数字化图像信息，在偶场，所述多组帧缓存FIFO的各所述第一帧缓存FIFO依次输出经其缓存的数字化图像信息。由于上述视频拼接装置仅涉及较少的元器件，并采用FPGA进行数据处理和控制，从而以一种简单的电路结构与简单的时序实现了两路或多路视频的拼接。 如图1中所示，每个帧缓存FIFO的控制端可以包括片选控制端(OE)、读复位控制端(RRST)、读使能控制端(RE)、写复位控制端(WRST)和写使能控制端(WE)。从而通过所述控制端，可以简单地控制每个帧缓存FIF0。当然，用于本实用新型的帧缓存FIFO也可以具有更多的控制端。例如，还可以具有片选控制端，用于对帧缓存FIFO进行片选。用于本实用新型的帧缓存FIFO也可以具有较多的控制端。例如，还可以具有片选控制端，用于对帧缓存FIFO进行片选。如本领域的普通技术人员可以理解的，用于本实用新型的帧缓存FIFO也可以具有较少的控制端。例如，只使用一个复位端来进行复位。 如前所述，采用AL422B作为帧缓存FIFO。从而可以更好地满足高速、大容量和低成本的系统要求。但也可以采用其它FIFO器件，只要其容量和速度符合要求可以容纳输入视频的一帧图像或者半帧图像(采取隔行压縮时)，存取速度可以满足系统要求。[0025] 在一实施例中，所述视频拼接装置可以进一步包括多个CMOS视频传感器用作所述视频信号源，每个所述CMOS视频传感器对应一组帧缓存FIFO。从而所述视频拼接装置可以用作经拼接图像的信号源。 在一实施例中，所述视频拼接装置可以进一步包括S3C2440处理器，所述S3C2440处理器向各所述CMOS视频传感器提供所述外部时钟，以及接收FPGA数据处理模块输出的图像数据信号和行场同步信号。从而，可以方便的连接至显卡，实现数据格式的转化。[0027] 在图1所示的实施例中，所述CMOS视频传感器的数量为两个。从而，所述视频拼接装置用于将两路视频拼接在一起。例如将两路视频上下拼接在一起。需要指出的是，视频拼接装置可以具有多组帧缓存FIFO,但仅仅使用其中中的两组。每个CMOS视频传感器与帧缓存FIFO组的对应关系是可以人工或自动调整的。 进一步地，在图1所示的实施例中，所述多组帧缓存FIF0的数量为两组。从而所述视频拼接装置用作两路视频拼接器，从而具有最简单的结构。此外，在以隔行写入的方式对帧缓存FIFO进行写入时，合成后的图像与输入的图像(每一路视频中的图像帧)具有相同的大小(象素数相同)，并且图像的输入速度与输出速度保持相同。从而，非常有利于在第一路视频、第二路视频以及合成后的视频之间进行切换，而不需要进行复杂的控制和处理。[0029] 本实用新型还提供一种视频拼接方法。所述视频拼接方法包括以下步骤提供同步的多路视频数据流，各路所述视频数据流包括数字化图像信息及其行场同步控制信号；提供多组帧缓存FIFO,每组帧缓存对应一路视频数据流，且每组所述帧缓存FIFO包括一个第一帧缓存FIFO和一个第二帧缓存FIFO ;将各路所述视频数据流中的数字化图像信息输送至其相应的一组帧缓存FIFO中，其中在奇场，将各视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第一帧缓存FIFO中，在偶场，将各视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第二帧缓存FIFO中；以及使得所述多组帧缓存FIFO输出经其缓存的数字化图像信息，其中，在奇场，所述多组帧缓存FIFO的各所述第二帧缓存FIFO依次输出经其缓存的数字化图像信息，在偶场，所述多组帧缓存FIFO的各所述第一帧缓存FIFO依次输出经其缓存的数字化图像信息。从而，以一种简单的方式将多路视频简单地拼接在一起。 在一优选实施例中，所述视频拼接方法采用隔行写入的方式将各路视频数据流中的数字化图像信息写入其相应组的帧缓存FIFO的第一帧缓存FIFO和第二帧缓存FIFO。从而，以简单的方式实现图像的压縮。[0031]
以下结合附图本实用新型进一步说明。 如图1所示，根据本实用新型一实施例的视频拼接装置包括CMOS传感器CMOS-X、CM0S-Y ;、帧缓存FIF0-X1、FIF0-X2、FIF0-Y1和FIF0-Y2 ;以及FPGA(Field ProgrammableGate Array,现场可编程门阵列)数据处理模块。CMOS视频传感器CM0S-X和CM0S-Y各自在外部时钟驱动下完成光电转换，产生数字化图像信息与行场同步控制信号。每个所述帧缓存FIFO能够容纳视频流的一帧完整图像，用于缓存数据，实现视频同步。也可以只容纳半帧图像(例如，采取隔行压縮时，只需容纳隔行抽取后的半帧图像)。FPGA数据处理模块3与各帧缓存FIFO连接以接收各路CMOS图像数据，FPGA数据处理模块3进一步与各CMOS传感器相连接以接收同步信号。所述同步信号例如包括场同步信号VSYNC_X、 VSYNC_Y ;行同步信号HREF_X、 HREF_Y ;以及象素时钟PCLK_X、 PCLK_Y。 FPGA数据处理模块3设置成根据图像拼接要求，产生各FIFO片选、读写控制信号以控制所述帧缓存FIFO的读写，并输出完成拼接后的图像数据和行场同步信号。 两片图像传感器CM0S_X和CM0S_Y在外来时钟驱动下完成光电转换而生成数字化图像信息，并分别产生场同步信号VSync_X、VSync_y和行同步信号href_X、href_y ;以及象素时钟pclk—x、 pclk_y。可以使用CM0S_X的控制信号作为整个视频拼接装置的同步信号标准，以实现各CMOS的视频同步。当然，也可以使用CM0S_Y的控制信号作为整个视频拼接装置的同步信号标准来实现各CMOS的视频同步。 为了方便控制而引入中间信号vsyncx_ctr、 vsyncy_ctr。如图2所示，中间信号vsyncx—ctr、 vsyncy_ctr分另U在vsync_x、 vsync_y (图中没有不出，其波形与vsync相同)上升沿转换极性。为了使图像拼接实现，需要对图像进行压縮，在本专利中采用隔行抽取数据来实现。we_xl、 we_x2、 we_yl、 we_y2分别为4片FIFO的写使能信号，如图2所示，采用乒乓方式控制FIFO。在奇场时，we_xl、 we_yl无效，we_x2、 we_y2有效，CM0S_X， CM0S_Y数据同时分别写入FIF0—X2、 FIF0—Y2，偶场we_xl、 we_yl有效，we_x2、 we_y2无效，CM0S_X，CM0S—Y数据同时分别写入FIF0—X1、FIF0—Y1。在图像拼接时，需压縮数据，采用隔行写入数据，需要we_xl、we_x2、we_yl、we_y2与HREF_X、HREF_Y取反后相或控制FIFO写使能。re_xl、re_X2、re_yl、re_y2为FIFO读使能信号，如图2所示，在奇场re_xl、 re_yl有效，前半场FIF(UQ输出数据，后半场FIF0—Y1输出数据，合并成完整一幅图像。并且由于写入FIFO是隔行写入，而读数据是逐行读出，因此读出速度是写入速度两倍，可以在一场之内完成数据的读写。 写复位信号wrst—xl、wrst—x2、wrst—yl、wrst—y2控制FIF0的写复位，使写地址指针强行指向0地址，rrst_xl、 rrst_x2、 rrst_yl、 rrst_y2控制FIFO的读复位，强行使读地址置零。对同一块FIFO来说，在写数据时使读复位使能，读数据时使写复位使能。因此，在奇场时，FIF0—X1、FIF0—Y1输出数据，wrst—xl、wrst—yl有效，而rrst_xl、rrst_yl无效，写指针置0， FIF0_X1、FIF0_Y1输出数据，wrst_xl、 wrst_yl有效，而rrst_xl、 rrst_yl无效，写指针置0。在偶场时，FIF0_X1、 FIF0_Y1存储数据，wrst_xl、 wrst_yl无效，而rrst_xl、rrst_yl有效，读指针置0， FIF0_X1、 FIF0_Y1存储数据，wrst_xl、 wrst_yl无效，而rrst_xl、rrst—yl有效，写指针置0。 需要指出的是，为清楚起见，在图2中将与帧缓存FIFO的控制端相对应的信号以小写表示。例如，与第一路视频流(CM0S_X)连接的第一帧缓存FIFO(FIF(UQ)的RRST控制端的信号在图2中表示为rrst—xl，其它信号与之采用相同的规则表示。[0037] 图1中所示的实施例采用AVERLOGIC公司的基于DRAM的大容量FIF0AL422B作
7为帧缓存FIF0。 AL422B工作电压3. 3V，可承受5V信号电压，最高访问速度为50MHz，容量为384Kb，因此AL422B可以很好的满足高速、大容量和低成本的系统要求。AL422B是同步FIFO，有读时钟(RCK)和写时钟(WCK)两路时钟信号。AL422B采用DRAM为存储介质，需要定时刷新片内数据。芯片自动选择频率较高的时钟信号作为DRAM的刷新时钟，要求器件工作时至少要有一路时钟信号的频率不能低于lMHz。需要指出的是AL422B没有空、半满和全满等状态标志，也可以根据系统设计和控制要求，而选用具有空、半满和全满等状态标志的其它FIFO芯片，这也在本实用新型的范围之内。更进一步地，可以选用其它帧缓存FIF0，只要能够实现上述的功能即可。 所述视频拼接装置可以进一步包括S3C2440处理器，用于提供CAMERA接口，产生
CMOS驱动时钟，分别采集图像数字化信息和行场同步信号。根据本实用新型的一实施例，
选用三星的低功耗处理器S3C2440，该产品工作频率533MHz，工作电压1. 3V，采用16/32位
ARM920T RISC核心，提供的接口支持NAMD闪存、数码相机、TFT/STN液晶屏、USB、 SD/匪C/
SDIO存储卡以及触摸屏等。当然，也可以选用其它S3C2440处理器，只要其能够实现上述功
能和本实用新型的目的即可。 FPGA可以选用赛思灵公司的XCV50。 本实用新型的有益效果是图像显示方式(多显、单显)可以通过上位机设置和调整，保证了视频的连续一致性和随意切换；视频拼接器进行整帧切换，无切换图像紊乱，视频显示平滑；整个工作过程中，FIFO采用乒乓切换方式存储数据，无数据损失，避免了因同步操作造成帧速率下降。
权利要求一种视频拼接器，其特征在于，包括多组帧缓存FIFO，每组帧缓存FIFO适于与一个提供数字化图像信息及其行场同步控制信号的相应视频信号源相连接以接收所述数字化图像信息，且每组帧缓存FIFO包括两个帧缓存FIFO，每个所述帧缓存FIFO包括用于输出经其缓存的数字化图像信息的图像信息输出端口和用于接收控制信号的控制端；以及FPGA数据处理模块，所述FPGA数据处理模块适于与各所述视频信号源相连接而接收所述行场同步控制信号，所述FPGA数据处理模块进一步与所述各帧缓存FIFO的控制端相连接并适于接收经各帧缓存FIFO缓存的数字化图像信息，其中所述FPGA数据处理模块设置成基于所述行场同步控制信号而控制所述各帧缓存FIFO从相连的相应视频信号源接收数字化图像信息和/或输出其缓存的数字化图像信息。
2. 如权利要求1所述的视频拼接器，其特征在于，所述每个帧缓存FIFO的控制端包括片选控制端、读复位控制端、读使能控制端、写复位控制端和写使能控制端。
3. 如权利要求1所述的视频拼接器，其特征在于，所述帧缓存FIFO为FIFO AL422B。
4. 如权利要求l所述的视频拼接器，进一步包括多个CMOS视频传感器用作所述视频信号源，每个所述CMOS视频传感器对应一组帧缓存FIFO。
5. 如权利要求2所述的视频拼接器，其特征在于，进一步包括S3C2440处理器，所述S3C2440处理器向各所述CMOS视频传感器提供所述外部时钟，以及接收FPGA数据处理模块输出的图像数据信号和行场同步信号。
6. 如权利要求4或5所述的视频拼接器，其特征在于，所述CMOS视频传感器的数量为两个。
7. 如权利要求1所述的视频拼接器，其特征在于，所述多组帧缓存FIFO的数量为两组。
专利摘要本实用新型公开一种视频拼接器。所述视频拼接器包括多组帧缓存FIFO，每组帧缓存FIFO适于与一个提供数字化图像信息及其行场同步控制信号的相应视频信号源相连接以接收数字化图像信息，且每组帧缓存FIFO包括两个帧缓存FIFO，每个帧缓存FIFO包括用于输出经其缓存的数字化图像信息的图像信息输出端口和用于接收控制信号的控制端；以及FPGA数据处理模块，所述FPGA数据处理模块适于与各所述视频信号源相连接而接收所述行场同步控制信号，所述模块进一步与所述各帧缓存FIFO的控制端相连接，其中FPGA数据处理模块设置成基于行场同步控制信号而控制所述各帧缓存FIFO从相连的相应视频信号源接收数字化图像信息和/或输出其缓存的数字化图像信息。从而，以一种简单的方式实现了视频的拼接。
文档编号H04N7/24GK201523431SQ200920222349
公开日2010年7月7日 申请日期2009年9月3日 优先权日2009年9月3日
发明者倪飞, 孙守军 申请人:中国电子科技集团公司第四十一研究所