专利名称：基于fpga的多路多分辨率视频采集装置及其方法
技术领域：
本发明属于无线通信技术领域，涉及一种视频采集方法，具体是一种基于FPGA的多路多分辨率视频采集装置及其方法。
背景技术：
视频采集就是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号，通过专用的模拟、数字转换设备，转换为二进制数字信息的过程。网络视频服务器是一种对音视频数据进行编码处理并完成网络传输的专用设备，从而实现远程监控的功能。网络视频服务器在目前视频领域中的应用主要是利用网络视频服务器构建远程监控系统。基于网络视频服务器的多通道数字传播技术具有传统的基于磁带录像机的模拟输出系统无可比拟的诸多优势，网络视频服务器采用开放式软硬件平台和标准或通用接口协议，系统扩展能力较强，能够与未来全数字、网络化、系统化、多通道资源共享等体系相衔接。是目前CCTV设备由模拟向数字过渡的最佳方案。而从长远来看，网络视频服务器的系统集成有巨大的潜在市场和深远的发展前景，因为从深层次来看，视频网络化、系统集成不仅仅是视频传输的问题，它代表未来视频应用的网络化和信息交互的应用发展趋势，是一种从内容上更深层次上的互动，具有广阔的发展潜力，是未来3G、宽带业务的核心内容之一。因此可以肯定，随着数字技术和网络技术的不断发展，网络视频服务器在视频领域中的应用将有更多的延伸。市场上的网络视频服务器现在存有采用M — JPEG、MPEG4、H264等多种编码技术对视频数据进行编码的产品。市面现有的单DSP子单元的视频服务器，都是模拟视频输入信号经过视频编码子单元后，就连接到DSP处理器，受DSP子单元的资源限制，由于DSP子单元的VPIF (Video Port Interface)接口有限，一般只有2个bt656接口，或者把2个 BT. 656接口组合成1个BT. 1120接口。因此只能从1个BT. 1120接口采集1路高清视频， 或者分为2个BT. 656接口采集2路标清视频。如果要能够支持多种分辨率的采集，就必须要有更多的VPIF接口，因此即使是高性能的DSP子单元，能接入的视频输入的路数也是受限制的，无法同时做到多路多种分辨率的视频采集。
发明内容
本发明目的在于提供一种基于FPGA的多路多分辨率视频采集装置及其方法，利用现场可编程门阵(FPGA，Field - Programmable Gate Array)芯片丰富的资源和灵活的编程方式，可以做到多路不同分辨率的视频的实时采集，广泛应用于视频监控、安防报警、 家庭远程监控等领域。为实现上述目的，本发明提供一种基于FPGA的多路多分辨率视频采集装置，装置包括一视频编码单元、一 FPGA单元、一 DSP单元和一网络传输单元。其中所述DSP单元连接所述网络传输单元，FPGA单元用于将复数个视频图像数据合并成一个完整超级帧视频图像数据，FPGA单元分别连接所述视频编码单元与DSP单元，FPGA单元其进一步包括复数个输入子单元，所述复数个输入子单元的每一输入子单元用于接收一视频编码单元所转换的视频图像数据；
一 FPGA子单元，其用于去除消隐数据后提取各个通道的不同分辨率的有效视频数据， 并且合并各个通道的所述有效视频数据成一高分辨率整合有效视频数据，后在所述高分辨率整合有效视频数据的基础上增加所述消隐数据和EAV/SAV，形成一超级帧视频整合图像数据；
一第一缓存子单元，其用于缓存所述FPGA子单元提取各个通道的所述视频图像数据的所述有效视频数据；
一第一接口子单元，其用于将所述超级帧视频整合图像数据传送至所述DSP单元。较优地，所述FPGA子单元进一步包括
提取子单元，用于提取各个通道的不同分辨率的所述有效视频数据； 合并子单元，用于合并各个通道的所述有效视频数据；
整合子单元，用于增加所述消隐数据和所述视频数据的结尾(EAV，end active video)/视频数据的起始处(SAV，start active vide),形成所述超级帧视频整合图像数据。较优地，所述第一接口子单元包括一视频标准接口，所述视频标准接口的协议为 BT. 1120。较优地，所述视频编码单元包括复数个视频编码子单元，用于将复数个视频信号转换成复数个所述视频图像数据。较优地，复数个所述视频图像数据的协议为BT. 1120或BT. 656。
较优地，所述DSP单元包括
一第二接口子单元，其用于从所述FPGA单元接收所述超级帧视频整合图像数据； 一 DSP子单元，其用于按照顺序把所述超级帧视频整合图像数据的所述有效视频数据进行分离；
一第二缓存子单元，其用于储存分离出来的所述有效视频数据； 一媒体存取控制子单元(MAC，Media Access Control )，将分离出来的所述有效视频数据传输给所述网络传输单元。较优地，所述网络传输单元用于将分离出来的所述有效视频数据进行压缩和传输至网络。根据本发明提供一种基于FPGA的多路多分辨率视频采集装置，相应地提出了一种基于FPGA的多路多分辨率视频采集方法，具体步骤如下
步骤Sl 复数个模拟视频信号通过视频编码单元转换成复数个视频图像数据。步骤S2 将复数个所述视频图像数据传送至与其相应各通道的在FPGA单元的复数个输入子单元上，所述FPGA单元的FPGA子单元读取复数个所述视频图像数据。步骤S3 所述FPGA子单元检测复数个所述视频图像数据的各通道的同步信号。步骤S4 所述FPGA子单元从复数个所述视频图像数据中去除消隐数据，提取各通道的复数个有效视频数据。其中所述消隐数据和复数个所述有效视频数据的位置通过EAV和SAV的位置来判断一帧视频数据由许多行组成，每一行的数据格式都是从发出EAV起始，再传输消隐数据，直到出现SAV，表示有效视频数据传输开始，传完了有效视频数据，就会再次发送EAV， 重新开始下一行视频数据的传输，因此通过判断EAV和SAV的位置可以提取出有效的视频数据并去除消隐数据。步骤S5 所述FPGA子单元接收所述的各通道的复数个所述有效视频数据，将复数个所述有效视频数据在第一缓存子单元缓存，并按照顺序将复数个所述有效视频数据合并成一个高分辨率整合有效视频数据。其中，所述第一缓存子单元缓存时，申请一个母缓冲区，根据输入的复数个所述有效视频数据的分辨率，在所述母缓冲区的地址空间中，分别申请相应分辨率大小的子缓冲区；所述FPGA子单元在接收所述各通道的复数个所述有效视频数据时，便将所述各通道的复数个所述有效视频数据各自传入对应的所述子缓冲区中；在所述母缓冲区中的多余空间内填入黑色图片数据。所述母缓冲区的容量要大于等于一个超级帧视频整合图像数据的大小，即也就大于所有通道的一帧图像数据之和。申请所述子缓冲区时，要保证每一个所述子缓冲区的容量不能小于所对应的复数个所述有效视频数据的一帧原始数据的数据量。而且要保证最后一个子缓冲区的结束位置不能超出大缓冲区的地址空间。对于所述母缓冲区，除了所述子缓冲区所占的地址空间，必然还有多余的空间，这部分所述多余的空间，以填入黑色图片数据来处理。因此可以得到所述各通道的完整帧的复数个所述有效视频数据，从而合并成所述高分辨率整合有效视频数据。步骤S6:在所述高分辨率整合有效视频数据上增加EAV/ SAV和所述消隐数据形成一个超级帧视频整合图像数据。其中所述超级帧视频整合图像数据形成具体为按插入所述EAV、插入所述消隐数据、插入所述SAV、插入所述高分辨率整合有效视频数据的顺序来整合的。步骤S7 所述超级帧视频整合图像数据从所述FPGA单元的第一接口子单元传送至一 DSP单元的第二接口子单元。步骤S8 所述DSP单元根据BT. 1120协议从所述第二接口子单元提取所述超级帧视频整合图像数据，并按照顺序从所述超级帧视频整合图像数据中分离出复数个所述有效视频数据。步骤S9 将复数个所述有效视频数据在网络传输单元中进行H. 264编码压缩并将压缩后的复数个所述有效视频数据传送至网络。较优地，所述超级帧视频整合图像数据的分辨率大于所有所述有效视频数据的分辨率之和。较优地，所述视频编码单元包括复数个视频编码子单元，所述复数个视频编码子单元类型包括ADV7180和ADV7401 ；所述复数个模拟视频信号类型包括模拟标清视频信号 CVBS和模拟高清视频信号VGA。较优地，复数个所述视频图像数据的协议为BT. 1120或BT. 656。较优地，所述些消隐数据包括场消隐数据和行消隐数据。较优地，复数个所述视频图像数据的数据包含复数个所述有效视频数据、所述行消隐数据和所述场消隐数据。所述缓存使用元件为DDR缓存。
综上所述，本发明中，增加了一颗FPGA子单元。前端模拟视频输入经过Video Decoder转换成BT. 656信号或者BT. 1120信号之后，先送到FPGA子单元，利用FPGA子单元上的资源，可以把多路不同分辨率的视频数据缓存以来，剔除消隐数据、保留有效视频数据。再以帧为单位，把各路低分辨率视频的有效数据合并起来，形成一个大的高分辨率的有效视频数据，称之为超级视频帧，因为这个超级帧完全符合BT. 1120的规范，因此可以连接到DSP的一个VPIF接口上，再传给DSP子单元，这样就可以在DSP的1个VPIF接口下实现多路多种分辨率的实时视频采集。
图1是本发明的一具体实施列的一个视频图像数据的格式图； 图2是图1的具体实施列的视频图像数据合并示意图； 图3是图1的基于FPGA的多路多分辨率视频采集装置结构图； 图4是图1的基于FPGA的多路多分辨率视频采集方法的流程图。
具体实施例方式下面结合附图和具体实施例对本发明作出详细的说明，但下述实施列并非用于限定本发明。图1是本发明的一具体实施列的一个视频图像数据的数据格式图。请参见图1，一个视频图像数据的数据格式包含水平有效视频数据10、垂直有效视频数据11、行消隐数据12和场消隐数据13。有效视频数据、行消隐数据12和场消隐数据 13这些数据是通过视频数据的结尾(EAV) 14和视频数据的起始(SAV) 15来区分的。EAV14 和SAV15的数据格式，在BT. 656和BT. 1120里面都有标准的参数，传输过程中，以EAV14和 SAV15来定义时序。其中BT. 1120和BT. 656是国际电信协会提出的一个视频标准接口 ；用于并行传输YCbCr的视频流数据。其中BT. 656是Sbits位宽的并行总线，用于传输标清数字视频信号，BT. 1120是16bits位宽的并行总线，用于传输高清数字视频信号。EAV14和SAV15的格式标准EAV14和SAV15都是4个字节，前三个字节的值是固定的OxFF/OxOO/OxOO,第4个字节的值来确定是EAV14或者SAV15。
权利要求
1.一种基于FPGA的多路多分辨率视频采集装置，包括一视频编码单元、一 DSP单元和与所述DSP单元连接的一网络传输单元，其特征在于，所述基于FPGA的多路多分辨率视频采集装置还包括一 FPGA单元，分别连接所述视频编码单元与DSP单元，其进一步包括复数个输入子单元，所述复数个输入子单元的每一输入子单元用于接收所述视频编码单元所转换的视频图像数据；一 FPGA子单元，其用于去除消隐数据后提取各个通道的不同分辨率的有效视频数据， 并且合并各个通道的所述有效视频数据成一高分辨率整合有效视频数据，后在所述高分辨率整合有效视频数据的基础上增加所述消隐数据和EAV/SAV，形成一超级帧视频整合图像数据；一第一缓存子单元，其用于缓存所述FPGA子单元提取各个通道的所述视频图像数据的所述有效视频数据；一第一接口子单元，其用于将所述超级帧视频整合图像数据传送至所述DSP单元。
2.如权利要求1所述的基于FPGA的多路多分辨率视频采集装置，其特征在于，所述 FPGA子单元进一步包括提取子单元，用于提取各个通道的不同分辨率的所述有效视频数据； 合并子单元，用于合并各个通道的所述有效视频数据；整合子单元，用于增加所述消隐数据和所述EAV/所述SAV，形成所述超级帧视频整合图像数据。
3.如权利要求1所述的基于FPGA的多路多分辨率视频采集装置，其特征在于，所述第一接口子单元包括一视频标准接口，所述视频标准接口的协议为BT. 1120。
4.如权利要求1所述的基于FPGA的多路多分辨率视频采集装置，其特征在于，所述视频编码单元包括复数个视频编码子单元，用于将复数个视频信号转换成复数个所述视频图像数据。
5.如权利要求4所述的基于FPGA的多路多分辨率视频采集装置，其特征在于，复数个所述视频图像数据的协议为BT. 1120或BT. 656。
6.如权利要求1所述的基于FPGA的多路多分辨率视频采集装置，其特征在于，所述 DSP单元包括一第二接口子单元，其用于从所述FPGA单元接收所述超级帧视频整合图像数据； 一 DSP子单元，其用于按照顺序把所述超级帧视频整合图像数据的所述有效视频数据进行分离；一第二缓存子单元，其用于储存分离出来的所述有效视频数据； 一媒体存取控制子单元，将分离出来的所述有效视频数据传输给所述网络传输单元。
7.如权利要求1所述的基于FPGA的多路多分辨率视频采集装置，其特征在于，所述网络传输单元用于将分离出来的所述有效视频数据进行压缩和传输至网络。
8.一种基于FPGA的多路多分辨率视频采集方法，其特征在于步骤Sl 复数个模拟视频信号通过视频编码单元转换成复数个视频图像数据； 步骤S2 将复数个所述视频图像数据传送至与其相应各通道的在FPGA单元的复数个输入子单元上，所述FPGA单元的FPGA子单元读取复数个所述视频图像数据；步骤S3 所述FPGA子单元检测复数个所述视频图像数据的各通道的同步信号；步骤S4 所述FPGA子单元从复数个所述视频图像数据中去除消隐数据，提取所述各通道的复数个有效视频数据；步骤S5 所述FPGA子单元接收所述各通道的复数个所述有效视频数据，将复数个所述有效视频数据在第一缓存子单元缓存，并按照顺序将复数个所述有效视频数据合并成一个高分辨率整合有效视频数据；步骤S6:在所述高分辨率整合有效视频数据上增加EAV/ SAV和所述消隐数据形成一个超级帧视频整合图像数据；步骤S7 所述超级帧视频整合图像数据从所述FPGA单元的第一接口子单元传送至一 DSP单元的第二接口子单元；步骤S8 所述DSP单元根据BT. 1120协议从所述第二接口子单元提取所述超级帧视频整合图像数据，并按照顺序从所述超级帧视频整合图像数据中分离出复数个所述有效视频数据；步骤S9 将复数个所述有效视频数据在网络传输单元中进行H. 264编码压缩并将压缩后的复数个所述有效视频数据传送至网络。
9.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述步骤S4还包括所述消隐数据和复数个所述有效视频数据的位置通过所述EAV和所述SAV的位置来判断。
10.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述步骤S5的所述第一缓存子单元缓存时，申请一个母缓冲区，根据输入的复数个所述有效视频数据的分辨率，在所述母缓冲区的地址空间中，分别申请相应分辨率大小的子缓冲区。
11.如权利要求10所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述 FPGA子单元在接收所述各通道的复数个所述有效视频数据时，便将所述各通道的复数个所述有效视频数据各自传入对应的所述子缓冲区中。
12.如权利要求11所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，在所述母缓冲区中的多余空间内填入黑色图片数据。
13.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述步骤S6的所述超级帧视频整合图像数据形成具体为按插入所述EAV、插入所述消隐数据、插入所述SAV、插入所述高分辨率整合有效视频数据的顺序来整合的。
14.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述视频编码单元包括复数个视频编码子单元，所述复数个视频编码子单元类型包括ADV7180和 ADV7401 ；所述复数个模拟视频信号类型包括模拟标清视频信号和模拟高清视频信号。
15.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，复数个所述视频图像数据的协议为BT. 1120或BT. 656。
16.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述超级帧视频整合图像数据的分辨率大于所有所述有效视频数据的分辨率之和。
17.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述些消隐数据包括场消隐数据和行消隐数据。
18.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述视频图像数据的数据包含所述有效视频数据、所述行消隐数据和所述场消隐数据。
19.如权利要求1所述的基于FPGA的多路多分辨率视频采集方法，其特征在于，所述缓存使用元件为DDR缓存。
全文摘要
本发明提供一种基于FPGA的多路多分辨率视频采集装置及其方法，装置包括一视频编码单元、一FPGA单元、一DSP单元和一网络传输单元。其中所述DSP单元连接所述网络传输单元，FPGA单元用于将复数个视频图像数据合并成一个完整超级帧视频图像数据，FPGA单元分别连接所述视频编码单元与DSP单元。本发明利用FPGA芯片和高速DSP芯片配合，可以利用FPGA丰富的资源和灵活的编程方式，加上DSP芯片高效的算法能力，可以做到多路不同分辨率的视频的实时采集。可以广泛应用于视频监控、安防报警、家庭远程监控等领域。
文档编号H04N7/18GK102447891SQ201110454678
公开日2012年5月9日 申请日期2011年12月30日 优先权日2011年12月30日
发明者蒋志强 申请人:上海威乾视频技术有限公司