一种帧同步3d实时视频信息处理平台和处理方法

文档序号:7936672
专利名称:一种帧同步3d实时视频信息处理平台和处理方法
技术领域
本发明涉及一种帧同步3D实时视频信息处理平台和处理方法,尤其是一种对数字视频DVI/高清晰度多媒体HDMI双路信号进行帧同步、降频处理的3D实时视频信息处理平台和处理方法。
背景技术
随着科技的发展和广大观众欣赏品味的提高,观众对视听带来的震撼性需求越来越高,这就要求在视频技术方面的设计也要能够满足当前观众的需求,由此,3D技术在短暂的时间内可谓是异军突起,它带来的视觉享受很快地深入人心,但是,如何有效地降低3D 影像的处理速度,使当前的3D设备不必要花费大量的时间运用在摄像机接口部分和同步上,加强3D影像的算法,成为当前3D视频信息处理急需解决的难题。

发明内容
针对上述技术问题,本发明要设计一种可以提高视频信号的处理速度、实现对双路输入的DVI/HDMI信号进行采集、降频处理、帧同步和输出的3D实时视频信息处理的帧同步3D实时视频信息处理平台和处理方法。为实现以上目的,本发明的技术方案如下一种帧同步3D实时视频信息处理平台,包括处理器、控制器、采集单元A、采集单元B、输出单元A、输出单元B、内存条和高速拓展插槽,所述的处理器分别与采集单元A、采集单元B、输出单元A、输出单元B、内存条和高速拓展插槽连接,所述的控制器分别与采集单元A和采集单元B连接,所述处理器由图像编码单元、内存控制单元组成,内存控制单元由内存读逻辑和内存写逻辑组成,所述内存条被严格的划分为四个区,四个区包括两个通道的采集区和两个通道的处理结果缓存区,每一个区又包含两个图像子区。一种帧同步3D实时视频信息处理平台的处理方法,包括如下步骤A、信号采集单元A和采集单元B采集DVI/HDMI信号,并对采集的DVI/HDMI信号进行处理后并行输出RGB信号、信号激励时钟CLK、行信号H和场信号V到处理器的图像编码单元,控制器通过对采集单元A和采集单元B的读寄存器并重新配置寄存器后计算得到全局信息参数;B、处理器的图像编码单元将从采集单元A和采集单元B得到的RGB数据、信号激励时钟CLK、行信号H和场信号V进行双通道并行解析后,去除视频信息的行周期的消隐期, 去除视频信息每一场周期的不可视行区域时间段,分解成一幅幅相互独立的图像数据,每一个通道的图像数据连同图像的位置信息进行一次位宽转换后存储到处理器的内存控制单元的前级FIFO中;所述的FIFO是先入先出缓存器;C、处理器的内存控制单元通过对前级FIFO堆栈深度的判定,触发内存控制单元写逻辑,内存控制单元利用板载时钟锁相得来的高频时钟MEMCLK对前级FIFO进行快速读取,并打包传递给内存控制单元写逻辑中,内存控制单元写逻辑利用处理器的图像编码单元传递的图像的位置信息和前级FIFO深度的数值进行计算得到相应内存条写地址的偏移量,再通过预先设定的图像存储所在内存条的首地址,计算得到这包图像数据的最终写地址,内存控制单元写逻辑将这包数据高速的存储到内存条中;D、内存控制单元读逻辑将采集单元A和采集单元B存储到内存中的双通道图像数据一起打包读出,利用高频时钟MEMCLK将图像数据存储到3D处理模块前级FIFO中,并根据3D处理模块前级FIFO的读取深度,判定是否触发下一次的读操作,同时写模块将读内存的地址传递到3D处理模块接口逻辑中,利用同一读时钟对3D处理模块前级FIFO进行读取,并将图像数据进行位宽转换,3D处理模块接口逻辑利用对3D处理模块前级FIFO的 RENXLR控制位和3D处理模块前级FIFO的深度控制,从而同步双路3D处理模块前级FIFO 输出;所述的REN是读使能、CLR是清空控制;E、3D处理模块接口提供双通道的图像数据输出线和双通道的图像处理结果数据的输入线,3D处理模块接口的控制线和信号线包括外部模块提供的读取时钟RCLK、读取使能MREN和I2C通信接口的SDA数据线和SCLK时钟线;3D处理模块接口逻辑根据3D处理模块提供的时钟和图像起始信号,将数据读入到处理器的3D处理模块接口逻辑中,3D处理模块接口逻辑将双通道的图像处理结果进行并行处理,首先进行一次位宽转换,并将转换后的数据以3D处理模块提供的时钟的四分频时钟传输到3D处理模块后级FIFO中,3D处理模块接口逻辑将3D处理模块提供的图像起始信号进行分析,得到图像的位置信息再和 3D处理模块后级FIFO深度信息一并传给内存读写逻辑FPGA中的内存控制逻辑中;所述的 FPGA是现场可编程门阵列;F、内存读写逻辑将处理后的双通道图像数据,同步读出传给图像接口 FIFO中, FPGA将数据发送到DVI/HDMI编码芯片中,将对双通道的图像数据进行位宽转换,传给DVI/ HDMI编码芯片,DVI/HDMI信号输出芯片依照输出时钟PCLK对图像进行DVI/HDMI格式编码,再将编码后的DVI/HDMI格式数据输出到DVI/HDMI接口芯片中进行输出;G、内存读写逻辑中对内存地址进行了严格的分区和限制,一共分为四个区,每一个区包含两个图像子区,图像子区的大小是MCU通过I2C传到FPGA中来的;所述的MCU是单片机。本发明所述的全局信息参数包括视频信息中的采集时钟频率、分辨率、刷新率、行场的前肩宽度、脉冲宽度、后肩宽度、行有效宽度、场有效宽度、场的有效行数和帧大小。本发明所述的内存读写逻辑将处理后的双通道图像数据,同步读出传给图像接口 FIFO中,输出接口逻辑单元将对双通道的图像数据进行位宽转换,传给DVI/HDMI编码逻辑单元,DVI/HDMI编码逻辑单元依照输出时钟PCLK对图像进行DVI/HDMI格式编码,DVI/HDMI 编码逻辑单元通过与控制的通信得来的视频信息为参数,利用PCLK对图像进行编码,通过对图像接口 FIFO的使能位控制,在视频消隐阶段停止对图像接口 FIFO的数据读取,同时也利用PCLK产生DVI/HDMI芯片所需要的行场等视频信号,输出到DVI/HDMI芯片中提供DVI/ HDMI输出。与现有技术相比,本发明具有以下有益效果1、本发明内存读写逻辑中对内存地址进行了严格的分区和限制,一共分为四个区,每一个区包含两个图像子区,四个区包括两个通道的采集区和两个通道的处理结果缓存区,内存读写逻辑对每一个区进行写时,是交替选择两个区进行操作,而读取图像数据时,读完一幅图像的数据后,选择目前不在进行写控制的那个子区。这样做的好处在于保证图像流读写的连续性和同步特征,也为宽范围的操作时钟提供了支持。由于3D处理模块的特性决定于双通道的图像信息必须是完全同步,此平台的内存读写逻辑采用双通道图像同步读取方式实现同步功能。2、本发明采用双采集单元对双路输入的DVI/HDMI信号进行采集;处理器内部设有图像编码单元,能够去除掉双路输入的DVI/HDMI信号行周期的消隐期,达到降频处理的目的,提高视频信号的处理速度;3、本发明还可以根据用户对输出场频的配置,可以通过改变PCLK时钟频率轻松实现不同的场频输出,比如1920χ1080@25Ηζ,可以通过改变PCLK时钟和配置参数来实现 1920xl080i30HzU920xl080i50HzU920xl080i60Hz 等,达到不同的应用需求。


本发明共有附图4张,其中图1是帧同步3D实时视频信息处理平台的系统结构图。图2是帧同步3D实时视频信息处理平台的实施例结构图。图3是帧同步3D实时视频信息处理平台的帧同步部分FPGA软模块框图。图4是帧同步3D实时视频信息处理平台的缓存输出部分FPGA软模块框图。图中1、采集单元A,2、采集单元B,3、处理器,4、控制器,5、高速拓展插槽,6、内存条,7、输出单元A,8、输出单元B。
具体实施例方式下面结合附图对本发明进行进一步地描述。如图1-4所示,一种帧同步3D实时视频信息处理平台,包括处理器3、控制器4、采集单元Al、采集单元B2、输出单元A7、输出单元B8、内存条6和高速拓展插槽5,所述的处理器3分别与采集单元Al、采集单元B2、输出单元A7、输出单元B8、内存条6和高速拓展插槽5连接,所述的控制器4分别与采集单元Al 和采集单元B2连接,所述处理器3由图像编码单元、内存控制单元组成,内存控制单元由内存读逻辑和内存写逻辑组成,所述内存条6被严格的划分为四个区,四个区包括两个通道的采集区和两个通道的处理结果缓存区,每一个区又包含两个图像子区。一种帧同步3D实时视频信息处理平台的处理方法,包括如下步骤A、信号采集单元Al和采集单元B2采集DVI/HDMI信号,并对采集的DVI/HDMI信号进行处理后并行输出RGB信号、信号激励时钟CLK、行信号H和场信号V到处理器3的图像编码单元,控制器4通过对采集单元Al和采集单元B2的读寄存器并重新配置寄存器后计算得到全局信息参数;B、处理器3的图像编码单元将从采集单元Al和采集单元B2得到的RGB数据、信号激励时钟CLK、行信号H和场信号V进行双通道并行解析后,去除视频信息的行周期的消隐期,去除视频信息每一场周期的不可视行区域时间段,分解成一幅幅相互独立的图像数据,每一个通道的图像数据连同图像的位置信息进行一次位宽转换后存储到处理器3的内存控制单元的前级FIFO中;所述的FIFO是先入先出缓存器;C、处理器3的内存控制单元通过对前级FIFO堆栈深度的判定,触发内存控制单元写逻辑,内存控制单元利用板载时钟锁相得来的高频时钟MEMCLK对前级FIFO进行快速读取,并打包传递给内存控制单元写逻辑中,内存控制单元写逻辑利用处理器3的图像编码单元传递的图像的位置信息和前级FIFO深度的数值进行计算得到相应内存条6写地址的偏移量,再通过预先设定的图像存储所在内存条6的首地址,计算得到这包图像数据的最终写地址,内存控制单元写逻辑将这包数据高速的存储到内存条6中;D、内存控制单元读逻辑将采集单元Al和采集单元B2存储到内存中的双通道图像数据一起打包读出,利用高频时钟MEMCLK将图像数据存储到3D处理模块前级FIFO中,并根据3D处理模块前级FIFO的读取深度,判定是否触发下一次的读操作,同时写模块将读内存的地址传递到3D处理模块接口逻辑中,利用同一读时钟对3D处理模块前级FIFO进行读取,并将图像数据进行位宽转换,3D处理模块接口逻辑利用对3D处理模块前级FIFO的 RENXLR控制位和3D处理模块前级FIFO的深度控制,从而同步双路3D处理模块前级FIFO 输出;所述的REN是读使能、CLR是清空控制;E、3D处理模块接口提供双通道的图像数据输出线和双通道的图像处理结果数据的输入线,3D处理模块接口的控制线和信号线包括外部模块提供的读取时钟RCLK、读取使能MREN和I2C通信接口的SDA数据线和SCLK时钟线;3D处理模块接口逻辑根据3D处理模块提供的时钟和图像起始信号,将数据读入到处理器3的3D处理模块接口逻辑中,3D处理模块接口逻辑将双通道的图像处理结果进行并行处理,首先进行一次位宽转换,并将转换后的数据以3D处理模块提供的时钟的四分频时钟传输到3D处理模块后级FIFO中,3D处理模块接口逻辑将3D处理模块提供的图像起始信号进行分析,得到图像的位置信息再和 3D处理模块后级FIFO深度信息一并传给内存读写逻辑FPGA中的内存控制逻辑中;所述的 FPGA是现场可编程门阵列;F、内存读写逻辑将处理后的双通道图像数据,同步读出传给图像接口 FIFO中, FPGA将数据发送到DVI/HDMI编码芯片中,将对双通道的图像数据进行位宽转换,传给DVI/ HDMI编码芯片,DVI/HDMI信号输出芯片依照输出时钟PCLK对图像进行DVI/HDMI格式编码,再将编码后的DVI/HDMI格式数据输出到DVI/HDMI接口芯片中进行输出;G、内存读写逻辑中对内存地址进行了严格的分区和限制,一共分为四个区,每一个区包含两个图像子区,图像子区的大小是MCU通过I2C传到FPGA中来的;所述的MCU是单片机。本发明所述的全局信息参数包括视频信息中的采集时钟频率、分辨率、刷新率、行场的前肩宽度、脉冲宽度、后肩宽度、行有效宽度、场有效宽度、场的有效行数和帧大小。本发明所述的内存读写逻辑将处理后的双通道图像数据,同步读出传给图像接口 FIFO中,输出接口逻辑单元将对双通道的图像数据进行位宽转换,传给DVI/HDMI编码逻辑单元,DVI/HDMI编码逻辑单元依照输出时钟PCLK对图像进行DVI/HDMI格式编码,DVI/HDMI 编码逻辑单元通过与控制的通信得来的视频信息为参数,利用PCLK对图像进行编码,通过对图像接口 FIFO的使能位控制,在视频消隐阶段停止对图像接口 FIFO的数据读取,同时也利用PCLK产生DVI/HDMI芯片所需要的行场等视频信号,输出到DVI/HDMI芯片中提供DVI/ HDMI输出。如图2所示,为本发明的实施例结构图。信号采集单元由两组ADV7441芯片构成, 锁相环PLL选择AMI公司的FS7140器件,HDMI编码芯片采用两片AD9889,外部存储采用了
7台式机标准DDR2-UDn C40内存条6,主处理器3采用ALTERA公司高端的stratix5系列 5SGXA5核心的FPGA,另外,还包括配合FPGA进行工作的MCU,作为MCU选择了 P89V51RD,MCU 已完成对输入DVI/HDMI的分辨率格式和视频信息参数的分析,并通过计算配置FPGA所需要的一系列参数,然后通过I2C接口传给FPGA,FPGA将视频信息转换成图像数据后存储到 DDR2内存条6中,并有PCI-E通道提供的时钟对内存条6中的双通道图像信息进行同步读取,传给插入到PCI-E插槽的板卡中,板卡将处理好的双通道数据由板卡提供的时钟回传给FPGA,FPGA将图像信息进行缓存并编码输出到两片AD9889芯片中,最终由两片AD9889 芯片进行DVI/HDMI视频输出。采用了 FS7140器件用于时钟锁相,由于输出格式和刷新率的要求不同,输出的激励时钟也不尽相同,采用了这款PLL器件可以通过配置和低频输入, 得到我们所需要的输出激励时钟,其中MCU通过全局I2C接口监测并传递参数信息,MCU配有的串口 RS232组件输出到PC中用于监控,也可通过RS232与PC互联调试,电源管理模组为整体工作电路供电。图3为本发明的帧同步部分FPGA软模块框图。其工作流程为处理器3的图像编码单元将双通道的采集单元得到的DVI/HDMI信号,首先取得DVI/HDMI信号的图像信息,去掉其辅助部分,然后,将每一个通道的图像数据连同图像的位置信息由30bit进行位宽转换到120bit后,存储到处理器3的内存控制单元的前级FIFO中。处理器3的内存控制单元通过对前级FIFO堆栈深度的判定,触发内存控制单元的写逻辑,内存控制单元利用板载时钟锁相得来的高频时钟MEMCLK对前级FIFO进行快速读取,并打包传递给内存控制单元的写逻辑中,内存控制单元的写逻辑将这包数据高速的存储到DI匪MO内存条6插槽接口中。处理器3的内存控制单元的读逻辑将存储到内存中的双通道图像数据一起打包读出,利用高频时钟MEMCLK将图像数据存储到3D处理模块前级FIFO中,并根据前级FIFO 的读取深度,判定是否触发下一次的读操作,同时写模块将读内存的地址传递到3D处理模块接口逻辑。利用同一读时钟对双通道的3D处理模块前级FIFO进行读取,并将120bit 的图像数据进行位宽转换到30bit,3D处理模块接口逻辑利用对3D处理模块前级FIFO的 REN、CLR控制位和FIFO的深度控制,从而同步双路3D处理模块前级FIFO输出。图4为本发明的缓存输出部分FPGA软模块框图。其工作流程为3D处理模块接口部分逻辑根据模块提供的时钟和图像起始信号,将数据读入到处理器3的3D处理模块接口逻辑中,3D处理模块接口逻辑将双通道的图像处理结果进行并行处理,首先进行一次 30bit至120bit的位宽转换,并将转换后的数据以模块提供的时钟的四分频时钟传输到3D 处理模块后级FIFO中,3D处理模块接口逻辑将3D处理模块提供的图像起始信号进行分析, 以得到图像的位置信息在和FIFO深度信息计算出内存的操作地址,通过内存写逻辑存储到DIMMMO内存条6插槽接口中。内存读逻辑将处理后的双通道图像数据,同步读出传给图像接口 FIFO通道1、接口 FIFO通道2中,输出接口逻辑单元将对双通道的图像数据进行MObit至60bit的位宽转换,传给DVI/HDMI编码逻辑单元,DVI/HDMI编码逻辑单元依照输出时钟PCLK对图像进行DVI/HDMI格式编码,转换成满足规范的DVI/HDMI信号,输出时钟PCLK是板载锁相环根据采集时钟和模块提供的时钟进行锁相输出的,利用内存读逻辑传递的帧位置信息、帧通道和FIFO深度的数值进行偏移量校正,确定图像数据的最终读地址,最后将编码后的DVI/HDMI格式数据输出到DVI/HDMI接口芯片中进行输出。 以上所述,仅为本发明较佳的具体实施方式
,但本发明的保护范围并不局限于此, 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
权利要求
1.一种帧同步3D实时视频信息处理平台,其特征在于包括处理器(3)、控制器⑷、 采集单元A(l)、采集单元^2)、输出单元A(7)、输出单元B(8)、内存条(6)和高速拓展插槽(5),所述的处理器(3)分别与采集单元A(l)、采集单元^2)、输出单元A(7)、输出单元 B (8)、内存条(6)和高速拓展插槽(5)连接,所述的控制器(4)分别与采集单元A(I)和采集单元BQ)连接,所述处理器C3)由图像编码单元、内存控制单元组成,内存控制单元由内存读逻辑和内存写逻辑组成,所述内存条(6)被严格的划分为四个区,四个区包括两个通道的采集区和两个通道的处理结果缓存区,每一个区又包含两个图像子区。
2.—种帧同步3D实时视频信息处理平台的处理方法,其特征在于包括如下步骤A、信号采集单元A(I)和采集单元B(2)采集DVI/HDMI信号,并对采集的DVI/HDMI信号进行处理后并行输出RGB信号、信号激励时钟CLK、行信号H和场信号V到处理器(3)的图像编码单元,控制器(4)通过对采集单元A(I)和采集单元BQ)的读寄存器并重新配置寄存器后计算得到全局信息参数;B、处理器(3)的图像编码单元将从采集单元A(I)和采集单元B(2)得到的RGB数据、 信号激励时钟CLK、行信号H和场信号V进行双通道并行解析后,去除视频信息的行周期的消隐期,去除视频信息每一场周期的不可视行区域时间段,分解成一幅幅相互独立的图像数据,每一个通道的图像数据连同图像的位置信息进行一次位宽转换后存储到处理器(3) 的内存控制单元的前级FIFO中;所述的FIFO是先入先出缓存器;C、处理器(3)的内存控制单元通过对前级FIFO堆栈深度的判定,触发内存控制单元写逻辑,内存控制单元利用板载时钟锁相得来的高频时钟MEMCLK对前级FIFO进行快速读取, 并打包传递给内存控制单元写逻辑中,内存控制单元写逻辑利用处理器(3)的图像编码单元传递的图像的位置信息和前级FIFO深度的数值进行计算得到相应内存条(6)写地址的偏移量,再通过预先设定的图像存储所在内存条(6)的首地址,计算得到这包图像数据的最终写地址,内存控制单元写逻辑将这包数据高速的存储到内存条(6)中;D、内存控制单元读逻辑将采集单元A(I)和采集单元BQ)存储到内存中的双通道图像数据一起打包读出,利用高频时钟MEMCLK将图像数据存储到3D处理模块前级FIFO中, 并根据3D处理模块前级FIFO的读取深度,判定是否触发下一次的读操作,同时写模块将读内存的地址传递到3D处理模块接口逻辑中,利用同一读时钟对3D处理模块前级FIFO进行读取,并将图像数据进行位宽转换,3D处理模块接口逻辑利用对3D处理模块前级FIFO的 RENXLR控制位和3D处理模块前级FIFO的深度控制,从而同步双路3D处理模块前级FIFO 输出;所述的REN是读使能、CLR是清空控制;E、3D处理模块接口提供双通道的图像数据输出线和双通道的图像处理结果数据的输入线,3D处理模块接口的控制线和信号线包括外部模块提供的读取时钟RCLK、读取使能 MREN和I2C通信接口的SDA数据线和SCLK时钟线;3D处理模块接口逻辑根据3D处理模块提供的时钟和图像起始信号,将数据读入到处理器(3)的3D处理模块接口逻辑中,3D处理模块接口逻辑将双通道的图像处理结果进行并行处理,首先进行一次位宽转换,并将转换后的数据以3D处理模块提供的时钟的四分频时钟传输到3D处理模块后级FIFO中,3D处理模块接口逻辑将3D处理模块提供的图像起始信号进行分析,得到图像的位置信息再和 3D处理模块后级FIFO深度信息一并传给内存读写逻辑FPGA中的内存控制逻辑中;所述的 FPGA是现场可编程门阵列;F、内存读写逻辑将处理后的双通道图像数据,同步读出传给图像接口FIFO中,FPGA将数据发送到DVI/HDMI编码芯片中,将对双通道的图像数据进行位宽转换,传给DVI/HDMI编码芯片,DVI/HDMI信号输出芯片依照输出时钟PCLK对图像进行DVI/HDMI格式编码,再将编码后的DVI/HDMI格式数据输出到DVI/HDMI接口芯片中进行输出;G、内存读写逻辑中对内存地址进行了严格的分区和限制,一共分为四个区,每一个区包含两个图像子区,图像子区的大小是MCU通过I2C传到FPGA中来的;所述的MCU是单片机。
3.根据权利要求2所述的一种帧同步3D实时视频信息处理平台的处理方法,其特征在于所述的全局信息参数包括视频信息中的采集时钟频率、分辨率、刷新率、行场的前肩宽度、脉冲宽度、后肩宽度、行有效宽度、场有效宽度、场的有效行数和帧大小。
4.根据权利要求2所述的一种帧同步3D实时视频信息处理平台的处理方法,其特征在于所述的步骤F用以下内容替代所述的内存读写逻辑将处理后的双通道图像数据,同步读出传给图像接口 FIFO中,输出接口逻辑单元将对双通道的图像数据进行位宽转换,传给 DVI/HDMI编码逻辑单元,DVI/HDMI编码逻辑单元依照输出时钟PCLK对图像进行DVI/HDMI 格式编码,DVI/HDMI编码逻辑单元通过与控制的通信得来的视频信息为参数,利用PCLK对图像进行编码,通过对图像接口 FIFO的使能位控制,在视频消隐阶段停止对图像接口 FIFO 的数据读取,同时也利用PCLK产生DVI/HDMI芯片所需要的行场等视频信号,输出到DVI/ HDMI芯片中提供DVI/HDMI输出。
全文摘要
本发明公开了一种帧同步3D实时视频信息处理平台及其处理方法,所述的平台包括处理器、控制器、采集单元A、采集单元B、输出单元A、输出单元B、内存条和高速拓展插槽,所述的处理器分别与采集单元A、采集单元B、输出单元A、输出单元B、内存条和高速拓展插槽连接,所述的控制器分别与采集单元A和采集单元B连接,所述处理器由图像编码单元、内存控制单元组成。本发明内存读写逻辑中对内存地址进行了严格的分区和限制,保证了图像流读写的连续性和同步特征,也为宽范围的操作时钟提供了支持。由于3D处理模块的特性决定于双通道的图像信息必须是完全同步,此平台的内存读写逻辑采用双通道图像同步读取方式实现同步功能。
文档编号H04N13/00GK102427543SQ201110308338
公开日2012年4月25日 申请日期2011年10月12日 优先权日2011年10月12日
发明者周春雷, 张坛 申请人:大连科迪视频技术有限公司
再多了解一些
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1