一种基于FPGA芯片模块的超高清VR固态延时器的制作方法

本实用新型涉及超高清/高清/VR视频节目及网络视频的拍摄、制作、存储和传输技术领域，具体涉及一种基于FPGA芯片模块的超高清VR固态延时器。

背景技术：

目前，现有技术中的视音延时器主要实现的功能设计基础和结构已经不能满足视频清晰度成几何倍数增长的需求，其不足之处包括：

1）现有设计的视频输入、输出、量化和存储的处理只是针对高清和标清的信号。

2）现有设计只针对高清、标清信号作延时控制。

2）现有设计大多采用DSP或ARM编程控制来进行信号数据的处理，个别也有采用FPGA芯片和DSP/ARM分别处理，再结合为共同结构。

3）现有设计也有采用CPU小型主板基于LINUX系统（或者WINDOWS操作系统）和增加高标清信号的输入输出接口进行编程作延时处理；

4）现有设计的输入、输出信号接口不能支持超高清/高清的数字媒体信号接口、HDMI 接口或 DP 接口。

5）现有设计的输入、输出信号接口不能支持超高清/高清的 IP 网络信号接口。

6) 作为高清基带视音频信号的纯固态延时处理，现有设计支持的高清信号的延时时间短，在120秒（2分钟）或以内，完全不能支持超高清的各种信号格式。

7）用于固态延时的存储部分由于是采用处理速度慢的DDR二代或更早版本的成品内存条，导致不能符合更高、更快、更灵活的视频数据的实时读写、检测并及时纠错等各种高速数据处理的要求。

8）现有的设计中各个功能多数是基于现成的芯片，导致结构相对繁杂，并且很多功能不能得到优化，从而最终影响到产品运行的稳定性。

9）现有设计基础不具备对支持更高视频信号格式需求和各种处理功能可扩展的可能性。

10）现有设计基础不具备对超高清/高清视音频信号 IP 网络化要求的可扩展的可能性。

11）现有设计基础不具备对 10G IP 网络的视音频信号做接收和转换、同步处理的可能性。

12）现有设计基础不具备对超高清/高清的数字视音频信号做同步、转换、延时等数据处理，并实时以 10G IP 网络根据 SMPTE-2022 组协议实时输出处理，并按照SMPTE802.3a 标准进行 UDP数据广播分发处理的可能性。

13）现有设计基础不具备对 6G/12G 的超高清视频信号做串、并双向转换、量化和同步等数据处理的可能性。

14）现有设计基础不具备对所需延时缓冲的超高清/高清视音频信号数据作在线延时输出的同时将特定数据进行保存备用的可能性。

15）现有设计基础不具备对超高清视音频信号做国际标准 NMI 格式数据的转换和延时处理的可能性。

16）现有设计基础不具备对超高清视音频信号做国际标准 TICO 格式数据的转换和延时处理的可能性。

技术实现要素：

为了克服现有技术中存在的问题，本实用新型提供一种基于FPGA芯片模块的超高清VR固态延时器，该固态延时器为高端媒体用户提供了10G IP、DP、12G/6G/3G/1.5G SDI 等各种数字媒体、VR系统和视频信号格式间的数据相互处理、转换、传输和同步延时功能，并同时提供了超高清、高清数字视音频信号IP 网络化广播和传输的可能，从而大大填补和简化了目前市场上缺少的高质量超高清视频和网络化系统以及各种处理环节所需的信号处理、转换、同步、延时和IP视频网络广播分发设备，可广泛应用于目前的VR、高清、3D 视频处理和未来的4K超高清视频处理和IP网络广播分发系统，包括网络媒体制作、直播和转播、电影、电视拍摄、制作、保存、播出和传统视音信号以及将来的IP数字视音频网络传输等领域。

为实现上述目的，本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器包括：

1）12G SDI 信号数据串并转换处理模块，简称为模块一；

2）超高清视频/音频基带数据SDI-YUV量化、同步、视音频加/解嵌和大规模DDRIII内存颗粒组的数据缓冲存储延时处理模块，简称为模块二；

3）12G SDI 数据并串转换、串行数据 SDI 输出模块，简称为模块三；

4）NMI/TICO 解码和10G IP网络数据输入处理模块，简称为模块四；

5）NMI/TICO 编码和10G IP网络数据 SFP 输出处理模块，简称为模块五；

6）大容量SSD原始数据保存备用处理模块，简称为模块六；

7）超高清固态延时器整机面板控制和1G网络SNMP控制，以及延时器各功能控制的处理模块，简称为模块七；

其中所述的模块二中，包含了：

1） 独立的视音频数据加解嵌、视频数据同步处理的大型 FPGA 芯片模块，简称为模块2-1；用于完成：1）数字超高清SDI-YUV视频数据的 4：2：2 矩阵采样量化处理功能；2）数字基带视频时基校正和内/外时钟同步功能；3）视音频数据加嵌处理功能；4）与大规模多组DDRIII内存颗粒组实时进行视音频数据的读写、检测、纠错和识别功能的高速通道接口；

2）独立的相对小型的FPGA芯片模块，简称为模块2-2；设计用于完成：8组16通道的音频数据48K重采样，时钟重置功能；

3） 独立的大规模多组 DDRIII 内存颗粒组阵模块，简称为模块2-3；用于完成：超高清/高清基带超大容量数据的任意、实时的读写、存储、检测、交插纠错和识别的数据保存、延时功能。

其中，模块一与模块二相连，将转换处理后的并行数据送至模块二；模块一还同时与模块七相连，使操作用户通过模块七来选择模块一的输入信号格式，并随时检测模块一的输入信号是否正常；

模块2-1与模块一相连，用于将模块一接收的各种格式的超高清/高清信号数据做分离解嵌SDI/DP/HDMI数字信号的数字视音频数据，将数字视频的数据做 YUV4：2：2 量化采样处理，同时视频基带数据作时基校正处理和SRC时钟同步，参考信号为外来两级或三级标准信号；模块2-1还与模块四相连，设计用于当外来信号为网络 IP 信号时，由模块四作为标准 NMI/TICO 格式的解码后的超高清视音频数据输入给模块2-1，进行同样的视频和音频的加/解嵌、量化和同步处理功能；模块2-1还随时与模块七相连，使外部操作用户通过模块七来设置、定义和控制超高清/高清数字视频信号的时基和同步功能；

模块2-2也随时与模块七相连，提供操作用户选择音频加嵌的通道数据输出功能；

模块2-3与模块2-1相连，将量化同步处理后和重采样后的视音频数据进行接收并堆栈推送入 DDRIII 内存颗粒组中，作为视音频基带数据的延时缓冲功能；模块2-3还随时与模块七相连，提供操作用户选择进行信号延时时间的选择和设定功能；

模块三与模块五相连，用于需要作 10G IP 网络信号输出时，将超高清基带视音频数据送至模块五，进行标准的 NMI 或 TICO 格式的压缩后，打包为 IP 数据 SMPTE802.3a 标准进行 UDP数据广播分发功能输出；模块三还随时与模块七相连，提供外部操作用户进行输出信号格式的选择和设定功能；

模块四与模块2-1相连；模块四的输入端将 10G IP 信号输入到模块四，根据格式标准解码为超高清基带YUV 4：2：2数据，并送入模块2-1，将基带视音频数据进行同步和延时处理；模块四还随时与模块七相连，提供外部操作用户进行输入信号格式的选择和设定功能；

模块五与模块三相连，经过量化、同步和延时处理后的基带视音频数据输送给模块五，进行数据压缩，打包为符合 NMI 或 TICO 格式的数据包，以SMPTE-2022组协议实时输出，并以 UDP的网络模式按照 SMPTE802.3a 数据分发标准进行 SFP 传输输出功能；模块五还随时与模块七相连，提供外部操作用户进行输出信号格式的选择和设定功能；

模块六与模块2-1相连，用于将量化、同步处理后的超高清/高清视音频基带数据有选择性进行保存作为原始数据的保存备用，并能够用来作为应急切换输出的功能；模块六还随时与模块七相连，提供外部操作用户将所需时段的超高清/高清数据在延时的同时还进行保存备份的选择功能。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器用于实现超高清/高清基带无压缩信号的延时处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器用于实现超高清/高清 IP 网络数据信号的延时处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号进行输入/输出，串并数据转换处理。超高清/高清信号格式根据数字超高清/高清 SMPTE 2036，SMPTE 2048，SMPTE ST 2082，SMPTE ST 2081， SMPTE 424M，SMPTE 372 和SMPTE ST 292的标准。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清 IP 网络信号的输入，根据 SMPTE-2022 组协议输入信号，做数据量化处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号进行视音频数据加解嵌处理，视频数据YUV 4：2：2矩阵采样量化处理。数字超高清视频数据处理根据 SMPTE 2036，SMPTE 2048，SMPTE ST 2082，SMPTE ST 2081的标准；数字高清视频数据处理根据 SMPTE 424M，SMPTE 372 和SMPTE ST 292的标准。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清视频信号的数据时钟同步、重建、时基处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现数字音频信号48K重采样，时钟重置的处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号的智能检测、无缝切换处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号多组大容量 DDRIII 内存颗粒组的数据实时交插读写、检测、识别和交插纠错处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号数据实时与大容量 SSD 读写、检测和数据保存备用的处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号的NMI格式的编码功能处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号的NMI格式的解码功能处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号的 TICO 格式的编码功能处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清/高清信号的 TICO 格式的解码功能处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现超高清信号的 10G IP 网络以 SMPTE-2022组协议实时输出处理，并按照SMPTE802.3a 标准进行 UDP数据广播分发功能处理。

本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器使用FPGA芯片设计实现人、机之间的各项操作控制功能处理，并实现通过 1G 网络以 SNMP V1.0 协议做机器工作状态检测、显示和控制功能处理。

本实用新型具有如下优点：本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器与现有技术相比，为高端媒体用户提供了10G IP、DP、12G/6G/3G/1.5G SDI 等各种数字媒体、VR系统和视频信号格式间的数据相互处理、转换、传输和同步延时功能，并同时提供了超高清、高清数字视音频信号IP 网络化广播和传输的可能，从而大大填补和简化了目前市场上缺少的高质量超高清视频和网络化系统以及各种处理环节所需的信号处理、转换、同步、延时和IP视频网络广播分发设备，可广泛应用于目前的VR、高清、3D 视频处理和未来的4K超高清视频处理和IP网络广播分发系统，包括网络媒体制作、直播和转播，电影、电视拍摄、制作、保存、播出和传统视音信号以及将来的IP数字视音频网络传输等领域。

本实用新型用作延时的多组DDRIII内存颗粒组容量庞大，同时 FPGA 的设计可以随时通过面板的控制功能调用大容量 SSD 做无压缩数据的保存和延时，此种设计的 FPGA 控制数据实时读写、纠错的性能灵活，对超高清4K 12G SDI数字视音频信号的延时时间支持长达900秒，对高清SDI视音频信号的延时时间最长可达到7200秒，即2小时。

附图说明

图1是本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器的整体结构示意图；

图2是本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器中 FPGA 模块 2-1 的超高清数据处理原理图；

图3是一个实施例的超高清视频数据处理格式图；

图4是另一个实施例的超高清视频数据处理格式图。

具体实施方式

以下实施例用于说明本实用新型，但不用来限制本实用新型的范围。

如图1所示，本实用新型所述的基于FPGA芯片模块的超高清VR固态延时器包括七个数据处理模块，分别为：

1）模块一：12G SDI 信号数据串并转换处理模块。

2）模块二：超高清视频/音频基带数据SDI-YUV量化、同步、视音频加/解嵌和大规模DDRIII内存颗粒组的数据缓冲存储延时处理模块。

3）模块三：12G SDI 数据并串转换、串行数据 SDI 输出模块。

4）模块四：NMI/TICO 解码和10G IP网络数据输入处理模块。

5）模块五：NMI/TICO 编码和10G IP网络数据 SFP 输出处理模块。

6）模块六：大容量SSD原始数据保存备用处理模块。

7）模块七：超高清固态延时器整机面板控制和1G网络SNMP控制，以及延时器各功能控制的处理模块。

如图1所示，各处理模块设计实现的功能:

一、 模块一：12G SDI 信号数据串并转换处理模块：

模块一作为各种格式的超高清/高清 SDI 的数字视音频信号和超高清 HDMI/DP 的数字媒体视音频信号外部输入接收、格式检测和转换处理模块，实现各种超高清信号格式的数据串并转换处理功能。

模块一设计支持外部接收输入的超高清/高清信号格式包括：1）多路的数字高清基带信号SMPTE ST 292 1. 5Gbps（SDI输入1）； 2）4路的数字高清基带信号SMPTE 424M 2.97Gbps（SDI输入2）；3）双路的数字超高清SDI基带信号DUAL 6G SDI SMPTE ST 2081 6Gbps（SDI输入3）；4）单链路的数字超高清基带信号SMPTE ST 2082 12Gbps（SDI输入4）；5）数字媒体接口HDMI 或 DP的4K 25/30/50/60Hz的RGB三元色信号（HDMI/DP输入）。

模块一与模块二相连，将转换处理后的并行数据送至模块二。

模块一还同时与模块七相连，使操作用户通过模块7来选择模块1的输入信号格式，并随时检测模块1的输入信号是否正常。

二、模块二：超高清视频/音频基带数据SDI-YUV量化、同步、视音频加/解嵌和大规模DDRIII内存颗粒组的数据缓冲存储延时处理模块：

模块二包含了三个相对独立、资源大小不同的FPGA功能模块 2-1、2-2 和2-3：

1、模块2-1：独立的视音频数据加解嵌、视频数据量化、内/外同步处理的大型 FPGA 芯片模块。该模块2-1设计用于完成：1）数字超高清SDI-YUV视频数据的4：2：2矩阵采样量化处理功能；2）数字基带视频时基校正和内/外时钟同步功能；3）视音频数据加嵌处理功能；4）与大规模多组DDRIII内存颗粒组实时进行视音频数据的读写、检测、纠错和识别功能的高速通道接口。

模块2-1与模块一相连，用于将模块一接收的各种格式的超高清/高清信号数据做分离解嵌SDI/DP/HDMI数字信号的数字视音频数据，将数字视频的数据做 YUV 4：2：2 量化采样处理，同时视频基带数据作时基校正处理和SRC时钟同步，参考信号为外来两级（BI-LEVEL）或三级（TRI-LEVEL）或黑场标准信号。经过量化同步处理后的基带视频数据再和经过数字音频模块2-2处理后的音频数据做视音频加嵌处理，然后将视音频数据推送入模块2-3超大容量的多组带 RECC 校验功能的 DDRIII 快速内存颗粒组阵中作为长时间的数据存储和延时空间。

如图2所示，模块2-1 的FPGA作为核心控制数据实时读写的指针及相关数据标志位的信息保存；FPGA核心控制还需要进行原始基带视频数据的逐帧图象的检测、搜索，对相关帧图象的信息进行记录保存，同时匹配采样时钟对应的数字音频数据，将对应的数字音频数据信息也进行记录保存。此模块2-1中还提供超高清4K数字视频时基校正模块，与视音频数据交互处理模块，用于根据外部参考锁相信号的视频相位和时钟来校准超高清/高清数字视频信号行、场相位值；包括消噪电路、时基校正器、失落补偿电路；

模块2-1以超大规模FPGA芯片来处理8倍于数字高清的视频数据的SRC 时钟同步和进行时基校正处理，并同时控制超大容量的多组内存颗粒组成的存储颗粒矩阵组做大量的数据同步、检测、搜索、延时、切换处理。用于在需要延时时对当前输入的基带视频和音频信号进行可控制的延时处理，经过延时处理后的数据送到模块三，用作视音频信号输出处理。

模块2-1中还提供数据检测和识别模块，用于对视音频数据交互处理模块中各个数字视音频输出接口输出的信号的指标进行检测，并选择指标符合预设标准的一路输出信号输出到外部数字视音频信号接收设备；采用由若干个控制开关和微处理器组成的判别电路实现。

本实用新型设计兼容图3和图4所示的两种超高清视频数据的处理格式。模块2-1设计基于12G SDI数字通道的设计模式，做基带视频图像处理，基带无压缩的视频数据兼容以下两种图像处理方式：

1）如图3所示，采用4分发 SQD方式将整幅 4K视频图像分为上下左右4部分的子图像处理模块，分别进行的视频信号处理。这种处理方式对于整个系统的信号传输最少需要1帧的数据缓冲来作为同步处理图像的需要。

2）采用每2个采样点交织采样2SI（2 SAMPLE INTERLEAVE）的采样处理模式，将同1行中相邻2个像素作为1个采样单位，插入采样信息。偶数行进行1，2点交插，奇数行做3，4点交插，并且每个采样点都附带有原始 4K图像的1/4信息，采样处理后的像素点根据自己的编号顺序来分别组成4个子图像。这种处理方式只需要2行的数据缓冲来同步处理整幅图像。

模块2-1还与模块四相连，设计用于当外来信号为网络 IP 信号时，由模块四作为标准 NMI/TICO 格式的解码后的超高清视音频数据输入给模块2-1，进行同样的视频和音频的加/解嵌、量化、同步等处理功能。模块2-1 还与模块六相连，用于将量化、同步处理后的超高清/高清视音频基带数据有选择性进行保存，作为原始数据的保存备用，并还可以用来作为应急切换输出的功能。

模块2-1还随时与模块七相连，使外部操作用户通过模块七来设置、定义和控制超高清/高清数字视频信号的时基和同步功能，包括视频行、场相位值的设定，内/外同步锁相的设定功能。

2）模块2-2：独立的相对小型的FPGA芯片模块，设计与模块2-1做解嵌处理后的音频数据完成 8组16通道的音频数据 48K 重采样，时钟重置功能，并随时与模块2-1相连，作为音频重采样后与视频数据的时钟信息匹配。

模块2-2也随时与模块七相连，可以提供操作用户选择音频加嵌的通道数据输出功能。

3）模块2-3：独立的大规模多组 DDRIII 内存颗粒组阵模块。

模块2-3 设计多组大规模带 RECC 校验的 DDRIII 内存颗粒组来作为超高清/高清基带超大容量数据的任意、实时的读写、存储、检测、交插纠错和识别等数据保存、延时功能。此设计使大容量的数据实时读写速度更快，更灵活，并且随时作出数据纠错的检测功能。

模块2-3 与模块2-1相连，将量化同步处理后和重采样后的视音频数据进行接收并堆栈推送入 DDRIII 内存颗粒组中，作为视音频基带数据的延时缓冲功能。

模块2-3还随时与模块七相连，提供操作用户选择进行信号延时时间的选择和设定功能。

三、模块三： 12G SDI 超高清数字视音频数据串行处理和输出模块：

模块三 用于经过延时处理后的超高清/高清视音频数据还原为超高清基带SDI信号的输出。输出信号格式同样兼容各种超高清和高清数字信号格式，包括：

1）多路的数字高清基带信号SMPTE ST 292 1. 5Gbps；

2）4路的数字高清基带信号SMPTE 424M 2.97Gbps；

3）双路的数字超高清SDI基带信号SMPTE ST 2081-10 6Gbps；

4）单链路的数字超高清基带信号SMPTE ST 2082 12Gbps；

5）数字媒体接口HDMI 或 DP的4K 25/30/50/60Hz的RGB三元色信号。

模块三与模块五相连，用于在需要作 10G IP 网络信号输出时，将超高清基带视音频数据送至模块五，进行标准的 NMI 或 TICO 格式的压缩后，打包为 IP 数据 SMPTE802.3a 标准进行 UDP数据广播分发功能输出。

模块三还随时与模块七相连，提供外部操作用户进行输出信号格式的选择和设定功能。

四、模块四：NMI/TICO 解码和10G IP网络数据输入处理模块：

模块四采用超大规模FPGA芯片来执行NMI 或 TICO格式的解码驱动。（NMI或TICO格式为国际标准的超高清编解码格式，我们已经被授权使用这两种标准）。

模块四对超高清视频数据的处理和YUV量化与模块2-1的数据处理模式相同，采用全4K或8K行间像素的压缩为基础，基于ARM LIMITED的先进可扩展接口 AXI 接口的最新一代4.0版本的高级微控制总线结构 AMBA4.0来实现巨大的数据压缩处理。

模块四与模块2-1相连。模块四的输入端将10G IP信号输入到此模块，根据格式标准解码为超高清基带YUV 4：2：2数据，并送入模块2-1，将基带视音频数据进行同步和延时处理。

模块四还随时与模块七相连，提供外部操作用户进行输入信号格式的选择和设定功能。

五、模块五：NMI/TICO 编码和10G IP网络数据 SFP 输出处理模块：

模块五采用超大规模FPGA芯片来执行NMI 或 TICO格式的编码驱动。（NMI或TICO格式为国际标准的超高清编解码格式，我们已经被授权使用这两种标准）。

模块五与模块三相连，经过量化、同步和延时处理后的基带视音频数据输送给模块五，进行数据压缩，打包为符合 NMI 或 TICO 格式的数据包，以SMPTE-2022组协议实时输出，并以 UDP的网络模式按照 SMPTE802.3a数据分发标准进行 SFP 传输输出功能。

模块五还随时与模块七相连，提供外部操作用户进行输出信号格式的选择和设定功能。

六、模块六：大容量SSD原始数据保存备用处理模块：

模块六与模块2-1相连，用于将量化、同步处理后的超高清/高清视音频基带数据有选择性进行保存作为原始数据的保存备用，并还可以用来作为应急切换输出的功能。

模块六还随时与模块七相连，提供外部操作用户将所需时段的超高清/高清数据在延时的同时还进行保存备份的选择功能。

七、模块七：超高清固态延时器整机面板控制和1G网络SNMP控制，以及延时器各功能控制的处理模块：

模块七由FPGA芯片来实现人机交互控制，用于设置和显示延时器的输入/输出信号格式的选择，各项视频和音频的参数选择，各种信号格式的延时时间的设置，并同时可以通过网络 SNMP V1.0协议进行控制和监测延时器的工作状态。

模块七分别与以上全部6个功能模块相连，用于在接收到外部用户输入的指令后，对各模块进行选择、控制和设定。

虽然，上文中已经用一般性说明及具体实施例对本实用新型作了详尽的描述，但在本实用新型基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本实用新型精神的基础上所做的这些修改或改进，均属于本实用新型要求保护的范围。