一种基于FPGA的便携式HDMI视频采集设备和方法与流程

本发明属于信号处理技术领域，具体涉及一种基于FPGA的便携式HDMI视频采集设备和方法。

背景技术：

随着科技的发展，HDMI接口技术在高清多媒体领域中已经得到了越来越广泛的应用。现有HDMI视频采集技术一般采用如图1所示的硬件架构，采用HDMI RX芯片对输入的HDMI芯片进行解码，解码后的视频数据通过并行的总线传输至FPGA，音频数据通过I2S总线传输至FPGA；采用HDMI TX芯片对HDMI信号进行编码，FPGA将HDMI RX芯片发送的视频数据和音频数据传输至TX对应接口。采用这样的硬件架构存在很多的缺陷，1.HDMI RX/TX芯片功耗较大；2.RX/TX芯片和FPGA间物理连线很多，对于12bit色彩深度的HDMI信号，发送和接收各需要36根视频数据线，且另需时钟线、同步线，并且视频总线工作在较高的频率，导致功耗大，板上串扰大，信号完整性较差；3.FPGA I/O资源有限，过多的I/O占用将需要使用较大封装的FPGA芯片，导致产品体积加大，无法顺应目前电子设备小型化、便携化的发展路径；4.如果减少视频数据线位宽，将导致画面像素精度降低，画面可能出现过渡色失真问题。

另外，对于游戏用户，在使用HDMI视频采集设备时，需要通过耳机听到游戏声音，同时还要对音频进行录制和直播，如图2所示，对于现有技术的HDMI视频采集设备，还需另外连接音频分离器对HDMI中的音频进行分离，又增加了整体系统设备的成本，且不易携带。

技术实现要素：

为克服现有技术的缺陷，本发明提供了一种基于FPGA的便携式HDMI视频采集设备和方法，可实现HDMI视频采集核心功能的单芯片化，降低系统整体成本及功耗。

为实现上述技术目的，本发明采用如下技术方案：

一种基于FPGA的便携式HDMI视频采集设备，包括HDMI输入接口连接器、HDMI输出接口连接器、FPGA芯片、USB/PCIe2Thunderbolt接口芯片和音频解编码器；

HDMI输入接口连接器、HDMI输出接口连接器、USB/PCIe2Thunderbolt接口芯片和音频解编码器分别与FPGA芯片连接；

FPGA芯片接收HDMI输入接口连接器发送的HDMI TMDS信号，进行信号分配和信号分离：接收的HDMI TMDS信号经HDMI解码分离后，复制分配为两路进行处理，第一路HDMI数据包括音频数据、视频数据和辅助数据，经HDMI编码后作为环路输出数据输出至HDMI输出接口连接器；第二路HDMI数据中包括视频数据和两路音频数据，分别输出至USB/PCIe2Thunderbolt接口芯片和音频解编码器；

所述USB/PCIe2Thunderbolt接口芯片通过USB/PCIe2Thunderbolt接口连接器连接至采集计算机，所述音频解编码器通过耳机接口连接器连接至耳机。

作为本发明的进一步优选，所述FPGA芯片包括HDMI RX IP核模块、HDMI TX IP核模块、USB/PCIe接口模块、音频接口模块、视频处理模块、第一音频处理模块和第二音频处理莫快；

所述HDMI RX IP核模块连接HDMI输入接口连接器，接收HDMI输入接口连接器发送的HDMI TMDS信号，对信号解码分离出音频数据、视频数据和辅助数据，复制分配为两路进行处理；

第一路HDMI数据包括音频数据、视频数据和辅助数据；HDMI TX IP核模块接收第一路HDMI数据，进行HDMI发送编码，产生HDMI环路输出数据，输出至HDMI输出接口连接器；

第二路HDMI数据包括视频数据、以及由音频数据复制分配的第一音频数据和第二音频数据；视频数据和第一音频数据分别经过视频处理模块和第一音频处理模块处理后，发送至USB/PCIe接口模块；第二音频数据经第二音频处理模块处理后，发送至音频接口模块；

所述USB/PCIe接口模块将处理后的视频数据和第一音频数据封装后，将发送至USB/PCIe2Thunderbolt接口芯片；

所述音频接口模块将处理后的第二音频数据转换为IIS或PCM格式，发送至音频解编码器。

作为本发明的进一步优选，所述HDMI RX IP核模块包括串并转换器、字对齐单元、Deskew通道单元、HDMI解码协议单元、HDMI辅助数据分离单元、HDMI视频数据编制单元、HDMI音频数据编制单元和HDMI辅助数据存储单元；

串并转换器接收输入接口连接器发送的HDMI TMDS信号，经串并转换处理后依次发送至字对齐单元、Deskew通道单元进行处理，经Deskew通道单元校正后的信号发送至HDMI解码协议单元，分离出视频数据；HDMI解码协议单元分离出的视频数据发送至HDMI视频数据编制单元处理后，输出视频数据；其余数据发送至HDMI辅助数据分离单元，分离出辅助数据和音频数据；所述音频数据发送至HDMI音频数据编制单元处理后，输出音频数据；所述辅助数据发送至HDMI辅助数据存储单元存储，输出辅助数据；

所述HDMI TX IP核模块包括HDMI视频数据转换单元、HDMI音频数据转换单元、HDMI辅助数据存储单元、HDMI辅助数据混合单元、HDMI编码协议单元和串并转换器；

HDMI视频数据转换单元、HDMI音频数据转换单元、HDMI辅助数据存储单元分别接收HDMI RX IP核模块输出的视频数据、音频数据和辅助数据，HDMI音频数据转换单元、HDMI辅助数据存储单元输出的数据经HDMI辅助数据混合单元混合后，与HDMI视频数据转换单元输出的数据一并发送至HDMI编码协议单元进行编码，编码后的数据经串并转换器串并转换后，输出HDMI TMDS信号至HDMI输出接口连接器。

作为本发明的进一步优选，所述HDMI视频采集设备还包括HDMI信号均衡芯片或Reclocker芯片；HDMI输入接口连接器的HDMI TMDS信号经HDMI信号均衡芯片或Reclocker芯片处理后发送至FPGA芯片；FPGA芯片输出的环路输出数据经HDMI信号均衡芯片或Reclocker芯片处理后输出至HDMI输出接口连接器。根据HDMI输入接口支持线缆长度的要求不同，可以采用HDMI均衡芯片或Reclocker芯片，不采用HDMI均衡芯片或Reclocker，支持约0-10米的HDMI线缆长度；采用HDMI均衡芯片，支持约0-20米左右的线缆长度；采用Reclocker芯片，支持约0-30米左右的HDMI线缆长度。

作为本发明的进一步优选，所述HDMI视频采集设备还包括外部视频帧缓冲RAM模块，所述外部视频帧缓冲RAM模块通过RAM接口连接至视频处理模块。增加外部视频帧缓冲RAM模块可拓展视频处理模块的功能，包括帧率转化、去隔行功能等。

本发明的另一目的在于提供一种基于FPGA的便携式HDMI视频采集方法，本发明的方法采用如下的技术方案实现：

一种基于FPGA的便携式HDMI视频采集设备方法，其特征在于，所述方法包括如下步骤：

FPGA芯片接收HDMI TMDS信号，将HDMI TMDS信号解码，分离出视频数据、音频数据和辅助数据，分两路处理；

第一路处理中，将解码分离出的视频数据、音频数据和辅助数据重新通过HDMI TMDS信号编码，作为环路输出数据输出至显示器；

第二路处理中，将解码分离出的视频数据、音频数据分三路处理；音频数据复制分配至两路，分别为第一音频数据、第二音频数据；

视频数据和第一音频数据经封装处理后发送至USB/Thunderbolt接口芯片，连接至采集计算机；

第二音频数据经封装处理后发送至音频编解码器，连接至耳机。

对于现有HDMI视频采集技术，要同时实现包括视频采集、HDMI信号分配、HDMI音频分离等功能，需采用多个设备连接实现，或将这些功能通过多颗芯片通过物理连线组合实现，内部仍是分立的三个模块。而本发明的设备和方法集成了HDMI采集、环回输出、视频及音频处理、音频输出、USB/PCIe接口功能，全部核心功能均通过FPGA实现，实现HDMI视频采集核心功能的单芯片化，后期可以通过软件进行系统升级，系统整合程度高、功耗低、成本低。

附图说明

图1是现有HDMI采集设备硬件结构框架图。

图2是现有HDMI采集设备应用原理图。

图3是本发明HDMI采集设备硬件结构框架图。

图4是本发明HDMI采集设备应用原理图。

图5是实施例1设备硬件FPGA内部逻辑模块架构图。

图6是实施例1设备硬件FPGA内部HDMI RX IP核内部逻辑模块结构图。

图7是实施例1设备硬件FPGA内部HDMI TX IP核内部逻辑模块结构图。

具体实施方式

下面结合附图说明和具体实施方式，对本发明的技术方案做进一步描述。

实施例1

本实施例对本发明的HDMI视频采集设备的技术方案做具体说明。

如图3所示的HDMI视频采集设备，包括HDMI输入接口连接器、HDMI输出接口连接器、FPGA芯片、USB/PCIe2Thunderbolt接口芯片和音频解编码器；

HDMI输入接口连接器、HDMI输出接口连接器、USB/PCIe2Thunderbolt接口芯片和音频解编码器分别与FPGA芯片连接；

FPGA芯片接收HDMI输入接口连接器发送的HDMI TMDS信号，进行信号分配和信号分离：接收的HDMI TMDS信号经HDMI解码分离后，复制分配为两路进行处理，第一路HDMI数据包括音频数据、视频数据和辅助数据，经HDMI编码后作为环路输出数据输出至HDMI输出接口连接器；第二路HDMI数据中包括视频数据和两路音频数据，分别输出至USB/PCIe2Thunderbolt接口芯片和音频解编码器；

所述USB/PCIe2Thunderbolt接口芯片通过USB/PCIe2Thunderbolt接口连接器连接至采集计算机，所述音频解编码器通过耳机接口连接器连接至耳机。

如图5所示，所述FPGA芯片包括HDMI RX IP核模块、HDMI TX IP核模块、USB/PCIe接口模块、音频接口模块、视频处理模块、第一音频处理模块和第二音频处理莫快；

所述HDMI RX IP核模块连接HDMI输入接口连接器，接收HDMI输入接口连接器发送的HDMI TMDS信号，对信号解码分离出音频数据、视频数据和辅助数据，复制分配为两路进行处理；

第一路HDMI数据包括音频数据、视频数据和辅助数据；HDMI TX IP核模块接收第一路HDMI数据，进行HDMI发送编码，产生HDMI环路输出数据，输出至HDMI输出接口连接器；

第二路HDMI数据包括视频数据、以及由音频数据复制分配的第一音频数据和第二音频数据；视频数据和第一音频数据分别经过视频处理模块和第一音频处理模块处理后，发送至USB/PCIe接口模块；第二音频数据经第二音频处理模块处理后，发送至音频接口模块；

所述USB/PCIe接口模块将处理后的视频数据和第一音频数据封装后，发送至USB/PCIe2Thunderbolt接口芯片；

采用USB接口模块时，USB接口模块将经视频处理模块处理后的视频按USB UVC进行封装，形成UVC数据包；并将经第一音频处理模块处理后的音频数据封装，形成UAC数据包，传输至USB接口芯片；

对于Thunderbolt采集设备，采用PCIe接口模块，将经视频处理模块和第一音频处理模块处理后的数据进行封装，形成PCIe Memory Write TLP，通过PCIe接口传输至Thunderbolt接口芯片；

所述音频接口模块将处理后的第二音频数据转换为IIS或PCM格式，发送至音频解编码器。

本实施例中，根据HDMI输入接口支持线缆长度的要求不同，所述HDMI视频采集设备还包括HDMI信号均衡芯片或Reclocker芯片；HDMI输入接口连接器的HDMI TMDS信号经HDMI信号均衡芯片或Reclocker芯片处理后发送至FPGA芯片；FPGA芯片输出的环路输出数据经HDMI信号均衡芯片或Reclocker芯片处理后输出至HDMI输出接口连接器。

根据视频处理模块功能需求，所述HDMI视频采集设备还包括外部视频帧缓冲RAM模块，所述外部视频帧缓冲RAM模块通过RAM接口连接至视频处理模块。增加外部视频帧缓冲RAM模块可拓展视频处理模块的功能，包括帧率转化、去隔行功能等。

本实施例设备的一种应用方式如图4所示，HDMI视频采集设备从游戏计算机采集HDMI信号，分别通过HDMI接口、音频接口和USB/thunderbolt接口输出至显示器、耳机和采集计算机，仅通过单FPGA即可实现，不需要再连接音频分离器。

实施例2

本实施例说明本发明HDMI视频采集方法的具体技术方案。

本发明的方法具体包括如下步骤：

FPGA芯片接收HDMI TMDS信号，将HDMI TMDS信号解码，分离出视频数据、音频数据和辅助数据，分两路处理；

第一路处理中，将解码分离出的视频数据、音频数据和辅助数据重新通过HDMI TMDS信号编码，作为环路输出数据输出至显示器；

第二路处理中，将解码分离出的视频数据、音频数据分三路处理；音频数据复制分配至两路，分别为第一音频数据、第二音频数据；

视频数据和第一音频数据经封装处理后发送至USB/Thunderbolt接口芯片，连接至采集计算机；

第二音频数据经封装处理后发送至音频编解码器，连接至耳机。