一种基于HEVC的高性能音视频编码装置的制作方法

本发明涉及音视频压缩技术领域，特别是指一种基于hevc的高性能音视频编码装置，可用于使用固定带宽链路传输的无人飞行系统中。

背景技术：

hevc算法是最新一代的视频压缩算法，相较于h.264算法有更高的压缩效率。在无人飞行器系统中，链路资源非常有限，而对图像质量的要求越来越高。因此把hevc视频编码算法应用到无人飞行器系统中，有着巨大的价值。在同样的视频质量下，hevc可以比h.264算法节省更多地链路资源，提升链路的作用距离和抗干扰性。另一方面，传统监控领域的hevc算法只注重压缩比，不注重延时指标。在无人飞行器系统中，延时指标是非常重要的考核因素，这一指标影响着操作手是否可以准确快速的定位跟中目标。同时，随着技术的发展，越来越多的视频源被引入到无人机系统中，发挥着不同的作用，视频编码装置需要兼容这些视频接口。

因此，实现低延时的hevc音视频压缩方法并实现多视频接口的压缩设备，在无人飞行器系统中有着很广阔的应用前景。

技术实现要素：

有鉴于此，本发明提出一种基于hevc的高性能音视频编码装置，其能够大幅提高压缩比，节省链路资源，实现更低的时延指标，满足无人飞行器系统对多视频接口的要求。

本发明的目的是这样实现的：

一种基于hevc的高性能音视频编码装置，包括sdi视频接口、pal视频接口、cameralink视频接口、hdmi视频接口、音频接口、同步数据输出接口、控制接口、回报接口、fpga、hevc编码核心板，所述fpga用于实现sdi预处理模块、pal预处理模块、cameralink预处理模块、音频编码模块、控制指令解析模块、回报组帧模块和同步数据输出模块；

其中，sdi视频接口接收标准sdi视频数据，通过sdi视频均衡器和sdi解串器将外部输入的高速串行sdi视频数据转换为1对差分时钟和5对差分数据，并输出给fpga的sdi预处理模块；

pal视频接口接收外部标准pal视频数据，通过模数转换芯片将串行模拟信号转换为并行数字信号，并输出给fpga的pal预处理模块；

cameralink视频接口接收cameralink数字信号，通过ds90cr286amtd芯片将1对差分时钟和4对差分数据转换成1位时钟和28位并行数据，并输出给fpga的cameralink预处理模块；

hdmi视频接口通过hdmr插座将外部输入的hdmi视频数据解析为1对差分时钟3对差分数据，并输出给hevc编码核心板；

音频接口通过tlv320aic23bpw音频芯片接收外部的mic或line音频输入，并通过i2s接口输出给fpga的音频编码模块；

同步数据输出接口接收fpga的同步数据输出模块的数据，经过sn65hvd1476dgsr芯片，转换为同步422数据输出；

控制接口接收外部异步422控制信号，经过sn65hvd1476dgsr芯片转换为单端信号后传给fpga的控制指令解析模块；

回报接口接收fpga的回报组帧模块输出的回报帧，并通过sn65hvd1476dgsr芯片转换为异步422信号输出；

fpga的sdi预处理模块接收sdi差分信号，转换为单端信号，按照bt1120视频标准提取有效视频数据、帧同步、行同步信息，组成yuv420格式的视频数据；同时检测sdi视频输入的格式，将sdi视频输入格式信息输出给fpga的回报组帧模块；

fpga的pal预处理模块接收pal并行数据，按照bt656视频标准提取有效视频数据、帧同步、行同步信息，组成yuv420格式的视频数据；同时检测pal视频输入是否正常，将该信息输出给fpga的回报组帧模块；

fpga的cameralink预处理模块接收cameralink并行数据，按照标准cameralink协议提取有效视频数据、帧同步、行同步信息，组成yuv420格式的视频数据；同时检测cameralink视频输入是否正常，将该信息输出给fpga的回报组帧模块；

fpga的音频编码模块从i2s接口接收原始音频数据，使用g.729标准音频压缩算法实现音频压缩，压缩后的音频数据进入fpga的同步数据输出模块；

fpga的控制指令解析模块从422芯片接收控制帧，控制帧固定帧长，包含固定帧头2字节，编码码率、视频编码源、编码帧率三个字节有效参数，以及校验和；控制指令解析模块按照帧协议，提取出编码码率、视频编码源、编码帧率信息；根据视频源的不同，分别选择对应sdi、pal、cameralink视频的yuv420数据发送给hevc编码核心板；同时，把编码码率和编码帧率两个参数发送给hevc编码核心板；

fpga的回报组帧模块采集sdi预处理模块的sdi视频输入格式、pal预处理模块的pal视频正常与否信息、cameralink预处理模块的视频输入正常与否信息、hevc编码核心板的当前编码码率、编码视频源、编码帧率、hevc码流的正常与否信息，按照回报帧协议组成回报帧，发送给422芯片；回报帧固定帧长，包含2字节固定帧头、上述参数信息以及校验和；

fpga的同步数据输出模块接收hevc编码核心板压缩后的视频码流，根据码流的协议对码流进行解析，检测码流的帧头是否正确，码流的帧计数是否连续，码流的校验是否正常，码流的时钟是否异常，并把这些信息发送给回报组帧模块；此外，还接收压缩后的音频数据，与视频码流一同打包，组成固定长度的帧，发送给422芯片；

hevc编码核心板接收hdmi芯片的视频数据，根据程序中预设的码率、帧率参数，采用hevc算法直接进行视频压缩，压缩后的码流通过spi接口发送给fpga的同步数据输出模块。

进一步的，所述hevc编码核心板在硬件上通过qss-050-01-f-d-a接插件与fpga底板进行对接。

进一步的，所述hevc编码核心板通过dvp接口接收fpga发送的yuv420数据，通过uart接口接收fpga发送的码率、帧率、视频编码源参数，根据这些参数实时调整hevc算法的参数，实现对sdi、pal、cameralink视频的实时压缩，压缩后的码流通过spi接口发送给fpga的同步数据输出模块；如果有hdmi视频输入，则优先选择hdmi视频源。

进一步的，所述hevc编码核心板中hevc算法的具体方式为：在每帧图像中插入i块，i块的高度和宽度通过参数调节，剩余的部分为p块，i块采用帧内压缩模式，p块采用参考帧压缩模式；i块的位置在图像帧序列中，依次向右移动一个i块的宽度，i块从图像帧的最左侧移动到图像帧的最右侧时，表示当前序列为一个gop组合。

本发明与背景技术相比具有如下优点：

1．本发明可兼容的视频源丰富，支持市场上常用的sdi、hdmi、pal，同时支持用户自定义格式的cameralink接口，音频既可以实现音频压缩也可以实现音频解压，不仅可实现压缩端音频向解压端的传输，也可实现解压端向压缩端的音频喊话应用。

2．本发明中使用的控制回报接口，可实时选择视频压缩源，切换压缩码率、帧率等参数，回报的帧参数详尽的体现了各模块的工作状态，方便问题的定位和排查。

3．进一步的，本发明所采用的压缩算法为经过低延时优化的hevc算法，需要底层的硬核支持，选取ar9201芯片完成该部分的压缩工作，输出的码流平均且稳定，不会因为场景的剧烈变化而产生较大波动。经测试针对1080p30的视频源，通过有限带宽同步数据传输（压缩码率与同步带宽相同），端到端延时小于80ms。这样的低延时特别适用于对延时指标要求高的无人机或者弹载领域，更低的延时可以帮助操作手更好的定位目标。

4．本发明所使用的hevc算法可以比传统的h.264算法提高50%的压缩效率，对于相同的视频质量，本发明所使用的hevc算法比h.264算法可节省30%~50%的码率，对于1080p30的视频源，本发明使用的hevc算法使用2mbps的码率可达到h.264算法4mbps码率的视频质量。超高的压缩比使得该发明在无人机或者弹载上可以为系统节省更多的带宽资源，提高整个系统的抗干扰性和稳定性，同时可实现更大分辨率的视频压缩应用。

附图说明

图1是本发明实施例的电原理方框图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的详细说明。

参照图1所示，一种基于hevc的高性能音视频编码装置，其包括sdi视频接口、pal视频接口、cameralink视频接口、hdmi视频接口、音频接口、同步数据输出接口、控制接口、回报接口、fpga、hevc编码核心板，所述fpga用于实现sdi预处理模块、pal预处理模块、cameralink预处理模块、音频编码模块、控制指令解析模块、回报组帧模块、同步数据输出模块。

具体来说，sdi视频接口接收标准sdi视频数据，通过sdi视频均衡器和sdi解串器将外部输入的高速串行sdi视频数据转换为1对差分时钟和5对差分数据，并输出给fpga的sdi预处理模块；

pal视频接口接收外部标准pal视频数据，通过adv7180芯片将串行模拟信号转换为并行数字信号，并输出给fpga的pal预处理模块；

cameralink视频接口接收cameralink数字信号，通过ds90cr286amtd芯片将1对差分时钟和4对差分数据转换成1位时钟和28位并行数据，并输出给fpga的cameralink预处理模块；

hdmi视频接口通过hdmr插座将外部输入的hdmi视频数据解析为1对差分时钟3对差分数据，并输出给hevc编码核心板；

音频接口通过tlv320aic23bpw音频芯片接收外部的mic或line音频输入，并通过i2s接口输出给fpga的音频编码模块；

同步数据输出接口接收fpga的同步数据输出模块的数据，经过sn65hvd1476dgsr芯片，转换为同步422数据输出；

控制接口接收外部异步422控制信号，经过sn65hvd1476dgsr芯片，转换为单端信号给fpga的控制指令解析模块；

回报接口接收fpga的回报帧，并通过sn65hvd1476dgsr芯片转换为异步422信号输出；

fpga的sdi预处理模块接收sdi差分信号，转换为单端信号，按照bt1120视频标准提取有效视频数据、帧同步、行同步信息，组成yuv420格式的视频数据；同时检测sdi视频输入的格式，将sdi视频输入格式信息输出给fpga的回报组帧模块；

fpga的pal预处理模块接收pal并行数据，按照bt656视频标准提取有效视频数据、帧同步、行同步信息，组成yuv420格式的视频数据；同时检测pal视频输入是否正常，将该信息输出给fpga的回报组帧模块；

fpga的cameralink预处理模块接收cameralink并行数据，按照标准cameralink协议提取有效视频数据、帧同步、行同步信息，组成yuv420格式的视频数据；同时检测cameralink视频输入是否正常，将该信息输出给fpga的回报组帧模块；

fpga的音频编码模块从i2s接口接收原始音频数据，使用g.729标准音频压缩算法实现音频压缩，压缩后的音频数据进入fpga的同步数据输出模块；

fpga的控制指令解析模块从422芯片接收控制帧，控制帧固定帧长，包含固定帧头2字节，编码码率、视频编码源、编码帧率三个字节有效参数，以及校验和。控制指令解析模块按照帧协议，提取出编码码率、视频编码源、编码帧率信息。根据视频源的不同，分别选择对应sdi、pal、cameralink视频的yuv420数据发送给hevc编码核心板。同时把编码码率和编码帧率两个参数发送给hevc编码核心板；

fpga的回报组帧模块采集sdi预处理模块的sdi视频输入格式、pal预处理模块的pal视频是否正常、cameralink预处理模块的视频输入是否正常、hevc编码核心板当前编码码率、编码视频源、编码帧率、hevc码流是否正常这些信息，按照回报帧协议组成回报帧，发送给422芯片。回报帧固定帧长，包含2字节固定帧头，上述参数信息以及校验和。编码装置出现故障时，根据状态回报信息可以快速定位故障的位置和原因。

fpga的同步数据输出模块接收hevc编码核心板压缩后的视频码流，根据码流的协议对码流进行解析，检测码流的帧头是否正确，码流的帧计数是否连续，码流的校验是否正常，码流的时钟是否异常等信息，并把这些信息发送给回报组帧模块；接收压缩后的音频数据，与视频码流一同打包，组成固定长度的帧，发送给422芯片。

hevc编码核心板接收hdmi芯片的视频数据，根据程序中预设的码率、帧率参数，采用hevc算法直接进行视频压缩，压缩后的码流通过spi接口发送给fpga的同步数据输出模块；hevc编码核心板在硬件上通过qss-050-01-f-d-a接插件与fpga底板进行对接；hevc编码核心板通过dvp接口接收fpga发送的yuv420数据，通过uart接口接收fpga发送的码率、帧率、视频编码源等压缩参数，根据这些参数实时调整hevc算法的参数，实现对sdi、pal、cameralink视频的实时压缩，压缩后的码流通过spi接口发送给fpga的同步数据输出模块；如果有hdmi视频输入，优先选择hdmi视频源。

hevc编码核心板采用的hevc算法经过低延时优化，并非使用传统的ippp或ibp的参考帧模式。在每帧图像中插入i块，i块的高度和宽度可以通过参数调节，剩余的部分为p块，i块采用帧内压缩模式，p块采用参考帧压缩模式；i块的位置在图像帧序列中，依次向右移动一个i块的宽度，i块从图像帧的最左侧移动到图像帧的最右侧时，表示当前序列为一个gop组合。这样的压缩方式，可以保证压缩后的每帧图像的码流是平均的，避免了ippp和ibp模式导致的码流波动，码流平均可以保证有限带宽链路图传系统的低延时，码流波动会导致图传系统的延时大大增加。

本例中，hevc编码核心板可采用ar9201核心板，并基于ar9201核心板完成了低延时的hevc标准视频压缩。本装置可兼容sdi、pal、cameralink、hdmi视频源，可实时切换不同的压缩模式，不同的压缩码率和帧率；可同时实现音频编码和音频解码；有限带宽的链路中，整个编码系统的延时很低；实时回报的状态信息可以准确的跟踪当前装置的工作状态，当编码装置工作异常时，通过状态信息可快速定位故障原因。

本装置中，sdi视频接口、pal视频接口、cameralink视频接口分别接收对应格式的视频数据，转换为差分信号或并行数据给fpga，fpga根据控制指令中指定的视频源进行yuv420格式的视频提取，将yuv420视频数据以及控制指令中的编码帧率、码率、用户数据等信息发送给ar9201核心板。ar9201核心板使用专门设计的低延时算法将yuv420视频数据压缩成低延时的hevc码流，并打包成固定帧格式输出给fpga，fpga接收到ar9201的码流后，根据帧头和帧计数信息对ar9201的工作状态做出判断，并通过422接口输出码流。fpga同时检测sdi、pal、cameralink处理模块的工作状态，将所有的状态组帧输出，音频数据接口接收外部的mic或者line音频输入，转换成数字信号通过i2s接口给fpga，fpga使用g729算法对音频进行压缩，组帧后通过422同步接口输出，hdmi视频无需通过fpga转换，直接送到ar9201核心板，最高可实现4kp30的低延时hevc压缩，压缩后的码流转发给fpga，通过422同步接口输出。

本发明的简要工作原理如下：

sdi视频接口、pal视频接口、cameralink视频接口、hdmi视频接口、音频输入输出接口完成外部音视频数据的信号转换；fpga完成yuv420视频数据组帧，音频编解码，控制指令解析，各模块状态提取并组帧输出；ar9201核心板完成低延时hevc算法编码，422芯片完成同步数据的输入输出。

本发明安装结构：把图1中的编码装置安装在屏蔽盒内，放置在机载收发组合上，组成本发明。

本发明在功能上将整个编码装置分为fpga底板和hevc编码核心板，将接口电路在fpga底板上完成，hevc编码工作在hevc核心板上实现。这种方式便于问题排查以及故障解决。此外，不同的项目对接口可能有不同要求，采用这种结构形式，可对不同项目有更好的适应性。

总之，本发明可兼容的视频源丰富，支持市场上常用的sdi、hdmi、pal，同时支持用户自定义格式的cameralink接口，音频既可以实现音频压缩也可以实现音频解压，不仅可实现压缩端音频向解压端的传输，也可实现解压端向压缩端的音频喊话应用。

此外，本发明实现了hevc算法的低延时编码方案，可实现多种视频源的高质量视频压缩，同时具有极低的编解码延时和传输时延、优秀的抗误码能力，并支持g729音频压缩算法，可实时控制和检测视频编解码状态，适用于对延时指标有较高要求的无线链路传输系统。与目前普遍使用的h.264视频压缩方案相比较，本发明的hevc算法极大地提高了压缩比，节省更多的链路资源，达到了更低的时延指标，满足无人飞行器系统中多视频接口的要求。