一种双模多媒体数据处理装置及系统的制作方法

本实用新型实施例涉及通信技术领域，尤其涉及一种双模多媒体数据处理装置及系统。

背景技术：

音视频的IP(Internet Protocol，网络之间互连的协议)方案是网络技术与音视频编解码的完美结合，它的发展变化与以太网和先进的音视频编码技术的不断推新息息相关。

目前，音视频数据(又称多媒体数据)在进行中长距离传输时，通常采用网络(即IP网络)的传输方式。但是在实际的应用中，IP传输模式受网络环境的影响比较大，网络中的各个环节，不可避免的造成视音频信号的延时，甚至造成丢包等现象，影响视音频信号的质量。此外，IP传输模式通常采用有损压缩，进而造成视频质量的下降。如果选择无损的视频压缩，压缩效率又偏低，只能压缩到原视频的无分之一左右，占用的存储空间较大。

技术实现要素：

本实用新型提供一种双模多媒体数据处理装置及系统，可以降低音频信号的延迟，降低丢包率，同时提高视频数据质量，降低视频占用的存储空间。

第一方面，本实用新型实施例提供了一种双模多媒体数据处理装置，包括：

现场可编程门阵列FPGA，所述可编程门阵列与数据传输电路连接；所述可编程门阵列还分别与光纤和互联网络连接。

进一步的，所述现场可编程门阵列通过数字信号处理芯片DSP与互联网络连接。

进一步的，所述现场可编程门阵列和所述数字信号处理芯片与控制模块连接。

进一步的，所述可编程门阵列通过光电转换模块与光纤连接。

进一步的，所述数据传输电路包括视频解码电路、控制信号电路以及音频接收电路。

进一步的，所述数据传输电路包括视频解码电路、控制信号电路以及音频发送电路。

进一步的，还包括时钟模块。

进一步的，还包括电源模块。

第二方面，本实用新型还提供了一种双模多媒体数据处理系统，包括双模多媒体数据发射装置和双模多媒体数据接收装置；

所述双模多媒体数据发射装置包括：第一现场可编程门阵列FPGA，所述第一现场可编程门阵列与第一数据传输电路连接；所述FPGA还分别与光纤和互联网络连接；所述第一数据传输电路包括音频接收电路、视频解码电路和控制信号电路；

所述双模多媒体数据接收装置包括：第二现场可编程门阵列FPGA，所述第二现场可编程门阵列与第二数据传输电路连接；所述第二现场可编程门阵列还分别与所述光纤和所述互联网络连接；所述数据传输电路包括音频发射电路、视频解码电路和控制信号电路；所述音频发射电路用于向所述音频接收电路发送音频数据。

进一步的，所述第一现场可编程门阵列通过DM81x的数字信号处理芯片与互联网络连接；

所述第二现场可编程门阵列通过海思Hi3536处理器与互联网络连接。

本实用新型实施例现场可编程门阵列FPGA通过数据传输电路获取数据，然后通过FPGA为对不同类型的数据选择光纤或互联网络进行传输，光纤适合传输非压缩数据(如音频数据)，互联网络适于传输压缩数据(如图片或帧画面)，提高多媒体数据的传输效率，降低音频信号的延迟，降低丢包率，同时提高视频数据质量，降低视频占用的存储空间。

附图说明

图1为本实用新型实施例中一个双模多媒体数据处理系统的系统框架示意图。

图2为本实用新型实施例中一个双模多媒体数据处理装置的结构示意图；

图3为本实用新型实施例中一个发送节点Tx的结构示意图；

图4为本实用新型实施例中一个接收节点Rx的结构示意图；

图5为本实用新型实施例中一个双模多媒体数据处理系统的结构示意图。

具体实施方式

下面结合附图和实施例对本实用新型作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本实用新型，而非对本实用新型的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本实用新型相关的部分而非全部结构。

音视频的IP方案是网络技术与音视频编解码的完美结合，它的发展变化与以太网和先进的音视频编码技术的不断推新息息相关。相比其它的音视频传输方案，音视频的IP方案充分利用了IP网络的开放性，管理软件功能强大，视频分发、浏览、存储非常方便，设备只需要接入一根网线即可使用，资源共享更加便捷，多用户浏览无需建立多个物理连接，系统开发性好，扩容方便。

光纤作为通讯信号的传输媒介，具有下述优点：损耗少，有一定带宽且色散少，接线容易，可靠性高，制造比较简单，价格低廉等。而在音视频系统中，上述优点更为明显：光纤的抗干扰能力极强，对于电磁干扰完全不用考虑，光纤因为是光传输，没有电磁回路，因此可以完全隔离“环地噪声”，或者是地电平不同带来的其它问题。目前的音视频正在向高清、超高清的方向发展，甚至是多路的音视频信号的传输发展。这对于带宽有了更高的要求，而对于光纤而言，单根光纤数据传输速率能够达到几Gbps甚至上百Gbps，完全能够满足2K、4K、甚至8K的高清、超高清的信号传输要求，对于高清、超高清视频信号，都会存在传输距离的问题。一般的线缆传输是几米到几十米，而在多媒体应用系统中，往往需要把DVI、VGA等视频接口信号进行远距离的传输。但是，使用普通线缆长距离传输时总会出现输出信号差、容易受干扰、显示出来的图像出现模糊、拖尾、粉色等现象。此时，使用光纤进行传输，可以解决此类问题，多模光纤的传输距离在几百米，单模光纤的传输距离在几公里到几十公里不等，光纤作为音视频的传输介质，具有信号衰减少，传输距离远，保密性能好，抗干扰能力强等特点，音视频市场上提供的光纤传输其不仅能在一芯上传输多路图像，还能够实现音频、控制信号、红外等信号的同传。

但是，音视频光纤传输的无压缩、无延时恰恰是IP网络传输方案的致命缺点。音视频的IP传输模式选择的是对输入的音视频进行压缩，节省信号传输的带宽，便于音视频的传输与存储。而代价是带来不可避免的图像质量下降，而采用非压缩的光纤传输方案，充分利用光纤的高带宽传输视频，视频质量能够得到最大限度的保障，同时几乎没有延时，图像的完整性比较好，但是由于图像信号的无压缩，加之图像的信息量比较大，十分不便于存储。

本实用新型实施例提供的IP与光纤的双模传输方式，充分考虑了上述两种模式的特点，扬长避短，提供一种适用于不同应用场合的选择方案，有利于解决音视频中远距离传输、存储、操作。用网络与光纤两种接口，把全部视频接口(DP、VGA、DVI、HDMI、CVBS等)、音频接口(3.5mm、凤凰端子、卡农、莲花头、大两芯、大三芯)、控制接口(红外、网络、RS232/485、USB等)统一转换成光纤与网络接口，使复杂的专业AV技术转换成更便捷、更容易理解、即插即用的IP化技术与光信号传输技术。可广泛应用于应急指挥中心、多媒体教学、多功能会议厅、大屏拼接工程、指挥调度、能源建设等方面。

音视频的中长距离传输的时候，一般采用光纤传输与网络传输两种模式，网络传输方式利用了IP网络的开放性，十分有利于视音频信号的传输、转发、存储、浏览等，管理方便，但是在实际的应用中，IP传输模式受网络环境的影响比较大，网络中的各个环节，不可避免的造成视音频信号的延时，甚至造成丢包等现象，严重影响视音频信号的质量。一般IP传输模式都是选择的有损压缩，也不可避免的造成视频质量的下降，如果选择无损的视频压缩，压缩效率又偏低，一般只能压缩到原视频的5倍左右，遇到需要存储的场合，所占用的存储空间相当大，高清视频信号采用无损压缩，还要占用200～500Mbps的带宽，也只适合在千兆的局域网中应用，不便于广域网中传输。

视音频信号的光纤传输由于光纤的高带宽、损耗少、色散少，接线容易，可靠性高，制造比较简单，传输安全性高，价格低廉等特点，十分适合于高清超高清视频信号的中长距离传输，再加上光传输的速度很快，所以视音频信号的光纤传输方案实时性能好，几乎没有什么延时，光路的损耗少，也难有丢包丢帧等现象。光纤传输一般采用无压缩的编码方案，音视频的质量好。但是在实际的应用中发现，客户在选择光纤传输方案的时候，需要对一些重要的信号进行存储，就需要配置额外的编解码器与存储设备，导致成本增大、操作不方便、环节增多、控制复杂。

由于上述原因，本实用新型提供了一种基于网络的IP模式与光纤模式的双模式音视频传输方案，以满足客户对音视频信号存储、传输的实时性、提供最好的音视频传输质量。

图1为本实用新型基于的系统框架图，包括双模转换器、网络交换系统、光纤信号切换系统、本地信号源、KVM远程控制设备、输入节点、输出节点和屏幕。其中，双模切换器包括发送节点Tx和接收节点Rx。发送节点Tx与光纤信号切换系统、本地信号源、KVM远程控制设备和网络交换系统连接。接收节点Rx与光纤信号切换系统、屏幕和网络交换系统连接。网络交换系统还与输入节点和输出节点连接。发送节点Tx将光信号发送至光纤信号切换系统，经过转换后的信号发送至接收节点Rx和屏幕。发送节点Tx可以接收本地信号源和KVM远程控制发送的信号。接收节点Rx可以向屏幕发送解码处理的音视频信号。

示例性的，双模式转换Tx用于将来自摄像头、电脑等本地音视频信号源以及控制接口的控制信号接收，然后转换成光纤和IP信号，经过光路或者网络传输，到达双模式转换器Rx端。双模式转换器Rx用于将来自网络或者光路的音视频与控制信号接收，经过相应的音视频处理以后，送给显示器等设备进行显示。同传的控制信号去控制相关设备，采用双纤的双模式转换器还能够完成控制信号的反向传输，也就是说，控制信号可以从双模式Rx传输到Tx端，完成诸如KVM(Keyboard video Mouse)等功能。

图2为本实用新型实施里提供的一种双模多媒体数据处理装置的结构示意图，该装置作为发送节点Tx和接收节点Rx的物理硬件，包括：

现场可编程门阵列FPGA1，所述可编程门阵列1与数据传输电路2连接；所述可编程门阵列1还分别与光纤3和互联网络4连接。

在一种实现方式中，如图3所示，双模多媒体数据处理装置作为发送节点Tx的硬件设备。此时，现场可编程门阵列FPGA1可以选用XILINX公司的XC7A100T芯片。该芯片采用28nm封装技术，性能价格比高，包含1.066Mb/s DDR3技术，支持四路6.6G高速串行GTP收发器，100K逻辑单元，240个DSP Slice，300余个IO管脚，1.2Gbps的LVDS，功耗相比Spartan6系列的FPGA降低了50％，能够满足设计中音视频、控制信号的光纤传输编码功能。

双模转换器发送端的工作原理是，连接到发送节点Tx的音频信号、视频信号、相应控制接口的外围设备，分别通过视频解码电路、音频接收电路、控制信号电路(三者统称数据传输电路)与FPGA相连。定义发送节点Tx到接收节点Rx的控制信号为下行控制信号，接收节点Rx到发送节点Tx的控制信号为上行控制信号。FPGA将所接收到的音视频信号经过相关的图像与音频处理后，与下行控制信号一起打包、再经过串行化处理，经由FPGA内含的GTP收发器连接到光电转换电路，转换成光信号以后传输到光纤网络，同时将来自光纤的上行控制信号解串行化后，送到连接的控制信号电路，控制所连接的外围设备。FPGA将所接收的视频信号、音频信号、外围设备控制端口发送的控制信号传送给DSP芯片，DSP芯片将接收到的视频信号、音频信号进行视频压缩、音频压缩，然后转换成IP信号，送到网络端口，实现发送的IP模式，同时DSP芯片将来自网络的控制外围设备的控制信号传送给FPGA以控制外围设备。

在另一种实现方式中，如图4所示，双模多媒体数据处理装置作为接收节点Rx的硬件设备。此时，FPGA可以选用相同的芯片。

双模式转换的接收端子实际上是发送的逆过程，其工作原理是：来自光纤网络的接收信号，经过光电转换电路与FPGA相连，FPGA经过解包、解串行化后，分离出音频、视频、下行控制信号。来自网络的音视频信号以及控制信号，经过海思Hi3536处理器对音视频解压缩以及相关音视频处理以后，传送给FPGA。FPGA将来自于网络或者光纤音视频信号，进行判决，选择性能最优的一路，也可以由用户指定一路，分别送到视频编码电路、音频发送电路、控制信号电路，送到相关图像显示设备、音频播放设备、以及所需控制的外设。同时外设接口发送的控制信号分成两路，一路经过FPGA的串行化处理后，送到光电转换电路，进入光纤传输，另外一路由FPGA传送给Hi3536处理器芯片，IP化后送到网路，以控制Tx端连接的外围设备。

进一步的，所述现场可编程门阵列通过数字信号处理芯片DSP与互联网络连接。

数字信号处理芯片DSP的功能可以集成在FPGA中，也可以使用独立的DSP芯片进行实现。为了方便维护降低电路的复杂度，优选的，使用DSP芯片与互联网络连接。

在一种实现方式中，双模多媒体数据处理装置作为发送节点Tx的硬件设备。此时，DM81x的DSP芯片，DM81x是Ti公司的一款DSP芯片，本实用新型中选用的是TMS320DM8148DaVinci^TM，它是一款高度集成的、可编程视频处理器。其可编程性主要包括一个ARMv7架构IGHz的ARM Cortex-A8RISC CPU，一个TIC674x VLIW浮点DSP内核，一个可编程高清视频图像协处理器(HDVICP v2)，支持H.264、MPEG2、VC1、MPEG4、SP/ASP等编码解码转码操作，此外还有一个SGX5303D图像引擎，可以分担DSP内核上很多的普通视频和成像算法。比如视频缩放、HQ图像抗混叠等操作，带有集成PHY的串行ATA(SATA)3.0Gbps控制器，可以直接驱动硬盘，完成压缩后视频的存储，丰富的USB、UART、SPI、I2C等控制端口，能够充分满足设计中的高清视频压缩存储等功能。

在另一种实现方式中，双模接收节点Rx与发送节点Tx的主要区别在于，在DSP芯片中以Hi3536代替发送节点Tx的DM81x处理器。Hi3536内嵌ARM Cortex A17四核，最大工作频率1.4GHz，以及ARM Cortex A7单核，最大频率900MHz，集成Mali-T720GPU，音视频输入输出接口、网络接口、存储器接口、控制类接口丰富，具有强大的编解码能力。特别是解码方面，能同时支持：4个4K@30fps H.264/H.265解码和2个1080P@30fps H.264编码，16个1080p@30fps H.264/H.265解码和2个1080P@30fps H.264编码，9个1080p@30fps H.264/H.265解码和一个4K@30fps H.264编码，32个720p@30fps H.264/H.265解码和4个720p@30fps H.264编码。

进一步的，所述现场可编程门阵列和所述数字信号处理芯片与控制模块连接。

进一步的，所述可编程门阵列通过光电转换模块与光纤连接。

进一步的，当双模多媒体数据处理装置作为发送节点Tx时，所述数据传输电路包括视频解码电路、控制信号电路以及音频接收电路。

进一步的，当双模多媒体数据处理装置作为接收节点Rx时，所述数据传输电路包括视频解码电路、控制信号电路以及音频发送电路。

进一步的，还包括时钟模块。始终模块用于为FPGA和DSP芯片提供时间信息，以便上述两个芯片在时间上进行同步。

进一步的，还包括电源模块。电源模块用于为FPGA和DSP等芯片提供电能

图5为本实用新型实施例提供的一种双模多媒体数据处理系统的结构示意图，包括双模多媒体数据发射装置和双模多媒体数据接收装置。其中，双模多媒体数据发射装置相当于上述发送节点Tx，双模多媒体数据接收装置相当于上述接收节点Rx。

所述双模多媒体数据发射装置包括：第一现场可编程门阵列FPGA，所述第一现场可编程门阵列与第一数据传输电路连接；所述FPGA还分别与光纤和互联网络连接；所述第一数据传输电路包括音频接收电路、视频解码电路和控制信号电路；

所述双模多媒体数据接收装置包括：第二现场可编程门阵列FPGA，所述第二现场可编程门阵列与第二数据传输电路连接；所述第二现场可编程门阵列还分别与所述光纤和所述互联网络连接；所述数据传输电路包括音频发射电路、视频解码电路和控制信号电路；所述音频发射电路用于向所述音频接收电路发送音频数据。

进一步的，第一现场可编程门阵列通过DM81x的数字信号处理芯片与互联网络连接；所述第二现场可编程门阵列通过海思Hi3536处理器与互联网络连接。

参照图1，该系统架构可以应用于应急指挥中心、多媒体教学、多功能会议厅、大屏拼接工程、指挥调度、能源建设等各方面，整个链路由信号源、显示设备、光纤网络、IP网络传输设备构成，信号源可以是来自电脑、摄像机、网络等方面的音视频信号，显示设备可以是大屏、投影机、显示器等，光纤网络包括光纤传输设备、光纤切换矩阵，完成光信号的传输与切换，具体实施过程如下：

1)音视频信号源发送的音视频信号，由发送节点Tx接收，发送节点Tx将音视频信号转换成光信号与IP信号，分别传输到光路或者网路，光路信号由光纤切换矩阵进行分配，IP信号由带组播功能的交换机进行分配。

2)接收节点Rx接收由交换机和光纤矩阵分配过来的光信号与IP信号，分别进行解串、解包、解压缩等处理操作，恢复其中的音频、视频、控制信号。

3)接收节点Rx中的FPGA根据任务要求，分别对来自光路与网路的音视频信号进行判断，选择符合要求的一路信号。

4)所选的符合要求的一路信号，经过接收节点Rx中FPGA内部的音频、视频处理模块、控制信号模块进行相关的音视频、控制信号处理以后，传送给音频发送模块、视频编码模块、控制信号处理单元，出现在相对应的音视频接口、控制接口上，控制相对应的音频播放设备、视频显示设备、控制信号设备，输出视频、音频及控制类信号；

5)反向控制信号，实际应用中一般是键盘、鼠标类信号，由接收端子的控制接口接收，经由FPGA、Hi3536分别转换成光信号、IP信号，传递给发送端子上，控制与发送端子相连的相关设备，实际应用中就是控制源端的电脑桌面等，完成KVM功能。

本实用新型实施例提供的双模多媒体数据处理技术具有下述有益效果：

1)增强了系统运行的可靠性，系统具有网路与光路双路信号，光路或者网路出现故障的时候，不会影响系统的正常运行；

2)能够以最好的音视频质量进行显示，比如说：当要求最少延时的时候，系统会自动选择光路信号进行显示，不会受到网络环境恶化导致的丢包、丢帧等影响；

3)系统集成了相关音视频处理功能：图像缩放、亮度对比度调节、剪切/裁剪、去隔行、隔行显示、音量调节、音频滤波等功能，可以根据视频显示设备的状态，以视频显示设备最佳分辨率输出、客户感兴趣的局部图像输出，以及音频的调节等；

4)发送端子Tx预留了SATA接口，只要接上硬盘就能够完成对信号源的音视频存储功能，如果配套流媒体服务器，很容易完成音视频分发与存储、直播、点播、虚拟直播、剪切、转码等功能；

5)系统采用RTSP、RTMP协议发送与传送音视频，可以很容易与市面上的编码器、解码器、流媒体服务器对接，兼容性比较好，十分有利于系统的应用；

6)系统采用了模块化设计，安装维护方便，融合了图像处理、音视频编解码功能，相当于一机多用，或者说是多机合一，避免了客户的重复投资，也有利于升级换代。

注意，上述仅为本实用新型的较佳实施例及所运用技术原理。本领域技术人员会理解，本实用新型不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本实用新型的保护范围。因此，虽然通过以上实施例对本实用新型进行了较为详细的说明，但是本实用新型不仅仅限于以上实施例，在不脱离本实用新型构思的情况下，还可以包括更多其他等效实施例，而本实用新型的范围由所附的权利要求范围决定。