音视频处理方法及系统的制作方法
【专利摘要】一种音视频处理方法及系统，该系统包括依次连接的音视频转换模块、音视频混合模块、音视频交叉模块、输出模块和/或远程传输模块；音视频转换模块将输入的视频信号转换为预设格式、预设分辨率的视频数据，输入的音频信号转换为音频数据，将视频数据和音频数据输出到音视频混合模块；音视频混合模块在视频数据行消隐区内插入音频数据得到音视频数据，将音视频数据转化为串行化数据并输出到音视频交叉模块；音视频交叉模块对串行化数据进行交叉；输出模块将交叉后的数据进行输出，或者远程传输模块将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。本发明解决了各设备不兼容的问题，并降低了成本，节省了带宽。
【专利说明】音视频处理方法及系统
【技术领域】
[0001] 本发明涉及大屏幕显示【技术领域】，特别是涉及一种音视频处理方法及系统。
【背景技术】
[0002] 大屏幕显示是指图形或图像在大屏幕上的显示，屏幕面积一般在一平方米以上。 大屏幕显示的种类很多，如激光扫描大屏幕显示，油膜光阀机电子显示装置，面板发光型大 视野显示，矩阵型具有模块结构的大屏幕显示，以及由数以万计的单个发光器件（如光源 管、小型荧光灯和白炽灯等）组成的、面积可达几百平方米的直观式超大屏幕显示等。
[0003] 目前在大屏幕显示市场，因为技术门槛高、投入资金大，视频显示和音频播放基本 上是分离开来的。在视频处理类设备里边，各种格式转换设备参差不齐，有时为了满足用户 的某一特定需求，需要采购多种视频类设备，成本高，集成系统复杂。在音视频统一调度方 面，现场调度和远程调度均存在上百种设备厂商，无统一标准。而且音视频处理集成设备与 厂家各调度设备之间兼容性不好，导致音视频播放效果差强人意。
【发明内容】
[0004] 基于此，有必要针对上述问题，提供一种成本低、设备兼容性好的音视频处理方法 及系统。
[0005] 一种首视频处理系统，包括依次连接的首视频转换t旲块、首视频混合t旲块、首视频 交叉模块、输出模块和/或远程传输模块；
[0006] 所述音视频转换模块将输入的视频信号转换为预设格式、预设分辨率的视频数 据，输入的音频信号转换为音频数据，将视频数据和音频数据输出到所述音视频混合模块； 所述音视频混合模块在所述视频数据行消隐区内插入所述音频数据得到音视频数据，将所 述音视频数据转化为串行化数据并输出到所述音视频交叉模块；所述音视频交叉模块对所 述串行化数据进行交叉；所述输出模块将交叉后的数据进行输出，或者所述远程传输模块 将交叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。
[0007] -种音视频处理方法，包括步骤：
[0008] 将输入的视频信号转换为预设格式、预设分辨率的视频数据，将输入的音频信号 转换为音频数据；
[0009] 将所述音频数据插入所述视频数据行消隐区内，得到音视频数据，将所述音视频 数据转化为串行化数据；
[0010] 将所述串行化数据进行交叉，将交叉后的数据进行输出，或者将交叉后的数据进 行格式转换和编码，将编码后的数据通过网络进行输出。
[0011] 本发明音视频处理方法及系统，与现有技术相互比较时，具备以下优点：
[0012] 1、本发明可以把目前市面上常用视频格式，如VIDEO、VGA、DVI、DP、SDI、HDMI、IP 等转换成统一格式，将各输入视频信号的分辨率统一为同一分辨率，通过统一音视频传输 格式，解决了音视频处理集成设备和厂家各调度设备不兼容的问题，实现了较好的音视频 播放效果，并降低了成本；
[0013] 2、本发明可以在视频数据行消隐区内插入音频数据，无需占有格外带宽即可传输 音频数据，节省了带宽；
[0014] 3、本发明可以将交叉后的数据直接进行输出，实现现场调度；也可以将交叉后的 数据进行格式转换和编码，将编码后的数据通过网络进行输出，实现远程调度功能。
【专利附图】
【附图说明】
[0015] 图1为本发明系统实施例的结构示意图；
[0016] 图2为本发明在视频帧行消隐区插入音频数据示意图；
[0017] 图3为本发明音视频混合模块实施例的结构示意图；
[0018] 图4为本发明音视频交叉模块实施例的结构示意图；
[0019] 图5为本发明远程传输模块实施例的结构示意图；
[0020] 图6为本发明方法实施例的流程示意图；
[0021] 图7为本发明在视频帧行消隐区内插入音频数据步骤的流程示意图。
【具体实施方式】
[0022] 下面结合附图对本发明音视频处理系统的【具体实施方式】做详细描述。
[0023] 如图1所示，一种音视频处理系统，包括依次连接的音视频转换模块100、音视频 混合模块200、音视频交叉模块300、输出模块400和/或远程传输模块500 ;
[0024] 所述音视频转换模块100将输入的视频信号转换为预设格式、预设分辨率的视频 数据，输入的音频信号转换为音频数据，将视频数据和音频数据输出到所述音视频混合模 块200 ;所述音视频混合模块200在所述视频数据行消隐区内插入所述音频数据得到音视 频数据，将所述音视频数据转化为串行化数据并输出到所述音视频交叉模块300 ;所述音 视频交叉模块300对所述串行化数据进行交叉；所述输出模块400将交叉后的数据进行输 出，或者所述远程传输模块500将交叉后的数据进行格式转换和编码，将编码后的数据通 过网络进行输出。
[0025] 输入的音视频信号一般分为2类，一类是如SDI (Serial Digital Interface,数 字串行接口）类的信号，信号本身就集成了音视频，另外一类是如DVI (Digital Visual Interface，数字视频接口）信号，音视频是分开传输的。对于第一类信号，例如DP (Display Port，显不端口）信号、HDMI (High Definition Multimedia Interface，高清晰度多媒 体接口）信号、SDI(Serial Digital Interface,数字串行接口）信号和 IP(Internet Protocol，网络之间互连的协议）信号等，可以采用现有的功能模块进行音视频分离与解 码。解码出来后的音频信号采用I2S(Inter - IC Sound，集成电路内置音频总线）的方式 输入到音视频转换模块100,解码出来的视频信号采用数字并行方式输入到音视频转换模 块100。对于第二类信号，可以采用现有解码模块对视频信号进行解码；音频信号是单独从 音频线缆传输过来，可以通过现有的AD (模数）转换芯片对信号进行采样，例如统一使用 48k(千赫兹）采样频率、采用TI的ADAU1979进行AD采样。
[0026] 由于前端信号源的差异，音视频转换模块100需要对上述两类信号解码出来的 视频信号进行缩放处理，例如将视频信号分辨率统一转换为1080p (Progressive scan,逐 行扫描）。不同的解码芯片输出的数字信号也会有区别，例如有些为YCbCr 4:4:4,或者 YCbCr4:2:0,或者是RGB(Red Green Blue，红绿蓝）格式的，音视频转换模块100还需要对 视频信号进行格式化，都统一处理成预设格式，例如RGB格式，方便后续传输处理。
[0027] 在音频数据量统计公式中，每秒数据量（bit)=采样频率X采样位数X声 道数，以44. IKHZ(千赫兹）的采样率、立体声、16位的数字音频为例，每秒的数据量 =44. IkX 16X2 = 1411. 2kb (千字节），大约是I. 4Mbps (兆比特每秒）。而视频的数 据量是非常巨大的，我们以1080p@60HZ，色深24bit的视频数据为例，每秒的数据量= 1920*1080*24*60 = 2. 78Gbps。把每秒的音频数据和视频数据对比，I. 4Mbps/2. 78Gbps = 0.0005036,每秒的音频数据大概是视频数据的万分之5左右。从上面的数据分析可以知 道，一般情况下每秒钟的音频数据对比视频数据来说基本可以忽略不计。
[0028] CVT(清晰视频）标准行同步宽度最少都有32pixelS(像素），每行时间 最大 21.Ius(微秒），VESA (Video Electronics Standards Association，视频电 子标准协会）标准里面规定的行同步宽度都会大于32pixelS。每一毫秒可传输 1000/21. 1*54?2430Byte (数据包有效数据的长度为54Byte)，其它分辨率格式可利用的 带宽会更高。48kHz 的音频数据量：48*1000*24*2/8 = 576000*2 = 288000Byte/s，每毫秒 的数据量：576Byte*2 = 288Byte，该数据量远小于2430Byte，可见在视频行间插入音频数 据时可行的。音视频混合模块200将音频数据插入到视频数据的行消隐期内，能解决高速 serdes (串行器/解串器）通道带宽限制的问题，又能达到一种很好的音视频同步的效果。
[0029] 如图2所示，为在视频数据行消隐区插入音频数据的示意图。Clk为像素时钟，VS 为场同步信号，HS为行同步信号，de为有效显示数据选通信号。HS = 0圈出的区域为行消 隐区，音视频混合模块200即将音频数据插入该消隐区。而音频数据涉及到采样率、声道模 式、具体是哪一路的音频等音频参数，因此需要预先设定音频数据的传输协议包。定义的预 设传输协议包包括音频包头和音频包体，各部分包含内容如下：
[0030]
【权利要求】
1. 一种音视频处理系统，其特征在于，包括依次连接的音视频转换模块、音视频混合模 块、音视频交叉模块、输出模块和/或远程传输模块； 所述音视频转换模块将输入的视频信号转换为预设格式、预设分辨率的视频数据，输 入的音频信号转换为音频数据，将视频数据和音频数据输出到所述音视频混合模块；所述 音视频混合模块在所述视频数据行消隐区内插入所述音频数据得到音视频数据，将所述音 视频数据转化为串行化数据并输出到所述音视频交叉模块；所述音视频交叉模块对所述串 行化数据进行交叉；所述输出模块将交叉后的数据进行输出，或者所述远程传输模块将交 叉后的数据进行格式转换和编码，将编码后的数据通过网络进行输出。
2. 根据权利要求1所述的音视频处理系统，其特征在于，所述音视频混合模块包括： 数据写入单元，用于将当前接收的音频数据并行化并写入缓存，所述音频数据的音频 参数写入寄存器； 数据处理单元，用于在当前接收的视频数据到达行消隐区时，将从缓存中读取的音频 数据和从寄存器中读取的相应的音频参数按照预设传输协议包进行打包，将打包的数据插 入所述行消隐区，得到带有音频数据的混合数据；在当前接收的视频数据到达行有效区时， 通过数据处理得到有效的混合数据。
3. 根据权利要求2所述的音视频处理系统，其特征在于，所述预设传输协议包包括音 频包头和音频包体，所述音频包头包含：数据包标示位、音频的位率、扩展声道模式、声道模 式、数据包计数器、数据包类型、板卡号、通道号、数据包长度。
4. 根据权利要求1所述的音视频处理系统，其特征在于，所述音视频交叉模块包括CPU 系统，分别与所述CPU系统相连的交叉单元、系统时钟单元、串口驱动通信单元、以太网通 信单元，分别与所述系统时钟单元相连的时钟驱动单元、同步驱动单元，用于给所述音视频 交叉模块各单元提供电源的电源单元。
5. 根据权利要求1所述的音视频处理系统，其特征在于，所述远程传输模块包括格式 转换单元、CPU系统单元，所述格式转换单元将交叉后的数据进行解串、缩放、合成，得到 RGB格式信号，将RGB格式信号输出到CPU系统单元；所述CPU系统单元将所述RGB格式信 号编码为预设格式的码流，通过其以太网接口将编码后的数据进行输出；所述CPU系统单 元还用于将所述RGB格式信号编码为TMDS信号和VGA信号，将所述TMDS信号和VGA信号 通过其DVI接口输出到显示设备进行信号预览。
6. 根据权利要求5所述的音视频处理系统，其特征在于，所述远程传输模块还包括分 别与所述格式转换单元、CPU系统单元相连的时钟单元，用于给所述远程传输模块各单元提 供电源的供电电源单元。
7. 根据权利要求4所述的音视频处理系统，其特征在于，所述音视频处理系统通过所 述交叉单元预留的输入输出端口，将交叉后的数据传输到新的所述音视频处理系统；所述 远程传输模块将编码后的数据通过其高速串行信号输出端口进行输出，输出的数据通过交 换机传输到与所述音视频处理系统不同局域网的新的所述音视频处理系统。
8. -种音视频处理方法，其特征在于，包括步骤： 将输入的视频信号转换为预设格式、预设分辨率的视频数据，将输入的音频信号转换 为音频数据； 将所述音频数据插入所述视频数据行消隐区内，得到音视频数据，将所述音视频数据 转化为串行化数据； 将所述串行化数据进行交叉，将交叉后的数据进行输出，或者将交叉后的数据进行格 式转换和编码，将编码后的数据通过网络进行输出。
9. 根据权利要求8所述的音视频处理方法，其特征在于，将所述音频数据插入所述视 频数据行消隐区内的步骤包括： 将当前接收的音频数据并行化并写入缓存，所述音频数据的音频参数写入寄存器； 判断当前接收的视频数据是否到达行消隐区，若是，则将从缓存中读取的音频数据和 从寄存器中读取的相应的音频参数按照预设传输协议包进行打包，将打包的数据插入所述 行消隐区，得到带有音频数据的混合数据；否则，通过数据处理得到有效的混合数据。
10. 根据权利要求9所述的音视频处理方法，其特征在于，所述预设传输协议包包括音 频包头和音频包体，所述音频包头包含：数据包标示位、音频的位率、扩展声道模式、声道模 式、数据包计数器、数据包类型、板卡号、通道号、数据包长度。
【文档编号】H04N21/44GK104349205SQ201410652398
【公开日】2015年2月11日 申请日期:2014年11月17日 优先权日:2014年11月17日
【发明者】林文富, 祝磊 申请人:广东威创视讯科技股份有限公司