专利名称：一种基于usb传输的音视频数据处理方法及装置的制作方法
技术领域：
本发明涉及音视频数据处理技术领域，具体地说是一种基于USB传输的音视频数据处理方法及装置。
背景技术：
随着数字技术和网络技术的发展，音视频数据的采集在各个行业有着广泛地使用以及重要的意义。传统的采集方案是使用PCI或者PCI-E来进行数据传输。PCI/PCI-E接口虽然在带宽以及传输速度上有着明显的优势，但是由于需要接口的支持，此类采集卡不能使用在便携式计算机上。随着便携式计算机的大量普及，使用PCI/PCI-E进行音视频采集的方式已经不能满足人们的需求。USB以其即插即用、便于携带以及标准统一的优势已经成为个人计算机的标准接 口，几乎100%的个人计算机均支持USB。USB2. O协议最高传输速度能够达到480Mbps，这就使得使用USB进行音视频数据采集成为了可能。在这样的背景下，本发明提出了一种基于USB传输的音视频数据处理方法。
发明内容
为克服以上技术的不足，本发明提供了一种基于USB传输的音视频数据处理方法及装置，其充分地利用USB2. O接口带宽，能够实现最大可传输8路实时音视频的同步数据。为了解决上述技术问题，本发明提供了一种基于USB传输的音视频数据处理方法，其特征是，包括以下步骤S100，采集音视频数据；S200，对采集的音视频数据进行解析；S300，将解析后的音视频数据进行组合；S400，将组合后的音视频数据通过USB协议进行同步传输。进一步地，所述采集音视频数据的步骤为采集至少一路音视频数据，并将采集的模拟信号音视频数据转换为数字信号音视频数据。进一步地，所述对采集的音视频数据进行解析的步骤包括以下步骤S210，对音频数据进行处理S211，将数字信号音频数据存储到FIFO中；S212，等待音频数据传输命令；S220，对视频数据进行解析S221，将数字信号视频数据进行拆分；S222，对拆分的视频数据进行解析，并判断是否为有效视频数据。进一步地，所述对视频数据的解析是通过视频数据的EAV和SAV，对数据的行、场信息进行检测，解析出有效数据。进一步地，所述将解析后的音视频数据进行组合的步骤包括以下步骤
S301，获取4个字节数据；S302，判断数据是否为视频数据帧头数据；S303,如果是视频帧头，则添加视频帧标识，然后再添加一行视频数据；S304,如果不是帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；S305，如果以上两个判断均不成立，则添加音频数据标识；S306，添加32字节的音频数据，形成一个同步的音视频数据包；S307，重复上述S301至S306步骤，继续形成同步的音视频数据包。
本发明还提供了一种基于USB传输的音视频数据处理装置，其特征是，包括数据采集单元，所述数据采集单元包括音频采集设备、视频采集设备和A/D转换模块，所述A/D转换模块的输入端分别与音频采集设备和视频采集设备连接，输出端与中央处理单元连接，用以将模拟信号转换为数字信号，实现音视频数据的采集；中央处理单元，所述中央处理单元采用FPGA芯片，用以将接收到的音视频数据进行解析并重新组合； USB控制单元，所述USB控制单元包括USB控制器和USB接口，所述USB控制器分别与中央处理单元和USB接口连接，用以接收中央处理单元发来的组合后的音视频数据，并通过USB传输方式与上位机进行交互；电源单元，用以提供工作电源。本发明的有益效果本发明通过对音视频数据进行解析、组合，并利用USB2. O协议实现了实时音视频数据的无损同步传输，不仅占用的硬件资源少，而且实现了多路音视频数据的同步传输。
下面结合附图对本发明作进一步说明图I是本发明的方法流程图；图2是本发明对解析后的音视频数据进行组合的方法流程图；图3是本发明所述音视频数据处理装置的原理框图；图4是本发明所述对音视频数据进行组合后的数据包格式的示意图；图5是本发明所述ITU-RBT. 656视频行格式的示意图；图6是本发明所述对视频数据解析后的有效数据区示意图。
具体实施例方式如图I所示，本发明的一种基于USB传输的音视频数据处理方法，它包括以下步骤S100，采集音视频数据，所述采集音视频数据的步骤为采集四路音视频数据，并将采集的模拟信号音视频数据转换为数字信号音视频数据。S200，对采集的音视频数据进行解析，所述对采集的音视频数据进行解析的步骤包括以下步骤S210，对音频数据进行处理
S211，将数字信号音频数据存储到FIFO中；S212，等待音频数据传输命令；S220，对视频数据进行解析S221，将数字信号视频数据进行拆分；S222，对拆分的视频数据进行解析，并判断是否为有效视频数据。S300，将解析后的音视频数据进行组合。S400，将组合后的音视频数据通过USB协议进行同步传输。图2是本发明对解析后的音视频数据进行组合的方法流程图。如图2所示，所述 将解析后的音视频数据进行组合的步骤包括以下步骤S301，获取4个字节数据；S302，判断数据是否为视频数据帧头数据；S303,如果是视频帧头，则添加视频帧标识，然后再添加一行视频数据；S304,如果不是帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；S305，如果以上两个判断均不成立，则添加音频数据标识；S306，添加32字节的音频数据，形成一个同步的音视频数据包，所述的音视频数据包格式如图4所示；S307,重复上述S301至S306步骤，继续形成同步的音视频数据包。如图3所示，本发明还提供了一种基于USB传输的音视频数据处理装置，它包括数据采集单元、中央处理单元、USB控制单元和电源单元，所述中央处理单元分别与数据采集单元和USB控制单元连接,所述电源单元为数据采集单元、中央处理单元和USB控制单元提供电源。其中，所述数据采集单元包括音频采集设备、视频采集设备和A/D转换模块，所述A/D转换模块采用CX26824芯片，CX26824芯片的输入端分别与音频采集设备和视频采集设备连接，输出端与中央处理单元连接，用以将模拟信号转换为数字信号，实现音视频数据的采集；所述中央处理单元采用型号为XC3S50A的FPGA芯片，用以将接收到的音视频数据进行解析并重新组合；所述USB控制单元包括USB控制器和USB接口，所述USB控制器分别与中央处理单元和USB接口连接，所述USB控制器采用USB控制器CY7C68013A，用以接收中央处理单元发来的组合后的音视频数据，并通过USB接口与上位机进行交互；所述电源单元用以为所述的音视频数据处理装置提供工作电源。从以下几个方面对本发明做进一步说明一、视频数据解析A/D转换模块从音频采集设备和视频采集设备接收到的视频数据是按照ITU-RBT. 656视频标准来传输的，该标准PAL制式(720*576)每场由四部分组成。I)有效视频数据分为奇场和偶场，均由288行组成。每行有1440个字节，其中720个字节为Y分量，360个字节为Cb分量，360个字节为Cr分量。Y分量的取值为16 235 ；Cb和Cr分量的取值为16 240。2)水平消隐，有280个字节。3)垂直消隐。4)控制字。
对于有效数据行，ITU-RBT. 656视频行格式如图5所示。EAV和SAV为嵌入式控制字，分别表示有效视频的终点和起点。EAV和SAV均为4个字节构成，前3个字节FF、00、00为固定头，“XY”为控制字。“XY”的8个bit含义如下Bit7 (Const)，常数，总为 I。Bit6 (F)，场同步信号，表示该行数据处于奇场还是偶场。Bit5 (V)，垂直同步信号，表示处于场消隐区间还是正程区间(有效数据行)。Bit4 (H)，水平同步信号，表示是“SAV”还是“EAV”。Bit3-0 (P3P2P1P0)，纠错位。P3=V(XOR)H ；P2=F(XOR)H ；P1=F(XOR) V ；P0=F(XOR)V(XOR)H0本发明对EAV与SAV的详细定义如表I所示 表I :
Bit7|Bit6~|Bit5 |Bit4~|Bit3-0 (P3P2P1P0)~[Hex !Description OO O00000x80~ Even, Active, SAV
100 111010x9d Even, Active, EAV
I0 I 0 Τ0 Oxab~ Even, Blank, SAV
I0 I I01100Ib6~ Even, Blank, EAV
0 0 0 Τ 0xc7~ Odd, Active, SAV
0 1010Oxda~ Odd, Active, EAV
01100Oxec~ Odd, Blank, SAV
OOOiOrfl~ Odd, Blank, EAV对于图5中的Valid data (有效数据)区，其数据排列顺序如图6所示。即Y Cb: Cr=4:2: 2。从图像的像素点上来理解，就是每个像素点有一个单独的Y值，而相邻的两个像素点的Cb和Cr数据是一样的。本发明所述对视频数据解析的方法是通过EAV和SAV对行、场信息进行检测，分离出有效数据。为了能够有效利用USB带宽，需要只传输解析后的有效数据。为了使上位机软件能够正确识别一帧的开始，将每一帧图像的首行数据加上有效的标志。本文方法是通过将每帧的第一个有效行的SAV的第三个字节标记为OXFF来实现的。二、音频数据解析音频数据是按照I2S协议来进行采集的。音频数据是在声道同步信号有效后第二个数据周期开始采集的。音频数据有不同于视频的特点，它没有同步的概念并且数据是持续不断的。由于视频和音频是共用USB带宽进行传输，为了不丢失数据，在传输视频数据的时候需要保存视频传输期间采集到的音频数据。
三、音视频数据组合基于上述对音视频数据 的分析和解析，结合USB2. O协议数据传输的特点，提出以下音视频数据组合方法。视频数据经过格式解析后是以行为单位的数据块，并且行与行之间有一定的时间间隙。因此，音频数据可以在视频行与行之间的间隙进行传输。为了能够分辨音频和视频数据，在音频数据上也加一个类似于视频行同步的标识头，并且根据视频格式特点，选择合适大小的FIFO作为音频存储空间。在传输视频的时候存储音频，在视频一行传输完成后去询问FIFO是否准备好了 32字节的音频数据，如果准备好则传输32字节的音频数据，否则传输下一行视频数据。此处的32字节是根据音频传输特点以及AD芯片视频输出格式综合确定的。通过上述方法对音视频数据进行组合后的数据包格式如图4所示。本发明采用Xilinx公司型号为XC3S50A的低端FPGA，在同时采集4路音视频时，不仅FPGA资源利用占用率很低，只用了芯片不到1/3的资源，而且采集的音视频数据无损，图像清晰细腻流畅，实现了在使用很少的硬件资源的情况下，完成多路音视频数据的无损同步传输。
权利要求
1.一种基于USB传输的音视频数据处理方法，其特征是，包括以下步骤S100，采集音视频数据；S200，对采集的音视频数据进行解析；S300，将解析后的音视频数据进行组合；S400，将组合后的音视频数据通过USB协议进行同步传输。
2.根据权利要求I所述的一种基于USB传输的音视频数据处理方法，其特征是，所述采集音视频数据的步骤为采集至少一路音视频数据，并将采集的模拟信号音视频数据转换为数字信号音视频数据。
3.根据权利要求I所述的一种基于USB传输的音视频数据处理方法，其特征是，所述对采集的音视频数据进行解析的步骤包括以下步骤S210，对音频数据进行处理S211，将数字信号音频数据存储到FIFO中；S212，等待音频数据传输命令；S220，对视频数据进行解析S221，将数字信号视频数据进行拆分；S222，对拆分的视频数据进行解析，并判断是否为有效视频数据。
4.根据权利要求I或3所述的一种基于USB传输的音视频数据处理方法，其特征是，所述对视频数据的解析是通过视频数据的EAV和SAV，对数据的行、场信息进行检测，解析出有效数据。
5.根据权利要求I所述的一种基于USB传输的音视频数据处理方法，其特征是，所述将解析后的音视频数据进行组合的步骤包括以下步骤S301，获取I个字节数据；S302，判断数据是否为视频数据帧头数据；5303,如果是视频帧头，则添加视频帧标识，然后再添加一行视频数据；5304,如果不是帧头，则判断是否是视频数据行头，如果是则添加视频数据行标识，然后再添加一行视频数据；S305，如果以上两个判断均不成立，则添加音频数据标识，再添加32字节的音频数据， 形成一个同步的音视频数据包；S306，重复上述S301至S305步骤，继续形成同步的音视频数据包。
6.一种基于USB传输的音视频数据处理装置，其特征是，包括数据采集单元，用以将模拟信号转换为数字信号，实现音视频数据的采集；中央处理单元，用以将接收到的音视频数据进行解析并重新组合；USB控制单元，用以接收中央处理单元发来的组合后的音视频数据，并通过USB传输方式与上位机进行交互；电源单元，用以提供工作电源。
全文摘要
本发明公开了一种基于USB传输的音视频数据处理方法及装置，所述方法包括以下步骤S100，采集音视频数据；S200，对采集的音视频数据进行解析；S300，将解析后的音视频数据进行组合；S400，将组合后的音视频数据通过USB协议进行传输。所述装置包括数据采集单元，用以将模拟信号转换为数字信号；中央处理单元，用以将接收到的音视频数据进行解析并重新组合；USB控制单元，用以将组合后的音视频数据通过USB传输方式与上位机进行交互；电源单元，用以提供工作电源。本发明通过对音视频数据进行解析、组合，并利用USB2.0协议实现了实时音视频数据的无损同步传输，不仅占用的硬件资源少，而且实现了多路音视频数据的同步传输。
文档编号H04N21/234GK102932669SQ20121049878
公开日2013年2月13日 申请日期2012年11月29日 优先权日2012年11月29日
发明者冯彬, 王正彬, 王英杰, 张 杰, 程行通 申请人:济南中维世纪科技有限公司