专利名称：一种数字音视频同步的方法、装置和系统的制作方法
技术领域：
本发明涉及数字视频音频信号处理技术领域，特别涉及一种数字音视频同步的方法、装置和系统。
背景技术：
数字视频信号和数字音频信号的采集、传输、编解码以及其它处理过程中，保持这两者之间的时间同步是一个很重要的问题。
在如图1所示的现有通用串行总线(Universal Serial Bus，USB)传输系统中，音视频采集装置110通过USB接口连接USB主机控制器120。音视频采集装置110包括音频时钟产生单元111、音频采样单元112、视频时钟产生单元113和视频采样单元114。音频时钟产生单元111将所产生的音频时钟信号发送至音频采样单元112，音频采样单元112则根据所述音频时钟进行音频采样，得到音频数据并通过USB接口发送至USB主机控制器120；与此同时，视频时钟产生单元113将所产生的视频时钟信号发送至视频采样单元114，视频采样单元114则根据所述视频时钟进行视频采样，得到视频数据并通过USB接口发送至USB主机控制器120。
从图1中可以看出，视频信号和音频信号的采集和传输过程是彼此独立的，视频时钟信号与音频时钟信号之间可能并不存在内在关系，在这种情况下，音频时钟和视频时钟之间总是存在随机误差，该随机误差可能会随着采集和传输的过程不断累积，使得音频数据和视频数据两者之间的时间同步性越来越差。
即使采用某种技术手段使视频时钟和音频时钟保持同步，例如选用相同的时钟源生成视频时钟信号和音频时钟信号，但是USB主机控制器120接收到的视频信号和音频信号之间仍然难以保持同步性。其原因在于，USB主机控制器120接收到视频信号和音频信号之后，根据自身的主机时钟对所述视频信号和音频信号进行解码，由于所述主机时钟信号与视频时钟信号或音频时钟信号之间不存在时间同步性，因此主机时钟信号与视频时钟信号或音频时钟信号之间存在随机误差。而视频信号的采集频率与音频信号的采集频率相差很大，这就使得所述随机误差对解码后的视频信号或音频信号的影响程度不一致，并且这种不一致的情况会随时间的推移不断累积，使视频信号和音频信号之间的时间同步性变差。
发明内容
有鉴于此，本发明实施例提出一种数字音视频同步的方法，能够确保证音视频信号采集和传输过程中的时间同步性。包括如下步骤主机控制器产生周期性信号，并将所产生的周期性信号发送至音视频采集装置；音视频采集装置根据所收到的周期性信号对自身产生的音频时钟信号进行校准，根据校准后的音频时钟信号对音频信号进行采样得到音频数据；同时，音视频采集装置根据所收到的周期性信号对自身产生的视频时钟信号进行校准，根据校准后的视频时钟信号对视频信号进行采样得到视频数据；音视频采集装置将所述音频数据和视频数据发送至主机控制器。
本发明实施例还提出数字音视频同步的系统，包括音视频采集装置和主机控制器，所述主机控制器用于生成周期性信号，并将所生成的周期性信号发送至音视频采集装置；所述音视频采集装置用于根据所收到的周期性信号对自身产生的音频时钟信号和视频时钟信号进行校正，并根据校正后的音频时钟信号采集音频数据，根据校正后的视频时钟信号采集视频数据，将所采集的音频数据和视频数据发送至主机控制器。
本发明实施例进一步提出一种音视频采集装置，包括音频时钟产生单元、音频采样单元、视频时钟产生单元和视频采样单元，其中，所述音频时钟产生单元用于生成音频时钟信号，接收周期性信号，根据所接收的周期性信号对所生成的音频时钟信号进行校正，将校正后的音频时钟信号发送至音频采样单元；所述音频采样单元用于根据所收到的音频时钟信号采样得到音频数据；所述视频时钟产生单元用于生成视频时钟信号，接收周期性信号，根据所接收的周期性信号对所生成的视频时钟信号进行校正，将校正后的视频时钟信号发送至视频采样单元；所述视频采样单元用于根据所收到的视频时钟信号采样得到视频数据。
所述音视频采集装置还可以进一步包括错误探测单元和修复单元，所述错误探测单元用于判断周期性信号是否出现信号缺失，若是，则通知修复单元；否则将所述周期性信号透传至音频时钟产生单元和视频时钟产生单元；所述修复单元根据来自错误探测单元的通知，补充所述周期性信号中缺失的信号，并将所述周期性信号发送至音频时钟产生单元和视频时钟产生单元。
从以上技术方案可以看出，由主机控制器向音视频采集装置发送一个周期性信号，音视频采集装置根据该周期性信号校准自身产生的音频时钟信号和视频时钟信号，使其与主机控制器的主机时钟保持时间同步性，再利用校准后的时钟信号采集音频数据以及视频数据，这样就能较好的保持音频数据和视频数据之间的时间同步性。
图1为现有技术的音视频采集传输系统示意图；图2为本发明实施例的音视频采集传输系统示意图；图3为本发明实施例进行音视频采集传输的流程图；图4为改进后的本发明实施例的系统示意图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细阐述。
本发明实施例所提出的技术方案就是针对图1所示的音视频信号采集与传输系统进行了改进。改进后的系统如图2所示，USB主机控制器120根据自身的主机时钟生成一个周期性的帧起始(Start of Frame，SOF)信号，并将所生成的SOF信号同时发送至音频时钟产生单元111和视频时钟产生单元113。音频时钟产生单元111和视频时钟产生单元113需要分别新增一个时钟校准单元，用于在每次收到SOF信号后，根据所收到的SOF信号对音频时钟产生单元111产生的音频时钟信号或视频时钟产生单元113产生的视频时钟信号进行校准。这样，不仅视频时钟和音频时钟彼此之间建立起同步关系，而且用于采样的视频时钟和音频时钟根据SOF信号进行校准，相当于与主机时钟保持同步。根据背景技术的描述可知，视频时钟信号和音频时钟信号与主机时钟保持同步，就消除了视频信号和音频信号传输和解码过程中同步性变差的根源，因此本发明实施例的方案可以有效控制视频信号和音频信号之间的时间同步性。
下面对本发明实施例的方法实现流程进行介绍。图3为本发明实施例的流程图，包括如下步骤步骤301USB主机控制器根据自身的主机时钟，产生周期性的SOF信号，并将所产生的SOF信号发送至音视频采集装置的音频时钟产生单元和视频时钟产生单元；步骤302音频时钟产生单元根据所收到的SOF信号对自身产生的音频时钟进行校准，并将校准后的音频时钟发送至音频采样单元；同时，视频时钟产生单元根据所收到的SOF信号对自身产生的视频时钟进行校准，并将校准后的视频时钟发送至视频采样单元；步骤303音频采样单元根据所收到的音频时钟进行采样，将采样得到的音频数据通过USB接口发送至USB主机控制器；同时，视频采样单元根据所收到的视频时钟进行采样，将采样得到的视频数据通过USB接口发送至USB主机控制器。
在图2所示的系统中，SOF的传输通道未必绝对可靠，如果出现SOF信号丢失的现象，对于音视频时钟的校准是不利的。因此，可以对图2所示系统进行如图4那样的改进，在SOF信号的传输通道中增加错误探测单元115和修复单元116。其中，错误探测单元115用于探测来自USB主机控制器120的SOF信号是否出现了缺失，若是则通知修复单元116立即补上一个SOF信号，并将所补的SOF信号发送至音频时钟产生单元111和视频时钟产生单元113；如果错误探测单元115没有发现SOF信号缺失，则这两个单元仅是将来自USB主机控制器120的SOF信号透传至音频时钟产生单元111和视频时钟产生单元113，而不进行其它任何操作。
相应的，图4所示的系统的运作流程需要在图3所示流程的步骤301替换为如下步骤步骤301aUSB主机控制器根据自身的主机时钟，产生周期性的SOF信号，并将所产生的SOF信号发送错误探测单元；步骤301b错误探测单元判断所收到的SOF信号是否出现信号缺失，若是，则通知修复单元立即补上一个SOF信号，并将所补的SOF信号发送至音频时钟产生单元和视频时钟产生单元；否则，将所收到的SOF信号透传至音频时钟产生单元和视频时钟产生单元。
以上所述实施例均以音视频采集装置和USB主机控制器组成的系统为例，并利用了USB主机控制器原有的SOF信号。而实际本发明方案可以将其中的USB主机控制器替换为任何类型的主机控制器，只要该主机控制器能够根据自身的主机时钟产生准确的周期性信号来实现上述实施例中SOF所起到的作用就能够实现本发明目的。所述周期性信号可以是所述主机控制器自身固有的信号，也可以是在该主机控制器中新增一个信号发生器来产生这样一个周期信号。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种数字音视频同步的方法，其特征在于，包括如下步骤主机控制器产生周期性信号，并将所产生的周期性信号发送至音视频采集装置；音视频采集装置根据所收到的周期性信号对自身产生的音频时钟信号进行校准，根据校准后的音频时钟信号对音频信号进行采样得到音频数据；同时，音视频采集装置根据所收到的周期性信号对自身产生的视频时钟信号进行校准，根据校准后的视频时钟信号对视频信号进行采样得到视频数据；音视频采集装置将所述音频数据和视频数据发送至主机控制器。
2.根据权利要求1所述的方法，其特征在于，所述将所产生的周期性信号发送至音视频采集装置之前，进一步包括判断主机控制器所产生的周期性信号是否出现信号缺失，若是则立即补上该信号，并执行所述后续步骤。
3.根据权利要求1或2所述的方法，其特征在于，所述周期性信号为帧起始信号。
4.一种数字音视频同步的系统，包括音视频采集装置和主机控制器，其特征在于，所述主机控制器用于生成周期性信号，并将所生成的周期性信号发送至音视频采集装置；所述音视频采集装置用于根据所收到的周期性信号对自身产生的音频时钟信号和视频时钟信号进行校正，并根据校正后的音频时钟信号采集音频数据，根据校正后的视频时钟信号采集视频数据，将所采集的音频数据和视频数据发送至主机控制器。
5.根据权利要求4所述的系统，其特征在于，所述主机控制器包括信号发生器，用于生成周期性信号。
6.根据权利要求4所述的系统，其特征在于，所述音视频采集装置包括音频时钟产生单元、音频采样单元、视频时钟产生单元和视频采样单元，其中，所述音频时钟产生单元用于生成音频时钟信号，接收来自主机控制器的周期性信号，根据所接收的周期性信号对所生成的音频时钟信号进行校正，将校正后的音频时钟信号发送至音频采样单元；所述音频采样单元用于根据所收到的音频时钟信号采样得到音频数据，并将所得音品数据发送至主机控制器；所述视频时钟产生单元用于生成视频时钟信号，接收来自主机控制器的周期性信号，根据所接收的周期性信号对所生成的视频时钟信号进行校正，将校正后的视频时钟信号发送至视频采样单元；所述视频采样单元用于根据所收到的视频时钟信号采样得到视频数据，并将所得视频数据发送至主机控制器。
7.根据权利要求6所述的系统，其特征在于，所述音视频采集装置进一步包括错误探测单元和修复单元，所述错误探测单元用于判断来自主机控制器的周期性信号是否出现信号缺失，若是，则通知修复单元；否则将来自主机控制器的周期性信号透传至音频时钟产生单元和视频时钟产生单元；所述修复单元根据来自错误探测单元的通知，补充所述周期性信号中缺失的信号，并将所述周期性信号发送至音频时钟产生单元和视频时钟产生单元。
8.根据权利要求4至7任一项所述的系统，其特征在于，所述主机控制器为通用串行总线主机控制器。
9.一种音视频采集装置，其特征在于，包括所述音视频采集装置包括音频时钟产生单元、音频采样单元、视频时钟产生单元和视频采样单元，其中，所述音频时钟产生单元用于生成音频时钟信号，接收周期性信号，根据所接收的周期性信号对所生成的音频时钟信号进行校正，将校正后的音频时钟信号发送至音频采样单元；所述音频采样单元用于根据所收到的音频时钟信号采样得到音频数据；所述视频时钟产生单元用于生成视频时钟信号，接收周期性信号，根据所接收的周期性信号对所生成的视频时钟信号进行校正，将校正后的视频时钟信号发送至视频采样单元；所述视频采样单元用于根据所收到的视频时钟信号采样得到视频数据。
10.根据权利要求9所述的音视频采集装置，其特征在于，所述音视频采集装置进一步包括错误探测单元和修复单元，所述错误探测单元用于判断周期性信号是否出现信号缺失，若是，则通知修复单元；否则将所述周期性信号透传至音频时钟产生单元和视频时钟产生单元；所述修复单元根据来自错误探测单元的通知，补充所述周期性信号中缺失的信号，并将所述周期性信号发送至音频时钟产生单元和视频时钟产生单元。
全文摘要
本发明公开了一种数字音视频同步的方法和系统，所述系统由音视频采集装置和主机控制器组成，所述方法则包括如下步骤主机控制器产生周期性信号，并将所产生的周期性信号发送至音视频采集装置；音视频采集装置根据所收到的周期性信号对自身产生的音频时钟信号进行校准，根据校准后的音频时钟信号对音频信号进行采样得到音频数据；同时，音视频采集装置根据所收到的周期性信号对自身产生的视频时钟信号进行校准，根据校准后的视频时钟信号对视频信号进行采样得到视频数据；音视频采集装置将所述音频数据和视频数据发送至主机控制器。本发明还公开了一种音视频采集装置。
文档编号H04N7/62GK101035296SQ200710065109
公开日2007年9月12日 申请日期2007年4月3日 优先权日2007年4月3日
发明者高晓宇, 周芬 申请人:北京中星微电子有限公司