一种音视频同步方法及装置的制造方法
【专利摘要】本申请公开一种音视频同步方法及装置，通过本申请的方案播放音视频时，当视频的累积时间误差超过预设的第一误差允许阈值时，会调整在播放过程中各帧视频之间的第一实际时间间隔；和/或，当音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。通过该方法，能够减少视频需要的播放帧率和实际的播放帧率之间的误差，使视频实际的播放帧率趋近于本次需要的播放帧率，和/或减少音频的需要的采样率和实际采样率之间的误差，使音频实际播放的采样率趋近于本次需要的采样率，从而提高音视频在播放过程中的同步程度。
【专利说明】
一种音视频同步方法及装置
技术领域
[0001]本发明实施例涉及多媒体技术领域，尤其涉及一种音视频同步方法及装置。
【背景技术】
[0002]影音通常由音频和视频共同构成。其中，音频和视频共同播放，才能使用户同时欣赏到声音和画面。
[0003]在影音播放过程中，需要音频和视频保持同步，才能使声音和画面保持统一。但是，发明人在本申请的研究过程中发现，受到终端设备中设置的定时器的精度限制，有些情况下，音频的采样率或视频的播放帧率不稳定，导致音频和视频之间出现不同步。例如，若视频播放的帧率为30帧每秒，也就是说，每隔33.33…3...毫秒播放一帧视频，但是，定时器的精度只能精度到I毫秒，这种情况下，只能每隔33毫秒播放一帧视频或每隔34毫秒播放一帧视频，从而出现误差，该误差随播放时间而累积，会导致音频和视频之间不同步的现象愈加明显，严重影响用户的观影体验。
【发明内容】
[0004]为克服相关技术中存在的问题，本发明实施例提供一种音视频同步方法及装置。
[0005]为了解决上述技术问题，本发明实施例公开了如下技术方案:
[0006]根据本发明实施例的第一方面，提供一种音视频同步方法，包括:
[0007]根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，和/或，根据本次音频所需的采样率，检测音频播放过程中是否存在时间误差；
[0008]若所述视频播放过程中存在时间误差，计算所述视频的累积时间误差，和/或，若所述音频播放过程中存在时间误差，计算所述音频的累积时间误差；
[0009]当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，和/或，当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。
[0010]优选的，所述根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，包括:
[0011 ]根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔；
[0012]若定时精度不能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中存在时间误差；
[0013]和/或，所述根据本次音频所需的采样率，检测频播放过程中是否存在时间误差，包括:
[0014]根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔；
[0015]若定时精度不能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中存在时间误差。
[0016]优选的，所述计算所述视频的累积时间误差，包括:
[0017]根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔，并获取所述视频播放过程中，各帧视频之间的第一实际时间间隔；
[0018]计算所述第一所需时间间隔和第一实际时间间隔之间的第一时间差，确定所述第一时间差为本次的第一时间误差，并存储所述本次的第一时间误差；
[0019]根据之前存储的第一时间误差和所述本次的第一时间误差，计算获取所述视频的累积时间误差。
[0020]优选的，所述计算所述音频的累积时间误差，包括:
[0021]根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔，并获取所述音频播放过程中，各音频帧之间的第二实际时间间隔；
[0022]计算所述第二所需时间间隔和第二实际时间间隔之间的第二时间差，确定所述第二时间差为本次的第二时间误差，并存储所述本次的第二时间误差；
[0023]根据之前存储的第二时间误差和所述本次的第二时间误差，计算获取所述音频的累积时间误差。
[0024]优选的，所述当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，包括:
[0025]若各帧视频之间的第一所需时间间隔大于所述第一实际时间间隔，调高所述第一实际时间间隔；
[0026]若各帧视频之间的第一所需时间间隔小于所述第一实际时间间隔，调低所述第一实际时间间隔；
[0027]和/或，所述当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔，包括:
[0028]若音频的各音频帧之间的第二所需时间间隔大于所述第二实际时间间隔，调高所述第二实际时间间隔；
[0029]若音频的各音频帧之间的第二所需时间间隔小于所述第二实际时间间隔，调低所述第二实际时间间隔。
[0030]优选的，还包括:
[0031]设定未调整前的各帧视频之间的第一实际时间间隔为第一初始时间间隔，在调整所述第一初始时间间隔后，继续计算视频的累积时间误差，并在所述累积时间误差不超过预设的所述第一误差允许阈值时，将第一实际时间间隔调整至所述第一初始时间间隔；
[0032]和/或，
[0033]设定未调整前的各音频帧之间的第二实际时间间隔为第二初始时间间隔，在调整所述第二初始时间间隔后，继续计算音频的累积时间误差，并在所述累积时间误差不超过预设的所述第二误差允许阈值时，将第二实际时间间隔调整至所述第二初始时间间隔。
[0034]根据本发明实施例的第二方面，提供一种音视频同步装置，包括:
[0035]误差检测模块，用于根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，和/或，根据本次音频所需的采样率，检测音频播放过程中是否存在时间误差；
[0036]误差计算模块，用于若所述视频播放过程中存在时间误差，计算所述视频的累积时间误差，和/或，若所述音频播放过程中存在时间误差，计算所述音频的累积时间误差；
[0037]时间调整模块，用于当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，和/或，当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。
[0038]优选的，所述误差检测模块包括:
[0039]第一计算单元，用于根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔；
[0040]第一确定单元，用于若定时精度不能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中存在时间误差；
[0041 ]和/或，所述误差检测模块包括:
[0042]第二计算单元，用于根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔；
[0043]第二确定单元，用于若定时精度不能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中存在时间误差。
[0044]优选的，所述误差计算模块包括:
[0045]第一时间间隔计算单元，用于根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔，并获取所述视频播放过程中，各帧视频之间的第一实际时间间隔；
[0046]第一时间差计算单元，用于计算所述第一所需时间间隔和第一实际时间间隔之间的第一时间差，确定所述第一时间差为本次的第一时间误差，并存储所述本次的第一时间误差;
[0047]第一累积时间误差计算单元，用于根据之前存储的第一时间误差和所述本次的第一时间误差，计算获取所述视频的累积时间误差。
[0048]优选的，所述误差计算模块包括:
[0049]第二时间间隔计算单元，用于根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔，并获取所述音频播放过程中，各音频帧之间的第二实际时间间隔；
[0050]第二时间差计算单元，用于计算所述第二所需时间间隔和第二实际时间间隔之间的第二时间差，确定所述第二时间差为本次的第二时间误差，并存储所述本次的第二时间误差;
[0051]第二累积时间误差计算单元，用于根据之前存储的第二时间误差和所述本次的第二时间误差，计算获取所述音频的累积时间误差。
[0052]优选的，所述时间调整模块包括:
[0053]第一调整单元，用于若各帧视频之间的第一所需时间间隔大于所述第一实际时间间隔，调高所述第一实际时间间隔，并且若各帧视频之间的第一所需时间间隔小于所述第一实际时间间隔，调低所述第一实际时间间隔；
[0054]和/或，第二调整单元，用于若音频的各音频帧之间的第二所需时间间隔大于所述第二实际时间间隔，调高所述第二实际时间间隔，并且若音频的各音频帧之间的第二所需时间间隔小于所述第二实际时间间隔，调低所述第二实际时间间隔。
[0055]优选的，其特征在于，
[0056]设定未调整前的各帧视频之间的第一实际时间间隔为第一初始时间间隔，所述误差计算模块还用于在调整所述第一初始时间间隔后，继续计算视频的累积时间误差；
[0057]所述时间调整模块还用于在所述累积时间误差不超过预设的所述第一误差允许阈值时，将第一实际时间间隔调整至所述第一初始时间间隔；
[0058]和/或，
[0059]设定未调整前的各音频帧之间的第二实际时间间隔为第二初始时间间隔，所述误差计算模块还用于在调整所述第二初始时间间隔后，继续计算音频的累积时间误差；
[0060]所述时间调整模块还用于在所述累积时间误差不超过预设的所述第二误差允许阈值时，将第二实际时间间隔调整至所述第二初始时间间隔。
[0061]本发明的实施例提供的技术方案可以包括以下有益效果:
[0062]通过本申请的方案播放音视频时，当视频的累积时间误差超过预设的第一误差允许阈值时，会调整在播放过程中各帧视频之间的第一实际时间间隔；和/或，当音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。通过该方法，能够减少视频需要的播放帧率和实际的播放帧率之间的误差，使视频实际的播放帧率趋近于本次需要的播放帧率，和/或减少音频的需要的采样率和实际采样率之间的误差，使音频实际播放的采样率趋近于本次需要的采样率，从而提高音视频在播放过程中的同步程度。
[0063]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
【附图说明】
[0064]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
[0065]图1是根据本发明一示例性实施例示出的一种音视频同步方法的工作流程示意图；
[0066]图2是根据本发明一示例性实施例示出的一种音视频同步方法中，计算视频的累积时间误差的工作流程示意图；
[0067]图3是根据本发明一示例性实施例示出的一种音视频同步方法中，计算音频的累积时间误差的工作流程示意图；
[0068]图4是根据本发明一示例性实施例示出的一种音视频同步装置的结构示意图。
【具体实施方式】
[0069]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0070]本申请公开一种音视频同步方法及装置，以解决现有技术中播放影音时，音视频不同步的问题。
[0071]本申请的实施例一公开一种音视频同步方法。参见图1所示的工作流程示意图，所述音视频同步方法包括以下步骤:
[0072]步骤S11、根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，和/或，根据本次音频所需的采样率，检测音频播放过程中是否存在时间误差。
[0073]步骤S12、若所述视频播放过程中存在时间误差，计算所述视频的累积时间误差，和/或，若所述音频播放过程中存在时间误差，计算所述音频的累积时间误差。
[0074]例如，若视频播放过程中，所需的播放帧率为30帧/秒，则需要每隔33.33…3…毫秒播放一帧视频，而定时器的定时精度只能精确到I毫秒，则只能每隔33毫秒或34毫秒播放一帧视频，从而出现时间误差。
[0075]步骤S13、当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，和/或，当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。
[0076]在本申请公开的音视频同步方法中，会预先设定第一误差允许阈值和第二误差允许阈值。并且，所述第一误差允许阈值和第二误差允许阈值通常由工作人员根据采集需求设置。另外，所述第一误差允许阈值和第二误差允许阈通常不小于定时精度。例如，若定时精度为I毫秒，可设定所述第一误差允许阈值和第二误差允许阈值均为I毫秒，当然，也可以设置为其他时间值，本申请对此不做限定。
[0077]本申请的步骤Sll至步骤S13公开一种音视频同步方法，该方法中，当视频的累积时间误差超过预设的第一误差允许阈值时，会调整在播放过程中各帧视频之间的第一实际时间间隔；和/或，当音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。通过该方法，能够减少视频需要的播放帧率和实际的播放帧率之间的误差，使视频实际的播放帧率趋近于本次需要的播放帧率，和/或减少音频的需要的采样率和实际采样率之间的误差，使音频实际播放的采样率趋近于本次需要的采样率，从而提高音视频在播放过程中的同步程度。
[0078]进一步的，所述根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，包括:
[0079]首先，根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔；
[0080]然后，若定时精度不能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中存在时间误差。
[0081 ]其中，若所述第一所需时间间隔为所述定时精度的整数倍，则说明定时精度能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中不存在时间误差;若所述第一所需时间间隔不是所述定时精度的整数倍，则说明定时精度不能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中存在时间误差。
[0082]例如，若本次视频所需的播放帧率为25秒，则所述第一所需时间间隔为40毫秒，定时器的定时精度为I毫秒，则第一所需时间间隔为所述定时精度的40倍，定时精度能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中不存在时间误差;若本次视频所需的播放帧率为30帧/秒，则所述第一所需时间间隔为33.33...3…毫秒，定时器的定时精度为I毫秒，则第一所需时间间隔并非所述定时精度的整数倍，则说明定时精度不能满足所述各帧视频之间的第一所需时间间隔，所述视频播放过程中存在时间误差。
[0083]另外，所述根据本次音频所需的采样率，检测频播放过程中是否存在时间误差，包括:
[0084]首先，根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔；
[0085]然后，若定时精度不能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中存在时间误差。
[0086]相应的，若所述第二所需时间间隔为所述定时精度的整数倍，则说明定时精度能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中不存在时间误差；若所述第二所需时间间隔不是所述定时精度的整数倍，则说明定时精度不能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中存在时间误差。
[0087]进一步的，参见图2所示的工作流程示意图，本申请中，所述计算所述视频的累积时间误差，包括以下步骤:
[0088]步骤S21、根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔，并获取所述视频播放过程中，各帧视频之间的第一实际时间间隔。
[0089]步骤S22、计算所述第一所需时间间隔和第一实际时间间隔之间的第一时间差，确定所述第一时间差为本次的第一时间误差，并存储所述本次的第一时间误差。
[0090]步骤S23、根据之前存储的第一时间误差和所述本次的第一时间误差，计算获取所述视频的累积时间误差。
[0091]例如，若本次视频所需的播放帧率为30帧/秒，则所述第一所需时间间隔为33.33...3…毫秒。这种情况下，若定时器的精度为I毫秒，则视频播放过程中，各帧视频之间的第一实际时间间隔为33毫秒或34毫秒。
[0092]这种情况下，若第一实际时间间隔为33毫秒，所述第一所需时间间隔和第一实际时间间隔之间的第一时间差为0.33…3…晕秒，也就是说，本次的第一时间误差为0.33...3…晕秒。
[0093]并且，通常之前存储的第一时间误差和以及本次的第一时间误差，计算视频的累积误差，因此，若第一实际时间间隔为33毫秒，第一所需时间间隔为33.33...3…毫秒，则播放第一帧视频后，视频的累积时间误差为0.33…3...毫秒，播放第二帧视频后，所述视频的累积时间误差为0.66…6...毫秒。这种情况下，第四次采集视频图像之后，所述视频的累积时间误差超过I毫秒，若所述第一误差允许阈值为I毫秒，则当前需要调整第一实际时间间隔。
[0094]相应的，参见图3所示的工作流程示意图，本申请中所述计算所述音频的累积时间误差，包括以下步骤:
[0095]步骤S31、根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔，并获取所述音频播放过程中，各音频帧之间的第二实际时间间隔；
[0096]步骤S32、计算所述第二所需时间间隔和第二实际时间间隔之间的第二时间差，确定所述第二时间差为本次的第二时间误差，并存储所述本次的第二时间误差；
[0097]步骤S33、根据之前存储的第二时间误差和所述本次的第二时间误差，计算获取所述音频的累积时间误差。
[0098]也就是说，在音频播放过程中，每次采样操作后，会存储本次的第二时间误差，并计算之前存储的第二时间误差以及所述本次的第二时间误差的和，将所述之前存储的第二时间误差以及所述本次的第二时间误差的和，作为所述音频的累积时间误差。
[0099]另外，在本申请的步骤S13中，公开了调整在播放过程中各帧视频之间的第一实际时间间隔，和/或调整在播放过程中音频的各个音频帧之间的第二实际时间间隔的操作。
[0100]其中，所述当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，包括:
[0101]若各帧视频之间的第一所需时间间隔大于所述第一实际时间间隔，调高所述第一实际时间间隔；若各帧视频之间的第一所需时间间隔小于所述第一实际时间间隔，调低所述第一实际时间间隔。
[0102]其中，第一时间间隔的调整幅度通常等于定时器的精度。例如，若第一所需时间间隔为33.33...3…毫秒，而第一实际时间间隔为33毫秒，则第一所需时间间隔大于所述第一实际时间间隔，需要调高所述第一实际时间间隔，而定时精度为I毫秒，即调整幅度为I毫秒，则通常将所述第一实际时间间隔调整为34毫秒。
[0103]另外，若第一所需时间间隔为33.33...3…毫秒，而第一实际时间间隔为34毫秒，则第一所需时间间隔小于所述第一实际时间间隔，需要调低所述第一实际时间间隔，而定时精度为I毫秒，即调整幅度为I毫秒，则通常将所述第一实际时间间隔调整为33毫秒。
[0104]相应的，所述当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔，包括:
[0105]若音频的各音频帧之间的第二所需时间间隔大于所述第二实际时间间隔，调高所述第二实际时间间隔;若音频的各音频帧之间的第二所需时间间隔小于所述第二实际时间间隔，调低所述第二实际时间间隔。其中，第二实际时间间隔的调整幅度，通常等于定时器的定时精度。
[0106]进一步的，本申请公开的音视频同步方法还包括:
[0107]设定未调整前的各帧视频之间的第一实际时间间隔为第一初始时间间隔，在调整所述第一初始时间间隔后，继续计算视频的累积时间误差，并在所述累积时间误差不超过预设的所述第一误差允许阈值时，将第一实际时间间隔调整至所述第一初始时间间隔；
[0108]和/或，设定未调整前的各音频帧之间的第二实际时间间隔为第二初始时间间隔，在调整所述第二初始时间间隔后，继续计算音频的累积时间误差，并在所述累积时间误差不超过预设的所述第二误差允许阈值时，将第二实际时间间隔调整至所述第二初始时间间隔。
[0109]在本申请中，在视频的累积时间误差未超过预设的第一误差允许阈值之前，将各帧视频播放后的第一时间误差相加，将获取到的所述各帧视频播放后的第一时间误差的和作为视频的累积时间误差。并在确定视频的累积时间误差超过第一误差允许阈值时，调整第一实际时间间隔。
[0110]另外，在所述视频的累积时间误差超过所述第一误差允许阈值，并调整所述第一实际时间间隔之后，继续计算视频的累积时间误差。在累积时间误差不超过所述第一误差允许阈值时，再将第一实际时间间隔调整回该视频初始的时间间隔。
[0111]其中，在调整所述第一初始时间间隔后，继续计算视频的累积时间误差时，若根据调整后的第一实际时间间隔播放一帧视频后，视频的累积时间误差通常等于上一次计算得到的视频的累积时间误差减去第一实际时间间隔的调整幅度的差值，若该差值仍然大于所述第一误差允许阈值，则继续按照调整后的第一实际时间间隔播放视频，直到计算确定该差值小于所述第一误差允许阈值，再将第一实际时间间隔调整至所述第一初始时间间隔。
[0112]例如，第一实际时间间隔为33毫秒，而第一所需时间间隔为33.33...3…毫秒，则播放第一帧视频之后，视频的累积时间误差为0.33…3...毫秒，播放第四帧视频之后，视频的累积时间误差为1.33...3.._毫秒，超过I毫秒。若预设的第一误差允许阈值为I毫秒，则播放第四帧视频之后，视频的累积时间误差超过预设的第一误差允许阈值，需要调整当前的第一实际时间间隔。若视频的调整幅度为I毫秒，则调整后的第一实际时间间隔为34毫秒，在播放第五帧视频后，视频的累积时间误差为(1.33-3--1)毫秒，即为0.33-3-毫秒，也就是说，视频的累积时间误差小于预设的误差允许阈值。这种情况下，在播放第五帧视频后，将第一时间时间间隔调整至33毫秒，
[0113]也就是说，本申请公开的方案中，会根据视频的累积时间误差实现对播放过程中第一实际时间间隔的调整，使视频在播放过程中，实际的播放帧率趋近于所需的播放帧率，减少播放帧率的误差，提高音视频的同步程度。
[0114]相应的，本申请中，在音频的累积时间误差未超过预设的第二误差允许阈值之前，将各音频帧对应的第二时间误差相加，将获取到的所述各音频帧对应的第二时间误差的和作为音频的累积时间误差，并在确定音频的累积时间误差超过第二误差允许阈值时，调整第二实际时间间隔。
[0115]另外，在所述音频的累积时间误差超过所述第二误差允许阈值，并调整所述第二实际时间间隔之后，继续计算音频的累积时间误差。在累积时间误差不超过所述第二误差允许阈值时，再将第二实际时间间隔调整回该音频初始的时间间隔。
[0116]其中，在调整所述第二初始时间间隔后，继续计算音频的累积时间误差时，若根据调整后的第二实际时间间隔进行第一次播放后，音频的累积时间误差通常等于上一次计算得到的音频的累积误差减去第二实际时间间隔的调整幅度的差值，若该差值仍然大于所述第二误差允许阈值，则继续按照调整后的第二实际时间间隔进行播放，直到计算确定该差值小于所述第二误差允许阈值，再将第二实际时间间隔调整至所述第二初始时间间隔。
[0117]也就是说，本申请公开的方案中，会根据音频的累积时间误差实现对播放过程中第二实际时间间隔的调整，使音频在播放过程中，播放采样率趋近于所需的采样率，减少所需的采样率和实际采样率不一致导致的误差，提高音视频的同步程度。
[0118]另外，在实际采集过程中，计算音频和视频的累积时间误差时的精度值可根据实际需求设置，例如，若精度要求较高，所述音频和视频的累积时间误差可精确到小数点后五位或更高的精度，若精度要求较低，所述音频和视频的累积时间误差可精确到小数点后四位或更低的精度，本申请对此不做限定。
[0119]相应的，本申请的第二实施例公开一种音视频同步装置，参见图4所示的结构示意图，所述音视频同步装置包括:误差检测模块100、误差计算模块200和时间调整模块300。
[0120]其中，所述误差检测模块100，用于根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，和/或，根据本次音频所需的采样率，检测音频播放过程中是否存在时间误差；
[0121]所述误差计算模块200，用于若所述视频播放过程中存在时间误差，计算所述视频的累积时间误差，和/或，若所述音频播放过程中存在时间误差，计算所述音频的累积时间误差;
[0122]所述时间调整模块300，用于当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，和/或，当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。
[0123]本申请公开一种音视频同步装置，通过本申请公开的装置，当视频的累积时间误差超过预设的第一误差允许阈值时，会调整在播放过程中各帧视频之间的第一实际时间间隔；和/或，当音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。通过该装置，能够减少视频需要的播放帧率和实际的播放帧率之间的误差，使视频实际的播放帧率趋近于本次需要的播放帧率，和/或减少音频的需要的采样率和实际采样率之间的误差，使音频实际播放的采样率趋近于本次需要的采样率，从而提高音视频在播放过程中的同步程度。
[0124]进一步的，本申请公开的方案中，所述误差检测模块100包括:
[0125]第一计算单元，用于根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔；
[0126]第一确定单元，用于若定时精度不能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中存在时间误差；
[0127]和/或，所述误差检测模块包括:
[0128]第二计算单元，用于根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔；
[0129]第二确定单元，用于若定时精度不能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中存在时间误差。
[0130]其中，若所述第一所需时间间隔为所述定时精度的整数倍，则说明定时精度能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中不存在时间误差;若所述第一所需时间间隔不是所述定时精度的整数倍，则说明定时精度不能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中存在时间误差。
[0131 ]例如，若本次视频所需的播放帧率为25秒，则所述第一所需时间间隔为40毫秒，定时器的定时精度为I毫秒，则第一所需时间间隔为所述定时精度的40倍，定时精度能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中不存在时间误差;若本次视频所需的播放帧率为30帧/秒，则所述第一所需时间间隔为33.33...3…毫秒，定时器的定时精度为I毫秒，则第一所需时间间隔并非所述定时精度的整数倍，则说明定时精度不能满足所述各帧视频之间的第一所需时间间隔，所述视频播放过程中存在时间误差。
[0132]相应的，若所述第二所需时间间隔为所述定时精度的整数倍，则说明定时精度能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中不存在时间误差；若所述第二所需时间间隔不是所述定时精度的整数倍，则说明定时精度不能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中存在时间误差。
[0133]在本申请公开的音视频同步装置中，所述误差计算模块200包括:
[0134]第一时间间隔计算单元，用于根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔，并获取所述视频播放过程中，各帧视频之间的第一实际时间间隔；
[0135]第一时间差计算单元，用于计算所述第一所需时间间隔和第一实际时间间隔之间的第一时间差，确定所述第一时间差为本次的第一时间误差，并存储所述本次的第一时间误差;
[0136]第一累积时间误差计算单元，用于根据之前存储的第一时间误差和所述本次的第一时间误差，计算获取所述视频的累积时间误差。
[0137]进一步的，本申请公开的音视频同步装置中，所述误差计算模块包括:
[0138]第二时间间隔计算单元，用于根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔，并获取所述音频播放过程中，各音频帧之间的第二实际时间间隔；
[0139]第二时间差计算单元，用于计算所述第二所需时间间隔和第二实际时间间隔之间的第二时间差，确定所述第二时间差为本次的第二时间误差，并存储所述本次的第二时间误差;
[0140]第二累积时间误差计算单元，用于根据之前存储的第二时间误差和所述本次的第二时间误差，计算获取所述音频的累积时间误差。
[0141]进一步的，所述时间调整模块包括:
[0142]第一调整单元，用于若各帧视频之间的第一所需时间间隔大于所述第一实际时间间隔，调高所述第一实际时间间隔，并且若各帧视频之间的第一所需时间间隔小于所述第一实际时间间隔，调低所述第一实际时间间隔；
[0143]和/或，第二调整单元，用于若音频的各音频帧之间的第二所需时间间隔大于所述第二实际时间间隔，调高所述第二实际时间间隔，并且若音频的各音频帧之间的第二所需时间间隔小于所述第二实际时间间隔，调低所述第二实际时间间隔。
[0144]其中，第一时间间隔和第二时间间隔的调整幅度通常等于定时器的精度。
[0145]例如，若第一所需时间间隔为33.33...3…毫秒，而第一实际时间间隔为33毫秒，则第一所需时间间隔大于所述第一实际时间间隔，需要调高所述第一实际时间间隔，而定时精度为I毫秒，即调整幅度为I毫秒，则通常将所述第一实际时间间隔调整为34毫秒。
[0146]另外，若第一所需时间间隔为33.33...3…毫秒，而第一实际时间间隔为34毫秒，则第一所需时间间隔小于所述第一实际时间间隔，需要调低所述第一实际时间间隔，而定时精度为I毫秒，即调整幅度为I毫秒，则通常将所述第一实际时间间隔调整为33毫秒。
[0147]进一步的，设定未调整前的各帧视频之间的第一实际时间间隔为第一初始时间间隔，所述误差计算模块还用于在调整所述第一初始时间间隔后，继续计算视频的累积时间误差;
[0148]所述时间调整模块还用于在所述累积时间误差不超过预设的所述第一误差允许阈值时，将第一实际时间间隔调整至所述第一初始时间间隔；
[0149]和/或，设定未调整前的各音频帧之间的第二实际时间间隔为第二初始时间间隔，所述误差计算模块还用于在调整所述第二初始时间间隔后，继续计算音频的累积时间误差;
[0150]所述时间调整模块还用于在所述累积时间误差不超过预设的所述第二误差允许阈值时，将第二实际时间间隔调整至所述第二初始时间间隔。
[0151]本申请公开的方案中，会根据视频的累积时间误差实现对播放过程中第一实际时间间隔的调整，使视频在播放过程中，实际的播放帧率趋近于所需的播放帧率，减少播放帧率的误差，提高音视频的同步程度。
[0152]并且，本申请公开的方案中，会根据音频的累积时间误差实现对播放过程中第二实际时间间隔的调整，使音频在播放过程中，播放采样率趋近于所需的采样率，减少所需的采样率和实际采样率不一致导致的误差，提高音视频的同步程度。
[0153]另外，在本申请公开的方案中，计算音频和视频的累积时间误差时的精度值可根据实际需求设置，例如，若精度要求较高，所述音频和视频的累积时间误差可精确到小数点后五位或更高的精度，若精度要求较低，所述音频和视频的累积时间误差可精确到小数点后四位或更低的精度，本申请对此不做限定。
[0154]关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0155]本领域技术人员在考虑说明书及实践公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0156]应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
【主权项】
1.一种音视频同步方法，其特征在于，包括: 根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，和/或，根据本次音频所需的采样率，检测音频播放过程中是否存在时间误差； 若所述视频播放过程中存在时间误差，计算所述视频的累积时间误差，和/或，若所述音频播放过程中存在时间误差，计算所述音频的累积时间误差； 当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，和/或，当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。2.根据权利要求1所述的音视频同步方法，其特征在于，所述根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，包括: 根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔； 若定时精度不能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中存在时间误差； 和/或，所述根据本次音频所需的采样率，检测频播放过程中是否存在时间误差，包括: 根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔； 若定时精度不能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中存在时间误差。3.根据权利要求1所述的音视频同步方法，其特征在于，所述计算所述视频的累积时间误差，包括: 根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔，并获取所述视频播放过程中，各帧视频之间的第一实际时间间隔； 计算所述第一所需时间间隔和第一实际时间间隔之间的第一时间差，确定所述第一时间差为本次的第一时间误差，并存储所述本次的第一时间误差； 根据之前存储的第一时间误差和所述本次的第一时间误差，计算获取所述视频的累积时间误差。4.根据权利要求1所述的音视频同步方法，其特征在于，所述计算所述音频的累积时间误差，包括: 根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔，并获取所述音频播放过程中，各音频帧之间的第二实际时间间隔； 计算所述第二所需时间间隔和第二实际时间间隔之间的第二时间差，确定所述第二时间差为本次的第二时间误差，并存储所述本次的第二时间误差； 根据之前存储的第二时间误差和所述本次的第二时间误差，计算获取所述音频的累积时间误差。5.根据权利要求1所述的音视频同步方法，其特征在于，所述当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，包括: 若各帧视频之间的第一所需时间间隔大于所述第一实际时间间隔，调高所述第一实际时间间隔； 若各帧视频之间的第一所需时间间隔小于所述第一实际时间间隔，调低所述第一实际时间间隔； 和/或，所述当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔，包括: 若音频的各音频帧之间的第二所需时间间隔大于所述第二实际时间间隔，调高所述第二实际时间间隔； 若音频的各音频帧之间的第二所需时间间隔小于所述第二实际时间间隔，调低所述第二实际时间间隔。6.根据权利要求1所述的音视频同步方法，其特征在于，还包括: 设定未调整前的各帧视频之间的第一实际时间间隔为第一初始时间间隔，在调整所述第一初始时间间隔后，继续计算视频的累积时间误差，并在所述累积时间误差不超过预设的所述第一误差允许阈值时，将第一实际时间间隔调整至所述第一初始时间间隔； 和/或， 设定未调整前的各音频帧之间的第二实际时间间隔为第二初始时间间隔，在调整所述第二初始时间间隔后，继续计算音频的累积时间误差，并在所述累积时间误差不超过预设的所述第二误差允许阈值时，将第二实际时间间隔调整至所述第二初始时间间隔。7.一种音视频同步装置，其特征在于，包括: 误差检测模块，用于根据本次视频所需的播放帧率，检测视频播放过程中是否存在时间误差，和/或，根据本次音频所需的采样率，检测音频播放过程中是否存在时间误差；误差计算模块，用于若所述视频播放过程中存在时间误差，计算所述视频的累积时间误差，和/或，若所述音频播放过程中存在时间误差，计算所述音频的累积时间误差； 时间调整模块，用于当所述视频的累积时间误差超过预设的第一误差允许阈值时，调整在播放过程中各帧视频之间的第一实际时间间隔，和/或，当所述音频的累积时间误差超过预设的第二误差允许阈值时，调整在播放过程中音频的各个音频帧之间的第二实际时间间隔。8.根据权利要求7所述的音视频同步装置，其特征在于，所述误差检测模块包括: 第一计算单元，用于根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔； 第一确定单元，用于若定时精度不能满足所述各帧视频之间的第一所需时间间隔，确定所述视频播放过程中存在时间误差； 和/或，所述误差检测模块包括: 第二计算单元，用于根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔； 第二确定单元，用于若定时精度不能满足所述各音频帧之间的第二所需时间间隔，确定所述音频播放过程中存在时间误差。9.根据权利要求7所述的音视频同步装置，其特征在于，所述误差计算模块包括: 第一时间间隔计算单元，用于根据本次视频所需的播放帧率，计算各帧视频之间的第一所需时间间隔，并获取所述视频播放过程中，各帧视频之间的第一实际时间间隔； 第一时间差计算单元，用于计算所述第一所需时间间隔和第一实际时间间隔之间的第一时间差，确定所述第一时间差为本次的第一时间误差，并存储所述本次的第一时间误差； 第一累积时间误差计算单元，用于根据之前存储的第一时间误差和所述本次的第一时间误差，计算获取所述视频的累积时间误差。10.根据权利要求7所述的音视频同步装置，其特征在于，所述误差计算模块包括: 第二时间间隔计算单元，用于根据本次音频所需的采样率，计算各音频帧之间的第二所需时间间隔，并获取所述音频播放过程中，各音频帧之间的第二实际时间间隔； 第二时间差计算单元，用于计算所述第二所需时间间隔和第二实际时间间隔之间的第二时间差，确定所述第二时间差为本次的第二时间误差，并存储所述本次的第二时间误差；第二累积时间误差计算单元，用于根据之前存储的第二时间误差和所述本次的第二时间误差，计算获取所述音频的累积时间误差。11.根据权利要求7所述的音视频同步装置，其特征在于，所述时间调整模块包括: 第一调整单元，用于若各帧视频之间的第一所需时间间隔大于所述第一实际时间间隔，调高所述第一实际时间间隔，并且若各帧视频之间的第一所需时间间隔小于所述第一实际时间间隔，调低所述第一实际时间间隔； 和/或，第二调整单元，用于若音频的各音频帧之间的第二所需时间间隔大于所述第二实际时间间隔，调高所述第二实际时间间隔，并且若音频的各音频帧之间的第二所需时间间隔小于所述第二实际时间间隔，调低所述第二实际时间间隔。12.根据权利要求7所述的音视频同步装置，其特征在于， 设定未调整前的各帧视频之间的第一实际时间间隔为第一初始时间间隔，所述误差计算模块还用于在调整所述第一初始时间间隔后，继续计算视频的累积时间误差； 所述时间调整模块还用于在所述累积时间误差不超过预设的所述第一误差允许阈值时，将第一实际时间间隔调整至所述第一初始时间间隔； 和/或， 设定未调整前的各音频帧之间的第二实际时间间隔为第二初始时间间隔，所述误差计算模块还用于在调整所述第二初始时间间隔后，继续计算音频的累积时间误差； 所述时间调整模块还用于在所述累积时间误差不超过预设的所述第二误差允许阈值时，将第二实际时间间隔调整至所述第二初始时间间隔。
【文档编号】H04N21/43GK105898504SQ201610265580
【公开日】2016年8月24日
【申请日】2016年4月26日
【发明人】孙立斌
【申请人】乐视控股（北京）有限公司, 乐视致新电子科技（天津）有限公司