音视频同步播放的方法及装置的制造方法
【专利摘要】本发明公开了一种音视频同步播放的方法，当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息；根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系；根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。本发明还公开了一种音视频同步播放的装置。本发明实现了通过外接声音设备播放多媒体文件的音频时，自动调整音频与视频画面同步的目的。
【专利说明】
音视频同步播放的方法及装置
技术领域
[0001]本发明涉及计算机多媒体技术领域，尤其涉及音视频同步播放的方法及装置。
【背景技术】
[0002]随着计算机多媒体技术的发展，生活中人们常常在电脑、手机等设备上播放声音或视频等多媒体文件，在播放的同时，也常常采用外接声音设备播放声音，如蓝牙音箱、蓝牙耳机等。但是，当用户连接外接声音设备时，常常会发现声音与视频不同步，例如当视频中人物说完一句话之后，外接声音设备才播放出视频中人物的声音，外接声音设备带来的声音延迟使用户体验较差。
[0003]现有技术中播放设备可以让用户根据外接声音播放设备的延时进行调整，使得播放声音与视频同步。在这种情况下，用户往往自己根据视频与声音一步一步手动调整确认，调整方式比较繁琐，影响用户体验。
【发明内容】
[0004]本发明的主要目的在于提供一种音视频同步播放的方法及装置，旨在实现通过外接声音设备播放多媒体文件的音频时，自动调整音频与视频画面同步的目的。
[0005]为实现上述目的，本发明提供的一种音视频同步播放的方法包括以下步骤:
[0006]当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息;
[0007]根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系；
[0008]根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。
[0009]优选地，所述当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息之前包括:
[0010]发送预置的第一音频至外接声音设备，记录发送所述第一音频的第一初始时间；[0011 ]在发送所述第一音频后，获取所述外接声音设备播放的第二音频及接收所述第二音频的第一时间参数；
[0012]将所述第二音频分时间段标记并与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间；
[0013]将所述延时时间和所述外接声音设备的设备信息保存在所述数据库中。
[0014]优选地，所述将所述第二音频分时间段标记并与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间包括:
[0015]将所述第二音频按照预置的时间间隔分段标记，分为N段，N为正整数；
[0016]获取所述第二音频分段标记后的第i段分析音频，i的初始值为I，i小于或等于N;
[0017]将所述第i段分析音频与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间。
[0018]优选地，所述第一时间参数中包括接收所述第二音频的第二初始时间、接收所述第二音频中所述第i段分析音频的第三初始时间和接收所述第二音频的结束时间；
[0019]则所述将所述第i段分析音频与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间包括:
[0020]判断所述第i段分析音频与所述第一音频的相似度是否小于预设值；
[0021]若是，则得到第i段为播放所述第一音频的初始时间段，确定所述第i段分析音频的第三初始时间与所述第一初始时间的第一时间差值为所述延时时间；
[0022]若否，则计算所述结束时间与第二初始时间的第二时间差值，根据所述第二时间差值判断是否向用户反馈提醒消息。
[0023]优选地，所述根据所述第二时间差值判断是否向用户反馈提醒消息包括:
[0024]判断所述第二时间差值是否大于预置的限制时间；
[0025]若是，则向用户反馈确认所述延时时间失败的提醒消息；
[0026]若否，则令i= i+l，且当i小于或等于N时，返回执行所述获取所述第二音频分段标记后的第i段分析音频的步骤。
[0027]此外，为实现上述目的，本发明还提供一种确定音视频同步播放的装置，所述音视频同步播放的装置包括:
[0028]第一获取模块，用于当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息；
[0029]查找确定模块，用于根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系；
[0030]调整模块，用于根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。
[0031]优选地，所述音视频同步播放的装置还包括:
[0032]音频发送模块，用于发送预置的第一音频至外接声音设备，记录发送所述第一音频的第一初始时间；
[0033]第二获取模块，用于在发送所述第一音频后，获取所述外接声音设备播放的第二音频及接收所述第二音频的第一时间参数；
[0034]分析确定模块，用于将所述第二音频分时间段标记并与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间；
[0035]保存模块，用于将所述延时时间和所述外接声音设备的设备信息保存在所述数据库中。
[0036]优选地，所述分析确定模块包括:
[0037]音频处理子模块，用于将所述第二音频按照预置的时间间隔分段标记，分为N段，N为正整数；
[0038]获取子模块，用于获取所述第二音频分段标记后的第i段分析音频，i的初始值为I，i小于或等于N;
[0039]确定子模块，用于将所述第i段分析音频与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间。
[0040]优选地，所述第一时间参数中包括接收所述第二音频的第二初始时间、接收所述第二音频中所述第i段分析音频的第三初始时间和接收所述第二音频的结束时间；
[0041 ]则所述确定子模块包括:
[0042]判断单元，用于判断所述第i段分析音频与所述第一音频的相似度是否小于预设值；
[0043]确定单元，用于当所述第i段分析音频与所述第一音频的相似度小于预设值时，得到第i段为播放所述第一音频的初始时间段，确定所述第i段分析音频的第三初始时间与所述第一初始时间的第一时间差值为所述延时时间；
[0044]计算单元，用于当所述第i段分析音频与所述第一音频的相似度不小于预设值时，计算所述结束时间与第二初始时间的第二时间差值，根据所述第二时间差值判断是否向用户反馈提醒消息。
[0045]优选地，所述计算单元包括:
[0046]判断子单元，用于判断所述第二时间差值是否大于预置的限制时间；
[0047]消息反馈子单元，用于当所述第二时间差值大于预置的限制时间时，向用户反馈确认所述延时时间失败的提醒消息；
[0048]触发子单元，用于当所述第二时间差值不大于预置的限制时间时，令i= i+l，且当i小于或等于N时，触发所述获取子模块获取所述第二音频分段标记后的第i段分析音频。
[0049]本发明实施例通过当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息;根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系;根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。通过连接外接声音设备播放多媒体文件的音频时先获取该外接声音设备的设备信息再根据设备信息查询延时时间，再根据延时时间调整多媒体文件的音频与视频同步播放，使得在使用外接声音设备播放多媒体文件的音频时，无需用户每次手动调整，实现了自动调整音频与视频画面同步的目的。
【附图说明】
[0050]图1为本发明音视频同步播放的方法第一实施例的流程示意图；
[0051]图2为本发明音视频同步播放的方法第二实施例的流程示意图；
[0052]图3为本发明图2所示实施例中步骤S60的细化流程示意图；
[0053]图4为本发明图3所示实施例中步骤S630的细化流程示意图；
[0054]图5为本发明图4所示实施例中步骤S633中根据所述第二时间差值判断是否向用户反馈提醒消息的细化流程示意图；
[0055]图6为本发明音视频同步播放的装置第一实施例的功能模块结构示意图；
[0056]图7为本发明音视频同步播放的装置第二实施例的功能模块结构示意图；
[0057]图8为本发明图7所示实施例中分析确定模块60的细化功能模块示意图；
[0058]图9为本发明图8所示实施例中确定子模块630的细化功能模块示意图；
[0059]图10为本发明图9所示实施例中计算单元633的细化功能模块示意图。
[0060]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0061]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0062]本发明提供一种音视频同步播放的方法。参照图1，在第一实施例中，该音视频同步播放的方法包括:
[0063]步骤Sl0，当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息；
[0064]步骤S20，根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系；
[0065]步骤S30，根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。
[0066]本发明提供的音视频同步播放的方法用于当终端与外接声音设备相连接的情况下，使用外接声音设备播放多媒体文件的音频时，使得外接声音设备播放的音频与终端播放的视频同步。外接声音设备通常用于与终端连接或配对时播放声音，常见的外接声音设备有蓝牙音箱、蓝牙耳机等，终端有笔记本、台式电脑、手机等。
[0067]本实施例中，上述多媒体文件是包含音频与视频的文件，当终端与外接声音设备连接并在终端上播放多媒体文件时，画面会在终端上播放(如手机、电脑等终端)，音频会通过外接声音设备播放。当通过外接声音设备播放多媒体文件的音频时，获取外接声音设备的设备信息，所述设备信息是用于标识外接声音设备的信息，获取外接声音设备的前提是要与该外接声音设备建立连接关系。
[0068]当获取到设备信息后，根据设备信息查找预置的数据库，确定该外接声音设备播放音频时的延时时间。上述预置的数据库中保存设备信息与延时时间的对应关系，因此根据外接声音设备的设备信息到预置的数据库中进行查找，能够获得对应的该外接声音设备播放声音时的延时时间。上述预置的数据库存在于连接外接声音设备播放音频的终端中，也可以存在于其他地方，具体地址可以根据需要进行选择。
[0069]当获取到外接声音设备的延时时间后，可以根据外接声音设备的延时时间自动调整音频与视频画面的同步，调整音频与视频画面同步的方法，可以控制视频画面先暂定等待再播放，暂停等待的时间长度与播放延时时间的时间长度相等。
[0070]例如当手机与蓝牙音箱连接，在手机上播放一段多媒体文件时，该蓝牙音箱会播放该多媒体文件的音频。在播放多媒体文件之前，先获取该蓝牙音箱的设备信息，再根据获取到的设备信息到预置的数据库中查找该蓝牙音箱播放音频时的延时时间，当查找到延时时间为5秒时，控制多媒体文件的视频延迟5秒播放，则5秒之后终端播放的视频刚好和该蓝牙音箱播放的音频同步。
[0071]本实施例通过当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息;根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系;根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。通过连接外接声音设备播放多媒体文件的音频时先获取该外接声音设备的设备信息再根据设备信息查询延时时间，再根据延时时间调整多媒体文件的音频与视频同步播放，使得在使用外接声音设备播放多媒体文件的音频时，无需用户每次手动调整，实现了自动调整音频与视频画面同步的目的。
[0072]进一步地，参照图2，基于本发明音视频同步播放的方法第一实施例，在本发明获取外接声音设备延时时间的方法第二实施例中，上述步骤SlO之前包括:
[0073]步骤S40，发送预置的第一音频至外接声音设备，记录发送所述第一音频的第一初始时间；
[0074]步骤S50，在发送所述第一音频后，获取所述外接声音设备播放的第二音频及接收所述第二音频的第一时间参数；
[0075]步骤S60，将所述第二音频分时间段标记并与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间；
[0076]步骤S70，将所述延时时间和所述外接声音设备的设备信息保存在所述数据库中。
[0077]本实施例是分析确定外接声音设备的延时时间的方法，当获取到外接声音设备的延时时间后，将延时时间与该外接声音设备的设备信息保存在预置的数据库中，以供当使用该外接声音设备播放多媒体文件的音频时，可以自动获取该外接声音设备的延时时间并根据延时时间调整多媒体文件的音频与视频同步播放。
[0078]本实施例中，上述预置的第一音频是预置的一段声音，用于区别用户常见的声音，避免分析计算外接声音设备的延时时间时出现干扰，发送第一音频至外接声音设备的目的是分析获取该外接声音设备的延时时间，可以根据需要选定一种特定频率特定声音长度的声音作为第一音频。发送预置的第一音频至外接声音设备的方法可以通过外接声音设备能够直接接收的方式发送，例如通过具有蓝牙模块的设备发送至蓝牙音箱。当发送预置的第一音频至外接声音设备的同时，记录保存发送第一音频的第一初始时间。
[0079]当发送第一音频后，获取外接声音设备播放的第二音频，当外接声音设备正常工作时可能正确接收到了第一音频以后开始播放第二音频，也可能没有正确接收到第一音频。此时，无论外接声音设备是否正确接收到第一音频，都获取外接声音设备播放的第二音频，以及接收第二音频的第一时间参数，上述第一时间参数是与接收第二音频有关的时间参数，具体是在接收第二音频的同时记录接收到第二音频的每一个音频数据的时间。因此，根据第一时间参数可以得到接收第二音频的每一个音频数据的时间。
[0080]然后将第二音频分时间段标记并与第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段。当外接声音设备正常工作时，在接收到第一音频后会播放第一音频，此时第二音频中会包含第一音频的音频数据，因此通过确定接收到外接声音设备播放第一音频的初始时间段，可以确定在发送第一音频给外接声音设备后，何时获取到外接声音设备播放第一音频。由于第一时间参数是与接收第二音频有关的时间参数，包含接收到第二音频的每一个音频数据的时间，因此当确定了接收到第一音频的初始时间段后，可以根据第一时间参数得到接收到第一音频的初始时间的初始时间点，然后再根据发送第一音频的第一初始时间来确定该外接声音设备播放音频时的延时时间。
[0081 ]当确定了外接声音设备播放音频时的延时时间后，将该外接声音设备的延时信息与设备信息对应保存在预置的数据库中，使得该外接声音设备播放声音时的延时信息能够在需要时直接获取。
[0082]本发明实施例通过发送预置的第一音频外接声音设备，记录发送的第一初始时间，再获取该外接声音设备的第二音频，以及接收第二音频的第一时间参数，然后根据第一音频与第二音频对比分析得到接收到外接声音设备播放第一音频的初始时间段，再根据初始时间段、第一初始时间和第一时间参数确定外接声音设备播放声音时的延时时间，并将延时时间与该外接声音设备的设备信息保存，实现了自动获取并保存外接声音设备的延时时间，并且在延时时间与设备信息被保存后，下次再连接时可以根据保存的设备信息和延时时间自动调整连接该外接声音设备播放时音频与视频画面同步。
[0083]进一步地，参照图3，基于本发明音视频同步播放的方法第二实施例，在本发明获取外接声音设备延时时间的方法第三实施例中，上述步骤S60包括:
[0084]步骤S610，将所述第二音频按照预置的时间间隔分段标记，分为N段，N为正整数；
[0085]步骤S620，获取所述第二音频分段标记后的第i段分析音频，i的初始值为l，i小于或等于N;
[0086]步骤S630，将所述第i段分析音频与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间。
[0087]本实施例中上述将第二音频按照预置的时间间隔分段是指将第二音频分别分成N段，其中预置的时间间隔和N的值可以根据需要进行选择设置。例如在获取到第二音频为3秒时，将第二音频分为30段，SPN=30，每0.1秒每段。
[0088]当第二音频做了分段标记处理后，获取第二音频分段标记后的第一段作为第一段分析音频，例如获取第二段音频的0-0.1秒作为第一段分析音频。目的是将第二音频先分段标记后再与第一音频做比对。
[0089]通过将第二音频标记后的第i段分析音频与第一音频对比分析，得到接收到外接声音设备播放第一音频的初始时间段，再根据初始时间段、第一初始时间和第一时间参数确定外接声音设备播放音频时的延时时间。
[0090]本发明实施例通过将第一音频按照预置的时间间隔分段标记并分析，得到接收到外接声音设备播放第一音频的初始时间段，然后根据初始时间段、第一初始时间和第一时间参数确定外接声音设备的延时时间，使得无需用户判断，就能够自动获取外接声音设备的延时时间。
[0091 ]进一步地，参照图4，基于本发明音视频同步播放的方法第三实施例，在本发明获取外接声音设备延时时间第四实施例中，第一时间参数中包括接收所述第二音频的第二初始时间、接收所述第二音频中所述第i段分析音频的第三初始时间和接收所述第二音频的结束时间；
[0092]则上述步骤S630的细化步骤包括:
[0093]步骤S631，判断所述第i段分析音频与所述第一音频的相似度是否小于预设值;若是，执行步骤S632 ；否则，执行步骤S633 ；
[0094]步骤S632，得到第i段为播放所述第一音频的初始时间段，确定所述第i段分析音频的第三初始时间与所述第一初始时间的第一时间差值为所述延时时间；
[0095]步骤S633，计算所述结束时间与第二初始时间的第二时间差值，根据所述第二时间差值判断是否向用户反馈提醒消息。
[0096]本实施例中上述第二初始时间是接收到外接声音设备播放的第二音频时的时间，上述第三初始时间是接收外接声音设备播放第i段分析音频的初始时间，上述结束时间是外接声音设备播放第i段分析音频的结束时间，由于第一参数是在接收到第二音频的音频数据时持续记录的时间，因此上述第三初始时间和结束时间也被记录了。上述判断所述第i段分析音频与所述第一音频的相似度是否小于预设值的目的是将外接声音设备接收到的声音与发送时的声音进行对比，判断接收到外接声音设备播放第一音频的初始时间段。由于一段声音数据是由连续的音频数据组成，两段音频在某一个时刻的声音数据相似不意味着两段音频是同一段音频，因此音频相似性的判断需要通过多个连续的音频数据进行对比，这里采取第i段分析音频来与第一音频进行对比。通常外接声音设备接收到声音再播放出来时，声音也会有损耗，因此将第i段分析音频与第一音频进行对比分析时，只要音频的相似度在一定范围内就可以判定两者是同一段声音，其中，预设值可以根据需要进行设定。将两段声音进行对比分析相似度的方法有很多，属于现有技术，这里不再赘述。可以根据需要选择方法将第i段分析音频与第一音频进行分析。
[0097]当第i段分析音频与第一音频的相似度小于预设值时，表明在第i段分析音频中播放了第一音频，第i段为接收到外接声音设备播放第一音频的初始时间段。此时，获取从发送第一音频到接收到第i段分析音频经过了多长时间，就可以得到外接声音设备播放声音时的延时时间。因此，将接收到第i段分析音频的初始时间减去发送第二音频时的第一初始时间，得到第一时间差，第一时间差即为外接声音设备播放声音时的延时时间。
[0098]当第i段分析音频与第一段音频的相似度不小于预设值时，表明两者可能不是同一段声音，此时，判断获取到的第二音频是否是有效的声音，计算此时接收到第二音频的结束时间与接收第二音频的第二初始时间之间的第二时间差，则第二时间差即为第二音频的时间长度。根据第二音频的时间长度分析接收过程是否有误，如果有误，直接向用户反馈提醒消息，用于提醒用户进行下一步操作。
[0099]本发明实施例通过将第i段分析音频与第一音频的相似度与预设值对比，分析得到接收到外接声音设备播放第一音频的初始时间段，计算播放第一音频的初始时间段的初始时间与发送第一音频的第一初始时间的时间差，即当第i段分析音频与第一音频的相似度小于预设值时，计算第i段分析音频的第三初始时间与第一初始时间的时间差作为所述延时时间，从而自动获取了外接声音设备播放声音时的延时时间。
[0100]进一步地，参照图5，基于本发明音视频同步播放的方法第四实施例，在本发明获取外接声音设备延时时间第五实施例中，上述步骤S633中根据所述第二时间差值判断是否向用户反馈提醒消息的细化步骤包括:
[0101]步骤S301，判断所述第二时间差值是否大于预置的限制时间；若是，执行步骤S302，否则执行步骤S303;
[0102]步骤S302，向用户反馈确认所述延时时间失败的提醒消息；
[0103]步骤S303，令i= i+l，且当i小于或等于N时，返回执行所述获取所述第二音频分段标记后的第i段分析音频的步骤。
[0104]本实施例中上述第二时间差值就是外接声音设备播放的第二音频的长度。上述预置的限制时间根据需要进行设定，目的是判断获取到的第二音频的长度是否超过了一定的限制。
[0105]若第一段分析音频与第一音频的相似度超过了预设值，第二音频的时间又超过了预置的限制时间，表明接收到的第二音频可能有误，外接声音设备可能没有正常工作，因此向用户发送确认延时时间失败的消息，也可以发送消息提示用户确认外接声音设备是否正常工作，用户可以根据接收到的消息进行下一步的操作，例如调整外接声音设备后再次发送声音。
[0106]若第一段分析音频与第一音频的声音相似度超过了预设值，但是第二音频的时间没有超过预置的限制时间，表明接收到的第二音频不一定有错误，此时令i = i+l，执行获取第二音频分段标记后的第i段分析音频，判断所述第i段分析音频与所述第一音频的相似度是否小于预设值的步骤。
[0107]例如，当之前已经获取了第二音频的第一个时间段O至0.1秒的声音与第一音频进行对比分析后，此时获取第一音频的第二个时间段，0.1秒至0.2秒这一段内的音频，将0.1至0.2这一段时间内的音频与第一音频进行对比分析。
[0108]当第二段分析音频与第一音频的相似度超过预设值时，可以继续获取第三段分析音频进行对比，直到找到两段相似的音频。当第二音频中第N段声音与第一音频相比均不相同时，可以向用户发送消息提示，由用户确认是否声音片段有误。
[0109]例如，当发送第一音频的起始时间是12:00，接收到音频的时间时12:01，获取到的第二音频为3秒，分为30段，每段0.1秒，则第一段分析音频的时间段为12:01至12:02，第二段分析音频为12:02至12:03，如此类推，第五段分析音频的时间段为12:05至12:06，当第五段分析音频与第一音频比较小于预设值时，表明第五段为播放第一音频的起始时间段，此时延时时间为0.5秒，S卩，12:05减去12:00的时间差。
[0110]本实施例通过当第i段分析音频与第一音频的相似度大于预设值时，进一步判断第二时间差值是否大于预置的限制时间，当第二时间差值大于预置的限制时间时，向用户反馈提醒消息，当不大于时，继续获取第i+Ι段分析音频与第i+Ι段对比音频并判断其相似性，从而自动获取外接声音设备的延时时间，当获取了延时时间后将延时时间保存，使得再次使用时可以根据延时时间调整音视频画面同步。
[0111]本发明还提供一种音视频同步播放的装置，参照图6，提供了本发明音视频同步播放的装置第一实施例，该实施例中，音视频同步播放的装置包括:
[0112]第一获取模块10，用于当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息；
[0113]查找确定模块20，用于根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系；
[0114]调整模块30，用于根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。
[0115]本发明提供的音视频同步播放的装置用于当终端与外接声音设备相连接的情况下，使用外接声音设备播放多媒体文件的音频时，使得外接声音设备播放的音频与终端播放的视频同步。外接声音设备通常用于与终端连接或配对时播放声音，常见的外接声音设备有蓝牙音箱、蓝牙耳机等，终端有笔记本、台式电脑、手机等。
[0116]本实施例中，上述多媒体文件是包含音频与视频的文件，当终端与外接声音设备连接并在终端上播放多媒体文件时，画面会在终端上播放(如手机、电脑等终端)，音频会通过外接声音设备播放。当通过外接声音设备播放多媒体文件的音频时，第一获取模块10获取外接声音设备的设备信息，所述设备信息是用于标识外接声音设备的信息，获取外接声音设备的前提是要与该外接声音设备建立连接关系。
[0117]当获取到设备信息后，查找确定模块20根据设备信息查找预置的数据库，确定该外接声音设备播放音频时的延时时间。上述预置的数据库中保存设备信息与延时时间的对应关系，因此根据外接声音设备的设备信息到预置的数据库中进行查找，能够获得对应的该外接声音设备播放声音时的延时时间。上述预置的数据库存在于连接外接声音设备播放音频的终端中，也可以存在于其他地方，具体地址可以根据需要进行选择。
[0118]当获取到外接声音设备的延时时间后，调整模块30根据外接声音设备的延时时间自动调整音频与视频画面的同步，调整音频与视频画面同步的方法，可以控制视频画面先暂定等待再播放，暂停等待的时间长度与播放延时时间的时间长度相等。
[0119]例如当手机与蓝牙音箱连接，在手机上播放一段多媒体文件时，该蓝牙音箱会播放该多媒体文件的音频。在播放多媒体文件之前，先获取该蓝牙音箱的设备信息，再根据获取到的设备信息到预置的数据库中查找该蓝牙音箱播放音频时的延时时间，当查找到延时时间为5秒时，控制多媒体文件的视频延迟5秒播放，则5秒之后终端播放的视频刚好和该蓝牙音箱播放的音频同步。
[0120]本实施例通过当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息;根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系;根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。通过连接外接声音设备播放多媒体文件的音频时先获取该外接声音设备的设备信息再根据设备信息查询延时时间，再根据延时时间调整多媒体文件的音频与视频同步播放，使得在使用外接声音设备播放多媒体文件的音频时，无需用户每次手动调整，实现了自动调整音频与视频画面同步的目的。
[0121]进一步地，参照图7，基于本发明音视频同步播放的装置第一实施例，在本发明音视频同步播放的装置第二实施例中，上述音视频同步播放的装置还包括:
[0122]音频发送模块40，用于发送预置的第一音频至外接声音设备，记录发送所述第一音频的第一初始时间；
[0123]第二获取模块50，用于在发送所述第一音频后，获取所述外接声音设备播放的第二音频及接收所述第二音频的第一时间参数；
[0124]分析确定模块60，用于将所述第二音频分时间段标记并与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间；
[0125]保存模块70，用于将所述延时时间和所述外接声音设备的设备信息保存在所述数据库中。
[0126]本实施例是分析确定外接声音设备的延时时间的方法，当获取到外接声音设备的延时时间后，将延时时间与该外接声音设备的设备信息保存在预置的数据库中，以供当使用该外接声音设备播放多媒体文件的音频时，可以自动获取该外接声音设备的延时时间并根据延时时间调整多媒体文件的音频与视频同步播放。
[0127]本实施例中，上述预置的第一音频是预置的一段声音，用于区别用户常见的声音，避免分析计算外接声音设备的延时时间时出现干扰，音频发送模块40发送第一音频至外接声音设备的目的是分析获取该外接声音设备的延时时间，可以根据需要选定一种特定频率特定声音长度的声音作为第一音频。发送预置的第一音频至外接声音设备的方法可以通过外接声音设备能够直接接收的方式发送，例如通过具有蓝牙模块的设备发送至蓝牙音箱。当发送预置的第一音频至外接声音设备的同时，记录保存发送第一音频的第一初始时间。
[0128]当发送第一音频后，第二获取模块50获取外接声音设备播放的第二音频，当外接声音设备正常工作时可能正确接收到了第一音频以后开始播放第二音频，也可能没有正确接收到第一音频。此时，无论外接声音设备是否正确接收到第一音频，都获取外接声音设备播放的第二音频，以及接收第二音频的第一时间参数，上述第一时间参数是与接收第二音频有关的时间参数，具体是在接收第二音频的同时记录接收到第二音频的每一个音频数据的时间。因此，根据第一时间参数可以得到接收第二音频的每一个音频数据的时间。
[0129]然后分析确定模块60将第二音频分时间段标记并与第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段。当外接声音设备正常工作时，在接收到第一音频后会播放第一音频，此时第二音频中会包含第一音频的音频数据，因此通过确定接收到外接声音设备播放第一音频的初始时间段，可以确定在发送第一音频给外接声音设备后，何时获取到外接声音设备播放第一音频。由于第一时间参数是与接收第二音频有关的时间参数，包含接收到第二音频的每一个音频数据的时间，因此当确定了接收到第一音频的初始时间段后，可以根据第一时间参数得到接收到第一音频的初始时间的初始时间点，然后再根据发送第一音频的第一初始时间来确定该外接声音设备播放音频时的延时时间。
[0130]当确定了外接声音设备播放音频时的延时时间后，保存模块70将该外接声音设备的延时信息与设备信息对应保存在预置的数据库中，使得该外接声音设备播放声音时的延时信息能够在需要时直接获取。
[0131]本发明实施例通过发送预置的第一音频外接声音设备，记录发送的第一初始时间，再获取该外接声音设备的第二音频，以及接收第二音频的第一时间参数，然后根据第一音频与第二音频对比分析得到接收到外接声音设备播放第一音频的初始时间段，再根据初始时间段、第一初始时间和第一时间参数确定外接声音设备播放声音时的延时时间，并将延时时间与该外接声音设备的设备信息保存，实现了自动获取并保存外接声音设备的延时时间，并且在延时时间与设备信息被保存后，下次再连接时可以根据保存的设备信息和延时时间自动调整连接该外接声音设备播放时音频与视频画面同步。
[0132]进一步地，参照图8，基于本发明音视频同步播放的装置第二实施例，在本发明音视频同步播放的装置第三实施例中，上述分析确定模块60包括:
[0133]音频处理子模块610，用于将所述第二音频按照预置的时间间隔分段标记，分为N段，N为正整数；
[0134]获取子模块620，用于获取所述第二音频分段标记后的第i段分析音频，i的初始值为I，i小于或等于N;
[0135]确定子模块630，用于将所述第i段分析音频与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间。
[0136]本实施例中上述音频处理子模块610将第二音频按照预置的时间间隔分段是指将第二音频分别分成N段，其中预置的时间间隔和N的值可以根据需要进行选择设置。例如在获取到第二音频为3秒时，将第二音频分为30段，SPN=30，每0.1秒每段。
[0137]当第二音频做了分段标记处理后，获取子模块620获取第二音频分段标记后的第一段作为第一段分析音频，例如获取第二段音频的0-0.1秒作为第一段分析音频。目的是将第二音频先分段标记后再与第一音频做比对。
[0138]确定子模块630将第二音频标记后的第i段分析音频与第一音频对比分析，得到接收到外接声音设备播放第一音频的初始时间段，再根据初始时间段、第一初始时间和第一时间参数确定外接声音设备播放音频时的延时时间。
[0139]本发明实施例通过将第一音频按照预置的时间间隔分段标记并分析，得到接收到外接声音设备播放第一音频的初始时间段，然后根据初始时间段、第一初始时间和第一时间参数确定外接声音设备的延时时间，使得无需用户判断，就能够自动获取外接声音设备的延时时间。
[0140]进一步地，参照图9，基于本发明音视频同步播放的装置第三实施例，在本发明音视频同步播放的装置第四实施例中，上述第一时间参数中包括接收所述第二音频的第二初始时间、接收所述第二音频中所述第i段分析音频的第三初始时间和接收所述第二音频的结束时间；
[0141]上述确定子模块630包括:
[0142]判断单元631，用于判断所述第i段分析音频与所述第一音频的相似度是否小于预设值；
[0143]确定单元632，用于当所述第i段分析音频与所述第一音频的相似度小于预设值时，得到第i段为播放所述第一音频的初始时间段，确定所述第i段分析音频的第三初始时间与所述第一初始时间的第一时间差值为所述延时时间；
[0144]计算单元633，用于当所述第i段分析音频与所述第一音频的相似度不小于预设值时，计算所述结束时间与第二初始时间的第二时间差值，根据所述第二时间差值判断是否向用户反馈提醒消息。
[0145]本实施例中上述第二初始时间是接收到外接声音设备播放的第二音频时的时间，上述第三初始时间是接收外接声音设备播放第i段分析音频的初始时间，上述结束时间是外接声音设备播放第i段分析音频的结束时间，由于第一参数是在接收到第二音频的音频数据时持续记录的时间，因此上述第三初始时间和结束时间也被记录了。上述判断单元631判断所述第i段分析音频与所述第一音频的相似度是否小于预设值的目的是将外接声音设备接收到的声音与发送时的声音进行对比，判断接收到外接声音设备播放第一音频的初始时间段。由于一段声音数据是由连续的音频数据组成，两段音频在某一个时刻的声音数据相似不意味着两段音频是同一段音频，因此音频相似性的判断需要通过多个连续的音频数据进行对比，这里采取第i段分析音频来与第一音频进行对比。通常外接声音设备接收到声音再播放出来时，声音也会有损耗，因此将第i段分析音频与第一音频进行对比分析时，只要音频的相似度在一定范围内就可以判定两者是同一段声音，其中，预设值可以根据需要进行设定。将两段声音进行对比分析相似度的方法有很多，属于现有技术，这里不再赘述。可以根据需要选择方法将第i段分析音频与第一音频进行分析。
[0146]当第i段分析音频与第一音频的相似度小于预设值时，表明在第i段分析音频中播放了第一音频，确定单元632确定第i段为接收到外接声音设备播放第一音频的初始时间段。此时，获取从发送第一音频到接收到第i段分析音频经过了多长时间，就可以得到外接声音设备播放声音时的延时时间。因此，将接收到第i段分析音频的初始时间减去发送第二音频时的第一初始时间，得到第一时间差，第一时间差即为外接声音设备播放声音时的延时时间。
[0147]当第i段分析音频与第一段音频的相似度不小于预设值时，表明两者可能不是同一段声音，此时，判断获取到的第二音频是否是有效的声音，计算单元633计算此时接收到第二音频的结束时间与接收第二音频的第二初始时间之间的第二时间差，则第二时间差即为第二音频的时间长度。根据第二音频的时间长度分析接收过程是否有误，如果有误，直接向用户反馈提醒消息，用于提醒用户进行下一步操作。
[0148]本发明实施例通过将第i段分析音频与第一音频的相似度与预设值对比，分析得到接收到外接声音设备播放第一音频的初始时间段，计算播放第一音频的初始时间段的初始时间与发送第一音频的第一初始时间的时间差，即当第i段分析音频与第一音频的相似度小于预设值时，计算第i段分析音频的第三初始时间与第一初始时间的时间差作为所述延时时间，从而自动获取了外接声音设备播放声音时的延时时间。
[0149]进一步地，参照图10，基于本发明音视频同步播放的装置第四实施例，在本发明音视频同步播放的装置第五实施例中，上述计算单元633包括:
[0150]判断子单元301，用于判断所述第二时间差值是否大于预置的限制时间；
[0151]消息反馈子单元302，用于当所述第二时间差值大于预置的限制时间时，向用户反馈确认所述延时时间失败的提醒消息；
[0152]触发子单元303，用于当所述第二时间差值不大于预置的限制时间时，令i= i+l，且当i小于或等于N时，触发所述获取子模块获取所述第二音频分段标记后的第i段分析音频。
[0153]本实施例中上述第二时间差值就是外接声音设备播放的第二音频的长度。上述预置的限制时间根据需要进行设定，目的是判断获取到的第二音频的长度是否超过了一定的限制。
[0154]若第一段分析音频与第一音频的相似度超过了预设值，第二音频的时间又超过了预置的限制时间，表明接收到的第二音频可能有误，外接声音设备可能没有正常工作，因此向用户发送确认延时时间失败的消息，也可以发送消息提示用户确认外接声音设备是否正常工作，用户可以根据接收到的消息进行下一步的操作，例如调整外接声音设备后再次发送声音。
[0155]若第一段分析音频与第一音频的声音相似度超过了预设值，但是第二音频的时间没有超过预置的限制时间，表明接收到的第二音频不一定有错误，此时令i = i+l，触发子单元303触发获取子模块620获取第二音频分段标记后的第i段分析音频，判断所述第i段分析音频与所述第一音频的相似度是否小于预设值。
[0156]例如，当之前已经获取了第二音频的第一个时间段O至0.1秒的声音与第一音频进行对比分析后，此时获取第一音频的第二个时间段，0.1秒至0.2秒这一段内的音频，将0.1至0.2这一段时间内的音频与第一音频进行对比分析。
[0157]当第二段分析音频与第一音频的相似度超过预设值时，可以继续获取第三段分析音频进行对比，直到找到两段相似的音频。当第二音频中第N段声音与第一音频相比均不相同时，可以向用户发送消息提示，由用户确认是否声音片段有误。
[0158]例如，当发送第一音频的起始时间是12:00，接收到音频的时间时12:01，获取到的第二音频为3秒，分为30段，每段0.1秒，则第一段分析音频的时间段为12:01至12:02，第二段分析音频为12:02至12:03，如此类推，第五段分析音频的时间段为12:05至12:06，当第五段分析音频与第一音频比较小于预设值时，表明第五段为播放第一音频的起始时间段，此时延时时间为0.5秒，S卩，12:05减去12:00的时间差。
[0159]本实施例通过当第i段分析音频与第一音频的相似度大于预设值时，进一步判断第二时间差值是否大于预置的限制时间，当第二时间差值大于预置的限制时间时，向用户反馈提醒消息，当不大于时，继续获取第i+Ι段分析音频与第i+Ι段对比音频并判断其相似性，从而自动获取外接声音设备的延时时间，当获取了延时时间后将延时时间保存，使得再次使用时可以根据延时时间调整音视频画面同步。
[0160]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1.一种音视频同步播放的方法，其特征在于，所述方法包括以下步骤: 当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息； 根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系； 根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。2.如权利要求1所述的方法，其特征在于，所述当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息之前包括: 发送预置的第一音频至外接声音设备，记录发送所述第一音频的第一初始时间； 在发送所述第一音频后，获取所述外接声音设备播放的第二音频及接收所述第二音频的第一时间参数； 将所述第二音频分时间段标记并与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间； 将所述延时时间和所述外接声音设备的设备信息保存在所述数据库中。3.如权利要求2所述的方法，其特征在于，所述将所述第二音频分时间段标记并与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间包括: 将所述第二音频按照预置的时间间隔分段标记，分为N段，N为正整数； 获取所述第二音频分段标记后的第i段分析音频，i的初始值为l，i小于或等于N; 将所述第i段分析音频与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间。4.如权利要求3所述的方法，其特征在于，所述第一时间参数中包括接收所述第二音频的第二初始时间、接收所述第二音频中所述第i段分析音频的第三初始时间和接收所述第二音频的结束时间； 则所述将所述第i段分析音频与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间包括: 判断所述第i段分析音频与所述第一音频的相似度是否小于预设值； 若是，则得到第i段为播放所述第一音频的初始时间段，确定所述第i段分析音频的第三初始时间与所述第一初始时间的第一时间差值为所述延时时间； 若否，则计算所述结束时间与第二初始时间的第二时间差值，根据所述第二时间差值判断是否向用户反馈提醒消息。5.如权利要求4所述的方法，其特征在于，所述根据所述第二时间差值判断是否向用户反馈提醒消息包括: 判断所述第二时间差值是否大于预置的限制时间； 若是，则向用户反馈确认所述延时时间失败的提醒消息； 若否，则令i = i+l，且当i小于或等于N时，返回执行所述获取所述第二音频分段标记后的第i段分析音频的步骤。6.—种音视频同步播放的装置，其特征在于，所述音视频同步播放的装置包括: 第一获取模块，用于当通过外接声音设备播放多媒体文件的音频时，获取所述外接声音设备的设备信息； 查找确定模块，用于根据所述设备信息查找预置的数据库，确定所述外接声音设备播放音频时的延时时间，所述预置的数据库包含所述设备信息与所述延时时间之间的对应关系; 调整模块，用于根据所述延时时间调整所述多媒体文件的视频，使得所述音频与所述视频同步播放。7.如权利要求6所述的装置，其特征在于，所述音视频同步播放的装置还包括: 音频发送模块，用于发送预置的第一音频至外接声音设备，记录发送所述第一音频的第一初始时间； 第二获取模块，用于在发送所述第一音频后，获取所述外接声音设备播放的第二音频及接收所述第二音频的第一时间参数； 分析确定模块，用于将所述第二音频分时间段标记并与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间； 保存模块，用于将所述延时时间和所述外接声音设备的设备信息保存在所述数据库中。8.如权利要求7所述的装置，其特征在于，所述分析确定模块包括: 音频处理子模块，用于将所述第二音频按照预置的时间间隔分段标记，分为N段，N为正整数； 获取子模块，用于获取所述第二音频分段标记后的第i段分析音频，i的初始值为I，i小于或等于N; 确定子模块，用于将所述第i段分析音频与所述第一音频对比分析，得到接收到所述外接声音设备播放所述第一音频的初始时间段，根据所述初始时间段、所述第一初始时间和所述第一时间参数确定所述外接声音设备播放音频时的延时时间。9.如权利要求8所述的装置，其特征在于，所述第一时间参数中包括接收所述第二音频的第二初始时间、接收所述第二音频中所述第i段分析音频的第三初始时间和接收所述第二音频的结束时间； 则所述确定子模块包括: 判断单元，用于判断所述第i段分析音频与所述第一音频的相似度是否小于预设值；确定单元，用于当所述第i段分析音频与所述第一音频的相似度小于预设值时，得到第i段为播放所述第一音频的初始时间段，确定所述第i段分析音频的第三初始时间与所述第一初始时间的第一时间差值为所述延时时间； 计算单元，用于当所述第i段分析音频与所述第一音频的相似度不小于预设值时，计算所述结束时间与第二初始时间的第二时间差值，根据所述第二时间差值判断是否向用户反馈提醒消息。10.如权利要求9所述的装置，其特征在于，所述计算单元包括: 判断子单元，用于判断所述第二时间差值是否大于预置的限制时间； 消息反馈子单元，用于当所述第二时间差值大于预置的限制时间时，向用户反馈确认所述延时时间失败的提醒消息； 触发子单元，用于当所述第二时间差值不大于预置的限制时间时，令i = i + l，且当i小于或等于N时，触发所述获取子模块获取所述第二音频分段标记后的第i段分析音频。
【文档编号】H04N21/439GK105898502SQ201610221519
【公开日】2016年8月24日
【申请日】2016年4月11日
【发明人】柯杰燕, 戚炎兴, 孟梁军
【申请人】深圳Tcl新技术有限公司