语音弹幕同步方法和系统与流程

本发明涉及无线通信技术领域，具体而言，涉及一种语音弹幕同步方法和系统。

背景技术：

对于现有的微信小程序和h5中对于音频在处理大段的音频流时只能通过预加载的方式提高用户体验，但由于音频流过大，导致用户在下载大段音频流时需占用大量的用户流量以及浪费较长音频下载时间，针对于语音弹幕用户体验会非常不好。加之，现阶段针对大段的语音包均是通过提前下载到手机客户端再播放的方式造成音频弹幕同步性差，例如，基于微信摇tv场景实时同步音频弹幕不适合提前下载大音频流的方式。

技术实现要素：

有鉴于此，本发明提供一种语音弹幕同步方法和装置，能够有效解决上述问题。

本发明较佳实施例提供一种语音弹幕同步方法，应用于相互通信的电子终端和服务器，所述方法包括：

所述电子终端采集音频设备中正在播放的音视频信息并发送给所述服务器；

所述服务器根据所述音视频信息获取与其对应的语音数据并判断该语音数据的数据大小是否大于预设值，若大于，则将所述语音数据分割为多个预设长度的子数据包并保存；

所述服务器根据多个所述子数据包与所述语音数据的时间对应关系将多个子数据包依次发送至所述音频设备以使该音频设备以弹幕的方式将所述子数据包同步显示在正在播放的音视频中。

在本发明较佳实施例的选择中，根据该音视频信息获取与其对应的语音数据的步骤包括：

根据所述音视频信息中包含的播放内容、剧集标识和当前播放时间创建索引；

将所述索引与预存音视频数据进行比对，并根据比对结果获取与其对应的语音数据。

在本发明较佳实施例的选择中，所述方法还包括：

所述电子终端或所述服务器将以弹幕显示的各所述子数据包与所述音频设备中播放的音视频数据对应保存至本地文件；或

所述服务器将所述各所述子数据包对应添加至所述预存音视频数据的对应位置并保存。

在本发明较佳实施例的选择中，所述电子终端采集音频设备中正在播放的音视频信息的步骤包括：

响应音视频信息采集指令以采集音频设备中正在播放的音视频信息，其中，所述音视频信息包括播放内容、剧集标识和当前播放时间。

在本发明较佳实施例的选择中，所述响应音视频信息采集指令包括以下实现方式：

检测所述电子终端自身的晃动状态，并在该晃动状态满足预设值时判定需进行音视频信息采集；或者

检测所述电子终端中的屏幕压力值，并在该压力值满足预设值时判定需进行音视频信息采集。

在本发明较佳实施例的选择中，所述音视频信息可以是音频信息或音视频播放画面。

本发明较佳实施例还提供一种语音弹幕同步方法，应用于能够与电子终端通信连接的服务器，所述方法包括：

接收所述电子终端采集的音频设备中正在播放的音视频信息；

根据该音视频信息获取与其对应的语音数据并判断该语音数据的数据大小是否大于预设值，若大于，则将所述语音数据分割为多个预设长度的子数据包并保存；

基于所述子数据包与所述语音数据的时间的对应关系将多个子数据包依次发送至所述音频设备以使该音频设备以弹幕的方式将所述子数据包同步显示在正在播放的音视频中。

本发明较佳实施例还提供一种语音弹幕同步系统，所述语音弹幕同步系统包括电子终端、音频设备和服务器，所述服务器与所述电子终端和音频设备分别通信连接，所述电子终端和所述音频设备通信连接；

所述电子终端用于采集所述音频设备中正在播放的音视频信息并发送给所述服务器；

所述服务器用于根据所述音视频信息获取与其对应的语音数据并判断该语音数据的数据大小是否大于预设值，若大于，则将所述语音数据分割为多个预设长度的子数据包并保存；以及

所述服务器根据多个所述子数据包与所述语音数据的时间对应关系将多个子数据包依次发送至所述音频设备以使该音频设备以弹幕的方式将所述子数据包同步显示在正在播放的音视频中。

在本发明较佳实施例的选择中，所述服务器包括：

信息接收模块，用于接收所述电子终端采集的音频设备中正在播放的音视频信息；

判断模块，用于根据该音视频信息获取与其对应的语音数据并判断该语音数据的数据大小是否大于预设值，若大于，则将所述语音数据分割为多个预设长度的子数据包并保存；

语音同步模块，用于基于所述子数据包与所述语音数据时间的对应关系将该多个子数据包依次发送至所述音频设备以使该音频设备以弹幕的方式将所述子数据包同步显示在正在播放的音视频中。

在本发明较佳实施例的选择中，所述判断模块包括：

索引创建单元，用于根据所述音视频信息中包含的播放内容、剧集标识和当前播放时间创建索引；

语音获取单元，用于将所述索引与预存音视频数据进行比对，并根据比对结果获取与其对应的语音数据。

与现有技术相比，本发明提供的一种语音弹幕同步方法和系统，其中，该语音弹幕同步方法采用对较大的语音数据进行分割的方式，能够避免在音视频播放过程中，由于语音数据过大造成的语音弹幕加载过慢、同步性差的问题。同时，可在保证弹幕语音数据加载的同步性前提下，减少了音频数据的实时下载量，有效改善了用户体验。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的语音弹幕同步系统的交互场景示意图。

图2为图1中所示的服务器的方框结构示意图。

图3为本发明实施例提供的语音弹幕同步方法的流程示意图。

图4为本发明实施例提供的语音弹幕同步方法的子流程示意图。

图5为本发明实施例提供的语音弹幕同步方法的另一流程示意图。

图6为本发明实施例提供的语音弹幕同步装置的方框结构示意图。

图7为图6中所示的判断模块的方框结构示意图。

图标：10-电子终端；20-服务器；100-语音弹幕同步装置；110-信息接收模块；120-判断模块；121-索引创建单元；122-语音获取单元；130-语音同步模块；200-存储器；300-存储控制器；400-处理器；30-音频设备。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

如图1所示，为本发明实施例提供的语音弹幕同步系统的交互场景示意图，其中，该交互场景包括电子终端10、服务器20和音频设备30，所述电子终端10、服务器20和音频设备30相互通过网络通信连接。

具体地，所述电子终端10用于采集所述音频设备30中正在播放的音视频信息并发送给所述服务器20，所述服务器20用于根据所述音视频信息获取与其对应的语音数据并判断该语音数据的数据大小是否大于预设值，若大于，则将所述语音数据分割为多个预设长度的子数据包并保存；以及所述服务器20根据多个所述子数据包与所述语音数据的时间对应关系将多个子数据包依次发送至所述音频设备30以使该音频设备30以弹幕的方式将所述子数据包同步显示在正在播放的音视频中。

可选地，如图2所示，所述服务器20包括语音弹幕同步装置100、存储器200、存储控制器300以及处理器400。其中，所述存储器200、存储控制器300、处理器400各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件之间通过一条或多条通讯总线或信号线实现电性连接。所述语音弹幕同步装置100包括至少一个可以软件或固件的形式存储于所述存储器200中或固化在所述电子终端10的操作系统中的软件功能模块。所述处理器400在所述存储控制器300的控制下访问所述存储器200，以用于执行所述存储器200中存储的可执行模块，例如所述语音弹幕同步装置100所包括的软件功能模块及计算机程序等。另外，所述服务器20可以包括弹幕服务器20、视频服务器20、应用服务器20等。

可选地，所述电子终端10可以是，但不限于智能手机、ipad、电脑、服务器20等。所述音频设备30可以是，但不限于手机、电视、mp4等。另外，根据实际需求，所述音频设备30还可以与所述电子终端10为一体成型。

应当理解，图2所示的结构仅为示意。所述服务器20可以具有比图2所示更多或者更少的组件，或者具有与图2所示不同的配置。其中，图2所示的各组件可以由软件、硬件或者其组合实现。

如图3所示，是本发明较佳实施例提供的一种语音弹幕同步方法的流程示意图。所述语音弹幕同步方法应用于图1中所示的相互通信连接的电子终端10和服务器20。下结合图3对所述语音弹幕同步方法的具体流程及步骤进行详细阐述。

步骤s110，所述电子终端10采集音频设备30中正在播放的音视频信息并发送给所述服务器20。

具体地，所述音视频信息可以包括，但不限于播放内容、剧集标识和当前播放时间等，所述电子终端10采集所述音频设备30中正在播放的音视频信息的方式可以是：通过响应音视频信息采集指令实现对所述音频设备30中正在播放的音视频信息采集。可选地，所述音视频信息可以为音频信息、视频图像信息等，本实施例在此不做具体限制。

进一步地，所述响应音视频信息采集指令的实现方式包括：检测所述电子终端10自身的晃动状态，并在该晃动状态满足预设值时判定需进行音视频信息采集；或者检测所述电子终端10中的屏幕压力值，并在该压力值满足预设值时判定需进行音视频信息采集。

例如，以手机中微信摇一摇为例，当需要在正在播放的音视频中展示弹幕信息时，用户可启动摇一摇功能，并晃动手机，该手机中的应用程序检测手机自身的晃动状态，并在晃动状态满足阈值时，启动音视频信息采集功能。其中，所述阈值可以是晃动时长、频率等。

步骤s120，所述服务器20根据所述音视频信息获取与其对应的语音数据并判断该语音数据的数据大小是否大于预设值，若大于，则将所述语音数据分割为多个预设长度的子数据包并保存。

本实施例中，所述语音数据可以是预先录制的语音文件，如明星语音，也可以是由用户在观看过程中实时通过手机端等录制并上传的语音文件等。在此，在根据音视频数据查找对应的语音文件时，可以通过接收到的音视频信息的源文件与预存音视频数据进行一一比对、查找，也可以是对该音视频信息进行处理得到对应的索引文件进行关键字查找。例如，如图4所示，为本实施例提供的根据索引文件进行查找时所述索引的生成步骤，具体如下。

子步骤s121，根据所述音视频信息中包含的播放内容、剧集标识和当前播放时间创建索引；

子步骤s122，将所述索引与预存音视频数据进行比对，并根据比对结果获取与其对应的语音数据。

在此，应注意，所述索引可以在所述服务器20接收到所述电子终端10发送的音视频信息后，由该服务器20自身生成，也可以是所述电子终端10在采集到所述音视频信息后直接生成，从而提高数据传输速率和语音数据查找过程中的查找效率。

进一步地，当所述服务器20查找到对应的语音数据后，为了降低语音下载速率和网络负载等，提高语音弹幕与正在播放的音视频的同步性，需对查找到的语音数据进行数据大小判断，若该语音数据大小超过预设值，则需对该语音数据进行分割，形成多个预设长度的子数据包。例如，当语音数据的大小超过20m，则将该语音数据划分为多个45k大小的子数据包。假设，该语音数据的大小为20m，那么用户仅需下载900k左右的语音子数据包并播放即可，极大的提高了语音弹幕与播放音视频之间的同步性，避免了由于加载时间过长而导致语音弹幕内容与视频内容不同步的问题。

步骤s130，所述服务器20根据多个所述子数据包与所述语音数据的时间对应关系将多个子数据包依次发送至所述音频设备30以使该音频设备30以弹幕的方式将所述子数据包同步显示在正在播放的音视频中。

本实施例中，在将划分好的多个子数据包发送至音频设备30并进行同步显示时，应确保各子数据包的发送顺序，保证两者的同步性以及语音数据的连贯性。在此，可基于原语音数据的时间顺序确定各子数据包的发送顺序，并基于接收的音视频信息与正在播放的音视频和数据传输、处理等消耗的时间之间的关系确保语音弹幕与正在播放的音视频之间的同步性。

例如，在通过微信摇一摇识别出剧集标识和精确的视频播放时间(可精确到秒)，服务器20可通过时间偏移量和剧集标识等获取当前以分钟为单位的当前语音弹幕和下一分钟的语音弹幕，再通过秒数等直接定位到当前的语音数据，从而达到实时同步语音弹幕的效果，极大的提高用户体验。

步骤s140，所述电子终端10或所述服务器20将以弹幕显示的各所述子数据包与所述音频设备30中播放的音视频数据对应保存至本地文件；或所述服务器20将所述各所述子数据包对应添加至所述预存音视频数据的对应位置并保存。

其中，通过将同步显示的语音弹幕和音视频进行对应保存，能够使得用于在此观看该音视频时，了解最初观看该音视频时的状况，尤其是当所述语音弹幕是用户自己录制并上传的，有效提高用户的观看体验。

如图5所示，是本发明较佳实施例提供的一种语音弹幕同步方法的流程示意图。所述语音弹幕同步方法应用于图1中所示的服务器20。下结合图5对所述语音弹幕同步方法的具体流程及步骤进行详细阐述。

步骤s210，接收所述电子终端10采集的音频设备30中正在播放的音视频信息并对该音视频信息进行处理以得到目标检测。

步骤s220，根据该音视频信息获取与其对应的语音数据并判断该语音数据的数据大小是否大于预设值，若大于，则将所述语音数据分割为多个预设长度的子数据包并保存。

步骤s230，基于所述子数据包与所述语音数据的时间的对应关系将该多个子数据包依次发送至所述音频设备30以使该音频设备30以弹幕的方式将所述子数据包同步显示在正在播放的音视频中。

其中，本实施例中的方法与上一实施例中的方法具有相同的技术特征，可参考上述实施例中的描述，本实施例在此不再赘述。

进一步地，如图6所示，为本实例给出的应用于所述服务器20的语音弹幕同步装置100的方框结构示意图，其中，该语音弹幕同步装置100包括信息接收模块110、判断模块120和语音同步模块130。

所述信息接收模块110，用于接收所述电子终端10采集的音频设备30中正在播放的音视频信息。本实施例中，关于所述信息接收模块110的描述具体可参考对图3中所示的步骤s110的详细描述，也即，所述步骤s110可以由所述信息接收模块110执行。

所述判断模块120，用于根据该音视频信息获取与其对应的语音数据并判断该语音数据的数据大小是否大于预设值，若大于，则将所述语音数据分割为多个预设长度的子数据包并保存。本实施例中，关于所述判断模块120的描述具体可参考对图3中所示的步骤s120的详细描述，也即，所述步骤s120可以由所述判断模块120执行。可选地，如图7所示，所述判断模块120包括索引创建单元121和语音获取单元122。

所述索引创建单元121，用于根据所述音视频信息中包含的播放内容、剧集标识和当前播放时间创建索引。本实施例中，关于所述索引创建单元121的描述具体可参考对图4中所示的步骤s121的详细描述，也即，所述步骤s121可以由所述索引创建单元121执行。

所述语音获取单元122，用于将所述索引与预存音视频数据进行比对，并根据比对结果获取与其对应的语音数据。本实施例中，关于所述语音获取单元122的描述具体可参考对图4中所示的步骤s122的详细描述，也即，所述步骤s122可以由所述语音获取单元122执行。

所述语音同步模块130，用于基于所述子数据包与所述语音数据时间的对应关系将该多个子数据包依次发送至所述音频设备30以使该音频设备30以弹幕的方式将所述子数据包同步显示在正在播放的音视频中。本实施例中，关于所述语音同步模块130的描述具体可参考对图3中所示的步骤s130的详细描述，也即，所述步骤s130可以由所述语音同步模块130执行。

综上所述，本发明提供的一种语音弹幕同步方法和系统，其中，该语音弹幕同步方法采用对较大的语音数据进行分割的方式，能够避免在音视频播放过程中，由于语音数据过大造成的语音弹幕加载过慢、同步性差的问题。同时，可在保证弹幕语音数据加载的同步性前提下，减少了音频数据的实时下载量，有效改善了用户体验。

在本发明的描述中，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的预设数量个实施例的装置、方法和计算机程序产品可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分。所述模块、程序段或代码的一部分包含一个或预设数量个用于实现规定的逻辑功能。

也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。