MV播放方法、播放终端、服务器设备及娱乐设备系统与流程

mv播放方法、播放终端、服务器设备及娱乐设备系统
技术领域
1.本技术涉及音频处理技术领域，尤其是一种mv播放方法、播放终端、服务器设备及娱乐设备系统。


背景技术：

2.在一些娱乐场景中，用户都具有合唱需求，传统的ktv，所有用户都处于同一个房间中进行线下合唱，而随着技术发展，用户不仅仅可以线下合唱，也可以利用相关网络技术，跨越时空限制，实现线上合唱。
3.例如，在迷你ktv房使用中，不同ktv房中的用户可以与其他ktv房中的用户进行线上合唱，丰富娱乐体验。在合唱过程中，需要各个ktv房中的播放终端在合唱时，能够对mv资源(音频源或音视频源)进行同步接收和同步处理，以减少两个播放终端之间的时间偏差，提高音频精准性及同步效果，为用户提供实时合唱的效果。
4.目前，传统的线上合唱技术，一般是由参与各方串行加入，伴奏由主唱混入，主唱无法听见副唱的声音，属于伪实时合唱，导致出现mv资源播放不同步，对于音源的传输效果较差。
5.由此可见，上述传统技术中难以实现mv资源同步预加载和同步，容易受到网络拥塞影响，导致线上合唱的时间偏差大，用户无法获得线下合唱的体验。


技术实现要素：

6.为了解决上述技术缺陷之一，本技术提供一种mv播放方法、播放终端、服务器设备及娱乐设备系统，以实现在线上合唱时精确同步播放mv，以提升合唱效果。
7.一种mv播放方法，包括：
8.通过同步服务器下发时间同步指令至各个播放器，对各个播放器进行时间同步；其中，所述同步服务器分别与各个播放器进行通信；
9.各个播放器分别加载需要同步播放的mv资源，并对所述mv资源的视频帧进行解码；
10.各个播放器将视频帧的解码完成状态分别上报至同步服务器，由同步服务器对各个播放器进行播放对齐；
11.通过同步服务器向各个播放器下发播放指令，控制各个所述播放器对mv资源的视频帧进行同步播放。
12.在一个实施例中，通过同步服务器下发时间同步指令至各个播放器，对各个播放器进行时间同步，包括：
13.通过服务器下发http时间同步指令至各个播放器，各个播放器连接至internet时间同步服务器进行时间同步。
14.在一个实施例中，所述的mv播放方法，还包括：
15.在播放过程中，各个播放器以设定周期分别将视频帧的播放进度反馈至同步服务
器；同步服务器根据所述播放进度对各个播放器进行同步校准。
16.在一个实施例中，同步服务器根据所述播放进度对各个播放器进行同步校准，包括：
17.同步服务器根据需要同步的播放器的播放进度进行比对，当播放器对视频帧的播放进度存在时间偏差时，调整播放器的播放倍速来进行同步校准。
18.在一个实施例中，调整播放器的播放倍速来进行同步校准，包括：
19.若所述第一播放器的播放进度快于第二播放器的播放进度，降低所述第一播放器的播放倍速，使得第一播放器与第二播放器的播放进度进行重新对齐；
20.其中，所述第一播放器和第二播放器为需要同步的播放器。
21.在一个实施例中，调整播放器的播放倍速来进行同步校准，包括：
22.若所述第一播放器的播放进度慢于第二播放器的播放进度，调高所述第二播放器的播放倍速，使得第一播放器与第二播放器的播放进度进行重新对齐；
23.其中，所述第一播放器和第二播放器为需要同步的播放器。
24.在一个实施例中，在调高所述第二播放器的播放倍速之前，还包括：
25.获取所述第二播放器对所述视频帧的解码状态，若解码已完成，调高所述第二播放器的播放倍速，使得第一播放器与第二播放器的播放进度进行重新对齐。
26.在一个实施例中，所述通过同步服务器下发时间同步指令至各个播放器，对各个播放器进行时间同步，包括：
27.同步服务器通过网络向同步信号发生器请求同步时间；
28.在同步后，同步服务器通过网络向各播放器下发准备信号；其中，各播放器收到准备信号后，加载mv资源，对mv资源视频帧进行解码，并通过网络向同步服务器发送准备完成信号；
29.所述通过同步服务器向各个播放器下发播放指令，控制各个所述播放器对mv资源的视频帧进行同步播放，包括：
30.同步服务器收到所有播放器的准备完成信号后，通过网络向各播放器下发开始播放信号；其中，开始播放信号带有开始播放时间参数；
31.播放器接收到开始播放信号后，等待同步信号发生器通过串行链路传来的时钟信号；若时钟信号中的时间参数小于开始播放时间参数，继续等待，否则播放器开始播放；
32.其中，各个播放器所属的播放终端分别连接一个时钟信号接收器，各个时钟信号接收器通过串行链路连接同步信号发生器；所述服务器设备通过网络连接同步信号发生器。
33.在一个实施例中，所述同步服务器通过网络向同步信号发生器请求同步时间，包括：
34.同步服务器发送请求向同步信号发生器获取其当前时间，并附带上同步服务器的当前时间ts参数；
35.同步信号发生器返回当前时间tc及请求所带的同步服务器时间参数ts；
36.同步服务器收到返回的时间参数，得到请求完成的当前时间ts，并通过计算得出请求用时tq＝te－ts；
37.同步服务器计算与同步信号发生器的时间误差td＝(ts+tq/2)－tc，并根据时间误
差td进行时间同步。
38.在一个实施例中，所述的mv播放方法，还包括：
39.通过同步服务器向同步信号发生器下发播放指令，控制同步信号发生器定期产生时钟信号；
40.在播放过程中，各个播放器通过所连接的时钟信号接收器接收所述时钟信号，根据所述时钟信号对各个播放器的播放进度进行同步校准。
41.一种播放终端，内置有至少一个播放器，所述播放器被配置为执行如下步骤：
42.接收同步服务器下发的时间同步指令，与其他播放器进行时间同步；其中，所述同步服务器分别与各个播放器进行通信；
43.加载需要同步播放的mv资源，并对所述mv资源的视频帧进行解码；
44.将解码完成状态分别上报至同步服务器，由同步服务器转发至其他播放器进行播放对齐；
45.接收同步服务器下发的播放指令，在同步服务器的控制下与其他播放器对mv资源的视频帧进行同步播放。
46.一种服务器设备，运行同步服务器，所述同步服务器配置为执行如下步骤：
47.向各个播放器下发时间同步指令，对各个播放器进行时间同步；其中，所述同步服务器分别与各个播放器进行通信；
48.控制各个播放器分别加载需要同步播放的mv资源并对所述mv资源的视频帧进行解码，接收各个播放器上报的解码完成状态；
49.对各个播放器进行播放对齐，向各个播放器下发播放指令，控制各个所述播放器对mv资源的视频帧进行同步播放。
50.一种娱乐设备系统，包括：所述的播放终端，和/或所述的服务器设备。
51.上述mv播放方法、播放终端、服务器设备及娱乐设备系统，通过在局域网内构建同步服务器，对各个播放器进行同步控制，同步服务器首先对各个播放器进行时间同步，分别加载需要同步播放的mv资源进行并对mv资源的视频帧进行解码；然后在解码视频帧过程中，对各个播放器进行播放对齐，并控制各个播放器对mv资源的视频帧进行同步播放；该技术方案，在合唱过程中，通过同步服务器控制各个播放器同步解码mv资源的视频帧，并进行对齐后对视频帧进行同步播放，由此可以将mv播放的时间偏差控制在一个极小范围内，从而实现了同场合唱的效果，可以获得更好的用户体验，极大的提升了沉浸感。
52.进一步的，设计了同步信号发生器和时钟信号接收器来进行同步，同步信号发生器通过网络提供接口给同步服务器获取当前时间，通过串口定时向播放器发送带有当前时间的参数的时间同步信号，播放器根据同步服务器的开始播放信号中的时间参数等待同步信号发生器的时间信号，并在开始播放条件成立时开始播放；该技术方案，实现对同步进行统一管理，减少服务器部署，同时利用串行链路来进行各个播放器的同步，又能确保同步质量。
53.进一步的，利用同步信号发生器来进行同步播放校准，在mv资源播放过程中，各个播放器通过所连接的时钟信号接收器接收时钟信号，根据时钟信号对各个播放器的播放进度进行同步校准；该技术方案，通过硬件物理连接方式，可以确保在合唱开始后的播放过程当中，能够进行精准的播放进度的同步校准，提升了同场合唱的效果。
54.本技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
55.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
56.图1是一个示例的mv播放网络结构图；
57.图2是一个实施例的mv播放方法流程图；
58.图3是一个示例的mv同步播放时序图；
59.图4是一个实施例的同步网络拓扑图；
60.图5是同步播放机制流程图。
具体实施方式
61.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本技术的限制。
62.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
63.本技术提供的mv播放方法，可以应用于合唱场景中，参考图1所示，图1是一个示例的mv播放网络结构图，如图示是以迷你ktv房进行线上合唱为例，在各个ktv房间1-n分别配置播放终端1-n，当至少两个ktv房间的用户需要合唱某一首mv(音频或者音视频)歌曲时，此时需要这些ktv房间的播放终端之间进行同步播放，然后生成合唱音视频数据；从而实现同场合唱效果。
64.据此，本技术提供了一种mv播放方法，该技术方案通过对播放终端上的播放器进行改进，结合局域网中构建的同步服务器，同步服务器网络(互联网或局域网)分别与各个播放器进行通信，同步服务器运行在服务器设备上，该服务器设备可以是连网的计算机设备，从而形成了一套mv播放的技术方案，为了便于描述，以下实施例中将以两个播放器之间进行同步为例进行阐述。
65.参考图2所示，图2是一个实施例的mv播放方法流程图，主要包括步骤：
66.步骤(1)，通过同步服务器下发时间同步指令至各个播放器，对各个播放器进行时间同步。
67.如图3所示，图3是一个示例的mv同步播放时序图，在ktv房间1和ktv房间2分别配置播放终端1和播放终端2；每个播放终端安装一个播放器，假设播放器1与播放器2之间要进行合唱同步，同步服务器下发时间同步指令到播放器1和播放器2，对播放器1和播放器2进行时间同步。
68.优选的，通过服务器下发http时间同步指令至播放器1和播放器2，播放器1和播放器2连接至internet时间同步服务器进行时间同步。
69.步骤(2)，各个播放器分别加载需要同步播放的mv资源，并对mv资源的视频帧进行解码。
70.选定合唱的mv歌曲后，播放器1和播放器2分别开始加载需要播放的mv资源进行缓存，开始对mv资源的视频帧进行解码。
71.步骤(3)，各个播放器将视频帧的解码完成状态分别上报至同步服务器，由同步服务器对各个播放器进行播放对齐。
72.播放器1和播放器2将本地播放终端对于mv资源的视频帧的解码完成状态上报至同步服务器，同时将播放器1和播放器2对于视频帧的播放进行对齐，准备播放。
73.步骤(4)，通过同步服务器向各个播放器下发播放指令，控制各个播放器对mv资源的视频帧进行同步播放。
74.在播放器1和播放器2对第一帧视频帧解码后向，同步服务器向播放器1和播放器2下发播放指令，播放器1和播放器2边下载缓存mv资源，边解码视频帧，并同步进行播放。
75.上述实施例的技术方案，通过在局域网内构建同步服务器，对各个播放器进行同步控制，同步服务器首先对各个播放器进行时间同步，分别加载需要同步播放的mv资源进行并对mv资源的视频帧进行解码；然后在解码视频帧过程中，对各个播放器进行播放对齐，并控制各个播放器对mv资源的视频帧进行同步播放；该技术方案，在合唱过程中，通过同步服务器控制各个播放器同步解码mv资源的视频帧，并进行对齐后对视频帧进行同步播放，由此可以将mv播放的时间偏差控制在一个极小范围内，从而实现了同场合唱的效果，可以获得更好的用户体验，极大的提升了沉浸感。
76.为了进一步提升在mv播放过程中的同步效果，本技术的技术方案，还可以在播放过程中进行同步校准；据此，本技术的mv播放方法，还可以在播放过程中，控制各个播放器以设定周期分别将视频帧的播放进度反馈至同步服务器；同步服务器根据播放进度对各个播放器进行同步校准。
77.如上的方案中，通过周期性的将视频帧的播放进度反馈至同步服务器，同步服务器可以比对播放器1和播放器2之间的时间偏差，当时间偏差大于设定阈值时，对播放器1和播放器2的播放进度进行控制调整，以避免在播放过程中，由于局域网网络或者设备因素导致产生时间偏差累积影响同步播放效果。
78.在一个实施例中，在播放过程中对各个播放器进行同步校准时，可以通过同步服务器获取第一播放器的播放进度快于第二播放器的播放进度；若第一播放器的播放进度快于第二播放器的播放进度，降低第一播放器的播放倍速，使得第一播放器与第二播放器的播放进度进行重新对齐。
79.如上述实施例，如果播放器1和播放器2的播放进度存在时间偏差，通过对视频帧播放进度监控，例如，播放器1(第一播放器)当前播放的视频帧为0020帧，对应的，要控制播放器2(第二播放器)当前播放的视频帧也为0020帧；此时可以降低播放器1的播放倍速，从而使得播放器1与播放器2的播放的视频帧的进度进行重新对齐。
80.进一步的，在播放过程中对各个播放器进行同步校准时，也可以通过同步服务器获取第一播放器的播放进度快于第二播放器的播放进度；若第一播放器的播放进度慢于第二播放器的播放进度，获取第二播放器对视频帧的解码状态；若解码状态已完成，调高第二播放器的播放倍速，使得第一播放器与第二播放器的播放进度进行重新对齐。
81.上述实施例中，播放器1当前播放的视频帧为0020帧，播放器1的播放进度较快，播放器2的播放进度较慢，此时，通过对播放器2的视频帧的解码状态，如果0020帧已经解码完成，可以提高播放器2的播放倍速，从而使得播放器1与播放器2的播放的视频帧的进度进行重新对齐。
82.上述实施例的技术方案，在同步控制过程中，能够控制时间偏差在10ms范围内，实现了精确同步效果。
83.基于上述同步服务器来实现同步合唱的方案中，同步服务器可以部署于互联网，并通过互联网完成同步服务器与各播放器之间的时间同步，控制逻辑可以在同步服务器实现，只要部署少量同步服务器即可。但互联网的传输延时较大，同步服务器与各播放器之间的时间同步误差如果较大时，容易使合唱质量无法得到保证。另外，同步服务器也可以部署在局域网，局域网质量有一定保证，延时比互联网低，但每个局域网内都需要部署最少一台同步服务器，随着局域网承载的应用越多，如果带宽占用越大，出现延时的机率就会越大。
84.为了进一步提升同步精确性，避免因为网络或者设备因素对应于传输同步相关控制指令的影响，本技术在同步服务器基础上还提供了基于硬件的同步方案，该技术方案将同步服务器部署于互联网(也可为局域网)，实现对同步进行统一管理，减少服务器部署，同时利用串行链路来进行各个播放器的同步，又能确保同步合唱质量。
85.据此，在一个实施例中，参考图4所示，图4是一个实施例的同步网络拓扑图；如图示，设计了同步信号发生器和时钟信号接收器，同步信号发生器与各个时钟信号接收器之间可以通过非屏蔽双绞线进行连接，采用串行链路进行物理连接和通信，如tdm数据总线进行通信，服务器设备通过网络连接同步信号发生器。如图4的网络中，同步服务器部署于互联网(或局域网)，可通过互联网(或局域网)与各播放器通信；同步服务器也可以通过互联网与同步信号发生器通信；各播放器通过串行链路与同步信号发生器通信。
86.对于同步服务器，其负责控制各播放器同步合唱；对于同步信号发生器，一方面负责通过网络提供接口给同步服务器获取当前时间；另一方面负责通过串口定时向播放器发送时间同步信号，其中信号带有当前时间的参数；对于播放器，其负责加载mv等资源；以及负责收到同步服务器的开始播放信号后，根据信号中的时间参数，等待同步信号发生器的时间信号，当开始播放条件成立时(如同步信号发生器的时间信号中的时间参数大于或等于同步服务器的开始播放信号的时间参数)，则开始播放。
87.基于上述技术方案的同步播放机制，参考图5，图5是同步播放机制流程图，具体可以包括如下：
88.(一)、同步服务器通过网络向同步信号发生器同步时间，具体包括如下：
89.a、同步服务器发送请求向同步信号发生器获取其当前时间，并附带上同步服务器的当前时间ts参数。
90.b、同步信号发生器返回当前时间tc及请求所带的同步服务器时间参数ts。
91.c、同步服务器收到返回时间参数，得到请求完成的当前时间ts，并通过计算得出请求用时tq＝te－ts。
92.d、同步服务器计算得出与同步信号发生器的时间误差，计算公式如下：td＝(ts+tq/2)－tc，并根据时间误差td进行时间同步。
93.(二)、同步服务器通过网络向各播放器下发准备信号。
94.(三)、各播放器接收到准备信号后；执行如下操作：
95.a、加载mv资源，对mv资源视频帧进行解码。
96.b、播放器通过网络向同步服务器发送准备完成信号。
97.(四)、同步服务器收到所有播放器的准备完成信号后，通过网络向各播放器下发开始播放信号。
98.其中，开始播放信号带有开始播放时间参数tb，假设当前同步服务器时间为to，则tb＝(to+td)－tq。
99.(五)、播放器收到开始播放信号后，等待同步信号发生器从串行链路的串口传来的时间信号(解调时钟信号得到)；若时间信号中的时间参数小于tb，继续等待，否则播放器开始播放。
100.进一步的，播放器开始播放后，各个播放器通过同步信号发生器的时钟信号来进行校准，流程可以如下：
101.在各个播放器开始播放mv资源时，同步信号发生器定期产生时钟信号由时钟信号接收器进行接收，并发送到各个播放器所属的播放终端，从而传输给播放器；各个播放器就可以以时钟信号作为同步参考基准信号，对各个播放器的播放进度进行同步校准。
102.举例来说，假设各个播放器从00:00开始播放mv，同步信号发生器定期向各个时钟信号接收器发送时钟信号，假设周期t＝1s，播放器帧率为60帧/s，则在1s时mv对应播放的视频帧为00060帧，各个播放器通过计算可以得到次接收到时钟信号时所对应播放的视频帧号；如果播放进度快了，则调低播放倍速，如果播放进度慢了，则调高播放倍速，使得各个播放器进行重新对齐而实现同步效果。
103.上述实施例的方案中，通过硬件物理连接方式，利用同步信号发生器与各个时钟信号接收器之间具有延时小且稳定性高的特点，在采样率一定情况下，时钟信号接收器通过串行链路可以解调出时钟信号，作为同步参考信息传输至播放终端，使得播放器可以对mv进行同步播放控制；该技术方案，同步信号发生器通过将时钟信号下发到各个时钟信号接收器，各个时钟信号接收器可以通过解调出的时钟信号来为播放终端提供精准同步参考，确保了各个播放终端播放的视频帧的同步；从而可以确保在合唱开始后的播放过程当中，能够进行精准的播放进度的同步校准，提升了同场合唱的效果。
104.本技术还提供一种播放终端，内置有至少一个播放器，播放器被配置为执行如下步骤：
105.s11，接收同步服务器下发的时间同步指令，与其他播放器进行时间同步；其中，同步服务器分别与各个播放器进行通信；
106.s12，加载需要同步播放的mv资源，并对mv资源的视频帧进行解码；
107.s13，将解码完成状态分别上报至同步服务器，由同步服务器转发至其他播放器进行播放对齐；
108.s14，接收同步服务器下发的播放指令，在同步服务器的控制下与其他播放器对mv资源的视频帧进行同步播放。
109.上述实施例提供的播放终端，通过本技术提供的播放器，在合唱过程中，可以在同步服务器控制下同步解码mv资源的视频帧，并进行对齐后对视频帧进行同步播放，由此可以将mv播放的时间偏差控制在一个极小范围内，从而实现了同场合唱的效果，可以获得更
好的用户体验，极大的提升了沉浸感。
110.本技术还提供一种服务器设备，运行同步服务器，同步服务器配置为执行如下步骤：
111.s21，向各个播放器下发时间同步指令，对各个播放器进行时间同步；其中，同步服务器分别与各个播放器进行通信；
112.s22，控制各个播放器分别加载需要同步播放的mv资源并对mv资源的视频帧进行解码，接收各个播放器上报的解码完成状态；
113.s23，对各个播放器进行播放对齐，向各个播放器下发播放指令，控制各个播放器对mv资源的视频帧进行同步播放。
114.上述实施例提供的服务器设备，通过本技术提供的同步服务器，在合唱过程中，可以控制各个播放器同步解码mv资源的视频帧，并进行对齐后对视频帧进行同步播放，由此可以将mv播放的时间偏差控制在一个极小范围内，从而实现了同场合唱的效果，可以获得更好的用户体验，极大的提升了沉浸感。
115.本技术还提供一种娱乐设备系统，包括上述实施例的播放终端以及上述实施例的服务器设备；该娱乐设备系统，通过同步服务器、同步信号发生器和时钟信号接收器；在mv播放前由同步服务器控制同步开始播放，在播放过程中，由同步信号发生器定期产生时钟信号发送至各个时钟信号接收器，各个播放器根据时钟信号来确定播放进度，并根据该播放进度控制播放器的播放倍速。
116.在一个实施例中，娱乐设备系统的工作流程可以包括如下：
117.s31，同步服务器下发时间同步指令至各个播放终端和同步信号发生器，同步信号发生器定期产生时钟信号。
118.s32，各个播放终端的播放器从mv资源服务器加载需要同步播放的mv资源，并对mv资源的视频帧进行解码。
119.s33，各个播放终端将解码完成状态分别上报至同步服务器，由同步服务器转发至其他播放器进行播放对齐；
120.s34，在所有播放终端完成对齐后，同步服务器下发的播放指令，各个播放终端的播放器对mv资源的视频帧进行同步播放。
121.s35，各个时钟信号接收器解析出时钟信号，并发送至播放终端的播放器。
122.s36，各个播放器计算播放进度的偏差，根据偏差来调整对mv资源的播放倍速。
123.上述实施例提供的娱乐设备系统，可以由同步服务器控制各个播放器同步解码mv资源的视频帧，并进行对齐后对视频帧进行同步播放，在合唱过程中，同步信号发生器通过向时钟信号接收器发送时钟信号，各个播放器根据时钟信号计算播放进度的偏差并调整播放倍速；由此可以将mv播放的时间偏差控制在一个极小范围内，从而实现了同场合唱的效果，可以获得更好的用户体验，极大的提升了沉浸感。
124.以上所述仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。