媒体播放方法、设备及音乐教学系统的制作方法
【技术领域】
[0001]本发明涉及通信领域，尤其涉及媒体播放方法、设备及音乐教学系统。
【背景技术】
[0002]目前，在例如视频会议或网络直播等实时通信方案中，采集媒体数据的终端可以采集视频帧和音频帧等媒体数据，并向播放设备传输媒体数据。这里，采集终端可以在按照传输协议封装视频帧和音频帧时，将相对时间戳添加到封装数据包中。例如，采集终端采用RTP协议传输音视频数据，并在每个RTP包头中添加相对时间戳。在数据的发送过程中，每个发送出去的RTP数据包中的时间戳是逐一增加的，从而方便在播放端对数据包进行排序，以恢复出数据包的原始时间顺序关系。播放设备在接收到音频帧和视频帧后，可以根据相对时间戳对所接收的音频帧和视频帧进行排序。然后，播放设备按照排序对音频帧和视频帧各自进行播放。
[0003]然而，现有的播放设备在播放音频帧和视频帧时，经常出现声音与图像不同步的问题。
【发明内容】
[0004]为此，本发明提供一种新的媒体播放方案，有效的解决了上面至少一个问题。
[0005]根据本发明的一个方面，提供一种媒体播放设备，包括接收单元、音频解码单元、视频解码单元、音频播放单元和视频播放单元。其中，接收单元适于接收来自媒体服务器的音频数据和视频数据。音频解码单元适于解码该音频数据以获取一个或多个音频帧。每个音频帧包括多个音频样点和第一时间戳。该第一时间戳为该音频帧的采集时间。视频解码单元适于解码视频数据以获取一个或多个视频帧。每个视频帧包括对应该视频帧采集时间的第二时间戳。音频播放单元适于对所获取的一个或多个音频帧的音频样点进行播放，并根据第一时间戳计算当前所播放的音频样点的时间值。视频播放单元适于根据所播放音频样点的时间值，检测所获取的一个或多个视频帧中是否具有第二时间戳小于或等于该时间值的视频帧，并播放所检测到的视频帧。
[0006]根据本发明的又一个方面，提供一种媒体播放方法，适于在媒体播放设备中执行。该播放方法包括以下步骤。接收来自媒体服务器的音频数据和视频数据。解码该音频数据以获取一个或多个音频帧。每个音频帧包括多个音频样点和第一时间戳。第一时间戳为该音频帧的采集时间。解码该视频数据以获取一个或多个视频帧。每个视频帧包括对应该视频帧采集时间的第二时间戳。对所获取的一个或多个音频帧的音频样点进行播放，并根据第一时间戳计算当前所播放的音频样点的时间值。根据所播放音频样点的时间值，检测所获取的一个或多个视频帧中、是否具有第二时间戳小于或等于该时间值的视频帧，并播放所检测到的视频帧。
[0007]根据本发明的又一个方面，提供一种音乐教学系统，包括根据本发明的媒体终端、媒体服务器和媒体播放端。媒体终端适于采集音频数据和视频数据。媒体服务器适于网络传输所采集的音频数据和视频数据。
[0008]根据本发明的媒体播放方案，可以从媒体服务器获取到媒体终端所采集的音频数据和视频数据。在音频数据进行播放时，本发明的媒体播放方案还可以根据音频数据的采集时间(第一时间戳)计算当前正在播放的音频样点的采集时间。这样，根据本发明的媒体播放方案可以根据当前正在播放的音频样点的采集时间，并根据视频数据的采集时间(第二时间戳)对视频帧进行与音频帧的同步播放。另外，本发明的媒体播放方案还可以监测音频播放的延时是否超过阈值，并在延时较长时启动静音检测操作以舍弃静音数据，从而减小音频播放的延时。换言之，本发明的媒体播放方案可以自适应的调节音频播放的延时，以保持较高的播放实时性。由于视频帧的采集帧率通常低于音频帧的采集帧率，本发明的媒体播放方案通过视频数据跟随音频数据播放的方式，可以保证音频与视频数据的播放始终保持很高的同步性。需要说明的是，音频和视频的高同步性和实时性播放，可以极大提高例如音乐教学等流媒体系统的性能。
【附图说明】
[0009]为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
[0010]图1示出了根据本发明一个示例性音乐教学系统100的框图；
[0011 ]图2示出了根据本发明一些实施例的媒体播放设备200的框图；以及
[0012]图3示出了根据本发明的一些实施例的媒体播放方法300的流程图。
【具体实施方式】
[0013]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0014]图1示出了根据本发明一个示例性音乐教学系统100的框图。如图1所示，音乐教学系统100可以包括多个学生客户端110、服务器120和老师客户端130。在音乐教学系统100中，学生客户端110和老师客户端130通过服务器120进行实时通信，以便进行在线音乐教学。例如，在学生进行演奏时，学生客户端110可以被实现为媒体终端，采集与学生演奏相关的诸如视频和音频等媒体数据，并通过服务器120向老师客户端130传输这些媒体数据。老师客户端130可以被实现为媒体播放设备，接收并播放媒体数据，以便老师实时了解学生的演奏情况。同时，老师客户端130也可以被实现为媒体终端，采集老师对学生演奏的反馈指导或者教学演示等内容的媒体数据，并通过服务器120向学生客户端传输。学生客户端110可以被实现为媒体播放设备，接收并播放来自老师客户端130的媒体数据，以便老师对学生演奏进行实时反馈，或者实时地对学生进行教学演示。总之，学生客户端110和老师客户端130都可以被实现为媒体终端和媒体播放设备。这里，媒体数据例如包括演奏乐器的指法、气息、乐器声音和指导文案等教学内容，但不限于此。
[0015]通常，在线音乐教学系统对实时性或者同步性等方面有较高的要求。本发明针对音乐教学系统的媒体播放环节，提出了一种新的媒体播放设备。下面结合图2对音乐教学系统中的媒体播放设备进行进一步的示例性说明。当然，媒体播放设备可以是学生客户端或者老师客户端，为了简化描述，下文中不再区分媒体播放设备的具体类型。同样，学生客户端110和老师客户端130都可以被实现为媒体播放设备。需要说明的是，根据本发明的媒体播放设备可以被应用在音乐教学系统中，但并不限于此。例如，根据本发明的媒体播放设备也可以应用在例如视频会议、比赛直播等实时流媒体方案中。
[0016]图2示出了根据本发明一些实施例的媒体播放设备200的框图。这里，计算设备可以被配置为媒体播放设备200。而计算设备可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机，但不限于此。
[0017]媒体播放设备200包括接收单元210、音频解码单元220、视频解码单元230、音频播放单元240和视频播放单元250。
[0018]接收单元210适于接收来自媒体服务器的音频数据和视频数据。这里，媒体服务器通常以数据包的方式将音频数据和视频数据传输到媒体播放设备。音频数据是指接收单元210依次接收的多个音频数据包。根据本发明一个实施例，音频数据包格式例如为:
[0019]TCP_info+AV_Info+Au