媒体播放方法、设备及音乐教学系统的制作方法
【技术领域】
[0001]本发明涉及通信领域，尤其涉及媒体播放方法、设备及音乐教学系统。
【背景技术】
[0002]目前，在例如视频会议或网络直播等实时通信方案中，采集媒体数据的终端可以采集视频帧和音频帧等媒体数据，并向播放设备传输媒体数据。这里，采集终端可以在按照传输协议封装视频帧和音频帧时，将相对时间戳添加到封装数据包中。例如，采集终端采用RTP协议传输音视频数据，并在每个RTP包头中添加相对时间戳。在数据的发送过程中，每个发送出去的RTP数据包中的时间戳是逐一增加的，从而方便在播放端对数据包进行排序，以恢复出数据包的原始时间顺序关系。播放设备在接收到音频帧和视频帧后，可以根据相对时间戳对所接收的音频帧和视频帧进行排序。然后，播放设备按照排序对音频帧和视频帧各自进行播放。
[0003]然而，由于网络抖动等原因，现有的播放设备在播放音频帧和视频帧时，存在实时性较差的问题。
【发明内容】
[0004]为此，本发明提供一种新的媒体播放方案，有效的解决了上面至少一个问题。
[0005]根据本发明的一个方面，提供一种媒体播放方法，适于在媒体播放设备中执行。该媒体播放方法包括以下步骤。接收来自媒体服务器的音频数据。对所接收的音频数据执行解码操作以获取一个或多个音频帧。对所获取的每个音频帧执行静音检测操作，以判断该音频帧是否为静音数据。如果所检测音频帧为静音数据，则舍弃该音频帧。如果所检测音频帧非静音数据，则将该音频帧存放到播放缓冲区中，以便对该播放缓冲区中音频帧执行播放操作。
[0006]根据本发明的又一个方面，提供一种媒体播放设备，包括接收单元、音频解码单元和音频播放单元。接收单元适于接收来自网络的音频数据。音频解码单元适于对所接收的音频数据执行解码操作以获取一个或多个音频帧。音频播放单元，适于对所获取的每个音频帧执行静音检测操作，以判断该音频帧是否为静音数据。如果所检测音频帧为静音数据，音频播放单元舍弃该音频帧。如果所检测音频帧非静音数据，音频播放单元将该音频帧存放到播放缓冲区中，以便对播放缓冲区中音频帧执行播放操作。
[0007]根据本发明的又一个方面，提供一种音乐教学系统，包括根据本发明的媒体终端、媒体服务器和媒体播放端。媒体终端适于采集音频数据和视频数据。媒体服务器，适于网络传输来自媒体终端的音频数据和视频数据。
[0008]根据本发明的媒体播放方案，可以在音频播放延时较长时，通过静音检测操作，消减播放延时以提高播放实时性。而在缓冲长度未超过阈值时，根据本发明的媒体播放方案通过不执行静音检测，从而可以对来自媒体终端的例如乐器演奏等声音进行完整的播放。应当注意，这对于音乐教学等对声音实时性要求较高的流媒体直播方案来说，本发明的媒体播放方案同时考虑到音频播放的实时性和完整性，从而可以极大提升音乐教学的品质。另外，本发明的媒体播放方案，通过对计算当前播放的音频样点的采集时间，进而使得视频帧跟随当前播放音频样点的采集时间进行播放，实现了音视频的高同步播放。这里，根据本发明的媒体播放方案所使用的第一时间戳为音频帧的采集时间，而第二时间戳为视频帧的采集时间。这里，第一和第二时间戳时间基准相同，并且音频帧的采集帧率高于视频帧的采集帧率。这样，根据本发明的媒体播放方案，可以始终保持音视频的高同步播放，从而可以极大提高例如音乐教学等流媒体系统的直播质量和用户体验。另外，根据本发明的媒体播放方案通过在播放缓冲区为空时添加空白帧的方式，可以保证音频播放不会出现卡断的情况，极大提高用户体验度。
【附图说明】
[0009]为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
[0010]图1示出了根据本发明一个示例性音乐教学系统100的框图；
[0011]图2示出了根据本发明一些实施例的媒体播放设备200的框图；
[0012]图3示出了根据本发明的一些实施例的媒体播放方法300的流程图；以及
[0013]图4示出了根据本发明一些实施例的媒体播放方法400的流程图。
【具体实施方式】
[0014]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0015]图1示出了根据本发明一个示例性音乐教学系统100的框图。如图1所示，音乐教学系统100可以包括多个学生客户端110、服务器120和老师客户端130。在音乐教学系统100中，学生客户端110和老师客户端130通过服务器120进行实时通信，以便进行在线音乐教学。例如，在学生进行演奏时，学生客户端110可以被实现为媒体终端，采集与学生演奏相关的诸如视频和音频等媒体数据，并通过服务器120向老师客户端130传输这些媒体数据。老师客户端130可以被实现为媒体播放设备，接收并播放媒体数据，以便老师实时了解学生的演奏情况。同时，老师客户端130也可以被实现为媒体终端，采集老师对学生演奏的反馈指导或者教学演示等内容的媒体数据，并通过服务器120向学生客户端传输。学生客户端110可以被实现为媒体播放设备，接收并播放来自老师客户端130的媒体数据，以便老师对学生演奏进行实时反馈，或者实时地对学生进行教学演示。总之，学生客户端110和老师客户端130都可以被实现为媒体终端和媒体播放设备。这里，媒体数据例如包括演奏乐器的指法、气息、乐器声音和指导文案等教学内容，但不限于此。
[0016]通常，音乐教学系统对实时性等方面有较高的要求。本发明针对音乐教学系统的媒体播放环节，提出了一种新的媒体播放设备。下面结合图2对音乐教学系统中的媒体播放设备进行进一步的示例性说明。当然，媒体播放设备可以是学生客户端或者老师客户端，为了简化描述，下文中不再区分媒体播放设备的具体类型。同样，学生客户端110和老师客户端130都可以被实现为媒体播放设备。需要说明的是，根据本发明的媒体播放设备可以被应用在音乐教学系统中，但并不限于此。例如，根据本发明的媒体播放设备也可以应用在例如视频会议、比赛直播等实时流媒体方案中。
[0017]图2示出了根据本发明一些实施例的媒体播放设备200的框图。这里，计算设备可以被配置为媒体播放设备200。而计算设备可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机，但不限于此。
[0018]媒体播放设备200包括接收单元210、音频解码单元220、音频播放单元230、视频解码单元240和视频播放单元250。
[0019]接收单元210适于接收来自媒体服务器的音频数据和视频数据。这里，媒体服务器通常以数据包的方式将音频数据和视频数据传输到媒体播放设备。音频数据是指接收单元210依次接收的多个音频数据包。根据本发明一个实施例，音频数据包格式例如为:
[0020]TCP_info+AV_Info+Aud1Data[0021 ] 其中，TCP_info为TCP传输协议头。
[0022]AV_Info包括音频帧控制参数:
[0023]DWORD c_type 控制类型；
[0024]—int64 stamp 时间戮；
[0025]DWORD c_value 控制数值。
[0026]Aud1Data为音频帧对应的压缩数据段，压缩格式例如为AAC。
[0027]接收单元210例如可以包括网络缓冲区211。在接收到音频数据包时，接收单元210可以从音频数据包中提