多媒体播放方法及多媒体播放器与流程

本发明涉及多媒体播放技术领域，特别是涉及一种多媒体播放方法及多媒体播放器。

背景技术：

在很多场合，存在同屏播放不同内容的需求。在教学领域，这种需求尤其强烈，好的同屏播放方法可以让教学课堂有高质量的重现效果。例如，现在电子化教学，老师大多会准备电子教学课件，通过显示屏呈现事先制作好的内容。这些课件可以是ppt课件，课件也可以分发给学生自己看。但从实际来说，课件如果不辅以老师的讲解，很难起到应有的效果。

所以展示课件的同时，也同步展示老师讲课的过程，能够起到非常好的重现效果。

传统的方法中，教学资源都是采用视频录制的方式，将老师的教学过程和显示屏课件一起录制下来，以实现课件和讲课同步的目的。然而这种方式存在一个缺陷，老师讲课的过程(例如和学生的交互、走动、板书等)和课件的展示不能很好的兼顾，因为老师讲课所用的课件绝大部分是一页页静态的ppt、图片，或者其他静态内容，而老师在黑板上书写的板书也是一种连贯的坐标信息，如果这些课堂内容通过传统的视频方式来录制和播放呈现，将会需要大量的存储空间。

还有一种传统的播放方式，课件和教学过程同步录制，然后通过视频剪辑的方式放在一起。这会导致录制成本偏高，同时还需要剪辑，操作麻烦。课件在视频中的展示比例也会被固定下来，可能会不方便查看。

技术实现要素：

基于此，有必要提供一种多媒体播放方法，可以同屏展示相互关联的不同多媒体内容。

此外，还提供一种多媒体播放器。

一种多媒体播放方法，用于在同屏的至少两个播放区域中同步播放相互关联的多媒体内容；所述至少两个播放区域包括第一播放区域和第二播放区域，所述播放方法包括：

加载连续的图片序列；所述图片序列中的每一幅图片对应一个持续播放时间段；多个连续的图片序列的播放时间段依次衔接；

在所述第一播放区域中依序播放所述连续的图片序列，每一幅图片在对应的持续播放时间段内持续显示；

加载对应于当前播放时间段的视频片段和/或音频片段；

当加载视频片段时，在所述第二播放区域中同步播放所述视频片段；

当加载音频片段时，同步播放所述音频片段。

在其中一个实施例中，还包括：

加载对应于当前播放时间段的轨迹文件；

在显示屏范围内，根据所述轨迹文件生成实时笔迹动作。

在其中一个实施例中，还包括：

根据跳转指令跳转到所述连续的图片序列任意一幅图片；

在所述第一播放区域中，将跳转到的图片在对应的持续播放时间段内持续显示。

在其中一个实施例中，还包括：

根据布局指令，调整所述至少两个播放区域在整个显示区域内的布局。

在其中一个实施例中，还包括：在更多的播放区域中加载并播放视频片段和/或音频片段。

一种多媒体播放器，包括：

分屏模块，用于将显示区域划分为至少两个播放区域；所述至少两个播放区域包括第一播放区域和第二播放区域；

第一播放模块，用于加载连续的图片序列，并在所述第一播放区域中依序播放所述连续的图片序列，每一幅图片在对应的持续播放时间段内持续显示；其中，所述图片序列中的每一幅图片对应一个持续播放时间段；多个连续的图片序列的播放时间段依次衔接；

第二播放模块，用于加载对应于当前播放时间段的视频片段和/或音频片段；并当加载视频片段时，在所述第二播放区域中同步播放所述视频片段；当加载音频片段时，同步播放所述音频片段。

在其中一个实施例中，还包括：

笔迹播放模块，用于加载对应于当前播放时间段的轨迹文件；并在显示屏范围内，根据所述轨迹文件生成实时笔迹动作。

在其中一个实施例中，还包括：播放控制模块，用于根据跳转指令，跳转到所述连续的图片序列任意一幅图片；

所述第一播放模块还用于在所述第一播放区域中，将跳转到的图片在对应的持续播放时间段内持续显示。

在其中一个实施例中，还包括：

布局模块，用于根据布局指令，调整所述至少两个播放区域在整个显示区域内的布局。

在其中一个实施例中，还包括：至少一个第三播放模块；所述第三播放模块用于加载对应于当前播放时间段的视频片段和/或音频片段。

上述多媒体播放器及播放方法，通过图片序列确定整个时间轴，在图片文件序列的各个时间段内同步播放关联的视频片段和/或音频片段，能够同步同屏播放不同的多媒体内容。特别的，在教学场景中，图片文件可以是教学课件，例如ppt文件的页。每个ppt页都附带讲解的视频和/或音频，并在不同的播放区域分别呈现，可以起到非常好的还原课堂场景的效果。

附图说明

图1为一实施例的多媒体播放方法流程图；

图2为包含两个播放区域的显示屏的划分示意图；

图3为图片文件和视频片段、音频片段、轨迹文件关联的示意图；

图4a～4c为几种不同的布局示意图。

具体实施方式

以下结合附图和具体实施例进行进一步说明。

以下实施例的多媒体播放方法和多媒体播放器能够同屏展示相互关联的多媒体内容。多媒体的类型包括视频、音频以及图片等。也即，可以同屏展示相互关联的视频和图片、相互关联的音频和图片、相互关联的两个视频等等。

图1为一实施例的多媒体播放方法流程图。该方法用于在同屏的至少两个播放区域中同步播放相互关联的多媒体内容。所述至少两个播放区域包括第一播放区域和第二播放区域。

如图2所示，在一个实施例中，可以在同一显示屏10上划分两个播放区域，分别为第一播放区域101和第二播放区域102。

所述播放方法包括以下步骤：

步骤S110：加载连续的图片序列。所述图片序列中的每一幅图片对应一个持续播放时间段；多个连续的图片序列的播放时间段依次衔接。图片序列中的每一幅图片为一个独立的图片文件，例如jpg、png、gif格式等。这些图片文件根据事先的处理，具有预定的播放顺序和持续时间。例如3幅图片，各自的持续播放时间段分别为00:00～00:59、01:00～01:59、02:00～02:59。

步骤S120：在所述第一播放区域中依序播放所述连续的图片序列，每一幅图片在对应的持续播放时间段内持续显示。将图片在第一播放区域101中进行显示。通常地，加载图片序列后，从第一幅图片开始播放。根据如上示例，第一幅图片在00:00～00:59这个时间段内持续显示。然后依次是第二幅图片在01:00～01:59时间段内持续显示、第三幅图片在02:00～02:59内持续显示。

步骤S130：加载对应于当前播放时间段的视频片段和/或音频片段。视频片段可以多种视频文件的格式，例如MP4、RMVB、AVI或者FLASH文件等。音频片段可以是多种音频文件的格式，例如MP3、WAV等。这些视频片段和音频片段经过事先的处理，与前述的各个图片文件相关联，具有对应于各个图片文件的持续播放时间段的播放区间。例如第一幅图片具有一个关联的视频片段，其在整个00:00～00:59的时间段内播放或仅在其中的一个时间段内播放，例如00:10～00:40。

多个跨越不同图片文件的持续播放时间段的视频片段或音频片段可以是一个完整的视频文件。例如一个视频文件的持续时间为00:10～01:20。

步骤S140：当加载视频片段时，在所述第二播放区域中同步播放所述视频片段。将视频片段在第二播放区域102中播放，根据其被加载的时间，可以实现与图片文件的同步播放。

步骤S150：当加载音频片段时，同步播放所述音频片段。根据音频片段被加载的时间，可以实现与图片文件的同步播放。

上述方法，通过图片序列确定整个时间轴，在图片文件序列的各个时间段内同步播放关联的视频片段和/或音频片段，能够同步同屏播放不同的多媒体内容。特别的，在教学场景中，图片文件可以是教学课件，例如ppt文件的页。每个ppt页都附带讲解的视频和/或音频，并在不同的播放区域分别呈现，可以起到非常好的还原课堂场景的效果。

进一步地，上述方法还可以包括：

步骤S160：加载对应于当前播放时间段的轨迹文件。书写笔迹可以采用矢量笔迹点来还原。例如一段连续的书写包括a、b、c、d、e一共5个矢量笔迹点，则需要保存4段笔迹(a,b)、(b,c)、(c,d)、(d,e)。每段笔迹中包含起始点矢量笔迹点的坐标、结束点矢量笔迹点的坐标以及时间戳信息。

本实施例中，采用JSON格式对这些数据进行保存。

例如：

{"Action":1,"BeginPoint":{"x":100,"y":500},"EndPoint":{"x":209,"y":460},"Ti meStamp":1002459}

{"Action":1,"BeginPoint":{"x":209,"y":460},"EndPoint":{"x":316,"y":400},"Ti meStamp":1004567}

其中变量BeginPoint记录了起始点矢量笔迹点的坐标，变量EndPoint记录了结束点矢量笔迹点的坐标，变量TimeStamp记录了时间戳。

这些数据可以保存在txt文件中作为轨迹文件，占用空间非常少。

步骤S170：在显示屏范围内，根据所述轨迹文件生成实时笔迹动作。根据轨迹文件中的矢量笔迹点的坐标和其携带的时间戳，可以在播放图片和视频片段、音频片段时，生成实时的笔迹动作，同步还原书写过程。

图3为图片文件和视频片段、音频片段、轨迹文件关联的示意图。

上述的轨迹文件所记录的书写过程可以是脱离图片的书写，例如解释性的书写，也可以是对应于图片序列中某一图片内容的书写，例如标注图片上的某一区域。在还原时，如果书写是对应于图片内容，则书写笔迹会在图片的相应位置还原，否则书写笔迹可以在显示屏的任何位置显示。

进一步地，上述方法还可以包括：

步骤S180：根据跳转指令跳转到所述连续的图片序列任意一幅图片。如上所述，图片序列可以按序播放。因此也可以根据跳转指令，直接跳转到某一中间的图片开始播放。在所述第一播放区域101中，将跳转到的图片在对应的持续播放时间段内持续显示。

在跳转到中间图片后，和步骤S130一样，加载对应于该中间图片的视频片段和/或音频片段，或还额外加载轨迹文件。这样就能从中间的位置开始播放。

如图4所示，可以在显示屏的显示区域中增加图片序列的缩略图区103。在该缩略图区103提供图片序列的缩略图供选择，当选中缩略图时，生成跳转指令，可以跳转到对应的图片文件。

可以理解，除了第一播放区域和第二播放区域，还可以包括更多的播放区域。在更多的播放区域中加载并播放视频片段和/或音频片段。

进一步地，上述方法还可以包括：

步骤S190：根据布局指令，调整所述至少两个播放区域在整个显示区域内的布局。布局指令可以包括放大或缩小播放区域，调整播放区域的位置等。布局指令也可以是调整到预设布局的指令。

如图4a～4b所示，为包含3个播放区域的2种预设的布局。

如图4c所示，可以在图4b的基础上调整第一播放区域的大小。此外，在图4a和图4b的布局的基础上，播放区域之间还可以互换位置。

上述方法考虑到教学领域的内容静态的特点，只需要存储老师一页页静态教学页面和一些连贯的黑板书写笔迹，再根据这些静态页面和书写笔迹数据还原当时的教学场景，大大降低了教学资源文件体积的大小，以这种方式存储的教学资源视频，是传统视频的1/50大小，提高了教学资源在网上的传播率和使用率。

如图2所示，为一实施例的多媒体播放器模块图。该多媒体播放器包括分屏模块110、第一播放模块120、第二播放模块130、笔迹播放模块140、播放控制模块150以及布局模块160。

分屏模块110用于将显示区域划分为至少两个播放区域；所述至少两个播放区域包括第一播放区域和第二播放区域。

第一播放模块120用于加载连续的图片序列，并在所述第一播放区域中依序播放所述连续的图片序列，每一幅图片在对应的持续播放时间段内持续显示。其中，所述图片序列中的每一幅图片对应一个持续播放时间段；多个连续的图片序列的播放时间段依次衔接。图片序列中的每一幅图片为一个独立的图片文件，例如jpg、png、gif格式等。这些图片文件根据事先的处理，具有预定的播放顺序和持续时间。例如3幅图片，各自的持续播放时间段分别为00:00～00:59、01:00～01:59、02:00～02:59。

将图片在第一播放区域101中进行显示。通常地，加载图片序列后，从第一幅图片开始播放。根据如上示例，第一幅图片在00:00～00:59这个时间段内持续显示。然后依次是第二幅图片在01:00～01:59时间段内持续显示、第三幅图片在02:00～02:59内持续显示。

第二播放模块130用于加载对应于当前播放时间段的视频片段和/或音频片段；并当加载视频片段时，在所述第二播放区域中同步播放所述视频片段；当加载音频片段时，同步播放所述音频片段。

视频片段可以多种视频文件的格式，例如MP4、RMVB、AVI或者FLASH文件等。音频片段可以是多种音频文件的格式，例如MP3、WAV等。这些视频片段和音频片段经过事先的处理，与前述的各个图片文件相关联，具有对应于各个图片文件的持续播放时间段的播放区间。例如第一幅图片具有一个关联的视频片段，其在整个00:00～00:59的时间段内播放或仅在其中的一个时间段内播放，例如00:10～00:40。

多个跨越不同图片文件的持续播放时间段的视频片段或音频片段可以是一个完整的视频文件。例如一个视频文件的持续时间为00:10～01:20。将视频片段在第二播放区域102中播放，根据其被加载的时间，可以实现与图片文件的同步播放。根据音频片段被加载的时间，可以实现与图片文件的同步播放。

笔迹播放模块140用于加载对应于当前播放时间段的轨迹文件；并在显示屏范围内，根据所述轨迹文件生成实时笔迹动作。书写笔迹可以采用矢量笔迹点来还原。例如图3中，一段连续的书写包括a、b、c、d、e一共5个矢量笔迹点，则需要保存4段笔迹(a,b)、(b,c)、(c,d)、(d,e)。每段笔迹中包含起始点矢量笔迹点的坐标、结束点矢量笔迹点的坐标以及时间戳信息。

本实施例中，采用JSON格式对这些数据进行保存。

例如：

{"Action":1,"BeginPoint":{"x":100,"y":500},"EndPoint":{"x":209,"y":460},"Ti meStamp":1002459}

{"Action":1,"BeginPoint":{"x":209,"y":460},"EndPoint":{"x":316,"y":400},"Ti meStamp":1004567}

其中变量BeginPoint记录了起始点矢量笔迹点的坐标，变量EndPoint记录了结束点矢量笔迹点的坐标，变量TimeStamp记录了时间戳。

这些数据可以保存在txt文件中作为轨迹文件，占用空间非常少。根据轨迹文件中的矢量笔迹点的坐标和其携带的时间戳，可以在播放图片和视频片段、音频片段时，生成实时的笔迹动作，同步还原书写过程。

播放控制模块150用于根据跳转指令，跳转到所述连续的图片序列任意一幅图片；所述第一播放模块120还用于在所述第一播放区域中，将跳转到的图片在对应的持续播放时间段内持续显示。

如上所述，图片序列可以按序播放。因此也可以根据跳转指令，直接跳转到某一中间的图片开始播放。在所述第一播放区域101中，将跳转到的图片在对应的持续播放时间段内持续显示。

在跳转到中间图片后，和步骤S130一样，加载对应于该中间图片的视频片段和/或音频片段，或还额外加载轨迹文件。这样就能从中间的位置开始播放。

如图4所示，可以在显示屏的显示区域中增加图片序列的缩略图区103。在该缩略图区103提供图片序列的缩略图供选择，当选中缩略图时，生成跳转指令，可以跳转到对应的图片文件。

可以理解，除了第一播放区域和第二播放区域，还可以包括更多的播放区域。在更多的播放区域中加载并播放视频片段和/或音频片段。

布局模块160用于根据布局指令，调整所述至少两个播放区域在整个显示区域内的布局。布局指令可以包括放大或缩小播放区域，调整播放区域的位置等。布局指令也可以是调整到预设布局的指令。

如图4a～4b所示，为包含3个播放区域的2种预设的布局。

如图4c所示，可以在图4b的基础上调整第一播放区域的大小。此外，在图4a和图4b的布局的基础上，播放区域之间还可以互换位置。

可以理解，上述实施例的多媒体播放器还可以包括至少一个第三播放模块。所述第三播放模块用于加载对应于当前播放时间段的视频片段和/或音频片段。

上述播放器，通过图片序列确定整个时间轴，在图片文件序列的各个时间段内同步播放关联的视频片段和/或音频片段，能够同步同屏播放不同的多媒体内容。特别的，在教学场景中，图片文件可以是教学课件，例如ppt文件的页。每个ppt页都附带讲解的视频和/或音频，并在不同的播放区域分别呈现，可以起到非常好的还原课堂场景的效果。

上述方法考虑到教学领域的内容静态的特点，只需要存储老师一页页静态教学页面和一些连贯的黑板书写笔迹，再根据这些静态页面和书写笔迹数据还原当时的教学场景，大大降低了教学资源文件体积的大小，以这种方式存储的教学资源视频，是传统视频的1/50大小，提高了教学资源在网上的传播率和使用率。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。