影音媒体文件合成方法与服务系统的制作方法
【技术领域】
[0001]本发明涉及一种影音媒体文件合成方法与服务系统，特别是指一种基于浏览器开发的影音媒体文件合成方法与服务系统。
【背景技术】
[0002]目前市面上已有用来将屏幕画面与语音讲解加以结合而形成一.rmvb或.mp4多媒体文件的屏幕录制应用程序(APP)。此技术特别适用于制作例如计算机操作教学的教材，让学习者通过播放该多媒体文件，而从画面及讲解中了解操作流程。
[0003]然而，利用屏幕录制APP来制作前述多媒体文件的技术，需在与该APP兼容且安装有该APP的计算机装置上执行，若计算机装置的操作系统或硬件架构不支持该屏幕录制APP，则无法执行。
[0004]因此，需要提供一种影音媒体文件合成方法与服务系统来解决上述问题。
【发明内容】
[0005]因此，本发明的目的即在于提供一种基于浏览器开发的影音媒体文件合成方法，使得屏幕录制的行为不受操作系统或硬件架构限制，无论在个人计算机、平板计算机或智能型手机都可通过浏览器执行。
[0006]于是，本发明的影音媒体文件合成方法由一服务系统执行，该服务系统供一终端装置通过其浏览器连接，该方法包含以下步骤:
[0007](A)接收来自该终端装置以串流方式传送的对应于一音频文件的多个音频RTP封包、音频RTCP封包，以及对应于一视频文件的多个视频RTP封包、视频RTCP封包；
[0008](B)读取第一个音频RTCP封包中的时间戳记记录为第一个音频RTP封包的音频绝对起始时间，另一方面读取第一个视频RTCP封包中的时间戳记记录为第一个视频RTP封包的视频绝对起始时间；
[0009](C)针对接收到的音频RTP封包，按封包序号写入一音频缓冲器，且针对接收到的视频RTP封包，按封包序号写入一视频缓冲器；
[0010](D)从该音频缓冲器的队列中取出一音频RTP封包，计算该封包的相对时间戳记与一在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该音频绝对起始时间产生该音频RTP封包的播放时间戳记，另一方面从该视频缓冲器的队列中取出一视频RTP封包，计算该封包的相对时间戳记与在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该视频绝对起始时间，产生该视频RTP封包的播放时间戳记；以及
[0011](E)将该音频RTP封包与视频RTP封包连同其播放时间戳记写入到一媒体文件。
[0012]本发明还提供一种影音媒体文件合成方法，该影音媒体文件合成方法由一服务系统执行，该服务系统供一终端装置通过该终端装置的浏览器连接；该方法包括以下步骤:(A)接收来自该终端装置以串流方式传送的对应于一音频文件的多个音频RTP封包、音频RTCP封包，以及对应于一视频文件的多个视频RTP封包、视频RTCP封包；(B)读取第一个音频RTCP封包中的时间戳记记录为第一个音频RTP封包的音频绝对起始时间，读取第一个视频RTCP封包中的时间戳记记录为第一个视频RTP封包的视频绝对起始时间；(C)针对接收到的音频RTP封包，写入一音频缓冲器，且针对接收到的视频RTP封包，写入一视频缓冲器；(D)从该音频缓冲器的队列中取出一音频RTP封包，计算该封包的相对时间戳记与一在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该音频绝对起始时间产生该音频RTP封包的播放时间戳记，从该视频缓冲器的队列中取出一视频RTP封包，计算该封包的相对时间戳记与在前的封包的相对时间戳记的差值，并依据该差值直接或间接地配合该视频绝对起始时间，产生该视频RTP封包的播放时间戳记；以及(E)将该音频RTP封包与视频RTP封包连同该音频RTP封包与视频RTP封包的播放时间戳记写入到一媒体文件。
[0013]较佳地，该步骤(E)还包括比较该二封包的播放时间戳记的步骤:如果该音频RTP封包的播放时间戳记(rtpATS)减视频RTP封包的播放时间戳记(rtpVTS)的差值小于一预设阈值，则写入该音频RTP封包，如视频RTP封包的播放时间戳记减音频RTP封包的播放时间戳记的差值小于该预设阈值，则写入该视频RTP封包。
[0014]较佳地，如果该音频RTP封包的播放时间戳记减视频RTP封包的播放时间戳记的差值大于该预设阈值，则丢弃该音频RTP封包，如视频RTP封包的播放时间戳记减音频RTP封包的播放时间戳记的差值大于该预设阈值，则丢弃该视频RTP封包。
[0015]较佳地，该缓冲器中的每个单元可放一个RTP封包，该步骤(C)中每收到一个封包，会按照这个封包的序号插入到缓冲器其中一个单元中，藉此保证缓冲器中的封包是按序号排列的。
[0016]该步骤(C)之前，先判断所接收的音频RTP封包是否为ISAC格式，若否则丢弃封包。
[0017]本发明还提供一种服务系统，该服务系统供至少一终端装置通过该终端装置的浏览器连接，并包括:一供该终端装置连接的网络服务器；一用于接收RTP封包及RTCP封包的多端控制单元；以及一媒体文件合成服务器，该媒体文件合成服务器将该多端控制单元接收的RTP封包及RTCP封包进行解码、同步以及媒体文件合成，共同完成前述的影音媒体文件合成方法。
[0018]本发明的功效在于，在HTML5架构下，应用网页即时通信技术，进一步藉由音频和视频的时间戳记差值的阈值控制，来达到音视频同步的效果，确保写入的音频封包和视频封包的顺序按照真实的时间戳记序列写入，完成音频与视频的合成录制。
【附图说明】
[0019]本发明的其他的特征及功效，将在参照附图的实施方式中清楚地呈现，其中:
[0020]图1是一系统图，说明本发明的服务系统的构成；
[0021]图2是一流程图，说明本发明的影音媒体文件合成方法的主要流程架构；
[0022]图3是一流程图，示意说明图2中有关音频数据获取作业中的RTP音频数据获取作业的步骤；
[0023]图4是一流程图，示意说明图2中有关音频数据获取作业中的RTCP音频数据获取作业的步骤；
[0024]图5是一流程图，示意说明图2中有关合成作业中的预处理步骤；
[0025]图6是一流程图，示意说明音频数据的合成步骤；以及
[0026]图7是一流程图，示意说明视频数据的合成步骤。
[0027]主要组件符号说明:
[0028]I 服务系统S21音频数据获取作业
[0029]10 交换器S211?S214 RTP数据获取作业步骤
[0030]11 网络服务器S215RTCP数据获取作业步骤
[0031]12 MCUS22影像数据获取作业
[0032]13 MCU控制器S3合成作业
[0033]14 储存器S31?S34 合成作业的预处理步骤
[0034]15 媒体文件合成服务器 S41?S49 音频数据的合成步骤
[0035]9 终端装置S51?S56 视频数据的合成步骤
[0036]SI 前置预备作业
【具体实施方式】
[0037]在本发明被详细描述之前，应当注意在以下的说明内容中，类似的组件是以相同的编号来表不。
[0038]参阅图1及图2，本发明的影音媒体文件合成方法适合应用于制作IT (informat1n technology,信息技术)教学素材,让使用者轻松地通过屏幕录制产生视频文件，并录制语音讲解而产生音频文件。使用者可使用桌上型计算机、平板计算机或智能型手机等任何一种终端装置9，只须要通过支持HTML5的浏览器即可利用本发明技术将视频文件与音频文件相结合，生成一内容包含操作过程画面与讲解的媒体文件。
[0039]本发明的影音媒体文件合成方法的实施例由一服务系统I执行，该服务系统I包括彼此通过交换器(switch) 10相连的一供该终端装置9通过其浏览器连接的网络服务器(web Server) 11、一多端控制单兀(Multipoint Control Unit,又称 MCU) 12、一负责分派MCU12的接收与处理串流数据工作的MCU控制器13、一储存器14以及一媒体文件合成服务器15。
[0040]该MCU12可布署为多台计算器(图未示)而进行集群服务，适应大量数据的收发。MCU控制器13会搜集MCU的状态信息，并按照负载均衡的原则分配合适的计算器来处理串流数据。
[0041]该储存器14作为服务系统I中各个服务器11、15及MCU12的共用储存媒体，用来储存录制好的媒体文件和临时文件。
[0042]在本发明的影音媒体文件合成方法的实施例执行之前，先进行图2所示的前置预备作业(SI)，使用者通过其终端装置9的浏览器登入服务主页面(图未示)。该服务主页面的连结为该网络服务器11发布。藉由HTML5的网页即时通信(WebRTC)技术，终端装置9通过浏览器直接访问该网络服务器11，将使用者屏幕录制的图像编码成视频格式的视频文件(例如MPEG、H.264等视频编码格式)，且将使用者录音的音频数据编码为音频格式的音频文件(例如PCM、WAV、MP3等音频编码格式)。当使用者在该服务主页面操作画面分享以及语音分享功能，浏览器将视频格式数据以及音频格式数据分别编码后打包成RTP(实时传输协议，Real-time Transport Protocol)封包以及RTCP(实时传输控制协议,Real-timeTransport Control Protocol)封包，该等RTP封包及RTCP封包发送给前述MCU12。RTP封包包括包头及负载数据。包头主要包括序号(Sequence Number)以及时间戳记(time stamp)。由于RTCP负责管理传输质量，因此RTCP封包由数据传输端周期性地传送，封包内容含有已发送的封包的数量、丢失的封包的数量等统计数据。
[0043]媒体文件合成服务器15是执行本发明的影音媒体文件合成方法的主要部分，其将MCU12接收的RTP封包及RTCP封包进行解码、同步以及媒体文件合成，最后储存到该储存器14。
[0044]本发明的影音媒体文件合成方法的实施例，主要包含图2所示的以下步骤:
[0045]步骤S21—由MCU12接收来自该终端装置9以串流方式传送的对应于该音频文件的音频RTP封包、音频RTCP封包(步骤S21)。另一方面，在步骤S22中，MCU12接收对应于该视频文件的多个视频RTP封包、视频RTCP封包(步骤S22)。详细步骤将在下文搭配图3及图4说明。
[0046]步骤S3—合成作业。详细步骤将在下文搭配图5至图7说明。完成媒体文件录制后，即关闭作业并结束流程。
[0047]在此以音频数据获取作业举例说明，影像数据获取作业的详细流程可依此类推。有关音频数据获取作业又可分为平行进行、不分顺序的图3所示的音频RTP数据获取作业，以及图4所示的音频RTCP数据获取