专利名称：交互式多媒体数据处理系统与方法
技术领域：
本发明有关于一种数据处理系统与方法，且特别有关于一种交互式多媒体数据处理系统与方法。
背景技术：
目前常见数字学习教材的作法为将多媒体影像及声音的流数据，使用嵌入于网页的播放方式，辅以文字或图形网页组件，进行数字教材传递，或者使用Flash组件组成的互动多媒体内容进行教材播放元素。其缺点为多媒体影音流对象与其它网页组件之间同步及整合能力较差。对于多媒体影音流，使用者的掌握程度较低，只能透过网页的程序制作及特定播放器支持达成。此外，数字教材内容必须事先编纂，形式固定，其内容无法动态产生，以反应实时状态。
目前处理多媒体的方法无法有效整合多媒体组件与网页组件，且相关的多媒体数据需预先建立，无法动态产生以反应实时状态。
发明内容
有鉴于此，本发明目的在提供一种交互式多媒体学习系统，整合MPEG-4规格播放器，提供较佳的多媒体影音流与文字、图片、图形等组件的同步及整合能力。
本发明另一目的在提供一种交互式多媒体数据处理方法，利用网络服务(Web Services)存取非多媒体视频流数据，可于数字教材播放时呈现实时信息。
基于上述目的，本发明提供一种交互式多媒体学习系统，其包括一数字教材播放器(E-Learning Content Player)，其包括一MPEG-4系统播放器(MPEG-4 System Player)与一数字数据转换模块(Learning Data ProcessModule)，以及一数字教材播送服务器(E-Learning Content Server)，其包括一数字存取接口模块(Learning Info Service)、一数字教材产生器(E-Learning Stream Encoder)与一MPEG-4流服务器(MPEG-4 StreamingServer)。
数字教材播放器可用以观看、收听多媒体视频流教材，并透过其界面与多媒体图片、图形、文字等对象进行互动。MPEG-4系统播放器用以接收及播放MPEG-4格式多媒体教材数据，以及取得使用者于播放器上执行的动作。数字数据转换模块透过简单对象存取通讯协议(SOAP)存取远程的实时文字型态的数据，并且转换其为图形、文字等对象，然后于「数字教材播放器」中呈现。此外，其可根据场景中得到的隐藏信息存取远程服务器的相关数据。
数字教材播送服务器用以将多媒体数字教材传送至远程。其中包括开放网络上存取学习相关数据的数字存取接口模块，将文字与多媒体教材结合并编码的数字教材产生器，以及负责流传送的MPEG-4流服务器。数字存取接口模块提供远程程序(如数字数据转换模块)透过简单对象存取通讯协议自网络(WEB)上存取数字教材数据库(Learning Database)的教材数据。其中数字教材数据库中存放有文字型态的数字教材，以及学生学习记录等相关数据。
数字教材产生器根据从数字教材模板数据库(Content TemplateDatabase)中所选择的样本数据，将数字教材数据库中的文字教材和多媒体数据(Multimedia Data)中的多媒体教材组合成MPEG-4流，然后传送给MPEG-4流服务器。多媒体数据存放多媒体影音数据(raw data)，如影片、声音、图形。数字教材模板数据库存放用以组合多媒体数字教材与文字型态教材的样版。MPEG-4流服务器将数字教材产生器产生的MPEG-4流，透过实时视频流传输通讯协议(RTSP，RTP，Real-Time Streaming Protocol)及实时传输通讯协议(RTP，Real-Time Transport Protocol)两通讯协议传送给数字教材播放器。
本发明另外提供一种交互式多媒体数据处理方法。首先，根据PROTO定义的节点中所隐藏的网址信息，利用实时视频流传输通讯协议与数字教材播送服务器进行联机。接着透过实时视频流传输通讯协议从数字教材播送服务器读取并播放教学数据。然后，若要在多媒体场景中处理实时文字型态数据，根据数字教材中隐藏的网址信息，利用简单对象存取通讯协议(SOAP)存取远程文字教材数据。
图1显示本发明交互式多媒体学习系统架构图。
图2显示本发明隐藏信息于PROTO定义的节点中的示意图。
图3显示本发明利用PROTO定义的节点示意图。
图4显示本发明数字教材播放器播放多媒体视频流的步骤流程图。
图5显示本发明数字存取接口模块实施步骤流程图。
图6显示本发明数字教材产生器实施步骤流程图。
图7显示本发明MPEG-4流服务器实施步骤流程图。
符号说明100～数字教材播放器110～MPEG-4系统播放器130～数字数据转换模块200～数字教材播送服务器210～数字存取接口模块
230～数字教材产生器250～MPEG-4流服务器310～多媒体数据330～数字教材模板数据库350～数字教材数据库具体实施方式
为让本发明上述和其它目的、特征和优点能更明显易懂，下文特举出较佳实施例，并配合附图，作详细说明如下。
本发明提供一种交互式多媒体数据处理系统与方法，整合动画专家群(MPEG)-4流(Stream)与网页组件，其中MPEG-4场景以二进制代码格式(BIFS，Binary Format for Scene)表示。
图1显示本发明交互式多媒体学习系统架构图，其包括一数字教材播放器100，其包括一MPEG-4系统播放器110与一数字数据转换模块130，以及一数字教材播送服务器200，其包括一数字存取接口模块210、一数字教材产生器230与一MPEG-4流服务器250。
数字教材播放器100可用以观看、收听多媒体视频流教材，并透过其界面与多媒体图片、图形、文字等对象进行互动。
MPEG-4系统播放器110用以接收及播放MPEG-4格式多媒体教材数据，以及取得使用者于播放器上执行的动作。
数字数据转换模块130透过简单对象存取通讯协议(SOAP)存取实时文字型态的数据，并且转换其为图形、文字等对象，然后于「数字教材播放器」中呈现。此外，其可根据场景中得到的隐藏信息存取远程服务器的相关数据。
数字教材播送服务器200用以将多媒体数字教材传送至远程。其中包括开放网络上存取学习相关数据的数字存取接口模块210，将文字与多媒体教材结合并编码的数字教材产生器230，以及负责流传送的MPEG-4流服务器250。
数字存取接口模块210提供远程程序(如数字数据转换模块130)自网络(WEB)上存取数字教材数据库(Learning Database)350教材数据。数字教材数据库350中存放有文字型态数字教材，以及学生学习记录等相关数据。
数字教材产生器2 30根据从数字教材模板数据库(Content Template)330中所选择的样本数据，将数字教材数据库350中的文字型态的数据和多媒体数据(Multimedia Data)310中的多媒体教材组合成MPEG-4流，然后传送给MPEG-4流服务器250。多媒体数据310存放多媒体影音的原始数据(raw data)，如影片、声音、图形。数字教材模板数据库330存放用以组合多媒体数字教材与文字型态教材的样版。
MPEG-4流服务器250将数字教材产生器230产生的MPEG-4流，透过实时视频流传输通讯协议(RTSP，RTP，Real-Time Streaming Protocol)及实时传输通讯协议(RTP，Real-Time Transport Protocol)两通讯协议传送给数字教材播放器100。
本发明在MPEG-4流中，利用定义BIFS的原型(PROTO)的方式封装文字型态数据，使得MPEG-4流在一般支持MPEG-4系统的播放器上可以正常的播放文字型态数据。在本发明中的数字教材播送服务器上，透过辨识隐藏的特定PROTO的方式，可对这些文字型态数据做特殊处理。
图2显示本发明隐藏信息于PROTO定义的节点中的示意图。其中标记底线的文字「exposedField SFString remoteUrl“http://140.92.71.1/”」即是隐藏于PROTO中的特殊信息。
图3显示本发明利用PROTO定义的节点示意图。如图中标示底线程序代码即是在数字教材的场景编排中，使用自订PROTO所加上的节点。在其它符合MPEG-4系统规格的浏览器中播放时，可以正常显示出「中文字」这三个文字。而在数字教材播放器100中播放时，除了能显示「中文字」之外，并可关联到与该文字相关的远程网址「http://140.92.71.1/」。
接下来说明本发明各主要系统单元运作流程。
图4显示本发明数字教材播放器播放多媒体视频流步骤流程图。
在步骤S11中，数字教材播放器100透过使用者给定的，或从其它程序指定的数字教材网址信息(即PROTO定义的节点中所隐藏的网址信息)，利用实时视频流传输通讯协议与数字教材播送服务器200进行联机。
在步骤S12中，数字教材播放器100透过实时视频流传输通讯协议，利用数字教材播送服务器200的数字教材产生器读取并播放教学数据。
在步骤S13中，判断是否要在多媒体场景中处理实时文字型态的数据。若要，则执行步骤S14，否则执行步骤S15。
在步骤S14中，数字教材播放器100的数字数据转换模块130根据数字教材中隐藏的网址信息，利用简单对象存取通讯协议(SOAP)存取远程文字型态的数据。
在步骤S15中，判断是否关闭数字教材播放器。若是，则关闭数字教材播放器100，否则跳至步骤S12继续执行本流程。
图5显示本发明数字存取接口模块的实施步骤流程图。
在步骤S21中，等待远程程序(如数字数据转换模块130)发出一远程请求。
在步骤S22中，判断远程程序是否发出一读取数据的请求。若是，则执行步骤S23，否则跳至步骤S21。
在步骤S23中，数字存取接口模块自数字教材数据库取得相关教材数据表，如图片、图形、文字等。
在步骤S24中，利用简单对象存取通讯协议将教材数据转送给远程程序。
在步骤S25中，判断数字存取接口模块是否被中断。若是，则结束数字存取接口模块，否则执行步骤S26。
在步骤S26中，判断联机是否关闭。若是，则跳至步骤S28，否则执行步骤S27。
在步骤S27中，判断档案是否传送完成。若是，则执行步骤S28，否则跳至步骤S24。
在步骤S28中，关闭该数据表，然后跳至步骤S21继续执行本流程。
图6显示本发明数字教材产生器实施步骤流程图。
在步骤S31中，判断由使用者给定的，或从其它程序指定的输入数据(透过网络(WEB)自远程输入的数据)是否为实时视频。若是则执行步骤S35，否则执行步骤S32。
在步骤S32中，若输入的数据为实时视频，将视频数据转换为MPEG-4格式多媒体视频流。
在步骤S33中，将MPEG-4格式多媒体视频流写入实时视频流缓冲区内。
在步骤S34中，判断数字教材产生器是否被中断。若是，则结束数字教材产生器，否则跳至步骤S32，重复执行转换及写入多媒体视频流动作。
在步骤S35中，若输入的数据非为实时视频，自多媒体数据310和数字教材数据库350读入多媒体数据与文字型态数据。
在步骤S36中，根据数字教材模板数据库330多媒体数字教材与文字型态教材样版，将多媒体数据和文字型态数据压缩成MPEG-4格式的档案。
图7显示本发明MPEG-4流服务器实施步骤流程图。
在步骤S41中，等待远程程序(如MPEG-4系统播放器110)发出一远程请求。
在步骤S42中，判断远程程序是否发出读取数据的请求。若是，则执行步骤S43，否则执行步骤S41。
在步骤S43中，若远程程序发出一远程请求，则开启数字教材产生器取得的档案或实时视频流缓冲区。
在步骤S44中，利用实时视频流通讯协议将多媒体数据转送给远程程序。
在步骤S45中，判断MPEG-4流服务器是否被中断。若是，则关闭MPEG-4流服务器，否则执行步骤S46。
在步骤S46中，判断联机是否关闭。若是，则跳至步骤S48，否则执行步骤S47。
在步骤S47中，判断档案是否传送完成。若是，则执行步骤S48，否则跳至步骤S44。
在步骤S48中，关闭指定的档案。
本发明特点为由整合MPEG-4 System规格播放器，提供较佳的多媒体影音流与文字、图片、图形等组件的同步及整合能力。且可利用网络服务(WebServices)存取非多媒体视频流数据，可于数字教材播放时呈现实时信息。
权利要求
1.一种交互式多媒体数据处理系统，至少包括一数字教材播送服务器，其根据数字教材模板整合一文字型态数据与一多媒体数据为一多媒体档案，以及自网络取得一实时文字型态数据，其中上述实时文字型态数据透过定义原型(PROTO)的方式隐藏网址信息于其中，其中上述多媒体档案为一MPEG-4格式档案或一多媒体视频流，上述数字教材模板包括多媒体数据模板与文字型态数据模板；以及一数字教材播放器，耦接于上述数字教材播送服务器，其透过实时视频流传输通讯协议取得并播放上述多媒体档案，以及根据上述网址信息，利用简单对象存取通讯协议自上述数字教材播送服务器取得上述实时文字型态数据。
2.如权利要求1所述的交互式多媒体数据处理系统，其中，上述数字教材播送服务器更包括一数字教材产生器，其用以整合上述文字型态数据和上述多媒体数据为上述多媒体档案。
3.如权利要求1所述的交互式多媒体数据处理系统，其中，上述数字教材播送服务器更包括一数字存取接口模块，其自网络取得上述实时文字型态数据以供上述数字教材播放器透过简单对象存取通讯协议存取。
4.如权利要求1所述的交互式多媒体数据处理系统，其中，上述数字教材播放器更包括一数字数据转换模块，其用以根据上述网址信息存取上述实时文字型态数据。
5.一种交互式多媒体数据处理系统，至少包括一数字存取接口模块，其自一数字教材数据库取得一实时文字型态数据；一数字教材产生器，其根据数字教材模板整合上述数字教材数据库的一文字型态数据与一多媒体数据为一多媒体档案，其中上述多媒体档案为一MPEG-4格式档案或一多媒体视频流，上述数字教材模板包括多媒体数据模板与文字型态数据模板，并且储存于一数字教材模板数据库中；以及一MEPG-4流服务器，耦接于上述数字教材产生器，用以取得上述数字教材产生器上述多媒体档案，并且透过实时视频流传输通讯协议传送上述多媒体档案至一MEPG-4系统播放器。
6.如权利要求5所述的交互式多媒体数据处理系统，其更包括一数字数据转换模块，耦接于上述数字存取接口模块，其透过简单对象存取通讯协议存取自上述数字存取接口模块取得上述实时文字型态数据，，并且将上述文字型态数据转换为图形、文字等对象，上述MEPG-4系统播放器自上述MEPG-4流服务器取得并播放上述多媒体档案，以及根据上述网址信息，利用简单对象存取通讯协议自上述数字存取接口模块取得上述实时文字型态数据，其中上述实时文字型态数据透过定义原型(PROTO)的方式隐藏网址信息于其中。
7.一种交互式多媒体数据处理方法，包括下列步骤根据原型(PROTO)定义的节点中所隐藏的网址信息与一数字教材播送服务器进行联机；将自网络(WEB)取得的一多媒体数据与一文字型态数据整合为一多媒体档案，其中上述媒体档案为一MPEG-4格式档案或一多媒体视频流；自上述数字教材播送服务器读取并播放上述多媒体档案；判断是否处理一实时文字型态数据；以及若要处理上述实时文字型态数据，则透过一网络存取接口，利用简单对象存取通讯协议，根据上述网址信息自网络取得上述实时文字型态数据。
8.如权利要求7所述的交互式多媒体数据处理方法，其中，上述整合步骤更包括下列步骤判断取得的数据是否为实时视频数据；若上述数据为实时视频数据，则将上述实时视频数据转换为一多媒体视频流；将上述多媒体视频流写入一视频缓冲区中；若上述数据非为实时视频数据，则自网络取得上述多媒体数据与上述文字型态数据；以及整合上述多媒体数据与上述文字型态数据为上述多媒体档案。
9.如权利要求7所述的交互式多媒体数据处理方法，其中，处理上述实时文字型态数据步骤更包括下列步骤判断是否有一读取数据的请求；以及若有上述读取数据的请求，则自一数字教材数据库取得上述实时文字型态数据。
10.如权利要求7所述的交互式多媒体数据处理方法，其中，在上述联机步骤中，其透过实时视频流传输通讯协议与上述数字教材播送服务器进行联机。
全文摘要
一种交互式多媒体数据处理系统与方法。根据原型(PROTO)定义的节点中所隐藏的网址信息，利用实时视频流传输通讯协议(RTSP)与数字教材服务器进行联机。接着透过实时视频流传输通讯协议从数字教材服务器读取并播放教学数据，若需处理实时文字形态数据，则根据数字教材中隐藏的网址信息，利用简单对象存取通讯协议(SOAP)存取远程文字教材数据。
文档编号H04L12/16GK1642092SQ200410000518
公开日2005年7月20日 申请日期2004年1月12日 优先权日2004年1月12日
发明者蔡雨臻, 赖志群 申请人:财团法人资讯工业策进会