专利名称：多媒体音视频与说明文字的同步驱动技术的制作方法
技术领域：
本发明是实现音频，视频和文字同步显示的一门技术，不需要特殊的视频文件格式或改变视频文件格式，而是通过一个记录时间和其他信息的文件(打点文件)实现的。
2技术背景在软件技术飞速发展的今天，多媒体技术也在不断的提高和完善，尤其在音频和视频领域已达到了一定的水平，但在多媒体某些领域仍旧缺乏一些技术。
比如图文并貌技术，很少有技术能实现在播放音频/视频流的同时能够浏览文字。虽然播放器在播放高级流格式(以下简称ASF)的视频文件时能够实现图文并貌，但它采用的技术是在音频/视频流中间插入一些标志，然而不是所有的音频/视频流都可以在中间插入标志的，这样此技术适用范围比较小。现在需要的是不用改音频/视频流，而且适合在播放任何格式音频/视频流时都能实现图文并貌的技术，本发明就实现了这样的技术。
发明内容音频/视频流打点的方法是在音频/视频流作标志，但标志不是写入音频/视频流中而是写入一个文件(打点文件)的方法。
音频/视频流打点文件的格式是文件的开头是统一资源地(以下简称URL)，接着是时间和对应的存储文字的文件的列表。
音频/视频流和文字的同步方法是播放器在请求音频/视频流的同时请求打点文件。具体地，播放进程有一个请求音频/视频流线程和一个请求打点文件线程，在请求打点文件线程中解析打点文件写入链表(时间列表)，通过时钟消息检索时间列表，察看是否有时间节点在当前播放位置(时间)前一秒之内，如果有便触发一个事件。同时在IE浏览器中捕获该事件，而后通过IE浏览器链接该事件传出的URL地址进行文字浏览。基于此技术所有格式的音频/视频流都能实现和文字的同步。
图1为打点文件的格式。
图2给出了音频/视频流和文字的同步实现的过程。
图3为解析打点文件。
图4为IE浏览器捕获事件并浏览文字的过程。
具体实施方式
本发明是通过一系列的处理方法实现在播放音频/视频流的同时浏览文字，并且不需改变音频/视频流。其实现的基本思想是产生一个文件(打点文件)存储应该在音频/视频流中作的标志；
在播放器中同时请求音频/视频流和打点文件，并作一定的处理，在音频/视频流播放到需要显示文字的时候产生一个事件作为外界接口；通过IE浏览器捕获此事件作相应处理浏览文字。
要想实现音频/视频流和文字同步，首先应该在音频/视频流中作标志，这样在播放器播放音频/视频流的过程中播放器才能知道什么时候该显示文字。ASF视频文件格式就是如此，在它的流中在该显示文字的地方作了标志，整个视频文件就是一段视频流一段标志。这样在播放器播放此格式视频文件时就可以实现音频/视频流和文字同步。但并不是所有格式的音频/视频流文件都能改成此格式，即使可改也会降低播放效果的。基于此我们把这些标志写到另一个地方，写到一个文件中，此文件被称为打点文件，这样就不需改变音频/视频流，因此不论何种格式的视频文件都可以实现音频/视频流和文字的同步。
打点文件不是什么格式非常复杂的文件，它只不过是一个文本文件。格式如图1包括URL地址、时间标志和WEB文件名或文本文件(存储文字)名。
真正实现音频/视频流和文字同步是播放器。在程序中，播放器进程分两个请求线程，一个线程请求音频/视频流，另一个请求打点文件如图2。
请求打点文件线程主要处理解析打点文件(当然在播放器进程中要检查有没有打点文件，如果没有就没必要启动此线程)。首先检查打点文件信息是否有错，如果有错结束线程不进行解析，如果无误把解析结果存入链表(这里称时间列表)，在链表内其中两个字串如下字串1＝时间字串2＝HTTP//WEB服务器IP地址/WEB虚拟目录/文件名字串1是播放器处理同步时所需的时间(是以秒为最小单位)，字串2是同步显示时播放器通过事件传出的URL地址，并通过IE浏览器连接此URL地址浏览文字。
在请求音频/视频流线程中，只是读入流并不作任何处理。读入流后开始播放如图2，在此播放进程中处理整个同步过程。
在播放进程中设置了时钟(由于时间列表中的时间是以秒为最小单位的，所以设置时钟间隔为一秒，否则会产生同步偏差或多次激活事件)，在它的回调函数中进行同步处理。首先判断是否有音频/视频流正在播放，如果没有不作任何处理函数返回，因为节目流播放停止再作任何处理都没有什么意义；如果节目流正在播放那么就进一步判断有没有时间列表，如果有，则判断时间列表是否为空；若不为空，则从播放器获得当前的播放位置(时间)，每次允许在前面一秒以内触发事件，不包括刚好等于当前位置前一秒。检查时间列表的当前节点是否在此范围，如果在，则触发事件；如果此节点大于当前的播放位置，那么就向前检索时间列表，直到检索到符合要求的节点并将当前节点指针指向该节点触发事件，如果没有便不触发事件节点指针不动；如果此节点小于当前的播放位置减一秒，那么就向后搜索第一个比当前位置减一秒大的节点并将当前节点指针指向该节点触发事件，如果搜索不到后一个节点就一直不触发事件。在此过程中音频/视频流不停的向前播放，只是触发事件，不管事件有没有被接收也不处理事件。这个事件就是一个外部接口，向外传出一个参数，此参数为链表中的URL地址串。
在此把播放器进程写成一个组件，在IE浏览器中调用该组件并随时捕获组件触发的事件。当播放器正在播放音频/视频流的时候，IE浏览器一直在等待着事件的发生，当播放器产生事件时IE浏览器将捕获到该事件，因为事件传出的参数是URL地址，IE浏览器将连接到此URL地址，便可在浏览器中浏览文字信息。
整个过程就是音频/视频流和文字的同步的实现，此技术原理与播放ASF格式的视频流相似，但区别是它是ASF格式音频/视频流和文字的同步技术的升华，播放器不用依赖于某种格式的音频/视频流就可实现音频/视频流和文字的同步。
这种技术可用在多媒体网络教学，通过它，可以实现在网络教学中音频、视频及说明文字同步显示和播放，从而可以使网络教学更加生动和有效。
权利要求
1.音频/视频流和文字的同步是通过一定的方法使得各种格式的音频/视频流与文字同步显示。该方法的步骤是通过一个特殊的文件打点文件记录需在音频/视频流中间应该作的一些标志，这些标志是为了播放器在播放音频/视频流的过程中什么时候应该触发一个事件。在播放器进程中实现同步的过程。播放器请求分两个线程进行，一个是打点文件请求，在请求过程中解析文件并把解析内容存入链表。另一个是音频/视频流请求，在播放进程中设有时钟，当播放音频/视频流同时，在时钟的回调函数中检索链表寻找在当前播放位置(时间)前一秒内的时间节点，如有播放器便触发事件，作为外部接口。IE浏览器捕获播放器触发的事件，并连接事件传出的URL地址串浏览文字。
2.根据权利要求1的方法，其中音频/视频流打点的方法是把应该在音频/视频流中作的标志写入了一个文件(打点文件)中。不需改变原有音频/视频流的格式，不对音频/视频流的格式有特殊的要求。
3.根据权利要求2的方法，其中打点文件就是有着自己的格式的文本文件，文件首是URL地址串，接着是时间和文件名列表。文件解析后字串重组存入链表。
全文摘要
音频、视频和说明文字的同步驱动技术是通过播放器同时请求音频/视频流和打点文件，在播放音频/视频流的同时通过播放进程中的时钟消息不断获得播放位置(时间)，并与由打点文件解析得到的链表(时间列表)中的时间比较，如有符合要求的播放器便触发一个事件通过IE浏览器捕获事件进行处理浏览文字信息实现的。音频，视频和说明文字的同步驱动技术与音频/视频文件的格式无关，只与打点文件记录的信息有关。也就是说把应该在音频/视频流中作的标志写入了另一个文件(打点文件)中，这样一来同步技术适用范围广而且不影响播放效果。这种技术可用在多媒体网络教学，通过它，可以实现在网络教学中音频、视频及说明文字同步显示和播放，从而可以使网络教学更加生动和有效。
文档编号H04N5/04GK1471305SQ0212532
公开日2004年1月28日 申请日期2002年7月25日 优先权日2002年7月25日
发明者梁肇新 申请人:梁肇新