专利名称：一种即时通讯中信息回放的方法和系统的制作方法
技术领域：
本发明涉及电通信技术，尤其涉及一种即时通讯中信息回放的方法和系统。
背景技术：
网络即时通讯服务IM，即Instant Messenger，是一种基于互联网的通讯服务，一般是以实现网络上即时通讯功能为主，即时通讯服务IM在互联网上得到了广泛的应用和认可。互联网即时通信服务IM逐渐在向与网络虚拟社区结合的方向上延伸，体现了网络即时通信服务IM的发展方向，即时通信服务IM通过即时通信工具得以实现，以其速度快、功能丰富、使用稳定、小巧精干而获得广大网民的认可和喜爱。在现有的即时通信服务中，用户可以通过这种即时通信工具进行文字信息的交互、传送文件、发送手机短信等多种操作，但对于音/视频信息的交互、共享缺乏更完整、有效的手段，尤其是对于多种媒体共存的应用场合中，如会议记录、讨论等需要保存交流档案的情况则无能为力。
发明内容
本发明的目的在于提供一种即时通讯中信息回放的方法和系统，以解决现有技术中对于多种媒体共存的应用场合中缺乏有效技术手段保存交流档案的缺陷。
本发明所采用的即时通讯中信息回放的方法为位于发送端的即时通讯工具通过即时通讯服务器与接收端的即时通讯工具建立信息连接，并将采集到的媒体信息发送至接收端的即时通讯工具，接收端对接收到的媒体信息进行保存，所保存的信息用于接收端对其进行回放；所述的发送端通过即时通讯服务器设定接收端对于所接收媒体信息的记录权限；所述的接收端的即时通讯工具将接收到的媒体信息写入媒体文件进行保存；所述的接收端的即时通讯工具首先对接收到的媒体信息数据流进行缓冲，经唇音同步及交错处理，通过媒体流封包后，将其写入媒体文件；所述的位于发送端的即时通讯工具通过实时传输协议RTP和实时传输控制协议RTCP与接收端的即时通讯工具完成网络传输；所述的位于发送端的即时通讯工具将采集到的多媒体信息中的音/视频信号分离为独立的音频和视频数据，并分别进行编码压缩；所述的位于发送端的即时通讯工具将采集到的媒体信息进行编码压缩成数据块后，将其发送至接收端，接收端的即时通讯工具对接收到的数据块进行相应的解码，并进行即时播放/显示。
这种实现上述方法的即时通讯中信息回放的系统，包括即时通讯工具、即时通讯服务器，以及网络传输系统，其特征在于所述的即时通讯工具中包括数据采集模块、编码压缩模块、数据保存模块和回放模块，其中所述的数据采集模块采集媒体信息；所述的编码压缩模块对所述的媒体信息进行编码、压缩处理；所述的数据保存模块保存接收到的媒体信息，并向回放模块提供用于回放的媒体文件；所述的回放模块对媒体文件进行相应的解码，用于相应的播放/显示；所述的即时通讯工具中还包括即时解码模块，该即时解码模块通过其中的文本解码器、音频解码器和视频解码器对接收到的文字、音频和视频信息分别进行即时解码，并进行即时播放/显示；所述的编码压缩模块中包括文本编码器、音频编码器和视频编码器，所述的文本编码器、音频编码器和视频编码器分别对文字、音频和视频信息进行编码、压缩处理，并将信息传输至网络传输系统；所述的回放模块中包括交叉存取数据流分离器和回放解码模块，所述的交叉存取数据流分离器用于将媒体文件中的文字/音频/视频数据分离为独立的文字/音频/视频流数据，回放解码模块用于数据的解码及播放/显示；所述的回放解码模块中包括回放文本解码器、回放音频解码器和回放视频解码器，分别用于文字、音频和视频流数据的解码；所述的数据采集模块中还具有分离器，该分离器将多媒体文件中的音/视频信息分离为独立的音频和视频信息数据。
本发明的有益效果为在本发明中，位于发送端的即时通讯工具通过即时通讯服务器与接收端的即时通讯工具建立信息连接，并将采集到的媒体信息发送至接收端的即时通讯工具，接收端对接收到的媒体信息进行保存，所保存的信息用于接收端对其进行回放，这样，对于多种媒体共存的应用场合中，比如会议记录、讨论等，接收端的即时通讯工具可以保存交流档案，即媒体信息，并进行回放。即时通讯工具对接收到的媒体信息数据流进行缓冲，经唇音同步及交错处理，可防止对保存的媒体文件回放的时候出现唇音不同步的情况，提高本发明的实用性。本发明通过实时传输协议和实时传输控制协议完成网络传输和控制，保证了媒体信息实时传输的高效、连续和可靠性，总之，本发明提供了一种即时通讯中信息回放的方法和系统，使即时通讯服务适用于多种媒体共存的应用场合中需要保存交流档案的情况，扩展了即时通讯服务的应用范围。
图1为本发明系统结构示意图；图2为本发明中媒体信息保存、回放的构成示意图；图3为本发明中媒体信息即时播放/显示的构成示意图；图4为本发明中即时通讯工具中信息接收部分的构成示意图。
具体实施例方式
下面根据附图和实施例对本发明作进一步详细说明根据图1、图2、图3和图4，本发明包括即时通讯工具1、即时通讯服务器2，以及网络传输系统3，即时通讯工具1中包括数据采集模块11、编码压缩模块12、即时解码模块13、数据保存模块14和回放模块15。
其中数据采集模块11采集媒体信息，如图3所示，媒体信息包括音/视频信息和发送端A与接收端B之间相应的即时通讯文字交流信息，音/视频信息的来源可以为麦克风、摄像头、摄像机或多媒体文件，如WAV，MP3，AVI，VCD/DVD、MPEG视频文件等，在本发明中，发送端A的即时通讯工具1将采集到的多媒体信息中的音/视频信号分离为独立的音频和视频数据，并分别进行编码压缩，如图3所示，数据采集模块11中具有分离器111，该分离器111将多媒体文件中的音/视频信息分离为独立的音频和视频信息数据。
如图1、图2和图3所示，编码压缩模块12中包括文本编码器121、音频编码器122和视频编码器123，编码压缩模块12对媒体信息进行编码、压缩处理，其中，文本编码器121、音频编码器122和视频编码器123分别对文字、音频和视频信息进行编码、压缩处理，并将信息传输至网络传输系统3。
如图2、图3和图4所示，即时通讯工具1中包括即时解码模块13，该即时解码模块13通过其中的文本解码器131、音频解码器132和视频解码器133对接收到的音频和视频信息分别进行即时解码，并进行即时播放/显示。
如图1、图2和图4所示，数据保存模块14以媒体文件的形式保存接收到的媒体信息，并向回放模块15提供用于回放的媒体文件，回放模块15对媒体文件进行相应的解码，用于相应的播放/显示，其中，回放模块15中包括交叉存取数据流分离器151和回放解码模块152，交叉存取数据流分离器151用于将媒体文件中的文字/音频/视频数据分离为独立的文字/音频/视频流数据，回放解码模块152用于数据的解码及播放/显示，具体而言，回放解码模块152中所包括的回放文本解码器1521、回放音频解码器1522和回放视频解码器1523，分别用于文字、音频和视频流数据的解码。
如图1和图2所示，发送端A的即时通讯工具1通过即时通讯服务器2与接收端B的即时通讯工具1建立信息连接，例如，建立信息连接的过程可如下首先，发送端A/接收端B向即时通讯服务器2申请和接收端B/发送端A建立连接，则即时通讯服务器2在发送端A和接收端B之间建立连接，可能是直接连接，也可能通过其他服务器中转，视发送端A和接收端B之间的网络传输系统3的状况而定。如果建立连接成功，发送端A播放(采集)音/视频，同时将音/视频信息通过编码压缩模块12进行编码压缩，然后通过网络传输系统3发送到接收端B，接收端B对收到的数据进行解码，然后播放音频和显示视频，这样就完成了发送端A和接收端B之间的连接。
在发送端A和接收端B的即时通讯过程中，发送端A可通过即时通讯服务器2设定接收端B对于所接收媒体信息的记录权限，权限可为可记录或不可记录。
然后，接收端B向即时通讯服务器2申请记录该会话过程中发送端A的信息，即时通讯服务器2检验接收端B的可记录权限，如果权限为可记录，则接收端B的申请成功；如果权限为不可记录，则可通过即时通讯服务器2向发送端A转发接收端B的记录请求，由发送端A决定通过或拒绝接收端B的申请。如果申请成功，则接收端B通过了记录文字/音频/视频会话过程的申请。
这时，如图1、图2和图4所示，发送端A将采集到的媒体信息发送至接收端B的即时通讯工具1，接收端B开始记录文字/音频/视频会话过程，即对接收到的媒体信息进行保存，所保存的信息可用于接收端B对其进行回放。
记录过程具体如下接收端B即时通讯工具1中的数据保存模块14以媒体文件的形式保存接收到的媒体信息，数据保存模块14首先对接收到的媒体信息数据流进行缓冲，经唇音同步及交错处理，这样可防止对保存的媒体文件回放的时候出现唇音不同步的情况，再通过媒体流封包后，将其写入媒体文件，数据处理参数如下视频流的格式128×96，176×144，352×288或其他尺寸，帧率1～25帧/秒。
音频流格式样本容量8bits，单声道，采样频率16kHz，或可其他标准音频格式。
文字流格式每秒最多5条，每条不超过256个字符。
媒体流的封包格式如下第1byte为媒体的编码类型(编码器类型)，第2～3bytes为数据的有效长度，第4byte开始便为有效数据。
当接收端B对所保存的媒体信息回放时，如图1、图2和图4所示1、回放模块15打开数据保存模块14提供的媒体文件，读取文件数据，送至交叉存取数据流分离器151，将交互存储在文件里的文字/音频/视频数据分离为独立的文字/音频/视频流数据。
2、文字/音频/视频流数据分别送到对应的回放文本解码器1521、回放音频解码器1522和回放视频解码器1523中。
3、从回放音频解码器1522解码处理后的音频数据送到声卡进行播放，从回放视频解码器1523解码处理后的视频数据送到显示卡在显示屏上进行显示，从回放文本解码器1521解码以后的文字流直接在显示屏上显示。
这样，接收端B就实现了对所保存的信息进行回放。
在本发明中，如图1、图2、图3和图4所示，接收端B中的即时解码模块13可即时接收发送端A所发送的媒体信息，即时解码模块13通过其中的文本解码器131、音频解码器132和视频解码器133对接收到的文字、音频和视频信息分别进行即时解码，并进行即时播放/显示。
在本发明的网络传输中，发送端A将数据采集模块11采集到的音/视频信息通过编码压缩模块12进行编码、压缩成数据块，如，对每一帧采集到的音/视频数据编码压缩为一个单独的数据块，然后，通过网络传输系统3将其发送至接收端B即时通讯工具1中的即时解码模块13，即时解码模块13对接收到的音/视频数据块进行相应的解码解压缩处理，并进行相应的即时播放/显示，在网络传输时，发送端A的即时通讯工具1通过实时传输协议RTP，即real-time transport protocol和实时传输控制协议RTCP，即Real-time Transport Control Protocol与接收端B的即时通讯工具1进行数据交互、传输、控制，完成网络传输，在实时传输协议RTP中，在RTP数据包头填充帧的信息，如视频尺寸，压缩质量，序列码等信息，这些信息用于接收端B进行数据解码，实时传输控制协议RTCP根据网络带宽控制音/视频的流量，实时传输控制协议RTCP和实时传输协议RTP一起提供流量控制和拥塞控制服务，在RTP会话期间，各参与者周期性地传送RTCP包，RTCP包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，发送端A利用这些信息动态地改变传输速率或传输质量，实时传输协议RTP和实时传输控制协议RTCP配合使用，能实现有效的反馈和最小的开销使传输效率最佳化，从而防止传送音/视频流的同时因为网络带宽的因素而影响到即时通讯服务的质量，也不会因基于保证即时通讯服务质量而浪费很多带宽，从而影响到接收端B即时通讯工具1的音/视频回放质量。
在上述的实施例中，详述了一个接收端B实现对发送端A所发送的媒体信息的保存、回放及即时播放/显示，实际上，发送端A可同时对多个接收端发送媒体信息，其他的接收端对于媒体信息的处理过程与上述接收端B的处理过程相同，此处不再赘述，总之，发送端A可同时对多个接收端发送媒体信息，所述的多个接收端可通过以上所述实现对发送端A所发送的媒体信息的保存、回放及即时播放/显示。
权利要求
1.一种即时通讯中信息回放的方法，其特征在于位于发送端的即时通讯工具通过即时通讯服务器与接收端的即时通讯工具建立信息连接，并将采集到的媒体信息发送至接收端的即时通讯工具，接收端对接收到的媒体信息进行保存，所保存的信息用于接收端对其进行回放。
2.根据权利要求1所述的即时通讯中信息回放的方法，其特征在于所述的发送端通过即时通讯服务器设定接收端对于所接收媒体信息的记录权限。
3.根据权利要求1所述的即时通讯中信息回放的方法，其特征在于所述的接收端的即时通讯工具将接收到的媒体信息写入媒体文件进行保存。
4.根据权利要求3所述的即时通讯中信息回放的方法，其特征在于所述的接收端的即时通讯工具首先对接收到的媒体信息数据流进行缓冲，经唇音同步及交错处理，通过媒体流封包后，将其写入媒体文件。
5.根据权利要求1所述的即时通讯中信息回放的方法，其特征在于所述的位于发送端的即时通讯工具通过实时传输协议(RTP)和实时传输控制协议(RTCP)与接收端的即时通讯工具完成网络传输。
6.根据权利要求1所述的即时通讯中信息回放的方法，其特征在于所述的位于发送端的即时通讯工具将采集到的多媒体信息中的音/视频信号分离为独立的音频和视频数据，并分别进行编码压缩。
7.根据权利要求1或2或3或4或5或6所述的即时通讯中信息回放的方法，其特征在于所述的位于发送端的即时通讯工具将采集到的媒体信息进行编码压缩成数据块后，将其发送至接收端，接收端的即时通讯工具对接收到的数据块进行相应的解码，并进行即时播放/显示。
8.一种实现权利要求1所述方法的即时通讯中信息回放的系统，包括即时通讯工具(1)、即时通讯服务器(2)，以及网络传输系统(3)，其特征在于所述的即时通讯工具(1)中包括数据采集模块(11)、编码压缩模块(12)、数据保存模块(14)和回放模块(15)，其中所述的数据采集模块(11)采集媒体信息；所述的编码压缩模块(12)对所述的媒体信息进行编码、压缩处理；所述的数据保存模块(14)保存接收到的媒体信息，并向回放模块(15)提供用于回放的媒体文件；所述的回放模块(15)对媒体文件进行相应的解码，用于相应的播放/显示。
9.根据权利要求8所述的即时通讯中信息回放的系统，其特征在于所述的即时通讯工具(1)中还包括即时解码模块(13)，该即时解码模块(13)通过其中的文本解码器(131)、音频解码器(132)和视频解码器(133)对接收到的文字、音频和视频信息分别进行即时解码，并进行即时播放/显示。
10.根据权利要求8所述的即时通讯中信息回放的系统，其特征在于所述的编码压缩模块(12)中包括文本编码器(121)、音频编码器(122)和视频编码器(123)，所述的文本编码器(121)、音频编码器(122)和视频编码器(123)分别对文字、音频和视频信息进行编码、压缩处理，并将信息传输至网络传输系统(3)。
11.根据权利要求8所述的即时通讯中信息回放的系统，其特征在于所述的回放模块(15)中包括交叉存取数据流分离器(151)和回放解码模块(152)，所述的交叉存取数据流分离器(151)用于将媒体文件中的文字/音频/视频数据分离为独立的文字/音频/视频流数据，回放解码模块(152)用于数据的解码及播放/显示。
12.根据权利要求11所述的即时通讯中信息回放的系统，其特征在于所述的回放解码模块(152)中包括回放文本解码器(1521)、回放音频解码器(1522)和回放视频解码器(1523)，分别用于文字、音频和视频流数据的解码。
13.根据权利要求8所述的即时通讯中信息回放的系统，其特征在于所述的数据采集模块(11)中还具有分离器(111)，该分离器(111)将多媒体文件中的音/视频信息分离为独立的音频和视频信息数据。
全文摘要
一种涉及电通信技术的即时通讯中信息回放的方法和系统，位于发送端的即时通讯工具通过即时通讯服务器与接收端的即时通讯工具建立信息连接，并将采集到的媒体信息发送至接收端的即时通讯工具，接收端对接收到的媒体信息进行保存，所保存的信息用于接收端对其进行回放；发送端通过即时通讯服务器设定接收端对于所接收媒体信息的记录权限；接收端的即时通讯工具首先对接收到的媒体信息数据流进行缓冲，经唇音同步及交错处理，通过媒体流封包后，将其写入媒体文件，本发明提供了一种即时通讯中信息回放的实现方法和系统，使即时通讯服务适用于多种媒体共存的应用场合中需要保存交流档案的情况，扩展了即时通讯服务的应用范围。
文档编号H04L29/12GK1625161SQ20031011246
公开日2005年6月8日 申请日期2003年12月2日 优先权日2003年12月2日
发明者伍海君, 吴波, 刘念, 李强 申请人:腾讯科技(深圳)有限公司