一种用于可视电话视频音频信号传输的装置及方法

文档序号:7954582阅读:247来源:国知局
专利名称:一种用于可视电话视频音频信号传输的装置及方法
技术领域
本发明涉及视频音频信号传输技术,特别涉及一种用于可视电话视频音频信号传输的装置和方法。
背景技术
IP网络的多媒体应用日益成熟和普及。这种多媒体网络是将音频传输系统、视频传输系统集成到数据传输网络的一种网络应用。它是以IP网络为基本传输网络,在此基础上构建音频、视频传输系统的一种网络结构。这种网络结构给我们提供了许多的多媒体应用,比如音频通话,视频会议,IPTV,电子白版等。一般多媒体网络的组网如图1所示,其中用户终端是用户使用的通讯和点播工具,可以是可视电话、机顶盒等等。图1中的流媒体服务器都属于各种应用服务器,用于支持视频会议,IPTV等业务。
在多媒体网络的众多业务中,有一种业务使用户通过可视电话可以进行呼叫通话。多媒体通讯的建立如图2所示,分为如下四个步骤步骤A,终端T1发起呼叫;步骤B,终端T2作为被叫应答T1;步骤C,双方交换设备信息;步骤D,通讯建立成功,双方交换多媒体数据。
在多媒体通讯过程中,可视电话的视频音频接收模块结构如图3所示,其中的视频解码模块和音频解码模块分别可以解码一路视频码流和一路音频码流,然后将视频音频数据传到显示屏和扬声器上进行播放。用户可以使用图3所示的终端T1观看视频点播,所述终端T1的视频点播的建立过程如图4所示,分为如下两个步骤
步骤A,终端T1与流媒体服务器建立连接,双方交换点播信息;步骤B,终端T1接收流媒体传来的影音数据。
如上所述的现有技术只能同时进行一路视频码流和一路音频码流的解码,当终端用户处于通话状态时就不能同时观看流媒体;当终端用户进行视频点播(即观看流媒体)时,如有来电,必须断开流媒体播放,才能接听来电。

发明内容
有鉴于此,本发明的主要目的在于提供一种用于可视电话视频音频信号传输的装置及方法,以解决用户不能使用一台终端同时播放流媒体和进行呼叫通话的问题。
为了达到上述目的,本发明提供了一种用于可视电话视频音频信号传输的装置,该装置包括以下模块IP接口模块,用于把IP网络传来的视频音频数据——通话码流和流媒体码流传送到对应的解码模块;视频解码模块1,用于对通话码流中的通话视频信号的解码;视频解码模块2,用于对流媒体码流中的流媒体视频信号的解码;音频解码模块1,用于对通话码流中的通话音频信号的解码;音频解码模块2,用于对流媒体码流中的流媒体音频信号的解码;视频同步模块,用于叠加和同步视频解码模块1解码后的通话视频信号与视频解码模块2解码后的流媒体视频信号这两路码流;混音器,用于混合音频解码模块1解码后的通话音频信号和音频解码模块2解码后的流媒体音频信号这两路码流。
所述视频同步模块将经过叠加同步的视频信号输入显示屏;所述的混音器将经过混音的音频信号输入扬声器。
所述视频同步模块由用户输入指令来选择同步叠加方式;所述的混音器由用户输入指令来选择混音方式。
所述视频同步模块输出的视频信号输入视频编码模块;所述混音器输出的音频信号输入音频编码模块;所述的视频编码模块和音频编码模块分别将所输出的视频信号和音频信号输入IP接口模块。
所述视频同步模块包括用来存放流媒体视频数据和通话视频数据的两个视频帧寄存器,所述任一寄存器被刷新,便进行一次叠加输出;若没有新数据输入寄存器,寄存器始终保存以前的视频数据。
本发明还提供了一种用于可视电话视频音频信号传输的方法,该方法包括步骤A,可视电话T1与流媒体服务器进行连接通信;步骤B,所述可视电话T1向可视电话T2发送呼叫请求;步骤C,T2的视频音频信号与流媒体服务器的视频音频信号通过视频同步模块与混音器后分别输入所述可视电话T1显示屏和扬声器。
所述步骤A进一步包括步骤A1,流媒体服务器的视频音频信号通过IP接口模块输入视频音频解码模块2;步骤A2,从视频音频解码模块2出来的流媒体服务器的视频音频信号分别通过视频同步模块与混音器后分别输入显示屏和扬声器。
所述步骤C进一步包括步骤C1,T2的视频音频信号通过IP接口模块输入视频音频解码模块;步骤C2,从视频音频解码模块1出来的T2的视频音频信号分别通过视频同步模块与混音器后分别输入显示屏和扬声器。
所述步骤C之后进一步包括步骤D,T1选择视频同步模块的叠加方式和混音器的混音方式。
所述步骤D之后进一步包括步骤E,可视电话T1挂断呼叫,视频音频解码模块1停止工作;步骤F,可视电话T1关闭流媒体,视频音频解码模块2停止工作。
采用本发明所提供的用于可视电话视频音频信号传输的装置及方法,可以在IP网络通讯中,用户终端在播放流媒体的同时不需要挂断正在播放的流媒体进行IP呼叫;在通话过程中,终端屏幕可采用画中画或分屏等方式显示,且终端用户能同时听到流媒体的音频信号和呼叫中对方的音频,从而保证了用户可以一边观看欣赏流媒体信息一边与对端用户进行音频视频聊天。


图1为现有技术中IP多媒体通讯组网示意图;图2为现有技术中IP多媒体通讯建立示意图;图3为多媒体视频音频接收模块架图;图4为观看流媒体示意图;图5为多媒体视频音频接收模块框架图;图6为播放流媒体期间发起呼叫示意图;图7为视频同步模块;图8为数据合成服务器方案组网图;图9为播放流媒体时发起呼叫替代方案示意图;图10为数据合成服务器视频音频处理模块框架图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚,下面结合附图及具体实施例对本发明作进一步地详细描述。
图5为本发明提出的可视电话设备的视频音频接收模块框架图,包括以下子模块IP接口模块用于把各端口采集到的IP网络传来的视频音频数据——通话码流和流媒体码流传送到对应的解码模块。
视频解码模块1用于对通话视频信号的解码。
视频解码模块2用于对流媒体视频信号的解码。
音频解码模块1用于对通话音频信号的解码。
音频解码模块2用于对流媒体音频信号的解码。
视频同步模块用于叠加和同步通话视频和流媒体视频这两路码流,使输出为可播放的视频图像到显示屏。
混音器用于混合通话对端音频和流媒体音频这两路码流,使输出为可播放的音频数据到扬声器。每路码流混合的比例由用户选择,即用户可以控制是通话的声音大还是流媒体的声音大,也可以完全只听一路码流的声音。
图6为播放流媒体期间发起呼叫示意图。T1、T2为两个用户终端可视电话,T1在播放流媒体期间发起呼叫T2的步骤为步骤A,T1与流媒体服务器进行连接通信。在IP接口模块的PORT01和PORT02,接收由流媒体服务器传来的影音码流。
步骤B,IP接口模块将PORT01的码流传送给视频解码模块2,将PORT02的码流传送给音频解码模块2。视频解码模块2和音频解码模块2开始工作,分别输出可显示的图像和可播放的音频。
步骤C,解码后的视频音频数据分别传入视频同步模块和混音器,依据用户的选择把数据传入显示屏和扬声器进行播放。此时T1可以选择是否播放视频,是否播放音频。
步骤D,T1呼叫T2,在IP接口模块的PORT03和PORT04,接收由呼叫对端T2发送来的视频音频码流。
步骤E,IP接口模块将PORT03的码流传送给视频解码模块1,将PORT04的码流传送给音频解码模块1。视频解码模块1和音频解码模块1开始工作,分别输出可显示的图像和可播放的音频传送给视频同步模块和混音器。
步骤F,两路视频数据,通过视频同步模块后发送到显示屏。视频同步模块的叠加方式由T1选择的默认方式。
步骤G,两路音频数据,通过混音器后发送到扬声器。混音器的混音方式由T1选择的默认方式。
步骤H,在通话过程中,T1可通过用户界面实时地对视频同步模块和混音器的工作方式进行配置。
步骤I,T1挂断呼叫。视频解码模块1和音频解码模块1停止工作。终端播放流媒体数据。
步骤J,T1关闭流媒体。视频解码模块2和音频解码模块2停止工作。终端关闭显示屏和扬声器。
通话期间用户观看流媒体的步骤与上述步骤类似,这里就不再叙述了。
视频同步模块结构如图7所示。本模块中有两个视频帧寄存器,分别用来存放流媒体图像数据和通话对端图像数据。任一寄存器被刷新,便进行一次叠加输出;若没有新数据传入寄存器,寄存器始终保存以前的图像数据。这样设计可解决两路视频帧率不相等时,显示屏上会出现某路视频却帧现象。用户可以控制叠加器的输出方式,支持分屏显示和画中画两种显示方式。
本发明的第二个实施例如图8所示,比图1多加了一个设备是数据合成服务器。当用户终端由于成本等因素不能提供多个视频音频解码模块,仅提供视频音频解码模块各一个,可在网络侧增加解码设备——数据合成服务器。在同时进行流媒体播放和通话时,可利用媒体改向功能,使流媒体服务器的多媒体码流和通话对端的视频音频码流发送到数据合成服务器,由数据合成服务器进行多路解码、视频叠加、音频混合等工作,再分别以一路视频码流和一路音频码流发送给用户终端(本方案中用户终端采用图3的结构)。这样也可以达到,同时播放流媒体同时通话的目的。
本实施例方案中用户终端播放流媒体时发起呼叫的流程如图9所示,步骤如下步骤A,两个用户终端可视电话T1与流媒体服务器正常通信,并成功观看流媒体。
步骤B,T1向两个用户终端可视电话T2发起呼叫,同时命令T2将视频音频码流发送到数据合成服务器。
步骤C,T1通知数据合成服务器开始工作。数据合成服务器开始接收由T2和流媒体服务器发送过来的视频音频数据。
步骤D,T1通知流媒体服务器将视频音频数据发送到数据合成服务器。
步骤E,T1向T2发送本端的视频音频数据。
步骤F,T1接收由数据合成服务器发送过来的合成视频音频数据。并显示与播放。
通话期间终端观看流媒体的步骤与上述步骤类似,这里就不再叙述了。
数据合成服务器的视频音频处理模块结构如图10所示,其中多媒体视频音频接收模块的结构功能同图5所示。数据合成服务器的工作流程为步骤A,数据合成服务器收到终端发来的启动命令后,开始工作准备接收视频音频码流。
步骤B,接收到终端和流媒体服务器发送来的视频音频码流后,经过多媒体视频音频接收模块处理后输出可用于播放的视频和音频数据。
步骤C,视频/音频编码模块进行编码,通过IP接口模块,发送给用户终端。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
权利要求
1.一种用于可视电话视频音频信号传输的装置,其特征在于,该装置包括以下模块IP接口模块,用于把IP网络传来的视频音频数据——通话码流和流媒体码流传送到对应的解码模块;视频解码模块1,用于对通话码流中的通话视频信号的解码;视频解码模块2,用于对流媒体码流中的流媒体视频信号的解码;音频解码模块1,用于对通话码流中的通话音频信号的解码;音频解码模块2,用于对流媒体码流中的流媒体音频信号的解码;视频同步模块,用于叠加和同步视频解码模块1解码后的通话视频信号与视频解码模块2解码后的流媒体视频信号这两路码流;混音器,用于混合音频解码模块1解码后的通话音频信号和音频解码模块2解码后的流媒体音频信号这两路码流。
2.根据权利要求1所述的可视电话视频音频信号传输的装置,其特征在于,所述视频同步模块将经过叠加同步的视频信号输入显示屏;所述的混音器将经过混音的音频信号输入扬声器。
3.根据权利要求1所述的可视电话视频音频信号传输的装置,其特征在于,所述视频同步模块由用户输入指令来选择同步叠加方式;所述的混音器由用户输入指令来选择混音方式。
4.根据权利要求1所述的可视电话视频音频信号传输的装置,其特征在于,所述视频同步模块输出的视频信号输入视频编码模块;所述混音器输出的音频信号输入音频编码模块;所述的视频编码模块和音频编码模块分别将所输出的视频信号和音频信号输入IP接口模块。
5.根据权利要求1至4任一权利要求所述的可视电话视频音频信号传输的装置,其特征在于,所述视频同步模块包括用来存放流媒体视频数据和通话视频数据的两个视频帧寄存器,所述任一寄存器被刷新,便进行一次叠加输出;若没有新数据输入寄存器,寄存器始终保存以前的视频数据。
6.本发明还提供了一种用于可视电话视频音频信号传输的方法,该方法包括步骤A,可视电话T1与流媒体服务器进行连接通信;步骤B,所述可视电话T1向可视电话T2发送呼叫请求;步骤C,T2的视频音频信号与流媒体服务器的视频音频信号通过视频同步模块与混音器后分别输入所述可视电话T1显示屏和扬声器。
7.根据权利要求6所述的一种用于可视电话视频音频信号传输的方法,其特征在于,所述步骤A进一步包括步骤A1,流媒体服务器的视频音频信号通过IP接口模块输入视频音频解码模块2;步骤A2,从视频音频解码模块2出来的流媒体服务器的视频音频信号分别通过视频同步模块与混音器后分别输入显示屏和扬声器。所述步骤C进一步包括步骤C1,T2的视频音频信号通过IP接口模块输入视频音频解码模块;步骤C2,从视频音频解码模块1出来的T2的视频音频信号分别通过视频同步模块与混音器后分别输入显示屏和扬声器。
8.根据权利要求6所述的一种用于可视电话视频音频信号传输的方法,其特征在于,所述步骤C之后进一步包括步骤D,T1选择视频同步模块的叠加方式和混音器的混音方式。
9.根据权利要求6所述的一种用于可视电话视频音频信号传输的方法,其特征在于,所述步骤D之后进一步包括步骤E,可视电话T1挂断呼叫,视频音频解码模块1停止工作;步骤F,可视电话T1关闭流媒体,视频音频解码模块2停止工作。
全文摘要
本发明公开了一种用于可视电话视频音频信号传输的装置,该装置包括以下模块IP接口模块、视频解码模块1、视频解码模块2、音频解码模块1、音频解码模块2、视频同步模块、混音器。视频同步模块用于叠加同步两路码流——通话视频信号和流媒体视频信号,混音器用于混音两路码流——通话音频信号和流媒体音频信号。本发明还公开了一种用于可视电话视频音频信号传输的方法。采用本发明所公开的技术方案,用户终端可以通过同一显示屏与扬声器,一边观赏流媒体信息一边与对端用户进行音频视频聊天。
文档编号H04N7/24GK1859566SQ200610033169
公开日2006年11月8日 申请日期2006年1月18日 优先权日2006年1月18日
发明者曾庆渝 申请人:华为技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1