高清双流视频的传输方法、发送端、接收端及传输系统与流程

文档序号:15455912发布日期:2018-09-15 01:05阅读:1490来源:国知局

本发明涉及通信技术领域,尤其涉及一种高清双流视频的传输方法、发送端、接收端及传输系统。



背景技术:

双流技术是针对视频会议中数据应用的要求而专门开发出的先进技术,它通过一个呼叫带宽实现视频、音频和数据的同步传送,让与会者在观看发言人图形,听到发言人声音的同时观看到发言人计算机的活动图形;还可以高清晰的分辨率将图像信息显示出来。视频会议双流就是在开会时发送两路视频流到对端:其中一路是通过摄像头采集开会会场场景的主视频,另一路是个人计算机/笔记本屏幕或其上的word/ppt等办公文档,或dvd等设备上的音/视频。

高清视频会议终端给我们带来更加清晰/逼真的视听效果的同时,其海量的视频数据流也对当前的网络传输环境提出了更大的挑战。比如,采用标准的h.264mainprofile压缩算法的单路高清视频1080p全实时(25fps)需要的网络带宽至少在4mbps以上。而在实际应用中,由于网络带宽和负载的原因,在大并发情况下,极易造成视频卡顿,不流畅的现象。而对于支持高清双流视频的电视会议终端来说,两路视频若都使用高清以上对应的视频码流传输,则更容易导致视频卡顿的现象,如此,将严重降低用户的体验。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本发明的主要目的在于提供一种高清双流视频的传输方法、发送端、接收端及传输系统,旨在解决高清双流视频面临的播放卡顿、不流畅问题,以提高用户体验。

为实现上述目的,本发明提供的一种高清双流视频的传输方法,所述高清双流视频的传输方法包括以下步骤:

发送端向视频会议终端设备的接收端发送第一预定码率的第一路视频以及第二路视频;

在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧;

所述发送端将编码完成的视频数据打包并发送至所述接收端。

优选地,所述在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧的步骤包括:

在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,根据所述当前带宽信息获取带宽余量,根据所述网络传输信息获取网络丢包率;

比较所述带宽余量与第一预定阈值之间的大小关系,以及所述网络丢包率与第二预定阈值之间的大小关系;

在所述带宽余量大于第一预定阈值,且网络丢包率小于第二预定阈值时,所述发送端以第二预定码率编码余下视频画面帧。

优选地,所述高清双流视频的传输方法还包括:

在接收到第二路视频的画面切换指令时,若所述接收端已接收到待切换画面,则所述发送端发送跳转指示消息至所述接收端,以令所述接收端根据所述跳转指示消息跳转至相应画面。

优选地,所述高清双流视频的传输方法还包括:

在接收到第二路视频的画面切换指令时,若所述接收端未接收到待切换画面,则所述发送端以第二预定码率编码余下视频画面帧,并将编码完成的视频数据打包发送至所述接收端。

为实现上述目的,本发明还提供一种高清双流视频的传输方法,所述高清双流视频的传输方法包括以下步骤:

视频会议终端设备的接收端接收发送端发送的第一预定码率的第一路视频以及第二路视频;

所述接收端向所述发送端反馈当前的带宽信息以及网络传输信息;

若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,接收所述发送端以第二预定码率编码的余下视频画面帧数据。

优选地,所述高清双流视频的传输方法还包括:

在接收到第二路视频的画面切换指令时,若所述接收端已接收到待切换画面,则在接收到所述发送端发送的跳转指示消息时,所述接收端根据所述跳转指示消息跳转至相应画面。

优选地,所述接收端根据所述跳转指示消息跳转至相应画面的步骤包括:

所述接收端对所述跳转指示消息进行解析,提取待跳转的画面号以及画面位置;

根据提取的待跳转的画面号以及画面位置,查找对应的视频画面;

从缓存中提取出对应的视频画面进行显示。

为实现上述目的,本发明还提供一种视频会议终端设备的发送端,所述视频会议终端设备的发送端包括:

发送模块,用于向视频会议终端设备的接收端发送第一预定码率的第一路视频以及第二路视频;

编码模块,用于在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧;

所述发送模块,还用于所述发送端将编码完成的视频数据打包并发送至所述接收端。

优选地,所述编码模块包括:

获取单元,用于在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,根据所述当前带宽信息获取带宽余量,根据所述网络传输信息获取网络丢包率;

比较单元,用于比较所述带宽余量与第一预定阈值之间的大小关系,以及所述网络丢包率与第二预定阈值之间的大小关系;

编码单元,用于在所述带宽余量大于第一预定阈值,且网络丢包率小于第二预定阈值时,所述发送端以第二预定码率编码余下视频画面帧。

优选地,所述发送模块还用于:

在接收到第二路视频的画面切换指令时,若所述接收端已接收到待切换画面,则所述发送端发送跳转指示消息至所述接收端,以令所述接收端根据所述跳转指示消息跳转至相应画面。

优选地,所述发送模块还用于:

在接收到第二路视频的画面切换指令时,若所述接收端未接收到待切换画面,则所述发送端以第二预定码率编码余下视频画面帧,并将编码完成的视频数据打包发送至所述接收端。

为实现上述目的,本发明还提供一种视频会议终端设备的接收端,所述视频会议终端设备接收端包括:

接收模块,用于视频会议终端设备的接收端接收发送端发送的第一预定码率的第一路视频以及第二路视频;

反馈模块,用于所述接收端向所述发送端反馈当前的带宽信息以及网络传输信息;

所述接收模块,用于若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,接收所述发送端以第二预定码率编码的余下视频画面帧数据。

优选地,所述接收端还包括:

跳转模块,用于在接收到第二路视频的画面切换指令时,若所述接收端已接收到待切换画面,则在接收到所述发送端发送的跳转指示消息时,根据所述跳转指示消息跳转至相应画面。

优选地,所述跳转模块包括:

提取单元,用于所述接收端对所述跳转指示消息进行解析,提取待跳转的画面号以及画面位置;

查找单元,用于根据提取的待跳转的画面号以及画面位置,查找对应的视频画面;

显示单元,用于从缓存中提取出对应的视频画面进行显示。

为实现上述目的,本发明还提供一种传输系统,所述传输系统包括如上所述的视频会议终端设备的发送端,以及如上所述的视频会议终端设备的接收端。

本发明提供的高清双流视频的传输方法、发送端、接收端以及传输系统,通过发送端向视频会议终端设备的接收端发送第一预定码率的第一路视频以及第二路视频,在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,以第二预定码率编码余下视频画面,并将编码完成的视频数据打包并发送至所述接收端。这样,可以在保证视频质量的情况下,充分利用网络带宽,提升双流视频中的视频清晰度,也可避免在带宽利用瞬时峰值时的视频卡顿、不流畅的现象。

附图说明

图1为本发明高清双流视频的传输方法第一实施例的流程示意图;

图2为图1中步骤在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧的细化流程示意图;

图3为本发明高清双流视频的传输方法第二实施例的流程示意图;

图4为本发明高清双流视频的传输方法第三实施例的流程示意图;

图5为本发明高清双流视频的传输方法第四实施例的流程示意图;

图6为本发明高清双流视频的传输方法第五实施例的流程示意图;

图7为图6中步骤s24中接收端根据所述跳转指示消息跳转至相应画面的细化流程示意图;

图8为本发明视频会议终端设备的发送端的功能模块示意图;

图9为图8中编码模块的细化功能模块示意图;

图10为本发明视频会议终端设备的接收端第一实施例的功能模块示意图;

图11为本发明视频会议终端设备的接收端第二实施例的功能模块示意图;

图12为图11中跳转模块的细化功能模块示意图;

图13为本发明传输系统一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明提供一种高清双流视频的传输方法,参照图1,在一实施例中,所述高清双流视频的传输方法包括:

步骤s11、发送端向视频会议终端设备的接收端发送第一预定码率的第一路视频以及第二路视频;

本实施例中,视频会议的终端设备发送端和接收端需要打开双流模式,发送端可以发送两路视频流到接收端:第一路为通过摄像头采集开会会场场景的主视频,第二路为个人计算机/笔记本屏幕或其上的word/ppt等办公文档,或dvd等设备上的音/视频。其中,第一路主视频的形式不限;发送端传送的第二路高清视频,为相对于摄像头采集的主视频而言的静态视频,此处的相对静态视频,是指视频的每帧画面都是固定不变的,比如ppt,每一页ppt都是已知不会再发生改变的;或比如一部视频或录像,其每一帧的画面都是不会发生改变的。如个人计算机/笔记本屏幕或其上的word/ppt等文档,还可以为图片/相册、录像/动画等,其都为可存储、只读的内容。

本实施例中,随着视频图像的清晰度由标清、高清到超清,其对应的视频码率不断增大至1mbps,2mbps,4mbps,6mbps,8mbps,10mbps或以上。本优选实施例中,第一预定码率为预定高码率,可以设置为4mbps及以上,具体可以根据实际需要合理设置,本发明对此不作具体限定。

步骤s12、在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧;

本实施例中,接收端在接收到发送端传送的双流视频时,会统计带宽信息以及网络传输信息,并反馈给发送端,其中,带宽信息包括总带宽大小、视音频信道带宽分配比重、实际网口带宽、当前的带宽利用率等,而网络传输信息包括网络丢包数、网络丢包率等。

在所述接收端完成相关带宽信息以及网络传输信息的统计后,即会将该双流视频缓存成一定大小的数据包,以便随时调用显示。在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧。其中,第二预定码率为预定低码率,可以设置为4mbps以下,如1mbps,2mbps等,具体可以根据实际需要合理设置,本发明对此不作具体限定。

步骤s13、所述发送端将编码完成的视频数据打包并发送至所述接收端。

本实施例中,当第二路高清视频停留在某个静止画面时,这时视频码流所占用的带宽相对较少,此时接收端反馈带宽利用情况给发送端,发送端根据接收端反馈的当前的带宽信息以及网络传输信息,在判断带宽有余量且网络丢包率较低时,使用第二预定码率编码剩余视频画面,并利用多余的带宽预先传送给接收端。在发送端完成编码,即将视频数据打包并发送至接收端,以便接收端从缓存中提取出视频进行显示。

本发明提供的高清双流视频的传输方法,发送端向视频会议终端设备的接收端发送第一预定码率的第一路视频以及第二路视频,在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,以第二预定码率编码余下视频画面,并将编码完成的视频数据打包并发送至所述接收端。这样,可以在保证视频质量的情况下,充分利用网络带宽,提升双流视频中的视频清晰度,也可避免在带宽利用瞬时峰值时的视频卡顿、不流畅的现象。

在一实施例中,如图2所示,在上述图1所示的实施例基础上,所述步骤s12包括:

步骤s121、在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,根据所述当前带宽信息获取带宽余量,根据所述网络传输信息获取网络丢包率;

步骤s122、比较所述带宽余量与第一预定阈值之间的大小关系,以及所述网络丢包率与第二预定阈值之间的大小关系;

本实施例中,发送端需进行两次决策:第一次决策,判断当前是否处于双流模式,第二路视频的视频源类型是否等于静态视频类型,若都是,则进行第二次决策,否则继续按原视频标准编码和传输视频流;第二次决策,判断带宽余量与第一预定阈值之间的大小关系,以及所述网络丢包率与第二预定阈值之间的大小关系。

步骤s123、在所述带宽余量大于第一预定阈值,且网络丢包率小于第二预定阈值时,所述发送端以第二预定码率编码余下视频画面帧。

本实施例中,若带宽余量大于第一预定阈值如20%(可由接入终端数、呼叫速率、网络带宽和拟定的参考比等参数综合计算得出),且网络丢包率小于第二预定阈值如1,则发送端以相对较低的第二预定码率编码余下视频画面帧。否则,继续按原视频标准编码和传输视频流。其中,第二预定码率可设置为4mbps以下,具体可以根据实际需要合理设置,本发明对此不作具体限定。

在一实施例中,如图3所示,在上述图1所示的实施例基础上,所述高清双流视频的传输方法还包括:

步骤s14、在接收到第二路视频的画面切换指令时,若已接收到待切换画面,则所述发送端发送跳转指示消息至所述接收端,以令所述接收端根据所述跳转指示消息跳转至相应画面。

本实施例中,当第二路视频要跳转到下一个画面时,发送端发送跳转指示消息给接收端,跳转指示消息是指帧数或包序号等变化量参数(如ppt的第几页)。

本实施例中,若是用户要切换的该画面已经发送给了接收端,则该数据不需要再发送,发送端只需要发送画面跳转指示消息,通知接收端跳转到对应的位置。这样,可以避免发送数据量大的画面数据,只需要发送数据量很小的控制消息即可。

在另一实施例中,如图4所示,在上述图1所示的实施例基础上,所述高清双流视频的传输方法还包括:

步骤s15、在接收到第二路视频的画面切换指令时,若所述接收端未接收到待切换画面,则所述发送端以第二预定码率编码余下视频画面帧,并将编码完成的视频数据打包发送至所述接收端。

本实施例中,在接收到第二路视频的画面切换指令时,若所述接收端未接收到待切换画面,也就是用户要切换的该画面还没发送给接收端,则发送端需要以相对较低的第二预定码率编码余下视频画面帧,并将编码完成的视频数据打包发送至所述接收端。

本发明还提供一种高清双流视频的传输方法,参照图5,在一实施例中,所述高清双流视频的传输方法包括以下步骤:

步骤s21、视频会议终端设备的接收端接收发送端发送的第一预定码率的第一路视频以及第二路视频;

本实施例中,视频会议的终端设备发送端和接收端需要打开双流模式,发送端可以发送两路视频流到接收端:第一路为通过摄像头采集开会会场场景的主视频,第二路为个人计算机/笔记本屏幕或其上的word/ppt等办公文档,或dvd等设备上的音/视频。其中,第一路主视频的形式不限;发送端传送的第二路高清视频,为相对于摄像头采集的主视频而言的静态视频,此处的相对静态视频,是指视频的每帧画面都是固定不变的,比如ppt,每一页ppt都是已知不会再发生改变的;或比如一部视频或录像,其每一帧的画面都是不会发生改变的。如个人计算机/笔记本屏幕或其上的word/ppt等文档,还可以为图片/相册、录像/动画等,其都为可存储、只读的内容。

本实施例中,随着视频图像的清晰度由标清、高清到超清,其对应的视频码率不断增大至1mbps,2mbps,4mbps,6mbps,8mbps,10mbps或以上。本优选实施例中,第一预定码率为预定高码率,可以设置为4mbps及以上,具体可以根据实际需要合理设置,本发明对此不作具体限定。

步骤s22、所述接收端向所述发送端反馈当前的带宽信息以及网络传输信息;

本实施例中,接收端在接收到发送端传送的双流视频时,会统计带宽信息以及网络传输信息,并反馈给发送端,其中,带宽信息包括总带宽大小、视音频信道带宽分配比重、实际网口带宽、当前的带宽利用率等,而网络传输信息包括网络丢包数、网络丢包率等。

在所述接收端完成相关带宽信息以及网络传输信息的统计后,发送端即会将该双流视频缓存成一定大小的数据包,以便随时调用显示。在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧。其中,第二预定码率为预定低码率,可以设置为4mbps以下,如1mbps,2mbps等,具体可以根据实际需要合理设置,本发明对此不作具体限定。

步骤s23、若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,接收所述发送端以第二预定码率编码的余下视频画面帧数据。

本实施例中,当第二路高清视频停留在某个静止画面时,这时视频码流所占用的带宽相对较少,此时接收端反馈带宽利用情况给发送端,发送端根据接收端反馈的当前的带宽信息以及网络传输信息,在判断带宽有余量且网络丢包率较低时,使用第二预定码率编码剩余视频画面,并利用多余的带宽预先传送给接收端。在发送端完成编码,即将视频数据打包并发送至接收端,以便接收端从缓存中提取出视频进行显示。

本发明提供的高清双流视频的传输方法,通过视频会议终端设备的接收端接收发送端发送的预定码率的第一路视频以及第二路视频,所述接收端向所述发送端反馈当前的带宽信息以及网络传输信息,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,接收所述发送端以第二预定码率编码的余下视频画面帧数据。这样,可以在保证视频质量的情况下,充分利用网络带宽,提升双流视频中的视频清晰度,也可避免在带宽利用瞬时峰值时的视频卡顿、不流畅的现象。

在一实施例中,如图6所示,在上述图5所示的实施例基础上,所述高清双流视频的传输方法还包括:

步骤s24、在接收到第二路视频的画面切换指令时,若所述接收端已接收到待切换画面,则在接收到所述发送端发送的跳转指示消息时,所述接收端根据所述跳转指示消息跳转至相应画面。

本实施例中,当第二路视频要跳转到下一个画面时,发送端发送跳转指示消息给接收端,跳转指示消息是指帧数或包序号等变化量参数(如ppt的第几页)。

本实施例中,若是用户要切换的该画面已经发送给了接收端,则该数据不需要再发送,发送端只需要发送画面跳转指示消息,通知接收端跳转到对应的位置。这样,可以避免发送数据量大的画面数据,只需要发送数据量很小的控制消息即可。

本实施例中,接收端根据接收的第二路视频的画面消息匹配到相应的帧画面号和画面位置等参数,并根据对应的参数至跳转到相应帧画面。其中,发送端发送帧画面号和画面位置信息可以使用信令方式或在数据包中携带的方式,可以用rtp(realtimetransportprotocol,实时传输协议)或者rtcp(realtimetransportcontrolprotocol,rtp控制协议)传输。

在一实施例中,如图7所示,在上述图6所示的实施例基础上,所述步骤s24中接收端根据所述跳转指示消息跳转至相应画面的步骤包括:

步骤s241、所述接收端对所述跳转指示消息进行解析,提取待跳转的画面号以及画面位置;

本实施例中,接收端接收到跳转指示消息时,对其进行解析,包括帧数、画面号、画面位置、画面大小等,从中提取出待跳转的画面号、画面位置等信息。

步骤s242、根据提取的待跳转的画面号以及画面位置,查找对应的视频画面;

本实施例中,接收端在根据跳转指示消息提取出待跳转的画面号以及画面位置时,查找对应的视频画面。

步骤s243、从缓存中提取出对应的视频画面进行显示。

本实施例中,接收端从之前缓存的数据包中提取出对应的视频画面进行显示。本实施例提供的传输高清双流视频的方法,可以更充分地利用带宽,当视频网络传输情况良好且带宽利用率较低时,可以额外地传输余下的画面帧流,当之后的网络传输情况变差或带宽利用率高居不下时只须通过信令或其他方式通知接收端的画面跳转即可,这样,可以保证视频的清晰度和流畅性,还可以为第一路主视频留下更多的带宽余量。

本发明还提供一种视频会议终端设备的发送端10,参照图8,在一实施例中,所述视频会议终端设备的发送端10包括:

发送模块11,用于向视频会议终端设备的接收端发送第一预定码率的第一路视频以及第二路视频;

本实施例中,视频会议的终端设备发送端和接收端需要打开双流模式,发送端可以发送两路视频流到接收端:第一路为通过摄像头采集开会会场场景的主视频,第二路为个人计算机/笔记本屏幕或其上的word/ppt等办公文档,或dvd等设备上的音/视频。其中,第一路主视频的形式不限;发送端传送的第二路高清视频,为相对于摄像头采集的主视频而言的静态视频,此处的相对静态视频,是指视频的每帧画面都是固定不变的,比如ppt,每一页ppt都是已知不会再发生改变的;或比如一部视频或录像,其每一帧的画面都是不会发生改变的。如个人计算机/笔记本屏幕或其上的word/ppt等文档,还可以为图片/相册、录像/动画等,其都为可存储、只读的内容。

本实施例中,随着视频图像的清晰度由标清、高清到超清,其对应的视频码率不断增大至1mbps,2mbps,4mbps,6mbps,8mbps,10mbps或以上。本优选实施例中,第一预定码率为预定高码率,可以设置为4mbps及以上,具体可以根据实际需要合理设置,本发明对此不作具体限定。

编码模块12,用于在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧;

本实施例中,接收端在接收到发送端传送的双流视频时,会统计带宽信息以及网络传输信息,并反馈给发送端,其中,带宽信息包括总带宽大小、视音频信道带宽分配比重、实际网口带宽、当前的带宽利用率等,而网络传输信息包括网络丢包数、网络丢包率等。

在所述接收端完成相关带宽信息以及网络传输信息的统计后,即会将该双流视频缓存成一定大小的数据包,以便随时调用显示。在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧。其中,第二预定码率为预定低码率,可以设置为4mbps以下,如1mbps,2mbps等,具体可以根据实际需要合理设置,本发明对此不作具体限定。

所述发送模块11,还用于所述发送端将编码完成的视频数据打包并发送至所述接收端。

本实施例中,当第二路高清视频停留在某个静止画面时,这时视频码流所占用的带宽相对较少,此时接收端反馈带宽利用情况给发送端,发送端根据接收端反馈的当前的带宽信息以及网络传输信息,在判断带宽有余量且网络丢包率较低时,使用第二预定码率编码剩余视频画面,并利用多余的带宽预先传送给接收端。在发送端完成编码,即将视频数据打包并发送至接收端,以便接收端从缓存中提取出视频进行显示。

本发明提供的视频会议终端设备的发送端10,通过向视频会议终端设备的接收端发送第一预定码率的第一路视频以及第二路视频,在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,以第二预定码率编码余下视频画面,并将编码完成的视频数据打包并发送至所述接收端。这样,可以在保证视频质量的情况下,充分利用网络带宽,提升双流视频中的视频清晰度,也可避免在带宽利用瞬时峰值时的视频卡顿、不流畅的现象。

在一实施例中,如图9所示,在上述图8所示的实施例基础上,所述编码模块12包括:

获取单元121,用于在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,根据所述当前带宽信息获取带宽余量,根据所述网络传输信息获取网络丢包率;

比较单元122,用于比较所述带宽余量与第一预定阈值之间的大小关系,以及所述网络丢包率与第二预定阈值之间的大小关系;

本实施例中,发送端需进行两次决策:第一次决策,判断当前是否处于双流模式,第二路视频的视频源类型是否等于静态视频类型,若都是,则进行第二次决策,否则继续按原视频标准编码和传输视频流;第二次决策,判断带宽余量与第一预定阈值之间的大小关系,以及所述网络丢包率与第二预定阈值之间的大小关系。

编码单元123,用于在所述带宽余量大于第一预定阈值,且网络丢包率小于第二预定阈值时,所述发送端以第二预定码率编码余下视频画面帧。

本实施例中,若带宽余量大于第一预定阈值如20%(可由接入终端数、呼叫速率、网络带宽和拟定的参考比等参数综合计算得出),且网络丢包率小于第二预定阈值如1,则发送端以相对较低的第二预定码率编码余下视频画面帧。否则,继续按原视频标准编码和传输视频流。其中,第二预定码率可设置为4mbps以下,具体可以根据实际需要合理设置,本发明对此不作具体限定。

在一实施例中,在上述图8所示的实施例基础上,所述发送模块11还用于:

在接收到第二路视频的画面切换指令时,若所述接收端已接收到待切换画面,则所述发送端发送跳转指示消息至所述接收端,以令所述接收端根据所述跳转指示消息跳转至相应画面。

本实施例中,当第二路视频要跳转到下一个画面时,发送端发送跳转指示消息给接收端,跳转指示消息是指帧数或包序号等变化量参数(如ppt的第几页)。

本实施例中,若是用户要切换的该画面已经发送给了接收端,则该数据不需要再发送,发送端只需要发送画面跳转指示消息,通知接收端跳转到对应的位置。这样,可以避免发送数据量大的画面数据,只需要发送数据量很小的控制消息即可。

在另一实施例中,在上述图8所示的实施例基础上,所述发送模块11还用于:

在接收到第二路视频的画面切换指令时,若所述接收端未接收到待切换画面,则所述发送端以第二预定码率编码余下视频画面帧,并将编码完成的视频数据打包发送至所述接收端。

本实施例中,在接收到第二路视频的画面切换指令时,若所述接收端未接收到待切换画面,也就是用户要切换的该画面还没发送给接收端,则发送端需要以相对较低的第二预定码率编码余下视频画面帧,并将编码完成的视频数据打包发送至所述接收端。

本发明还提供一种视频会议终端设备的接收端20,参照图10,在一实施例中,所述视频会议终端设备接收端20包括:

接收模块21,用于视频会议终端设备的接收端接收发送端发送的第一预定码率的第一路视频以及第二路视频;

本实施例中,视频会议的终端设备发送端和接收端需要打开双流模式,发送端可以发送两路视频流到接收端:第一路为通过摄像头采集开会会场场景的主视频,第二路为个人计算机/笔记本屏幕或其上的word/ppt等办公文档,或dvd等设备上的音/视频。其中,第一路主视频的形式不限;发送端传送的第二路高清视频,为相对于摄像头采集的主视频而言的静态视频,此处的相对静态视频,是指视频的每帧画面都是固定不变的,比如ppt,每一页ppt都是已知不会再发生改变的;或比如一部视频或录像,其每一帧的画面都是不会发生改变的。如个人计算机/笔记本屏幕或其上的word/ppt等文档,还可以为图片/相册、录像/动画等,其都为可存储、只读的内容。

本实施例中,随着视频图像的清晰度由标清、高清到超清,其对应的视频码率不断增大至1mbps,2mbps,4mbps,6mbps,8mbps,10mbps或以上。本优选实施例中,第一预定码率为预定高码率,可以设置为4mbps及以上,具体可以根据实际需要合理设置,本发明对此不作具体限定。

反馈模块22,用于所述接收端向所述发送端反馈当前的带宽信息以及网络传输信息;

本实施例中,接收端在接收到发送端传送的双流视频时,会统计带宽信息以及网络传输信息,并反馈给发送端,其中,带宽信息包括总带宽大小、视音频信道带宽分配比重、实际网口带宽、当前的带宽利用率等,而网络传输信息包括网络丢包数、网络丢包率等。

在所述接收端完成相关带宽信息以及网络传输信息的统计后,发送端即会将该双流视频缓存成一定大小的数据包,以便随时调用显示。在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧。其中,第二预定码率为预定低码率,可以设置为4mbps以下,如1mbps,2mbps等,具体可以根据实际需要合理设置,本发明对此不作具体限定。

所述接收模块21,用于若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,接收所述发送端以第二预定码率编码的余下视频画面帧数据。

本实施例中,当第二路高清视频停留在某个静止画面时,这时视频码流所占用的带宽相对较少,此时接收端反馈带宽利用情况给发送端,发送端根据接收端反馈的当前的带宽信息以及网络传输信息,在判断带宽有余量且网络丢包率较低时,使用第二预定码率编码剩余视频画面,并利用多余的带宽预先传送给接收端。在发送端完成编码,即将视频数据打包并发送至接收端,以便接收端从缓存中提取出视频进行显示。

本发明提供的视频会议终端设备的接收端20,通过接收发送端发送的预定码率的第一路视频以及第二路视频,所述接收端向所述发送端反馈当前的带宽信息以及网络传输信息,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,接收所述发送端以第二预定码率编码的余下视频画面帧数据。这样,可以在保证视频质量的情况下,充分利用网络带宽,提升双流视频中的视频清晰度,也可避免在带宽利用瞬时峰值时的视频卡顿、不流畅的现象。

在一实施例中,如图11所示,在上述图10所示的实施例基础上,所述接收端20还包括:

跳转模块23,用于在接收到第二路视频的画面切换指令时,若所述接收端已接收到待切换画面,则在接收到所述发送端发送的跳转指示消息时,根据所述跳转指示消息跳转至相应画面。

本实施例中,当第二路视频要跳转到下一个画面时,发送端发送跳转指示消息给接收端,跳转指示消息是指帧数或包序号等变化量参数(如ppt的第几页)。

本实施例中,若是用户要切换的该画面已经发送给了接收端,则该数据不需要再发送,发送端只需要发送画面跳转指示消息,通知接收端跳转到对应的位置。这样,可以避免发送数据量大的画面数据,只需要发送数据量很小的控制消息即可。

本实施例中,接收端根据接收的第二路视频的画面消息匹配到相应的帧画面号和画面位置等参数,并根据对应的参数至跳转到相应帧画面。其中,发送端发送帧画面号和画面位置信息可以使用信令方式或在数据包中携带的方式,可以用rtp(realtimetransportprotocol,实时传输协议)或者rtcp(realtimetransportcontrolprotocol,rtp控制协议)传输。

在一实施例中,如图12所示,在上述图11所示的实施例基础上,所述跳转模块23包括:

提取单元231,用于所述接收端对所述跳转指示消息进行解析,提取待跳转的画面号以及画面位置;

本实施例中,接收端接收到跳转指示消息时,对其进行解析,包括帧数、画面号、画面位置、画面大小等,从中提取出待跳转的画面号、画面位置等信息。

查找单元232,用于根据提取的待跳转的画面号以及画面位置,查找对应的视频画面;

本实施例中,接收端在根据跳转指示消息提取出待跳转的画面号以及画面位置时,查找对应的视频画面。

显示单元233,用于从缓存中提取出对应的视频画面进行显示。

本实施例中,接收端从之前缓存的数据包中提取出对应的视频画面进行显示。本实施例提供的传输高清双流视频的方法,可以更充分地利用带宽,当视频网络传输情况良好且带宽利用率较低时,可以额外地传输余下的画面帧流,当之后的网络传输情况变差或带宽利用率高居不下时只须通过信令或其他方式通知接收端的画面跳转即可,这样,可以保证视频的清晰度和流畅性,还可以为第一路主视频留下更多的带宽余量。

本发明还提供一种传输系统100,参照图13,在一实施例中,所述传输系统100包括如上所述的视频会议终端设备的发送端10,以及如上所述的视频会议终端设备的接收端20。

本实施例中,发送端向视频会议终端设备的接收端发送第一预定码率的第一路视频以及第二路视频,接收端向所述发送端反馈当前宽带信息以及网络传输信息,而所述发送端在接收到所述接收端反馈的当前带宽信息以及网络传输信息时,若所述第二路视频的视频源类型为静态视频,则在所述当前的带宽信息以及网络传输信息满足预定条件时,所述发送端以第二预定码率编码余下视频画面帧,并将编码完成的视频数据打包并发送至所述接收端。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1