媒体数据流的传输方法和装置与流程

文档序号:13673970阅读:228来源:国知局
技术领域本发明涉及通信领域,具体而言,涉及一种媒体数据流的传输方法和装置。

背景技术:
会议电视系统中,在IP点对点会议或MCU(MultipointControlUnit,多点控制单元)多点会议中,单个终端只支持一路主视频的编解码和一路辅视频的编解码,输入源可以是多路,但当前主视频只能选择一路进行编码并通过媒体通道传输给对端,对端进行解码后输出显示,会议中如果发送双流,画面中最多是一路主视频和一路辅视频以及本地画面的合成图像,如果需要看多路视频源的画面,则需要多个终端作为编码器进行多路的编码并需要内置MCU终端组多点会议或者是MCU上组多点多画面会议,才能看到多路画面的场景。

技术实现要素:
本发明提供了一种媒体数据流的传输方法及装置,以至少解决现有技术单个终端无法传输多路媒体数据流的问题。根据本发明的一个方面,提供了一种媒体数据流的传输方法,包括:终端与对端发起会话协商流程,并根据所述会话协商流程的协商结果开启第一媒体传输通道;根据所述协商结果中的媒体能力参数与所述对端协商得到媒体能力信息,其中,所述媒体能力参数表示所述终端支持至少两路媒体数据流的传输,所述媒体能力信息包括所述至少两路媒体数据流复用的路数;关闭所述第一媒体传输信道,并根据所述媒体数据流复用的路数与所述对端再次发起所述会话协商流程;根据所述再次发起的会话协商流程的协商结果开启第二媒体传输信道,并在所述第二媒体传输信道上传输所述至少两路媒体数据流。优选地,所述媒体能力协商响应消息还包括所述至少两个媒体数据流的数据流格式;在所述第二媒体传输信道上传输所述至少两路媒体数据流复用的路数后,还包括:根据所述至少两路媒体数据流复用的路数和所述数据流格式对所述传输的所述媒体数据流进行编码和解码。优选地,所述媒体能力信息还包括所述终端的第一网络时间协议NTP时间戳和所述对端的第二NTP时间戳;与所述对端再次发起所述会话协商流程包括:在确定所述第一NTP时间戳小于所述对端的第二NTP时间戳时,与所述对端再次发起所述会话协商流程。优选地,终端与对端发起会话协商流程包括:终端与所述对端发起基于会话初始化协议SIP协议的会话协商流程。优选地,终端与对端发起会话协商流程包括:终端与所述对端发起基于H323协议的会话协商流程。根据本发明的另一方面,提供了一种媒体数据流的装置,应用于终端,包括:会话发起模块,用于与对端发起会话协商流程;通道控制模块,用于在所述会话发起模块完成所述会话协商流程后,根据所述会话协商流程的协商结果开启第一媒体传输信道;协商模块,用于根据所述协商结果中的媒体能力参数与所述对端协商得到媒体能力信息,其中,所述媒体能力参数表示所述终端支持至少两路媒体数据流的传输,所述媒体能力信息包括所述至少两路媒体数据流复用的路数;所述通道控制模块,用于在所述协商模块得到所述媒体能力信息后,关闭所述第一媒体传输信道;所述会话发起模块,还用于在所述通道控制模块关闭所述第一媒体传输信道后,根据所述协商模块得到的媒体能力参数与所述对端再次发起所述会话协商流程;所述通道控制模块,还用于根据所述会话发起模块再次发起的会话协商流程的协商结果开启第二媒体传输信道;传输模块,用于在所述通道控制模块开启的所述第二媒体传输信道上传输所述至少两路媒体数据流。优选地,所述媒体能力协商响应消息还包括所述至少两个媒体数据流的数据流格式;所述装置还包括:处理模块,用于在所述传输模块在所述第二媒体传输信道上传输所述至少两路媒体数据流复用的路数后,根据所述至少两路媒体数据流复用的路数和所述数据流格式对所述传输的所述媒体数据流进行编码和解码。优选地,所述媒体能力信息还包括所述终端的第一网络时间协议NTP时间戳和所述对端的第二NTP时间戳;所述协商模块还用于,在确定所述第一NTP时间戳小于所述对端的第二NTP时间戳时,与所述对端再次发起所述会话协商流程。优选地,所述会话发起模块用于,与所述对端发起基于会话初始化协议SIP协议的会话协商流程。优选地,所述会话发起模块用于,与所述对端发起基于H323协议的会话协商流程。通过本发明,终端与对端发起会话协商流程,并根据该会话协商流程的协商结果开启第一媒体传输通道,并根据该终端的媒体能力参数与该对端协商得到媒体能力信息,其中,该媒体能力参数表示该终端支持至少两路媒体数据流的传输,该媒体能力信息包括该至少两路媒体数据流复用的路数,终端关闭该第一媒体传输信道,并根据该媒体数据流复用的路数与该对端再次发起该会话协商流程,并根据该再次发起的会话协商流程的协商结果开启第二媒体传输信道,并在该第二媒体传输信道上传输该至少两路媒体数据流,这样,由于终端与对端在协商中确定两端支持至少两路媒体数据流的复用,从而解决了单个终端无法传输多路媒体数据流的问题。附图说明此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:图1是根据本发明实施例的一种媒体数据流传输方法的流程图;图2a是根据本发明实施例的一种显示画面布局的示意图;图2b是根据本发明实施例的另一种显示画面布局的示意图;图2c是根据本发明实施例的另一种显示画面布局的示意图;图2d是根据本发明实施例的另一种显示画面布局的示意图;图2e是根据本发明实施例的另一种显示画面布局的示意图;图2f是根据本发明实施例的另一种显示画面布局的示意图;图2g是根据本发明实施例的另一种显示画面布局的示意图;图3是根据本发明实施例的另一种媒体数据流传输方法的流程图;图4是根据本发明实施例的另一种媒体数据流传输方法的流程图;图5是根据本发明实施例的一种传输装置的结构示意图;图6是根据本发明实施例的另一种传输装置的结构示意图。具体实施方式下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。在本实施例中提供了一种媒体数据流的传输方法,图1是根据本发明实施例的的流程图,如图1所示,该流程包括如下步骤:步骤S102,终端与对端发起会话协商流程,并根据该会话协商流程的协商结果开启第一媒体传输通道;步骤S104,根据该协商结果中的媒体能力参数与该对端协商得到媒体能力信息;其中,该媒体能力参数表示该终端支持至少两路媒体数据流的传输,该媒体能力信息包括该至少两路媒体数据流复用的路数。步骤S106,关闭该第一媒体传输信道,并根据该媒体数据流复用的路数与该对端再次发起该会话协商流程;步骤S108,根据该再次发起的会话协商流程的协商结果开启第二媒体传输信道,并在该第二媒体传输信道上传输该至少两路媒体数据流。通过上述步骤,由于终端与对端在协商中确定两端支持至少两路媒体数据流的复用,从而解决了单个终端无法传输多路媒体数据流的问题。需要说明的是,对端也会按照上述步骤S102至步骤S108进行媒体数据流的传输。另外,上述能力参数可以是音频能力参数AAC_LD_3640。优选地,该媒体能力协商响应消息还包括该至少两个媒体数据流的数据流格式,在该第二媒体传输信道上传输该至少两路媒体数据流复用的路数后,根据该至少两路媒体数据流复用的路数和该数据流格式对该传输的该媒体数据流进行编码和解码。其中,对端也会对接收到的媒体数据流进行编码和解码。需要说明的是,终端和对端对接收到的媒体数据流进行解码后,分别将解码后的媒体数据流传输至显示设备,该显示设备多画面合成布局,例如对于三路主媒体数据流和一路辅媒体数据流,显示设备根据需要能够显示终端的主媒体数据流1、主媒体数据流2和主媒体数据流3和对端的主媒体数据流1、主媒体数据流2和主媒体数据流3以及辅媒体数据流的大画面,以及pip(画中画)等不同布局的1~7个子画面组成的多画面。每一路画面的源可任意选择,终端上四个视频输入接口,不同的工作模式DVI(DigitalVisualInterface,数字视频接口)、HDMI(HighDefinitionMultimediaInterface,高清晰度多媒体接口)、YPbPr(色差分量接口)、VGA(VideoGraphicsArray,视频图形阵列)、不同的制式均可任意配置,输出送显的模式也可以全部选择或者只选择某几种,被选中的模式通过切换操作来回显示,如图2a至图2g所示,分别表示单画面、双画面至七画面的显示模式,不同的显示模式之间可以进行切换。优选地,该媒体能力信息还包括该终端的第一网络时间协议NTP时间戳和该对端的第二NTP时间戳,在确定该第一NTP时间戳小于该对端的第二NTP时间戳时,与该对端再次发起该会话协商流程。优选地,终端与该对端发起基于SIP(SessionInitiationProtocol,会话初始化协议)协议的会话协商流程,这样,在基于SIP协议的场景下,单个终端能够传输多路媒体数据流。其中,在本发明实施例中,终端可以包括主控模块,SIP协议模块和TIP(TelepresenceInteroperabilityprotocol,网真互通协议)协议模块,该终端的主控模块向SIP协议模块发起新的呼叫,SIP协议模块向对端发送会话协商请求消息,对端在接收到该会话协商请求消息后,向终端发送200OK消息,并由该终端的SIP协议模块接收该200OK消息,该SIP协议模块向对端发送ACK(Acknowledgement,确认字符)响应消息,并开启第一媒体传输信道。优选地,终端与该对端发起基于H323协议的会话协商流程,这样,在基于H323协议的场景下,单个终端能够传输多路媒体数据流。其中,在本发明实施例中,终端可以包括主控模块,H323协议模块和TIP协议模块,该终端的主控模块向H323协议模块发起新的呼叫,H323协议模块向对端发送创建消息,对端在接收到该创建(setup)消息后,向终端发送呼叫持续(callproceeding)消息和提示(alerting)消息以及连接(connect)消息,并由H323协议模块接收呼叫持续消息和提示消息以及连接消息,与对端建立呼叫信令通道,并在该呼叫信令通道上与对端进行能力(capability)协商和主从(mastslave)确认,并在完成能力协商和主从确认后,开启第一媒体传输通道。在本实施例中提供了一种媒体数据流的传输方法,图3是根据本发明实施例的的流程图,如图3所示,本发明实施例是以基于SIP协议的媒体数据流的传输为例进行说明的,本发明实施例中的终端包括主控模块和SIP协议模块以及TIP协议模块,该流程包括如下步骤:步骤S301至步骤S304为会话协商流程:S301,终端的主控模块向SIP协议模块发起新的呼叫请求。S302,该终端的SIP协议模块在接收到该呼叫请求后,向对端发送会话协商请求消息。S303,该终端的SIP协议模块接收对端根据会话协商请求消息发送的200OK消息。S304,该终端的SIP协议模块向对端发送ACK响应消息。S305,该终端开启与对端的第一媒体传输通道。步骤S306至步骤S310为TIP协商的流程:S306,在根据会话协商的协商结果确定携带媒体能力参数时,该终端的主控模块模块向TIP协议模块发送TIP协商请求消息。其中,该媒体能力参数表示该终端支持至少两路媒体数据流的传输,该媒体能力参数可以是AAC_LD_3640。S307,该终端的TIP协议模块向对端发送数据流复用路数协商请求消息。S308,该终端的TIP协议模块接收对端根据数据流复用路数协商请求消息发送的数据流复用路数协商响应消息,并得到媒体数据流复用的路数和对端的NTP时间戳。S309,该终端的TIP协议模块向对端发送数据流格式协商请求消息。S310,该终端的TIP协议模块接收对端根据数据流格式协商请求消息发送的数据流格式协商响应消息,并得到媒体数据流传输的格式。S311,该终端关闭与对端的第一媒体传输通道。步骤S312至步骤S314为二次会话协商流程:S312,在终端的NTP时间戳小于对端的NTP时间戳时,终端的主控模块根据媒体数据流复用的路数向SIP协议模块发起二次呼叫请求。S313,该终端的SIP协议模块在接收到该呼叫请求后,与对端发送会话协商请求消息。S314,该终端的SIP协议模块接收对端根据会话协商请求消息发送的200OK消息.S315,该终端的SIP协议模块向对端发送ACK响应消息。S316,终端根据二次发起的会话协商流程的协商结果开启第二媒体传输信道。S317,终端根据媒体数据流复用的路数和媒体数据流传输的格式在该第二媒体传输信道上传输至少两路媒体数据流。其中,终端根据媒体数据流复用的路数和媒体数据流传输的格式传输的数据流进行编码和解码。需要说明的是,对端也会按照上述步骤S301至步骤S315与该终端进行协商和数据交互。这样,采用上述实施步骤,在基于SIP协议的场景下,单个终端能够传输多路媒体数据流。在本实施例中提供了一种媒体数据流的传输方法,图4是根据本发明实施例的的流程图,如图4所示,本发明实施例是以基于H323协议的媒体数据流的传输为例进行说明的,本发明实施例中的终端包括主控模块和H323协议模块以及TIP协议模块,该流程包括如下步骤:步骤S401至步骤S404为会话协商流程:S401,终端的主控模块向该终端的H323协议模块发起新的呼叫请求。S402,该终端的H323协议模块向对端发送创建消息。S403,该终端的H323协议模块接收对端根据创建消息发送的呼叫持续消息和提示消息以及连接消息,与对端建立呼叫信令通道。S404,该终端的H323协议模块在该呼叫信令通道上与对端进行能力协商和主从确认。S405,该终端开启与对端的第一媒体传输通道。步骤S406至步骤S410为TIP协商的流程:S406在根据会话协商的协商结果确定携带媒体能力参数时,该终端的主控模块模块向TIP协议模块发送TIP协商请求消息。其中,该媒体能力参数表示该终端支持至少两路媒体数据流的传输,该媒体能力参数可以是AAC_LD_3640。S407,该终端的TIP协议模块向对端发送数据流复用路数协商请求消息。S408,该终端的TIP协议模块接收对端根据数据流复用路数协商请求消息发送的数据流复用路数协商响应消息,并得到媒体数据流复用的路数和对端的NTP时间戳。S409,该终端的TIP协议模块向对端发送数据流格式协商请求消息。S410,该终端的TIP协议模块接收对端根据数据流格式协商请求消息发送的数据流格式协商响应消息,并得到媒体数据流传输的格式。S411,该终端关闭与对端的第一媒体传输通道。步骤S412至步骤S415为二次会话协商流程:S412,在终端的NTP时间戳小于对端的NTP时间戳时,终端的主控模块向该终端的H323协议模块发起二次呼叫请求。S413,该终端的H323协议模块向对端发送创建消息。S414,该终端的H323协议模块接收对端根据创建消息发送的呼叫持续消息和提示消息以及连接消息,与对端建立呼叫信令通道。S415,该终端的H323协议模块在该呼叫信令通道上与对端进行能力协商和主从确认。S416,终端根据二次发起的会话协商流程的协商结果开启第二媒体传输信道。S417,终端根据媒体数据流复用的路数和媒体数据流传输的格式在该第二媒体传输信道上传输至少两路媒体数据流。其中,终端根据媒体数据流复用的路数和媒体数据流传输的格式传输的数据流进行编码和解码。需要说明的是,对端也会按照上述步骤S411至步骤S417与该终端进行协商和数据交互。这样,采用上述实施步骤,在基于H323协议的场景下,单个终端能够传输多路媒体数据流。在本实施例中还提供了一种媒体数据流的传输装置,该装置应用于终端,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。图5是根据本发明实施例的媒体数据流的传输装置的结构框图,如图5所示,该装置50包括:会话发起模块51,用于与对端发起会话协商流程;通道控制模块52,用于在该会话发起模块51完成该会话协商流程后,根据该会话协商流程的协商结果开启第一媒体传输信道;协商模块53,用于根据该协商结果中的媒体能力参数与该对端协商得到媒体能力信息,其中,该媒体能力参数表示该终端支持至少两路媒体数据流的传输,该媒体能力信息包括该至少两路媒体数据流复用的路数;该通道控制模块52,用于在该协商模块53得到媒体能力信息后,关闭该第一媒体传输信道;该会话发起模块51,还用于在该通道控制模块52关闭该第一媒体传输信道后,根据该协商模块53得到的媒体能力参数与该对端再次发起该会话协商流程;该通道控制模块52,还用于根据该会话发起模块51再次发起的会话协商流程的协商结果开启第二媒体传输信道;传输模块54,用于在该通道控制模块52开启的该第二媒体传输信道上传输该至少两路媒体数据流。优选地,该媒体能力协商响应消息还包括该至少两个媒体数据流的数据流格式;如图6所示,该装置还包括:处理模块55,用于在该传输模块54在该第二媒体传输信道上传输该至少两路媒体数据流复用的路数后,根据该至少两路媒体数据流复用的路数和该数据流格式对该传输的该媒体数据流进行编码和解码。优选地,该媒体能力信息还包括该终端的第一网络时间协议NTP时间戳和该对端的第二NTP时间戳;该协商模块还用于,在确定该第一NTP时间戳小于该对端的第二NTP时间戳时,与该对端再次发起该会话协商流程,这样,在基于SIP协议的场景下,单个终端能够传输多路媒体数据流。优选地,该会话发起模块51用于,与该对端发起基于会话初始化协议SIP协议的会话协商流程。优选地,该会话发起模块51用于,与该对端发起基于H323协议的会话协商流程,这样,在基于H323协议的场景下,单个终端能够传输多路媒体数据流。。通过上述装置,由于终端与对端在协商中确定两端支持至少两路媒体数据流的复用,从而解决了单个终端无法传输多路媒体数据流的问题。综上所述,本发明采用以下技术方案:输入源方面,各路输入源可以选择任意的视频输入接口、任意的工作模式、任意的制式作为视频源,也可选择相同的源,输入源的选择上灵活配置。信令方面,在H323或者SIP协议上增加TIP协议进行能力交互、打开通道,三路主视频媒体复用在一路RTP通道上传输媒体数据,辅视频单独一路,音频单独一路。显示方面,最少可能只有一个显示器,这就需要在这个显示器上输出所有本端(相当于终端)、远端(相当于对端)、辅视频图像的多画面,或者子画面的多画面不同布局的合成图像。例如单显示器的四流时,媒体共包含远端1、远端2、远端3、辅视频四路媒体,则显示器上需要能够显示远主N、本主N、辅视频的大画面,以及pip、triple等不同布局的2~7个子画面组成的多画面。对于SIP协议的数据流传输,发起呼叫端给对端发起会话协商请求,对端收到后回应200ok,发起端再回应一个ACK进行确认,SIP的协议完成初始协商后,发现交互能力携带音频能力AAC_LD_3640,则发起TIP协商TipNegotiate,TIP协商出媒体复用的路数(MUXCTRL)和格式(MEDIAOPTS),TIP协商通过后,进行二次重邀,reINVITE重邀是本端还是对端发起取决于MUXCTRL消息中的NTP时间戳,时间戳小的一方主动发起二次重邀,二次重邀成功后,打开视音频媒体通道openchannel,RTP媒体流开始收发。如果初始协商中没有AAC_LD_3640音频能力,则按传统终端模式上会。对于H323协议的数据流传输,呼叫的时候按照标准的H323协议建立连接,按照H225协议,发起呼叫端给对端发送setup消息,对端收到后回复callproceeding、Alerting、Connect消息后,建立呼叫信令通道,在这通道上进行能力协商和主从确认,如果能力中携带音频能力AAC_LD_3640,则发起TIP协商TipNegotiate,TIP协商出媒体复用的路数(MUXCTRL)和格式(MEDIAOPTS),TIP协商通过后,进行二次重邀,重新进行能力协商确认,二次重邀是本端还是对端发起取决于MUCTRL消息中的NTP时间戳,时间戳小的一方主动发起二次重邀,二次重邀成功后,先关闭第一次打开的媒体通道,再按照最后一次协商的结果重新打开媒体通道,视音频媒体通道打开后,RTP(Real-timeTransportProtocol,实时传输协议)媒体流开始收发。如果初始协商中没有AAC_LD_3640音频能力,则按传统终端模式上会。显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1