多媒体通话装置及传输多媒体数据的方法与流程

本发明涉及通信技术领域，尤其涉及一种多媒体通话装置及传输多媒体数据的方法。

背景技术：

volte(voiceoverlte,lte网络音视频通话)是通过lte(longtermevolution，长期演进)网络作为业务接入、ims(ipmultimediasubsystem，ip多媒体子系统)网络实现业务控制的音视频解决方案，它支持高清语音、高清视频等通信业务，也可实现与现网2g/3g的语音兼容互通。vowifi(voiceoverwifi,wifi网络音视频通话)给用户提供了wifi接入方式，核心网上一般与volte共用一套ims系统。随着技术的不断演进，ue可以同时支持vowifi和volte，并可自动在两者间切换，为用户提供资费最优，体验最佳的语音和视频服务。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

volte和vowifiims协议栈和videoengine的架构如图1所示，volteims位于cp，vowifiims位于ap，两个videoengine均位于ap，由于volte和vowifi各自的信令和数据传输的方式均不同，两个videoengine在开发维护上耗费了过多的系统和人力资源。

技术实现要素：

本发明提供的多媒体通话装置及传输多媒体数据的方法，节省了开发维护的系统资源和人力资源。

第一方面，本发明提供一种多媒体通话装置，包括：

位于第一处理器侧的服务器、多媒体引擎和第一路由器；位于第二处理器侧的多媒体控制器和第二路由器；所述服务器的一端与所述多媒体控制器的相连，另一端与所述多媒体引擎的一端相连，所述多媒体引擎的另一端与所述第一路由器相连，所述第二路由器一端与所述第一路由器相连，另一端与所述多媒体控制器相连；

所述服务器用于接收多媒体控制指令，并将所述多媒体控制指令配置到所述多媒体引擎；

所述多媒体引擎用于根据接收的所述第一路由器传输的信息建立端口信息，并通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发。

可选的，所述装置还包括：位于第一处理器侧的第一多媒体子系统，和位于所述第二处理器侧的第二多媒体子系统；

所述第一多媒体子系统与所述服务器相连，所述第二多媒体子系统与所述多媒体控制器相连。

可选的，所述装置还包括：多媒体引擎控制器，所述多媒体引擎控制器与所述多媒体引擎相连。

第二方面，本发明实施例还提供了一种基于上述的多媒体通话装置的传输多媒体数据的方法，包括：

服务器接收多媒体控制指令，并将所述多媒体控制指令配置到所述多媒体引擎；

所述多媒体引擎根据接收的所述第一路由器传输的信息建立端口信息，并通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发。

可选的，所述多媒体引擎根据接收的所述第一路由器传输的信息建立端口信息，包括：

所述多媒体引擎根据接收的第一路由器发送的五元组信息建立端口信息。

可选的，所述通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发，包括：

所述多媒体引擎在所述控制指令为第一网络场景的控制指令时，依据所述端口信息通过第一路由器进行多媒体数据的收发。

可选的，所述通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发，包括：

所述多媒体引擎在所述控制指令为第二网络场景的控制指令时，依据所述端口信息通过第一路由器和第二路由器进行多媒体数据的收发。

可选的，所述服务器接收多媒体控制指令，包括：

所述服务器接收由第一多媒体子系统发送的多媒体控制指令或者是接收由第二多媒体子系统通过多媒体控制器发送的多媒体控制指令。

可选的，所述所媒体引擎在通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发之后，所述方法还包括：

所述第二多媒体子系统通过所述多媒体控制器向所述第二路由器发送销毁所述端口信息的消息。

可选的，所述所媒体引擎在通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发之后，所述方法还包括：

所述第一多媒体子系统通过所述多媒体控制器向所述第一路由器发送销毁所述端口信息的消息。

本发明实施例提供的多媒体通话装置及传输多媒体数据的方法，服务器接收多媒体控制指令，并将多媒体指令配置到多媒体引擎，多媒体引擎根据多媒体控制指令以及端口信息进行多媒体数据的收发，本实施例提供的多媒体通话装置通过一个多媒体引擎和一个服务器即可实现多媒体数据的收发，避免了由于volte和vowifi各自的信令和数据传输的方式不同，两个videoengine在开发维护上耗费了过多的系统和人力资源的问题，节省了开发维护的系统资源和人力资源。

附图说明

图1为现有技术中多媒体通话装置的结构示意图；

图2为本发明一实施例提供的多媒体通话装置的结构示意图；

图3为本发明一实施例提供的传输多媒体数据的方法的流程图；

图4为本发明另一实施例提供的传输多媒体数据的方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面首先对现有技术中的多媒体通话装置进行详细说明。

图1示出了现有技术中的多媒体通话装置的结构示意图，如图1所示，该多媒体通话装置包括ap(applocationprocessor，应用处理器)侧的vowifiims、vowifivideoengine、tcpip、voltevideoengine，以及cp(communicationprocessor，通信处理器)侧的volteims、tcpip等，由于在ap侧存在两个videoengine，并且ap侧和cp侧各有一套ims，导致了wifi和lte各自的信令和数据的传输方式不同，两套系统在开发维护上耗费了过多的系统资源和人力资源。

本发明实施例提供了一种解决上述问题的多媒体通话装置，如图2所示，该装置包括：

位于第一处理器(ap)1侧的服务器(vowifi&volteservice)11、多媒体引擎(vie)12和第一路由器(tcpip)13；位于第二处理器(cp)2侧的多媒体控制器(mediacontrol)21和第二路由器(tcpip)22；所述服务器11的一端与所述多媒体控制器21的相连，另一端与所述多媒体引擎12的一端相连，所述多媒体引擎12的另一端与所述第一路由器13相连，所述第二路由器22一端与所述第一路由器13相连，另一端与所述多媒体控制器21相连；

所述服务器11用于接收多媒体控制指令，并将所述多媒体控制指令配置到所述多媒体引擎12；

所述多媒体引擎12用于根据接收的所述第一路由器传输的信息建立端口信息，并通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发。

上述多媒体通话装置中服务器接收多媒体控制指令，并将多媒体指令配置到多媒体引擎，多媒体引擎根据多媒体控制指令以及端口信息进行多媒体数据的收发，本实施例提供的多媒体通话装置通过一个多媒体引擎和一个服务器即可实现多媒体数据的收发，避免了由于volte和vowifi各自的信令和数据传输的方式均不同，两个videoengine在开发维护上耗费了过多的系统和人力资源的问题，节省了开发维护的系统资源和人力资源。

在本发明实施例中，所述装置还包括：位于第一处理器侧的第一多媒体子系统14(ims)，和位于所述第二处理器侧的第二多媒体子系统23(ims)；

所述第一多媒体子系统14与所述服务器11相连，所述第二多媒体子系统23与所述多媒体控制器21相连。

所述装置还包括：多媒体引擎控制器15，所述多媒体引擎控制器15与所述多媒体引擎相连。

上述多媒体通话装置中vowifiims和volteims协议栈分别位于ap和cp，vowifi&volteservice管理vowifi和voltecall状态，与apims和cpmediacontrol模块交互，根据信令流程调用videoengine接口；videoengine(vie)和videocontrolengine(vce)实现视频引擎所有功能，包括camera采集，uirender，codec编解码，rtp、rtcp收发，jitterbuffer管理等，tcpip模块实现网络收发功能，其中的data_router模块为新功能模块，可以将rtp&rtcp数据包路在ap和cptcpip间传输，对上层透明，节省了开发维护的系统资源和人力资源。

图3示出了本发明一实施例提供的基于上述的多媒体通话装置的传输多媒体数据的方法，如图3所示，该传输多媒体数据的方法包括以下步骤：

301、服务器接收多媒体控制指令，并将所述多媒体控制指令配置到所述多媒体引擎；

本发明实施例中的多媒体控制指令可以包括videocall的参数、媒体流方向等。

302、所述多媒体引擎根据接收的所述第一路由器传输的信息建立端口信息，并通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发。

其中，第一路由器传输的信息可以为五元组信息，包括源ip地址、源端口、目的ip地址、目的端口和传输层协议等。

本发明实施例提供的多媒体通话装置的传输多媒体数据的方法中通过服务器接收多媒体控制指令，并将多媒体指令配置到多媒体引擎，多媒体引擎根据多媒体控制指令以及端口信息进行多媒体数据的收发，本实施例提供的多媒体通话装置通过一个多媒体引擎和一个服务器即可实现多媒体数据的收发，避免了由于volte和vowifi各自的信令和数据传输的方式均不同，两个videoengine在开发维护上耗费了过多的系统和人力资源的问题，节省了开发维护的系统资源和人力资源。

图4示出了本发明另一实施例提供的基于上述的多媒体通话装置的传输多媒体数据的方法，如图4所示，该传输多媒体数据的方法包括以下步骤：

401、服务器接收多媒体控制指令，并将所述多媒体控制指令配置到所述多媒体引擎；

本发明实施例中的多媒体控制指令可以包括videocall的参数、媒体流方向等。

402、所述多媒体引擎根据接收的第一路由器发送的五元组信息建立端口信息，并通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发。

其中，在步骤402中所述通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发，包括以下两种场景：

4021、所述多媒体引擎在所述控制指令为第一网络场景的控制指令时，依据所述端口信息通过第一路由器进行多媒体数据的收发。

4022、所述多媒体引擎在所述控制指令为第二网络场景的控制指令时，依据所述端口信息通过第一路由器和第二路由器进行多媒体数据的收发。

需要说明的是，上述步骤4021和4022是依据控制指令的具体内容执行的步骤，步骤4021和步骤4022并不是同时执行的，也就是说，在执行步骤4021或步骤4022之前，多媒体引擎会先判断控制指令为第一网络场景的控制指令还是为第二网络场景的控制指令，依据控制指令的网络场景，选择多媒体数据收发的路由器。

由于本发明实施例的多媒体通话装置中在ap侧和cp侧均包括了一个多媒体子系统，因此在上述步骤401中，所述服务器接收多媒体控制指令，包括：

所述服务器接收由第一多媒体子系统发送的多媒体控制指令或者是接收由第二多媒体子系统通过多媒体控制器发送的多媒体控制指令。

在步骤402所述所媒体引擎在通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发之后，所述方法还包括：

403、所述第二多媒体子系统通过所述多媒体控制器向所述第二路由器发送销毁所述端口信息的消息。

在步骤402所述所媒体引擎在通过所述多媒体控制指令以及所述端口信息进行多媒体数据的收发之后，所述方法还包括：

404、所述第一多媒体子系统通过所述多媒体控制器向所述第一路由器发送销毁所述端口信息的消息。

同样可理解的是，步骤403和步骤404同样是并列方案，当所述多媒体引擎在所述控制指令为第一网络场景的控制指令时，即在执行上述步骤4021时，需要执行步骤404；当所述多媒体引擎在所述控制指令为第二网络场景的控制指令时，即在执行上述步骤4022时，需要执行步骤403，本发明实施例不再对其进行详细说明。

上述步骤403和步骤404对端口信息进行销毁，避免了在后续传输多媒体数据时，因预先存储的端口信息过多导致系统运行缓慢的现象，另外对每一次传输的端口信息进行销毁，提高了传输多媒体数据的安全性。

由于网络场景包括了vowifi场景和volte场景两种场景，下面分别通过具体的实施例对两种场景下基于上述的多媒体通话装置的传输多媒体数据的方法进行详细说明。

第一种网络场景，volte场景：

步骤一、服务器vowifi&volteservice收到cpims通过多媒体控制器mediacontrol发送的控制命令，其中包含videocall参数和媒体流方向，配置到videoengine；

步骤二、cpims通知cptcpipsocket五元组信息，cptcpip通知aptcpip模块socket信息；

步骤三、videoengine建立socket，用于rtp/rtcp数据传输；

步骤四、videortp&rtcp数据经aptcpip<->cptcpip<->lte收发。

步骤五、通话结束，cpims通知cptcpipsocket销毁，同时apsocket销毁。

第二种网络场景，vowifi场景：

步骤一、服务器vowifi&volteservice收到apims发送的控制命令，其中包含videocall参数和媒体流方向，配置到videoengine；

步骤二、apims通知aptcpipsocket五元组信息，aptcpip通知aptcpip模块socket信息；

步骤三、videoengine建立socket，用于rtp/rtcp数据传输；

步骤四、videortp&rtcp数据经aptcpip<->wifi收发。

步骤五、通话结束，apims通知aptcpipsocket销毁。

本发明另一实施例提供的传输多媒体数据的方法的电子设备硬件结构，该电子设备包括：

一个或多个处理器以及存储器，以一个处理器为例。

执行传输多媒体数据的方法的电子设备还可以包括：输入装置和输出装置。

处理器、存储器、输入装置和输出装置可以通过总线或者其他方式连接，以通过总线连接为例。

存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例图标显示方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储获取的应用程序的提醒事项的数量信息等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至列表项操作的处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置可接收输入的数字或字符信息，输出装置可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的传输多媒体数据的方法。

上述产品可执行本发明的实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明的实施例所提供的方法。

本发明的实施例的电子设备可以以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如ipad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有提醒事项记录功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元(模块)可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本发明实施例提供一种非易失性计算机可读存储介质，非易失性计算机可读存储介质存储有程序指令，当电子设备执行程序指令时，用于执行上述方法实施例中的传输多媒体数据的方法和步骤。

本发明实施例提供了一种计算机程序产品，其中，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，其中，当程序指令被电子设备执行时，使电子设备执行上述任意方法实施例中的传输多媒体数据的方法。

在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或智能终端设备或处理器(processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明所提供的上述实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

以上仅为本发明的实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。