通话融合方法及装置与流程

1.本技术涉及通信领域，尤其涉及一种通话融合方法及装置。


背景技术：

2.目前，多方通话，如多方的运营商通话(telephone call)，已经广泛应用于多人会议、群聊、小队语音等场景中。其中，多方的运营商通话是指通过运营商网络，如接入网(accessnetwork，an)和核心网(core network，cn)中的网元，对通话音频进行中转，实现的通话。
3.然而，依赖于网元对通话音频进行中转，会导致多方通话的时延比较高，从而影响通话的可靠性和效率。


技术实现要素：

4.本技术实施例提供一种通话融合方法及装置，能够降低多方通话的时延，从而提高通话的可靠性和效率。
5.为达到上述目的，本技术采用如下技术方案：
6.第一方面，提供一种通话融合方法。应用于第一终端，该方法包括：发起第一通话，并接收来自第二终端的第二音频，以及来自第三终端的第三音频，从而向第二终端发送第一音频与第三音频的混音音频，并向第三终端发送第一音频与第二音频的混音音频。其中，第一通话包括第一终端和第二终端的第二通话以及第一终端和第三终端的第三通话，第二通话为第一终端使用第一用户身份模块sim发起的通话，第三通话为第一终端使用第二sim发起的通话，第二通话和第三通话为运营商通话。此外，第一音频为第一终端的本地音频。
7.基于该通话融合方法可知，由于发起多方运营商通话，如使用第一sim发起的第二通话，并使用第二sim发起的第三通话的设备，如第一终端，可以对多方运营商通话的通话音频进行混音并转发，如向第二终端发送第一音频与第三音频的混音音频，并向第三终端发送第一音频与第二音频的混音音频，可以避免由网元对通话音频进行中转，从而缩短通话音频的传输路径，以降低多方通话的时延，从而提高通话的可靠性和效率，以便在高可靠性、低延时通话场景下，能够更加适用。
8.一种可能的设计方案中，第一sim与第二sim可以属于不同的运营商，如此可避免因运营商不同而对多人的运营商通话造成限制，以提高用户的使用体验。
9.一种可能的设计方案中，发起第一通话，可以包括：响应于用户在联系人选择界面内的选择联系人的操作，向第一联系人发起第二通话，并向第二联系人发起第三通话，然后将第二通话和第三通话融合为第一通话，以实现将多路运营商通话聚合为一路运营商通话。其中，第一联系人与第二终端对应，第二联系人与所述第三终端对应。如此，可认为该多人的运营商通话音频是该一路运营商通话中的音频，以便第一终端对该多人的运营商通话音频进行混音。
10.可选地，联系人选择界面中可以包括第一联系人的各种联系方式，各种联系方式
可以按使用频率从高到低顺序排列，或者按照使用的先后顺序排列。如此，用户根据二级菜单中各种联系方式的排序，可以知晓采用那种方式更容易与对方取得联系，从而更快与对方取得联系，以进一步提升用户体验。
11.可选地，向第一联系人发起第二通话，可以包括：根据第一终端与第一联系人之间的使用频率最高或者最近使用的联系方式，向第一联系人发起第二通话。也就是说，第一终端可以根据使用频率最高或者最近使用的联系方式，主动发起相应的通话，从而简化用户操作，以进一步提升用户体验。
12.一种可能的设计方案中，第一终端可以显示第二通话对应的第一图标集合和第三通话对应的第二图标集合。其中，一方面，第一图标集合和第二图标集合包括重叠的部分图标，或者说相关图标可以融合为一个图标，如融合为挂断、扬声器、更多等等。如此，用户可以一次性控制多个通话的通断，从而简化控制流程，以进一步提升用户体验。另一方面，第一图标集合和第二图标集合以分屏的方式在第一终端上显示，以便用户可以根据实际通话需求，灵活控制每个通话的通断，从而也可以进一步提升用户体验。
13.一种可能的设计方案中，在接收来自第二终端的第二音频，以及接收来自第三终端的第三音频之后，第一方面所述的方法还可以包括：播放第二音频与第三音频的混音音频，以便用户可以听到多方运营商通话中其他用户的声音，从而提高用户的通话体验。
14.一种可能的设计方案中，第一方面所述的方法还可以包括：接收来自第二终端的第二图像帧集合，以及接收来自第三终端的第三图像帧集合，然后向第二终端发送第一图像帧集合与第三图像帧集合，并向第三终端发送第一图像帧集合与所述第二图像帧集合。其中，第一图像帧集合为来自第一终端的图像帧集合，以实现多方视频通话，以便该通话融合方法可以适用更多场景，从而提高该方法的适用性。
15.可选地，第一图像帧集合与第三图像帧集合可以承载在同一个数据包中，和/或，第一图像帧集合与第三图像帧集合可以承载在同一个数据包中，以避免多次传输，从而可以提高传输效率。
16.可选地，在接收来自第二终端的第二图像帧集合，以及接收来自第三终端的第三图像帧集合之后，第一方面所述的方法还可以包括：分别播放第二图像帧集合和第三图像帧集合，以便用户可以看到多方运营商通话中其他用户的画面，从而提高用户的通话体验。
17.一种可能的设计方案中，发起第一通话可以包括：发起第二通话、第三通话以及第四通话，并将第二通话、第三通话以及第四通话融合为第一通话。其中，第四通话为第一终端和第四终端的voip通话。如此，可以实现voip通话和运营商通话的融合，从而实现跨平台的多方通话。
18.可选地，第一方面所述的方法还可以包括：向第二终端发送第一音频、第三音频和第四音频的混音音频，向第三终端发送第一音频、第二音频和第四音频的混音音频，向第四终端发送第一音频、第二音频和第三音频的混音音频，以便参与通话的每个终端都能够接收到相应的混音音频，从而实现跨平台的多方通话。
19.可选地，第一方面所述的方法还可以包括：播放第二音频、第三音频和第四音频的混音音频，以便用户可以听到跨平台的多方通话中其他用户的声音，从而提高用户的通话体验。
20.第二方面，提供一种电子设备。该电子设备包括：显示屏、一个或多个处理器、存储
器、通信模块。其中，存储器中存储有一个或多个计算机程序，一个或多个计算机程序包括指令，当指令被电子设备执行时，使得电子设备执行如第一方面所述的通话融合方法。
21.第三方面，提供一种通话系统。该通话系统包括一个或多个电子设备。其中，该电子设备用于执行如第一方面所述的通话融合方法。
22.第四方面，提供一种计算机可读存储介质，包括：计算机程序或指令；当该计算机程序或指令在计算机上运行时，使得该计算机执行第一方面所述的通话融合方法。
23.第五方面，提供一种计算机程序产品，包括计算机程序或指令，当该计算机程序或指令在计算机上运行时，使得该计算机执行第一方面所述的通话融合方法。
附图说明
24.图1为本技术实施例提供的通话系统的架构示意图；
25.图2为本技术实施例提供的第一手机的结构示意图一；
26.图3a为本技术实施例提供的通话融合方法的应用场景图一；
27.图3b为本技术实施例提供的通话融合方法的应用场景图二；
28.图3c为本技术实施例提供的通话融合方法的应用场景图三；
29.图4为本技术实施例提供的通话融合方法的应用场景图四；
30.图5为本技术实施例提供的通话融合方法的应用场景图五；
31.图6a为本技术实施例提供的通话融合方法的应用场景图六；
32.图6b为本技术实施例提供的通话融合方法的应用场景图七；
33.图6c为本技术实施例提供的通话融合方法的应用场景图八；
34.图7a为本技术实施例提供的通话融合方法的应用场景图九；
35.图7b为本技术实施例提供的通话融合方法的应用场景图十；
36.图7c为本技术实施例提供的通话融合方法的应用场景图十一；
37.图8a为本技术实施例提供的通话融合方法的应用场景图十二；
38.图8b为本技术实施例提供的通话融合方法的应用场景图十三；
39.图8c为本技术实施例提供的通话融合方法的应用场景图十四；
40.图9a为本技术实施例提供的通话融合方法的应用场景图十五；
41.图9b为本技术实施例提供的通话融合方法的应用场景图十六；
42.图9c为本技术实施例提供的通话融合方法的应用场景图十七；
43.图10为本技术实施例提供的第一手机的结构示意图二；
44.图11为本技术实施例提供的通话融合方法的应用场景图十八；
45.图12为本技术实施例提供的通话融合方法的应用场景图十九；
46.图13为本技术实施例提供的通话融合方法的流程示意图；
47.图14为本技术实施例提供的第一手机的结构示意图三。
具体实施方式
48.下面将结合附图，对本技术中的技术方案进行描述。
49.本技术实施例提供的一种通话融合方法，可应用于通话系统100中。该通话系统可以包括一个或多个电子设备。其中，该电子设备具体可以为手机、平板电脑、电视(也可称为
智慧屏、大屏设备等)、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、手持计算机、上网本、个人数字助理(personal digital assistant，pda)、可穿戴电子设备、车载设备(也可称为车机)、虚拟现实设备等，本技术实施例对此不做任何限制。
50.示例性地，图1为通话系统的架构图示意图。如图1所示，以通话系统100包括第一手机101(第一终端)、第二手机102(第二终端)以及第三手机103(第三终端)为例。第一手机101、第二手机102、以及第三手机103之间可以通过通信系统，如通过第4代(4th generation， 4g)移动通信系统，如长期演进(long term evolution，lte)系统、第五代(5th generation， 5g)移动通信系统，如新空口(new radio，nr)系统，以及未来的通信系统，如第六代(6thgeneration，6g)移动通信系统等进行交互，以实现多方通话。
51.例如，第一手机101可以发起第一通话，其中，第一通话包括第一手机101和第二手机 102的第二通话以及第一手机101和第三手机103的第三通话。第一通话接通后，第一手机101可以采集第一手机101本地的第一音频，第二手机102可以采集第二手机102本地的第二音频，以及第三手机103可以采集第三手机103本地的第三音频。其中，以第一手机101 为例，第一手机101可以作为中继，向第三手机103发送第一音频与第二音频的混音(mixaudio)音频，向第二手机102发送第一音频与第三音频的混音音频，并在本地播放第二音频和第三音频的混音音频。相应地，第二手机102可以播放第一音频和第三音频的混音音频，以及第三手机103可以播放第一音频和第三音频的混音音频，以实现多方语音通话。
52.需要说明的是，本技术实施例是以三方通话为例，但并不作为限定，采用上述混音方式，也可以实现更多方的通话，如四方通话、五方通话、六方通话等等。比如，第一手机101可以发起第二通话、第三通话以及第四通话，并将第二通话、第三通话以及第四通话融合为第一通话。其中，第四通话可以为第一手机101和第四手机(第四终端，图中未示出)通话。
53.此外，后续方法实施例中将结合具体示例阐述上述通话融合方法的具体方法，故此处不再赘述。
54.下面仍以第一手机101作为通话系统100中的电子设备举例，图2示出了第一手机101 的结构示意图。
55.第一手机101可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，天线1，天线2，移动通信模块150，无线通信模块 160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180等。
56.可以理解的是，本发明实施例示意的结构并不构成对第一手机101的具体限定。在本技术另一些实施例中，第一手机101可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
57.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器 (application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，npu)等。其中，不同的处理单元可以是独立的器件，
也可以集成在一个或多个处理器中。
58.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
59.第一手机101的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
60.天线1和天线2用于发射和接收电磁波信号。第一手机101中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
61.移动通信模块150可以提供应用在第一手机101上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
62.无线通信模块160可以提供应用在第一手机101上的包括无线局域网(wireless local areanetworks，wlan)，如无线保真(wireless fidelity，wi-fi)网络，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
63.在一些实施例中，第一手机101的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得第一手机101可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通信系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multipleaccess，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，lte，bt，gnss，wlan， nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioningsystem，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellitesystem，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
64.第一手机101通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
65.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode 的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro
‑ꢀ
oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，第一手机101可以包括1个或n个显示屏194，n为大于1的正整数。
66.第一手机101可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
67.isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
68.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，第一手机101可以包括1个或n个摄像头193，n为大于1的正整数。
69.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当第一手机101在做频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
70.视频编解码器用于对数字视频压缩或解压缩。第一手机101可以支持一种或多种视频编解码器。这样，第一手机101可以播放或录制多种编码格式的视频，例如：动态图像专家组 (moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
71.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展第一手机 101的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
72.内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行第一手机101的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储第一手机101使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
73.第一手机101可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
74.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例
中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110 中。
75.扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。第一手机101可以通过扬声器170a收听音乐，或收听免提通话。
76.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当第一手机101接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
77.麦克风170c，也称“话筒”、“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。第一手机101可以设置至少一个麦克风170c。在另一些实施例中，第一手机101可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，第一手机101 还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
78.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是 3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。
79.传感器模块180中可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
80.当然，第一手机101还可以包括充电管理模块、电源管理模块、电池、按键、指示器以及1个或多个sim卡接口等，本技术实施例对此不做任何限制。
81.下面仍以第一手机101为例，对上述通话融合方法的进行具体介绍。
82.目前，通话的类型通常有两种，分别为运营商通话和voip通话。其中，运营商通话是指通过运营商网络，如an和cn提供的服务，实现的通话。voip通话是指通过第三方，如微信、qq、聊天室等提供的服务，实现的通话。相应地，通话的音频也可以有两种，分别为运营商通话音频和voip通话音频。如此，第一手机101可以将运营商通话音频，和/或，voip 通话音频混音，以实现多方通话。
83.比如，第一手机101可以向第二手机102发送第三手机103的运营商通话音频(上述第三音频)，与本地音频(上述第一音频)的混音音频，以及向第三手机103发送第二手机102 的运营商通话音频(上述第二音频)，与本地音频的混音音频，并在本地播放第二手机102的运营商通话音频，与第三手机103的运营商通话音频的混音音频。
84.又比如，第一手机101也可以向第二手机102发送第三手机103的voip通话音频，与本地音频的混音音频，以及向第三手机103发送第二手机102的voip通话音频(上述第二音频)，与本地音频的混音音频，并在本地播放第二手机102的voip通话音频，与第三手机103 的voip通话音频的混音音频。
85.再比如，第一手机101还可以向第二手机102发送第三手机103的voip通话音频(上述第三音频)，与本地音频的混音音频，向第三手机103发送第二手机102的运营商通话音频 (上述第二音频)，与本地音频混音的混音音频，并在本地播放第二手机102的运营商通话音频，与第三手机103的voip通话音频的混音音频。
86.为便于理解，下面分别对运营商通话音频混音、voip通话音频混音、以及voip通话音频与运营商通话音频混音进行具体介绍。
87.场景a、运营商通话音频混音
88.本技术实施例中，如图3a所示，第一手机101显示主界面301。其中，主界面301可以是第一手机101开机后显示的界面，但不作为限定，也可以是其他界面，如后台界面，如负一屏。主界面301中可以包括第一手机101安装的各种应用(application，app)，比如，可以包括第一手机101自带的app的图标，如时钟、日历、图库、备忘录、应用商城、设置、音乐播放器、计算器、运动健康、天气、相机、电话、信息、通讯录302等等，又比如，也可以包括第三方的app，如微信、qq、支付宝、网络游戏等。
89.若用户希望发起与其他用户之间的运营商通话，则可以点击主界面301中的通讯录302。响应于该操作，第一手机101可以从主界面301跳转至联系人选择界面303(图3b所示)。其中，联系人选择界面303中可以包括各联系人的图标，如包括“联系人mike”304、“联系人nike”305、“联系人owen”等等，以便用户可以在联系人选择界面303中选择需要通话的联系人。可选地，若用户希望与某个联系人发起单人通话，则可以在联系人选择界面303 中选中该联系人，如选中“联系人mike”304。响应于该操作，第一手机101可以向该“联系人mike”304发起运营商通话。可选地，若用户希望与多个联系人发起多人的运营商通话，则可以在联系人选择界面303中选中多个联系人，如选中“联系人mike”304和“联系人nike
”ꢀ
305。那么，联系人选择界面303中可以弹出发起通话306的按钮。若用户点击发起通话306，则响应于该操作，第一手机101可以向“联系人mike”304发起运营商通话(向第一联系人发起第二通话)，并向“联系人nike”305发起运营商通话(向第二联系人发起第三通话)，以实现发起多人的运营商通话。
90.其中，一些可能的实现方式中，第一手机101可以在同一界面，如在联系人选择界面303 中发起不同人数的运营商通话，无需用户在手机中跳转多个界面，以便用户可以更加快捷地发起多人的运营商通话。比如，若用户在联系人选择界面303中点击选中“联系人mike”304，则响应于点击操作，第一手机101可以向“联系人mike”304发起运营商通话。又比如，若用户在联系人选择界面303中长按选中“联系人mike”304，则响应于长按操作，第一手机 101可以在“联系人mike”304附近，如右侧显示选中标记，以便用户可以取消选中，以修改选错的联系人。之后，用户可以继续选中“联系人nike”305(“联系人nike”305附近也可以显示选中标记)，并点击发起通话306。响应于该点击操作，第一手机101可以向“联系人mike”304和“联系人nike”305发起多人的运营商通话。其中，发起通话306可以是联系人选择界面303中默认显示，或者也可以是选中联系人后弹出显示。
91.应理解，通过同一界面发起单人或多人的运营商通话仅为一种示例性的通话方式，并不作为限定。比如，第一手机101也可以设置多个联系人选择界面，如设置第一联系人选择界面和第二联系人选择界面，以通过不同的联系人选择界面发起不同人数的运营商通话。比如，响应于第一联系人选择界面内的操作，可以发起单人的运营商通话，或者，响应于第二联系人选择界面内的操作，可以发起多人的运营商通话。其中，通过设置多个联系人选择界面，使得用户能够更直观地获知当前操作对应多少人数的运营商通话，以避免用户误操作。
92.还应理解，对于多人的运营商通话，一些可能的实现方式中，第一手机101可以使
用同一电话号码，向多个联系人发起多人的运营商通话。比如，第一手机101可以使用本机电话号码1，向“联系人mike”304和“联系人nike”305发起多人的运营商通话。另一些可能的实现方式中，第一手机101可以使用不同的电话号码，向多个联系人发起多人的运营商通话。比如，第一手机101可以使用第一电话号码(第一用户身份模块(subscriber identity module， sim))，如本机电话号码1，向“联系人mike”304发起运营商通话，并使用第二电话号码 (第二sim)，如本机电话号码2，向“联系人nike”305发起运营商通话。其中，由于第一手机101整体是向“联系人mike”304和“联系人nike”305发起运营商通话，仍可认为第一手机101发起的是多人的运营商通话。此外，不同的电话号码(第一sim与第二sim)，如本机电话号码1和本机电话号码2，可以属于同一运营商，也可以属于不同运营商，如此可避免因运营商不同而对多人的运营商通话造成限制，以提高用户的使用体验。需要说明的是，当第一手机101使用不同的电话号码分别向对应的联系人发起多人的运营商通话时，可以将各电话号码各自对应的运营商通话，如多路运营商通话聚合为一路运营商通话(将第二通话和第三通话融合为第一通话)。如此，可认为该多人的运营商通话音频是该一路运营商通话中的音频，以便第一手机101对该多人的运营商通话音频进行混音。
93.进一步地，继续以多人的运营商通话为例，一方面，用户点击发起通话306后，响应于该操作，第一手机101可以从联系人选择界面303跳转至运营商通话界面307(图3c所示)。其中，运营商通话界面307中可以包括被选中的多个联系人的图标，如包括“联系人mike
”ꢀ
304和“联系人nike”305，还可以包括与通话相关的图标，如第二通话对应的第一图标集合和第三通话对应的第二图标集合，如包括：通话时长、录音、等待、视频通话、静音、联系人、扬声器、挂断308、更多等等。其中，第一图标集合和第二图标集合包括重叠的部分图标，如挂断308。此外，可选地，第一图标集合和第二图标集合也可以以分屏的方式在运营商通话界面中显示。其中，在上述相关的图标中，“联系人”可以用于用户继续选择并呼叫其他联系人，以便其他联系人也能够加入多人的运营商通话。
94.另一方面，响应于发起通话306的操作，第一手机101可以分别向该多个联系人发起呼叫，如向“联系人mike”304和“联系人nike”305发起呼叫。其中，若多个联系人中有某一个联系人先接通，则第一手机101可以进行单人的运营商通话。比如，若“联系人mike
”ꢀ
304的运营商通话先接通，则第一手机101可以向“联系人mike”304发送本地音频，并在本地播放“联系人mike”304的运营商通话音频(上述第二音频)。之后，若多个联系人中还有其他联系人的运营商通话陆续接通，则第一手机101可以将接收到的运营商通话音频混音，以实现多人的运营商通话。
95.如图3c所示，若“联系人nike”305的运营商通话接通，则第一手机101可以向“联系人nike”305发送本地音频与“联系人mike”304的运营商通话音频的混音音频，向“联系人mike”304发送第一手机101的本地音频与“联系人nike”305的运营商通话音频(上述第三音频)的混音音频，以及在本地播放“联系人mike”304的运营商通话音频，与“联系人nike”305的运营商通话音频的混音音频，从而实现多人的运营商通话。
96.当然，若多个联系人中有至少两个联系人均接通，则第一手机101可以直接执行多人的运营商通话，对此不予限定。此外，上述运营商通话界面307仅为一种示例性的界面，并不作为限定。比如，第一手机101还可以分屏显示每个联系人对应的一个运营商通话界面。之后，若用户希望结束多人的运营商通话，则可以点击挂断308。响应于该操作，第一手机
101 可以结束多人的运营商通话。
97.其中，作为一种实施方式，由于多个联系人的运营商通话音频都是由第一手机101进行混音并转发，若第一手机101结束多人的运营商通话，则其他联系人之间通话的也相应结束，无需其他联系人主动退出，以实现便捷地结束通话。但是，若其他联系人主动退出运营商通话，则因第一手机101仍在中转通话，剩余的联系人仍可以不受影响地继续进行运营商通话，以确保通话的可靠性。
98.作为另一种实施方式，用户也可以在运营商通话界面307中长按选中某些联系人，如高亮、抖动显示选中的联系人，然后点击挂断308，以结束与这些联系人的运营商通话，以便用户可以根据实际通话需求，灵活控制每个通话的通断。此外，运营商通话界面307中的挂断 308也不限于一个，可以是多个挂断按钮(图3a-图3c中未示出)，且该多个挂断按钮与多人的运营商通话一一对应。也就是说，当用户希望某些联系人退出运营商通话时，可以分别点击这些运营商通话对应的挂断按钮，以结束与这些联系人的运营商通话，也实现灵活控制每个通话的通断。
99.场景b、voip通话音频混音
100.本技术实施例中，如图4中的(a)所示，第一手机101仍显示主界面301。若用户希望发起与其他用户之间的voip通话，则用户可以点击主界面301中的第三方app，如微信401。响应于该操作，第一手机101可以从主界面301跳转至第三方app的界面，如群聊界面402 (图4中的(b)所示)。群聊界面402中可以包括与聊天相关的各种图标，如包括：拍摄、相册、语音通话403、以及更多等等。如此，用户可以点击群聊界面402中的语音通话403按钮。响应于该操作，第一手机101可以从群聊界面402跳转至群聊选择界面501(图5中的 (a)所示)。群聊选择界面501中可以包括该群聊，如“家人群聊”中各联系人的图标，如包括“联系人kevin”502、“联系人ross”503、“联系人dike”504等等，以便用户可以在群聊选择界面501中选择需要通话的联系人。与上述场景a类似，若用户希望与某一个联系人发起单人的voip通话，则可以在群聊选择界面501中选中该联系人，如选中“联系人kevin
”ꢀ
502。响应于该操作，第一手机101可以向该“联系人kevin”502发起voip通话。类似的，若用户希望与多个联系人发起多人的voip通话，则可以在群聊选择界面501中选中多个联系人，如选中“联系人kevin”502、“联系人ross”503、“联系人dike”504。其中，选中多个联系人的具体实现，可以参考上述场景a中选中多个联系人的相关介绍，在此不再赘述。
101.进一步地，一方面，用户可以点击发起通话505，以便第一手机101响应于该操作，向“联系人kevin”502、“联系人ross”503、“联系人dike”504发起多人的voip通话，并从联系人群聊选择界面501跳转至voip通话界面506(图5中的(b)所示)。其中，voip通话界面506中可以包括被选中的多个联系人的图标，如包括“联系人kevin”502、“联系人ross
”ꢀ
503、“联系人dike”504，还可以包括与通话相关的图标，如包括：静音、免提，切换视频、挂断507等等。
102.另一方面，响应于点击发起通话505的操作，第一手机101可以分别向该多个联系人发起呼叫，如向“联系人kevin”502、“联系人ross”503以及“联系人dike”504发起呼叫。其中，与上述场景a类似，若多个联系人中有某一个联系人先接通，则第一手机101可以进行单人的voip通话。比如，若“联系人kevin”502的voip通话先接通，则第一手机101可以向“联系人kevin”502发送本地音频，并在本地播放“联系人kevin”502的voip通话音频(上述第二音
频)。之后，若多个联系人中还有其他联系人的voip通话陆续接通，则第一手机101可以将接收到的voip通话音频混音，并向各联系人发送相应的混音音频，以实现多人的voip通话。比如，若“联系人ross”503和“联系人dike”504的voip通话接通，则第一手机101可以向“联系人kevin”502发送本地音频、“联系人ross”503的voip通话音频(上述第三音频)、以及“联系人dike”504的voip通话音频的混音音频，向“联系人ross
”ꢀ
503发送本地音频、“联系人kevin”502的voip通话音频以及“联系人dike”504的voip通话音频的混音音频，并向“联系人dike”504发送本地音频、“联系人kevin”502的voip通话音频以及“联系人ross”503的voip通话音频的混音音频，最后在本地播放“联系人kevin
”ꢀ
502、“联系人ross”503以及“联系人dike”504的voip通话音频的混音音频，从而实现多人的voip通话。之后，若用户希望结束多人的voip通话，则可以点击挂断507。响应于该操作，第一手机101可以结束多人的voip通话。其中，结束多人的voip通话的具体实现，可以参考上述场景a中结束多人的运营商通话的相关介绍，在此不再赘述。
103.场景c、运营商通话音频与voip通话音频混音
104.本技术实施例中，用户可以先发起运营商通话，后发起voip通话，或者用户也可以先发起voip通话，后发起运营商通话，以便手机可以将运营商通话音频与voip通话音频混音。下面以先发起运营商通话，后发起voip通话为例进行介绍。
105.其中，如图6a所示，第一手机101仍显示主界面301。若用户希望发起与其他用户之间的运营商通话，则点击通讯录302，以便第一手机101从主界面301跳转到联系人选择界面 303(图6b所示)。如果用户希望与某一个联系人发起单人的运营商通话，则可以在联系人选择界面303中选中该联系人，如选中“联系人owen”601。响应于该操作，第一手机101可以向该“联系人owen”601发起运营商通话，并跳转到运营商通话界面602(图6c所示)。其中，选中联系人的具体实现，可以参考上述场景a中的相关介绍，在此不再赘述。
106.之后，若用户希望继续发起voip通话，则可以点击运营商通话界面602上的返回603按钮，以便第一手机101从运营商通话界面602跳转到主界面701(图7a所示)。之后，用户可以点击主界面701中的第三方app，如微信401。响应于该操作，第一手机101可以从主界面701跳转至第三方app的界面，如群聊界面703(图7b所示)。之后，用户可以点击群聊界面703中的语音通话403按钮。响应于该操作，第一手机101可以从群聊界面703跳转至群聊选择界面704(图7c所示)。之后，若用户希望与某个联系人发起voip通话，则可以在群聊选择界面704中选中该联系人，如选中“联系人kevin”502。响应于该操作，第一手机101可以向“联系人kevin”502发起voip通话。其中，选中联系人的具体实现，可以参考上述场景a中的相关介绍，在此不再赘述。
107.应理解，在主界面701、群聊界面703以及群聊选择界面704中，第一手机101已发起的运营商通话可以以下拉菜单702的形式显示在界面上方，以方便跳转回图6c所示的运营商通话界面602。
108.进一步地，由于第一手机101既发起运营商通话，又发起voip通话，第一手机101可以将该运营商通话和voip通话融合成一路通话，并且可以在同一个界面中将运营商通话界面和 voip通话一并显示。下面具体介绍。
109.一些可能的实施方式中，如图8a所示，第一手机101在发起voip通话，如向“联系人 kevin”502发起voip通话后，可以从群聊选择界面704跳转到融合通话界面801。其中，融合
通话界面801中，与voip通话相关的图标，如“联系人kevin”502、通话时长、挂断、免提、更多等等，可以显示在一部分区域中，如显示在融合通话界面801的上方区域中，与运营商通话相关的图标，如“联系人owen”601、通话时长、挂断、扬声器、更多等等，可以显示在另一部分区域中，如显示在融合通话界面801的下方区域中。如此，用户可以根据实际通话需求，灵活控制每个通话的通断。比如，若用户需要结束voip通话，则可以点击该 voip通话对应的挂断802，以结束voip通话，但运营商通话仍可以继续进行。
110.又一些可能的实施方式中，如图8b所示，第一手机101在向“联系人kevin”502发起 voip通话后，可以从群聊选择界面704跳转到融合通话界面802。其中，融合通话界面802 中，voip通话的相关图标与运营商通话的相关图标可以融合为一个图标，如融合为挂断、扬声器、更多等等。如此，用户可以一次性控制多个通话的通断，如用户可以点击挂断803，以结束voip通话和运营商通话，从而简化控制流程，以进一步提升用户体验。
111.再一些可能的实施方式中，如图8c所示，第一手机101在向“联系人kevin”502发起 voip通话后，可以从群聊选择界面704跳转到融合通话界面804。其中，融合通话界面804 中可以分屏显示voip通话界面805和运营商通话界面806。如此，用户可以灵活控制每个通话的界面大小，如通过拖拽分屏线807改变voip通话界面805和运营商通话界面806相对大小，以满足用户的使用需求。
112.进一步地，在发起运营商通话和voip通话后，若运营商通话和voip通话接通，则第一手机101可以将voip通话音频与运营商通话音频混音，然后向通话中的各联系人发送对应的混音音频。比如，若“联系人kevin”502发起voip通话接通，且“联系人owen”601的运营商通话也接通，则第一手机101可以向“联系人kevin”502发送本地音频，“联系人owen
”ꢀ
601的运营商通话音频(上述第二音频)的混音音频，向“联系人owen”601发送第一手机 101的本地音频，与“联系人kevin”502的voip通话音频(上述第三音频)的混音音频，以及在本地播放“联系人owen”601的运营商通话音频，与“联系人kevin”502的voip通话音频的混音音频，从而实现voip与运营商的跨平台多人通话。
113.应理解，上述是以将一个voip通话与一个运营商通话混音为例，但并不作为限定。实际上，第一手机101也可以实现一人或多人的voip通话，与一人或多人的运营商通话混音，在此不再赘述。相应地，结束多人的voip通话和结束多人的运营商通话的具体实现，可以参考上述场景a中结束多人的运营商通话的相关介绍，在此不再赘述。
114.还应理解，对于上述场景a-场景c，可以通过联系人选择界面发起运营商通话，以及通过群聊选择界面发起voip通话。也就是说，对于上述场景a-场景c，可通过不同的界面分别发起运营商通话和voip通话。可选地，在一些应用场景中，也可以通过同一个界面，分别发起运营商通话和voip通话。下面具体介绍。
115.如图9a所示，第一手机101仍显示主界面301。若用户希望发起与其他用户之间的运营商通话和/或voip通话，则点击通讯录302，以便第一手机101从主界面301跳转到联系人选择界面901(图9b所示)。其中，与上述联系人选择界面303，以及联系人选择界面704不同，联系人选择界面901中不仅可以包括运营商对应的联系人，如包括：“联系人mike”304、“联系人nike”304、以及“联系人owen”601等等，还可以包括第三方app对应的联系人，如包括：“联系人kevin”502、“联系人ross”503等等。其中，第一手机101可以通过软件接口，从第三方app，如qq、微信、聊天室等，获取第三方app对应的联系人的信息，从而在该联系人选择
界面901显示各个联系人以及这些联系人所分别对应的第三方app。如此，用户可以在联系人选择界面901中选中想要通话的联系人。响应于该操作，第一手机101可以在联系人选择界面902中，被选中的联系人附近显示二级菜单(图9c所示)。该二级菜单中可以包括该联系人的联系方式。比如，若选中“联系人mike”304，则“联系人mike”304 下方的二级菜单中包括：qq通话和运营商通话903，也就是说，用户可以通过qq通话和/或运营商通话903联系“联系人mike”304。又比如，若选中“联系人nike”305，则“联系人 nike”305下方的二级菜单中包括：qq通话和运营商通话904，也就是说，用户可以通过qq 通话和/或运营商通话904联系“联系人nike”305。再比如，若选中“联系人owen”601，则“联系人owen”601下方的二级菜单中包括：运营商通话905和微信通话906，也就是说，用户可以通过运营商通话905和微信通话906联系“联系人owen”601。还比如，若选中“联系人kevin”502，则“联系人owen”601下方的二级菜单中包括：qq通话、运营商通话和微信通话907，也就是说，用户可以通过qq通话、运营商通话和/或微信通话907联系“联系人kevin”502。
116.一些可能的实现方式中，二级菜单中的各种联系方式可以按使用频率排序，如按使用频率从高到低的顺序，从左往右依次排列。比如，对于“联系人mike”304下方的二级菜单，若qq通话的使用频率高于运营商通话903的使用频率，则按左往右依次为：qq通话、运营商通话903。又比如，对于“联系人kevin”502，若qq通话的使用频率高于运营商通话的使用频率，运营商通话的使用频率又高于微信通话907的使用频率，则按左往右依次为：qq 通话、运营商通话、微信通话907。如此，用户根据二级菜单中各种联系方式的排序，可以知晓采用那种方式更容易与对方取得联系，从而更快与对方取得联系，以进一步提升用户体验。当然，二级菜单中的各种联系方式按使用频率排序仅为一种示例性的排序方式，并不作为限定。比如，二级菜单中的各种联系方式也可以按使用的先后顺序排序。比如，对于“联系人 mike”304下方的二级菜单，若qq通话是最近使用的通话方式，运营商通话903较于qq通话是更早使用的通话方式，则按左往右依次为：qq通话、运营商通话903。又比如，对于“联系人kevin”502，若qq通话是最近使用的通话方式，运营商通话903较于qq通话是更早使用的通话方式，而微信通话907较于运营商通话903是最早使用的通话方式，则按左往右依次为：qq通话、运营商通话、微信通话907。
117.进一步地，用户可以在联系人选择界面902的二级菜单中，选中相应的联系方式，如通过长按选中相应的联系方式。其中，被选中的联系方式附近可以显示选中标记，以便用户可以取消选中，以修改选错的联系方式。或者，被选中的联系方式也可以以高亮、抖动等方式显示，以示区别。然后，用户可以点击发起通话908，以便第一手机101可以响应该操作，向相应的联系人发起通话，并从联系人选择界面902跳转到相应地通话界面。其中，发起通话 306可以是联系人选择界面902中默认显示，或者也可以是选中联系人或者选中联系方式后弹出显示。如图9c所示，比如，若用户选中运营商通话903和运营商通话904，并点击发起通话908，则第一手机101可以向“联系人mike”304和“联系人nike”305发起多人的运营商通话，并从联系人选择界面902跳转到运营商通话界面，其中，该运营商通话界面的具体实现可以参考图3c所示的界面。又比如，若用户选中微信通话906和微信通话907，并点击发起通话908，则第一手机101可以向“联系人owen”601和“联系人kevin”502发起多人的voip通话，并从联系人选择界面902跳转到voip通话界面，其中，该voip通话界面的具体实现可以参考图5中的(b)所示的界面。再比如，若用户选中运营商通话905和微信通话907，并点击发
起通话908，则第一手机101可以向“联系人owen”601发起运营商通话，向“联系人kevin”502发起voip通话，并从联系人选择界面902跳转到融合通话界面，其中，融合通话界面的具体实现可以参考图8a-图8c所示的界面。
118.应理解，通过二级菜单发起通话仅为一种示例性的通话方式，并不作为限定。比如，用户选中某个联系人，如第一联系人后，响应于该操作，第一手机101可以根据第一手机101 与第一联系人之间的使用频率最高或者最近使用的联系方式，主动发起相应的通话，从而简化用户操作，以进一步提升用户体验。例如图9b所示，若用户选中“联系人kevin”502，则因“联系人kevin”502使用qq通话的频率最高，第一手机101可以向“联系人kevin”502 发起voip通话。若用户选中“联系人owen”601，则因“联系人kevin”502使用运营商通话的频率最高，第一手机101可以向“联系人kevin”502发起运营商通话。
119.以上结合图3a-图9c具体介绍了多方通话在各自场景下的应用。下面结合图10具体介绍手机的底层如何实现上述多方通话。
120.本技术实施例中，仍以第一手机101为例，图10为第一手机101的软硬件分层架构示意图。如图10所示，分层架构将软硬件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件或硬件接口通信。在一些实施例中，可以将第一手机101分为三层，从上至下分别为应用程序层，框架(framework)层，以及硬件层。
121.其中，应用程序层可以包括一系列应用程序包。如图10所示，应用程序层可以包括上述与通话相关的app，如联系人、微信、qq等。框架层可以提供一些功能性模块，以配合上述与通话相关的app完成单方或多方通话。如图10所示，应用程序框架层可以包括：运营商通话管理模块、本地音频管理模块、voip通话管理模块、以及多方通话管理模块。硬件层可以包括一系列硬件模块。如图10所示，硬件层可以包括：运营商通话硬件模块、本地音频硬件模块、以及voip通话硬件模块。其中，运营商通话硬件模块和voip通话硬件模块用于配合框架层收发相应的通话音频，本地音频硬件模块用于配合框架层进行拾音和播放。
122.具体而言，如果应用程序层发起运营商通话，运营商通话硬件模块可以接收来自运营商网络的运营商通话音频，并向运营商通话管理模块发送，以便运营商通话管理模块向多方通话管理模块发送该运营商通话音频。如果应用程序层发起voip通话，voip通话硬件模块可以接收来自互联网的voip通话音频，并向voip通话管理模块发送，以便voip通话管理模块向多方通话管理模块发送该voip通话音频。再者，如果应用程序层发起voip通话和/或运营商通话，本地音频硬件模块可以采集本地音频，并向本地音频管理模块发送，以便本地音频管理模块分别向运营商通话管理模块、voip通话管理模块、和/或、多方通话管理模块发送该本地音频。
123.其中，作为一种实施方式，各管理模块接收到相应的音频后，由各管理模块各自进行混音。比如，多方通话管理模块可分别向运营商通话管理模块、voip通话管理模块以及本地音频管理模块转发多方通话管理模块接收到的音频，以便运营商通话管理模块、voip通话管理模块以及本地音频硬件管理各自进行混音。或者，作为另一种实施方式，各管理模块接收到相应的音频后，由其中一个管理模块进行混音。比如，多方通话管理模块也可以将接收到的音频混音，再分别向运营商通话管理模块、voip通话管理模块以及本地音频硬件管理转发混音音频。为便于理解，下面分别以运营商通话管理模块、voip通话管理模块以及本地音频硬件管理各自进行混音，以及多方通话管理模块进行混音为例介绍。
124.a.运营商通话管理模块、voip通话管理模块和/或本地音频硬件管理进行混音
125.其中，在只有运营商通话的场景下，多方通话管理模块可以向本地音频管理模块转发来自运营商通话管理模块的运营商通话音频。在只有voip通话的场景下，多方通话管理模块可以向本地音频管理模块转发来自voip通话管理模块的voip通话音频。再者，在voip通话和运营商通话共同进行的场景下，多方通话管理模块可以向本地音频管理模块和运营商通话管理模块，转发来自voip通话管理模块的voip通话音频，以及向本地音频管理模块和voip通话管理模块，转发来自运营商通话管理模块的运营商通话音频。
126.可以看出，由于多方通话管理模块在不同场景下转发的通话音频不同，相应地，各管理模块在不同场景下对通话音频的处理方式也不同，下面分别介绍。
127.例如，在只有运营商通话的场景下，一方面，运营商通话管理模块可以接收来自本地音频管理模块的本地音频。这种情况下，如果是单人的运营商通话，运营商通话管理模块可通过运营商通话硬件模块，向运营商网络发送该本地音频，以便对端手机能够接收到该本地音频。如果是多人的运营商通话，运营商通话管理模块可以将本地音频与运营商通话音频混音，然后通过运营商通话硬件模块向运营商网络发送混音音频，以便各对端手机能够接收到相应的混音音频。比如，如图1和图10所示，以第一手机101的运营商通话管理模块为例，第一手机101的运营商通话管理模块可以将第二手机102的运营商通话音频(上述第二音频)，与第一手机101的本地音频混音为第一混音音频，将第三手机103的运营商通话音频(上述第三音频)，与第一手机101的本地音频混音为第二混音音频，然后通过运营商通话硬件模块，向运营商网络发送第一混音音频和第二混音音频，以便第二手机102能够接收到第二混音音频，第三手机103能够接收到第一混音音频。
128.另一方面，本地音频管理模块可以接收来自多方通话管理模块的运营商通话音频，从而通过本地音频硬件模块在本地播放该运营商通话音频。
129.可以理解到，通过多方通话管理模块的分发，以及各管理模块的混音，使得每个手机都可以播放其余手机的运营商通话音频，从而实现多方运营商通话。
130.又例如，在只有voip通话的场景下，一方面，voip通话管理模块可以接收来自本地音频管理模块的本地音频。这种情况下，如果是单人的voip通话，voip通话管理模块可以通过 voip通话硬件模块向互联网发送该本地音频，以便对端手机能够接收到该本地音频。如果是多人的voip通话，voip通话管理模块可以将本地音频与voip通话音频混音，然后通过voip 通话硬件模块向互联网发送混音音频，使得各对端手机能够接收到相应的混音音频。比如，如图1和图10所示，以第一手机101的voip通话管理模块为例，第一手机101的voip通话管理模块可以将第二手机102的voip通话音频，与第一手机101的本地音频混音为第三混音音频，将第三手机103的voip通话音频，与第一手机101的本地音频混音为第四混音音频，然后通过voip通话硬件模块，向互联网发送第三混音音频和第四混音音频，以便第二手机 102能够接收到第四混音音频，第三手机103能够接收到第三混音音频。
131.另一方面，本地音频管理模块可以接收来自多方通话管理模块的voip通话音频，从而通过本地音频硬件模块在本地播放该voip通话音频。
132.可以理解到，通过多方通话管理模块的分发，以及各管理模块的混音，使得每个手机都可以播放余下手机的voip通话音频，从而实现多方voip通话。
133.再例如，在voip通话和运营商通话共同进行的场景下，一方面，运营商通话管理模
块可以接收来自本地音频管理模块的本地音频，以及接收来自多方通话管理模块的voip通话音频。这种情况下，如果是单人的运营商通话，运营商通话管理模块可以将voip通话音频与本地音频混音，然后通过运营商通话硬件模块向运营商网络发送混音音频，使得对端手机能够接收到该混音音频。如果是多人的运营商通话，运营商通话管理模块可以将运营商通话音频、 voip通话音频和本地音频混音，然后通过运营商通话硬件模块向运营商网络发送混音音频，使得各对端手机能够接收到相应的混音音频。比如，如图1和图10所示，仍以第一手机101 的运营商通话管理模块为例，第一手机101的运营商通话管理模块可以将第一手机101的本地音频、第二手机102的运营商通话音频(上述第二音频)、第三手机103的运营商通话音频 (上述第三音频)混音为第五混音音频(或者也可以由voip通话管理模块进行混音，以获得该第五混音音频)，将第一手机101的本地音频、第二手机102的运营商通话音频、第四手机 (第四终端，图中未示出)的voip通话音频(第四音频)混音为第六混音音频，以及将第一手机101的本地音频、第三手机103的运营商通话音频、第四手机的voip通话音频混音为第七混音音频。如此，第一手机101通过运营商通话硬件模块向运营商网络发送第六混音音频以及第七混音音频，并通过voip通话硬件模块向互联网发送第五混音音频，以便第二手机 102可以接收到第七混音音频、第三手机103可以接收到第六混音音频、以及第四手机可以接收到第五混音音频。
134.另一方面，voip通话管理模块可以接收来自本地音频管理模块的本地音频，以及接收来自多方通话管理模块的运营商通话音频。这种情况下，如果是单人的voip通话，voip通话管理模块可以将运营商通话音频与本地音频混音，然后通过voip通话硬件模块向互联网发送混音音频，使得对端手机能够接收到该混音音频。如果是多人的voip通话，voip通话管理模块可以将运营商通话音频、voip通话音频和本地音频混音，然后通过voip通话硬件模块向互联网发送混音音频，使得各对端手机能够接收到相应的混音音频。比如，如图1和图10所示，仍以第一手机101的voip通话管理模块为例，第一手机101的voip通话管理模块可以将第一手机101的本地音频、第二手机102的voip通话音频(上述第二音频)、第三手机103 的voip通话音频(上述第三音频)混音为第八混音音频(或者也可以由运营商通话管理模块进行混音，以获得该第八混音音频)，将第一手机101的本地音频、第二手机102的voip通话音频、第四手机(图中未示出)的运营商通话音频混音为第九混音音频，以及将第一手机 101的本地音频、第三手机103的voip通话音频、第四手机的运营商通话音频混音为第十混音音频。如此，第一手机101通过voip通话硬件模块向互联网发送第九混音音频以及第十混音音频，并通过运营商通话硬件模块向运营商网络发送第八混音音频，以便第二手机102可以接收到第十混音音频、第三手机103可以接收到第九混音音频、以及第四手机可以接收到第八混音音频。
135.再一方面，本地音频管理模块可以将来自多方通话管理模块的运营商通话音频和voip通话音频混音，从而通过本地音频硬件模块在本地播放该运营商通话音频和voip通话音频。
136.可以理解到，通过多方通话管理模块的分发，以及各管理模块的混音，使得每个手机都可以播放余下手机的voip通话音频和/或运营商通话音频，从而实现跨平台的多方通话。
137.b.多方通话管理模块进行混音
138.其中，在只有运营商通话的场景下，如果是单人的运营商通话，多方通话管理模块可以向本地音频管理模块转发来自运营商通话管理模块的运营商通话音频，以实现本地播放该运营商通话音频。如果是多人的运营商通话，一方面，多方通话管理模块也可以向本地音频管理模块转发该运营商通话音频，以实现本地播放该多人的运营商通话音频的混音音频；另一方面，多方通话管理模块可以将本地音频与运营商通话音频混音，然后向运营商通话管理模块发送混音音频，以便各对端手机能够接收到相应的混音音频，从而实现多方voip通话。其中，多方通话管理模块将本地音频与运营商通话音频混音的具体实现，可以参考上述运营商通话管理模块进行混音的相关介绍，在此不再赘述。
139.在只有voip通话的场景下，如果是单人的voip通话，多方通话管理模块可以向本地音频管理模块转发来自voip通话管理模块的voip通话音频，以实现本地播放该voip通话音频。如果是多人的运营商通话，一方面，多方通话管理模块也可以向本地音频管理模块转发该运营商通话音频，以实现本地播放该运营商通话音频；另一方面，多方通话管理模块可以将本地音频与voip通话音频混音，然后向voip通话管理模块发送混音音频，以便各对端手机能够接收到相应的混音音频，从而实现多方voip通话。其中，多方通话管理模块将本地音频与voip通话音频混音的具体实现，可以参考上述voip通话管理模块进行混音的相关介绍，在此不再赘述。
140.在voip通话和运营商通话共同进行的场景下，一方面，多方通话管理模块可以向本地音频管理模块转发来自voip通话管理模块的voip通话音频，以及转发来自运营商通话管理模块的运营商通话音频，以实现本地播放该voip通话音频和运营商通话音频。另一方面，多方通话管理模块可以将本地音频、运营商通话音频以及voip通话音频混音，然后分别向voip 通话管理模块和运营商通话管理模块发送混音音频，以便各对端手机能够接收到相应的混音音频，从而实现voip和运营商的跨平台多方通话。其中，多方通话管理模块将将本地音频、运营商通话音频以及voip通话音频混音的具体实现，可以参考上述voip通话管理模块和运营商通话管理模块进行混音的相关介绍，在此不再赘述。
141.需要说明的是，上述介绍是以多方语音通话为例，但并不作为限定。一些场景中，也可以适用于多方视频通话。比如，仍以第一手机101、第一手机102、以及第一手机103为例。第一手机101可以采集第一手机101本地的第一音频和第一图像帧集合，第二手机102可以采集第二手机102本地的第二音频和第二图像帧集合，以及第三手机103可以采集第三手机 103本地的第三音频和第三图像帧集合。其中，以第一手机101为例，第一手机101可以作为中继，向第三手机103发送第一音频与第二音频的混音音频，并打包发送该第一图像帧集合和第二图像帧集合，如将第一图像帧和第二图像帧集合承载在一个数据包，然后发送该数据包。同理，第一手机101还可以向第二手机102发送第一音频与第三音频的混音音频，并打包发送该第一图像帧集合和第三图像帧集合。最后，第一手机101可以在本地播放第二音频与第三音频的混音音频，并分别播放该第二图像帧集合和第三图像帧集合，如与音频同步地播放该第二图像帧集合和第三图像帧集合。同理，第二手机102可以在本地播放，第一音频与第三音频的混音音频，并分别播放该第一图像帧集合和第三图像帧集合。第三手机103 可以在本地播放第一音频与第二音频的混音音频，并分别播放该第一图像帧集合和第二图像帧集合，以实现多方视频通话。
142.应理解，第一手机101对上述第一图像帧集合、第二图像帧集合、以及第三图像帧
集合的处理，可以由上述多方通话管理模块实现，或者也可以由单独的模块，如多方图像帧管理模块(图10中未示出)实现，具体实现可以参考上述图10所示出的架构，在此不再赘述。
143.为便于理解，下面结合应用场景对多方视频通话进行介绍。
144.如图11中的(a)所示，第一手机101仍显示主界面301。若用户希望发起与其他用户之间的视频通话，则点击通讯录302，以便第一手机101从主界面301跳转到联系人选择界面 1101(图11中的(b)所示)。其中，联系人选择界面1101中可以包括各联系人，如包括：“联系人mike”304、“联系人nike”304、以及“联系人owen”等等。如此，用户可以在联系人选择界面1101中选中想要视频通话的联系人。响应于该操作，第一手机101可以在联系人选择界面1201中，被选中的联系人附近显示二级菜单(图12中的(a)所示)。该二级菜单中可以包括该联系人的通话方式，如语音通话、视频通话等，以便用户可以通过同一个界面，即发起语音通话，又发起视频通话，无需用户在手机中跳转多个界面，以更快捷地发起视频通话或语音通话。比如，若选中“联系人mike”304，则“联系人mike”304下方的二级菜单中包括：视频通话1202和语音通话。又比如，若选中“联系人nike”305，则“联系人nike”305下方的二级菜单中包括：语音通话和视频通话1203。此外，该二级菜单中各种联系方式的排序方式可以参考上述图9a-图9c对应的介绍，在此不再赘述。
145.应理解，通过同一个界面，即发起语音通话，又发起视频通话，仅为一种示例性的通话方式，并不作为限定。比如，第一手机101也可以设置用于视频通话的联系人选择界面，使得用户通过该联系人选择界面能够直接发起视频通话，以避免用户误操作。
146.进一步地，用户可以在联系人选择界面902的二级菜单中选中相应的联系方式，如通过长按选中相应的联系方式。其中，被选中的联系方式附近可以显示选中标记，以便用户可以取消选中，以修改选错的联系方式。或者，被选中的联系方式也可以以高亮、抖动等方式显示，以示区别。然后，用户可以点击发起通话1204，以便第一手机101可以响应该操作，向相应的联系人发起通话，并从联系人选择界面1201跳转到相应地通话界面。其中，发起通话 1204可以是联系人选择界面1201中默认显示，或者也可以是选中联系人或者选中联系方式后弹出显示。如图12中的(a)所示，比如，若用户选中视频通话1202和视频通话1204，并点击发起通话1204，则第一手机101可以向“联系人mike”304和“联系人nike”305发起多人的视频通话，并从联系人选择界面1201跳转到视频通话界面1205(图12中的(b)所示)。
147.其中，一方面，视频通话界面1205中可以包括被选中的多个联系人各自的视频通话框，如包括“联系人mike”304的视频通话框1206、“联系人nike”305的视频通话框1207以及第一手机101的本机用户的视频通话框1208。此外，视频通话界面1205中还可以包括与通话相关的图标，如包括：通话时长、扬声器、挂断1209、更多等等。
148.另一方面，响应于发起通话1204的操作，第一手机101可以分别向多个联系人发起呼叫，如向“联系人mike”304和“联系人nike”305发起呼叫。其中，若多个联系人中有某一个联系人先接通，则第一手机101可以进行单人的视频通话。比如，若“联系人mike”304 的视频通话先接通，则第一手机101可以向“联系人mike”304发送本地音频和若干本地图像帧(上述第一图像帧集合)，并在本地播放“联系人mike”304的通话音频(上述第二音频)，以及在视频通话框1206内播放“联系人mike”304的若干图像帧(上述第二图像帧集合)，在视频通话框1208内播放若干本地图像帧，以实现单人的视频通话。之后，若多个联系人中还有其他联系人的视频通话陆续接通，则第一手机101可以将接收到的通话音频混音，并分别播放
通话音频对应的若干图像帧，以实现多人的视频通话。比如，若“联系人nike”305的视频通话接通，则第一手机101可以向“联系人nike”305发送本地音频，与“联系人mike
”ꢀ
304的通话音频的混音音频，向“联系人mike”304发送本地音频，与“联系人nike”305的通话音频(上述第三音频)的混音音频，以及在本地播放“联系人mike”304的通话音频，与“联系人nike”305的通话音频的混音音频。此外，第一手机101还可以向“联系人nike
”ꢀ
305发送若干本地图像帧和“联系人mike”304的若干图像帧，并向“联系人mike”304发送若干本地图像帧和“联系人nike”305的若干图像帧(上述第三图像帧集合)，以及在视频通话框1206内播放“联系人mike”304的若干图像帧，在视频通话框1207内播放“联系人 nike”305的若干图像帧，并在视频通话框1208内播放若干本地图像帧，从而实现多人的视频通话。
149.最后，若用户希望结束多人的视频通话，则可以点击挂断1209。响应于该操作，第一手机101可以结束多人的视频通话。其中，结束多人的视频通话的具体实现，可以参考上述场景a中结束多人的运营商通话的相关介绍，在此不再赘述。
150.本技术实施例中，图13为本技术实施例提供的一种通话融合方法的流程。如图13所示，该通话融合方法包括如下步骤：
151.s1301，第一终端发起第一通话。
152.其中，第一通话包括：第一终端和第二终端的第二通话，以及第一终端和第三终端的第三通话。第二通话为第一终端使用第一sim发起的通话，第三通话为第一终端使用第二sim 发起的通话，第二通话和第三通话为运营商通话。可选地，第一sim与第二sim可以属于不同的运营商，但不限定。
153.具体而言，第一终端可以响应于用户在联系人选择界面内的选择联系人的操作，向第一联系人发起第二通话，如根据第一终端与第一联系人之间的使用频率最高或者最近使用的联系方式，向第一联系人发起第二通话，并向第二联系人发起第三通话，如根据第一终端与第二联系人之间的使用频率最高或者最近使用的联系方式，向第二联系人发起第三通话，然后将第二通话和第三通话融合为第一通话，以方便通话管理。其中，第一联系人可以与第二终端对应，第二联系人可以与第三终端对应。
154.可选地，作为一种设计方式，上述联系人选择界面中包括第一联系人的各种联系方式，各种联系方式按使用频率从高到低顺序排列，或者按照使用的先后顺序排列，对此不限定。
155.s1302，第一终端接收来自第二终端的第二音频，以及来自第三终端的第三音频。
156.s1303，第一终端向第二终端发送第一音频与第三音频的混音音频，并向第三终端发送第一音频与第二音频的混音音频。
157.其中，第一音频为第一终端的本地音频。此外，将第一音频与第三音频的混音，将第一音频与第二音频的混音的具体实现，可以参考上述图10对应的相关介绍，在此不再赘述。
158.可选地，在s1303之后，第一终端还可以播放第二音频与第三音频的混音音频，以便第一终端的用户也可以听到其他用户的声音，从而提高用户的通话体验。
159.可选地，第一终端发起第一通话后，第一终端可以显示第二通话对应的第一图标集合和第三通话对应的第二图标集合。其中，第一图标集合和第二图标集合可以包括重叠的部分图标，以便用户可以整体控制所有通话的通断，或者第一图标集合和第二图标集合
以分屏的方式在第一终端上显示，以便用户分别控制各个通话的通断，对此不限定。
160.可选地，如果第一通话是多方的视频通话，则第一终端还可以接收来自第二终端的第二图像帧集合，以及接收来自第三终端的第三图像帧集合，然后向第二终端发送，如打包发送第一图像帧集合与第三图像帧集合，并向第三终端发送，如打包发送第一图像帧集合与第二图像帧集合，以实现多方视频通话。其中，第一图像帧集合为来自第一终端的图像帧集合，或者说是第一终端本地的图像帧集合。
161.一种设计可能的设计中，s1301还可以包括：第一终端发起第二通话、第三通话以及第四通话，并将第二通话、第三通话以及第四通话融合为第一通话。其中，第四通话可以为第一终端和第四终端的voip通话。如此，可以实现voip通话和运营商通话的融合，从而实现跨平台的多方通话。
162.可选地，在发起第四通话的基础上，第一终端可以向第二终端发送第一音频、第三音频和第四音频的混音音频，向第三终端发送第一音频、第二音频和第四音频的混音音频，向第四终端发送第一音频、第二音频和第三音频的混音音频，以便参与通话的每个终端都能够接收到相应的混音音频，从而实现跨平台的多方通话。此外，可选地，第一终端还可以播放第二音频、第三音频和第四音频的混音音频，以便用户可以听到跨平台的多方通话中其他用户的声音，从而提高用户的通话体验。
163.如图14所示，本技术实施例公开了一种电子设备，例如上述实施例中的手机1或手机2。该电子设备具体可以包括：显示屏1407；一个或多个处理器1402；存储器1403；通信模块 1408；一个或多个应用程序(未示出)；以及一个或多个计算机程序1404，上述各器件可以通过一个或多个通信总线1405连接。其中，该一个或多个计算机程序1404被存储在上述存储器1403中并被配置为被该一个或多个处理器1402执行，该一个或多个计算机程序1404包括指令，该指令可以用于执行上述实施例中手机执行的相关步骤。该电子设备还可以包括触摸传感器1406(触摸传感器1406与显示屏1407可集成为触摸屏1401)、鼠标等输入设备。
164.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a,b可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
165.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c 可以是单个，也可以是多个。
166.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
167.通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前
述方法实施例中的对应过程，在此不再赘述。
168.在本技术实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
169.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
170.以上所述，仅为本技术实施例的具体实施方式，但本技术实施例的保护范围并不局限于此，任何在本技术实施例揭露的技术范围内的变化或替换，都应涵盖在本技术实施例的保护范围之内。因此，本技术实施例的保护范围应以所述权利要求的保护范围为准。