通话系统及主机设备的制作方法

文档序号:32699302发布日期:2022-12-27 22:06阅读:27来源:国知局
通话系统及主机设备的制作方法

1.本说明书涉及通信技术领域,尤其涉及一种通话系统及主机设备。


背景技术:

2.在电影拍摄、舞美演出、大型活动等场景中,通常需要利用内部通话系统来实现现场工作人员之间的通信,从而完成工作的组织调度。通常内部通话系统包括主机设备、以及可与主机设备通信连接的多个终端设备(比如,对讲机,或者通话腰包等),终端设备可以将用户的语音信号发送给主机设备,主机设备可以对接收到的语音信号进行混音处理,即针对每个终端设备,将除该终端设备以外的其他终端设备发送的语音信号混音后,转发给该终端设备。由于主机设备与终端设备通常是无线连接或有线连接,由于无线通信距离有限,而有线连接的部署距离也受限,因而内部通话系统只能在小范围内进行应用,无法实现让内部通话系统通信覆盖范围以外的用户接入到通话系统中,与通话系统中的终端设备进行通信。此外,如果内部通话系统为无线内部通话系统,由于通常可用的无线通信信道资源有限,因而,无线内部通话系统中接入终端设备的数量也受到限制,无法适用于需要很多用户参与通话的场景。


技术实现要素:

3.基于此,本说明书实施提供了通话系统及主机设备器。
4.根据本说明书实施例的第一方面,提供一种通话系统,包括主机设备、云服务端以及若干个客户端,所述主机设备和若干个终端设备通信连接;所述主机设备和所述客户端分别通过互联网与所述云服务端建立连接通道;
5.所述终端设备用于获取第一语音信号,并发送给所述主机设备;
6.所述客户端用于获取第二语音信号,将所述第二语音信号编码后发送给所述云服务端;
7.所述云服务端用于接收编码后的第二语音信号,并转发给所述主机设备;
8.所述主机设备,用于接收所述第一语音信号以及所述编码后的第二语音信号,对所述编码后的第二语音信号进行解码处理,并对接收到的所述第一语音信号以及解码得到的第二语音信号进行混音处理,生成与其中一个所述终端设备对应的混音信号并发送给该终端设备,以及生成与其中一个所述客户端对应的混音信号,并通过所述云服务端转发给该客户端。
9.根据本说明书实施例的第二方面,提供一种主机设备,所述主机设备和若干个终端设备通信连接;所述主机设备和若干个客户端分别通过互联网与云服务端建立连接通道;所述主机设备包括通信模块、编解码模块以及混音处理模块,
10.所述通信模块用于接收所述终端设备发送的第一语音信号,以及接收所述云服务端转发的由所述客户端发送的编码后的第二语音信号,并将所述第一语音信信号传输给所述混音处理模块,将所述编码后的第二语音信号传输给所述编解码模块,以及接收所述混
音处理模块传输的与所述其中一个终端设备对应的混音信号并发送给该终端设备,以及接收所述混音处理模块传输的与所述其中一个客户端对应的混音信号并发送给该客户端;
11.所述编解码模块用于对接收到的所述编码后的第二语音信号进行解码处理后传输给所述混音处理模块,以及接收所述混音处理模块传输的与所述其中一个客户端对应的混音信号并进行编码处理,以将编码后的混音信号发送给所述云服务端;
12.所述混音处理模块用于对所述第一语音信号以及解码得到的第二语音信号进行混音处理,生成与所述其中一个终端设备对应的混音信号,以及与所述其中一个客户端对应的混音信号。
13.根据本说明书实施例的第三方面,提供一种通话系统,包括主机设备、若干个终端设备、云服务端以及若干个客户端,所述主机设备和所述终端设备处于同一无线接入网内;所述主机设备和所述客户端分别通过互联网与所述云服务端建立连接通道;
14.所述终端设备用于获取第一语音信号,并发送给所述主机设备;
15.所述客户端用于获取第二语音信号,将所述第二语音信号编码后发送给所述云服务端;
16.所述云服务端用于接收编码后的第二语音信号,并转发给所述主机设备;
17.所述主机设备,用于接收所述第一语音信号以及所述编码后的第二语音信号,对所述编码后的第二语音信号进行解码处理,并对接收到的所述第一语音信号以及解码得到的第二语音信号进行混音处理,生成与其中一个所述终端设备对应的混音信号并发送给该终端设备,以及生成与其中一个所述客户端对应的混音信号,并通过所述云服务端转发给该客户端。
18.应用本说明书实施例方案,考虑到目前的内部通话系统虽然具有可以灵活部署、通话质量较高等优势,但是只能在小范围内通信,覆盖范围有限,且接入的终端设备的数量也受限。而基于互联网语音的网络通话虽然通信质量较差、但是其覆盖范围很广,可以实现广域部署。因而,可以综合两者的优势,构建一个通话系统,该通话系统包括主机设备,云服务端以及若干个客户端,主机设备与若干个终端设备通信连接,云服务端基于互联网分别与主机设备以及若干个客户端通信连接;主机设备用于接收若干个终端设备发送的第一语音信号,以及接收云服务端转发的由若干个客户端发送的编码后的第二语音信号,对第二语音信号进行解码处理,并对接收到的第一语音信号以及解码得到的第二语音信号进行混音处理,分别生成与若干个终端设备中的其中一个终端设备对应的混音信号,将与每个终端设备对应的混音信号发送给该终端设备,以及生成与若干个客户端中的其中一个客户端对应的混音信号;通过云服务端将与该客户端对应的混音信号转发给该客户端。该通话系统既具有高质量通话性能、可以灵活部署、且具有大尺度覆盖能力,可以实现将不在内部通话系统覆盖范围内的用户接入到该内部通话系统中进行通话。
19.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
21.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本说明书的实施例,并与说明书一起用于解释本说明书的原理。
22.图1(a)是本说明书实施例的一种无线内部通话系统的结构示意图。
23.图1(b)是本说明书实施例的一种无线内部通话系统的结构示意图。
24.图2-图6是本说明书实施例的一种无线内部通话系统的结构示意图。
25.图7是本说明书实施例的一种主机设备的内部结构示意图。
具体实施方式
26.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
27.在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
28.应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
29.在电影拍摄、大型活动等场景中,通常需要利用内部通话系统来实现现场工作人员之间的通信,从而完成工作的组织调度。内部通话系统包括有线内部通话系统和无线内部通话系统,相比于有线内部通话系统,无线内部通话系统的部署更加方便和灵活,因而被广泛使用。如图1(a)所示,为一种无线内部通话系统的示意图,无线内部通话系统中包括主机设备、以及与主机设备无线连接的多个终端设备。在一些场景,终端设备可以是集成语音信号采集功能、语音信号播放功能、以及无线收发功能的一体式设备,比如,可以是手持的对讲机。在一些场景,终端设备也可以是仅具有无线收发功能的设备,终端设备可以与语音采集以及语音播放设备连接,用于接收语音采集设备采集的语音信号,然后转发给主机设备,以及用于接收主机设备发送的混音信号,并通过语音播放设备播放给用户。比如,如图1(b)所示,终端设备可以是通话腰包,该通话腰包可以与耳麦连接。
30.主机设备则可以用于实现混音功能,即在接收到终端设备发送的语音信号后,针对每个终端设备,将除该终端设备以外的其他终端设备发送的语音信号进行混音处理后,转发给该终端设备。此外,主机设备还可以基于实际需求配置音效提升、网络扩展、模拟二四线语音接入、数字语音扩展、通话分组以及提供人机交互界面等功能。当然,实际应用中,主机设备可以是一个一体式设备,也可以是由两个或多个设备通过一定方式连接组合得到的设备。
31.由于主机设备与终端设备通常是无线连接,无线通信的距离有限,因而只能在小范围内进行应用,无法实现让无线通信覆盖范围以外的其他用户接入到通话系统中,与通
话系统中的终端设备进行通信。举个例子。比如,在某个活动的现场,除了在活动现场的工作人员之间需要通信,可能还需要接入与活动现场距离较远的其他工作人员,一起协同工作。或者活动现场的工作人员由于临时有事,需要暂时离开活动现场,但是可能活动的组织调度仍需要其参与,目前的无线通话系统还无法满足上述场景的需求。
32.此外,目前的无线内部通话系统均需支持全双工实时通话,因而,需要为各终端设备之间的语音信号分配单独的无线通信信道,以及为每个终端设备的上下行语音信号分配单独的无线通信信道,才能实现终端设备之间的全双工通话,保证稳定可靠的通话性能。而通常可用的无线通信信道资源有限,导致通话系统中的终端设备的数量也受到限制,无法适用于通话用户数量较多的场景。
33.基于此,本技术实施例提供了一种通话系统,考虑到目前的无线内部通话系统虽然具有可以灵活部署、通话质量较高等优势,但是只能在小范围内通信,覆盖范围有限,且接入的终端设备的数量也受限。而基于互联网语音的网络通话虽然通信质量较差、但是其覆盖范围很广,可以实现广域部署。因而,可以综合两者的优势,构建一个既具有高质量通话性能、可以灵活部署、且具有大尺度覆盖能力的通话系统,通过该通话系统,即可以实现将不在无线内部通话系统覆盖范围内的用户接入到该通话系统中进行通话,并且,由于互联网覆盖范围很广,用户可以随时随地接入到通话系统中,非常灵活方便。
34.同时,由于基于互联网语音的网络通话可以无需使用无线内部通话系统所用到的无线信道资源,因而,通话系统中的通话用户数量也不会因为无线通信信道资源有限而受到限制,即通话系统可以容纳更多的用户。
35.如图2所示,为本技术实施例提供的一种通话系统10,该通话系统10包括主机设备11、云服务端12以及若干个客户端13,主机设备11与若干个终端设备14无线连接。主机设备11和终端设备11通信连接,主机设备11、客户端13、云服务端12之间通过互联网建立连接。
36.比如,主机设备11与终端设备14可以采用有线连接的方式连接,当然由于有线连接的通信范围有限,主机设备11与终端设备14之间也可以采用wifi、蓝牙、zigbee、dect等短距离通信方式进行通信,或者为了保证两者的通话质量,主机设备11与终端设备14之间也可以通过一些自定义的私有协议实现无线通信,比如,主机设备11与终端设备14可以工作于独立分配频段,比如uhf频段,1.9ghz dect频段,2.4g/5ghz ism频段,同时,可以采用fsk,bpsk,qpsk等数字无线调制模式,支持acs,adhs自动跳频等抗干扰措施,以保证两者具有较高的通话质量。其中,可以为各终端设备之间的语音信号分配单独的无线通信信道,以及为每个终端设备的上下行语音信号分配单独的无线通信信道,以实现终端设备之间的全双工通话。
37.云服务端12基于互联网协议分别与主机设备11以及该若干个客户端13通信连接。为了让与主机设备11距离较远的其他用户(比如,无法和主机设备11进行有线连接,或者也不在终端设备14和主机设备11构成的无线内部通话系统所在的无线网络覆盖范围内的其他用户)也可以加入到终端设备组成的通话群组中进行语音通话,主机设备11与云服务端12可以通过互联网实现通信连接,云服务端12与客户端13也可以通过互联网实现通信连接。由于互联网覆盖范围较广,因而,客户端13可以随时随地接入到终端设备14组成的通话群组中,与终端设备14实现群组通话,非常方便和灵活。
38.比如,该若干个终端设备14可以采集活动现场的用户的第一语音信号,并发送给
主机设备11,该若干个客户端13可以采集距离活动现场较远的用户(当然,可以是活动现场的用户)第二语音信号,并发送给云服务端12,由云服务端12转发给主机设备11。主机设备11可以接收该第一语音信号,以及第二语音信号,并对接收到的第一语音信号以及第二语音信号进行混音处理,分别生成与该若干个终端设备14中的其中一个终端设备(当然,也可以是通话系统的每个终端设备)对应的混音信号,以及与该若干个客户端13中的其中一个客户端对应的混音信号,当然,也可以是通话系统的每个终端设备和每个客户端,具体基于实际情况设置。主机设备11在完成混音处理后,可以将与每个终端设备14对应的混音信号发送给每个终端设备14,以及通过云服务端12将与每个客户端13对应的混音信号转发给每个客户端13。
39.针对任一终端设备14,可以将接收到的语音信号中该终端设备14发送的语音信号剔除,将与该终端设备14位于同一群组的其他终端设备14以及客户端13发送的语音信号进行混音处理后,发送给该终端设备14。同理,针对任一客户端13,可以将与该客户端13位于同一群组的终端设备14以及其他客户端13发送的语音信号进行混音处理后,发送给该客户端13。从而可以实现群组中的每个成员可以听到其他成员的讲话,并且将多个成员的语音混音成一路语音后再进行传输,也可以提升传输效率,减少延时。
40.其中,该终端设备14可以是集语音信号采集功能、语音信号播放功能以及无线信号收发功能于一体的设备,比如,可以是手持式的对讲设备。当然,该终端设备14也可以是仅具有无线信号收发功能的设备,比如,可以是通话腰包,该终端设备14可以与具备语音信号采集和播放功能的设备(比如,耳麦)15连接,如图1(b)所示,耳麦15可以用于采集用户的第一语音信号,并传输给终端设备14,终端设备14发送给主机设备11进行混音处理,然后接收主机设备11发送的混音信号,并转发给麦克风15,以播放给用户。
41.在一些场景,主机设备11可以是一个一体式设备,该设备除了具备混音处理功能之外,还可以根据实际需求集成音效提升、网络扩展、模拟二四线语音接入、数字语音扩展、群组管理以及提供人机交互界面、连接tally设备等各种通话系统需要具备的功能。当然,在一些场景,主机设备11也可以是由两个或者多个设备组合得到的设备,比如,可以由两个设备通信连接构成主机设备11,每个设备可以实现上述一部分功能。
42.云服务端12可以是设置在云服务器、或者云服务器集群上的通话服务,该通话服务可以实现让客户端13和终端设备14进行群组通话。比如,该通话服务可部署在目前主流云服务提供商pass或sass平台上,例如,亚马逊云,微软云,阿里云或腾讯云等,本技术实施例不做限制。
43.客户端13可以是安装在移动终端上的app,或者是网页客户端,比如,可以是安装在手机、智能穿戴设备、平板等移动终端上的app。该客户端13可以将移动终端采集的第二语音信号发送给云服务端12,通过云服务端12转发给主机设备11,同时可以接收混音信号,并播放给用户。当然,在一些实施例中,如果终端设备14或主机设备11具备安装app的功能,该客户端也可以安装在终端设备14或主机设备11上。
44.由于主机设备11与云服务端12之间可以通过互联网连接,云服务端12与客户端13也可以通过互联网连接,考虑的通过互联网传输语音信号存在一定的延时,为了尽可能减小延时,保证客户端13的通话质量,客户端13在采集到用户的第二语音信号后,可以先对第二语音信号进行压缩编码处理,再发送给云服务端12,对应的,主机设备11在接收到云服务
端12转发的编码后的第二语音信号后,可以先对接收到的编码后的第二语音信号进行解码处理,然后再对解码得到的第二语音信号和第一语音信号进行混音处理。同样的,主机设备11在完成混音处理后,可以将与每个客户端13对应的混音信号进行编码处理后,再通过云服务端12转发给每个客户端13。针对利用互联网进行传输的第二语音信号,可以进行编码处理后,再进行传输,从而可以减小数据量,提高传输效率,保证整个通话系统的通话质量。
45.本技术实施例提供的通话系统,既可以保证原有无线内部通话系统的通话质量可靠、可以灵活部署的特点,同时又利用了互联网通话的大范围覆盖的特性及灵活性,使得距离无线内部通话系统较远的用户也可以接入到该无线内部通话系统中实现群组通话,并且可以减少因为无线内部通话系统的无线信道资源受限,导致通话系统中的用户数量受限的问题。
46.比如,在一些应用场景中,如果通话系统中需要接入的用户数量较多,由于无线通信信道资源受限,导致接入的终端设备14也受限,为了可以接入更多的用户,部分用户可以选择通过客户端13接入到该通话系统,从而可以大大增加通话系统中接入用户的数量。此外,由于终端设备14和主机设备11之间可以通过一些独立的频段进行通信,其通话质量较高,而客户端13和主机设备11之间通过互联网通信,其通话质量会略差。因而,在利用上述通话系统实现活动现场中的工作人员的协同工作时,对于工作人员中较为重要且在无线通信覆盖范围内的角色,可以选择采用上述终端设备14接入,而对于工作人员中不太重要的角色或者不在无线通信覆盖范围内的角色,则可以选择采用上述客户端13接入,从而可以实现通话系统既能容纳数量较多的用户,也可以尽可能减少对通话质量的影响,保证活动的顺利进行。
47.在一些实施例中,主机设备11在对各客户端对应的混音信号并进行编码处理时,可以采用低延时低损编码技术对混音信号进行压缩编码,比如,该低延时低损编码技术可以包括opus编码技术、speex编码技术、ilbc(internet low bitrate codec)编码技术、isac(internet speech audio codec)编码技术、silk编码技术中的一种或多种。从而可以尽可能减少通话延时,又不会对通话质量造成太大影响。
48.由于终端设备14与主机设备11之间进行无线通信的无线信道资源有限,导致通话系统中终端设备14的数量受限。而客户端13与主机设备11是通过互联网资源连接,其数量不会受到太多的限制,因而,可以将多个客户端13接入到该通话系统中,从而可以增加通话系统中用户的数量。同样的,为了保证多个客户端13接入到通话系统中仍能正常工作,主机设备11可以包括多个编解码通道,每个编解码通道对应一个客户端13,用于对接收到的该客户端13发送的第二语音信号进行解码处理,再进行混音处理,以及对发送给该客户端13的混音信号进行编码处理后再发送给云服务端12。
49.比如,如图3所示,客户端13可以包括客户端1、客户端2、客户端3等,与之相对应,主机设备11中可以包括与上述客户端对应的编解码通道1、编解码通道2、编解码通道3等,编解码通道1用于对客户端1所在的移动终端采集的第二语音信号1进行解码,以便利用解码得到第二语音信号与第一语音信号混音,得到与客户端1对应的混音信号1,然后利用编解码通道1对混音信号1进行编码,得到编码的混音信号1后,再通过云端服务器转发给客户端1。其余的客户端2、客户端3的语音信号可以分别利用编解码通道2、编解码通道3进行编解码。
50.在一些实施例中,由于主机设备11与云服务端12之间通过互联网连接,云服务端12与客户端13也通过互联网连接,主机设备11在将与每个客户端13对应的混音信号通过云服务端12转发给客户端13之前,可以先基于互联网的语音传输协议(voip)对混音信号进行封装后,再发送给云服务端12,以便云服务端转发给客户端13,通过客户端13播放给用户。
51.在一些实施例中,如图4所示,主机设备11可以包括通信模块111、编解码模块112以及混音处理模块113,通信模块111用于接收第一语音信号,以及编码后的第二语音信号,并将接收到的第一语音信号传输给混音处理模块112,将接收到的编码后的第二语音信号传输给编码模块112,以及接收混音处理模块112传输的与其中一个终端设备14对应的混音信号并发送给该终端设备14,以及接收混音处理模块112传输的与其中一个客户端13对应的混音信号并发送给该客户端13。
52.比如,由于主机设备11与终端设备14无线连接,该通信模块111中至少包括无线通信子模块,用于与终端设备14进行语音信号的传输。同时,主机设备11与云服务端12之间可以通过wifi、移动通信网络(比如,4g或5g)、电信网络等实现通信连接,因而,通信模块111中也可以包含实现上述通信连接的子模块。其中,通信模块可以是用于实现的通信功能的芯片,比如,可以是实现无线通信功能的芯片,也可以是实现有线通信功能的芯片,或者是两者的结合。在一些实施例中,通信模块也可以是主机设备11的cpu,即cpu中可以集成通信功能。
53.编解码模块112用于对接收到的编码后的第二语音信号进行解码处理后传输给混音处理模块113,以及接收混音处理模块113传输的与其中一个客户端13对应的混音信号并进行编码处理,以将编码得到信号发送给云服务端12,通过云服务端12转发给该客户端13。由于通过互联网进行语音信号的传输,存在延时,为了尽可能减少延时、提升通过互联网传输的语音信号的稳定性,保证语音质量,主机设备11中还可以设置编解码模块112,用于对发送给客户端13的混音信号进行压缩编码处理再发送。同样的,客户端13也会先将采集的第二语音信号压缩编码后再发送给主机设备11,因而主机设备11可以先将其解码后,再进行混音处理。其中,编解码模块112可以是具有编解码能力的芯片或处理器。
54.在一些实施例中,主机设备11的编解码模块112可以是该主机设备11的cpu,即cpu除了用于实现主机设备11的各种界面管理、接口管理以及网络扩展等功能之外,同时还兼顾编解码功能。
55.当然,如果直接利用主机设备11的cpu进行编解码,由于cpu的计算能力有限,cpu上的编解码通道的数据也有限,如果接入的客户端13数量增加,需要的编解码通道增多,那么存在由于cpu的计算能力有限,无法再加入更多的客户端13的问题。为了解决上述问题,编解码模块112也可以是与cpu连接的专门用于编解码的子卡,该子卡与主机设备11的cpu通过硬件接口连接。该子卡可以是具有编解码能力的一个处理器或者专用芯片,cpu上可以预留多个硬件接口(比如,pcie接口)用于接入该子卡。
56.在一些实施例中,子卡的数量基于可基于想要接入的客户端13的数量确定。比如,每个子卡中的编解码通道的数量固定,可以是一个或者多个,每个客户端13需要一个编解码通道,因而,接入的客户端13数量越多,子卡的数量也越多。
57.通过与cpu连接的子卡来进行编解码,可以通过调整接入cpu的子卡的数量来调整编解码通道的数量,从而可以适应客户端数量不同时的需求,更加方便灵活。
58.混音处理模块113用于对第一语音信号以及解码得到的第二语音信号进行混音处理,生成与其中一个终端设备14对应的混音信号,以及与其中一个客户端13对应的混音信号。混音处理模块113可以是集成了混音处理功能的芯片或处理器。
59.在一些实施例中,混音处理模块113可以是dsp芯片或者fpga芯片上。比如,可以利用dsp芯片或fpga芯片对一个群组内的成员的语音信号进行混音处理。此外,由于通话系统中还接入了客户端13,即混音处理模块113需要对更多用户的语音进行混音处理,为了满足通话系统可以容纳更多用户,可以适当选用计算能力较高的dsp芯片或fpga芯片。
60.在一些实施中,该混音处理模块113和该编解码模块112之间传输的语音信号可以是脉冲编码调制(pcm)语音信号,比如,该混音处理模块113和该编解码模块112之间可以包括多个pcm通道,用于传输无损的第二语音信号以及混音信号。
61.在一些实施中,该若干个终端设备14以及若干个客户端13可以被划分为多个群组,同一群组内的客户端13以及终端设备14之间可以进行全双工通话,不同群组间可通话隔离。为了支持多个通话群组,该混音处理模块113也可以包括多个,每个混音处理模块113对应一个群组,用于对该群组内的终端设备14发送的第一语音信号以及客户端13发送的第二语音信号进行混音处理。
62.比如,通常会对活动过程中的工作人员按照其职责划分为多个群组,每个群组内的工作人员可以实现语音通话。以一个电影录制活动为例,活动过程中工作人员可以划分为摄影组、灯光组、服装组等,因而可以将这些工作人员用到的终端设备14或者客户端13划分成上述三个群组。混音处理模块113可以分别对每个群组的成员的语音信号进行混音处理,以将混音信号发送给该群组内的成员。比如,在进行群组通话之前,用户可以先对终端设备14以及客户端13进行群组管理和配置(比如,通过主机设备11上的交互界面实现),将终端设备14以及客户端13划分成多个分组,其中,终端设备14以及客户端13都可以唯一标识自身的标识信息,用户可以基于该标识信息对其进行分组。
63.在一些实施例中,该若干个终端设备14以及若干个客户端13被划分为多个群组,每个群组内的成员可以实现全双工通话。每个客户端13需先加入到终端设备组成的通话群组,然后才可以实现与群组内的其他成员进行通话。所以,每个客户端13在通过云服务端12向主机设备11发送第二语音信号之前,还可以先向云服务端12发送加入目标群组的请求,该请求中携带目标群组的群组标识,该群组标识用于唯一标识该目标群组。
64.在一些实施例中,云服务端12可以具备群组管理的功能,因而,云服务端12直接可以基于目标群组的群组标识将每个客户端13添加到目标群组中。在一些实施例中,云服务端12也可以不具备群组管理的功能,因而,云服务端12可以将该请求转发给主机设备11,以便主机设备11可以基于目标群组的群组标识将每个客户端13添加到目标群组中。
65.比如,由用户在进行群组管理和分配时,每创建一个群组,该群组则具有一个唯一标识该群组的群组标识,比如,可以是一串数字或字母,或者是两者的组合。当某个用户想通过安装有客户端13的移动终端接入到通话系统的某个群组中,其可以先确定该群组的群组标识,然后通过客户端发起一个携带该群组标识的请求,云服务端12在接收到该请求后,可以基于该群组标识将该客户添加到对应的群组中,或者云服务端12将该请求转发给主机设备11,由主机设备11将该客户端添加到对应的群组中,从而该用户可以基于客户端13和群组内的终端设备14或客户端13进行通话。
66.在一些实施例中,通话系统还包括若干个终端设备14,该若干个终端设备14可以与具备语音采集和播放功能的设备(比如耳麦)连接,用于将该具备语音采集和播放功能的设备采集的第一语音信号发送给主机设备11,以及用于接收该主机设备11发送的混音信号,并通过该具备语音采集和播放功能的设备播放。
67.在一些实施例中,为了增大终端设备14的覆盖范围以及通话距离,以及增加终端设备14的数量,如图5所示,通话系统10还包括若干个无线转发设备16,每个无线转发设备16与若干个终端设备14无线连接,每个无线转发设备16通过以太网与主机设备11连接,形成一个覆盖范围更大大的无线接入网。该无线转发设备16用于接收若干个终端设备14发送的第一语音信号,并转发给主机设备11,以及接收主机设备11发送与每个终端设备14对应的混音信号,并转发给每个终端设备14。通过主机设备11将处于不同频段的无线接入网中的各无线转发设备16连接,使得无线转发设备16从终端设备14接收到的语音信号能够通过主机设备11转发到另一无线转发设备16上,实现任一个无线转发设备16连接的终端设备14能够与其他无线转发设备16连接的终端设备14进行通话,从而可同时通话的终端设备14数量增多,不仅实现了终端设备14的扩容,而且也扩大了通话距离和面积。
68.在一些实施例,每个客户端13为安装在移动终端上的app。比如,可以是安装在手机上的语音通话软件。用户可以从云服务端12中下载该通话软件的安装程序,并安装,然后可以利用该通话软件加入到终端设备14构成的通话群组中。该app支持接入到通话系统中,实现和终端设备14的通信,同时该app也可以具备编解码、回声消除、voip信号的收发等功能。
69.相关技术中,在对通话系统进行管理时,通常是通过主机设备11上的交互界面或者按键等实现对通话系统进行管理,管理方式较为单一,且需要用户走动到主机设备11所在位置进行操作,比较繁琐,也不够灵活。在一些实施例中,为了实现对通话系统进行更加方便灵活地管理通话系统,可以扩展通话系统的管理方式,即云服务端12可以提供对通话系统的网络配置、用户管理、群组设置、语音参数调整等管理功能,可通过具备管理权限的专客户端13随时对整个通话系统进行远端管理,使得管理方式更为灵活多变。所以,在一些实施例中,该若干个客户端13中的指定客户端131还用于向云服务端12发送管理请求,云服务端12还用于基于该管理请求对通话系统进行相应的管理操作,或这云服务端可以将该管理请求发送给主机设备11,以使该主机设备11对通话系统进行相应的管理操作。
70.在一些实施例中,该管理操作包括以下一种或多种:对若干个客户端13或若干个终端设备14进行群组管理的操作、配置通话系统的语音参数的操作、添加注册用户的操作。即用户可以通过在具有管理权限的指定客户端131的界面上进行操作,对群组成员进行管理,比如,将通话系统中的客户端13或终端设备14划分成不同的群组,或者在已有群组中添加新的成员,或者删除群组中原有的成员。或者也可以通过指定客户端131对通话系统的语音参数进行配置,或者在通话系统中添加新注册的用户等等。通过新增采用云服务端对通话系统进行管理的方式,使得通话系统的管理更加灵活多变。
71.在一些实施例中,云服务端12还用于将从若干个客户端13接收到的第二语音信号混合成一路语音信号后,再发送给主机设备11,通过在云服务端12中对客户端13采集的多路第二语音信号合为一路后,再发送,可以提高第二语音信号的传输效率。当然,在云服务端12增加混音的步骤,也会带来一定的时延,因而可以基于传输效率的提高幅度和混音带
来的时延综合确定是否在云服务端部署混音的步骤。
72.为了进一步解释本技术实施例提供的通话系统,以下结合一个具体的实施例加以解释。
73.如图6所示,为本技术实施例中的一种通话系统的示意图,该通话系统中包括多个通话腰包21,每个通话腰包21连接一个头戴式耳麦22、一个或多个通话远端单元23(如图中的通话远端单元a、通话远端单元b)、每个通话远端单元23位于一个局域网内,并且和一个或者多个通话腰包21无线连接。通话远端单元23通过以太网与主机设备24连接,主机设备24基于互联网协议与设置有通话服务的云端服务器25连接,云端服务器25基于互联网协议与安装有通话app的移动终端26连接。
74.用户可以将通话腰包21和移动终端26分为多个群组,每个群组内的成员可进行群组通话。比如,图中的通话腰包21和移动终端26可以划分为不同的3个群组,群组1,群组2及群组3,其中:
75.群组1:a1,a2,b1,b5,m1;
76.群组2:a3,a4,a6,a7,b2,b3,m2;
77.群组3:a5,a8,b4,b6,b7,b8,m3。
78.头戴式耳麦22采集到用户的语音信号后,可以输出给通话腰包21,通话腰包是一个电池供电的无线终端设备,可实现通话过程的语音无线接收和发送。通话腰包21可以将头戴式耳麦22采集到的语音信号发送给通话远端单元23,通话远端单元23具备无线收发功能,以及以太网扩展功能,可以将接入的无线腰包21发送的语音信号转换成数字ip信号,通过基于互联网的语音传输协议将语音信号发送给主机设备24。其中,头戴式耳麦22与主机设备24之间的传输的语音信号可以是pcm(脉冲编码调制)信号。
79.移动终端26可以采集用户语音信号,然后通过移动终端26上安装的通话app对语音信号进行opus编码后,通过互联网传输给云服务器25,以便云服务器25上设置的通话服务将该opus编码语音信号转发给主机设备24。
80.主机设备24的内部结构如图7所示,至少包括一个cpu,以及一个dsp/fpga芯片,cpu可以运行于linux os系统,在一些场景,cpu上可以集成opus编解码功能,用于对接收到的云服务器25转发的移动终端26采集的语音信号进行解码处理后,再发送给dsp/fpga芯片,以进行混音处理。以及用于将混音处理后的混音信号进行opus编码后发送给云端服务器25。其中,由于移动终端26包括多个,cpu可以包括多个opus编解码通道,每个opus编解码通道用于对一个移动终端26的语音信号进行编解码处理。当然,由于opus编解码通道数量受cpu计算能力的限制,当接入的移动终端26的数量较多时,单个cpu计算资源无法支持这个多个移动终端26的接入。在一些场景,cpu上也可以包括多个硬件接口,用户接入专门用于编解码的子卡,通过该子卡实现opus编解码。其中,每个子卡中包含的opus编解码通道数固定,可以通过在cpu中插入多个子卡,来扩展cpu的编解码功能,满足接入的移动终端26数量不同时的需求。并且,cpu linux os还支持tcp/ip协议栈及互联网语音(voip)传输协议,可以基于voip传输协议对混音信号封装后,再发送给云端服务器25,通过云端服务器25转发给移动终端26。
81.dsp/fpga芯片上可以集成混音处理功能,用于对主机设备24接收到的语音信号进行混音处理,比如,无线腰包21发送的语音信号,本地耳麦采集的语音信号,二四线模拟语
音信号或者来自云端服务器25转发的由移动终端26采集的语音信号等。通过混音处理,生成与群组内的每个通话用户对应的混音信号,比如,生成与每个通话腰包21对应的混音信号,并通过该无线远端单元23将混音信号转发给该通话腰包21,以及生成与每个移动终端26对应的混音信号,然后通过cpu上集成opus编解码模块进行opus编码后,得到opus编码码流,然后通过云端服务器25转发给移动终端26。其中,群组可以包括多个,dsp/fpga芯片可以用于分别对每个群组内的成员的语音信号将混音处理。群组数量可根据dsp/fpga芯片的处理能力及现场应用需求进行配置。其中,cpu与dsp/fpga之间传输的语音信号可以是pcm语音信号。
82.云服务器25可以是主流的云服务提供商的服务器或集群,例如亚马逊云,微软云,阿里云或腾讯云等,主要用户将移动终端26发送的语音信号转发给主机设备24,以及将主机设备24混音后的混音信号转发给移动终端26,同时云端服务器还可部署对整个通话系统的用户注册管理,群组分配,语音参数配置,无线内通系统管理等服务功能,这些功能可通过具备管理权限的移动终端26上的app进行灵活调用控制。
83.移动终端26上的app可以支持通话语音接入,语音处理功能,例如aec回声对消、降噪及音质提升等,opus语音编解码,网络voip流收发等功能,具有云通话app的移动智能终端具有无线通话腰包的常规功能,可接入数量及接入权限由云通话服务网络端管理。
84.此外,主机设备24上还可以包括以太网接口,用于与无线远端单元23通过以太网连接,或者用于与其他主机设备24通过以太网连接。主机设备24中还可以包括tally设备接口,用与连接tally设备。此外,主机设备24还可以基于实际需要设置按键、lcd屏幕等。
85.本实施例的通话系统具有以下优势:
86.(1)本实施例提供的通话系统,既可以保证原有无线内部通话系统的通话质量可靠、可以灵活部署的特点,同时又利用了互联网通话的大范围覆盖的特性及灵活性,使得距离无线内部通话系统较远的用户也可以接入到该无线内部通话系统中实现群组通话。
87.(2)移动终端app可以通过互联网接入到通话系统中,可以减少因为无线内部通话系统的无线信道资源受限,导致通话系统中的用户数量受限的问题,即增大通话系统的用户容量。新增的移动终端app可实现等同于专有无线腰包的广域接入,灵活性和可扩展性极大增强。
88.(3)通过具有管理权限的移动终端app可实现对整个通话系统的管理,比如,群组管理、语音参数配置、用户注册等,增加了通话系统的管理方式,使得通话系统的管理更加灵活多变。
89.进一步的,本技术实施例还提供了一种无线主机设备,所述主机设备和若干个终端设备通信连接;所述主机设备和若干个客户端分别通过互联网与云服务端建立连接通道;所述主机设备包括通信模块、编解码模块以及混音处理模块,
90.所述通信模块用于接收所述终端设备发送的第一语音信号,以及接收所述云服务端转发的由所述客户端发送的编码后的第二语音信号,并将所述第一语音信信号传输给所述混音处理模块,将所述编码后的第二语音信号传输给所述编解码模块,以及接收所述混音处理模块传输的与所述其中一个终端设备对应的混音信号并发送给该终端设备,以及接收所述混音处理模块传输的与所述其中一个客户端对应的混音信号并发送给该客户端;
91.所述编解码模块用于对接收到的所述编码后的第二语音信号进行解码处理后传
输给所述混音处理模块,以及接收所述混音处理模块传输的与所述其中一个客户端对应的混音信号并进行编码处理,以将编码后的混音信号发送给所述云服务端;
92.所述混音处理模块用于对所述第一语音信号以及解码得到的第二语音信号进行混音处理,生成与所述其中一个终端设备对应的混音信号,以及与所述其中一个客户端对应的混音信号。
93.其中,主机设备的具体结构和功能可以参考上述实施例中的描述,在此不再赘述。
94.此外,本技术实施例还提供一种通话系统,包括主机设备、若干个终端设备、云服务端以及若干个客户端,所述主机设备和所述终端设备通信连接;所述主机设备和所述客户端分别通过互联网与所述云服务端建立连接通道;
95.所述终端设备用于获取第一语音信号,并发送给所述主机设备;
96.所述客户端用于获取第二语音信号,对所述第二语音信号进行编码后发送给所述云服务端;
97.所述云服务端用于接收所述编码后的第二语音信号,并转发给所述主机设备;
98.所述主机设备,用于接收所述第一语音信号以及所述编码后的第二语音信号,对编码后的第二语音信号进行解码处理,并对接收到的所述第一语音信号以及解码得到的第二语音信号进行混音处理,生成与其中一个所述终端设备对应的混音信号并发送给该终端设备,以及生成与其中一个所述客户端对应的混音信号,并通过所述云服务端转发给该客户端。
99.其中,通话系统的具体结构和功能可以参考上述实施例中的描述,在此不再赘述。
100.以上实施例中的各种技术特征可以任意进行组合,只要特征之间的组合不存在冲突或矛盾,但是限于篇幅,未进行一一描述,因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
101.本领域技术人员在考虑说明书及实践这里公开的说明书后,将容易想到本说明书实施例的其它实施方案。本说明书实施例旨在涵盖本说明书实施例的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书实施例的一般性原理并包括本说明书实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书实施例的真正范围和精神由下面的权利要求指出。
102.应当理解的是,本说明书实施例并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书实施例的范围仅由所附的权利要求来限制。
103.以上所述仅为本说明书实施例的较佳实施例而已,并不用以限制本说明书实施例,凡在本说明书实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书实施例保护的范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1