语音及视频通信引擎及基于此引擎的可扩展通信服务框架的制作方法
【专利摘要】一种语音及视频通信引擎及基于此引擎的可扩展通信服务框架，此语音及视频通信引擎，是一套完善的集数字信号编解码，网络传输及相关处理于一体的新型解决方案，具有十分优秀的自适应性和鲁棒性，能够实现IP网络上高质量的语音和视频通信，处理掉包，续传等网络问题。同时此引擎支持iOS，Android等主流移动平台和Windows，Mac,Linux等PC平台。此引擎可以广泛应用在智能家居等物联网应用中。基于此通信引擎的可扩展通信服务框，共有六个部分：客户端，验证服务器，应用服务器，NAT服务器，数据库，推送服务器。客户端通过验证服务器，应用服务器，NAT服务器于数据库相连。由于服务器群对客户端并无具体限制或要求，故而可以基于此引擎和框架建立一个服务平台。
【专利说明】语音及视频通信引擎及基于此引擎的可扩展通信服务框架
【技术领域】
[0001]本发明涉及引擎领域，具体涉及一种语音及视频通信引擎及基于此引擎的可扩展通信服务框架。
【背景技术】
[0002]随着信息技术在生活中的不断渗透以及网络基础建设的不断增强，人们对实时语音通信和视频通信有了越来越多的需求。VoIP和视频聊天/会议正在全球商务和个人应用领域快速普及，成为人们在互联时代不可或缺的一部分。传统VoIP技术在解决语音质量上面临诸多挑战，比如使用传统纠错元件，令声音不自然；使用一般抖动缓冲处理技术，不能同时解决延时和质量的问题；使用一般编码解码器，不适合用于网络话音；客户端软件被操作系统本身缺点所影响；使用传统回声消除技术，效率不高。在视频聊天/会议方面，有许多用户表不视频延时和冻结是目如最大的问题。
[0003]
【发明内容】
[0004]为了解决目前存在的不足，本发明提供了一种功能强大的语音及视频通信引擎及基于此引擎的可扩展通信服务框架。
[0005]一种语音及视频通信引擎，其特征在于，内嵌了能与任何设备的IO子系统互动的智能声音IO模块，同时紧密集成声学回声消除，回声限制器，自动增益控制、非线性处理器，语音活动检测和抗嘯声这些语音增强组件。
[0006]优选的，采用G.72x, G.711，GSM, AMR NB/WB, Speex, SILK, iLBC 等语音编解码器以及MPEG-4，Η.264 AVC, VP8这些视频编解码器。
[0007]优选的，包含IP网络传输和补偿的专用模块，此模块采用RTP，RTCP协议，集成了自适应抖动缓冲器和数据包丢失控制器的子模块，通过自定义的新型算法，实现延迟、抖动和数据包损失的补偿。
[0008]优选的，基于匹配和带宽的两种自动速率选择算法，以及CPU负荷控制。
[0009]一种基于所述语音及视频引擎的可扩展通信服务框架，此通信服务框架共有六个部分:客户端，验证服务器，应用服务器，NAT服务器，数据库，推送服务器；客户端通过验证服务器，应用服务器，NAT服务器于数据库相连。验证服务器实现用户登录及验证，应用服务器实现通信等基本功能功能，NAT服务器实现NAT穿透，推送服务器实现将信息推送给客户端。
[0010]与现有技术相比，本发明的优势在于:
本发明的语音、视频通信引擎，在基本的语音传输，语音编解码，视频通信方面具有较现有的技术有更好的表现。此引擎支持2G，3G等更多更复杂的网络情况，也支持iOS，Android等更多的系统。[0011]从实际应用层面来讲，过往的应用开发人员需要依赖多个供应商，并集成不同的技术以构建一个IP语音或IP视频应用，这带来了诸如互动性和质量不稳定等风险。本引擎则配备好了完善的开发接口，为诸多二次开发者提供了一套完整的测试成熟的数字信号和网络处理解决方案。本发明能够简化实时语音和视频通信相关应用的开发工作，真正实现了一站式解决方案。
[0012]【专利附图】
【附图说明】图1为本发明的一种语音及视频引擎的结构示意图。
[0013]图2为本发明的基于图1所示的语音及视频引擎的可扩展通信服务框架的示意图。
[0014]
【具体实施方式】
[0015]结合图1所示，本发明的一种语音及视频通信引擎，内嵌了能与任何设备的IO子系统互动的智能声音IO模块，同时紧密集成声学回声消除，回声限制器，自动增益控制、非线性处理器，语音活动检测和抗嘯声这些语音增强组件。
[0016]作为优选实施方式的，采用G.72x, G.711，GSM, AMR NB/WB, Speex, SILK, iLBC等语音编解码器以及MPEG-4，Η.264 AVC, VP8这些视频编解码器。
[0017]作为优选实施方式的，包含IP网络传输和补偿的专用模块，此模块采用RTP，RTCP协议，集成了自适应抖动缓冲器和数据包丢失控制器的子模块，通过自定义的新型算法，实现延迟、抖动和数据包损失的补偿。
[0018]作为优选实施方式的，基于匹配和带宽的两种自动速率选择算法，以及CPU负荷控制。
[0019]结合图2所示，本发明的一种基于所述语音及视频引擎的可扩展通信服务框架，此通信服务框架共有六个部分:客户端，验证服务器，应用服务器，NAT服务器，数据库，推送服务器；客户端通过验证服务器，应用服务器，NAT服务器于数据库相连。验证服务器实现用户登录及验证，应用服务器实现通信等基本功能功能，NAT服务器实现NAT穿透，推送服务器实现将信息推送给客户端。本发明的语音、视频引擎，可以广泛应用到开发语音和视频通信应用。目前应用此套引擎的已有WowTalk，Ringit等世界知名VoIP软件。
[0020]应用本引擎完成的应用的简单通信流程为:每个应用建立单独的数据库。验证服务器，应用服务器和NAT服务器与数据库单独相连。假设客户端A想与客户端B通信。客户端A首先通过验证服务器来进行用户注册和登录，然后通过应用服务器来完成路由，发送聊天消息，再通过NAT服务器来完成NAT穿透。最终应用服务器则会通过推送服务器通知客户端B，以建立实际的通信链接。最终A与B可以实现语音或者视频通信。
[0021]本引擎的二次开发编程接口以简单为使用原则，无论是对于开发VoIP和Videoover IP应用拥有丰富经验还是没有经验的开发人员，本引擎都可以帮助他顺利编写自己的应用。
[0022]创新点:
1.本引擎适合于多种网络环境，在窄带网络下也能保证语音流畅传播。
[0023]2.设计并实现了对硬件要求低的语音编解码模块。
[0024]3.支持iOS, Android等主流移动平台和Windows, Mac, Linux等PC平台。[0025]4.极大简化了语音和视频通信相关的应用二次开发过程，使得开发员不需要再去触碰底层的通信协议等，能够确保整个应用的可维护性和表现。
[0026]上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本
【发明内容】
的实质所作出的等效的变化或修饰，都应涵盖在本发明的保护范围内。
【权利要求】
1.一种语音及视频通信引擎，其特征在于，内嵌了能与任何设备的IO子系统互动的智能声音IO模块，同时紧密集成声学回声消除，回声限制器，自动增益控制、非线性处理器，语音活动检测和抗嘯声这些语音增强组件。
2.根据权利要求1所述的语音、视频通信引擎，其特征在于，采用G.72x，G.711，GSM，AMR NB/WB, Speex, SILK, iLBC等语音编解码器以及MPEG-4，H.264 AVC, VP8这些视频编解码器。
3.根据权利要求1所述的语音、视频通信引擎，其特征在于，包含IP网络传输和补偿的专用模块，此模块采用RTP，RTCP协议，集成了自适应抖动缓冲器和数据包丢失控制器的子模块，通过自定义的新型算法，实现延迟、抖动和数据包损失的补偿。
4.根据权利要求1所述的语音、视频引擎，其特征在于，实现音频和视频同步，基于匹配和带宽的两种自动速率选择算法，以及CPU负荷控制。
5.一种基于所述语音及视频引擎的可扩展通信服务框架，其特征在于，此通信服务框架共有六个部分:客户端，验证服务器，应用服务器，NAT服务器，数据库，推送服务器；客户端通过验证服务器，应用服务器，NAT服务器于数据库相连，验证服务器实现用户登录及验证，应用服务器实现通信等基本功能功能，NAT服务器实现NAT穿透，推送服务器实现将信息推送给客户端。
【文档编号】H04L29/08GK103475633SQ201210276631
【公开日】2013年12月25日 申请日期:2012年8月6日 优先权日:2012年8月6日
【发明者】陈奕 申请人:苏州沃通信息科技有限公司