专利名称：通信方法与实时传输协议音频处理器的制作方法
技术领域：
本发明涉及媒体通信领域，更具体而言，本发明涉及一种在两个通信端点之间的基于RTP的通信系统上执行一个或多个音频处理任务的实时传输协议(RTP)处理组件。
背景技术：
实时传输协议(RTP)是用于传输实时数据(包括音频和视频)的因特网标准协议。RTP实际上被用在所有因特网协议语音(VOIP)体系结构中，用于进行视频会议、媒体点播和其它应用。RTP可以被用于多播或单播网络服务。RTP是提供诸如净荷类型标识、序列编号、加盖时间戳、丢失包检测、计时重建和传送监视之类的服务的端到端传输协议。当RTP被用来流式传输视频时，视频服务器可以维护会话状态，以便将请求与流相关。与本质上为非对称协议的超文本传输协议(HTTP)(其中客户发出请求并且服务器进行响应)不同，RTP允许视频服务器和客户两者向对方发出请求。
RTP的传统实现方式可以在视频服务器和呼叫者之间建立全双工音频流，其中音频流是通过VOIP网关在因特网协议(IP)网络上传送的。在传送期间，RTP音频可以被压缩、解压缩、打包、拆包以及以其它方式被处理。这些处理行为消耗CPU周期、网络带宽，并且使用IP网络的众多计算设备的输入/输出端口，其中音频通过这些端口而被输送。因为RTP是实时协议，其中在发送者和接收者之间接近20毫秒的音频包的包传输速率可以是必要的，所以流式传输的音频可以被及时传送和处理是很关键的。
在使用传统的技术时，资源不足在参与RTP通信的服务器和客户端点处是很常见的。间歇性资源欠缺可导致可在传输的任一端处察觉到的质量损害。需要一种技术，其允许客户和视频服务器以适度容纳资源欠缺的方式使用RTP。
发明内容
这里公开了一种可拆卸实时传输协议(RTP)音频处理器，如创造性装置的实施例所详细说明的那样，参与RTP通信的端点可以向该RTP音频处理器卸载处理。RTP音频处理器可以作为独立实体运行，其可以执行并且可以位于被可通信地链接到通信端点的任何位置的网络空间中。只要在资源不足时RTP音频处理器就可以被动态使用。RTP音频处理器可以由客户端点、服务器端点或两者使用。在一实施例中，RTP音频处理器可以在因特网协议语音(VOIP)网关本地的网络空间中被执行。此外，RTP音频处理器可以以软件、硬件、固件或它们的组合来实现。
RTP音频处理器可以包括被设计用来增强RTP通信会话的多种特征。一种特征可以代表任一端点处理无声包(silence packet)的流式传输。因为典型全双工音频通信会话的大部分是由长期的无声时段构成的，所以RTP音频处理器的无声流式传输特征可以为通信端点中的每个或两个节省大量资源。其它RTP特征包括但不限于播放预定义的音频记录、播放噪声的采样、将来自第三源的附加音频流加入指向任一端点的流中、提供暂候音乐和其它音频等。
这里使用的无声包可以包括将在端点之间输送但不含音频信息的任何音频包。即，无声包可以输送低级别的背景“噪声”，从而任一端点处的通信参与者能够识别出通信线路仍旧有效。只要端点生成的音频低于预定阈值就可以输送无声包，或者只要端点生成的音频被标识为包含与音频内容相对立的“噪声”时，就可以输送无声包。
根据与这里所提供的材料相一致的多个方面，可以实现本发明。例如，本发明的一个方面可以包括一种通信方法，其中可以建立两个端点之间基于RTP的通信会话。在通信会话期间，可以在两个端点之间交换包含经数字编码的音频的离散包，从而在两个端点之间实时建立连续的音频流量(audio flow)。在通信会话期间，两个端点中的一个或两个端点可以将RTP数据输送到位于远程的RTP音频处理器。RTP数据可以包括RTP音频处理器建立与并未将RTP数据输送到RTP音频处理器的两个端点之一的音频流(audio stream)所需的信息。RTP音频处理器可以在不终止两个端点间的通信会话的条件下建立音频流。
本发明的另一方面可以包括RTP音频处理器。RTP音频处理器可以是位于使用RTP彼此交换连续音频数据流的两个通信端点外部的计算处理空间内的独立处理组件。该独立处理组件可以被配置为在不终止两个端点之间预先存在的RTP通信会话的条件下，建立与两个端点中的至少一个端点的音频流。音频流可以根据RTP使用包含经数字编码的音频的多个离散包来输送由独立处理组件处理的经数字编码的音频。
应当注意，本发明的多个方面可以被实现为用于控制计算装置实现这里所描述的功能的程序、或者用于使计算装置能够执行与这里所公开的步骤相对应的过程的程序。可以通过将程序存储在磁盘、光盘、半导体存储器或任何其它记录介质中来提供该程序，或者该程序还可以作为经由载波输送的经数字编码的信号而被提供。所描述的程序可以是单个程序，或者可以被实现为多个子程序，多个子程序中的每个在单个计算设备内交互，或者在网络空间上以分布方式交互。
附图中示出了当前优选的实施例，但是，应该理解，本发明不限于示出的明确配置和工具。
图1是根据这里公开的创造性配置的实施例用于在两个端点之间通信的通信系统的示意图。
图2是根据这里公开的创造性配置包括RTP音频处理器的系统的信息流程图。
图3是根据这里公开的创造性配置使用RTP音频处理器的方法的流程图。
具体实施例方式
图1是根据这里公开的创造性配置的实施例用于在两个端点之间通信的通信系统100的示意图。系统100可以包括经由一个或多个网络(例如网络130和网络135)可通信地彼此链接的通信端点105和通信端点110。
通信端点105和110每个可以代表参与通信会话的实体。端点105和110每个可以代表人类或自动化通信系统。在每个端点105和110处，通信可以通过客户场所设备(CPE)(例如电话)或者通过计算设备(例如语音服务器或个人计算机)发生。
端点105和端点110之间的通信会话可以基于实时传输协议(RTP)。例如，端点105和110之间的通信会话可以是因特网协议语音(VOIP)通信会话。即，可以在端点之间输送每个包含经数字编码的信息(例如音频和视频数据)的一系列包，以建立实时通信。实时通信由从端点105到端点110的通信流量150和从端点110到端点105的通信流量152来表示。
在一实施例中，通信会话可以是两个人之间的全双工电话通信，一个人由端点105代表，另一个人由端点110代表。在另一实施例中，通信会话可以是从媒体服务器到一个或多个媒体目的地的多播广播或单播广播，其中端点105可以代表媒体目的地之一，并且端点110可以代表媒体服务器。
RTP音频处理器115可以经由网络135被可通信地链接到端点105和/或端点110。RTP音频处理器115可以在软件、硬件、固件或它们的组合中实现，其中RTP音频处理器115在端点105和端点110外部的计算空间内以独立的方式运行。例如，RTP音频处理器115可以是部署在远离端点105和/或端点110的网络单元中的软件处理器。在一实施例中，RTP音频处理器115可以位于网关140本地的计算空间中，网关140可以是VOIP网关。
RTP音频处理器115可以使用RTP执行用于端点105和/或端点110的一个或多个音频处理功能。RTP音频处理器115可以在预先存在的通信会话期间被动态地使用，而无需终止先前建立的端点105和110之间的基于RTP的通信会话。
例如，端点110可以将RTP数据120输送到RTP音频处理器115。RTP数据120可以包括RTP音频处理器115建立与端点105的通信流154所需的信息，其中端点105是没有输送RTP数据120的端点。通信流154可以是实时输送音频和/或视频信息的基于RTP的通信流量。RTP数据120可以包括但不限于端点105的lP地址、接受通信流量152数据的端口地址、IP头部信息、RTP头部信息、RTP载荷信息等。
此外，RTP音频处理器115可以被配置为发起或修改RTP报告包。诸如接收者接收包、发送者包和源表述包的报告包可以由RTP音频处理器115发起，或者由RTP音频处理器115根据RTP音频处理器115所执行的音频处理任务截取并修改。RTP音频处理器115的报告包例如可以包括下述信息发送的包数目、丢失的包数目、到达间的抖动、传输速率以及可以被用来将包加入实时通信流中并且用来诊断该情况的其它数据。
在一实施例中，通信流152信息的停止点可以被包含在RTP数据120内，从而通信流152可以在与启动通信流154近似相同的时间处被停止，通信流154可以使用与通信流152相同的端口和通信会话信息。因此，端点105可以体会到表面上连续的进入通信流量，即使通信流量实际上已经从端点110(通信流量152)切换到RTP音频处理器115(通信流量154)。
在多种配置中，RTP音频处理器115可以用作端点110和端点105之间的通信媒介，可以用作代替端点110动态使用的替代性通信源，并且可以用作向端点105提供除了端点110所提供的内容之外的内容的通信源。
音频源118可以经由网络138连接到RTP音频处理器115，其中通信流154可以包括从音频源118获得的内容。音频源118可以是网络流式传输源(例如因特网无线电源)，其可以将内容流式传输到RTP音频处理器115以被包括在通信流154中。例如，只要端点105处的通信参与者已处于暂候状态，就可以经由从音频源118获得的通信流154向端点105播放音乐。音频源118可以包括预先记录的音频剪辑、视频剪辑和其它媒体文件的存储库，这些音频剪辑、视频剪辑和其它媒体文件可以在要求时被添加到通信流154中。在这样的示例中，音频源118可以是RTP音频处理器115可本地访问的文件存储库。预先记录的媒体文件可以包括但不限于经数字编码的背景噪声、预先记录的消息(例如语音邮件消息)、录制好的语音记录、经常使用的视频片断、音频帮助与信息文件等。
应当意识到，图1中示出的配置仅仅用于图示的目的，本发明并不绝对受限于此。例如，在所构思的一实施例中，网络130和网络135可以是单个、集成的基于包的通信网络。在所构思的另一实施例中，在端点110和网络135(基于包的网络)之间可以包括其它的网络(基于电路的电话网络)。因此，可以在端点105(假定网络130是基于电路的电话网络)和端点110之间建立电话通信会话，其中可以根据RTP规范在网络135中输送信息。在所构思的再一实施例中，RTP音频处理器115可以被双向使用，从而在提供用于指向端点105的音频的至少一个音频处理任务的同时，还提供用于指向端点110的音频的至少一个音频处理任务。
网络130、135和138可以代表能够输送经数字编码的信息的任何通信机制。网络130、135和138中的每个可以包括电话网络(象公共交换电话网络(PSTN)或移动电话网络)、计算机网络(例如局域网或广域网)、电缆网络、卫星网络、广播网络等。此外，网络130、135和138中的每个可以使用无线通信路径或基于线路的通信路径。
可以用分布或集中的方式实现系统100的多个端点、组件和网络。可归属于系统100的多个组件的功能可以以不同于这里所图示的方式被合并或被划分。例如，在本发明的一实施例中，音频源118和RTP音频处理器115可以被实现为单个集成组件。
图2是根据这里公开的创造性配置包括RTP音频处理器的系统200的信息流程图。RTP音频处理器206可以代表音频服务器202执行至少一个音频处理任务。具体地说，音频服务器202可以建立与呼叫者204的RTP通信会话。当音频服务器202正传输无声信息(silence)时，RTP音频处理器206可以被用来将无声信息传输到呼叫者204，从而释放音频服务器202的资源。音频服务器202和呼叫者204可以代表所构思的通信端点，例如系统100的端点105和110，其中RTP音频处理器206可以和它们联合使用。例如，音频服务器202可以是语音服务器、交互式语音响应系统或如前面详细描述的媒体流式传输服务器。
在系统200中，可以在音频服务器202和呼叫者204之间交换会话建立信息210。音频服务器202随后可以将开始音频流量A信息212输送到呼叫者204，其启动从音频服务器202到呼叫者204的音频流量。开始音频流量B数据214随后被从呼叫者204输送到音频服务器202，其启动从呼叫者204到音频服务器202的音频流量。
用于与呼叫者204通信的RTP数据216随后可以被从音频服务器202输送到RTP音频处理器206。音频服务器202可以将流切换指示符218输送到RTP音频处理器206。在一实施例中，只要音频服务器202正在输送无声信息，就可以输送流切换指示符218，从而作为代替可以从RTP音频处理器206输送无声信息。音频服务器202随后可以停止指向呼叫者204的音频流量A，如数据流量220所示。在与停止音频流量A近似相同的时间处(从而呼叫者204没有察觉音频的中断)，可以开始从RTP音频处理器206到呼叫者204的音频流量C，如数据流量222所示。应当注意，尽管流量A被停止并且音频流量C正在被从RTP音频处理器206向呼叫者204输送，但是音频流量B仍以不间断的方式进行，从而允许音频经由音频流量B而从呼叫者204输送到音频服务器202。
在一段时间之后，例如当无声时段结束并且音频服务器202具有要被输送到呼叫者204的内容时，音频服务器202可以将切换回指示符224输送到RTP音频处理器206。作为响应，RTP音频处理器206可以结束音频流量C，如数据流量226所示。音频服务器202可以在近似同一时间处恢复音频流量A，如数据流量228所示。
视频、音频和其它媒体信息可以继续经由音频流量A和B在音频服务器202和呼叫者204之间交换，直到通信会话终止。然后，可以在音频服务器202和呼叫者204之间交换会话拆除数据230，从而结束通信会话。
图3是根据这里公开的创造性配置使用RTP音频处理器的方法300的流程图。方法300可以在使用RTP规范的通信会话环境中执行。例如，方法300可以在系统100的环境中执行，当然方法300不是要限制于此。
方法300可以在步骤305中开始，在步骤305中，可以在两个端点之间建立RTP通信会话。在步骤310中，第一端点可以建立与第二端点的实时或接近实时的连续音频流量。该音频流量可以是还包括视频和/或图形信息的媒体流量的一部分。此外，音频流量可以是单播或多播通信流量，或者可以代表全双工VOIP通信的一个方向。无论如何，已建立的音频流量可以允许包含经数字编码的音频的离散包被从第一端点交换到第二端点。
在步骤315中，第一端点可以将RTP数据输送到RTP音频处理器。RTP数据可以包括RTP音频处理器建立与第二端点的音频流所需的信息。在步骤320中，RTP音频处理器可以建立音频流。该音频流可以取决于其中正使用RTP音频处理器的配置以多种方式被建立。然而，无论如何配置，RTP音频处理器可以执行使用RTP规范的至少一个音频处理任务。
例如，在步骤325中，可以做出关于RTP音频处理器是否被用作第一端点和第二端点之间的通信媒介的判断。如果步骤325的判断为否，则方法可以跳到步骤340。否则，方法进入步骤330。
在步骤330中，音频流量可以从第一端点被路由到RTP音频处理器进而到第二端点。在被用作通信媒介的时候，如步骤335中所示，RTP音频处理器可以对音频流量执行一个或多个音频处理任务。示例性的RTP音频处理任务可以包括但不限于打包与拆包任务、压缩与解压缩任务、谱相减任务、回波消除任务、音调与音量调节任务、噪声减小或消除任务、语音活动检测任务、RTP监视或报告任务等。以此方式，原本将由第一端点或第二端点消耗的消耗资源的任务可以被卸载到RTP音频处理器。在所构思的一实施例中，只要在任一端点的可用资源变得不足时，可以以动态方式发生卸载。
在步骤340中，可以做出关于RTP音频处理器是否被用来切换指向第二端点的通信流量的判断。即，RTP音频数据是否被用来在至少一段时间内传输音频流量，以代替曾由第一端点提供的音频流量。所述切换可以在近似同一时间处发生，从而从第二端点看来，其是透明的。当步骤340的判断是切换通信流量时，方法会从步骤340进入步骤345。否则，方法会从步骤340跳到步骤365。
在步骤345中，RTP音频处理器可以接收来自第一端点的音频流量流切换信息。在步骤350中，到第二端点的音频流量可以从第一端点切换到RTP音频处理器。在步骤355中，可以检测到切换回指示符。在步骤360中，到第二端点的音频流量可以从RTP音频处理器切换到第一端点。
对于暂时将音频流量从第一端点切换到RTP音频处理器，存在许多理由。一个这样的理由是在相对无声时段期间节省第一端点的资源，其中RTP音频处理器可以代替第一端点传输无声信息。替代性地，RTP音频处理器可以访问先前记录的媒体文件，其中媒体文件可以从RTP音频处理器被直接播放给第二端点，而不用从RTP音频处理器路由到第一端点然后到第二端点，所述路由将不会有效使用计算资源。此外，RTP音频处理器可以被链接到位于远程的音频或媒体流量，例如事件广播或预先存在的电话会议，其可以在要求之后被路由到第二端点。
有时候，特别是当经由RTP音频处理器输送额外的音频流的时候，可以期望使用RTP音频处理器将额外的音频流量添加到第一和第二端点之间预先存在的通信中。该额外的音频流量可以被单向添加使得它被两个端点之一接收，或者可以被添加到由两个端点接收的通信流中。步骤365中指示了该情形，其中可以做出关于是否添加额外的音频流量的判断。当将要添加音频流量时，方法可以进入步骤370。
在步骤370中，RTP音频处理器可以获得来自音频源的音频或其它媒体信息。在步骤375中，来自音频源的内容可以被包括在从RTP音频处理器指向第二端点的音频流中。
应当注意，RTP音频处理器所执行的各种操作不是互斥的而是可以结合执行的。例如，RTP音频处理器可以被用作在两个端点或任一端点之间传输无声信息的通信切换器，并且同时可以用来添加来自音频源的额外音频流量。在另一示例中，RTP音频处理器可以被用来在可通信地相链接的端点之间的两个双向音频流量内执行噪声消除任务，同时还被语音服务器(端点之一)用来向呼叫者(另一个端点)播放预先记录的音频文件。因此，RTP音频处理器是非常灵活的资源，其可以在许多情况中被用来增强基于RTP的通信，并且在基于RTP的通信会话期间保存通信端点的资源。
本发明可以以硬件、软件或软硬件的组合来实现。本发明可以以集中的方式在一个计算机中实现，或者可以以分布的方式实现，其中不同的单元分布于若干互连的计算机系统上。适于实施这里所描述的方法的任何种类的计算机系统或其它装置都是适合的。软硬件的典型组合可以是具有计算机程序的通用计算机系统，所述计算机程序在被加载并被执行时控制该计算机系统，使得该计算机系统实施这里所描述的方法。
本发明可以被嵌入计算机程序产品，该计算机程序产品包括使这里所描述的方法能够实现的全部特征，并且该计算机程序产品在计算机系统中加载时能够实施这些方法。本文中的计算机程序指的是在任何语言、代码或符号形式下的指令集的任何表示法，所述指令集为了使得具有信息处理能力的系统直接或在下述两种过程之一或两者之后来执行特定功能，所述两种过程包括a)转换到另一语言、代码或符号；b)以不同的物质形式再现。
本发明在不背离其实质属性或精神的条件下可以以其它形式实现。因此，应当参考所附权利要求而非前面的说明书来指明本发明的范围。
权利要求
1.一种通信方法，包括下述步骤基于实时传输协议在两个端点之间建立通信会话，其中在通信会话的持续期间，在两个端点之间交换多个包含经数字编码的音频的离散包，从而在两个端点之间实时建立连续的音频流量；在所述通信会话期间，所述两个端点中的至少一个端点将实时传输协议数据输送到位于远程的实时传输协议音频处理器，所述实时传输协议数据包括实时传输协议音频处理器建立与没有向实时传输协议音频处理器输送实时传输协议数据的两个端点之一的音频流所需的信息；以及所述实时传输协议音频处理器在不终止两个端点之间的通信会话的条件下建立所述音频流。
2.如权利要求1所述的通信方法，其中所述通信会话是因特网协议语音通信会话。
3.如权利要求1所述的通信方法，其中已建立的通信会话是全双工音频通信，并且其中输送实时传输协议数据的端点是第一端点，其中实时传输协议音频处理器与之建立音频流的端点是第二端点。
4.如权利要求3所述的通信方法，其中在实时传输协议音频处理器和第二端点之间输送音频流的通信信道是单工通信信道。
5.如权利要求1所述的通信方法，还包括下述步骤第一端点向实时传输协议音频处理器发送流切换指示符，其中流切换指示符指示出第一端点将停止到第二端点的音频流量并且实时传输协议音频处理器在音频流量被停止时将启动与第二端点的所述音频流；以及第一端点根据流切换指示符在近似为所述音频流的持续时间内，停止指向第二端点的音频流量。
6.如权利要求5所述的通信方法，还包括下述步骤第一端点向实时传输协议音频处理器发送切换回指示符，其中切换回指示符指示出第一端点将恢复被停止的音频流量并且实时传输协议音频处理器将中止所述音频流；以及实时传输协议音频处理器根据切换回指示符中止所述音频流。
7.如权利要求6所述的通信方法，其中音频流包括无声包，其中音频流量在下述时段内被停止，在所述时段期间，从第一端点到第二端点的通信信道相对地无声。
8.如权利要求1所述的通信方法，还包括下述步骤实时传输协议音频处理器从在所述两个端点中的任何一个端点外部的音频源获得音频；以及音频流包含从所述音频源获得的音频内容。
9.如权利要求8所述的通信方法，其中音频源包括可由所述实时传输协议音频处理器访问的至少一个先前建立的音频文件。
10.如权利要求9所述的通信方法，其中所述音频文件包括包含经数字编码的背景噪声并且不包含任何其它音频内容的文件。
11.如权利要求8所述的通信方法，其中音频源将音频流式传输到实时传输协议音频处理器，实时传输协议音频处理器将音频输送到两个端点中被选中的一个端点。
12.如权利要求1所述的通信方法，其中实时传输协议音频处理器用作两个端点之间的通信媒介，其中所述音频流量包括所述音频流，其中所述实时传输协议音频处理器执行用于所述音频流量的至少一个音频处理任务。
13.如权利要求12所述的通信方法，其中所述至少一个音频处理任务包括用于音频流量的压缩任务或解压缩任务。
14.如权利要求12所述的通信方法，其中所述至少一个音频处理任务包括用于音频流量的打包任务或拆包任务。
15.如权利要求12所述的通信方法，其中所述至少一个音频处理任务包括选自下述任务构成的组中的至少一个音频任务谱相减任务、回波消除任务和语音活动检测任务。
16.如权利要求1所述的通信方法，其中输送所述实时传输协议数据的端点包括语音服务器。
17.如权利要求1所述的通信方法，其中输送所述实时传输协议数据的端点在人类呼叫者处终止，其中人类呼叫者使用客户场所设备与电话网络接口，所述实时传输协议数据源自所述电话网络。
18.一种实时传输协议音频处理器，包括位于使用实时传输协议彼此交换连续音频数据流的两个通信端点外部的计算处理空间内的独立处理组件，所述独立处理组件被配置为在不终止两个端点之间预先存在的实时传输协议通信会话的条件下，建立与两个端点中的至少一个端点的音频流，所述音频流根据实时传输协议使用包含经数字编码的音频的多个离散包来输送由独立处理组件处理的经数字编码的音频。
19.如权利要求18所述的实时传输协议音频处理器，其中所述实时传输协议音频处理器是因特网协议语音网关本地的软件单元，其中两个端点不是因特网协议语音网关的本地组件。
20.一种机器可读存储设备，其上存储有具有多个代码段的计算机程序，所述计算机程序可由机器执行，以使所述机器执行下述步骤基于实时传输协议在两个端点之间建立通信会话，其中在通信会话的持续期间，在两个端点之间交换多个包含经数字编码的音频的离散包，从而在两个端点之间实时建立连续的音频流量；在所述通信会话期间，所述两个端点中的至少一个端点将实时传输协议数据输送到位于远程的实时传输协议音频处理器，所述实时传输协议数据包括实时传输协议音频处理器建立与没有向实时传输协议音频处理器输送实时传输协议数据的两个端点之一的音频流所需的信息；以及所述实时传输协议音频处理器在不终止两个端点之间的通信会话的条件下建立所述音频流。
全文摘要
一种通信方法可以包括基于实时传输协议(RTP)在两个端点之间建立通信会话的步骤。在通信会话的持续期间，可以在两个端点之间交换包含经数字编码的音频的离散包，从而在两个端点之间实时建立连续的音频流量。在通信会话期间，两个端点中的一个或两个端点可以将RTP数据输送到位于远程的RTP音频处理器。RTP数据可以包括RTP音频处理器建立与没有向RTP音频处理器输送RTP数据的两个端点之一的音频流所需的信息。RTP音频处理器可以在不终止两个端点之间的通信会话的条件下建立音频流。
文档编号H04L12/56GK1848848SQ20061006662
公开日2006年10月18日 申请日期2006年4月13日 优先权日2005年4月15日
发明者J·小切利, P·杰斯沃 申请人:国际商业机器公司