基于移动终端的音频处理方法和装置的制造方法_2

文档序号:9202581阅读:来源:国知局
现语音通话的通话软件,或者专门用来处理音频的音频处理软件。通话软件可以是即时通信软件。软件信息可以是软件的唯一标识符、名称以及软件版本信息中的至少一种。
[0052]用于处理音频的硬件信息包括处理器的型号、内存储器型号以及硬件版本中的至少一种。其中硬件版本是指用来处理音频的各种硬件构成的硬件系统的标识,比如同样型号的处理器与不同型号的内存储器分别构成不同硬件版本的硬件系统。
[0053]网络类型用于表示移动终端102所处网络的类型。网络类型包括窄带移动通信网络类型、宽带移动通信网络类型、无线局域网网络类型以及有线网络类型。其中窄带移动通信网络类型比如GPRS (General Packet Rad1 Service,通用分组无线服务技术)网络,宽带移动通信网络类型比如WCDMA (宽带码分多址)网络以及TD-SCDMA (时分同步码分多址)网络。不同网络类型的带宽资源不同,导致移动终端102在不同的网络环境下处理音频的能力不同。
[0054]步骤304,根据本端的终端能力参数确定音频编码等级和音频数据格式。
[0055]具体地,音频编码等级与音频编码器是对应的,不同的音频编码器对应不同的音频编码等级。音频编码是将音频数据压缩以减少冗余信息的过程,通过音频编码可以减少传输音频所需的网络资源。音频编码器可以是硬件模块也可以是软件模块。
[0056]在一个实施例中,音频编码等级包括:高清音频编码等级和普通音频编码等级,相应的音频编码器包括高清音频编码器和普通音频编码器。当然也可以根据需要做更细的划分,比如音频编码等级还可以包括低质量音频编码等级。不同的音频编码等级对移动终端能力的要求一般也不同。
[0057]在一个实施例中,音频数据格式包括:音频采样率、声道属性、音频位宽以及音频帧长。其中音频采样率是指对模拟信号进行采样获得数字信号的频率。声道属性包括声道数以及声道类型,声道类型比如左声道或者右声道。音频帧长表示一个音频帧内采样的样本数据的个数。
[0058]步骤306,采集声音并根据确定的音频数据格式形成音频数据。
[0059]具体地,本端通过其声音采集器采集声音获得模拟信号,并按照音频数据格式将该模拟信号转换为数字信号的音频数据。具体按照确定的音频数据格式中的音频采样率、声道属性、音频位宽以及音频帧长等参数,对模拟信号进行采样,形成数字信号的音频数据。采集声音形成音频数据以及播放音频数据与操作系统的相关性较大,比如主流的1s操作系统和安卓操作系统的音频数据的采集和播放有差异,可以根据操作系统的类型采用不同的音频数据格式转换方式。
[0060]步骤308,根据音频编码等级对音频数据进行音频编码。
[0061]具体地,若音频编码等级为高清音频编码等级,则采用相应的高清音频编码器,按照确定的编码码率对音频数据进行音频编码;若音频编码等级为普通音频编码等级或者低质量音频编码等级,则采用相应的普通音频编码器或者低质量音频编码器,按照确定的编码码率对音频数据进行音频编码。对音频数据编码具体可以采用PCM(Pulse CodeModulat1n,脉冲编码调制)编码方式。
[0062]在一个实施例中,可以对高清音频编码器进行复杂度分析,对消耗处理器资源的部分进行优化。具体来说,高清音频编码等级相较于普通音频编码等级或者低质量音频编码等级需要更高的处理器消耗,因此可以针对高清音频编码器消耗处理器的部分进行针对性优化。优化方式包括利用处理器的硬件特性,把复杂度高的部分程序充分利用能够发挥处理器的硬件特性的指令语言来实现,这样可以充分利用处理器的硬件能力,提高运算速度,从而降低处理器的消耗。其中处理器的硬件特性包括协处理器,浮点处理器,寄存器和多媒体运算处理单元。
[0063]步骤310,将编码后的数据组包形成音频码流并通过网络发送到对端,使得对端对音频码流进行自适应解码后根据对端的终端能力参数进行音频数据格式转换并播放。
[0064]具体地,本端将步骤308中编码后的数据进行组包生成数据包,每个数据包中携带有对端的地址,进而多个数据包形成音频码流,本端将音频码流发送到网络,通过路由传递到对端。
[0065]对端接收到音频码流后根据码流特征进行自适应解码,进而根据该对端的终端能力参数对解码后的音频数据进行音频格式转换,进而播放转换后的音频数据,这样对端最终播放的音频数据是与对端的终端能力参数相匹配的。其中自适应是指处理和分析过程中,根据处理数据的数据特征自动调整处理方式,使得处理方式与所处理数据的统计分布特征、结构特征相适应,以取得最佳的处理效果。
[0066]上述基于移动终端的音频处理方法,本端根据自身的终端能力参数确定音频编码等级和音频数据格式,这样采集的音频数据是与终端自身的能力相匹配的,而且编码也是与终端自身的能力相匹配的。将编码后的数据组包形成音频码流并通过网络发送到对端后,对端就可以自适应确定音频解码等级以对音频码流进行音频解码,进而将解码后的音频数据转换为与对端的终端能力参数匹配的音频数据格式进行播放,对端就可以根据自身的能力来自适应地处理音频。这样处理能力强的移动终端确保有高质量的语音通话,而处理能力差的移动终端则语音质量相对下降,充分利用了不同的移动终端的能力资源。而且多人自适应解码方案更加灵活,适应性更好,不需要集中能力交换,不依赖服务器的集中能力交换或者通知。
[0067]在一个实施例中,终端能力参数包括:用于处理音频的软件信息和硬件信息,以及网络类型。且步骤304包括:根据本端的软件信息、硬件信息和网络类型选择具有相应的音频编码等级的音频编码器,并确定与选择的音频编码器相匹配的音频数据格式。且步骤308包括:采用确定的音频编码器,以按照相应的音频编码等级对音频数据进行音频编码。
[0068]具体地,若根据本端的软件信息和/或硬件信息判定本端用于处理音频的软件和/或硬件处理能力强,且本端的网络类型对应的带宽资源充足,则决策使用高清音频编码器。若根据本端的软件信息和/或硬件信息判定本端用于处理音频的软件和硬件处理能力弱,和/或,本端的网络类型对应的带宽资源不足,则决策使用普通音频编码器或者低质量音频编码器。
[0069]其中软件和/或硬件处理能力强弱可以根据事先存储的终端能力参数和处理能力强弱的映射关系来确定,网络类型对应的带宽资源是否充足则可以根据网络类型和带宽资源充足程度的映射关系来确定。
[0070]在一个实施例中,音频数据格式根据音频编码器来确定,音频数据格式与音频编码器匹配。比如普通音频编码器对应SkHZ (千赫兹)音频采样率,单声道以及16bit (比特)音频位宽;相应的,如果是高清音频编码器,则可采用相应的高清的音频格式,比如16kHZ音频采样率,双声道以及16bit音频位宽。
[0071]本实施例中,设置不同的编码器来满足不同音频编码等级的编码需求,可以适应各种移动终端的各种编码需求,兼容性强。
[0072]在一个实施例中,该基于移动终端的音频处理方法还包括:根据本端的终端能力参数确定编码参数,则步骤308包括:根据音频编码等级和编码参数对音频数据进行音频编码。这里的编码参数是对音频数据进行音频编码时可调的参数,比如编码码率。具体若本端的网络类型对应的带宽资源充足,则采用高码率;若本端的网络类型对应的带宽资源不足,则采用低码率。其中编码码率是指单位时间内编码的比特数量。这里的高码率和低码率是预先配置的确定的值,且高码率的值大于低码率的值。
[0073]在一个实施例中,该基于移动终端的音频处理方法还包括:将组包后的数据包中每第一预设数量的数据包划分为一组,根据该一组数据包的数据内容生成相应的第二预设数量的纠错冗余包加入到音频码流;第一预设数量大于第二预设数量。
[0074]具体地,为了减少对端接收音频码流时丢失数据包所带来的影响,这里进行纠错编码,按组划分数据包,每组包括第一预设数量的数据包,根据每组内的所有数据包的数据内容生成与该组对应的第二预设数量的纠错冗余包,将音频编码得到的数据包和纠错冗余包形成音频码流。第一预设数量大于第二预设数量,可以保证纠错冗余包不会过多占用网络带宽资源。其中,根据一组数据包的数据内容生成相应的纠错冗余包,可从该组中每个数据包中提取全部或者部分数据内容构成纠错冗余包。
[0075]本实施例中,将每组数据包生成相应的纠错冗余包并控制纠错
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1