音频处理方法及音频输出装置与流程

本发明实施例涉及一种音频技术，尤其涉及到一种音频处理技术和一种音频输出装置。

背景技术：

随着智能设备和视听设备的发展和完善，带有音频播放功能的手持设备越来越多，如收音机、MP3、PDA、手机、平板电脑，助听及辅助听力设备等。用户通常使用音频输出装置来收听这些手持设备中的音频信息，如聆听音乐或广播节目。

然，用户在聆听音乐或广播节目时，可能会经常被外部环境所困扰。例如，可能因为外部环境的嘈杂而无法听清音乐或广播内容，或为解决这一问题而将手持设备的音量输出调到很大，而导致对耳朵产生长时间的损害(如果用户的耳朵长时间暴露在超过响度不适级(Loudness Discomfort Level，LDL)的环境下，会对该用户的听力造成伤害)。

因此，有必要提供一种技术，来解决在各种不同环境中音量输出的问题。

技术实现要素：

鉴于以上内容，有必要提供一种音频处理方法，能实时地根据周围环境来调整音频数据的音量输出，从而保证用户能够有效地聆听音乐或广播节目，同时在不同的使用场景和环境中调整合适的音量输出以保护听力。

鉴于以上内容，还有必要提供一种音频输出装置，能实时地根据周围环境来调整音频数据的音量输出。

本发明实施例提供了一种音频处理方法，应用于音频输出装置中，该方法包括步骤：获取一个音频提供装置中的第一音频数据；获取所述音频输出装置周围环境的第二音频数据；根据所述第二音频数据，调整所述第一音频数据的音量输出；及输出所述第一音频数据或调整后的第一音频数据。

本发明实施例还提供了一种音频输出装置，包括第一获取模块、第二获取模块、第一处理模块及第一输出模块。其中，第一获取模块用于获取一个音频提供装置中的第一音频数据；第二获取模块用于获取所述音频输出装置周围环境的第二音频数据；第一处理模块用于根据所述第二音频数据，调整所述第一音频数据的音量输出；第一输出模块用于输出所述第一音频数据或调整后的第一音频数据。

本发明实施例所述的音频处理方法和音频输出装置，相对于现有技术，会实时地获取周围环境的第二音频数据，并根据该第二音频数据的音频参数来调整地域音频数据的音量输出，从而保证输入到人耳的音量处于人耳舒适度范围之内。即使得用户能够在各类环境中，均能够有效地聆听音量或广播节目，又避免声音太大而对耳朵产生伤害。

附图说明

图1为本发明实施例之音频输出装置的运行环境示意图。

图2为本发明实施例之音频输出装置的功能模块示意图。

图3为图2之第二处理模块在一实施例中的子功能模块示意图。

图4为图3之频域信号处理模块在一实施例中进行AGC的音频信号流向示意图。

图5为本发明实施例之音频处理方法的流程示意图。

图6为本发明另一实施例之音频处理方法的流程示意图。

图7为本发明另一实施例之音频处理方法的流程示意图。

主要元件符号说明

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明实施例旨在提供一种音频输出装置2，该音频输出装置2会以当下的外部环境为参考，来处理音频数据，并输出与当下的外部环境相匹配的音频信号至扬声器40中，或直接控制扬声器40的输出功率。例如，在安静的环境中，该音频输出装置2会调低音量输出；在嘈杂的环境中，则会相应地调高音量输出。

图1为本发明实施例之音频输出装置2的运行环境示意图。在本发明实施例中，音频输出装置2连接于音频提供装置4。

该音频输出装置2可以是有线耳机、无线耳机或带有耳机功能的虚拟现实头盔(Virtual Reality，VR)，或其它头戴式设备，如当下热门的蓝牙助听器等。该音频提供装置4可以是音频再现装置、无线信号播放装置、视机、手机、平板电脑、膝上电脑等。

该音频输出装置2可以从内部音源获取音频数据，也可以是从外部音量获取音频数据。在图1中，音频输出装置2为一有线耳机，其主要是从外部的音频提供装置4中获取音频数据。该音频输出装置2包括至少一个第一音频输入模块(未图示)和至少一个第二音频输入模块(未图示)。该第一音频输入模块可以为有线或无线音频信号传输接头，如用于从音频提供装置4中获取第一音频数据。第二音频输入模块可以为声音采集装置，如麦克风或麦克风阵列，用于从周围环境中获取第二音频数据。

请参阅图2，是本发明实施例之音频输出装置2的功能模块示意图。该音频输出装置2包括音频系统10、存储器20、处理器30和扬声器40。音频系统10运行于音频输出装置2中。

所述音频系统10包括第一获取模块102、第二获取模块104、第一处理模块106、第一输出模块108、第二处理模块110、合成模块112、第二输出模块114、回传模块116、音量输出检测模块118及保护模块120，其中，第二处理模块110包括模/数转换模块110A、冲击性信号检测模块110B、时域至频域转换模块110C、频域信号处理模块110D、增益加权模块110E、频域至时域转换模块110F及数/模转换模块110G。所述模块102-120被配置成有一个或多个处理器(本实施例为处理器30)执行，以完成本发明实施例。本发明实施例所称的模块是完成一特定功能的计算机程序段。存储器20用于存储音频系统10的程序代码等资料。

第一获取模块102获取一个音频提供装置4中的第一音频数据。在本实施例中，第一获取模块102通过第一音频输入模块从音频提供装置4中获取第一音频数据。该第一音频数据可以是音乐、广播节目、通话等内容。

第二获取模块104获取音频输出装置2周围环境的第二音频数据。在本实施例中，第二获取模块104通过第二音频输入模块获取第二音频数据。具体的，第二获取模块104可以通过一个或多个麦克风采集周围环境的第二音频数据。还可以通过多路先入先出的队列通道(First Input First Output，FIFO)来对从多个麦克风采集的第二音频数据进行列队，并执行前置操作，如可以通过多路复用器、可编程前置放大器、低通防混叠滤波器等进行处理。

第一处理模块106根据所述第二音频数据，调整所述第一音频数据的音量输出。

在本实施例中，第一处理模块106会检测第二音频数据在一段时间内的平均能量值，并依据该平均能量值来调整第一音频数据的音量输出。

调整第一音频数据的音量输出，可以有多种调整方式。调整方式一)调整扬声器的输出功率，使得第一音频数据通过扬声器40输出的音量的平均能量值略大于第二音频数据的平均能量值；调整方式二)调整第一音频数据，即对第一音频数据进行信号放大或缩小，将调整后的第一音频数据传输至扬声器；调整方式三)调整音频提供装置4的原始音量输出。

例如，当第二音频数据在一段时间内的平均能量值为E₁(dB)，而第一音频数据的平均能量值为E₂(dB)，则调整第一音频数据的音量输出使得第一音频数据的音量输出的平均能量值变为E₃(dB)，E₃＝E₁+15(±3)dB。可知，第一处理模块106的调整操作保证了扬声器40所输出的声音音量会恰好使得用户可以聆听音乐或广播节目而不被外部环境所困扰，也不会因为扬声器的音量输出过高而导致听力损伤(只有在较为嘈杂的环境中，才可能临时大幅度地增加第一音频数据的音量输出)。

第一输出模块108输出所述第一音频数据或调整后的第一频数据。在本实施例中，如果第一处理模块106采用了调整模式一)或调整模式三)，第一输出模块108则输出第一音频数据至扬声器40；如果第一处理模块106采用了调整模式二)，第一输出模块108则输出被第一处理模块106调整后的第一音频数据至扬声器40。当然，如果音频输出装置2还要对所述第一音频数据或调整后的第一音频数据做进一步地音频处理时，第一输出模块108则将所述第一音频数据或调整后的第一音频数据输出到下一个模块中，如下文所涉及的合成模块112。

在一个优选实施例中，音频输出装置2还包括第二处理模块110、合成模块112和第二输出模块114。用于将周围环境的声音(第二音频数据)经过处理后，通过扬声器40传输至人耳，无缝将环境麦克风和播放的音乐衔接在一起。从而给用户提供最佳的听觉体验。使得用户在聆听音乐或广播节目时，还能了解和感知周围的环境状况，从而避免和外部完全隔离而导致危险，例如，用户在使用入耳式音频输出装置边听音乐边在马路上散步或骑车时，如果完全和外界隔离，将容易造成安全事故。鉴于此，本优选实施例旨在解决这一问题，为用户提供音乐或广播节目的同时，还能为用户提供经过处理后的周围环境的声音，如人的交谈语音、汽笛声等。由于周围环境的声音是经过处理后再送入扬声器40中的，所以不会过大的干扰用户聆听音乐或广播节目。其中，第二处理模块110对所述第二音频数据(即，周围环境的声音)进行平稳化处理，以得到第三音频数据。合成模块112将所述第三音频数据与第一输出模块112输出的所述第一音频数据或调整后的第一音频数据进行合成，以得到第四音频数据。第二输出模块114输出所述第四音频数据至扬声器40中。该第四音频数据即混合了音乐和周围环境的声音。

需要说明的是，该音频系统10还可以包括一个选择模块，通过软按键或硬按键来启动该选择模块，以选择直接将第一音频数据或调整后的第一音频输出输出至扬声器40中，或将第四音频数据输出至扬声器40中。

在一优选实施例中，如图3所示，第二处理模块110包括模/数转换模块110A、冲击性信号检测模块110B、时域至频域转换模块110C、频域信号处理模块110D、增益加权模块110E、频域至时域转换模块110F及数/模转换模块110G。

模/数转换模块110A从第二获取模块104中获取第二音频数据，将所述第二音频数据进行数字化处理，以得到数字信号的第二音频数据。需要说明的是，该模/数转换模块110A能够提供可配置的采样频率，以及控制各个FIFO通道的延时。

该数字信号的的第二音频数据会同时进入冲击性信号检测模块110B和时域至频域转换模块110C。

冲击性信号检测模块110B对所述数字信号的第二音频数据进行冲击信号检测，以得到所述数字信号的第二音频数据中的冲击性信号特征值。需要说明的是，该数字信号的第二音频数据为时域信号，冲击性信号检测模块110B主要在时域进行，利用冲击性信号和语音信号在时域特征的异同，从而能够检测到冲击性信号的出现。利用的主要特征有：1)冲击性信号在时域出现的速度快，具有能量突然激增的特征；2)冲击性信号的频谱比较宽广，具有类似白噪声特性，而语音信号则出现有谐波成分，且主要集中在低频部分；3)冲击性信号没有基音频率，而语音信号有基音频率。综上，冲击性信号检测模块110B可以通过上述特征在检测第二音频数据中的冲击性信号。该冲击性信号可以为第二输入模块(麦克风)从周围环境获取到的汽笛声等而产生的信号。

时域至频域转换模块110C，用于对所述数字信号的第二音频数据进行时域至频域转换，以得到与所述数字信号的第二音频数据对应的第一频域音频信号。在本实施例中，时域至频域转换模块110D可以通过快速傅里叶变换(Fsst Fourier Transformation，FFT)将数字信号的第二音频数据转换成第一频域音频信号FFT_R1。

频域信号处理模110D对所述第一频域音频信号FFT_R1分频段进行限波处理和/或自动增益控制，以得到第二频域音频信号FFT_R2。在本实施例中，可以通过梅尔(Mel)谱将第一频域音频信号FFT_R1合并到多个频段中，从而可以利用掩蔽效应进行后续处理。在本实施例中，所谓限波处理是指预先设定一个截止频率(如，110dB)，对第一频域音频信号FFT_R1中超过截止频率的成分进行抑制、过滤；自动增益控制(Automatic Generation Control，AGC)包括正向AGC和反向AGC，动态调整第一频域音频信号FFT_R1的音量，对音量高的部分进行抑制，对音量低的部分进行动态范围扩压和补偿，从而使得音量始终维持在人耳舒适度范围之内。在本实施例中，频域信号处理模块110D可以包括动态范围扩压模块，可以在全频段和多通道的动态范围扩压，以用于放大微弱信号和抑制冲击性信号。图4为频域信号处理模块110D进行AGC的音频信号流向图。

增益加权模块110E依据所述冲击性信号特征值，对频域信号处理模块110D处理得到的第二频域音频信号FFT_R2进行增益加权，以得到第三频域音频信号FFT_R3。

频域至时域转换模块110F对所述第三频域音频信号FFT_R3进行频域至时域转换，以生成与第三频域音频信号对应的时域音频信号IFFT_R1。在本实施例中，频域至时域转换模块110F可以采用快速傅里叶逆变换(Inverse Fast Fourier Transformation，IFFT)。

数/模块转换模块110G模拟化处理时域音频信号IFFT_R1，得到所述第三音频数据。

经过第二处理模块110中的模块110A-110G，可知，第二处理模块110对第二获取模块104获取的第二音频数据进行平稳化处理，以实现对特定的目标语音信号采集，同时抑制噪声(如环境噪声、冲击噪声等)。使得用户在聆听音乐时，对外界也有较好的感知。

在一个优选实施例中，音频输出装置2还包括回传模块116，该回传模块116回传所述第二音频数据或所述第二音频数据的相关参数至音频提供装置4，以使音频提供装置4根据所述第二音频数据或所述第二音频数据的相关参数得出一组配置参数，所述配置参数用于调整音频提供装置4或音频输出装置2的音量输出，如以下几个具体示例。

在第一示例中，音频输出装置2通过第二音频数据分析出周围环境的场景后，会通知音频提供装置4，该音频提供装置4会根据具体场景得出一组配置参数以调整原始音频输出，或发送包含有该配置参数的DSP命令给音频输出装置2中的处理器30，来控制处理器30进行音频输出的参数配置。

在第二示例中，音频输出装置2通过第二音频数据分析出周围环境的场景后，会通知音频提供装置4，该音频提供装置4会上传至云端，云端进行大数据分析并提供最优化的参数配置反馈给音频提供装置4，音频提供装置4可以根据该云端反馈的配置参数来调整自身的原始音频输出，或发送包含有该配置参数的DSP命令给音频输出装置2中的处理器30，来控制处理器30进行音频输出的参数配置。

在第三示例中，音频输出装置2回传第二音频数据至音频提供装置4，该音频提供装置4对该第二音频数据分析后，会根据分析结果来调整原始音频输出，或发送包含有该配置参数的DSP命令给音频输出装置2中的处理器30，来控制处理器30进行音频输出的参数配置。

在第四示例中，音频输出装置2回传第二音频数据至音频提供装置4，该音频提供装置4将该第二音频数据上传至云端，由云端结合大数据分析并提供最优化的参数配置反馈给音频提供装置4，音频提供装置4可以根据该云端反馈的配置参数来调整自身的原始音频输出，或发送包含有该配置参数的DSP命令给音频输出装置2中的处理器30，来控制处理器30进行音频输出的参数配置。

在一优选实施例中，音频输出装置2还包括音量输出检测模块118和保护模块120。音量输出检测模块118检测所述第一音频数据的音量输出。保护模块120当所述音量输出大于一个预设阀值且持续一段时间时，则调低所述第一音频数据的音量输出或发出听觉或视觉警示信息。所谓听觉警示信息可以直接经由扬声器40输出至人耳，所述视觉警示信息可以通过音频输出装置2上的指示灯闪烁来提供警示，也可以经由音频提供装置4上的显示屏显示该警示信息。

请参阅图5，是本发明实施例之音频处理方法的流程示意图。所述音频处理方法的执行主体可以是如图2所示的各个模块组成的音频输出装置2，也可以是支持本方法的任意其它装置。另外，本方法实施例中的流程图也不用于对执行步骤的顺序进行限定。

步骤202、获取一个音频提供装置中的第一音频数据。

在本实施例中，可以通过有线或无线接口从该音频提供装置中获取该第一音频数据，该第一音频数据为用户需要聆听音乐或广播节目的主要音源，该第一音频数据可以是通话语音、音乐、广播内容等。

步骤204、获取所述音频输出装置周围环境的第二音频数据。

在本实施例中，音频输出装置可以通过麦克风或麦克风阵列从周围环境中收集第二音频数据，该第二音频数据可以包括周围环境中的任何音源的声音，如人的交谈声、汽笛声等。

步骤206、根据所述第二音频数据，调整所述第一音频数据的音量输出。

在本实施例中，音频输出装置会先计算第二音频数据的平均能量值，并根据该平均能量值来调整第一音频数据的音量输出。如调整音频输出装置之扬声器的输出功率、调整第一音频数据(信号放大或缩小)，或者调整音频提供装置的原始音量输出。

步骤208、输出所述第一音频数据或调整后的第一音频数据。

在本实施例中，音频输出装置若调整其扬声器的输出功率或调整音频提供装置的原始音量输出，而不对第一音频数据进行信号处理，则将第一音频数据直接输出至扬声器。音频输出装置若调整第一音频数据(进行信号放大或缩小处理)，则将该调整后的第一音频数据输出至扬声器。

可知，扬声器播放的声音的平均能量值应该在人耳舒适度范围之内，即该扬声器播放的声音恰好使得用户可以聆听音乐或广播节目而不被外部环境所困扰，也不会因为音量过高而导致听力损伤。

需要说明的是，如果音频输出装置还要对所述第一音频数据或调整后的第一音频数据做进一步地音频处理时，音频输出装置则将所述第一音频数据或调整后的第一音频数据输出到下一个处理步骤中。

在一个优选实施例中，在步骤204之后，还包括一个回传步骤：回传所述第二音频数据或所述第二音频数据的相关参数至所述音频提供装置，以便所述音频提供装置根据所述第二音频数据或所述第二音频数据的相关参数得出一组配置参数，所述配置参数用于调整所述音频提供装置或所述音频输出装置的音量输出。

请参阅图6，是本发明另一实施例至音频处理方法的流程示意图。

步骤302、获取一个音频提供装置中的第一音频数据。

步骤304、获取所述音频输出装置周围环境的第二音频数据。

步骤306、根据所述第二音频数据，调整所述第一音频数据的音量输出。

步骤308、对所述第二音频数据进行平稳化处理，以得到第三音频数据。

在本实施例中，对所述第二音频数据进行平稳化处理可以采用多种方法，下面提供一种处理方法，以作参考。

步骤308包括多个子步骤308A-308G，具体如下：

步骤308A、将步骤304中获取的所述第二音频数据进行数字化处理，以得到数字信号的第二音频数据；

步骤308B、对所述数字信号的第二音频数据进行冲击信号检测，以得到所述数字信号的第二音频数据中的冲击性信号特征值；

步骤308C、对所述数字信号的第二音频数据进行时域至频域转换，以得到与所述数字信号的第二音频数据对应的第一频域音频信号；

步骤308D、对所述第一频域音频信号分频段进行限波处理和/或自动增益控制，以得到第二频域音频信号；

步骤308E、依据所述冲击性信号特征值，对所述第二频域音频信号进行增益加权，以得到第三频域音频信号；

步骤308F、对所述第三频域音频信号进行频域至时域转换，以得到相应的时域音频信号；

步骤306G、模拟化处理所述第三频域音频信号进行频域至时域转换之后得到的时域音频信号(步骤308F)，以得到所述第三音频数据。

步骤310、输出所述第一音频数据或调整后的第一音频数据。

步骤312、将所述第三音频数据与步骤310中输出的所述第一音频数据或调整后的第一音频数据进行合成，以得到第四音频数据。

步骤314、输出所述第四音频数据。

请参阅图7，是本发明另一实施例至音频处理方法的流程示意图。

步骤402、获取一个音频提供装置中的第一音频数据。

步骤404、获取所述音频输出装置周围环境的第二音频数据。

步骤406、根据所述第二音频数据，调整所述第一音频数据的音量输出。

步骤408、对所述第二音频数据进行平稳化处理，以得到第三音频数据。

步骤410、输出所述第一音频数据或调整后的第一音频数据。

步骤412、将所述第三音频数据与所述第一音频数据或调整后的第一音频数据进行合成，以得到第四音频数据。

步骤414、输出所述第四音频数据。

步骤416、检测第一音频数据或第四音频数据的音量输出。本方法实施例以检测第四音频数据的音量输出为例，进行阐述。

步骤418、判断所述音量输出是否大于一个预设阀值且持续一段时间。如果是，进入步骤420，否则进入步骤416。

步骤420、调低所述第四音频数据的音量输出或发出警示信息。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。