专利名称：音频信号处理设备、音频信号处理方法及程序的制作方法
技术领域：
本公开涉及一种音频信号处理设备、音频信号处理方法及程序。本公开具体涉及例如一种对于用户最佳地自动控制音频信号的再现电平的方法。
背景技术：
例如，在使用具有内置小型扬声器的便携式装置再现音频音量的动态范围大的电影内容和音乐内容的音频的情况下，不仅音频的音量整体上被降低，而且低音量的讲话等变得尤其难以听见。具体地，例如如图1所示，在小型装置中，(A)为包括小型麦克风和小型扬声器的PC, (B)为包括小型麦克风和小型扬声器的便携式终端，扬声器的大小受到限制，不能获得足够的输出音量，并且存在低音量的讲话等变得难以听见的问题。作为使得内容的音频更容易听见的技术,存在诸如规格化(normalizing)和自动增益控制等的调节音频的音量的技术。然而，在这样的音量控制中，如果不进行足够长的数据的预读，则从可听性的视点来看将变为不稳定的控制。此外，还存在这样的技术，其通过音量的动态范围的压缩处理来升高(boost)音频的音量小的部分并且压缩音量大的部分。然而，在压缩处理中，当假设音量的升高和压缩的特征是通用的时，难以产生音频的高的增强效果，而为了获得高的效果，则需要改变内容的每项的特征。例如，杜比(Dolby)AC3 (音频编解码器号3)中的动态范围压缩利用由对话规格化指定的声压级作为参考，为升高比该参考低的声压级的信号并且压缩大于该参考的声压级的信号的技术。然而，在该技术中，为了获得足够的效果，需要在编码音频信号时指定对话规格化的声压级以及升高和压缩的特征。此外，已经提出了这样的技术，其中当压缩音频的音量的动态范围时，使由音频信号的绝对值的平均值确定的系数乘以音频信号，因此使得音频信号的具有小音量的声音更容易听到(例如，参考日本未审查专利申请公开第05-275950号)。
发明内容
近年来，用户已经在各种环境下(诸如各种安静的环境和嘈杂的环境等)携带具有小型内置扬声器的各种便携式装备，并且已经开始收听各种类型的内容，诸如电影、音乐以及自己录制的内容等。然而，取决于周围的环境声音的幅度，即使相同的再现音量可能会太大或太小。因此，在这种便携式装备中，需要根据环境声音的幅度对各种内容项的音量最佳地进行自动控制的技术。期望提供一种音频信号处理设备、音频信号处理方法及程序，其依照环境声音的大小对音频信号的再现电平最佳地进行自动控制。根据本公开的一个实施例，提供了一种音频信号处理设备，包括输入分析单元，所述输入分析单元分析输入信号的特性并产生输入声音特征值；环境分析单元，所述环境分析单元分析环境声音的特性并产生环境声音特征值；映射控制信息产生单元，所述映射控制信息产生单元通过应用所述输入声音特征值和所述环境声音特征值产生映射控制信息作为对所述输入信号的振幅转换处理的控制信息；以及映射处理单元，所述映射处理单元基于根据所述映射控制信息确定的线性或非线性映射函数对所述输入信号进行振幅转换并产生输出信号。所述映射控制信息产生单元可包括映射控制信息确定单元，所述映射控制信息确定单元通过应用所述输入声音特征值产生初步的映射控制信息；以及映射控制信息调节单元，所述映射控制信息调节单元通过将所述环境声音特征值应用到所述初步的映射控制信息的调节处理产生输出到所述映射处理单元的所述映射控制信息。所述输入分析单元可计算通过利用多个连续采样计算的均方根，所述多个连续采样被预先定义为所述输入声音特征值；所述环境分析单元可计算通过利用环境声音信号的多个连续采样计算的均方根作为所述环境声音特征值；以及所述映射控制信息产生单元通过利用作为所述输入声音特征值的所述输入信号的所述均方根和作为所述环境声音特征值的所述环境声音信号的所述均方根产生所述映射控制信息。所述输入声音特征值和所述环境声音特征值可以是关于特征值计算目标信号的均方、均方的对数、均方根、均方根的对数、过零率、频率包络的斜率、或所有上述内容的加权求和的结果。所述环境分析单元可通过对由频段划分处理从经由麦克风已经获取的声音获取信号已经划分的、所述环境声音的占有率高的频段的信号执行特征分析来计算所述环境声音特征值。所述音频信号处理设备可以具有频段限制单元，所述频段限制单元对在所述映射处理单元中已经对其应用了映射处理的信号执行频段限制处理，并且在所述频段限制单元中的频段限制之后经由扬声器输出信号。所述映射控制信息产生单元可应用映射控制模型并产生所述映射控制信息，所述映射控制模型已经通过对其应用了包括输入信号和环境声音信号在内的用于学习的信号的统计分析处理产生。所述映射控制模型可以是其中所述映射控制信息与各种类型的所述输入信号和所述环境声音信号相关联的数据。所述输入信号可包括多个声道的多个输入信号，并且所述映射处理单元被配置为对所述输入信号中的每个输入信号执行单独的映射处理。所述音频信号处理设备可以进一步包括增益调节单元，所述增益调节单元对于由所述映射处理单元产生的映射处理信号执行与由所述环境分析单元产生的所述环境声音特征值对应的增益调节。根据本公开的另一实施例，提供了一种在音频信号处理设备中执行的音频信号处理方法，该方法包括分析输入信号的特性并产生输入声音特征值；分析环境声音的特性并产生环境声音特征值；通过应用所述输入声音特征值和所述环境声音特征值产生映射控制信息作为对所述输入信号的振幅转换处理的控制信息；以及基于根据所述映射控制信息确定的线性或非线性映射函数对所述输入信号进行振幅转换并产生输出信号。根据本公开的又一实施例，提供了一种在音频信号处理设备中执行音频信号处理的程序，该程序包括分析输入信号的特性并产生输入声音特征值；分析环境声音的特性并产生环境声音特征值；通过应用所述输入声音特征值和所述环境声音特征值产生映射控制信息作为对所述输入信号的振幅转换处理的控制信息；以及基于根据所述映射控制信息确定的线性或非线性映射函数对所述输入信号进行振幅转换并产生输出信号。此外，本公开的程序例如是关于能够执行程序代码的各种项的通用目的的系统的、能够利用以计算机可读格式提供的存储介质或通信介质提供的程序。通过以计算机可读格式提供程序来实现对应于计算机系统上的程序的处理。此外，本公开的其它的目标、特性和优点将会由于基于后面所述的实施例和本实施例的附图的详细描述而变得明显。此外，本说明书中的系统为多个设备的配置的逻辑集合，每个配置的设备不限于位于同一壳体内。根据本公开的示例的配置，当环境声音较大或较小时，最佳映射控制成为可能，降低了诸如引起不适的不足的音量或者失真的用户的不满，即使在多种环境下，也可以为用户最佳地自动控制音频信号的再现电平。具体地，例如，分析输入信号的特性并产生输入声音特征值，分析环境声音的特性并产生环境声音特征值，应用已经产生的输入声音特征值和环境声音特征值并产生映射控制信息作为对输入信号的振幅转换处理的控制信息。此外，基于根据所述映射控制信息确定的线性或非线性映射函数对所述输入信号进行振幅转换并产生输出信号。例如，参考考虑输入信号和环境声音已经产生的模型产生映射控制信息。根据这些配置，对各种环境中的音频信号的电平最佳地进行自动控制由于对应于环境声音的最佳映射控制而成为可能。
图1为示出了包括小型扬声器的设备的示例的图；图2为示出了在本公开的第一实施例中的音频信号处理方法的示例的框图；图3为示出了当在本公开的第一到第八实施例中进行声音获取信号的频段划分时的频带分类的示例的图；图4为在本公开的第一实施例中的映射控制信息调节量的函数图形的示例；图5为在本公开的第一实施例中的映射的函数图形的示例；图6为示出了在本公开的第二实施例中的音频信号处理方法的示例的框图；图7为示出了在本公开的第三实施例中的音频信号处理方法的示例的框图；图8为示出了在本公开的第三实施例中的映射控制的模型学习方法的示例的框图；图9为示出了在本公开的第三实施例中的映射控制信息的应用方法的示例的流程图；图10为根据在本公开的第三实施例中的映射控制模型的回归曲线的图形的示例；图11为示出了在本公开的第四实施例中的声音信号处理方法的示例的框图；图12为示出了在本公开的第四实施例中的映射控制的模型学习方法的示例的框图；图13为示出了在本公开的第四实施例中的映射控制信息的应用方法的示例的流程图；图14为示出了在本公开的第五实施例中的声音信号处理方法的示例的框图；图15为示出了在本公开的第六实施例中的声音信号处理方法的示例的框图；图16为示出了本公开的第七实施例中的声音信号处理方法的示例的框图；图17为示出了在本公开的第八实施例中的声音信号处理方法的示例的框图。
具体实施例方式下面，将参考附图给出对本公开的音频信号处理设备、音频信号处理方法和程序的详细描述。此外，例如，本公开的音频信号处理设备对从设备的扬声器等(包括如早先参考图1描述的小型扬声器)输出的声音进行控制，并且本公开的音频信号处理设备进行音频信号处理以使得即使在各种周围噪音的环境声音等出现的环境中，输出的声音也能更容易地听见。具体地，例如，进行根据环境声音最佳地自动控制音频信号的再现电平的处理等。根据下面的多个项依次给出关于根据本公开的实施例的多个音频信号处理设备的描述。1.关于第一实施例2.关于第二实施例3.关于第三实施例4.关于第四实施例5.关于第五实施例6.关于第六实施例7.关于第七实施例1.关于第一实施例将在图2中示出本公开的第一实施例中的音频信号处理设备的框图。例如，图2所示的音频信号处理设备100可以被配置为早先参考图1所描述的(A)PC和(B)便携式终端等的信息处理设备的内部设备，或者还可以被配置为连接到各个音频输出设备并且对从音频输出设备输出的音频信号进行处理的独立设备。图2所示的音频信号处理设备100被如下所示地配置。音频信号处理设备100配置有输入单元101、输入信号分析和映射控制信息确定单元102、麦克风111、频段划分单元112、环境分析单元113、映射控制信息调节单元114、映射处理单元121、频段限制单元122以及扬声器123。输入单元101为作为再现目标的音频 信号的输入单元。在如图1所示的(A) PC、(B)便携式终端等的信息处理设备中，例如，输入单元101为已经由信息处理设备内部的再现信号产生单元产生的音频信号的输入单元。替换地，其可对应于已经连接到外部的音频再现设备的音频输出单元的输入单元等。图2所示的音频信号处理设备以与图1所示的PC和便携式终端相同的方式包括麦克风111和扬声器123。将从输入单元101输入的再现目标输入信号输入到输入信号分析和映射控制信息确定单元102中。输入信号分析和映射控制信息确定单元102对输入音频信号的特征进行分析。
具体地，输入信号分析和映射控制信息确定单元102根据下面所示的表达式I计算并输出以从输入单元101输入的信号的第η个采样为中心的N个采样的均方根RMS (η)。表达式I
权利要求
1.一种音频信号处理设备，包括输入分析单元，所述输入分析单元分析输入信号的特性并产生输入声音特征值； 环境分析单元，所述环境分析单元分析环境声音的特性并产生环境声音特征值；映射控制信息产生单元，所述映射控制信息产生单元通过应用所述输入声音特征值和所述环境声音特征值产生映射控制信息作为对所述输入信号的振幅转换处理的控制信息； 以及映射处理单元，所述映射处理单元基于根据所述映射控制信息确定的线性或非线性映射函数对所述输入信号进行振幅转换并产生输出信号。
2.根据权利要求1所述的音频信号处理设备，其中所述映射控制信息产生单元包括映射控制信息确定单元，所述映射控制信息确定单元通过应用所述输入声音特征值产生初步的映射控制信息；以及映射控制信息调节单元，所述映射控制信息调节单元通过将所述环境声音特征值应用到所述初步的映射控制信息的调节处理产生输出到所述映射处理单元的所述映射控制信息。
3.根据权利要求1所述的音频信号处理设备，其中所述输入分析单元计算通过利用多个连续采样计算的均方根，所述多个连续采样被预先定义为所述输入声音特征值；所述环境分析单元计算通过利用环境声音信号的多个连续采样计算的均方根作为所述环境声音特征值；以及所述映射控制信息产生单元通过利用作为所述输入声音特征值的所述输入信号的所述均方根和作为所述环境声音特征值的所述环境声音信号的所述均方根产生所述映射控制信息。
4.根据权利要求1所述的音频信号处理设备，其中所述输入声音特征值和所述环境声音特征值为关于特征值计算目标信号的均方、 均方的对数、均方根、均方根的对数、过零率、频率包络的斜率、或所有这些的加权求和的结果。
5.根据权利要求1所述的音频信号处理设备，其中所述环境分析单元通过对由频段划分处理从经由麦克风获取的声音获取信号划分的、所述环境声音的占有率高的频段的信号执行特征分析来计算所述环境声音特征值。
6.根据权利要求1所述的音频信号处理设备，进一步包括频段限制单元，所述频段限制单元对在所述映射处理单元中对其应用了映射处理的信号执行频段限制处理，其中在所述频段限制单元中的频段限制之后经由扬声器输出信号。
7.根据权利要求1所述的音频信号处理设备，其中所述映射控制信息产生单元应用映射控制模型并产生所述映射控制信息，所述映射控制模型通过对其应用了包括输入信号和环境声音信号在内的用于学习的信号的统计分析处理产生。
8.根据权利要求7所示的音频信号处理设备，其中所述映射控制模型为其中所述映射控制信息与各种类型的所述输入信号和所述环境声音信号相关联的数据。
9.根据权利要求1所述的音频信号处理设备， 其中所述输入信号包括多个声道的多个输入信号，并且所述映射处理单元被配置为对所述输入信号中的每个输入信号执行单独的映射处理。
10.根据权利要求1所述的音频信号处理设备，进一歩包括 増益调节单元，所述增益调节单元对于由所述映射处理单元产生的映射处理信号执行与由所述环境分析单元产生的所述环境声音特征值对应的増益调节。
11.根据权利要求1所述的音频信号处理设备，进一歩包括 频段划分滤波器，所述频段划分滤波器将所述输入信号分成高范围信号和低范围信号；并且 所述输入分析単元对所述低范围信号和所述高范围信号分别进行不同的分析，并根据其结果获得共同的分析特征值，作为所述输入声音特征值。
12.ー种在音频信号处理设备中执行的音频信号处理方法，包括 分析输入信号的特性并产生输入声音特征值； 分析环境声音的特性并产生环境声音特征值； 通过应用所述输入声音特征值和所述环境声音特征值产生映射控制信息作为对所述输入信号的振幅转换处理的控制信息；以及 基于根据所述映射控制信息确定的线性或非线性映射函数对所述输入信号进行振幅转换并产生输出信号。
13.—种在音频信号处理设备中执行音频信号处理的程序，包括 分析输入信号的特性并产生输入声音特征值； 分析环境声音的特性并产生环境声音特征值； 通过应用所述输入声音特征值和所述环境声音特征值产生映射控制信息作为对所述输入信号的振幅转换处理的控制信息；以及 基于根据所述映射控制信息确定的线性或非线性映射函数对所述输入信号进行振幅转换并产生输出信号。
全文摘要
本发明公开了一种音频信号处理设备、音频信号处理方法及程序。所述音频信号处理设备包括输入分析单元，所述输入分析单元分析输入信号的特性并产生输入声音特征值；环境分析单元，所述环境分析单元分析环境声音的特性并产生环境声音特征值；映射控制信息产生单元，所述映射控制信息产生单元通过应用所述输入声音特征值和所述环境声音特征值产生映射控制信息作为对所述输入信号的振幅转换处理的控制信息；以及映射处理单元，所述映射处理单元基于根据所述映射控制信息确定的线性或非线性映射函数对所述输入信号进行振幅转换并产生输出信号。
文档编号G10L25/48GK103050126SQ20121037578
公开日2013年4月17日 申请日期2012年9月29日 优先权日2011年10月14日
发明者河野明文, 知念彻, 辻实 申请人:索尼公司