专利名称：音频信号处理设备及其控制方法
技术领域：
本发明涉及一种音频信号处理设备及其控制方法。
背景技术：
近年来，已知能够拍摄运动图像的照相机作为音频信号处理设备。要求该设备不会受到例如在驱动该设备的内部驱动单元时所生成的驱动声音(噪声)的影响。提出了各种摄像设备以获得上述特性。例如，日本特开平04-233873号公报讨论根据噪声源类型来选择适当滤波器(降噪功能)。日本特开2006-203376号公报讨论根据噪声生成时间选择性地使用多个降噪功能。日本特开2006-262241号公报讨论通过用基于噪声生成期前后的音频信号所计算出的信号、替换噪声生成期期间的音频信号的技术(预测处理)来降低硬盘驱动噪声。然而，尽管日本特开平04-233873号公报和日本特开2006-203376号公报所公开的技术从多个降噪功能中交替地选择适当部件，但是不可能在保持这多个降噪功能的优点同时使用这两个技术。另外，在使用有限资源进行多个降噪处理时，出现处理时间和处理能力等的问题。尤其在生成多个噪声成分、并且如日本特开2006-262241号公报一样通过以基于噪声生成期前后的音频信号所计算出的信号替换所有噪声成分的预测处理来降低这些噪声时，运算负荷增大，导致成本增加。
发明内容
考虑到上述问题作出本发明，并且本发明实现一种音频信号处理技术，该音频信号处理技术通过首先执行除预测处理以外的处理来一定程度地降噪、并然后执行预测处理，从而适当降噪。为了解决上述问题，本发明提供一种包含驱动单元的音频信号处理设备，所述音频信号处理设备包括音频获取单元，用于获取表示周围的音频的音频信号；降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的；控制单元，用于根据对所述驱动单元的驱动来控制所述降噪单元；其中，所述降噪单元具有第一降噪处理和第二降噪处理，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声，以及当驱动特定驱动单元时，所述控制单元控制所述降噪单元以在执行所述第二降噪处理之后执行所述第一降噪处理。为了解决上述问题，本发明提供一种音频信号处理设备的控制方法，所述音频信号处理设备包括驱动单元；音频获取单元，用于获取表示周围的音频的音频信号；以及降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的，所述控制方法包括以下步骤当驱动特定驱动单元时，对所述降噪单元进行控制以首先执行第二降噪处理、然后执行第一降噪处理，其中，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声。为了解决上述问题，本发明提供一种包含驱动单元的音频信号处理设备，所述音频信号处理设备包括音频获取单元，用于获取表示周围的音频的音频信号；降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的；控制单元，用于根据对所述驱动单元的驱动来控制所述降噪单元；其中，所述降噪单元具有第一降噪处理，所述第一降噪处理用于利用基于没有包括所述噪声的时期的音频信号所生成的信号，替换包括所述噪声的时期的音频信号；以及当在预定时间段内生成第一噪声和所述第一噪声之后将生成的第二噪声时，所述控制单元控制所述降噪单元，以对包括所述第一噪声的时期的音频信号执行所述第一降噪处理、并且对包括所述第二噪声的时期的音频信号不执行所述第一降噪处理。为了解决上述问题，本发明提供一种音频信号处理设备的控制方法，所述音频信号处理设备包括驱动单元；音频获取单元，用于获取表示周围的音频的音频信号；以及降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的，所述控制方法包括以下步骤当在预定时间段内生成第一噪声和所述第一噪声之后将生成的第二噪声时，对所述降噪单元进行控制，以对包括所述第一噪声的时期的音频信号执行第一降噪处理、并且对包括所述第二噪声的时期的音频信号不执行所述第一降噪处理，其中，所述第一降噪处理利用基于在不包括噪声的时期中的音频信号所生成的信号来替换在包括噪声的时期中的音频信号。根据本发明，通过首先执行除预测处理以外的处理来一定程度地降噪、并执行预测处理，可以在降低设备的操作负荷的同时实现有效降噪。通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。
包含在说明书中并构成说明书的一部分的附图示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。图IA是根据本发明实施例的摄像设备的斜视图；图IB是根据本发明实施例的摄像设备的侧截面图；图2是摄像设备的框图；图3是音频信号处理电路的框图；图4A是SS处理电路的框图；图4B和4C是滤波处理电路的框图；图5A 5C是声压处理的说明图；图6A 6C是LPC处理的说明图；
图7A 7C是预测处理的说明图；图8A和8B是针对周围的噪声的预测处理的说明图；图9A 9C是示出噪声和滤波特性的图；图10是滤波处理电路的框图；图IlA IlC是滤波处理的说明图12A 12C是静音处理的说明图；图13是PLC处理的说明图；图14A和14B是示出通过抖动校正驱动电路所生成的声音的图；图15是示出镜头类型和噪声的特征的图；图16A 16D是SS处理开始时刻和多个降噪处理的说明图；图17的(a) (c)是SS处理的帧和相减增益的说明图；图18是示出在SS处理之后执行预测处理的情况的图；图19A 19E是示出SS处理和预测处理的音频信号的时序图；图20是示出在SS处理之前执行预测处理的情况的图；以及图21A 21E是示出SS处理的强度和时刻不合适的情况的图。
具体实施例方式下面参考附图详细说明本发明的各种典型实施例、特征和方面。第一实施例下面参考图IA 4C说明将本发明的音频信号处理设备应用于摄像设备的第一实施例。参考图IA和1B，附图标记1表示摄像设备，附图标记2表示装配到摄像设备1的拍摄镜头，附图标记3表示摄像光学系统，附图标记4表示镜头的光轴，附图标记5表示镜头镜筒，附图标记6表示图像传感器，附图标记7表示设置在摄像设备1上的用于拾取其周围的声音成分的麦克风，并且附图标记8表示设置在摄像设备1的背面上的显示装置。附图标记9表示用于调整摄像光学系统的光学系统驱动单元，附图标记10表示连接摄像设备1和拍摄镜头2的触点，附图标记11表示所谓的快速复原镜机构，附图标记12表示包括 AF(自动调焦)的焦点检测单元，附图标记14表示检测设备1的抖动的抖动传感器，附图标记31表示操作按钮，并且附图标记32表示设置在设备1上的麦克风7的多个开口部。本实施例的摄像设备可以在图像获取的同时通过麦克风7获取/记录声音。附图标记30表示释放按钮。在本实施例中，将说明能够拆卸掉拍摄镜头的摄像设备。然而，拍摄镜头不一定必须是可拆卸的。注意，将麦克风7的开口部32设置在图IB上未投影的部分处。然而，图IB示意性示出麦克风7和开口部32以阐明麦克风7和开口部32的位置。将说明静止图像拍摄操作。摄像设备1使用拍摄镜头2、焦点检测单元12和曝光检测单元(未示出)来检测焦点/曝光。同时，摄像设备1驱动/调整摄像光学系统3的一部分，从而在图像传感器6的光接收平面附近形成被摄体图像。另外，调整光圈以获得适当曝光。根据用户对释放按钮30的操作设置用于摄像的各种条件。与释放按钮的操作同步地获取通过图像传感器6光电转换的被摄体图像信息，并且将其记录在图2所示的存储器24中。接着说明运动图像拍摄操作。在拍摄运动图像之前，用户按下实时取景按钮(未示出)以在显示装置8上显示通过图像传感器6感测到的图像。实时取景表示将通过图像传感器6感测到的图像信息实时显示在显示装置8上。与运动图像拍摄按钮(未示出)的操作同步，摄像设备1以预先设置的帧频从图像传感器6获取图像信息，从麦克风7获取音频信息，并且将它们相互同步地记录在存储器M中。当在运动图像拍摄期间需要调整摄像光学系统3时，光学系统驱动单元9调整摄像光学系统3。与运动图像拍摄按钮的操作同步，结束摄像操作。即使在运动图像拍摄期间，摄像设备1根据对释放按钮30的操作，在任意时刻拍摄静止图像。接着参考图2说明拍摄镜头2和用作摄像设备1的数字照相机的结构。参考图2， 摄像设备1主要包括摄像系统、图像处理系统、音频处理系统、记录/再现系统和控制系统。 摄像系统包括摄像光学系统3和图像传感器6。图像处理系统包括A/D转换电路20和图像处理电路21。音频处理系统包括麦克风7和音频信号处理电路沈。记录/再现系统包括记录处理电路23和存储器M。控制系统包括照相机系统控制电路25、焦点检测单元(包括AF传感器)12、曝光检测单元(包括AE传感器)13、抖动传感器14、操作检测电路27、镜头系统控制电路观、释放按钮30和光学系统驱动单元9。光学系统驱动单元9包括调焦透镜驱动电路9a、抖动校正驱动电路9b和光圈驱动电路9c。摄像系统进行用于通过摄像光学系统3在图像传感器6的成像面上形成来自被摄体的光的图像的光学处理。在诸如瞄准等的预摄像操作期间，经由设置在快速复原镜机构 11中的镜将光束部分引导至焦点检测单元12。当控制系统适当调整摄像光学系统3时，如后面所述，使图像传感器6曝光于具有适当光量的被摄体光，并且在图像传感器6附近形成被摄体图像。图像处理电路21包括处理经由A/D转换电路20从图像传感器6接收到的图像信号的白平衡电路和伽玛校正电路、以及通过插值运算提高分辨率的插值运算电路。音频处理系统使音频信号处理电路沈适当处理来自麦克风7的音频信号，从而生成记录音频信号。在运动图像拍摄时，后面所述的记录处理电路23与所拍摄的图像相关联地压缩记录音频信号。记录处理电路23将图像信号输出给存储器对，并且还生成/存储要输出给显示单元22的显示信号。记录处理电路23还使用预定方法将静止图像、运动图像和音频等相关联/压缩。例如，可以通过音频处理专用的芯片、或者存储器和控制整个照相机的CPU来实现音频信号处理电路沈的功能。照相机系统控制电路25生成用于摄像等的定时信号，并且将其输出给图像传感器6。焦点检测单元12检测摄像光学系统3的聚焦状态。曝光检测单元13在静止图像拍摄中直接检测被摄体亮度，或者在运动图像拍摄中通过处理来自图像传感器6的图像信号来检测被摄体亮度。镜头系统控制电路观根据来自照相机系统控制电路25的控制信号适当驱动镜头2，从而调整摄像光学系统3。在本实施例中，假定照相机是可更换镜头型照相机，并且将说明镜头系统控制电路观控制对可更换镜头的驱动的例子。如果照相机不是可更换镜头型的照相机，则可以通过照相机系统控制电路25执行镜头系统控制电路观的功能。可以通过存储器和配置为控制整个摄像设备的CPU的组合、或者通过控制整个设备的微计算机芯片来实现照相机系统控制电路25的功能。控制系统根据用户操作来控制摄像系统、图像处理系统和记录/再现系统。例如， 当操作检测电路27检测到按下释放按钮30时，控制系统控制图像传感器6的驱动、图像处理电路21的操作以及记录处理电路23的压缩处理等。控制系统还控制显示单元22的各部分的状态，以使显示单元22显示与光学取景器或液晶监视器等有关的信息。将说明控制系统的摄像光学系统调整操作。焦点检测单元12和曝光检测单元13 与照相机系统控制电路25连接。在静止图像拍摄中，基于来自这些单元的信号获得适当的
8焦点位置和光圈位置。照相机系统控制电路25经由触点10向镜头系统控制电路观输出指示。镜头系统控制电路观适当控制调焦透镜驱动电路9a和光圈驱动电路9c。另一方面，在运动图像拍摄中，调焦透镜驱动电路9a微小地移动调焦透镜。另外，分析来自图像传感器6的信号以基于该信号的对比度获得焦点位置。此外，基于图像传感器6的信号电平获得光圈位置。抖动传感器14与镜头系统控制电路观连接。在静止图像拍摄的照相机抖动校正模式下，基于来自抖动传感器14的检测信号适当驱动和控制抖动校正驱动电路％。另一方面，在运动图像拍摄的照相机抖动校正模式下，可以如在静止图像拍摄中一样驱动抖动校正驱动电路％。基于来自抖动传感器14的检测信号改变图像传感器6的读取位置的所谓的电子防振也是可以的。抖动传感器14由例如加速度检测传感器构成，并且检测摄像设备的振动。将说明诸如运动图像拍摄等的包括音频记录的摄像操作。在包括音频记录的摄像操作中，在机械驱动照相机本体和镜头等时所生成的声音(以下称为机械驱动噪声)是不必要的，并且被认为是噪声。在本说明书中，噪声并非表示诸如白噪声等的背景噪声，而是表示上述机械驱动噪声。参考图3说明音频信号处理电路沈和降噪单元。参考图3，附图标记41表示增益调整单元，附图标记42表示滤波器，附图标记43表示A/D转换器，附图标记44表示降噪单元，并且附图标记45表示滤波器。将从麦克风7所获得的信号输出给增益调整单元41。 增益调整单元41调整麦克风7的信号电平，以充分利用A/D转换器43的动态范围。更具体地，当麦克风7的信号电平低时，增大增益以放大信号。当麦克风7的信号电平高时，减小增益以防止饱和。滤波器42由例如具有考虑到A/D转换器43的采样频率的适当截止频率的低通滤波器构成。当麦克风7位于例如生成特定频率的装置附近时，除上述低通滤波器以外，滤波器42还可以包括适当的陷波滤波器。A/D转换器43将通过增益调整单元41和滤波器42 处理后的信号转换成数字信号。降噪单元44包括多个降噪单元。在图3所示例子中，降噪单元44包括SS处理 44a、滤波处理44b、静音处理44c、声压处理44d、PLC处理Me和LPC处理44f。SS处理是基于频谱相减的处理。在本说明书中，将利用频谱相减的方法方便地称为SS方法，并且将利用SS方法的处理称为SS处理。然而，这些不是正式术语。滤波处理44b是诸如用于截除/通过适当频带的低通处理/高通处理等的处理。静音处理Mc通过以无声替换噪声成分信号来消除噪声成分。声压处理44d是用于平滑音频信号的包络的处理。PLC处理44e 是基于由ITU-T建议G. 711-附录I所定义的PLC(包丢失隐藏)的处理。LPC处理44f是基于使用LPC(线性预测系数)的线性预测滤波器的处理。后面将详细说明每一降噪方法。 可以基于来自照相机系统控制电路25的指示，选择性地或者相互组合地操作多个降噪单元。滤波器45用于在降噪后根据需要进行适当的滤波处理。如果不必要，则滤波器45可以在不降噪的情况下、使信号直接通过或适当延迟。通过照相机系统控制单元25控制这些降噪单元的操作。在本实施例中，作为基于预测的降噪(预测处理)的PLC处理Me和LPC处理44f 形成第一降噪单元，并且SS处理44a、滤波处理44b、静音处理Mc和声压处理44d形成第二降噪单元。可以根据需要使用多个第二降噪单元。将说明每一降噪单元的降噪方法。顾名思义，SS方法是用于频谱相减的处理。预先准备噪声频谱(在本说明书中，将通过例如对噪声进行傅立叶变换所获得的频谱称为噪声频谱)，并且从所获取的音频频谱中减去该噪声频谱。在本实施例中，预先识别出噪声频谱，并且将其存储在摄像设备1的存储器M中。作为其它噪声频谱获取方法，还可以利用邻近的假定为无声期的时期的频谱。然而，本说明书中感兴趣的噪声成分是机械驱动噪声成分。可以预先获得它们的频谱，因此将其存储在摄像设备1的存储器M中。SS处理方法假定噪声成分加性混合在被摄体声音中。通过下面的公式给出所获取的音频X(t)x(t) = s(t)+n(t)…⑴其中，s(t)是被摄体声音，η (t)是噪声，并且t是时间。在对公式(1)进行傅立叶变换时，获得作为X(t)的傅立叶变换的结果的Χ( ω)Χ(ω) = 8(ω)+Ν(ω). . . (2)其中，S(GJ)和Ν(ω)是s (t)和η (t)的傅立叶变换的结果，并且ω是频率。在摄像设备1中，通过应用适当的窗函数将音频信号分成帧，并且使其经过顺次的处理。为了简化，关注特定帧进行说明。通过公式⑵显而易见，为获得S(co)，从Χ(ω)减去Ν(ω)。 因此，给出S' (ω)作为使用N' (ω)所获得的S(co)的估计值
权利要求
1.一种音频信号处理设备，其包含驱动单元，所述音频信号处理设备还包括音频获取单元，用于获取表示周围的音频的音频信号；降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的；控制单元，用于根据对所述驱动单元的驱动来控制所述降噪单元，其中，所述降噪单元具有第一降噪处理和第二降噪处理，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声， 以及当驱动特定驱动单元时，所述控制单元控制所述降噪单元以在执行所述第二降噪处理之后执行所述第一降噪处理。
2.根据权利要求1所述的音频信号处理设备，其特征在于，所述驱动单元生成没有持续预定时间以上的第一噪声和持续所述预定时间以上的第二噪声，以及对于包括所述第一噪声和所述第二噪声的时期，所述控制单元控制所述降噪单元以在执行所述第二降噪处理之后执行所述第一降噪处理。
3.根据权利要求1或2所述的音频信号处理设备，其特征在于，所述驱动单元包括用于驱动如下透镜的驱动单元该透镜用于抑制图像模糊，并且设置在拍摄被摄体图像的摄像单元中。
4.根据权利要求1所述的音频信号处理设备，其特征在于，当在生成第一噪声之后、在预定时间内生成第二噪声时，所述控制单元控制所述降噪单元以执行所述第一降噪处理来减少所述第一噪声、并且执行所述第二降噪处理来减少所述第二噪声。
5.根据权利要求1所述的音频信号处理设备，其特征在于，所述第二降噪处理是用于从所述音频信号的频谱减去与所述驱动单元的驱动相对应的频谱的处理。
6.根据权利要求1所述的音频信号处理设备，其特征在于，所述第一降噪处理是利用基于在不包括所述噪声的时期中的音频信号通过线性预测所计算出的信号来替换在包括所述噪声的时期中的音频信号的处理。
7.根据权利要求1所述的音频信号处理设备，其特征在于，所述降噪单元进行利用在不包括所述噪声的时期中的音频信号的复制信号来替换在包括所述噪声的时期中的音频信号的处理，作为所述第一降噪处理。
8.一种音频信号处理设备的控制方法，所述音频信号处理设备包括驱动单元；音频获取单元，用于获取表示周围的音频的音频信号；以及降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的，所述控制方法包括以下步骤当驱动特定驱动单元时，对所述降噪单元进行控制以首先执行第二降噪处理、然后执行第一降噪处理，其中，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声。
9.根据权利要求8所述的控制方法，其特征在于，所述驱动单元生成没有持续预定时间以上的第一噪声和持续所述预定时间以上的第二噪声，以及对于包括所述第一噪声和所述第二噪声的时期，控制所述降噪单元，以在执行所述第二降噪处理之后执行所述第一降噪处理。
10.根据权利要求8所述的控制方法，其特征在于，当在生成第一噪声之后、在预定时间内生成第二噪声时，控制所述降噪单元以执行所述第一降噪处理来减少所述第一噪声、 并且执行所述第二降噪处理来减少所述第二噪声。
11.根据权利要求8所述的控制方法，其特征在于，所述第二降噪处理是用于从所述音频信号的频谱减去与所述驱动单元的驱动相对应的频谱的处理。
12.根据权利要求8所述的控制方法，其特征在于，所述第一降噪处理是利用基于在不包括所述噪声的时期中的音频信号通过线性预测所计算出的信号来替换在包括所述噪声的时期中的音频信号的处理。
13.根据权利要求8所述的控制方法，其特征在于，所述第一降噪处理是利用在不包括所述噪声的时期中的音频信号的复制信号来替换在包括所述噪声的时期中的音频信号的处理。
14.一种音频信号处理设备，其包含驱动单元，所述音频信号处理设备还包括音频获取单元，用于获取表示周围的音频的音频信号；降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的；控制单元，用于根据对所述驱动单元的驱动来控制所述降噪单元，其中，所述降噪单元具有第一降噪处理，所述第一降噪处理利用基于在不包括所述噪声的时期中的音频信号所生成的信号来替换在包括所述噪声的时期中的音频信号，以及当在预定时间段内生成第一噪声和在所述第一噪声之后生成的第二噪声时，所述控制单元控制所述降噪单元，以对在包括所述第一噪声的时期中的音频信号执行所述第一降噪处理、并且对在包括所述第二噪声的时期中的音频信号不执行所述第一降噪处理。
15.根据权利要求14所述的音频信号处理设备，其特征在于，所述降噪单元具有第二降噪处理，所述第二降噪处理基于在包括所述噪声的时期中的音频信号来减少所述噪声；以及所述降噪单元受到控制、以对在包括所述第二噪声的时期中的音频信号执行所述第二降噪处理。
16.一种音频信号处理设备的控制方法，所述音频信号处理设备包括驱动单元；音频获取单元，用于获取表示周围的音频的音频信号；以及降噪单元，用于减少所述音频信号中包括的噪声，其中，所述噪声是由驱动所述驱动单元而产生的，所述控制方法包括以下步骤当在预定时间段内生成第一噪声和在所述第一噪声之后生成的第二噪声时，对所述降噪单元进行控制，以对在包括所述第一噪声的时期中的音频信号执行第一降噪处理、并且对在包括所述第二噪声的时期中的音频信号不执行所述第一降噪处理，其中，所述第一降噪处理利用基于在不包括噪声的时期中的音频信号所生成的信号来替换在包括噪声的时期中的音频信号。
17.根据权利要求16所述的控制方法，其特征在于，控制所述降噪单元以对在包括所述第二噪声的时期中的音频信号执行第二降噪处理，其中，所述第二降噪处理基于在包括噪声的时期中的音频信号来减少噪声。
全文摘要
本发明涉及一种音频信号处理设备及其控制方法。当在预定时间段内生成第一噪声和在第一噪声之后生成的第二噪声时，控制降噪单元，以对在包括所述第一噪声的时期中的音频信号执行第一降噪处理、并且对在包括所述第二噪声的时期中的音频信号不执行所述第一降噪处理。
文档编号G10L21/02GK102280108SQ20111015679
公开日2011年12月14日 申请日期2011年6月10日 优先权日2010年6月10日
发明者木村正史 申请人:佳能株式会社