专利名称：音频处理设备、音频处理方法和摄像设备的制作方法
技术领域：
本发明涉及一种音频处理设备、音频处理方法和摄像设备。
背景技术：
要求音频处理设备在各种环境下忠实地记录音频。当在室外拍摄时，风的噪声 (以下称为“风噪声”)尤其明显。提出了许多机械设备和电处理来抑制风噪声。例如，日本特开2006-211302公开了一种用于通过利用胶带向摄像设备的机体的集音部粘贴风噪声抑制器(以下称为“音频抵抗器(audio resistor)")来抑制风噪声的方法。然而，在日本特开2006-211302所述的技术中，根据音频抵抗器的材料，在集音部中可能发生混响，结果导致更差的音频质量。
发明内容
考虑到上述问题做出本发明，并且本发明通过在使用音频抵抗器降低风噪声的同时，通过抑制由音频抵抗器所生成的混响声音来提供高质量音频。根据本发明的一个方面，一种音频处理设备包括第一麦克风；第二麦克风；遮蔽单元，用于遮蔽从所述音频处理设备外部向所述第二麦克风的空气移动；高通滤波器，用于提取所述第一麦克风的输出信号的第一范围内的频率成分；低通滤波器，用于提取所述第二麦克风的输出信号的第二范围内的频率成分；加法单元，用于将所述高通滤波器的输出信号和所述低通滤波器的输出信号相加；以及自适应滤波器，其被设置在所述第二麦克风和所述低通滤波器之间，并且用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化，从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。根据本发明的另一方面，第一麦克风；第二麦克风；遮蔽单元，用于遮蔽从所述摄像设备外部向所述第二麦克风的空气移动；高通滤波器，用于提取所述第一麦克风的输出信号的第一范围内的频率成分；低通滤波器，用于提取所述第二麦克风的输出信号的第二范围内的频率成分；加法单元，用于将所述高通滤波器的输出信号和所述低通滤波器的输出信号相加；以及自适应滤波器，其被设置在所述第二麦克风和所述低通滤波器之间，并且用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化，从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。根据本发明的另一方面，一种音频处理设备的音频处理方法，所述音频处理设备包括第一麦克风、第二麦克风和遮蔽单元，所述遮蔽单元用于遮蔽从所述音频处理设备外部向所述第二麦克风的空气移动，所述音频处理方法包括以下步骤第一提取步骤，用于提取所述第一麦克风的输出信号的第一范围内的频率成分；第二提取步骤，用于提取所述第二麦克风的输出信号的第二范围内的频率成分；加法步骤，用于将在所述第一提取步骤中提取的信号和在所述第二提取步骤中提取的信号相加；以及抑制步骤，用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化， 从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。根据本发明，可以提供一种通过音频抵抗器降低风噪声并抑制混响声音的记录设备。通过以下(参考附图)对典型实施例的说明，本发明的其它特征将显而易见。
包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。图1是示出根据实施例的记录设备的结构的框图；图2A和2B是分别示出摄像设备的立体图和断面图；图3A 3F是示出麦克风的频率特性的例子的图；图4A 4D是用于说明麦克风的安装结构的图；图5是示出混响抑制器的结构的框图；图6A 6D是示出风检测器根据风噪声的操作的时序图；图7A 7D是示出混合器的结构和操作的图；图8是示出相关技术的应用例子的框图；图9A 9D是示出开关、可变滤波器和可变增益的操作序列的图；图10是用于说明在不存在HPF时的风噪声处理的时序图；图11是用于说明在存在HPF时的风噪声处理的时序图；图12A和12B是示出音频处理设备的其它例子的框图；图13是示出根据第二实施例的摄像设备的立体图；图14是示出根据第二实施例的音频处理设备的结构的框图；图15是示出根据第三实施例的音频处理设备的结构的框图；图16是示出根据第四实施例的音频处理设备的结构的框图；以及图17A和17B是用于说明根据第四实施例的被摄体声音和麦克风之间的位置关系的图。
具体实施例方式下面将参考附图详细说明本发明的各种典型实施例、特征和方面。第一实施例下面将参考图1 11说明根据本发明第一实施例的记录设备和包括该记录设备的摄像设备。图1是示出根据本实施例的记录设备的结构的框图。图2A和2B是分别示出包括图1所示的记录设备的摄像设备(照相机)的立体图和断面图。附图标记1表示摄像设备， 附图标记2表示装配至摄像设备1的镜头，附图标记3表示摄像设备1的机体，附图标记4 表示镜头的光轴，附图标记5表示拍摄光学系统，并且附图标记6表示图像传感器。附图标记30表示释放按钮，并且附图标记31表示操作按钮。在摄像设备1中设置第一麦克风7a和第二麦克风7b。在机体3上设置分别用于麦克风7a和7b的开口部3 和32b。音频抵抗器41被粘贴到开口部32b。还可以通过使机体3具有不均勻厚度或者使用额外的部件来形成音频抵抗器41，如后面所述。摄像设备1可以使用麦克风7a和7b，在进行图像获取的同时进行音频记录。将说明摄像设备1的运动图像拍摄操作。当用户在运动图像拍摄之前按下实时取景按钮(未示出)时，将图像传感器6上的图像实时显示在摄像设备1中所设置的显示装置上。与运动图像拍摄按钮的操作同步，摄像设备1以所设置的帧频从图像传感器6获得被摄体信息，同时从麦克风7a和7b获得音频信息，并且将这些信息同步记录在存储器(未示出)中。与运动图像拍摄按钮的操作同步结束拍摄。将参考图1说明音频处理设备(Audio-IC) 51的结构。附图标记52表示可变高通滤波器(HPF)，附图标记53表示由例如混响抑制自适应滤波器所形成的混响抑制器，附图标记5 和54b表示对从麦克风所输出的信号进行数字化的第一 A/D转换器(ADC)，附图标记55表示第一延迟装置(DL) 55，并且附图标记56a和56b表示DC成分截止HPF。附图标记61表示自动电平控制器(ALC)。ALC 61包括用于电平控制的可变增益 62a和62b以及电平控制器63。混合器71混合第一麦克风7a的信号和第二麦克风7b的信号。混合器71包括低通滤波器(LPF) 72、可变HPF 73、可变增益74和加法器75。附图标记81表示风检测器。风检测器81包括带通滤波器(BPF)Sh和82b、减法器83、第二 A/D转换器(ADC) 84、第二延迟装置85和电平检测器86。附图标记87表示控制混响抑制器53的开关，附图标记88表示控制混合器71的开关，并且附图标记89表示模式切换操作单元。参考图1、2A和2B，将用于麦克风的开口部3 和32b设置在机体3中。将覆盖第二麦克风7b的音频抵抗器41设置在开口部32b上，以遮蔽从设备外部到第二麦克风7b 的空气的移动。另一方面，不向开口部3 设置这样的音频抵抗器，从而使得第一麦克风7a 可以忠实地获取被摄体声音。将音频抵抗器41设置成与机体3紧密接触。这里假定空气的移动是通过风的空气移动。例如，还可以使用诸如多孔PTFE等材料作为音频抵抗器，其中，多孔PTFE允许空气比风移动的空气更慢地移动，但是不允许风通过。在音频处理设备51中，HPF 52处理来自第一麦克风7a的信号，然后对其进行ADC 54a的模拟/数字转换(A/D转换)。第一延迟装置55使来自ADC 54a的输出延迟适当量。 另一方面，在音频处理设备51中，通过ADC 54b对来自第二麦克风7b的信号进行A/D转换， 然后对其进行混响抑制器53的混响抑制。后面将说明混响抑制器53的操作和如何使第一延迟装置55施加延迟。DC成分截止HPF 56a和56b分别处理来自第一延迟装置55和ADC 54b的输出。 HPF 56a和56b旨在消除模拟部的偏移，并且仅需要从DC消除可听频率范围以下的成分。 为此，将HPF 56a和56b的截止频率设置成例如约10Hz。将来自HPF 56a和56b的输出输入至ALC 61，并且对其进行可变增益6 和62b 的增益控制。此时，同步控制可变增益6 和62b以使得这两个信号电平一致。电平控制器 63接收来自可变增益6 和62b的输出，适当控制电平以使得在不会导致饱和的情况下有效使用动态范围。此时，电平控制器63进行电平控制以不会导致来自可变增益6 和62b的输出中较大的一个饱和。将来自可变增益6 和6 的输出输入至混合器71。使来自可变增益6 的输出通过HPF 73，并且将其发送给加法器75。另一方面，经由LPF 72和可变增益74将来自可变增益62b的输出发送给加法器75。输出加法器75所混合得到的输出作为风噪声处理之后的音频。将来自第一麦克风7a的输出和来自混响抑制器53的输出分别输入至风检测器81 的BPF 8 和82b。BPF 8 和82b旨在使在可以由第二麦克风7b忠实地获取被摄体声音的范围内的成分通过。为此，将通带设置成例如约30Hz IkHz。然而，可以根据音频抵抗器41的结构等改变频率的上限设置值。后面将与第二麦克风7b的频率特性一起进行详细说明。第二 ADC 84对来自BPF 82a的输出进行A/D转换，并且将其发送给第二延迟装置 85。后面将与混响抑制器53的操作一起，对如何使第二延迟装置85施加延迟进行说明。减法器83计算来自第二延迟装置85的输出和来自BPF 82b的输出之间的差，并且将结果发送给电平检测器86。后面将说明电平检测器86的操作。电平检测器86判断风的强度，并且控制开关87以切换对混响抑制器53的反馈。还使用电平检测器86的检测结果来控制用于控制混合器71的开关88。当用户将模式切换操作单元89设置成“关闭”时， 开关88工作以始终选择后面将说明的无风状态下的处理。当用户将模式切换操作单元89 设置成“自动”时，开关88工作以根据通过电平检测器86所确定的风强度，改变HPF 52和 HPF 73的截止频率和可变增益74。后面将详细说明该处理。将参考图1、3A 3F以及4A 4D说明音频抵抗器41的效果和期望的特性以及风噪声降低。图3A 3F是示意性示出麦克风的频率特性的图。横坐标表示频率，并且纵坐标表示增益。图3A示出第一麦克风7a的被摄体声音获取特性。图:3B示出第二麦克风 7b的被摄体声音获取特性。图3C示出第一麦克风7a的风噪声获取特性。图3D示出第二麦克风7b的风噪声获取特性。图3E示出混合器71的输出的被摄体声音获取特性。图3F 示出混合器71的输出的风噪声获取特性。为阐明第一麦克风7a和第二麦克风7b之间的特性差异，在图3B和3D中以虚线表示第一麦克风7a的特性。在图3A和中，f0表示音频抵抗器41的结构截止频率，并且fl表示图1所示的混合器71中的LPF 72和HPF 73的截止频率。如图3A所示，第一麦克风7a的被摄体声音获取特性在可听频率范围中可以是平坦的。这允许忠实地获取被摄体声音。如图3B所示，由于设置了音频抵抗器41以遮蔽来自被摄体的空气移动，所以第二麦克风7b具有不同的特性。第二麦克风7b相对忠实地使频率低于音频抵抗器41的截止频率的音频信号通过。这是因为，作为空气的压缩波的声音激励音频抵抗器41，由此音频抵抗器41以相同方式激励设备中的空气。另一方面，第二麦克风7b遮蔽频率高于音频抵抗器41的截止频率的音频信号。这是因为，尽管作为空气的压缩波的声音激励音频抵抗器41，但是在音频抵抗器41开始振动之前，密度反转，并且空气不能移动。也就是说，音频抵抗器41用作结构LPF。将结构截止开始的频率 称为音频抵抗器41的截止频率。已知风噪声的能量集中在低频范围。例如，对于第一麦克风7a中的风噪声的能量，在许多情况下获得从约IkHz向低频侧升高的特性，如图3C所示。即使形状与图3C所示的不同，低频成分(等于或小于500Hz)在风噪声中也占主导。如图3D所示，在第二麦克风7b中，风噪声的低频成分的升高小。在第一麦克风7a附近，由于湍流等而容易生成大的气压差。然而，对于第二麦克风7b，由于设置了音频抵抗器41以遮蔽来自被摄体的空气的移动，所以不会由湍流等引起这样的大的气压差。这是为什么在第二麦克风7b的输出中风噪声的低频成分小的原因。考虑混合器71对这些信号的处理。如以上参考图1所述，HPF 73处理第一麦克风7a的信号。这对应于截取图3A中的部分91和图3C中的部分93。LPF 72处理第二麦克风7b的信号。这对应于截取图:3B中的部分92和图3D中的部分94。当通过加法器75 时，获得如图3E所示的被摄体声音特性，并且获得如图3F所示的风噪声特性。在图3E和 3F所示的部分91a、9^i、93a、Ma处，部分91、92、93和94占主导。注意，由于对应部分因 LPF 72和HPF 73的特性而并非必然为0，所以使用表述“占主导”。通过图3E和3F显而易见，混合器71的输出在可听频率范围中具有平坦的被摄体声音特性，并且风噪声特性等于设置有音频抵抗器41的麦克风的特性。图4A 4D示出麦克风的安装结构的例子。参考图4A 4D，附图标记33a和3 分别表示第一麦克风7a和第二麦克风7b的保持弹性体，并且附图标记34表示保持第二麦克风7b和音频抵抗器41的套筒。图4A示出将音频抵抗器41粘贴在机体3外部的例子。在图4A的例子中，可以在组装了设备之后粘贴音频抵抗器41。这使得能够提高组装效率。图4B示出将音频抵抗器41粘贴在机体3内部的例子。在图4B的例子中，由于音频抵抗器41不暴露于机体3的外部，所以可以获得精美外观。图4C示出机体3的一部分还发挥音频抵抗器41的功能的例子。在图4C的例子中，使得机体3的用作音频抵抗器41的部分薄得可以通过声波振动。在图4C的例子中，由于不需要向机体3粘贴音频抵抗器41，并且可以减少部件的数量，所以可以获得精美外观。 然而，在图4C的例子中，由于机体3和音频抵抗器41是一体的，所以设计的自由度通常降低(机体3的强度可能由于形成音频抵抗器41的部分的厚度而受到限制，结果导致难以同时满足这两个要求)。图4D示出足够刚性的套筒34保持第二麦克风7b和音频抵抗器41的例子。套筒 34优选具有足够高于第二麦克风7b要获取的频带的一次谐振频率(这意味着套筒34的谐振频率高于图3A和;3B中的f0)。在图4D的例子中，将音频抵抗器41安装到高刚性的套筒34。因此，在不会受到安装结构的不必要的谐振的影响的情况下，可以获得通带中(图 3A和;3B中低于fO的频率处)期望的音频信号。接着参考图1和5说明混响抑制器53。由于音频抵抗器41覆盖第二麦克风7b， 所以在封闭空间中可能发生混响。在本实施例中，设置混响抑制器53来抑制这类混响。图5示出混响抑制器53的详细结构。由自适应滤波器形成混响抑制器53。该自适应滤波器估计并学习滤波系数以最小化减法器83的输出，即表示风噪声的水平的、第一麦克风7a的输出信号和第二麦克风7b的输出信号之间的差，如下面详细所述。在第二麦克风7b的输出信号中，这样抑制在音频抵抗器41和第二麦克风7b之间的封闭空间中所生成的混响成分。使用这类自适应滤波器，使得即使混响生成状态由于用户的照相机把持状态的改变或温度的变化而改变，也能够适当进行处理。
将简要说明混响抑制的原理。假定s是被摄体声音，gl是第一麦克风7a的被摄体声音获取特性，g2是第二麦克风7b的被摄体声音获取特性，并且r是混响的影响。被摄体声音获取特性gl和g2等于图3A 3F所示的频率空间的特性的逆傅立叶变换结果。如下给出在第二麦克风7b中具有混响的环境下所获得的第一麦克风7a的信号xl和第二麦克风7b的信号x2 xl = s*glx2 = s*g2*r. . . (1)其中，*是表示卷积的运算符号。如参考图3A和;3B所述，在低于f0的频率处，第一麦克风7a和第二麦克风7b可以获取相同的被摄体声音。如图1所示，BPF 8 和82b仅提取适当频带的成分。也就是说，BPF使可听频率范围内低于图3A和;3B中的f0的频率通过。由于人的听觉特性，人的听觉对50Hz以下的频带表现出非常低的灵敏度。更详细地， 参考A特性曲线等。因此，将BPFSh和82b设计成使例如30Hz IkHz的频率通过。假定 BPF为BPF 82a和82b，并且xl_BPF和x2_BPF是通过BPF的信号，则下面的公式成立xl_BPF = s*gl*BPFx2_BPF = s*g2*r*BPF. . . (2)gl*BPF = g2*BPF保持gl φ g2和gNBPF Φ g2*BPF，这相当于允许第一麦克风7a和第二麦克风7b 在低于f0的频率处获取相同被摄体声音。通过公式( 显而易见，当不存在混响的影响r 时，向图1中的减法器83输入相同的信号。通过公式(2)可知，通过使用xl_BPF = d作为期望的响应和x2_BPF = u作为输入来操作自适应滤波器，可以降低混响的影响。当将混响抑制器53的滤波器表示为h时，如下给出自适应滤波器输出y
权利要求
1.一种音频处理设备，包括第一麦克风；第二麦克风；遮蔽单元，用于遮蔽从所述音频处理设备外部向所述第二麦克风的空气移动；高通滤波器，用于提取所述第一麦克风的输出信号的第一范围内的频率成分；低通滤波器，用于提取所述第二麦克风的输出信号的第二范围内的频率成分；加法单元，用于将所述高通滤波器的输出信号和所述低通滤波器的输出信号相加；以及自适应滤波器，其被设置在所述第二麦克风和所述低通滤波器之间，并且用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化，从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
2.根据权利要求1所述的音频处理设备，其特征在于，还包括延迟单元，所述延迟单元用于延迟所述第一麦克风的输出信号，其中，根据所述自适应滤波器的阶数确定所述延迟单元的延迟量。
3.根据权利要求1所述的音频处理设备，其特征在于，当所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差超过预定值时，所述自适应滤波器停止自适应操作。
4.根据权利要求1所述的音频处理设备，其特征在于，还包括第一 A/D转换器，用于对所述第一麦克风的输出信号进行数字化；第二 A/D转换器，用于在所述自适应滤波器的前级，以比所述第一 A/D转换器的采样频率低的采样频率对所述第二麦克风的输出信号进行数字化；以及上采样器，用于将所述第二 A/D转换器已数字化的并且通过了所述自适应滤波器的所述第二麦克风的输出信号的采样频率改变成与所述第一 A/D转换器的采样频率相同的采样频率。
5.根据权利要求1所述的音频处理设备，其特征在于，还包括互相关计算单元，所述互相关计算单元用于计算所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的互相关值，并且基于所计算出的互相关值判断是否存在声源的多个到达方向，其中，如果所述互相关计算单元判断为存在声源的多个到达方向，则所述自适应滤波器被控制为停止自适应操作。
6.根据权利要求1所述的音频处理设备，其特征在于，基于所述第一麦克风和所述第二麦克风的结构的设计值，设置所述自适应滤波器的滤波器系数的初始值。
7.根据权利要求1所述的音频处理设备，其特征在于，所述自适应滤波器将在关断所述音频处理设备的电源时的所述自适应滤波器的滤波器系数存储在存储器中，并且在下一次启动所述音频处理设备时，将所述存储器中所存储的滤波器系数设置为初始值。
8.根据权利要求1所述的音频处理设备，其特征在于，基于在向所述第一麦克风和所述第二麦克风输入预定基准声音时的所述自适应滤波器的滤波器系数，设置所述自适应滤波器的滤波器系数的初始值。
9.一种摄像设备，包括第一麦克风； 第二麦克风；遮蔽单元，用于遮蔽从所述摄像设备外部向所述第二麦克风的空气移动； 高通滤波器，用于提取所述第一麦克风的输出信号的第一范围内的频率成分； 低通滤波器，用于提取所述第二麦克风的输出信号的第二范围内的频率成分； 加法单元，用于将所述高通滤波器的输出信号和所述低通滤波器的输出信号相加；以及自适应滤波器，其被设置在所述第二麦克风和所述低通滤波器之间，并且用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化，从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
10. 一种音频处理设备的音频处理方法，所述音频处理设备包括第一麦克风、第二麦克风和遮蔽单元，所述遮蔽单元用于遮蔽从所述音频处理设备外部向所述第二麦克风的空气移动，所述音频处理方法包括以下步骤第一提取步骤，用于提取所述第一麦克风的输出信号的第一范围内的频率成分； 第二提取步骤，用于提取所述第二麦克风的输出信号的第二范围内的频率成分； 加法步骤，用于将在所述第一提取步骤中提取的信号和在所述第二提取步骤中提取的信号相加；以及抑制步骤，用于估计和学习滤波器系数以使所述第一麦克风的输出信号和所述第二麦克风的输出信号之间的差最小化，从而抑制所述第二麦克风的输出信号中的、在所述遮蔽单元和所述第二麦克风之间的封闭空间中所生成的混响成分。
全文摘要
本发明提供一种音频处理设备、音频处理方法和摄像设备。音频处理设备包括第一麦克风；第二麦克风；以及遮蔽单元，用于遮蔽从音频处理设备外部向第二麦克风的空气移动。估计和学习滤波器系数以使第一麦克风的输出信号和第二麦克风的输出信号之间的差最小化，从而抑制第二麦克风的输出信号中的在遮蔽单元和第二麦克风之间的封闭空间中所生成的混响成分。
文档编号G10L21/02GK102568492SQ201110415369
公开日2012年7月11日 申请日期2011年12月13日 优先权日2010年12月13日
发明者木村正史, 梶村文裕 申请人:佳能株式会社