专利名称：从记录设备消除噪声的装置和方法
技术领域：
本发明总体构思涉及一种记录装置，更具体地讲，涉及一种当包括噪声内容和实际音频内容的信号被输入到记录设备中时消除噪声内容的噪声消除设备和方法。
背景技术：
传统地，当使用摄像机记录运动图像时，由变焦距电动机或音鼓电动机的旋转产生噪声。由于噪声通过麦克风被记录在音频信号中，所以当音频信号被再现时声音质量降低。
因此，用于消除噪声的噪声消除技术已经变得必要。通常，噪声消除设备使用传统谱减(spectral subtraction)方法来消除背景噪声。
现在将描述传统谱减方法。
通过麦克风输入的模拟信号被转换为数字信号。数字信号在时间轴域被分为多个帧(即时间窗口)以减少帧之间的信息不连续以及信号的失真。从其获得帧的数字信号使用快速傅立叶变换(FFT)运算被转换为频谱信号。
谱信号包括幅度谱信息和相位谱信息。幅度谱信息被用于谱减，相位谱信息被用于逆FFT(IFFT)运算。
谱减是从包括实际音频内容和噪声内容的幅度谱中减去估计的噪声谱的运算。这里，一般通过将噪声区域的幅度谱平均来计算音频区域的噪声谱。
当噪声特性正常时，估计的噪声谱与实际噪声谱相似。因此，通过谱减获得的幅度谱是仅实际音频内容的幅度谱。
通过谱减获得的幅度谱和相位谱被混合，并且幅度谱被恢复以通过IFFT在时域上再现原始信号。
在传统谱减方法中，噪声内容的频率模式被提前估计，并且当在其中噪声内容和实际音频内容被混合的信号被输入时，仅噪声内容被消除。然而，如果噪声内容的频率模式被不准确估计，即如果实际音频内容的频率分量被确定为部分的噪声内容，则一部分的实际音频内容可与噪声内容被错误地减去。另外，如果噪声内容被不准确地估计，则仅部分的噪声内容可被减去。其结果是，传统减方法不能合适地消除噪声内容。
发明内容
本发明总体构思提供一种通过在噪声谱在其中根据音频信号被更新的区域中独立地设置阈值来从包括噪声内容的音频信号消除噪声内容的方法。
本发明总体构思还提供一种噪声消除设备和一种使用噪声消除方法的记录装置。
将在接下来的描述中部分阐述本发明总体构思的另外的方面和优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。
通过提供一种从被分为多个帧的音频信号中消除噪声的方法可实现本发明总体构思的上述和/或其他方面和优点，该方法包括在根据输入音频信号的音频谱估计的噪声谱在其中被更新的区域中通过可变独立地设置一个或多个阈值来确定噪声帧是否存在；如果当前帧被确定为噪声帧，则根据先前帧的噪声谱和当前帧的噪声谱来更新估计的噪声谱；和从输入当前帧的音频谱中减去更新的噪声谱。
通过提供一种用于记录装置的噪声消除设备也可实现本发明总体构思的上述和/或其他方面和优点，该设备包括FFT单元，通过对被分为多个帧的音频信号执行快速傅立叶变换运算来计算频谱信息；噪声帧检测器，在根据由FFT单元计算的频谱估计的噪声谱在其中被更新的区域中，通过独立可变地设置阈值来确定噪声帧；噪声谱更新单元，如果由噪声帧检测器确定当前帧为在其中仅噪声存在的帧，则使用当前帧的噪声谱和先前帧的噪声谱来更新估计的噪声谱；谱减法器，从音频信号的谱减去由噪声谱更新单元更新的估计的噪声谱；加法器，将从谱减法器输出的音频谱与从FFT单元输出的相位谱信息相加；和IFFT单元，通过逆快速傅立叶变换运算将从加法器输出的音频谱恢复为时域上的原始信号。
通过结合附图对实施例进行的以下描述，本发明总体构思的这些和/或其他方面和优点将会变得更加清楚和更容易理解，其中图1是示出根据本发明总体构思的实施例的记录装置的噪声消除设备的方框图；图2是示出在图1的噪声帧检测器中检测噪声帧的方法的流程图；图3A至3C是示出更新噪声谱的处理的波形图；和图4A和4B是示出在根据本发明总体构思的实施例的噪声减方法被应用之前和之后的音频信号的波形图。
具体实施例方式
现在，详细描述本发明总体构思的实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明总体构思。
图1是示出根据本发明总体构思的实施例的记录装置的噪声消除设备的方框图。
参照图1，噪声消除设备包括预处理器110、快速傅立叶变换(FFT)单元120、噪声帧检测器130、噪声谱更新单元140、谱减法器150、加法器160和逆快速傅立叶变换(IFFT)单元170。
通过麦克风输入的模拟信号被转换为数字信号。模拟信号包括音频信号并且包括混合在一起的噪声内容和实际音频内容。
预处理器110将在其中噪声内容和实际音频内容被混合的音频信号分为多个帧，并且根据帧对音频信号分窗口。汉明窗口(Hamming windows)或哈宁窗口(Hanning windows)可被用于将视频信号分窗口为帧。窗口在帧的端点减轻不连续性的影响。
FFT单元120使用FFT运算将被预处理器110分为帧的音频信号转换为频谱信息。频谱信息包括关于音频信号的幅度谱信息和相位谱信息。幅度谱信息被用于频减，相位谱信息被用于IFFT运算。
噪声帧检测器130根据当前帧三个阈值的比较来确定由FFT单元120处理的当前帧FFT是否仅包括噪声内容(即，为“仅噪声”帧)或者当前帧是否包括噪声内容和实际音频内容。如果确定当前帧仅包括噪声内容，则噪声帧检测器130向噪声谱更新单元140输出当前帧{X_n[w]+N_n[w]}。即，当当前帧同时满足三个条件时，噪声帧检测器130确定当前帧为仅噪声帧，这三个条件包括与当前帧的能量比较的第一阈值、与当前帧的谱的能量和估计的噪声谱的能量之间的差比较的第二阈值、与当前帧的谱和估计的噪声谱之间的差比较的第三阈值。第一、第二和第三阈值根据在其中估计的噪声谱被更新的区域被独立地设置。估计的噪声谱根据当前帧的噪声谱和先前帧的噪声谱被更新。
当确定当前帧仅包括噪声内容时，噪声谱更新单元140使用当前帧的谱{X_n[w]+N_n[w]}(包括实际音频内容X_n[w]和噪声内容N_n[w])和先前估计的噪声谱来更新当前估计的噪声谱。即，由噪声谱更新单元140更新的噪声谱通过以下被给定N_n[w]＝N_n-1[w]*(1-α)+{X_n[w]+N_n[w]}*α。
这里，N_n-1[w]是先前帧的噪声谱，X_n[w]是当前帧的实际音频谱，N_n[w]是当前帧的噪声谱，并且α是噪声谱更新系数。当前帧的实际音频谱X_n[w]可等于0，并且噪声谱更新系数α可等于0.2。
谱减法器150从相应于幅度谱信息的当前帧的谱减去由噪声谱更新单元140更新的估计的噪声谱，以获得当前帧的实际音频谱。
加法器160将从谱减法器150输出的当前帧的实际音频谱与从FFT单元120输出的相位谱信息相加。
IFFT单元170通过IFFT将从加法器160输出的实际音频信号的幅度谱信息和相位谱信息恢复为时域上的音频信号。
图2是示出在图1的噪声帧检测器130中检测噪声帧的方法的流程图。
参照图2，在操作210，音频信号被转换为帧的频谱。
音频信号的能量被监控。在操作220，音频信号的当前帧的能量与第一能量阈值E_th比较。由于仅包括噪声内容的帧的能量小于包括噪声内容和实际音频内容的帧的能量，所以如果当前帧是仅噪声帧则当前帧的能量必须小于第一能量阈值E_th。如果当前帧的能量大于第一能量阈值E_th，则在操作290，更新计数UpdateCNT被初始化为0。
如果当前帧的能量小于第一能量阈值E_th，则音频信号的帧的能量的变化被监控。在操作230，当前帧的能量和在先前帧中更新的噪声谱的能量之间的差ENERGYDIFF被与第二能量差阈值E_th比较。由于仅噪声帧的能量变化小于包括噪声内容和音频内容的帧的能量变化，所以如果当前帧是仅噪声帧则当前帧和在先前帧中更新的噪声谱之间的能量差必须小于第二阈值能量差ED_th。如果该能量差大于第二阈值ED_th，则在操作290，UpdateCNT被初始化为0。
如果当前帧的能量和在先前帧中更新的噪声谱的能量之间的差小于第二能量差阈值ED_th，则音频信号的谱的变化被监控。在操作240，当前帧的谱和在先前帧中更新的噪声谱之间的差SPECTEDIFF与第三谱差阈值SD_th比较。由于仅噪声帧的谱变化小于包括噪声内容和音频内容的帧的谱变化，所以如果当前帧是仅噪声帧则当前帧和在先前帧中更新的噪声谱之间的谱差必须小于第三谱差阈值SD_th。如果谱差大于第三谱差阈值SD_th，则在操作290，UpdateCNT被初始化为0。
如果当前帧的谱和在先前帧中更新的噪声谱之间的差小于第三谱差SD_th，则确定当前帧为仅噪声帧，并且仅包括噪声内容，并且在操作250执行噪声谱更新。
当能量、能量差和谱差分别小于第一能量、第二能量差和第三谱差阈值时，在操作260，UpdateCNT加1(即UpdateCNT++)。UpdateCNT是跟踪连续仅噪声的数目的变量。
在步骤270如果UpdateCNT大于阈值UC_th，则在操作280，根据当前帧的噪声谱，ED_th和SD_th被更新。图2所示的方法将当前帧的能量和当前帧的谱与在先前帧中更新的噪声谱比较以确定当前帧是否为仅噪声帧。如果当前帧被确定为仅噪声帧，则噪声谱更新单元140将在先前帧中更新的噪声谱更新为新更新的噪声谱以与随后的音频信号的帧的谱比较。因此，一旦噪声谱被更新，随后帧的谱与新更新的噪声谱比较直到在随后帧中另一仅噪声帧被检测，在那时刻新更新的噪声谱被再次更新。第一能量、第二能量差和第三谱差阈值被设置，从而噪声帧检测器130检测当前帧是否为仅噪声帧。当连续仅噪声帧的确定值(即UC_th)被检测到时，阈值被更新。
图3A至3C是示出更新噪声谱的处理的波形图。
经验确定的初始噪声谱的特征可与当前输入噪声谱的特征不同。在这种情况下，初始噪声谱必须根据当前输入噪声谱被更新。现在将参照图3A至3C所示的第一能量、第二能量差和第三谱差阈值的改变来描述更新初始噪声谱的处理。图3A示出通过左和右信道输入的当前帧的能量和第一能量阈值E_th(虚线)。图3B示出当前帧的能量和在先前帧中更新的噪声谱的能量之间的差以及第二阈值ED_th(虚线)。这里，图3B的上边波形表示输入音频信号，图3B的下边波形表示代表能量差的轮廓。图3C示出当前帧的谱和在先前帧中更新的噪声谱之间的差以及第三阈值SD_th(虚线)。这里，图3C的上边波形表示输入音频信号，图3C的下边波形表示代表谱差的轮廓。
参照图3A至3C，在第一个10个噪声谱更新周期期间，通过将第一、第二和第三阈值设置为大值，初始噪声谱被允许与输入噪声谱近似。然后，通过在下一个10个噪声谱更新周期期间减小第二和第三阈值ED_th和SD_th，通过准确地检测包括噪声内容和音频内容的帧，噪声谱被更新。最终，在下一噪声谱更新周期期间严格地设置第二和第三阈值ED_th和SD_th，通过准确地检测仅噪声帧，噪声谱被更新。
图4A和4B是显示在根据本发明总体构思的实施例的噪声减(noisesubtraction)方法被应用之前和之后左和右信道音频信号的波形图。尽管图3A、4A和4B示出左和右信道音频信号，但是其他类型的音频信道信号可被用于本发明总体构思。
参照图4A和4B，通过采用根据本发明总体构思的实施例的噪声消除方法，仅噪声内容被消除，并且输出音频信号接近无噪声内容。
如上所述，根据本发明总体构思的实施例，在通过根据在其中输入信号的噪声谱被更新的区域设置变化的阈值，在不影响实际音频信号的同时仅消除噪声，记录在如摄像机的音频记录设备中的音频信号的声音质量可被大大提高。当摄像机包括记录单元或机芯，相应于噪声谱的噪声从记录单元或机芯产生。因此，实际音频信号由输入单元的麦克风接收，包括摄像机外面产生的音频，也可不包括由记录单元或机芯产生的噪声。
尽管已经显示和描述了本发明总体构思的一些实施例，但是本领域的技术人员应该理解，在不脱离由所附权利要求及其等同物限定其范围的本发明总体构思的原理和精神的情况下，可对这些实施例进行改变。
权利要求
1.一种从被分为多个帧的音频信号中消除噪声的方法，该方法包括在根据输入音频信号的音频谱估计的噪声谱在其中被更新的区域中通过可变独立地设置一个或多个阈值来确定噪声帧是否存在；如果当前帧被确定为噪声帧，则根据先前帧的噪声谱和当前帧的噪声谱来更新估计的噪声谱；和从输入当前帧的音频谱中减去更新的噪声谱。
2.如权利要求1所述的方法，其中，噪声帧是否存在的确定包括将一个或多个阈值分别于当前帧的能量、输入当前帧的音频谱的能量和估计的噪声谱的能量之间的差、以及输入当前帧的音频谱和估计的噪声谱之间的差比较。
3.如权利要求1所述的方法，其中，噪声帧是否存在的确定包括使用音频信号的初始噪声谱近似输入噪声谱。
4.如权利要求1所述的方法，其中，一个或多个阈值包括第一、第二和第三阈值，并且噪声帧是否存在的确定包括如果当前帧的能量小于第一阈值、当前帧的能量和在先前帧中更新的估计的噪声谱的能量之间的差小于第二阈值、并且输入当前帧的音频谱和在先前帧中更新的估计的噪声谱之间的差小于第三阈值，则确定当前帧是噪声帧。
5.如权利要求4所述的方法，还包括根据在其中估计的噪声谱被更新的区域独立地设置第一、第二和第三阈值，其中，当前帧满足第一、第二和第三阈值的条件时，噪声谱被更新。
6.一种从被分为多个帧的音频信号中消除噪声的方法，该方法包括将被分为多个帧的信号的频率特征与估计的噪声谱比较；根据比较的结果，确定估计的噪声谱是否准确地近似实际噪声谱；和当确定估计的噪声谱不与实际噪声谱准确近似时，更新估计的噪声谱。
7.如权利要求6所述的方法，还包括从信号的当前帧减去估计的噪声谱；和输出无噪声内容的信号。
8.如权利要求6所述的方法，其中，估计的噪声谱的更新包括将估计的噪声谱改变为当前帧的噪声谱。
9.如权利要求8所述的方法，其中，每当当前帧仅包含噪声内容时，估计的噪声谱被更新。
10.如权利要求6所述的方法，其中，估计的噪声谱是否准确地近似实际噪声谱的确定包括通过将当前帧的能量与第一阈值比较、将当前帧和估计的噪声谱之间的能量差与第二阈值比较、并且将当前帧的谱和估计的噪声谱之间的差与第三阈值比较来确定当前帧是否仅包含噪声内容。
11.如权利要求10所述的方法，其中，当当前帧的能量小于第一阈值、当前帧和估计的噪声谱之间的能量差小于第二阈值、并且当前帧的谱和估计的噪声谱之间的差小于第三阈值时，当前帧被确定仅包含噪声内容。
12.如权利要求11所述的方法，其中，第一、第二和第三阈值被设置为分别大于仅包含噪声内容的帧的预计能量、仅包含噪声内容的帧和估计的噪声谱之间的预计能量差、以及仅包含噪声内容的帧和估计的噪声谱之间的预计谱差。
13.如权利要求11所述的方法，其中，在预定数目的仅包含噪声内容连续帧被确定之后更新第一、第二和第三阈值。
14.如权利要求11所述的方法，其中，当估计的噪声谱不准确地近似实际噪声谱时估计的噪声谱的更新包括在第一数量的噪声谱更新周期期间，将第一、第二和第三阈值设置为相对大的值；在第二数量的噪声谱更新期间，在减小第一、第二和第三阈值的同时，更新估计的噪声谱；和在第三数量的噪声谱更新期间，根据当前帧和估计的噪声谱的比较来更新估计的噪声谱。
15.如权利要求6所述的方法，其中，估计的噪声谱根据以下被更新N_n[w]＝N_n-1[w]*(1-α)+{X_n[w]+N_n[w]}*α其中，N_n[w]是更新的噪声谱，N_n-1[w]是在先前帧中更新的估计的噪声谱，α是噪声谱更新系数，并且{X_n[w]+N_n[w]}是当前帧的谱。
16.一种噪声消除设备，包括FFT单元，通过对被分为多个帧的音频信号执行快速傅立叶变换运算来产生频谱信息；噪声帧检测器，在根据由FFT单元产生的频谱信息估计的噪声谱在其中被更新的区域中通过可变独立地设置阈值来确定噪声帧；噪声谱更新单元，如果由噪声检测器确定当前帧为在其中仅噪声存在的帧，则使用当前帧的噪声谱和先前帧的噪声谱来更新估计的噪声谱；和谱减法器，从音频信号的谱中减去由噪声谱更新单元更新的估计噪声以产生实际音频谱。
17.如权利要求16所述的设备，其中，噪声帧检测器包括一个或多个比较器，将当前帧的能量和第一阈值比较，将当前帧的能量和在先前帧中更新的噪声谱的能量之间的能量差与第二阈值比较，和将当前帧的谱和在先前帧中更新的噪声谱之间的谱差与第三阈值比较；和确定单元，如果当前帧的能量、能量差和谱差分别小于第一、第二和第三阈值，则确定当前帧为噪声帧。
18.如权利要求17所述的设备，其中，噪声帧检测器设置第一、第二和第三阈值以指示估计的噪声谱是否准确地近似当前帧的实际噪声谱，并且当当前帧满足第一、第二和第三阈值的条件时，估计的噪声谱被更新。
19.如权利要求16所述的设备，还包括相加单元，将实际音频谱和从FFT单元产生的相位谱信息相加。
20.一种记录装置中的噪声消除设备，该设备包括FFT单元，通过对被分为多个帧的音频信号执行快速傅立叶变换运算来计算频谱信息；噪声帧检测器，在根据由FFT单元计算的频谱，估计的噪声谱在其中被更新的区域中，通过独立可变地设置阈值来确定噪声帧；噪声谱更新单元，如果由噪声帧检测器确定当前帧为在其中仅噪声存在的帧，则使用当前帧的噪声谱和先前帧的噪声谱来更新估计的噪声谱；谱减法器，从音频信号的谱中减去由噪声谱更新单元更新的估计的噪声谱；加法器，将从谱减法器输出的音频谱与从FFT单元输出的相位谱相加；和IFFT单元，通过逆快速傅立叶变换运算将从加法器输出的音频谱恢复为时域上的原始信号。
21.一种记录装置，包括记录单元，具有产生噪声信号的记录机芯；输入单元，接收实际音频信号；和噪声消除设备，接收包括噪声信号和实际音频信号的音频信号，将音频信号分为多个帧，根据在根据输入音频信号的音频谱在其中噪声谱被更新的区域中被独立设置的一个或多个阈值来确定噪声帧是否存在，并且从多个帧的输入当前帧的音频谱减去噪声谱。
22.一种记录装置，包括噪声消除设备，通过在估计的噪声谱在其中根据输入音频信号的音频谱被更新的区域中独立可变地设置一个或多个阈值来确定噪声帧是否存在，如果当前帧被确定为噪声帧，则根据先前帧的噪声谱和当前帧的噪声谱来更新估计的噪声谱，并且从输入当前帧的音频谱中减去更新的噪声谱。
23.如权利要求22所述的记录装置，其中，记录装置包括摄像机。
24.如权利要求22所述的记录装置，还包括记录单元，具有产生噪声谱的记录机芯。
25.如权利要求22所述的记录装置，还包括输入单元，具有接收实际音频谱的麦克风。
全文摘要
一种从输入到如摄像机的记录装置的包括噪声内容和音频内容的信号消除噪声内容的噪声消除设备和方法。该方法包括在根据输入音频信号的音频谱估计的噪声谱在其中被更新的区域中通过可变独立地设置一个或多个阈值来确定噪声帧是否存在；如果当前帧被确定为噪声帧，则根据先前帧的噪声谱和当前帧的噪声谱来更新估计的噪声谱；和从输入当前帧的音频谱中减去更新的噪声谱。
文档编号G10L15/20GK1728237SQ20051007993
公开日2006年2月1日 申请日期2005年6月27日 优先权日2004年7月27日
发明者吴润学 申请人:三星电子株式会社