话音增强方法及其装置的制造方法
【技术领域】
[0001]一个或多个示范性实施例涉及一种使用单一或多个麦克风的话音增强的方法和装置，并且更具体地，涉及一种应用话音检测技术和说话者方向检测技术的话音增强的方法和装置。
【背景技术】
[0002]话音识别技术是将由用户等输入的话音信号识别为与预定语言对应的信号的技术。例如，话音识别技术可以用在控制诸如话音识别导航设备、移动电话或TV的预定电子设备的操作中。
[0003]通过去除混合在输入的话音信号中的噪声来提取纯话音信号的话音增强技术可以用于改善话音识别的识别率。话音增强相关技术的例子是集中预定方向上的话音并且去除周围的噪声的波束形成以及去除平稳噪声的噪声抑制。
【发明内容】
[0004]技术问题
[0005]本发明提供了在话音增强中使用说话者的发言部分和位置信息来去除噪声的方法。本发明提供了基于方向信息的话音增强方法，其中使用基于话音方向信息的方向的估计以及话音增强控制技术。
[0006]技术方案
[0007]根据本发明的一方面，提供了一种话音增强装置，其包括:传感器单元，包括至少一个麦克风;话音检测单元，用于通过使用传感器单元的信号来检测说话者的话音;方向估计单元，用于通过使用传感器单元的信号来估计说话者的方向，并且生成指示所估计的方向的方向信息；以及话音增强单元，用于增强输入到所述至少一个麦克风的说话者的话音，其中话音检测单元基于通过使用话音检测单元检测话音的结果来控制方向估计单元和话音增强单元的操作，并且方向估计单元向话音增强单元发送方向信息。
[0008]有益效果
[0009]本发明构思涉及一种当用户说话时找到用户的方向的话音增强技术。话音增强技术在话音部分和非话音部分不同地工作，从而是高效的，并且确保高性能。本发明构思不但可以应用于移动电话，而且应用于TV、平板或助听器。特别是，诸如手表、指环或眼镜的人体附着计算设备(可穿戴计算机或可穿戴设备)最近已经逐渐得到关注，并且被生产为产品。如果本发明构思与这些可穿戴计算机或可穿戴设备结合，则可以提供高效的低功率算法。
【附图说明】
[0010]图1是根据实施例的话音增强装置10的示意性框图；
[0011]图2是根据另一实施例的话音增强装置20的示意性框图；
[0012]图3是根据实施例的话音增强方法的流程图；
[0013]图4是根据另一实施例的话音增强方法的流程图；
[0014]图5示出根据实施例的用于移动电话的话音增强装置10;
[0015]图6示出根据实施例的用于TV的话音增强装置10;
[0016]图7示出根据实施例的用于平板的话音增强装置10;
[0017]图8示出根据另一实施例的用于可穿戴设备的话音增强装置10;以及
[0018]图9示出根据实施例的用于耳机或助听器的话音增强装置10。
[0019]最佳模式
[0020]根据本发明的一方面，提供了一种话音增强装置，其包括:传感器单元，包括至少一个麦克风;话音检测单元，用于通过使用传感器单元的信号来检测说话者的话音;方向估计单元，用于通过使用传感器单元的信号来估计说话者的方向，并且生成指示所估计的方向的方向信息；以及话音增强单元，用于增强输入到所述至少一个麦克风的说话者的话音，其中话音检测单元基于通过使用话音检测单元检测话音的结果来控制方向估计单元和话音增强单元的操作，并且方向估计单元向话音增强单元发送方向信息。
[0021 ]根据本发明的一方面，提供了一种话音增强装置，其包括:传感器单元，包括至少一个麦克风;话音检测单元，用于通过使用传感器单元的信号来检测说话者的话音;方向估计单元，用于通过使用传感器单元的信号来估计说话者的方向，并且生成指示所估计的方向的方向信息；以及话音增强单元，用于增强输入到所述至少一个麦克风的说话者的话音，其中方向估计单元基于估计方向的结果来控制话音检测单元的操作，并且向话音增强单元发送方向信息;并且话音检测单元基于检测话音的结果来控制话音增强单元的操作。
[0022]传感器单元可以包括麦克风、相机和骨传导传感器中的至少一个，其中话音检测单元通过使用所述至少一个麦克风的信号来检测是否存在话音成分，通过使用相机的信号来检测说话者的嘴唇的运动，通过使用骨传导传感器的信号来检测说话者是否已经说话，或者通过组合至少一个麦克风、相机和骨传导传感器中的至少两个来检测话音。
[0023]传感器单元可以包括从至少两个麦克风和相机中选择的至少一个，并且其中方向估计单元通过使用至少两个麦克风的信号之间的差或者通过使用相机的信号来识别说话者的脸部或者检测说话者的嘴唇的运动，来估计方向。
[0024]话音增强单元可以包括至少一个滤波器，并且当话音检测单元检测话音时，更新所述至少一个滤波器的因子，并且如果话音检测单元没有检测到话音，则估计用于噪声建模的噪声。
[0025]话音增强单元可以使用从方向估计单元接收的方向信息来执行以下操作的至少一个:对期望的信号源到达每个麦克风的时间的调整、对麦克风之间的偏差的纠正以及信号源的分离。
[0026]传感器单元可以包括麦克风、相机、骨传导传感器、接近传感器、红外传感器、加速度传感器或超声波传感器中的至少一个。
[0027]可以基于检测话音的结果来控制打开和关闭方向估计单元。
[0028]可以基于估计方向的结果来控制打开或关闭话音检测单元。
[0029]根据本发明的一方面，提供了一种话音增强方法，包括:检测说话者的话音;基于检测话音的结果，通过使用输入信号来估计说话者的方向，并且生成指示所估计的方向的方向信息；以及基于检测话音的结果，通过使用方向信息来增强说话者的话音。
[0030]根据本发明的一方面，提供了一种话音增强方法，包括:通过使用输入信号来估计说话者的方向并且生成指示所估计的方向的方向信息;基于估计方向的结果来检测说话者的话音；以及基于检测话音的结果，通过使用方向信息来增强说话者的话音。
[0031]传感器单元可以包括麦克风、相机和骨传导传感器中的至少一个，其中话音检测单元通过使用所述至少一个麦克风的信号来检测是否存在话音成分，通过使用相机的信号来检测说话者的嘴唇的运动，通过使用骨传导传感器的信号来检测说话者是否已经说话，或者通过组合至少一个麦克风、相机和骨传导传感器中的至少两个来检测话音。
[0032]传感器单元可以包括从至少两个麦克风和相机中选择的至少一个，并且其中方向估计单元通过使用至少两个麦克风的信号之间的差或者通过使用相机的信号来识别说话者的脸部或者检测说话者的嘴唇的运动，来估计方向。
[0033]话音增强单元可以包括至少一个滤波器，并且当话音检测单元检测话音时，更新所述至少一个滤波器的因子，并且如果话音检测单元没有检测到话音，则估计用于噪声建模的噪声。
[0034]话音增强单元可以使用从方向估计单元接收的方向信息来执行以下操作的至少一个:对期望的信号源到达每个麦克风的时间的调整、对麦克风之间的偏差的纠正以及信号源的分离。
[0035]输入信号可以是来自麦克风、