助听器装置的制作方法

专利名称：助听器装置的制作方法
技术领域：
本发明涉及一种助听器装置，其能够基于来自多个麦克风的输入来检测呼叫或各
种声音。
背景技术：
助听器的用户已经提高了助听器的期望，每一个助听器具有“会话加强功能”，使得用户能够听到会话对方的加强的语音。作为用于在加强会话对方的语音时确定是否从会话对方发出语音的一种方法，专利文件1公开了一种用于根据发音时间的一致性，在与佩戴助听器的人的会话中检测语音的方法。需要助听器加强会话对方的语音，并且使得佩戴助听器的人能够响应于来环境的呼叫，并且识别从环境事件发出的声音。在与诸如助听器的物体紧密接触地佩戴的装置中，出现下述现象由于麦克风位置或相邻物形状的影响，输入语音的频率特性根据声音的到来方向(角度)而改变。例如， 当助听器检测到呼叫时，助听器根据声音的到来方向(角度)来识别呼叫语音，该语音的输入在频率特性上不同。因为这个原因，要识别的声音的频率特性与在学习用于进行核对的音频标准模式(离线)时的语音数据的频率特性偏离，由此使得助听器的识别精度变差。作为用于校正用于验证的音频标准模式的频率特性的方法，非专利文件1公开了倒频谱(cepstral)均值标准化CMS (倒频谱均值相减CMQ。倒频谱均值标准化CMS方法 (以下称为“CMS方法”)是下述方法通过输入语音的倒频谱的平均值来估计输入语音的频率特性的差别，并且将该差别应用到用于校正的输入语音。在CMS方法中，需要获得在完成发声后的输入语音的倒频谱平均值，并且禁止实时处理。作为通过CMS方法实现实时处理的方法，非专利文件2已经提出了一种MAP-CMS 方法，其中，通过MAP估计从下述部分估计输入语音的倒频谱平均值以标准化输入语音输入语音的开始到输入语音的当前帧的倒频谱平均值；以及，在学习用于语音识别的验证的音频标准模式(离线)时的语音数据的倒频谱平均值。现有技术文件专利文件专利文件1 JP-A-2004-133403非专利文件非专利文件 1 :S. Furui,"Cepstral Analysis Technique for Automatic Speaker Verification (用于自动演讲人验证的倒频谱分析技术)”，IEEE Trans. ASSP，vol. ASSP-29, No.2pp. 254-272，1981非专利文件 2 :Kosaka et al·, "Study on Instantaneous or Incremental Environment Adaptation (对于瞬时或增力口环境适应的研究)，，，Acoustical Society of Japan, discussion paper, 3-6-25, pp. 137-138, March in 19973 Jens Blauert, Masayuki Morimoto, Toshiyuki Goto, "Spatial Hearing(空间听力)”，Kajima Institute Publishing Co. , Ltd.

发明内容
本发明要解决的问题然而，要求上述CMS方法获得在已经完成发声后的倒频谱的平均值，并且进行语音识别处理或声音检测处理。因此，不能将CMS方法应用到实时地进行助听处理的助听器。 而且，上述的MAP-CMS方法能够进行与时间同步地进行语音识别处理或声音检测处理的实时处理。然而，MAP-CMS方法不在输入开始后的帧的语音数据中校正语音的处理，导致语音识别的精度变差。本发明的目的是提供一种助听器装置，其可以根据来自多个麦克风的输入音频信号检测来自除了会话对方之外的人的呼叫或各种声音，而不使识别精度变差。用于解决问题的手段本发明提供了一种助听器装置，包括多个麦克风，其被配置为将包括会话对方的语音、除了所述会话对方语音之外的呼叫语音和各种声音的声音转换为音频信号；声音到来方向估计部件，用于基于由相应的麦克风转换的所述音频信号，来估计除了会话对方语音之外的呼叫语音的到来方向；频率特性校正处理单元，其被配置为基于由所述相应的麦克风转换的音频信号和由所述声音到来方向估计部件估计的除了所述会话对方语音之外的呼叫语音的到来方向，来校正除了所述会话对方语音之外的呼叫语音的频率特性；音频标准模式存储单元，其被配置为存储用于基于由具有一个特性的麦克风采集的其他语音数据来表示音素和音节声音的特征的呼叫词标准模式；呼叫词确定部件，用于相对于所述呼叫词标准模式，检查除了其频率特性被所述频率特性校正处理单元校正的所述会话对方语音之外的呼叫语音，并且用于确定所述呼叫语音是否是呼叫词；除了会话对方方向之外的方向定向合成部件，用于基于所述呼叫词确定部件的所述确定结果，在除了所述会话对方的语音的到来方向之外的方向上形成定向；以及，语音输出部件，用于基于由所述除了会话对方方向之外的方向定向合成部件形成的所述定向，来输出除了所述会话对方语音之外的呼叫语音，其中，所述频率特性校正处理单元校正除了会话对方语音之外的呼叫语音的频率特性，以便提供与在建立在所述呼叫词确定部件中使用的所述音频标准模式时的所述麦克风的特性相同的特性。所述助听器装置进一步包括会话对方方向定向合成部件，用于基于所述呼叫词确定部件的所述确定结果，在所述会话对方的所述语音的到来方向上形成定向。所述呼叫词确定部件相对于所述呼叫词标准模式，检查其频率特性被所述频率特性校正处理单元校正的所述会话对方的语音数据，并且如果所述呼叫词确定部件确定所述语音数据是呼叫词，则所述会话对方方向定向合成部件在所述会话对方的所述语音的到来方向上形成定向，并且，所述除了会话对方方向之外的方向定向合成部件在除了所述会话对方的所述语音的到来方向之外的方向上形成定向，并且，所述语音输出部件除了由所述除了会话对方方向之外的方向定向合成部件形成的定向之外，进一步基于由所述会话对方方向定向合成部件形成的定向，输出所述会话对方的语音和除了所述会话对方语音之外的呼叫语音。在所述助听器装置中，所述呼叫词确定部件相对于所述呼叫词标准模式，检查其频率特性被所述频率特性校正处理单元校正的所述会话对方的所述语音数据，并且如果所述呼叫词确定部件确定所述语音数据不是呼叫词，则所述会话对方方向定向合成部件在所述会话对方的所述语音的到来方向上形成定向，并且，所述除了会话对方方向之外的方向定向合成部件不在所述会话对方的所述语音的到来方向之外的方向上形成定向，并且所述语音输出部件基于由所述除了会话对方方向之外的方向定向合成部件形成的定向，来输出所述会话对方的语音和除了所述会话对方语音之外的呼叫语音。本发明的优点根据本发明的助听器装置，可以根据来自多个麦克风的输入音频信号检测来自除了会话对方的人的呼叫或各种声音，而不使识别精度变差。


图1是图示根据本发明的第一实施例的助听器的系统结构图。图2是图示根据本发明的第一实施例的助听器的处理过程的流程图。图3是图示用于在图2中的呼叫检测的子处理的流程图。图4是当在头部右侧面佩戴麦克风时基于方向(角度)的频率特性的图。图5是图示根据本发明的第一实施例的、用于相对于在建立音频标准模式时的麦克风的频率特性校正输入语音的校正因子的图。图6是图示根据本发明第一实施例助听器的非定向声音采集状态的图。图7是图示根据本发明的第一实施例的、在助听器的会话对方的方向上形成定向的状态的图。图8是图示根据本发明的第一实施例的下述状态的图在助听器的会话对方的方向上形成定向，并且也在除了会话对方的方向之外的方向上形成定向。图9是图示根据本发明的第一实施例的、用于相对于在建立音频标准模式时的麦克风的频率特性校正输入语音的校正因子的图。图10是图示根据本发明的第二实施例的助听器的系统结构图。图11是图示根据本发明的第二实施例的助听器的处理过程的流程图。图12是图示用于在图11中的呼叫检测的子处理的流程图。图13是图示根据本发明第三实施例的音频信号处理装置的系统结构图。图14是图示根据本发明第三实施例的音频信号处理装置的处理过程的流程图。图15是图示用于在图14中的除了会话对方的语音之外的声音的检测的子处理的流程图。图16是图示根据本发明第四实施例的音频信号处理装置的系统结构图。图17是图示根据本发明的第四实施例的音频信号处理装置的处理过程的流程图。图18是图示用于在图17中的除了会话对方的语音之外的声音的检测的子处理的流程图。附图标记的说明101a、101b、201a、201b、211a、211b 麦克风301a、301b、401a、401b、411a、411b 麦克风102、202、212、302、402、412 会话对方方向搜索部件103、203、213、303、403、413 会话对方方向定向合成部件
104、204、214、304、404、414 除了会话对方方向之外的方向定向合成部件105、205、215、305 频率特性校正处理单元106、206、216 呼叫方向搜索部件306 除了会话对方语音之外的声音方向搜索部件405、415 频率特性校正部件406、416 声音到来方向搜索部件107、207、217 呼叫词确定部件307,407,417 除了会话对方语音之外的声音确定部件108,208,218 定向/非定向确定部件109、209、219、309、409、419 扬声器110、221A、221B、310、421A、421B 校正因子存储单元112.223A.223B 呼叫词字符串存储单元
具体实施例方式以下，将参考附图描述本发明的实施例。(第一实施例)图1是图示根据本发明的第一实施例的助听器装置100的结构的框图。如图1中所示，根据第一实施例的助听器装置100包括两个麦克风101a、101b、会话对方方向搜索部件102、会话对方方向定向合成部件103、除了会话对方方向之外的方向定向合成部件104、 频率特性校正处理单元105、呼叫方向搜索部件106、呼叫词确定部件107、定向/非定向确定部件108、扬声器109、校正因子存储单元110、音频标准模式存储单元111和呼叫词字符串存储单元112。<助听器装置100的结构>麦克风IOla和IOlb每一个采集诸如会话对方的语音的到来声音，并且将所采集的声音转换为音频信号。然后，该音频信号被输出到会话对方方向搜索部件102。以下，为了说明，假定由麦克风的每一个采集的声音除了会话对方的语音之外进一步包括以下这种语音(以下称为“呼叫语音”)除了当前会话对方之外的人使用该语音， 从与会话对方存在的方向不同的方向呼叫助听器装置100的佩带者。当会话对方的语音未被麦克风IOla和IOlb采集时，如图6中所示，在其右耳上佩戴助听器装置100的人A的外围形成定向图案601，该定向图案601表示可以通过不分配定向的信号处理来听到所有方向上的语音的状态。会话对方方向搜索部件102基于从麦克风IOla和IOlb输入的音频信号检测会话对方的语音数据，并且搜索所采集的会话对方的语音的到来方向。然后，向定向/非定向确定部件108输出所搜索的会话对方的语音从其到来的方向。呼叫方向搜索部件106根据由麦克风IOla和IOlb采集的呼叫语音来搜索到来方向。是否存在呼叫语音的确定例如基于输入语音的功率是否超过给定阈值。在该情况下，作为归因于头部和耳廓的张力的头部相关传递函数在人的方向感觉上担当重要的角色(例如，非专利文件3)。因此，在该实施例中，作为用于估计声音的到来方向(角度)的方法，将用于每个角度的头部相关传递函数的波谷频率和峰值频率的特征与在耳道的入口位置处观察到的输入语音的频率特性作比较，以估计声音的到来方向(角度)。然后，呼叫方向搜索部件106向频率特性校正处理单元105输出关于基于搜索到的呼叫语音被估计为呼叫语音的到来方向的方向的信息。校正因子存储单元110在其中存储在输入语音的频率的定向特性中的每个角度的校正因子。该校正因子考虑当在头部佩戴助听器时头部形状的影响。呼叫词字符串存储单元112在其中存储作为字符串记录的呼叫词字符串。在呼叫词字符串存储单元112中存储的呼叫词字符串在预先装配助听器装置100时被存储在呼叫词字符串存储单元112中。音频标准模式存储单元111在其中存储与字符(例如，50个日语假名字符或字母表)对应的音频标准模式。在音频标准模式存储单元111中存储的音频标准模式是预先基于借助于具有一个特性的麦克风而采集的大量语音数据而被建立为用于表示每个音素或音节声音的特征的模型的语音数据。频率特性校正处理单元105校正从除了会话对方方向之外的方向定向合成部件 104输出的呼叫语音数据，以便基于被估计为从呼叫方向搜索部件106输入的呼叫语音的到来方向的方向信息，使用在校正因子存储单元110中存储的校正因子中在匹配呼叫语音的方向的方向上的校正因子，在任何时间提供与在建立音频标准模式时的麦克风的特性相同的特性。然后，校正的呼叫语音数据被输出到呼叫词确定部件107。呼叫词确定部件107根据在呼叫词字符串存储单元112中存储的“呼叫词字符串” 和在音频标准模式存储单元111中存储的“音频标准模式”，建立呼叫词标准模式。然后，呼叫词确定部件107相对于从频率特性校正处理单元105输出的呼叫语音来检查所建立的呼叫词标准模式，以确定呼叫词标准模式是否是呼叫词。当呼叫词确定部件107确定呼叫语音是呼叫词时，呼叫词确定部件107向定向/ 非定向确定部件108输出非定向信息。另一方面，当呼叫词确定部件107确定除了会话对方之外的人的呼叫语音不是呼叫词时，呼叫词确定部件107向定向/非定向确定部件108
输出定向信息。定向/非定向确定部件108基于从会话对方方向搜索部件102输入的会话对方的语音的到来方向和呼叫词确定部件107的确定结果，确定是否通过会话对方方向定向合成部件103和除了会话对方方向之外的方向定向合成部件104的每一个形成定向。即，当除了会话对方的语音之外，进一步在语音数据中包括来自除了会话对方之外的人的呼叫语音时，定向/非定向确定部件108基于从会话对方方向搜索部件102输入的会话对方的语音的到来方向和从呼叫词确定部件107输出的非定向信息，向会话对方方向定向合成部件103输出在会话对方方向形成定向的确定结果。而且，定向/非定向确定部件108向除了会话对方方向之外的方向定向合成部件104输出在除了会话对方的方向之外的方向上形成定向的确定结果。另一方面，当除了会话对方的语音之外，未在语音数据中包括来自除了会话对方之外的人的呼叫语音时，定向/非定向确定部件108基于从会话对方方向搜索部件102输入的会话对方的语音的到来方向和从呼叫词确定部件107输出的定向信息，输出在会话对方方向上形成定向的确定结果。而且，定向/非定向确定部件108向除了会话对方方向之外的方向定向合成部件104输出未形成定向的确定结果。除了会话对方方向之外的方向定向合成部件104基于定向/非定向确定部件108 的确定结果来形成定向。当定向/非定向确定部件108确定形成定向时，除了会话对方方向之外的方向定向合成部件104在除了会话对方的方向之外的方向上形成定向。例如，如图8中的定向图案802所示，也在用于呼叫检测的除了会话对方方向的方向上形成定向，由此可以从麦克风检测到从除了会话对方之外的方向到来的声音。另一方面，当定向/非定向确定部件108确定未形成定向时，除了会话对方方向之外的方向定向合成部件104在除了会话对方的方向之外的方向上不形成定向。会话对方方向定向合成部件103基于定向/非定向确定部件108的确定结果不形成定向。即，当定向/非定向确定部件108确定形成定向时，会话对方方向定向合成部件103 基于关于所采集的会话对方的语音数据和会话对方的语音到来的方向的信息，在会话对方的方向上形成定向。例如，会话对方方向定向合成部件103将定向改变为由图7的定向图案701和在图8中图示的定向图案801指示的会话对方的方向。另一方面，当定向/非定向确定部件 108确定不形成定向时，会话对方方向定向合成部件103不形成定向。然后，向扬声器109 输出其中合成定向的会话对方的语音数据。扬声器109是语音输出部件，并且输出通过由会话对方方向定向合成部件103形成的定向所加强的会话对方的声音。结果，助听器装置100的佩带者可以收听加强的会话对方的声音。而且，当除了会话对方方向之外的方向定向合成部件104在用于呼叫检测的除了会话对方的方向之外的方向上形成定向时，扬声器109可以在输出会话对方的声音的同时，输出已经由麦克风IOla和IOlb采集的从除了会话对方之外的方向到来的呼叫声音。结果，助听器装置100的佩带者可以除了加强的会话对方的声音之外，进一步收听从除了会话对方之外的方向到来的呼叫声音。<助听器装置100的操作>图2是图示根据第一实施例的助听器装置100的处理过程的流程图。图3是图示用于呼叫检测的子处理的流程图。下面参考图2和图3的流程图来说明助听器装置100的处理过程。首先，没有会话开始，并且在其右耳佩戴助听器装置100的人A可以通过由图6 的定向图案601所示的不分配定向的信号处理来听到来自所有方向的语音。在步骤ST201中，产生用于呼叫检测的子处理。在步骤ST202中，会话对方方向搜索部件102搜索会话对方的语音的到来方向。在步骤ST203中，会话对方方向搜索部件102基于在步骤ST202中的结果来检测是否存在会话对方。如果检测到会话对方的语音，则处理分支到步骤ST204，并且如果未检测到会话对方的语音，则处理分支到步骤ST202。在步骤ST204中，会话对方方向搜索部件102将会话对方的语音到来方向检测为角度。在步骤ST205中，向在图3中所示的用于呼叫检测的子处理的步骤ST301发送作为角度的、在步骤ST204中已经检测的会话对方的方向。在步骤ST206中，接收关于已经从在图3中所示的用于呼叫检测的子处理发送的向非定向的改变的信息。 在步骤ST207中，当定向/非定向确定部件108确定在会话对方的方向上合成定向时，处理分支到步骤ST208。而且，在步骤ST207中，当定向/非定向确定部件108确定未形成定向时，即，当定向改变为非定向时，处理分支到步骤ST210。 在步骤ST208中，根据所采集的会话对方的语音数据和关于由图7的定向图案701 所示的会话对方方向的方向信息，将定向合成为会话对方B的方向。在步骤ST209中，从扬声器109输出其中如图7中所示合成定向的会话对方B的语音数据，并且，助听器装置100的佩带者A收听会话对方的加强的声音。在步骤ST210中，如在图6中图示的定向图案601所示，定向被改变为非定向，并且处理返回到步骤ST201。〈用于呼叫检测的子处理〉随后，将描述在图3中所示的用于呼叫检测的子处理。在步骤ST301中，接收已经在图2中所示的步骤ST205中发送的、用于指示会话对方的声音到来方向的角度。在步骤ST302中，如果接收到用于指示会话对方的声音到来方向的角度，则处理分支到步骤ST303，并且如果未接收到用于指示会话对方的声音到来方向的角度，则处理分支到步骤ST302。在步骤ST303，在会话对方方向上形成定向，以允许助听器装置100的佩带者A强调地收听由在图8中所示的定向图案801所示的会话对方B的语音。也在由在图8中所示的定向图案802指示的用于呼叫检测的除了会话对方方向之外的方向中形成定向。在步骤ST304中，确定是否存在呼叫。如果确定存在呼叫，则处理分支到步骤 ST305，并且如果确定没有呼叫，则处理分支到步骤ST304。在这个示例中，作为用于确定是否存在呼叫的一种可设想的方法，例如，确定输入声音的功率是否超过给定阈值。在步骤ST305中，呼叫方向搜索部件106确定呼叫声音的方向。在步骤ST306中，从关于呼叫语音的角度的信息调用用于校正作为呼叫词确定部件的输入的语音数据的频率特性的校正因子，并且根据需要来应用它。下面描述如何确定频率特性的校正因子。在步骤ST307中，呼叫词确定部件107确定所校正的输入语音数据是否是呼叫词。在步骤ST308中，如果在步骤ST307中确定输入语音数据是呼叫词，则处理分支到 ST309，并且如果确定输入语音数据不是呼叫词，则处理分支到ST304。在步骤ST309中，定向/非定向确定部件108向会话对方方向定向合成部件103 和除了会话对方方向之外的方向定向合成部件104发送关于向非定向的改变的信息，并且处理返回到步骤ST302。通过上述步骤ST210至步骤ST210和步骤ST301至步骤ST309，根据这个实施例的助听器装置100加强会话对方的语音，并且当被呼叫时将定向改变为非定向。因为那个原因，助听器的用户可以收听该呼叫语音，并且也可以与呼叫者进行会话。〈如何确定频率特性的校正因子〉随后，将描述在步骤ST306中用于调用频率特性的校正因子的方法的具体示例。 例如，将参考图4和图5描述当佩带者A在他的头部右侧佩戴助听器装置100时的频率特性的校正因子。图4是当在他的头部右侧佩戴麦克风时依赖于方向(角度)的频率特性的图。图5是图示根据本发明的第一实施例的、用于相对于在建立音频标准模式时的麦克风的频率特性校正输入语音的校正因子的图。如图4中所示，当佩带者A在他的头部右侧佩戴助听器装置100时，用于指示在相对于右面的90°角的声音到来的频率特性的曲线401大体是平坦的，而不依赖于低频侧的频率，并且在高频侧略微降低。另一方面，用于指示相对于左面的90°角的声音到来的频率特性的曲线402向越高频区域越多地降低。在该情况下，确定校正因子，使得由图4指示的声音的频率特性改变为由在图5中的虚线501表示的、在建立音频标准模式时的麦克风的频率特性。在呼叫词确定处理单元中使用在建立音频标准模式时的麦克风的频率特性。在图4中所示的在相对于右面的90°角的声音到来的频率特性(曲线401)的情况下，不必校正低频部分，但是需要在高频部分改变由箭头指示的频率特性的校正。同样， 在图4中所示的在相对于左面的90°角的声音到来的频率特性(曲线40 的情况下，校正因子在中频和高频中向更高的频率更大的增加，由此使得能够将输入语音校正为由在图 5中的虚线501所示的在建立音频标准模式时的麦克风的频率特性。如上所述，在根据这个实施例的助听器装置100中，输入语音的频率特性接近于使用校正因子在呼叫词确定处理单元中学习用于检查语音识别的音频标准模式(离线)时的语音数据的频率特性。结果，可以实现实时处理，而不使得语音识别精度变差。校正因子可以是已经在一般的头部形状中测量的值。为了更增强语音识别的精度，在装配助听器装置100时，如图9中所示，再现用于从声源901至908获取校正因子的声音(白噪声)，该声源901至908围绕在他的右耳佩戴助听器装置100的人A的头部周围。然后，通过助听器装置100的麦克风来采集所再现的白噪声，并且，根据所采集的声音的特性和优选的、在建立音频标准模式时的麦克风的特性，来获取校正因子。呼叫词不仅适用于当人呼叫时使用的词，而且适用于被再现以引起人的注意的通知铃声、在火车站台上的警告声、汽车、卡车或公共汽车的喇叭、与方向指示器联锁的可听见的警报和由家中的家用电器产生的用于通知进展状态的提醒声音。(第二实施例)在第一实施例中，在任何一只耳朵(右耳)上佩戴的类型的助听器被描述为一个示例。在第二实施例中，在双耳上佩戴的类型的助听器被描述为另一个示例。图10是图示根据本发明的第二实施例的助听器装置200的结构的框图。如图10 中所示，根据第二实施例的助听器装置200包括右耳佩戴助听器200A和左耳佩戴助听器 200B。参见图10，下面描述相应的助听器的结构。如图10中所示，构成第二实施例的助听器装置200的右耳佩戴助听器200A包括两个麦克风201a和201b、会话对方方向搜索部件202、会话对方方向定向合成部件203、除了会话对方方向之外的方向定向合成部件204、频率特性校正处理单元205、呼叫方向搜索部件206、呼叫词确定部件207、定向/非定向确定部件208、扬声器209、校正因子存储单元 221A、呼叫词字符串存储单元223A和音频标准模式存储单元224A。同样，构成第二实施例的助听器装置200的左耳佩戴助听器200B包括两个麦克风 21 Ia和21 Ib、会话对方方向搜索部件212、会话对方方向定向合成部件213、除了会话对方方向之外的方向定向合成部件214、频率特性校正处理单元215、呼叫方向搜索部件216、呼叫词确定部件217、定向/非定向确定部件218、扬声器219、校正因子存储单元221B、呼叫词字符串存储单元22 和音频标准模式存储单元224B。以下，将详细描述右耳佩戴助听器200A的结构。在左耳佩戴助听器200B中，与在右耳佩戴助听器200A中的那些相同名称的所有结构在操作上与右耳佩戴助听器200A的结构相同，因此将省略其详细描述。〈右耳佩戴助听器200A的结构〉麦克风201a和201b每一个采集诸如会话对方的语音的到来声音，并且将所采集的声音转换为音频信号。然后，该音频信号被输出到会话对方方向搜索部件202。以下，为了说明，假定由麦克风的每一个采集的声音除了会话对方的语音之外，进一步包括下面这种语音(以下称为“呼叫语音”)除了当前会话对方之外的人使用该语音， 从与会话对方存在的方向不同的方向呼叫助听器装置200的佩带者。也假定从助听器装置 200的佩带者的右侧进行呼叫。当会话对方的语音未被麦克风IOla和IOlb采集时，假定像在第一实施例中那样形成在图6中所示的定向图案601。会话对方方向搜索部件202基于从麦克风201a和201b输入的音频信号来检测会话对方的语音数据，并且搜索所采集的会话对方的语音的到来方向。然后，向定向/非定向确定部件208输出所搜索的会话对方的语音到来的方向。呼叫方向搜索部件206根据由麦克风201a和201b采集的呼叫语音来搜索到来方向。是否存在呼叫语音的确定例如基于输入语音的功率是否超过给定阈值。呼叫方向搜索部件206首先通过诸如蓝牙(日本商标注册号码4477936)的无线电通信手段向左耳佩戴助听器200B的呼叫方向搜索部件216发送右耳的最大声压。同样， 呼叫方向搜索部件206通过诸如蓝牙(日本商标注册号码4477936)的无线电通信手段从左耳佩戴助听器200B的呼叫方向搜索部件216接收左耳的最大声压。然后，呼叫方向搜索部件206将两耳的最大声压彼此作比较，并且估计在右侧和左侧的哪一侧发出了呼叫。例如，作为搜索呼叫方向的方法，如果确定在右侧发出呼叫，则呼叫方向搜索部件206通过下述方式来搜索呼叫方向实现由于延迟的和阵列导致的定向波束，并且估计由于定向波束的扫描导致的声源方向。呼叫方向搜索部件206向频率特性校正处理单元205输出基于所搜索的呼叫语音被估计为呼叫语音到来的方向的方向信息。校正因子存储单元221A在其中存储在输入语音的频率的定向特性中的每一个角度的校正因子。该校正因子考虑当在头部佩戴助听器时头部形状的影响。呼叫词字符串存储单元223A在其中存储作为字符串记录的呼叫词字符串。在呼叫词字符串存储单元223A中存储的呼叫词字符串在装配助听器装置200时被预先存储在呼叫词字符串存储单元223A中。音频标准模式存储单元224A在其中存储与字符(例如，50个日语假名字符或字母表)对应的音频标准模式。在音频标准模式存储单元224A中存储的音频标准模式是预先基于借助于具有一个特性的麦克风而采集的大量语音数据而被建立为用于表示每个音素或音节声音的特征的模型的语音数据。频率特性校正处理单元205校正从除了会话对方方向之外的方向定向合成部件204输出的会话对方的语音数据，以便基于被估计为从呼叫方向搜索部件206输入的呼叫语音的到来方向的方向信息，使用在校正因子存储单元221A中存储的校正因子中在匹配呼叫语音的方向的方向上的校正因子，在任何时间提供与在建立音频标准模式时的麦克风的特性相同的特性。然后，校正的呼叫语音数据被输出到呼叫词确定部件207。呼叫词确定部件207根据在呼叫词字符串存储单元223A中存储的“呼叫词字符串”和在音频标准模式存储单元224A中存储的“音频标准模式”来建立呼叫词标准模式。 然后，呼叫词确定部件207相对于从频率特性校正处理单元205输出的呼叫语音的数据，检查所建立的呼叫词标准模式，以确定呼叫词标准模式是否是呼叫词。当呼叫词确定部件207确定除了会话对方之外的人的呼叫语音是呼叫词时，呼叫词确定部件207向定向/非定向确定部件208输出非定向信息。另一方面，当呼叫词确定部件207确定除了会话对方之外的人的呼叫语音不是呼叫词时，呼叫词确定部件207向定向/非定向确定部件208输出定向信息。定向/非定向确定部件208基于从会话对方方向搜索部件202输入的会话对方的语音的到来方向和呼叫词确定部件207的确定结果，确定是否通过会话对方方向定向合成部件203和除了会话对方方向之外的方向定向合成部件204的每一个形成定向。即，当除了会话对方的语音之外，进一步在语音数据中包括来自除了会话对方之外的人的呼叫语音时，定向/非定向确定部件208基于从会话对方方向搜索部件202输入的会话对方的语音的到来方向和从呼叫词确定部件207输出的非定向信息，向会话对方方向定向合成部件203输出在会话对方方向上形成定向的确定结果。而且，定向/非定向确定部件208向除了会话对方方向之外的方向定向合成部件 204输出在除了会话对方的方向之外的方向上形成定向的确定结果。另一方面，当除了会话对方的语音之外，未在语音数据中包括来自除了会话对方之外的人的呼叫语音时，定向/ 非定向确定部件208基于从会话对方方向搜索部件202输入的会话对方的语音的到来方向和从呼叫词确定部件207输出的定向信息，输出在会话对方方向上形成定向的确定结果。而且，定向/非定向确定部件208向除了会话对方方向之外的方向定向合成部件 204输出未形成定向的确定结果。除了会话对方方向之外的方向定向合成部件204基于定向/非定向确定部件208 来形成定向，如下所述。当定向/非定向确定部件208确定形成定向时，除了会话对方方向之外的方向定向合成部件204在除了会话对方的方向之外的方向上形成定向。例如，像在第一实施例中那样，如图8中的定向图案802所示，也在用于呼叫检测的除了会话对方之外的方向上形成定向，由此可以从麦克风检测到从除了会话对方的方向之外的方向到来的声音。另一方面，当定向/非定向确定部件208确定未形成定向时，除了会话对方方向之外的方向定向合成部件204在除了会话对方的方向之外的方向上不形成定向。会话对方方向定向合成部件203基于定向/非定向确定部件208的确定结果不形成定向。即，当定向/非定向确定部件208确定形成定向时，会话对方方向定向合成部件203 基于关于所采集的会话对方的语音数据和会话对方的语音到来的方向的信息，在会话对方的方向上合成定向。例如，会话对方方向定向合成部件203将定向改变为由图7的定向图案701和在图8中图示的定向图案801指示的会话对方的方向。另一方面，当定向/非定向确定部件 208确定不形成定向时，会话对方方向定向合成部件203不形成定向。然后，向扬声器209输出其中合成定向的会话对方的语音数据。扬声器209是语音输出部件，并且输出通过由会话对方方向定向合成部件203形成的定向加强的会话对方的声音。结果，助听器装置200的佩带者可以收听会话对方的加强的声音。而且，当除了会话对方方向之外的方向定向合成部件204在用于呼叫检测的除了会话对方的方向之外的方向上形成定向时，扬声器209可以在输出会话对方的声音的同时，输出已经由麦克风201a和201b采集的从除了会话对方之外的方向到来的呼叫声音。结果，助听器装置200的佩带者可以除了加强的会话对方的声音之外，进一步收听从除了会话对方之外的方向到来的呼叫声音。<助听器装置200的操作>图11是图示根据第二实施例的助听器装置200的处理过程的流程图。图12是图示用于呼叫检测的子处理的流程图。下面参考图11和12的流程图来说明助听器装置200 的处理过程。首先，没有会话开始，并且佩带者可以如图6的定向图案601所示听到来自所有方向的语音。在步骤ST501中，产生用于呼叫检测的子处理。在步骤ST502中，会话对方方向搜索部件202搜索会话对方的语音的到来方向。在步骤ST503中，会话对方方向搜索部件202基于在步骤ST502中的结果来检测是否存在会话对方。如果检测到会话对方的语音，则处理分支到步骤ST504，并且如果未检测到会话对方的语音，则处理分支到步骤ST502。在步骤ST504中，会话对方方向搜索部件202将会话对方的语音到来方向检测为角度。在步骤ST505中，向在图12中所示的用于呼叫检测的子处理的步骤ST601发送作为角度的、在步骤ST504中已经检测的会话对方的方向。在步骤ST506中，接收关于已经从在图12中所示的用于呼叫检测的子处理发送的向非定向的改变的信息。在步骤ST507中，当定向/非定向确定部件208确定在会话对方的方向上合成定向时，处理分支到步骤ST508。而且，在步骤ST507中，当定向/非定向确定部件208确定未形成定向时，即，当定向改变为非定向时，处理分支到步骤ST510。在步骤ST508中，根据所采集的会话对方的语音数据和关于由图7的定向图案701 所示的会话对方方向的方向信息，将定向合成为会话对方B的方向。在步骤ST509中，从扬声器109输出其中如图7中所示合成定向的会话对方B的语音数据，并且，助听器装置200的佩带者A收听会话对方的加强的声音。在步骤ST510中，如在图6中图示的定向图案601所示，定向被改变为非定向，并且处理返回到步骤ST501。〈用于呼叫检测的子处理〉随后，将描述在图12中所示的用于呼叫检测的子处理。在步骤ST601中，接收已经在图2中所示的步骤ST505中发送的、用于指示会话对方的声音的到来方向的角度。在步骤ST602中，如果接收到用于指示会话对方的声音的到来方向的角度，则处理分支到步骤ST603，并且如果未接收到用于指示会话对方的声音的到来方向的角度，则处理分支到步骤ST602。在步骤ST603，像在第一实施例中那样，在会话对方方向上形成定向，以允许助听器装置200的佩带者A强调地收听由在图8中所示的定向图案801所示的会话对方B的语音。也在由在图8中所示的定向图案802指示的用于呼叫检测的除了会话对方方向之外的方向中形成定向。在步骤ST604中，右和左助听器向彼此发送最大声压，并且通过呼叫方向搜索部件206来确定从右和左助听器的哪个发出呼叫。在步骤ST605中，基于在ST604中的确定结果，如果从右侧发出呼叫，则处理分支到步骤ST606，并且如果从左侧发出呼叫，则处理分支到步骤ST610。在步骤ST606中，右耳佩戴助听器200A中的呼叫方向搜索部件206确定呼叫声音的方向。在步骤ST607中，根据关于呼叫语音的角度的信息调用用于校正作为呼叫词确定部件207的输入的语音数据的频率特性的校正因子，并且根据需要来应用它。如何确定频率特性的校正因子与在第一实施例中相同，因此将省略其详细描述。在步骤ST608中，由右耳佩戴助听器200A中的呼叫词确定部件207确定所校正的输入语音数据是否是呼叫词。在步骤ST609中，如果在步骤ST608中确定输入语音数据是呼叫词，则处理分支到 ST614，并且如果确定输入语音数据不是呼叫词，则处理分支到ST604。在步骤ST610中，由左耳佩戴助听器200B中的呼叫方向搜索部件216确定呼叫声音的方向。在步骤ST611中，根据关于呼叫语音的角度的信息调用用于校正作为呼叫词确定部件207的输入的语音数据的频率特性的校正因子，并且根据需要来应用它。如何确定频率特性的校正因子与在第一实施例中相同，因此将省略其详细描述。在步骤ST612中，由左耳佩戴助听器200B中的呼叫词确定部件217确定所校正的输入语音数据是否是呼叫词。在步骤ST613中，如果在步骤ST612中确定输入语音数据是呼叫词，则处理分支到 ST614，并且如果确定输入语音数据不是呼叫词，则处理分支到ST604。在步骤ST614中，如果从右侧发出呼叫，则右耳佩戴助听器200A的定向/非定向确定部件208向在右耳佩戴助听器200A中的会话对方方向定向合成部件203和除了会话对方方向之外的方向定向合成部件204发送关于向非定向的改变的信息，并且处理返回到步骤ST602。同样，如果从左侧发出呼叫，则左耳佩戴助听器200B的定向/非定向确定部件218 向在左耳佩戴助听器200B中的会话对方方向定向合成部件213和除了会话对方方向之外的方向定向合成部件214发送关于向非定向的改变的信息，并且处理返回到步骤ST602。通过上述步骤ST501至步骤ST510和步骤ST601至步骤ST614，根据这个实施例的助听器装置200加强会话对方的语音，并且当被呼叫时将定向改变为非定向。因为这个原因，助听器的用户可以收听该呼叫语音，并且也可以与呼叫者进行会话。(第三实施例)图13是图示根据本发明的第三实施例的音频信号处理装置300的结构的框图。如图13中所示，根据第三实施例的音频信号处理装置300包括两个麦克风301a、301b、会话对方方向搜索部件302、会话对方方向定向合成部件303、除了会话对方方向之外的方向定向合成部件304、频率特性校正处理单元305、除了会话对方语音之外的声音方向搜索部件 306、除了会话对方语音之外的声音确定部件307、定向/非定向确定部件308、扬声器309、 校正因子存储单元310和音频标准模式存储单元311。<音频信号处理装置300的结构>麦克风301a和301b每一个采集诸如会话对方的语音的到来声音，并且将所采集的声音转换为音频信号。然后，该音频信号被输出到会话对方方向搜索部件302。以下，为了说明，假定由麦克风的每一个采集的声音除了会话对方的语音之外，进一步包括除了会话对方语音之外的以下的声音或语音(以下称为“除了会话对方语音之外的声音”)除了当前会话对方之外的人，从与会话对方存在的方向不同的方向，在音频信号处理装置300的佩带者处获得的的声音或语音。当会话对方的语音未被麦克风301a和301b采集时，如图6中所示，在其右耳上佩戴音频信号处理装置300的人A的外围形成(建立)定向图案601，该定向图案601用于指示其中可以通过不分配定向的信号处理来听到在所有方向上的语音的状态。会话对方方向搜索部件302基于从麦克风301a和301b输入的音频信号来检测会话对方的语音数据，并且搜索所采集的会话对方的语音的到来方向。然后，向定向/非定向确定部件308输出所搜索的会话对方的语音到来的方向。除了会话对方语音之外的声音方向搜索部件306根据由麦克风301a和301b采集的除了会话对方语音之外的声音来搜索到来方向。是否存在除了会话对方语音之外的声音的确定例如基于输入语音的功率是否超过给定阈值。在该情况下，作为归因于头部和耳廓的张力的头部相关传递函数在人的方向感觉上担当重要的角色(例如，非专利文件3)。因此，在此实施例中，作为用于估计声音的到来方向(角度)的方法，将用于每一个角度的头部相关传递函数的波谷频率和峰值频率的特征与在耳道的入口位置处观测到的输入语音的频率特性作比较，以估计声音的到来方向 (角度)。然后，除了会话对方语音之外的声音方向搜索部件306向频率特性校正处理单元 305输出关于基于搜索的除了会话对方语音之外的声音呼叫语音被估计为除了会话对方语音之外的声音的到来方向的方向信息。校正因子存储单元310在其中存储在输入语音的频率的定向特性中的每一个角度的校正因子。该校正因子考虑当在头部佩戴助听器时头部形状的影响。在音频标准模式存储单元311中存储的音频标准模式是预先从已经使用具有一个特性的麦克风采集的、除了会话对方语音之外的声音的大量数据建立的模式。频率特性校正处理单元305校正已经从除了会话对方方向之外的方向定向合成部件304输出的除了会话对方语音之外的声音数据，以便基于被估计为从除了会话对方语音之外的声音方向搜索部件306已经输入的、除了会话对方语音之外的声音的到来方向的方向(角度)信息，使用在校正因子存储单元310中存储的校正因子中在匹配除了会话对
16方语音之外的声音的方向的方向(角度)上的校正因子，在任何时间提供与在建立音频标准模式时的麦克风的特性相同的特性。然后，校正的除了会话对方语音之外的声音数据被输出到除了会话对方语音之外的声音确定部件307。除了会话对方语音之外的声音确定部件307相对于从频率特性校正处理单元305 已经输出的除了会话对方语音之外的声音，检查在音频标准模式存储单元311中存储的音频标准模式，以确定音频标准模式是否是除了会话对方语音之外的声音。当除了会话对方语音之外的声音确定部件307确定音频标准模式是除了会话对方语音之外的声音时，除了会话对方语音之外的声音确定部件307向定向/非定向确定部件308输出用于指示除了会话对方语音之外的声音的标记。另一方面，当除了会话对方语音之外的声音确定部件307确定音频标准模式不是除了会话对方语音之外的声音时，除了会话对方语音之外的声音确定部件307不向定向/非定向确定部件308输出用于指示除了会话对方语音之外的声音的标记。定向/非定向确定部件308基于从会话对方方向搜索部件302输入的会话对方的语音的到来方向和除了会话对方语音之外的声音确定部件307的确定结果，确定是否通过会话对方方向定向合成部件303和除了会话对方方向之外的方向定向合成部件304的每一个形成定向。S卩，当除了会话对方的语音之外，进一步在语音数据中包括来自除了会话对方之外的人的除了会话对方语音之外的声音时，如果输出已经从会话对方方向搜索部件302输入的会话对方的语音到来的方向(角度)，并且从除了会话对方语音之外的声音确定部件 307输出用于指示除了会话对方语音之外的声音的标记，则定向/非定向确定部件308向会话对方方向定向合成部件303输出在会话对方方向上形成定向的确定结果。而且，定向 /非定向确定部件308向除了会话对方方向之外的方向定向合成部件304输出在除了会话对方的方向之外的方向上形成定向的确定结果。另一方面，当未在语音数据中包括除了会话对方语音之外的声音，并且未从除了会话对方语音之外的声音确定部件307输出用于指示除了会话对方语音之外的声音的标记时，定向/非定向确定部件308向会话对方方向定向合成部件303输出在会话对方方向上形成定向的确定结果。而且，定向/非定向确定部件308基于已经从会话对方方向搜索部件302输入的会话对方的语音到来的方向(角度)、和从除了会话对方语音之外的声音确定部件307输出的定向信息，向其输出在除了会话对方的方向之外的方向上形成定向的确定结果。而且，定向/非定向确定部件308向除了会话对方方向之外的方向定向合成部件 304输出未形成定向的确定结果。除了会话对方方向之外的方向定向合成部件304基于定向/非定向确定部件308 的确定结果来进行用于形成定向的信号处理。在从定向/非定向确定部件308接收到形成定向的确定结果时，除了会话对方方向之外的方向定向合成部件304在除了会话对方的方向之外的方向上形成定向。例如，如图8中所示的定向图案802所示，除了会话对方方向之外的方向定向合成部件304在用于除了会话对方语音之外的声音的检测的、除了会话对方方向之外的方向上形成定向，由此使得能够从麦克风检测到从除了会话对方方向之外的方向到来的声音。另一方面，在从定向/非定向确定部件308接收到未形成定向的确定结果时，除了会话对方方向之外的方向定向合成部件304在除了会话对方的方向之外的方向上不进行用于形成定向的信号处理。会话对方方向定向合成部件303基于定向/非定向确定部件308的确定结果来进行用于形成定向的信号处理。即，当定向/非定向确定部件308确定形成定向时，会话对方方向定向合成部件303基于所采集的会话对方的语音数据和关于会话对方的语音到来的方向的信息，进行用于在会话对方的方向上形成定向的信号处理。例如，会话对方方向定向合成部件303将定向改变为由图7的定向图案701和在图8中图示的定向图案801指示的会话对方的方向。另一方面，当定向/非定向确定部件 308确定不形成定向时，会话对方方向定向合成部件303不进行用于形成定向的信号处理。 然后，向扬声器309输出其中合成定向的会话对方的语音数据。扬声器309是语音输出部件，并且输出通过由会话对方方向定向合成部件303形成的定向加强的会话对方的声音。结果，音频信号处理装置300的佩带者可以收听会话对方的加强的声音。而且，当除了会话对方方向之外的方向定向合成部件304也在用于呼叫检测的除了会话对方的方向之外的方向上形成定向时，扬声器309可以在输出会话对方的声音的同时，输出已经由麦克风301a和301b采集的从除了会话对方之外的方向到来的、除了会话对方语音之外的声音。结果，音频信号处理装置300的佩带者也可以除了加强的会话对方的声音之外，进一步收听从除了会话对方的方向之外的方向到来的、除了会话对方语音之外的声音。<音频信号处理装置300的操作>图14是图示根据第三实施例的音频信号处理装置300的处理过程的流程图。图 15是图示用于除了会话对方语音之外的声音的检测的子处理的流程图。下面参考图14和图15的流程图来说明音频信号处理装置300的处理过程。首先，没有会话开始，并且在其右耳佩戴音频信号处理装置300的人A可以通过由图6的定向图案601所示的不分配定向的信号处理听到来自所有方向的语音。在第一实施例的情况下描述了在图6中所示的声音采集状态。然而，其也可以被应用到这个实施例的情况。在步骤ST401中，产生用于检测除了会话对方语音之外的声音的子处理。在步骤 ST402中，会话对方方向搜索部件302搜索会话对方的语音的到来方向。在步骤ST403中，会话对方方向搜索部件302基于在步骤ST402中的结果来检测是否存在会话对方。如果检测到会话对方的语音，则处理分支到步骤ST404，并且如果未检测到会话对方的语音，则处理分支到步骤ST402。在步骤ST404中，会话对方方向搜索部件302将会话对方的语音到来方向检测为角度。在步骤ST405中，向在图15中所示的用于检测除了会话对方语音之外的声音的子处理的步骤ST701发送作为角度的、在步骤ST404中已经检测的会话对方的方向。在步骤ST406中，接收关于已经从在图15中所示的用于检测除了会话对方之外的声音的检测的子处理发送的向非定向的改变的信息。在步骤ST407中，当定向/非定向确定部件308确定在会话对方的方向上合成定向时，处理分支到步骤ST408。而且，在步骤ST407中，当定向/非定向确定部件308确定未形成定向时，即，当定向改变为非定向时，处理分支到步骤ST410。
在步骤ST408中，根据所采集的会话对方的语音数据和关于由图7的定向图案701 所示的会话对方方向的方向信息，将定向合成为会话对方B的方向。在步骤ST409中，从扬声器309输出其中如图7中所示合成定向的会话对方B的语音数据，并且，音频信号处理装置300的佩带者A收听加强的会话对方的声音。在第一实施例的情况下描述了在图7中所示的定向，但是该定向可以同样被应用到这个实施例的情况。在步骤ST410中，如在图6中图示的定向图案601所示，定向被改变为非定向，并且处理返回到步骤ST401。<用于检测除了会话对方语音之外的声音的子处理>随后，下面描述在图15中所示的用于检测除了会话对方之外的声音的子处理。在步骤ST701中，接收已经在图14中所示的步骤ST405中发送的、用于指示会话对方的声音的到来方向的角度。在步骤ST702中，如果接收到用于指示会话对方的声音的到来方向的角度，则处理分支到步骤ST703，并且如果未接收到用于指示会话对方的声音的到来方向的角度，则处理分支到步骤ST702。在步骤ST703，在会话对方方向上形成定向，以允许音频信号处理装置300的佩带者A强调地收听由在图8中所示的定向图案801所示的会话对方B的语音。也在由图8中所示的定向图案802指示的用于检测除了会话对方语音之外的声音的、除了会话对方方向之外的方向中形成定向。在第一实施例中的情况下描述了在图8中图示的定向，并且该定向可以同样被应用到这个实施例的情况。在步骤ST704中，确定是否存在除了会话对方语音之外的声音。如果确定存在除了会话对方语音之外的声音，则处理分支到步骤ST705，并且如果确定没有除了会话对方语音之外的声音，则处理分支到步骤ST704。在这个示例中，作为用于确定是否存在除了会话对方语音之外的声音的一种可设想的方法，例如，确定输入声音的功率是否超过给定阈值。在步骤ST705中，除了会话对方语音之外的声音方向搜索部件306确定除了会话对方语音之外的声音的方向。在步骤ST706中，根据关于除了会话对方语音之外的声音的角度的信息，调用用于校正作为除了会话对方语音之外的声音确定部件的输入的语音数据的频率特性的校正因子，并且根据需要来应用它。下面描述如何确定频率特性的校正因子。在步骤ST707中，除了会话对方语音之外的声音确定部件307确定所校正的输入语音数据是否是除了会话对方语音之外的声音。在步骤ST708中，如果在步骤ST707中确定输入语音数据是除了会话对方语音之外的声音，则处理分支到ST709，并且如果确定输入语音数据不是除了会话对方语音之外的声音，则处理分支到ST704。在步骤ST709中，定向/非定向确定部件308向会话对方方向定向合成部件303 和除了会话对方方向之外的方向定向合成部件304发送关于向非定向的改变的信息，并且处理返回到步骤ST702。通过上述步骤ST401至步骤ST410和步骤ST701至步骤ST709，根据这个实施例的音频信号处理装置300加强会话对方的语音，并且当检测到除了会话对方语音之外的声音
19时，将定向改变为非定向。因为这个原因，助听器的用户可以收听除了会话对方语音之外的声音，并且也可以与发出除了会话对方语音之外的声音的人进行会话。〈如何确定频率特性的校正因子〉随后，将描述在步骤ST706中用于调用频率特性的校正因子的方法的具体示例。 例如，将参考图4和图5描述当佩带者A在他的头部右侧佩戴音频信号处理装置300时的频率特性的校正因子。图4是当在他的头部右侧佩戴麦克风时依赖于方向(角度)的频率特性的图。图5是图示根据本发明的第一实施例的、用于将输入语音校正校正为在建立音频标准模式时的麦克风的频率特性的校正因子的图。在第一实施例的情况中描述了图4中所示的频率特性和图5中所示的校正因子，但是它们也同样适用于这个实施例的情况。如图4中所示，当佩带者A在他的头部右侧佩戴音频信号处理装置300时，用于指示在相对于右面90°角的声音到来的频率特性的曲线401大体是平坦的，而不依赖于在低频侧的频率，并且在高频侧略微降低。另一方面，用于指示相对于左面90°角的声音到来的频率特性的曲线402向越高频区域越多地降低。在该情况下，确定校正因子，使得由图4指示的声音的频率特性改变为由图5中的虚线501表示的、在建立音频标准模式时的麦克风的频率特性。在除了会话对方语音之外的声音确定处理单元中使用在建立音频标准模式时的麦克风的频率特性。在图4中所示的在相对于右面的90°角的声音到来的频率特性(曲线401)的情况下，不必校正低频部分，但是需要在高频部分改变由箭头指示的频率特性的校正。同样， 在图4中所示的在相对于左面的90°角的声音到来的频率特性(曲线40 的情况下，校正因子在中频和高频中向更高的频率就更大的增加，由此使得能够将输入语音校正为由图 5中的虚线501所示的、在建立音频标准模式时的麦克风的频率特性。如上所述，在根据这个实施例的音频信号处理装置300中，输入语音的频率特性接近于使用校正因子在除了会话对方语音之外的声音确定部件307中学习用于检查语音识别的音频标准模式(离线)时的语音数据的频率特性。结果，可以实现实时处理，而不使语音识别精度变差。校正因子可以是已经在一般的头部形状中测量的值。为了更增强语音识别的精度，在装配音频信号处理装置300时，如图9中所示，再现用于从声源901至908获取校正因子的声音(白噪声)，该声源901至908围绕在他的右耳佩戴音频信号处理装置300的人A的头部周围。然后，通过音频信号处理装置300的麦克风来采集所再现的白噪声，并且，根据所采集的声音的特性和优选的、在建立音频标准模式时的麦克风的特性，来获取校正因子。在第一实施例的情况下描述了在图9中图示的校正因子，但是该校正因子同样可以被应用到这个实施例的情况。呼叫词不仅被应用到当人呼叫时使用的词，而且被应用到被再现以引起人的注意的通知铃声、在火车站台上警告声、汽车、卡车或公共汽车的喇叭、与方向指示器联锁的可听见的警报和由家中的家用电器产生的用于通知进展状态的提醒声音。(第四实施例)在第三实施例中，作为一个实施例描述了在任何一只耳朵(右耳)上佩戴的类型的音频信号处理装置。在第四实施例中，作为另一个示例描述了在双耳上佩戴的类型的音频信号处理装置。
图16是图示根据本发明的第四实施例的音频信号处理装置400的结构的框图。 如图16中所示，根据第四实施例的音频信号处理装置400包括右耳佩戴音频信号处理装置 400A和左耳佩戴音频信号处理装置400B。参见图16，下面描述相应的音频信号处理装置的结构。如图16中所示，构成第四实施例的音频信号处理装置400的右耳佩戴音频信号处理装置400A包括两个麦克风401a和401b、会话对方方向搜索部件402、会话对方方向定向合成部件403、除了会话对方方向之外的方向定向合成部件404、频率特性校正部件405、声音到来方向搜索部件406、除了会话对方语音之外的声音确定部件407、定向/非定向确定部件408、扬声器409、校正因子存储单元421A和音频标准模式存储单元424A。同样，构成第四实施例的音频信号处理装置400的左耳佩戴音频信号处理装置 400B包括两个麦克风41IB和41 lb、会话对方方向搜索部件412、会话对方方向定向合成部件413、除了会话对方方向之外的方向定向合成部件414、频率特性校正部件415、声音到来方向搜索部件416、除了会话对方语音之外的声音确定部件417、定向/非定向确定部件 418、扬声器419、校正因子存储单元421B和音频标准模式存储单元424B。以下，将详细描述右耳佩戴音频信号处理装置400A的结构。在左耳佩戴音频信号处理装置400B中，与在右耳佩戴音频信号处理装置400A中的那些相同名称的所有结构在操作上与右耳佩戴音频信号处理装置400A的结构相同，因此将省略其详细描述。<右耳佩戴音频信号处理装置400A的结构>麦克风401a和401b每一个采集诸如会话对方的语音的到来声音，并且将所采集的声音转换为音频信号。然后，该音频信号被输出到会话对方方向搜索部件402。以下，为了说明，假定由麦克风的每一个采集的声音除了会话对方的语音之外进一步包括以下的语音(以下称为“除了会话对方语音之外的声音”)除了当前会话对方之外的人使用该语音，从与会话对方存在的方向不同的方向呼叫音频信号处理装置400的佩带者。也假定从音频信号处理装置400的佩带者的右侧发出除了会话对方语音之外的声
曰°当会话对方的语音未被麦克风401a和401b采集时，假定像在第三实施例中那样形成(建立)在图6中所示的定向图案601。在第一实施例的情况下描述了在图6中图示的声音采集状态，但是该状态也同样可以被应用到这个实施例的情况。会话对方方向搜索部件402基于从麦克风401a和401b输入的音频信号来检测会话对方的语音数据，并且搜索所采集的会话对方的语音的到来方向。然后，向定向/非定向确定部件408输出所搜索的会话对方的语音到来的方向。声音到来方向搜索部件406根据由麦克风401a和401b采集的除了会话对方语音之外的声音来搜索到来方向。是否存在除了会话对方语音之外的声音的确定例如基于输入语音的功率是否超过给定阈值。声音到来方向搜索部件406首先通过诸如蓝牙(日本商标注册号4477936)的无线电通信手段向左耳佩戴音频信号处理装置400B的声音到来方向搜索部件416发送右耳的最大声压。同样，声音到来方向搜索部件406通过诸如蓝牙(日本商标注册号4477936) 的无线电通信手段从左耳佩戴音频信号处理装置400B的声音到来方向搜索部件416接收左耳的最大声压。
然后，声音到来方向搜索部件406将两耳的最大声压彼此作比较，并且估计除了会话对方语音之外的声音在右侧和左侧的哪一侧被发出。例如，作为搜索除了会话对方语音之外的声音的方向的方法，如果确定在右侧发出除了会话对方语音之外的声音，则声音到来方向搜索部件406通过下述方式来搜索除了会话对方语音之外的声音的方向实现由于延迟的和阵列导致的定向波束，并且估计由于定向波束的扫描导致的声源方向。声音到来方向搜索部件406向频率特性校正部件405输出基于所搜索的除了会话对方语音之外的声音、被估计为除了会话对方语音之外的声音到来的方向的方向信息。校正因子存储单元421A在其中存储在输入语音的频率的定向特性中的每一个角度的校正因子。该校正因子考虑当在头部佩戴音频信号处理装置时头部形状的影响。在音频标准模式存储单元424A中存储的音频标准模式是预先根据已经使用具有一个特性的麦克风而采集的、除了会话对方语音之外的声音的大量数据而建立的模式。频率特性校正部件405校正从除了会话对方方向之外的方向定向合成部件404已经输出的、除了会话对方语音之外的声音的数据，以便基于被估计为从声音到来方向搜索部件406输入的除了会话对方语音之外的声音的到来方向的方向(角度)信息，使用在校正因子存储单元421A中存储的校正因子中在匹配呼叫语音的方向的方向上的校正因子， 在任何时间提供与在建立音频标准模式时的麦克风的特性相同的特性。然后，校正的除了会话对方语音之外的声音的数据被输出到除了会话对方语音之外的声音确定部件407。除了会话对方语音之外的声音确定部件407针对从频率特性校正部件405已经输出的、除了会话对方语音之外的声音的数据，来检查在音频标准模式存储单元424A中存储的音频标准模式，以确定该音频标准模式是否是除了会话对方语音之外的声音。当除了会话对方语音之外的声音确定部件407确定该音频标准模式是除了会话对方语音之外的声音时，除了会话对方语音之外的声音确定部件407向定向/非定向确定部件408和左耳佩戴音频信号处理装置400B的定向/非定向确定部件418输出用于指示除了会话对方语音之外的声音的标记。另一方面，当除了会话对方语音之外的声音确定部件407确定该音频标准模式不是除了会话对方语音之外的声音时，除了会话对方语音之外的声音确定部件407不向定向/非定向确定部件408和左耳佩戴音频信号处理装置400B 的定向/非定向确定部件418输出用于指示除了会话对方语音之外的声音的标记。定向/非定向确定部件408基于从会话对方方向搜索部件402输入的会话对方的语音的到来方向和除了会话对方语音之外的声音确定部件407的确定结果，确定是否通过会话对方方向定向合成部件403和除了会话对方方向之外的方向定向合成部件404的每一个形成定向。S卩，当除了会话对方的语音之外，进一步在语音数据中包括来自除了会话对方之外的人的除了会话对方语音之外的声音时，如果输出已经从会话对方方向搜索部件402输入的会话对方的语音到来的方向(角度)，并且从除了会话对方语音之外的声音确定部件 407输出用于指示除了会话对方语音之外的声音的标记，则定向/非定向确定部件408向会话对方方向定向合成部件403输出在会话对方方向中形成定向的确定结果。而且，定向 /非定向确定部件408向除了会话对方方向之外的方向定向合成部件404输出在除了会话对方的方向之外的方向上形成定向的确定结果。另一方面，当未在语音数据中包括除了会话对方语音之外的声音，并且未从除了会话对方语音之外的声音确定部件407输出用于指示除了会话对方语音之外的声音的标记时，定向/非定向确定部件408基于已经从会话对方方向搜索部件402输入的会话对方的语音到来的方向(角度)、和从除了会话对方语音之外的声音确定部件407输出的定向信息，来输出在会话对方方向上形成定向的确定结果。而且，定向/非定向确定部件408向除了会话对方方向之外的方向定向合成部件404输出未形成定向的确定结果。除了会话对方方向之外的方向定向合成部件404基于定向/非定向确定部件408 的确定结果来进行用于形成定向的信号处理。在从定向/非定向确定部件408接收到形成定向的确定结果时，除了会话对方方向之外的方向定向合成部件404在除了会话对方的方向之外的方向上形成定向。例如，如图8中图示的定向图案802所示，也在用于检测除了会话对方语音之外的声音的、除了会话对方方向之外的方向上形成定向，由此可以从麦克风检测到从除了会话对方方向之外的方向到来的声音。另一方面，在从定向/非定向确定部件408接收到未形成定向的确定结果时，除了会话对方方向之外的方向定向合成部件404 不进行用于在除了会话对方的方向之外的方向上形成定向的信号处理。在第一实施例的情况中描述了图8所示的定向，但是该定向也同样可以应用于本实施例的情况。会话对方方向定向合成部件403基于定向/非定向确定部件408的确定结果来进行用于形成定向的信号处理。即，当定向/非定向确定部件408确定形成定向时，会话对方方向定向合成部件403基于所采集的会话对方的语音数据和会话对方的语音到来的方向的信息，来进行用于在会话对方的方向上形成定向的信号处理。例如，像在第三实施例中那样，会话对方方向定向合成部件403将定向改变为由图7的定向图案701和在图8中图示的定向图案801指示的会话对方的方向。另一方面， 当定向/非定向确定部件408确定不形成定向时，会话对方方向定向合成部件403不进行用于形成定向的信号处理。在第一实施例的情况下描述了在图7中的定向，但是该定向可以同样被应用到这个实施例的情况。向扬声器409输出用定向合成的会话对方的语音数据。扬声器409是语音输出部件，并且输出通过由会话对方方向定向合成部件403形成的定向加强的会话对方的声音。结果，音频信号处理装置400的佩带者可以收听会话对方的加强的声音。而且，当除了会话对方方向之外的方向定向合成部件404在用于检测除了会话对方语音之外的声音的、除了会话对方方向之外的方向上形成定向时，扬声器409可以在输出会话对方的声音的同时，输出已经由麦克风401a和401b采集的、从除了会话对方方向之外的方向到来的除了会话对方语音之外的声音。结果，除了会话对方的加强的声音之外，音频信号处理装置400的佩带者也可以进一步收听从除了会话对方方向之外的方向到来的除了会话对方语音之外的声音。<音频信号处理装置400的操作>图17是图示根据第四实施例的音频信号处理装置400的处理过程的流程图。图 18是图示用于检测除了会话对方语音之外的声音的子处理的流程图。下面参考图17和图 18的流程图来说明音频信号处理装置400的处理过程。首先，没有会话开始，并且人可以如图6的定向图案601所示听到来自所有方向的语音。在步骤ST801中，产生用于检测除了会话对方语音之外的声音的子处理。在步骤ST802中，会话对方方向搜索部件402搜索会话对方的语音的到来方向。在步骤ST803中，会话对方方向搜索部件402基于在步骤ST802中的结果来检测是否存在会话对方。如果检测到会话对方的语音，则处理分支到步骤ST804，并且如果未检测到会话对方的语音，则处理分支到步骤ST802。在步骤ST804中，会话对方方向搜索部件402作为角度检测会话对方的语音到来方向。在步骤ST805中，向在图18中所示的用于检测除了会话对方语音之外的声音的子处理的步骤ST901发送作为角度的、在步骤ST804中已经检测的会话对方的方向。在步骤ST806中，接收关于已经从图18中所示的用于检测除了会话对方之外的声音的子处理发送的向非定向的改变的信息。在步骤ST807中，当定向/非定向确定部件408确定在会话对方的方向上合成定向时，处理分支到步骤ST808。而且，在步骤ST807中，当定向/非定向确定部件408确定未形成定向时，即，当定向改变为非定向时，处理分支到步骤ST810。在步骤ST808中，像在第三实施例中那样，会话对方方向定向合成部件403根据所采集的会话对方的语音数据和关于由图7的定向图案701所示的会话对方方向的方向信息，将定向合成为会话对方B的方向。在步骤ST809中，从扬声器409输出其中如图7中所示的合成定向的会话对方B 的语音数据，并且，音频信号处理装置400的佩带者A收听会话对方的加强的声音。在步骤ST810中，如在图6中图示的定向图案601所示，定向被改变为非定向，并且处理返回到步骤ST801。<用于检测除了会话对方之外的声音的子处理>随后，将描述在图18中所示的用于检测除了会话对方之外的声音的子处理。在步骤ST901中，接收已经在图17中所示的步骤ST805中发送的、用于指示会话对方的声音的到来方向的角度。在步骤ST902中，如果接收到用于指示会话对方的声音的到来方向的角度，则处理分支到步骤ST903，并且如果未接收到用于指示会话对方的声音的到来方向的角度，则处理分支到步骤ST902。在步骤ST903，像在第三实施例中那样，在会话对方方向上形成定向，以允许音频信号处理装置400的佩带者A强调地收听由在图8中所示的定向图案801所示的会话对方 B的语音。也在步骤ST903中，也在由图8中所示的定向图案802指示的用于呼叫检测的除了会话对方方向之外的方向中形成定向。在步骤ST904中，右侧和左侧音频信号处理装置向彼此发送最大声压，并且通过声音到来方向搜索部件406来确定从右侧和左侧的哪个发出除了会话对方语音之外的声
曰O在步骤ST905中，基于在ST904中的确定结果，如果在右侧发出除了会话对方语音之外的声音，则处理分支到步骤ST906，并且如果在左侧发出除了会话对方语音之外的声音，则处理分支到步骤ST910。在步骤ST906中，右耳佩戴音频信号处理装置400A中的声音到来方向搜索部件 406确定除了会话对方语音之外的声音的方向。
在步骤ST907中，根据关于除了会话对方语音之外的声音的角度的信息，调用用于校正作为除了会话对方语音之外的声音确定部件的输入的语音数据的频率特性的校正因子，并且根据需要来应用它。如何确定频率特性的校正因子与在第三实施例中相同，因此将省略其详细描述。在步骤ST908中，右耳佩戴的音频信号处理装置400A中的除了会话对方语音之外的声音确定部件407确定所校正的输入语音数据是否是除了会话对方语音之外的声音。在步骤ST909中，如果在步骤ST908中确定校正的输入语音数据是除了会话对方语音之外的声音，则处理分支到ST914，并且如果确定校正的输入语音数据不是除了会话对方语音之外的声音，则处理分支到ST904。在步骤ST910中，左耳佩戴的音频信号处理装置400B中的声音到来方向搜索部件 416确定除了会话对方语音之外的声音的方向。在步骤ST911中，根据关于除了会话对方语音之外的声音的角度的信息，调用用于校正作为除了会话对方语音之外的声音确定部件的输入的语音数据的频率特性的校正因子，并且根据需要来应用它。如何确定频率特性的校正因子与在第三实施例中相同，因此将省略其详细描述。在步骤ST912中，左耳佩戴的音频信号处理装置400B中的除了会话对方语音之外的声音确定部件417确定所校正的输入语音数据是否是除了会话对方语音之外的声音。在步骤ST913中，如果在步骤ST912中确定输入语音数据是除了会话对方语音之外的声音，则处理分支到ST914，并且如果确定输入语音数据不是除了会话对方语音之外的声音，则处理分支到ST904。在步骤ST914中，如果在右侧发出除了会话对方语音之外的声音，则右耳佩戴的音频信号处理装置400A的定向/非定向确定部件408向右耳佩戴的音频信号处理装置 400A的会话对方方向定向合成部件403和除了会话对方方向之外的方向定向合成部件404 发送关于向非定向的改变的信息，并且处理返回到步骤ST902。同样，如果在左侧发出除了会话对方语音之外的声音，则左耳佩戴的音频信号处理装置400B的定向/非定向确定部件418向左耳佩戴的音频信号处理装置400B的会话对方方向定向合成部件413和除了会话对方方向之外的方向定向合成部件414发送关于向非定向的改变的信息，并且处理返回到步骤ST902。通过上述步骤ST801至步骤ST810和步骤ST901至步骤ST914，根据这个实施例的音频信号处理装置400加强会话对方的语音，并且当被呼叫时将定向改变为非定向。因为这个原因，音频信号处理装置的用户可以收听该呼叫语音，并且也可以与呼叫者进行会话。而且，用于描述上面的相应实施例的相应功能块通常被实现为作为集成电路的 LSI。那些部件可以每一个单独地被集成到一个芯片内，或它们的部分或全部可以被集成到一个芯片内。在这个示例中，相应的功能块由LSI形成。然而，LSI可以根据在集成度上的差别被称为IC、系统LSI、超LSI或超大LSI。而且，用于集成电路的技术不限于LSI，而是可以被专用电路或通用处理器实现。 可以使用在LSI的制造后可编程的FPGA(现场可编程门阵列)或可以重新配置在LSI内的电路单元的连接或设置的可重构处理器。而且，如果由于半导体技术或从其衍生的另一种技术的发展出现用于替换LSI的集成电路的技术，则不必说，可以通过使用那种技术来集成所述功能块。可以向其应用生物技术。已经详细地参考特定实施例描述了本发明。然而，对于本领域内的普通技术人员显然，在不偏离本发明的精神和范围的情况下可以不同地改变或修改本发明。本发明基于2009年6月17日提交的日本专利申请No. 2009-144271，并且其容纳通过引用被包含在此。工业上的适用性根据本发明的助听器装置可以通过使用来自两个或更多麦克风的输入信号来检测来自诸如除了会话对方之外的人的呼叫的各种声音，并且有益于用作助听器。
权利要求
1.一种助听器装置，包括多个麦克风，被配置为将包括会话对方的语音、除了所述会话对方语音之外的呼叫语音和各种声音的声音转换为音频信号；声音到来方向估计部件，用于基于由相应的麦克风转换的所述音频信号，估计除了会话对方语音之外的呼叫语音的到来方向；频率特性校正处理单元，被配置为基于由所述相应的麦克风转换的音频信号、和由所述声音到来方向估计部件估计的除了所述会话对方语音之外的呼叫语音的到来方向，校正除了所述会话对方语音之外的呼叫语音的频率特性；音频标准模式存储单元，被配置为存储用于基于由具有一个特性的麦克风采集的其他语音数据来表示音素和音节声音的特征的呼叫词标准模式；呼叫词确定部件，用于相对于所述呼叫词标准模式，检查除了其频率特性被所述频率特性校正处理单元校正的所述会话对方语音之外的呼叫语音，并且用于确定所述呼叫语音是否是呼叫词；除了会话对方方向之外的方向定向合成部件，用于基于所述呼叫词确定部件的所述确定结果，在除了所述会话对方的语音的到来方向之外的方向上形成定向；以及语音输出部件，用于基于由所述除了会话对方方向之外的方向定向合成部件形成的所述定向，输出除了所述会话对方语音之外的呼叫语音，其中，所述频率特性校正处理单元校正除了会话对方语音之外的呼叫语音的频率特性，以便提供与在建立在所述呼叫词确定部件中使用的所述音频标准模式时的所述麦克风的特性相同的特性。
2.根据权利要求1所述的助听器装置，进一步包括会话对方方向定向合成部件，用于基于所述呼叫词确定部件的所述确定结果，在所述会话对方的所述语音的到来方向上形成定向，其中，所述呼叫词确定部件相对于所述呼叫词标准模式，检查其频率特性被所述频率特性校正处理单元校正的所述会话对方的语音数据，并且如果所述呼叫词确定部件确定所述语音数据是呼叫词，则所述会话对方方向定向合成部件在所述会话对方的所述语音的到来方向上形成定向，并且，所述除了会话对方方向之外的方向定向合成部件在除了所述会话对方的所述语音的到来方向之外的方向上形成定向，并且，所述语音输出部件除了由所述除了会话对方方向之外的方向定向合成部件形成的定向之外，进一步基于由所述会话对方方向定向合成部件形成的定向，输出所述会话对方的语音和除了所述会话对方语音之外的呼叫语音。
3.根据权利要求2所述的助听器装置，其中，所述呼叫词确定部件相对于所述呼叫词标准模式，检查其频率特性被所述频率特性校正处理单元校正的所述会话对方的所述语音数据，并且如果所述呼叫词确定部件确定所述语音数据不是呼叫词，则所述会话对方方向定向合成部件在所述会话对方的所述语音的到来方向上形成定向，并且，所述除了会话对方方向之外的方向定向合成部件不在所述会话对方的所述语音的到来方向之外的方向上形成定向，并且所述语音输出部件基于由所述除了会话对方方向之外的方向定向合成部件形成的定向，输出所述会话对方的语音和除了所述会话对方语音之外的呼叫语音。
全文摘要
没有在语音识别精度上的降低，通过使用从多个麦克风输入的声音信号检测由除了会话对方之外的某人的呼叫和其他各种声音。助听器装置基于除了会话对方之外的某人的呼叫语音到来的方向，校正除了会话对方之外的某人的呼叫语音的频率特性，基于通过多个麦克风转换的声音信号来估计该方向。然后，基于通过使用具有一个特性的麦克风记录的其他语音数据，助听器装置将其频率特性已经被频率特性调整处理单元校正的、除了会话对方之外的某人的呼叫语音与用于表示音素和音节特征的呼叫词标准模式作比较。通过这个比较，该助听器装置确定除了会话对方之外的某人的呼叫语音是否是呼叫词。然后，基于呼叫词确定部件的确定结果，助听器装置相对于除了会话对方的语音到来的方向之外的方向形成定向。另外，该助听器装置校正除了会话对方之外的某人的呼叫语音的频率特性，使得该频率特性可以与在准备声音标准模式时的麦克风的特性相同。
文档编号H04R3/00GK102428716SQ20108002151
公开日2012年4月25日 申请日期2010年6月16日 优先权日2009年6月17日
发明者小沼知浩, 山田麻纪, 远藤充, 野村和也 申请人:松下电器产业株式会社