交谈检测装置、助听器和交谈检测方法

专利名称：交谈检测装置、助听器和交谈检测方法
技术领域：
本发明涉及在周围存在多个说话者的状况下，检测与交谈对象的交谈的交谈检测装置、助听器和交谈检测方法。
背景技术：
近年来，助听器能够从来自多个话筒单元的输入信号形成敏感度的指向性(例如，参照专利文献1)。使用助听器想听见的声源主要是与助听器佩戴者进行交谈的对象的声音。因此，为了有效利用指向性处理，希望助听器进行与检测交谈的功能联动的控制。以往，作为感测(sensing)交谈状况的方法，有使用摄像机和话筒的方法(例如， 参照专利文献2、。在专利文献2中记载的信息处理装置对来自摄像机的影像进行处理，估计人物的视线方向。在进行交谈的情况下，考虑到在视线方向上存在交谈对象的情况较多。 但是，在助听器用途中，由于需要追加摄像设备，所以该方法(approach)不适当。另一方面，通过多个话筒(话筒阵列)，能够估计从哪个方向听见声音，所以在会议的场合下，能够从该估计结果信息中提取交谈对象。然而，声音具有扩散的性质。因此， 如在咖啡厅的交谈那样，在存在多个交谈组的情况下，仅基于传来方向进行的判断，难以区别向自己说出的话和向自己以外的人说出的话。从听见发声的人的角度来看，声音的传来方向并不表示发出了声音的人的脸的方向。这一点与能够直接估计脸或视线的方向的影像输入不同，所以难以实现基于声音输入的交谈对象检测的方法。作为考虑了干扰音(masking sound)的存在的基于声音输入的现有的交谈对象检测装置，例如有专利文献3中记载的声音信号处理装置。在专利文献3中记载的声音信号处理装置对来自话筒阵列的输入信号进行处理而进行声源分离，并通过对两个声源间的交谈成立程度进行运算，判定交谈是否成立。专利文献3中记载的声音信号处理装置，提取在来自多个声源的多个声音信号混在一起而输入的环境下交谈成立的有效声音。该声音信号处理装置基于发声的时序，进行考虑了交谈是“话的投接球”的性质的数值化。图1是表示专利文献3中记载的声音信号处理装置的结构的图。如图1所示，声音信号处理装置10包括话筒阵列11 ；声源分离单元12 ；每个声源的发声检测单元13、14、15 ；每两个声源的交谈成立度运算单元16、17、18 ；以及有效声音提取单元19。声源分离单元12将从话筒阵列11输入的多个声源进行分离。发声检测单元13、14和15判定各个声源的有声/无声。交谈成立度运算单元16、17和18对每两个声源的交谈成立度进行运算。有效声音提取单元19从每两个声源的交谈成立度中提取交谈成立度最大的声音作为有效声音。作为声源分离的方式，已知基于ICAancbpendent Component Analysis 独立分量分析)进行的方式或通过ABF(Adaptive Beamformer :自适应波束形成器)进行的方式。另外，也已知两者的动作原理相似(例如，参照非专利文献1)。现有技术文献专利文献专利文献1 美国专利第2002/0041695A1号说明书专利文献2 日本特开2000-352996号公报专利文献3 日本特开2004-133403号公报非专利文献非专利文献1 牧野昭二等著“独立成分分析(二基3 < 7 K音源分離”电子情报通信学会技术研究报告.EA,应用音响103 (129)，17-24，2003-06-1
发明内容
发明要解决的问题然而，在这样的现有的声音信号处理装置中，具有以下的问题，即交谈成立度的有效性变低，无法高精度地判定前方的说话者是否为交谈对象。这是因为，在可佩戴 (wearable)话筒阵列(头部佩戴式的话筒阵列)的情况下，从佩戴者来看，话筒阵列佩戴者的自身发声和位于佩戴者的前方的交谈对象的发声的双方都辐射到相同方向(前方)。因此，在现有的声音信号处理装置中，难以分离这些发声。例如，在由对左右耳朵分别佩戴两个话筒单元的两耳助听器的总计四个话筒单元构成话筒阵列的情况下，能够以佩戴者的头部为中心，对周围的音响信号执行声源分离处理。但是，在如位于前方的说话者的发声和佩戴者自身的发声那样，声源的方向相同的情况下，无论通过ABF或ICA，都难以进行声源分离。这种声源的方向相同，影响到各个声源的有声/无声判定精度，也影响到基于该精度的交谈成立判定的精度。本发明的目的在于，提供能够使用头部佩戴式的话筒阵列，高精度地判定前方的说话者是否为交谈对象的交谈检测装置、助听器以及交谈检测方法。解决问题的方案本发明的交谈检测装置，使用被佩戴在头部的左右的至少一侧、并且每一侧至少由两个以上的话筒构成的话筒阵列判定前方的说话者是否为交谈对象，所述交谈检测装置所采用的结构包括前发声检测单元，检测位于所述话筒阵列佩戴者的前方的说话者的发声作为前方向的发声；自身发声检测单元，检测所述话筒阵列佩戴者的自身发声；侧发声检测单元，检测位于所述话筒阵列佩戴者的左右的至少一侧的说话者的发声作为侧发声； 侧方向交谈成立度导出单元，基于所述自身发声和所述侧发声的检测结果，对所述自身发声和所述侧发声之间的交谈成立度进行运算；以及前方向交谈检测单元，基于前发声的检测结果和侧方向交谈成立度的运算结果，判定有无前方向的交谈，在检测出所述前方向的发声，且所述侧方向的交谈成立度低于规定值的情况下，所述前方向交谈检测单元判定为在与前方向进行交谈。本发明的助听器所采用的结构包括上述交谈检测装置；以及输出音控制单元， 基于由所述前方向交谈检测单元判定的交谈对象方向，控制使所述话筒阵列佩戴者听见的声音的指向性。本发明的交谈检测方法，使用被佩戴在头部的左右的至少一侧、并且每一侧至少由两个以上的话筒构成的话筒阵列判定前方的说话者是否为交谈对象，所述交谈检测方法包括以下的步骤检测位于所述话筒阵列佩戴者的前方的说话者的发声作为前方向的发声；检测所述话筒阵列佩戴者的自身发声；检测位于所述话筒阵列佩戴者的左右的至少一侧的说话者的发声作为侧发声；基于所述自身发声和所述侧发声的检测结果，对所述自身发声和所述侧发声之间的交谈成立度进行运算；以及前方向交谈检测步骤，基于前发声的检测结果和侧方向交谈成立度的运算结果，判定有无前方向的交谈，在所述前方向交谈检测步骤中，在检测出所述前方向的发声，且所述侧方向的交谈成立度低于规定值的情况下， 判定为在与前方向进行交谈。发明的效果根据本发明，能够不使用容易受到自身发声的影响的前方向的交谈成立度运算的结果而检测有无前方向的发声。其结果，能够不受自身发声的影响而高精度地检测前方向的交谈，并能够判定前方的说话者是否为交谈对象。


图1是表示现有的声音信号处理装置的结构。图2是表示本发明的实施方式1的交谈检测装置的结构的图。图3是表示上述实施方式1的交谈检测装置的交谈的状态判定以及指向性控制的流程图。图4A 图4C是用于说明求发声重叠分析值Pc的方法的图。图5A 图5B是表示上述实施方式1的交谈检测装置的存在多个交谈组时的说话者的配置图案(pattern)的例子的图。图6A 图6B是表示一例上述实施方式1的交谈检测装置的交谈成立度的时间变化的图。图7是将上述实施方式1的交谈检测装置的基于评价实验的发声检测正确率表示为图表的图。图8是将上述实施方式1的交谈检测装置的基于评价实验的交谈检测正确率表示为图表的图。图9是表示本发明的实施方式2的交谈检测装置的结构的图。图IOA 图IOB是表示一例上述实施方式2的交谈检测装置的交谈成立度的时间变化的图。图11是将上述实施方式2的交谈检测装置的基于评价实验的交谈检测正确率表示为图表的图。标号说明100、200 交谈检测装置101 话筒阵列102:自身发声检测单元103 前发声检测单元104 侧发声检测单元105 侧方向交谈成立度导出单元
106、206 前方向交谈检测单元107 输出音控制单元151 侧发声重叠持续长度分析单元152 侧沉默持续长度分析单元160 侧方向交谈成立度运算单元120 :A/D 转换单元201 前方向交谈成立度导出单元202 前方向交谈成立度合成单元251 前发声重叠持续长度分析单元252 前沉默持续长度分析单元260 前方向交谈成立度运算单元
具体实施例方式以下，参照附图详细地说明本发明的实施方式。(实施方式1)图2是表示本发明的实施方式1的交谈检测装置的结构的图。本实施方式的交谈检测装置能够适用于具备输出音控制单元(指向性控制单元)的助听器。如图2所示，交谈检测装置100包括话筒阵列101 ；A/D (Analog to Digital，模拟 /数字)转换单元120 ；声音检测单元140 ；侧方向交谈成立度导出单元(侧方向交谈成立度运算单元)105 ；前方向交谈检测单元106 ；以及输出音控制单元(指向性控制单元)107。话筒阵列101由对左右两耳分别有两个的总计四个话筒单元构成。一侧耳朵的话筒单元间的距离为Icm程度。左右的话筒单元间的距离为15 20cm程度。A/D转换单元120将来自话筒阵列101的声音信号转换为数字信号。然后，A/D转换单元120将转换后的声音信号输出到自身发声检测单元102、前发声检测单元103、侧发声检测单元104和输出音控制单元107。在声音检测单元140中，侧发声检测单元104输入来自话筒阵列101的^h的音响信号(由A/D转换单元120转换为数字信号后的信号)。然后，声音检测单元140从该音响信号中分别检测话筒阵列101佩戴者(以下，助听器佩戴者)的自身发声、前方向的发声和侧方向的发声。声音检测单元140具有自身发声检测单元102、前发声检测单元103和侧发声检测单元104。自身发声检测单元102检测助听器佩戴者的自身发声。自身发声检测单元102 通过利用振动分量的提取而检测自身发声。详细而言，自身发声检测单元102将音响信号作为输入。然后，自身发声检测单元102基于通过提取在前后的话筒间的无相关的信号分量所得的自身发声功率分量，逐次地判定有无自身发声。能够利用低通滤波器(lowpass filter)或减法式的话筒阵列处理，实现无相关的信号分量的提取。前发声检测单元103检测位于助听器佩戴者的前方的说话者的发声作为前方向的发声。详细而言，前发声检测单元103将来自话筒阵列101的^h的音响信号作为输入。 然后，前发声检测单元103形成前向指向性，并基于其功率信息，逐次地判定在前方有无发声。自身发声检测单元102也可以将该功率信息除以为了减低自身发声的影响而由自身发声检测单元102获得的自身发声功率分量的值。侧发声检测单元104检测助听器佩戴者的左右的至少一侧的发声作为侧发声。详细而言，侧发声检测单元104将来自话筒阵列101的^h的音响信号作为输入。然后，侧发声检测单元104形成侧方向指向性，并基于其功率信息，逐次地判定有无侧方向的发声。侧发声检测单元104也可以将该功率信息除以为了减低自身发声的影响而由自身发声检测单元102获得的自身发声功率分量的值。另外，侧发声检测单元104为了提高与自身发声或前方向的发声的分离度，也可以利用左右的功率差。侧方向交谈成立度导出单元105基于自身发声和侧发声的检测结果，对自身发声和侧发声之间的交谈成立度进行运算。详细而言，侧方向交谈成立度导出单元105获取自身发声检测单元102的输出和侧发声检测单元104的输出。然后，侧方向交谈成立度导出单元105基于自身发声和侧发声的有无的时序，对侧方向交谈成立度进行运算。这里，侧方向交谈成立度是表示在助听器佩戴者和其侧方向的说话者之间进行交谈的程度的值。侧方向交谈成立度导出单元105具有侧发声重叠持续长度分析单元151 ；侧沉默持续长度分析单元152 ；以及侧方向交谈成立度运算单元160。侧发声重叠持续长度分析单元151求并分析由自身发声检测单元102检测出的自身发声和由侧发声检测单元104检测出的侧发声之间的、发声重叠区间的持续长度(以下， 称为“发声重叠持续长度分析值”)。侧沉默持续长度分析单元152求并分析由自身发声检测单元102检测出的自身发声和由侧发声检测单元104检测出的侧发声之间的、沉默区间的持续长度(以下，称为“沉默持续长度分析值”)。也就是说，侧发声重叠持续长度分析单元151和侧沉默持续长度分析单元152提取发声重叠持续长度分析值和沉默持续长度分析值作为表示日常交谈的特征量的识别参数。在判定(识别)交谈对象，并计算交谈成立度时，使用识别参数。另外，在后面叙述识别参数提取单元150中的发声重叠分析值和沉默分析值的计算方法。侧方向交谈成立度运算单元160基于由侧发声重叠持续长度分析单元151计算出的发声重叠持续长度分析值、以及由侧沉默持续长度分析单元152计算出的沉默持续长度分析值，计算侧方向交谈成立度。在后面叙述侧方向交谈成立度运算单元160中的侧方向交谈成立度的计算方法。前方向交谈检测单元106基于前发声的检测结果和侧方向交谈成立度的运算结果，检测有无前方向的交谈。详细而言，前方向交谈检测单元106输入前发声检测单元103 的输出和侧方向交谈成立度导出单元105的输出，通过与预先设定的阈值进行大小比较， 判定在助听器佩戴者和前方向的说话者之间有无交谈。另外，在检测出前方向的交谈，并且侧方向的交谈成立度低的情况下，前方向交谈检测单元106判定为与前方向进行交谈。这样，前方向交谈检测单元106具备检测有无前方向的交谈的功能；以及交谈对象方向判定功能，在检测出前方向的交谈，并且侧方向的交谈成立度低的情况下，判定为与前方向进行交谈。鉴于上述观点，也可以将前方向交谈检测单元106称为交谈状态判定单元。另外，前方向交谈检测单元106也可以由该交谈状态判定单元和其他块构成。输出音控制单元107基于由前方向交谈检测单元106判定的交谈状态，控制使助听器佩戴者听见的声音的指向性。也就是说，输出音控制单元107控制输出音以使前方向交谈检测单元106中判定的交谈对象的声音容易听见，并将其输出。具体而言，输出音控制单元107对从A/D转换单元120输入的声音信号进行用于抑制非交谈对象的声源方向的指向性控制。通过CPU，执行上述各个块的检测、运算和控制。另外，也可以使用进行一部分的信号处理的DSP (Digital Signal I^rocessor ；数字信号处理器)，而不是通过CPU进行所有处理。以下，说明如上构成的交谈检测装置100的动作。图3是表示交谈检测装置100的交谈的状态判定和指向性控制的流程图。通过 CPU以规定定时执行本流程。该图中的S表示流程的各个步骤。开始本流程时，在步骤Sl中，自身发声检测单元102检测有无自身发声。在没有自身发声的情况下(Si “否”)，进入步骤S2，而在有自身发声的情况下(Si “是”)，进入步马聚S3 ο在步骤S2中，由于没有自身发声，所以前方向交谈检测单元106判定为助听器佩戴者未进行交谈。输出音控制单元107根据助听器佩戴者未进行交谈的判定结果，将对前方向的指向性设定为宽指向。在步骤S3中，前发声检测单元103检测有无前发声。在没有前发声的情况下(S3 “否”)，进入步骤S4，而在有前发声的情况下(S3: “是”)，进入步骤S5。有前发声的情况是有助听器佩戴者在与前方向的说话者进行交谈的可能性的情况。在步骤S4中，由于没有前发声，所以前方向交谈检测单元106判定为助听器佩戴者不是在与前方的说话者进行交谈。输出音控制单元107根据助听器佩戴者不是在与前方的说话者进行交谈的判定结果，将对前方向的指向性设定为宽指向。在步骤S5中，侧发声检测单元104检测有无侧发声。在没有侧发声的情况下(S5 “否”)，进入步骤S6，而在有侧发声的情况下(S5 “是”)，进入步骤S7。在步骤S6中，由于有自身发声和前发声且没有侧发声，所以前方向交谈检测单元 106判定为助听器佩戴者在与前方的说话者进行交谈。输出音控制单元107根据助听器佩戴者在与前方的说话者进行交谈的判定结果，将对前方向的指向性设定为窄指向。在步骤S7中，前方向交谈检测单元106基于侧方向交谈成立度导出单元105的输出，判定助听器佩戴者是否在与前方向的说话者进行交谈。输出音控制单元107根据助听器佩戴者是否在与前方向的说话者进行交谈的判定结果，在窄指向和宽指向之间切换对前方向的指向性。另外，如上所述，前方向交谈检测单元106输入的侧方向交谈成立度导出单元105 的输出是由侧方向交谈成立度导出单元105计算出的侧方向交谈成立度。这里，说明侧方向交谈成立度导出单元105的动作。侧方向交谈成立度导出单元105的侧发声重叠持续长度分析单元151和侧沉默持续长度分析单元152求声音信号Sl和声音信号Sk的、发声的重叠和沉默的区间的持续长度。这里，声音信号Sl是用户的声音，声音信号Sk是从侧方向k传来的声音。然后，侧发声重叠持续长度分析单元151和侧沉默持续长度分析单元152分别计算帧t中的发声重叠分析值Pc和沉默分析值I^s，并将这些输出到侧方向交谈成立度运算单元 160。接着，说明发声重叠分析值Pc和沉默分析值I^s的计算方法。首先，参照图4，说明发声重叠分析值Pc的计算方法。在图4A中，以长方形框表示的区间示出基于由自身发声检测单元102生成的用于表示声音/非声音的检测结果的声音区间信息，声音信号Sl被判定为声音的发声区间。在图4B中，以长方形框表示的区间示出由侧发声检测单元104将声音信号Sk判定为声音的发声区间。然后，侧发声重叠持续长度分析单元151将这些区间重叠的部分定义为发声重叠(图4C)。侧发声重叠持续长度分析单元151中的具体动作如下。在帧t中，在发声重叠开始的情况下，侧发声重叠持续长度分析单元151预先存储该帧作为开端帧。然后，在帧t中， 在发声重叠结束了的情况下，侧发声重叠持续长度分析单元151将其视为一个发声重叠， 并将从开端帧起的时间长度作为发声重叠的持续长度。在图4C中，以椭圆形包围的部分表示帧t以前的发声重叠。然后，在帧t中，在发声重叠结束了的情况下，侧发声重叠持续长度分析单元151求与帧t以前的发声重叠的持续长度有关的统计量，并将其存储。而且，侧发声重叠持续长度分析单元151使用该统计量，计算帧t中的发声重叠分析值Pc。发声重叠分析值Pc优选是表示在发声重叠中其持续长度短的情况多还是长的情况多的参数。接着，说明沉默分析值I^s的计算方法。首先，在本实施方式中，将基于由自身发声检测单元102和侧发声检测单元104生成的声音区间信息，声音信号Sl被判定为非声音的区间和声音信号Sk被判定为非声音的区间重叠的部分定义为沉默。与发声重叠的分析度同样地，侧沉默持续长度分析单元152 求沉默区间的持续长度，求与帧t以前的沉默区间的持续长度有关的统计量，并将其存储。 而且，侧沉默持续长度分析单元152使用该统计量，计算帧t中的沉默分析值1^。沉默分析值I3S优选是表示沉默中其持续长度短的情况多还是长的情况多的参数。接着，说明发声重叠分析值Pc和沉默分析值I^s的具体的计算方法。侧沉默持续长度分析单元152在帧t中分别存储/更新与持续长度有关的统计量。与持续长度有关的统计量包括帧t以前的(1)发声重叠的持续长度的和Wc、(2)发声重叠的个数Ne、(3)沉默的持续长度的和Ws、以及(4)沉默的个数Ns。然后，侧发声重叠持续长度分析单元151和侧沉默持续长度分析单元152通过式(1-1)和(1- 分别求帧t以前的发声重叠的平均持续长度Ac、以及帧t以前的沉默区间的平均持续长度As。Ac =发声重叠的持续长度的和Wc/发声重叠的个数Ne... (1-1)As =沉默区间的持续长度的和Ws/沉默的个数Ns. . . (1-2)Ac和As的值越小，分别表示短的发声重叠和短的沉默越多。因此，为了匹配大小关系，使Ac和As的代码反转，如下式(2-1)和(2- 那样地定义发声重叠分析值Pc和沉默分析值I3S。Pc = -Ac··· (2-1)Ps = -As... (2-2)另外，除了发声重叠分析值Pc和沉默分析值I^s以外，还能够考虑如下参数作为表示持续长度为短的交谈多还是长的交谈多的参数。
作为参数的计算，分为发声重叠和沉默的持续长度比阈值T(例如，T = 1秒)短的交谈和T以上的长的交谈，并求各个出现个数或持续长度和。接着，作为参数的计算，求帧t以前出现的持续长度短的交谈的出现个数或持续长度和的比例。于是，该比例为值越大，表示短的持续长度的交谈越多的参数。另外，在沉默持续了一定时间的时刻，将这些统计量进行初始化，以使其表示一个交谈的整体的性质。或者，也可以对每一定时间(例如，20秒)，将统计量进行初始化。另夕卜，统计量也可以总是使用先前一定时窗内的发声重叠、沉默持续长度的统计量。然后，侧方向交谈成立度运算单元160计算声音信号Sl和声音信号Sk的交谈成立度，并将其作为侧方向交谈成立度输出到交谈对象判定单元170。例如，如式(3)那样地定义帧t中的交谈成立度C1Jt)。C1, k (t) = wl · Pc (t) +w2 · Ps (t)... (3)另外，通过实验，预先求发声重叠分析值Pc的权重wl和沉默分析值I3S的权重w2 的最佳值。在对于所有方向的声源，无声持续了一定时间的时刻，将帧t进行初始化。然后， 在任一方向的声源中存在功率时，侧方向交谈成立度运算单元160开始计数。另外，也可以利用使很久以前的数据被遗忘而适应于最新的状况的时间常数，求交谈成立度。另外，侧发声重叠持续长度分析单元151和侧沉默持续长度分析单元152为了削减计算量，也可以在一定时间内无法从侧方向检测出声音的情况下，视为在侧方向无人，在下一次检测出声音之前不进行上述处理。此时，例如，侧方向交谈成立度运算单元160将交谈成立度Ut) = 0输出到前方向交谈检测单元106即可。以上，结束侧方向交谈成立度导出单元105的动作的说明。另外，侧方向交谈成立度的导出方法并不限于上述内容。例如，侧方向交谈成立度导出单元105也可以通过专利文献3中记载的方法，计算交谈成立度。这样，在步骤S5中，在有侧发声的情况下，自身发声、前发声和侧发声都存在，所以通过前方向交谈检测单元106详细地判断交谈的状况，输出音控制单元107根据其结果控制指向性。一般而言，从助听器佩戴者来看，交谈对象位于前方向的情况多。但是，在餐桌席位等中，也有交谈对象位于侧方向的情况，此时，因椅子被固定、正在饮食中等的理由，身体朝向前方，相互看不见对方的脸而听见来自旁边或斜侧方的声音，同时进行交谈。交谈对象位于后方的情形为坐在轮椅的情况等极受限定的状况。因此，能够将从助听器佩戴者所见的交谈对象的位置通常大致分为容许某种程度的宽度的前方向和侧方向。另一方面，在耳挂式等的助听器上配置的话筒阵列101中，左右的话筒单元间距离为15 20cm左右，前后的话筒单元间距离为Icm左右。因此，基于波束形成(beam forming)的频率特性，语音频带的指向性图案在前方向上能够较敏锐，但在侧方向上无法敏锐。因此，在助听器中，若限定于使指向性在前方向上缩小或扩大的控制，则可以认为只要进行交谈对象是否位于前方的判定即可，即使说话者位于前方和侧方，也仅判定与前方的说话者之间的交谈成立即可。但是，另一方面，对进行交谈成立的判定所需的发声的检测的观点而言，导出另一个结论。希望通过助听器听见的声音为交谈对象的声音，但在交谈中，也存在助听器佩戴者的自身发声。该自身发声从助听器佩戴者的嘴辐射到前方，所以成为与前方的说话者的发声相同方向的声源，混合存在于向前方向的波束形成器(beam former)内。因此，在检测前方的说话者的发声时，自身发声成为干扰。另一方面，自身发声的辐射功率在侧方向上变弱，所以对应于自身发声的影响少， 利用波束形成器检测侧方向的说话者的发声比检测前发声有利。另外，作为交谈成立，若与侧方向不成立交谈则与前方向进行交谈的估计成立。因此，在说话者位于前方和侧方的状况下，在上述估计之下，以从大致分为前方或侧方的交谈对象的位置中的消去法，判断是否缩小前方向的指向性比直接判断与前方向的交谈成立性有利。根据这样的研究，前方向交谈检测单元106基于前发声的检测结果和侧方向交谈成立度的运算结果，检测有无前方向的交谈。然后，在检测前方向的交谈，并且侧方向的交谈成立度低的情况下，前方向交谈检测单元106判定为与前方向进行交谈。也就是说，以检测出前发声作为前发声检测单元103的输出为前提，在侧方向交谈成立度低的情况下，前方向交谈检测单元106判定为助听器佩戴者和其前方向的说话者之间存在交谈。根据上述结构，前方向交谈检测单元106进行以下判定，S卩在侧方向的交谈成立度低的情况下，前方向交谈检测单元106判定为助听器佩戴者和其前方向的说话者之间存在交谈。由此，前方向交谈检测单元106能够不使用因自身发声的影响而无法获得高精度的前方向的交谈成立度，检测前方向的交谈。这里，说明本发明人等实际录音日常交谈而进行了交谈检测的评价实验的结果。图5是表示存在多个交谈组时的说话者的配置图案的例子的图。图5A表示助听器佩戴者与交谈对象面对面的图案A，图5B表示助听器佩戴者与交谈对象并排的图案B。将数据量设为10分钟X2座席配置图案X2说话者组。如图5所示，座席配置图案有以下两种，即与交谈对象面对面的图案A、以及与交谈对象并排的图案B。然后，在本评价实验中，对这两种座席配置图案进行交谈的录音。在该图中，箭头表示在进行交谈的说话者对。另外，在本评价实验中，每两位的交谈组同时进行交谈，自己的交谈对象以外的声音为干扰音，所以从受验者获得因太吵而难以交谈的感想。在本评价实验中，在该图中，对每个以椭圆形表示的说话者对，求基于发声检测结果的交谈成立度，并进行交谈检测。式(4)表示求用于验证交谈成立的各个说话者对的交谈成立度的式子。交谈成立度C1 = C0-Wv Xavel en_DV-ws Xavel en_DU. . . (4)这里，上式的Ctl为专利文献3中公开的交谈成立度的运算式。Ctl在该说话者对的每一个人交替发声时数值变大，而在两个人同时发声时和两个人同时沉默时数值变小。另外，avelen_DV是该说话者对的同时发声区间的长度的平均值，avelen_DU是该说话者对的同时沉默区间的长度的平均值。avelen_DV和aveler^DU利用与交谈对象之间同时发声区间或同时沉默区间的期待值短的知识。Wv和Ws是权重，将其实验性地最优化。图6是表示一例本评价实验中的交谈成立度的时间变化的图。图6A是前方向的交谈成立度，图6B是侧方向的交谈成立度。在图6A和图6B中都是，⑴和(3)的数据是并排时进行交谈的数据，(2)和的数据是面对面地进行交谈的数据。在图6A中，设定阈值θ，以区分前方的说话者是交谈对象的情况(参照⑵和 (4))、以及前方的说话者是非交谈对象的情况(参照(1)和(3))。在该例子中，设为θ= -0. 5，从而较好地进行区分，但在上述O)的情形中交谈成立度不提高，难以分离交谈对象和非交谈对象。在图6B中，设定阈值θ，以区分侧方的说话者是交谈对象的情况(参照(1)和 (3))、以及侧方的说话者是非交谈对象的情况(参照(2)和G))。在该例子中，设为θ = 0. 45，从而能够较好地进行区分。在图6Α和图6Β的比较中，图6Β较好地进行基于阈值的分离。作为评价基准，在交谈对象的组的情况下，超过阈值θ时正确，而在非交谈对象的组的情况下，低于阈值θ时正确。另外，将交谈检测正确率定义为正确地检测交谈对象的比例和正确地丢弃非交谈对象的情况的平均值。图7和图8是将基于本评价实验的发声检测正确率和交谈检测正确率作为图表而表示的图。首先，图7表示自身发声的检测结果、前发声的检测结果和侧发声的检测结果的发声检测正确率。如图7表示，自身发声检测正确率为71%，前发声检测正确率为65%，侧发声检测正确率为68%。也就是说，通过本评价实验，确认了以下的研究是妥当的，即侧发声比前发声不容易受到自身发声的影响，并有利于检测。接着，图8表示基于使用了自身发声和前发声的检测结果的前方向交谈成立度的交谈检测的正确率(平均)、以及基于使用了自身发声和侧发声的检测结果的侧方向交谈成立度的交谈检测的正确率(平均)。如图8所示，基于侧方向交谈成立度的交谈检测正确率为80%，超过了基于前方向的交谈成立度的交谈检测正确率76%。也就是说，通过本评价实验，确认了侧发声的检测的有利性反映于基于侧方向的交谈成立度的交谈检测的有利性。由以上可知，通过本评价实验，确认了在是否将窄指向性指向前方向的判断上利用侧发声的检测是有效的。以上，本实施方式的交谈检测装置100包括自身发声检测单元102，检测助听器佩戴者的自身发声；前发声检测单元103，检测位于助听器佩戴者的前方的说话者的发声作为前方向的发声；以及侧发声检测单元104，检测位于助听器佩戴者的左右的至少一侧的说话者的发声作为侧发声。另外，交谈检测装置100包括侧方向交谈成立度导出单元 105，基于自身发声和侧发声的检测结果，对自身发声和侧发声之间的交谈成立度进行运算；前方向交谈检测单元106，基于前发声的检测结果和侧方向交谈成立度的运算结果，检测有无前方向的交谈；以及输出音控制单元107，基于判定出的交谈对象方向，控制使助听器佩戴者听见的声音的指向性。这样，交谈检测装置100包括侧方向交谈成立度导出单元105和前方向交谈检测单元106，并在侧方向的交谈成立度低的情况下，估计为在与前方向进行交谈。由此，交谈检测装置100不受自身发声的影响而能够高精度地检测前方向的交谈。另外，由此，交谈检测装置100能够不使用容易受到自身发声的影响的前方向的交谈成立度运算的结果而检测有无前方向的发声。其结果，交谈检测装置100不受自身发声的影响而能够高精度地检测前方向的交谈。另外，在本实施方式中，输出音控制单元107通过由前方向交谈检测单元106进行了 0/1转换的输出，切换宽指向/窄指向，但并不限于此。输出音控制单元107也可以基于交谈成立度，形成中间性的指向性。这里，侧方向是指右或左的任一方。在判断为说话者位于两方的情况下，将交谈检测装置100进行扩张，以使其进行对各方向的验证并进行判断即可。(实施方式2)图9是表示本发明的实施方式2的交谈检测装置的结构的图。对与图2相同的结构部分附加相同的标号，并省略重复部分的说明。如图9所示，交谈检测装置200包括话筒阵列101 ；自身发声检测单元102 ；前发声检测单元103 ；侧发声检测单元104 ；侧方向交谈成立度导出单元105 ；前方向交谈成立度导出单元201 ；前方向交谈成立度合成单元202 ；前方向交谈检测单元206 ；以及输出音控制单元107。前方向交谈成立度导出单元201将自身发声检测单元102的输出和前发声检测单元103的输出作为输入。然后，前方向交谈成立度导出单元201基于自身发声和前发声的有无的时序，对表示在助听器佩戴者和其前方向的说话者之间进行交谈的程度的前方向交谈成立度进行运算。前方向交谈成立度导出单元201包括前发声重叠持续长度分析单元251 ；前沉默持续长度分析单元252 ；以及前方向交谈成立度运算单元沈0。前发声重叠持续长度分析单元251对来自前方向的声音进行与侧发声重叠持续长度分析单元151同样的处理。前沉默持续长度分析单元252对来自前方向的声音进行与侧沉默持续长度分析单元152同样的处理。前方向交谈成立度运算单元260进行与侧方向交谈成立度运算单元160同样的处理。前方向交谈成立度运算单元260基于由前发声重叠持续长度分析单元251计算出的发声重叠持续长度分析值、以及由前沉默持续长度分析单元252计算出的沉默持续长度分析值来进行。也就是说，前方向交谈成立度运算单元260计算有关前方向的交谈成立度，并将其输出。前方向交谈成立度合成单元202将前方向交谈成立度导出单元201的输出和侧方向交谈成立度导出单元105的输出进行合成。而且，前方向交谈成立度合成单元202利用自身发声、前方发声和侧发声的所有发声状况，输出在助听器佩戴者和其前方向的说话者之间进行交谈的程度。前方向交谈检测单元206基于前方向交谈成立度合成单元202的输出，通过阈值处理，判定在助听器佩戴者和其前方向的说话者之间有无交谈。另外，在合成的前方向交谈成立度高的情况下，前方向交谈检测单元206判定为在与前方向进行交谈。输出音控制单元107基于由前方向交谈检测单元206判定的交谈的状态，控制使助听器佩戴者听见的声音的指向性。本发明的实施方式2中的交谈检测装置200的基本结构和动作与实施方式1同样。如实施方式1中所述，在检测出自身发声，检测出前发声，且检测出侧发声的情况下，存在自身发声、前发声和侧发声的所有发声。因此，交谈检测装置200通过前方向交谈检测单元206检测与前方向有无交谈。输出音控制单元107根据该检测结果，控制指向性。若说话者位于前方和侧方，交谈检测装置200通过利用与前方向的交谈成立性和侧方向的交谈成立性的双方，能够补充不完全的信息，并提高交谈检测的精度。具体而言， 交谈检测装置200使用前方向的交谈成立度(基于前方说话者的发声和自身发声的交谈成立度)和侧方向的交谈成立度(基于侧方向说话者的发声和自身发声的交谈成立度)的减法值，计算在前方向上合成的交谈成立度。在合成的交谈成立度中，以仅前方向的说话者或侧方向的说话者的任一方是交谈对象为前提，原来的两个交谈成立度的符号不同。由此，对于前方的交谈成立度而言，两个交谈成立度的值相互增强。也就是说，在交谈对象位于前方的情况下，合成的值变大，而在交谈对象不在前方的情况下，合成的值变小。前方向交谈成立度合成单元202基于这样的研究，将前方向交谈成立度导出单元 201的输出和侧方向交谈成立度导出单元105的输出进行合成。在前方向上合成的交谈成立度高的情况下，前方向交谈检测单元206判定为助听器佩戴者和其前方向的说话者之间存在交谈。根据上述结构，在前方向上和侧方向上合成的交谈成立度高的情况下，前方向交谈检测单元206判断为助听器佩戴者和其前方向的说话者之间存在交谈。由此，前方向交谈检测单元206能够补充因自身发声的影响而无法获得高精度的前方向的单独的交谈成立度的精度，检测前方向的交谈。接着，说明本发明人等实际录音日常交谈而进行了交谈检测的评价实验的结果。数据与实施方式1相同，自身发声、前发声和侧发声的发声检测正确率也相同。图10是表示一例交谈成立度的时间变化的图。图IOA是前方向的交谈成立度单独的情况，图IOB是合成的交谈成立度。在图IOA和图IOB中都是，(1)和(3)的数据是并排时进行交谈的数据，(2)和的数据是面对面地进行交谈的数据。在图IOA和图IOB中，在本评价实验中，设定阈值θ，以区分前方的说话者是交谈对象的情况(参照⑵和⑷)、以及前方的说话者是非交谈对象的情况(参照⑴和(3))。 如图IOA所示，在本评价实验的例子中，设为θ =-0.5，从而较好地进行区分，但在上述 (2)的情形中交谈成立度不提高，难以分离交谈对象和非交谈对象。如图IOB所示，在本评价实验的例子中，设为θ = -0. 45，从而能够较好地进行区分。在图IOA和图IOB的评价实验的比较中，图IOB明显顺利地进行基于阈值的分离。图11是将基于评价实验的交谈检测正确率作为图表而表示的图。图11表示使用了自身发声和前发声的检测结果的、基于单独的前方向交谈成立度的交谈检测的正确率(平均)。另外，图11表示将使用了自身发声和前发声的检测结果的单独的前方向交谈成立度和使用了自身发声和侧发声的检测结果的侧方向交谈成立度进行合成所得的、基于前方向交谈成立度的交谈检测的正确率(平均)。如图11所示，在本评价实验中，基于合成的前方向交谈成立度的交谈检测正确率为93%，超过了基于单独的前方向交谈成立度的交谈检测正确率76%。也就是说，根据本评价实验，确认了通过利用侧发声的检测，能够提高精度。由此可知，在本实施方式中，在是否将窄指向性指向前方向的判断上利用侧发声的检测是有效的。以上的说明是本发明的适合的实施方式的例证，但本发明的范围不限于此。例如，在上述实施方式中，举例说明了将本发明适用于利用了可佩戴话筒阵列的助听器的情况，但并不限于此。能够将本发明适用于利用了可佩戴话筒阵列的语音录音机 (recorder)等。另外，也能够将本发明适用于安装了在头部附近使用的(受到自身发声的影响的)话筒阵列的数码相机、摄像机等。在语音录音机、数码相机、摄像机等的数字记录设备中，既可以抑制希望判定的交谈以外的其他人的交谈等的干扰音，也可以提取交谈成立度高的组合的交谈，并播放期望的交谈。既可以在线(online)进行抑制或提取的处理， 也可以离线进行抑制或提取的处理。另外，在本实施方式中，使用了交谈检测装置、助听器和交谈检测方法的名称，但这是为了易于说明，装置也可以称为交谈对象提取装置、声音信号处理装置，方法也可以称为交谈对象判定方法等。以上说明的交谈检测方法也可以通过使该交谈检测方法发挥功能的程序(也就是说，用于使计算机执行交谈检测方法的各个步骤的程序)来实现。该程序存储于可以通过计算机读取的存储媒体。在2010年6月30日提交的特愿第2010-149435号的日本专利申请所包含的说明书、附图以及说明书摘要的公开内容，全部引用于本申请。工业实用性本发明的交谈检测装置、助听器和交谈检测方法作为具有可佩戴话筒阵列的助听器等是有用的。另外，也能够将本发明的交谈检测装置、助听器和交谈检测方法应用于生活日志(life log)或活动仪等的用途。而且，本发明的交谈检测装置、助听器和交谈检测方法作为语音录音机、数码相机、摄像机、电话会议系统等各种各样的领域中的信号处理装置和信号处理方法是有用的。
权利要求
1.交谈检测装置，使用被佩戴在头部的左右的至少一侧、并且每一侧至少由两个以上的话筒构成的话筒阵列，判定前方的说话者是否为交谈对象，所述交谈检测装置包括前发声检测单元，检测位于所述话筒阵列佩戴者的前方的说话者的发声作为前方向的友尸；自身发声检测单元，检测所述话筒阵列佩戴者的自身发声；侧发声检测单元，检测位于所述话筒阵列佩戴者的左右的至少一侧的说话者的发声作为侧发声；侧方向交谈成立度导出单元，基于所述自身发声和所述侧发声的检测结果，对所述自身发声和所述侧发声之间的交谈成立度进行运算；以及前方向交谈检测单元，基于前发声的检测结果和侧方向交谈成立度的运算结果，判定有无前方向的交谈，在检测出所述前方向的发声，且所述侧方向的交谈成立度低于规定值的情况下，所述前方向交谈检测单元判定为在与前方向进行交谈。
2.如权利要求1所述的交谈检测装置， 所述自身发声检测单元利用振动分量的提取。
3.如权利要求1所述的交谈检测装置，所述侧发声检测单元通过用于检测所述自身发声的功率信息，校正侧方向的功率信肩、ο
4.如权利要求1所述的交谈检测装置，包括前方向交谈成立度导出单元，基于所述自身发声和所述前方向的发声的检测结果，对所述自身发声和所述前方向的发声之间的交谈的成立度进行运算；以及前方向交谈成立度合成单元，基于所述侧方向交谈成立度和所述前方向交谈成立度， 合成前方向的交谈成立度，所述前方向交谈检测单元基于由所述前方向交谈成立度合成单元合成的前方向交谈成立度，判定有无前方向的交谈。
5.如权利要求4所述的交谈检测装置，所述前方向交谈成立度合成单元从由所述前方向交谈成立度导出单元进行运算所得的前方向交谈成立度，减去由所述侧方向交谈成立度导出单元进行运算所得的侧方向交谈成立度。
6.助听器，包括权利要求1至权利要求5中的任一项所述的交谈检测装置；以及输出音控制单元，基于由所述前方向交谈检测单元判定的交谈对象方向，控制使所述话筒阵列佩戴者听见的声音的指向性。
7.交谈检测方法，使用被佩戴在头部的左右的至少一侧、并且每一侧至少由两个以上的话筒构成的话筒阵列，判定前方的说话者是否为交谈对象，所述交谈检测方法包括以下的步骤检测位于所述话筒阵列佩戴者的前方的说话者的发声作为前方向的发声； 检测所述话筒阵列佩戴者的自身发声；检测位于所述话筒阵列佩戴者的左右的至少一侧的说话者的发声作为侧发声；基于所述自身发声和所述侧发声的检测结果，对所述自身发声和所述侧发声之间的交谈成立度进行运算；以及前方向交谈检测步骤，基于前发声的检测结果和侧方向交谈成立度的运算结果，判定有无前方向的交谈，在所述前方向交谈检测步骤中，在检测出所述前方向的发声，且所述侧方向的交谈成立度低于规定值的情况下，判定为在与前方向进行交谈。
全文摘要
公开了能够使用头部佩戴式的话筒阵列，高精度地判定前方的说话者是否为交谈对象的交谈检测装置。交谈检测装置(100)包括自身发声检测单元(102)，检测话筒阵列(101)佩戴者的自身发声；前发声检测单元(103)，检测位于佩戴者的前方的说话者的发声作为前方向的发声；侧发声检测单元(104)，检测位于佩戴者的左右的至少一侧的说话者的发声作为侧发声；侧方向交谈成立度导出单元(105)，基于自身发声和侧发声的检测结果，对自身发声和侧发声之间的交谈成立度进行运算；前方向交谈检测单元(106)，基于前发声的检测结果和侧方向交谈成立度的运算结果，检测有无前方向的交谈；以及输出音控制单元(107)，基于判定出的前方向的交谈的有无，控制使助听器佩戴者听见的声音的指向性。
文档编号G10L21/00GK102474681SQ201180003168
公开日2012年5月23日 申请日期2011年6月24日 优先权日2010年6月30日
发明者山田麻纪, 水岛考一郎, 远藤充 申请人:松下电器产业株式会社