掩模计算装置、簇权重学习装置、掩模计算神经网络学习装置、掩模计算方法、簇权重学习方法和掩模计算神经网络学习方法与流程

本发明涉及掩模计算装置、簇权重学习装置、掩模计算神经网络学习装置、掩模计算方法、簇权重学习方法和掩模计算神经网络学习方法。
背景技术：
：有时在录制讲话者的语音时，会与讲话者的语音同时录制周围的噪声。在这样的情况下，难以从所录制的语音中仅听取讲话者的语音。与此相对，以往，已知有从包含噪声的语音的语音数据中取出目标的讲话者的语音的技术(例如，参照非专利文献1或非专利文献2)。例如，在非专利文献1中记载了如下技术：计算用于从观测信号中提取增强地表示目标讲话者的语音的信号的时间频率点中的信号的掩模。此外，例如，非专利文献2中记载了使用神经网络进行掩模的计算的技术。现有技术文献非专利文献非专利文献1：ywang,anarayanan,dlwang，“ontrainingtargetsforsupervisedspeechseparation”,ieee/acmtransactionsonaudio,speechandlanguageprocessing,2014非专利文献2：jheymann,ldrude,rhaeb-umbach，“neuralnetworkbasedspectralmaskestimationforacousticbeamforming”,acoustics,speechandsignalprocessing(icassp),2016技术实现要素：发明所要解决的课题但是，在现有的技术中存在如下问题：在所观测的语音中包含多个讲话者的语音的情况下，难以取出目标的讲话者的语音。例如，在现有的技术中，假设将除了目标的讲话者的语音以外的语音视作噪声，在讲话者的语音和噪声中，特征不同。另一方面，在所观测的语音中包含多个讲话者的语音的情况下，各讲话者的语音的特征相似，因此，在现有的技术中，由于无法识别除了目标的讲话者以外的讲话者的语音，所以难以仅取出目标的讲话者的语音。用于解决问题的手段本发明的掩模计算装置的特征在于，具有：特征量提取部，其从语音的观测信号中提取特征量，该语音包含至少1个以上的讲话者的语音，该1个以上的讲话者包含目标讲话者；掩模计算部，其根据所述观测信号的特征量和适应用目标讲话者信号，计算从所述观测信号中提取目标讲话者的语音的掩模，该适应用目标讲话者信号是所述目标讲话者的语音的信号；以及目标信号计算部，其基于所述掩模，根据所述观测信号计算所述目标讲话者的语音的信号。本发明的簇权重学习装置的特征在于，具有：簇权重计算部，其根据特定讲话者的语音的信号，使用第2神经网络来计算至少任意一个层被分解为多个簇的第1神经网络的与所述多个簇各自对应的权重；掩模计算部，其根据所述1个以上的讲话者的语音的观测信号的特征量，使用通过所述簇权重计算部所计算出的权重进行加权后的所述第1神经网络来计算掩模，该掩模从包含所述特定讲话者的1个以上的讲话者的语音的观测信号的特征量中提取所述特定讲话者的语音的特征量；簇权重微分值计算部，其通过将所述第1神经网络和所述第2神经网络视作结合的神经网络，对该结合的神经网络进行误差反向传播，计算所述权重的微分值；以及簇权重更新部，其根据由所述簇权重微分值计算部计算出的所述簇权重的微分值，对所述簇权重进行更新。本发明的掩模计算神经网络学习装置的特征在于，具有：簇权重计算部，其根据特定讲话者的语音的信号，使用第2神经网络来计算至少任意一个层被分解为多个簇的第1神经网络的与所述多个簇各自对应的权重；掩模计算部，其根据包含所述特定讲话者的1个以上的讲话者的语音的观测信号的特征量，使用通过所述簇权重计算部所计算出的权重进行加权后的所述第1神经网络来计算掩模，该掩模从所述1个以上的讲话者的语音的观测信号的特征量中提取所述特定讲话者的语音的特征量；第1参数微分值计算部，其通过将所述第1神经网络和所述第2神经网络视作结合的神经网络，对该结合的神经网络进行误差反向传播，计算所述第1神经网络的参数的微分值；第1参数更新部，其根据由所述第1参数微分值计算部计算出的参数的微分值，对所述第1神经网络的参数进行更新；第2参数微分值计算部，其通过对所述结合的神经网络进行误差反向传播，计算所述第2神经网络的参数的微分值；以及第2参数更新部，其根据由所述第2参数微分值计算部计算出的所述第2参数的微分值，对所述第2神经网络的参数进行更新。发明效果根据本发明，即使在所观测的语音中包含多个讲话者的语音的情况下，也能够取出目标的讲话者的语音。附图说明图1是示出现有的目标讲话者提取装置的结构的一例的图。图2是示出现有的目标讲话者提取装置的处理的流程的流程图。图3是示出第1实施方式的掩模计算装置的结构的一例的图。图4是示出第1实施方式的掩模计算装置的处理的流程的流程图。图5是示出第1实施方式的掩模计算神经网络学习装置的结构的一例的图。图6是示出第1实施方式的掩模计算神经网络学习装置的处理的流程的流程图。图7是示出第2实施方式的掩模计算装置的结构的一例的图。图8是示出第2实施方式的掩模计算装置的处理的流程的流程图。图9是示出第3实施方式的簇权重学习装置的结构的一例的图。图10是示出第3实施方式的簇权重学习装置的处理的流程的流程图。图11是示出执行程序的计算机的一例的图。具体实施方式以下，根据附图，详细地说明本申请的掩模计算装置、簇权重学习装置、掩模计算神经网络学习装置、掩模计算方法、簇权重学习方法和掩模计算神经网络学习方法的实施方式。另外，本发明不受以下说明的实施方式限定。另外，以下，例如在a为向量的情况下，记述为“向量a”，例如在a为矩阵的情况下，记述为“矩阵a”，例如在a为标量的情况下，简记作“a”。此外，例如在a为集合的情况下，记述为“集合a”。此外，例如，向量a的函数f记述为f(向量a)。此外，针对作为向量、矩阵或标量的a，在记作“＾a”的情况下，等同于“在‘a’的正上方记述有‘＾’的标号”。此外，针对作为向量、矩阵或标量的a，在记作“-a”的情况下，等同于“在‘a’的正上方记述有‘-’的标号”。此外，针对作为向量、矩阵或标量的a，在记作“～a”的情况下，等同于“在‘a’的正上方记述有‘～’的标号”。此外，针对作为向量或矩阵的a，at表示a的倒置。<现有的目标语音提取装置>首先，使用图1，对现有的目标讲话者提取装置的结构进行说明。图1是示出现有的目标讲话者提取装置的结构的一例的图。如图1所示，目标讲话者提取装置10a具有特征量提取部101a、掩模计算部102a、目标信号计算部103a和存储部140a。存储部140a存储用于计算掩模的计算模型的已学习的参数。例如，在根据神经网络(以下，nn)进行掩模的计算的情况下，存储部140a存储各nn的参数。nn的参数是与各隐藏层相关的权重矩阵、偏差向量、激活函数的参数等。例如，nn的各隐藏层的处理如以下的式(1)那样进行定义。【式1】其中，t为时间帧的索引。此外，l为隐藏层的索引。xt(l-1)和xt(l)分别是隐藏层的输入和输出。σ(l)(·)是激活函数。激活函数例如是sigmoid函数和relu函数等。f(l)(·；θ(l))是变换函数。变换函数例如是线性变换和卷积等。θ(l)是变换函数的参数。例如，在现有的nn中，f(l)(·；θ(l))如式(2)所示。【式2】f(l)(x；θ(l))＝w(l)x+b(l)(2)其中，w(l)和b(l)分别是线性变换的矩阵和偏差向量。在式(2)的情况下，θ(l)＝{w(l)，b(l)}。此外，设nn整体的参数为θ＝{θ(1)，……，θ(l)}。该情况下，nn整体的隐藏层的总数为l-1。此外，nn的参数在卷积层、lstm/blstm等循环层中也同样进行定义。特征量提取部101a根据输入信号的波形，计算stft(shorttimefouriertransform：短时傅立叶变换)。在stft区域中，观测信号用式(3)表示。【式3】yi(t，f)＝si(t，f)+ni(t，f)(3)其中，i＝1，……，i为麦克风的索引。此外，t＝1，……，t为时间的索引。此外，f＝1，……，f为频率的索引。yi(t，f)、si(t，f)、ni(t，f)分别为观测信号、目标语音、噪声的stft信号。特征量向量为y(i，t)＝[|yi(t，1)|，……，|yi(t，f)|]。另外，|·|为振幅。并且，时间序列的特征量向量即特征量向量序列yi用式(4)表示。【式4】yi＝{yi，1，…，yi，t|yi，t∈rf}(4)即，yi是用从第1帧到第t帧的f维特征量向量表现的数据。例如，分析帧宽度为30ms左右、分析帧移位宽度为10ms左右，执行分析。掩模计算部102a计算时间频率掩模。时间频率掩模是表示相对于各时间频率点(t，f)，是目标信号处于优势、还是噪声处于优势的掩模。目标信号计算部103a通过使用时间频率掩模，能够如式(5)那样提取目标语音。以下，有时将时间频率掩模简称作掩模。【式5】其中，mi(t，f)为用于提取目标信号的掩模。此外，掩模计算部102a能够如式(6-1)那样使用nn来计算掩模。【式6】mi(t)＝g(yi，t，θ)(6-1)mi(t)＝[mi(t，1)，…，mi(t，f)](6-2)其中，式(6-2)为掩模的值相对于各频率的向量。此外，g(·，θ)表示nn。此外，nn的输入是由特征量提取部101a提取出的特征量yi，t。另外，掩模计算nn参数θ存储到存储部140a中。未图示的学习装置进行在掩模计算部102a中使用的nn的参数θ的学习的情况下，需要语音和噪声的数据。另外，学习装置也可以使用目标讲话者提取装置10a的各功能。学习装置根据语音和噪声的数据，生成nn的学习所需的标签。例如，学习装置根据语音和噪声的数据，计算正确的掩模。学习装置通过将正确的掩模作为标签使用，通过crossentropy基准使nn优化。学习装置通过误差反向传播(errorbackpropagation)进行优化。学习装置能够如式(7-1)那样计算正确的掩模。【式7】其中，式(7-2)为正确的掩模。此外，式(7-3)为信噪比(sn比)。此外，ε为sn比的阈值。目标信号计算部103a根据由掩模计算部102a计算出的掩模和由特征量提取部101a计算出的观测信号的stft，计算目标语音。在麦克风为1个(i＝1)的情况下，目标信号计算部103a如式(8)那样计算目标语音的信号。【式8】在麦克风为多个(i>1)的情况下，目标信号计算部103a根据各麦克风的信号估计掩模，如式(9)那样计算所合并的掩模(合并掩模)。【式9】m(t，f)＝median([m1(t，f)，…，mi(t，f)])(9)其中，m(t，f)为合并的掩模。此外，median(·)为用于计算中值的函数。目标信号计算部103a能够使用合并掩模，如式(10)那样计算目标语音的空间相关矩阵。【式10】其中，φss(f)为目标语音的空间相关矩阵。此外，y(t，f)＝[y1(t，f)，……，yi(t，f)]为各麦克风的信号的集合向量。此外，·h为厄米特倒置(hermitiantranspose)。同样，目标信号计算部103a能够使用合并掩模，如式(11)那样计算噪声的空间相关矩阵。【式11】其中，φnn(f)为噪声信号的空间相关矩阵。此外，mn(t，f)为用于提取噪声信号的掩模。另外，可以将1-m(t，f)作为mn(t，f)使用，也可以将掩模计算部102a的nn构成为将观测信号的特征量向量序列作为输入，除了输出用于提取目标信号的掩模mi(t，f)以外还输出用于提取噪声信号的掩模min(t，f)，还可以将对作为nn的输出而获得的min(t，f)进行合并后的掩模作为mn(t，f)。目标信号计算部103a能够根据各空间相关矩阵，计算波束形成器。例如，目标信号计算部103a能够根据空间相关矩阵，计算多被作为波束形成器使用的mvdr波束形成器、maxsnr波束形成器等。例如，目标信号计算部103a如式(12-1)那样计算maxsnr波束形成器的滤波器。此外，计算出的滤波器如式(12-2)所示。另外，如式(12-3)所示，φyy(f)是观测信号的空间相关矩阵。【式12】w(f)＝p(φnn(f)-1φyy(f))(12-1)w(f)＝[w1(f)，…，wi(f)](12-2)目标信号计算部103a使用波束形成器的滤波器，如式(13)那样计算目标语音的信号。【式13】另外，即使在麦克风为1个的情况和麦克风为多个的情况中的任意一个情况下，目标信号计算部103a也能够通过例如逆fft和overlappadd方法计算stft区域的信号，以计算目标语音的波形信号。图2是示出现有的目标讲话者提取装置的处理的流程的流程图。如图2所示，首先，特征量提取部101a读入观测信号(步骤s101a)。这时，掩模计算部102a预先从存储部140a读入掩模计算nn参数(步骤s102a)。接着，特征量提取部101a从观测信号中提取特征量(步骤s103a)。这里，掩模计算部102a根据特征量和掩模计算nn参数，计算掩模(步骤s104a)。而且，目标信号计算部103a使用掩模，根据观测信号计算目标语音的信号(步骤s105a)。然后，目标信号计算部103a输出计算出的目标语音的信号(步骤s106a)。<在本发明的实施方式中使用的nn的构造>这里，在本发明的实施方式中对用于掩模的计算的nn进行说明。在本实施方式中，如用式(14)表示的至少任意一个层被分解为多个簇的nn被用于计算掩模(参考文献：m.delcroix,k.kinoshita,c.yu,a.ogawa,t.yoshioka,t.nakatani,“contextadaptivedeepneuralnetworksforfastacousticmodeladaptationinnoisyconditions”,inproc.ieeeinternationalconferenceonacoustics,speechandsignalprocessing(icassp),2016.)。【式14】其中，k＝1，……，k是簇的索引。此外，k是簇的数量。此外，fk(l)(·；θk(l))是第k个讲话者簇的变换函数。αk是第k个簇的权重。此外，簇的权重是向量α＝[α1，……，αk]。在这样的至少任意一个层被分解为多个簇的神经网络中包含讲话者依赖nn、使用讲话者依赖层的nn、使用讲话者适应型层的nn。(讲话者依赖nn)讲话者依赖nn是全部层被分解为多个簇的nn。在讲话者依赖nn中，k与学习数据的讲话者的数相同。此外，在讲话者依赖nn中，向量α是表示讲话者id的1hot向量。另外，1hot向量是如1个元素的值为1并且其他元素的值为0的向量。此外，在讲话者依赖nn中，可以说按照每个讲话者准备了nn。此外，在讲话者依赖nn的学习时和使用该讲话者依赖nn的目标语音的提取时，使用相同的讲话者的语音。换言之，前提在于，在讲话者依赖nn中，根据针对包含要提取的目标语音的讲话者的至少1个以上的讲话者而准备用于学习的语音信号，学习了nn的参数。(使用讲话者依赖层的nn)使用讲话者依赖层的nn是至少1个层被分解为多个簇的nn。在使用讲话者依赖层的nn中，k与学习数据的讲话者的数相同。此外，在使用讲话者依赖层的nn中，向量α是表示讲话者id的1hot向量。此外，可以说在使用讲话者依赖层的nn中，按照每个讲话者准备隐藏层的簇。此外，在使用讲话者依赖层的nn的学习时和使用了使用该讲话者依赖层的nn的目标语音的提取时，使用相同的讲话者的语音。换言之，前提在于，在使用讲话者依赖层的nn中，根据针对包含要提取的目标语音的讲话者的至少1个以上的讲话者而准备以用于学习的语音信号，学习了nn的参数。(使用讲话者适应型层的nn)使用讲话者适应型层的nn是至少1个层被分解为多个簇的nn。在使用讲话者适应型层的nn中，k为学习数据的讲话者的数量以下的数量即可。此外，在使用讲话者适应型层的nn中，向量α也可以不为1hot向量。此外，也可以不在使用讲话者适应型层的nn的学习时和使用了使用该讲话者适应型层的nn的目标语音的提取时，使用相同的讲话者的语音。因此，使用讲话者适应型层的nn的通用性较高。<第1实施方式>这里，对第1实施方式的掩模计算装置和掩模计算神经网络学习装置进行说明。掩模计算装置和掩模计算神经网络学习装置可以分别通过不同的计算机来实现，也可以作为1个计算机的功能来实现。<第1实施方式的掩模计算装置>首先，使用图3，对第1实施方式的掩模计算装置的结构进行说明。图3是示出第1实施方式的掩模计算装置的结构的一例的图。如图3所示，掩模计算装置10具有特征量提取部101、掩模计算部102、目标信号计算部103、目标讲话者特征量提取部121、簇权重计算部122和存储部140。存储部140存储在目标讲话者特征量提取部121中使用的规定的计算模型的参数即讲话者特征量提取模型参数、在簇权重计算部122中使用的nn的参数即簇权重计算nn参数和在掩模计算部102中使用的nn的参数即掩模计算nn参数。另外，将在簇权重计算部122中使用的nn称作簇权重计算nn。此外，将在掩模计算部102中使用的nn称作掩模计算nn。此外，设讲话者特征量提取模型参数和掩模计算nn参数的集合为θ、簇权重计算参数的集合为λ。特征量提取部101进行与现有的目标讲话者提取装置10a的特征量提取部101a相同的处理。即，特征量提取部101从观测信号中提取从第1帧到第t帧的f维特征量向量。换言之，特征量提取部101按照每个帧，从观测信号中提取规定次数(f维)的特征量向量。特征量提取部101从包含至少1个以上的讲话者的语音的语音的观测信号中提取观测信号的特征量，该1个以上的讲话者包含目标讲话者。另外，前提在于，在观测信号所包含的语音的讲话者为1个的情况下，包含除了噪声等语音以外的声音。在观测信号所包含的语音的讲话者为2个以上的情况下，可以包含噪声，也可以不包含噪声。目标讲话者特征量提取部121从目标讲话者的语音的信号即适应用目标讲话者信号中提取目标讲话者特征量。目标讲话者特征量提取部121以适应用目标讲话者信号为输入，使用通过用于提取存储部140所存储的目标讲话者特征量的讲话者特征量提取模型参数θ(l)确定的规定的计算模型来输出目标讲话者特征量a(s)。这里，作为通过目标讲话者特征量提取部121使用的计算模型，存在使用ivector(参考文献：n.dehak,p.kenny,r.dehak,p.dumouchel,andp.ouellet,“front-endfactoranalysisforspeakerverification”,ieeetrans.audio,speech,languageprocess.,vol.19,no.4,pp.788-798,2011.)、bottleneck特征量、讲话者的后验概率的计算模型。此外，在讲话者的id为已知的情况、目标的讲话者为学习数据所包含的讲话者的情况下，目标讲话者特征量提取部121也可以将表示讲话者的id的1hot向量用于计算。簇权重计算部122根据适应用目标讲话者信号，使用簇权重计算nn(第2神经网络)来计算至少任意一个层被分解为多个簇的掩模计算nn(第1神经网络)的、与多个簇各自对应的权重。簇权重计算部122以目标讲话者特征量为输入，根据存储部140所存储的簇权重计算nn参数λ来输出簇权重。簇权重计算部122如式(15)那样计算簇权重的向量α。另外，h(·，λ)为表示用于根据语音的特征量计算簇权重的nn的函数。即，簇权重计算部122通过向设定有簇权重计算nn参数λ的nn(第2神经网络)输入目标讲话者特征量，获得簇权重的向量α并输出。【式15】α＝h(a(s)，λ)(15)掩模计算部102根据观测信号的特征量和目标讲话者特征量，计算从观测信号中提取目标讲话者的语音的掩模。掩模计算部102根据观测信号的特征量，使用通过由簇权重计算部122计算出的权重进行加权后的掩模计算nn(第1神经网络)来计算掩模。掩模计算部102通过式(14)计算掩模。另外，式(14)表示神经网络的第l目标层中的计算。fk(l)是表示分解为多个簇的隐藏层中的、第k个隐藏层中的计算的函数。xt(l-1)是第(l-1)个层的输出，xt(0)是向神经网络的输入、即观测信号的特征量y(t，f)。即，式(14)示出分解为多个簇的层的输出(中间状态)xt(l)根据通过由簇权重计算部122求出的与各簇对应的权重进行加权后的权重和，确定向所分解的各个隐藏层输入第(l-1)个层的输出而获得的各隐藏层的输出(中间状态)。在第l个层的后段进一步存在未分解的隐藏层的情况下，在该未分解的隐藏层中进一步进行计算。例如，在第(l+1)个层中，将xt(l)只作为输入，进行与变换函数f(l+1)对应的变换，可计算x(l+1)。通过以掩模计算nn的层的数量反复该计算，最终输出掩模。如果设最后的层为l，x(l)成为掩模。如上所述，掩模计算部102针对通过向掩模计算nn(第1神经网络)输入观测信号的特征量而获得的、nn内的多个簇的各个输出即中间状态，使用通过由簇权重计算部122计算出的与多个簇各自对应的权重进行加权后的中间状态来计算掩模。目标信号计算部103进行与现有的目标讲话者提取装置10a的目标信号计算部103a相同的处理。即，目标信号计算部103基于掩模，根据观测信号计算目标讲话者的语音的信号。例如，目标信号计算部103根据由掩模计算部102计算出的掩模和由特征量提取部101计算出的观测信号的stft，计算目标语音的信号。图4是示出第1实施方式的掩模计算装置的处理的流程的流程图。如图4所示，首先，特征量提取部101读入观测信号(步骤s101)。此外，目标讲话者特征量提取部121读入适应用目标讲话者信号(步骤s102)。这时，目标讲话者特征量提取部121预先从存储部140读入讲话者特征量提取模型参数(步骤s103)。此外，簇权重计算部122预先从存储部140读入簇权重计算nn参数(步骤s104)。此外，掩模计算部102预先从存储部140读入掩模计算nn参数(步骤s105)。接着，特征量提取部101从观测信号中提取特征量(步骤s106)。此外，目标讲话者特征量提取部121从适应用目标讲话者信号中提取目标讲话者特征量(步骤s107)。这里，簇权重计算部122根据簇权重计算nn参数和目标讲话者特征量，计算簇权重(步骤s108)。此外，掩模计算部102根据特征量和掩模计算nn参数，计算掩模(步骤s109)。而且，目标信号计算部103使用掩模，根据观测信号计算目标语音的信号(步骤s110)。然后，目标信号计算部103输出所计算出的目标语音的信号(步骤s111)。<第1实施方式的掩模计算神经网络学习装置>接着，使用图5，对第1实施方式的掩模计算神经网络学习装置的结构进行说明。图5是示出第1实施方式的掩模计算神经网络学习装置的结构的一例的图。如图5所示，掩模计算神经网络学习装置20具有特征量提取部201、掩模计算部202、误差计算部203、掩模计算nn参数微分值计算部204、掩模计算nn参数更新部205、收敛判定部206、目标讲话者特征量提取部221、簇权重计算部222、簇权重计算nn参数微分值计算部223、簇权重计算nn参数更新部224和存储部240。特征量提取部201、掩模计算部202、目标讲话者特征量提取部221、簇权重计算部222分别进行与掩模计算装置10的特征量提取部101、掩模计算部102、目标讲话者特征量提取部121、簇权重计算部122相同的处理。即，簇权重计算部222根据特定讲话者的语音的信号，使用簇权重计算nn来计算至少任意一个层被分解为多个簇的掩模计算nn的与多个簇各自对应的权重。另外，特定讲话者例如是目标讲话者。此外，掩模计算部202根据包含特定讲话者的1个以上的讲话者的语音的观测信号的特征量，使用通过由簇权重计算部222计算出的权重进行加权后的掩模计算nn来计算掩模，该掩模从1个以上的讲话者的语音的观测信号的特征量中提取特定讲话者的语音的特征量。另外，掩模计算nn为第1神经网络的一例。此外，簇权重计算nn为第2神经网络的一例。存储部240存储在目标讲话者特征量提取部221中使用的讲话者特征量提取模型参数、在簇权重计算部222中使用的簇权重计算nn参数和在掩模计算部202中使用的掩模计算nn参数。其中，假设在学习开始时刻，对讲话者特征量提取模型参数、簇权重计算nn参数、掩模计算nn参数分别设定了适当的初始值(随机的初始值)。掩模计算神经网络学习装置20例如进行在掩模计算装置10中使用的掩模计算nn参数和簇权重计算nn参数的学习。掩模计算神经网络学习装置20使用学习用观测信号和适应用目标信号和正确掩模来进行学习。掩模计算神经网络学习装置20使用误差反向传播和sgd(stochasticgradientdescent：随机梯度下降)来进行学习(参考文献：s.haykin,neuralnetworks,“acomprehensivefoundation,”prenticehallptr,uppersaddleriver,nj,usa,2ndedition,1999.)。首先，误差计算部203根据在掩模计算装置10中计算出的掩模m(t)和正确掩模＾m(t)，如式(16)那样计算误差δt。【式16】另外，掩模计算神经网络学习装置20也可以在不使用正确掩模的情况下，通过计算出的目标语音的失真和距离的最小化基准、语音识别的基准进行学习。此外，掩模计算神经网络学习装置20进行学习时的方法不限于sgd。掩模计算神经网络学习装置20也可以使用例如adam和adagrad等来进行学习。掩模计算nn参数微分值计算部204通过将掩模计算nn和簇权重计算nn视作结合的nn，并对该结合的nn进行误差反向传播，计算掩模计算nn的参数的微分值。此外，掩模计算nn参数更新部205根据由掩模计算nn参数微分值计算部204计算出的参数的微分值，对掩模计算nn的参数进行更新。即，掩模计算nn参数更新部205将存储部240所存储的掩模计算nn的参数的值更新为更新后的值。掩模计算nn参数更新部205如式(17)那样进行掩模计算nn参数＾θ(l)的更新。【式17】其中，＾θ(l)为更新后的掩模计算nn参数。此外，θ(l)为更新前的掩模计算nn参数。此外，η(δj/δθ(l))(式(17)的右边的第2项)为由掩模计算nn参数微分值计算部204计算的掩模计算nn的参数的微分值。此外，j表示优化基准(例如crossentropy)。此外，η为学习率的参数，例如取0.1～0.0001左右的较小的值。簇权重计算nn参数微分值计算部223通过对所结合的nn进行误差反向传播，计算簇权重计算nn的参数的微分值。此外，簇权重计算nn参数更新部224根据由簇权重计算nn参数微分值计算部223计算出的簇权重计算nn参数的微分值，对簇权重计算nn的参数进行更新。即，簇权重计算nn参数更新部224将存储部240所存储的簇权重计算nn的参数的值更新为更新后的值。簇权重计算nn参数更新部224如式(18)那样进行簇权重计算nn参数＾λ的更新。即，簇权重计算nn参数更新部224将存储部240所存储的簇权重计算nn参数的值更新为更新后的值。【式18】其中，＾λ为更新后的簇权重计算nn参数。此外，λ为更新前的簇权重计算nn参数。此外，η′(δj/δλ)(式(18)的右边的第2项)为由簇权重计算nn参数微分值计算部223计算的簇权重计算nn的参数的微分值。此外，j表示优化基准(例如crossentropy)。此外，η′为学习率的参数，例如取0.1～0.0001左右的较小的值。收敛判定部206接收模型参数群，判定各模型参数的学习是否收敛。在判定为已收敛的情况下，收敛判定部206将收敛时的各模型参数作为掩模计算神经网络学习装置20的输出值输出。模型参数中包含掩模计算nn参数和簇权重计算nn参数。另一方面，收敛判定部206在判定为未收敛的情况下，收敛判定部206向簇权重计算部222、掩模计算部202、误差计算部203、掩模计算nn参数微分值计算部204、掩模计算nn参数更新部205、簇权重计算nn参数微分值计算部223、簇权重计算nn参数更新部224输出控制信号，使得反复处理。此外，例如，在更新前后的参数的差分为阈值以下的情况、反复次数为规定次数以上的情况、使用学习用语音的一部分对模型的性能进行评价时性能发生恶化的情况等下，收敛判定部206判定为已收敛。总之，收敛判定部206直到根据存储部240模型参数而在nn中计算出的掩模满足规定的基准为止，返回簇权重计算部222进行控制，使得反复掩模的估计和nn的参数的更新处理。如果满足规定的条件，则掩模计算神经网络学习装置20结束学习处理。这时，存储部240所存储的nn的参数的值为学习后的nn的参数。图6是示出第1实施方式的掩模计算神经网络学习装置的处理的流程的流程图。如图6所示，首先，特征量提取部201读入观测信号(步骤s201)。此外，目标讲话者特征量提取部221读入适应用目标讲话者信号(步骤s202)。这时，目标讲话者特征量提取部221预先从存储部240读入讲话者特征量提取模型参数(步骤s203)。此外，簇权重计算部222预先从存储部240读入簇权重计算nn参数(步骤s204)。此外，掩模计算部202预先从存储部240读入掩模计算nn参数(步骤s205)。接着，特征量提取部201从观测信号中提取特征量(步骤s206)。此外，目标讲话者特征量提取部221从适应用目标讲话者信号中提取目标讲话者特征量(步骤s207)。这里，簇权重计算部222根据簇权重计算nn参数和目标讲话者特征量，计算簇权重(步骤s208)。此外，掩模计算部202根据特征量和掩模计算nn参数，计算掩模(步骤s209)。误差计算部203根据由掩模计算部202计算出的掩模和正确掩模，计算误差(步骤s210)。掩模计算nn参数微分值计算部204计算掩模计算nn参数的微分值(步骤s211)。然后，掩模计算nn参数更新部205对掩模计算nn参数进行更新(步骤s212)。簇权重计算nn参数微分值计算部223计算簇权重nn参数的微分值(步骤s213)。而且，簇权重计算nn参数更新部224对簇权重nn参数进行更新(步骤s214)。收敛判定部206判定模型参数是否收敛(步骤s215)。在判定为模型参数未收敛的情况下(步骤s215：否)，收敛判定部206使各处理部进一步执行步骤s208～s214。另一方面，在判定为模型参数已收敛的情况下(步骤s215：是)，收敛判定部206输出模型参数(步骤s216)。[第1实施方式的效果]特征量提取部101从包含至少1个以上的讲话者的语音的语音的观测信号中提取特征量，该1个以上的讲话者包含目标讲话者。此外，目标讲话者特征量提取部121从目标讲话者的语音的信号即适应用目标讲话者信号中提取目标讲话者特征量。此外，掩模计算部102根据观测信号的特征量和目标讲话者特征量，计算从观测信号中提取目标讲话者的语音的掩模。此外，目标信号计算部103基于掩模，根据观测信号计算目标讲话者的语音的信号。这样，在本实施方式中，使用根据目标讲话者特征量计算出的掩模。因此，即使在所观测的语音中包含多个讲话者的语音的情况下，能够取出目标的讲话者的语音。目标讲话者特征量提取部121从特定讲话者的语音的信号中提取特定讲话者的语音的特征量。此外，簇权重计算部122将由目标讲话者特征量提取部121提取出的特征量输入到簇权重计算nn，计算至少任意一个层被分解为多个簇的掩模计算nn的与多个簇各自对应的权重。此外，掩模计算部102根据1个以上的讲话者的语音的观测信号的特征量，使用通过由簇权重计算部计算出的权重进行加权后的掩模计算nn来计算掩模，该掩模从包含特定讲话者的1个以上的讲话者的语音的观测信号的特征量中提取特定讲话者的语音的特征量。这样，在本实施方式中，对用于掩模计算的nn的层中的、被分解为多个簇的层的与目标讲话者的语音对应的簇进行加权，因此，即使在所观测的语音中包含多个讲话者的语音的情况下，也能够取出目标的讲话者的语音。簇权重计算部222根据特定讲话者的语音的信号，使用簇权重计算nn来计算至少任意一个层被分解为多个簇的掩模计算nn的与多个簇各自对应的权重。此外，掩模计算部202根据包含特定讲话者的1个以上的讲话者的语音的观测信号的特征量，使用通过由簇权重计算部222计算出的权重进行加权后的掩模计算nn来计算掩模，该掩模从1个以上的讲话者的语音的观测信号的特征量中提取特定讲话者的语音的特征量。掩模计算nn参数微分值计算部204通过将掩模计算nn和簇权重计算nn视作结合的nn，对该结合的nn进行误差反向传播，计算掩模计算nn的参数的微分值。此外，掩模计算nn参数更新部205根据由掩模计算nn参数微分值计算部204计算出的参数的微分值，对掩模计算nn的参数进行更新。此外，簇权重计算nn参数微分值计算部223通过对结合的nn进行误差反向传播，计算簇权重计算nn的参数的微分值。此外，簇权重计算nn参数更新部224根据由簇权重计算nn参数微分值计算部223计算出的簇权重计算nn参数的微分值，对簇权重计算nn的参数进行更新。这样，通过对用于掩模计算的nn与用于簇权重计算的nn进行结合，能够进行参数的同时优化。[第2实施方式]这里，对第2实施方式的掩模计算装置进行说明。如图3所示，在第1实施方式中，簇权重根据从适应用目标讲话者信号中提取出的目标讲话者特征量来计算。另一方面，在第2实施方式中，簇权重根据适应用目标讲话者信号来直接计算。<第2实施方式的掩模计算装置>使用图7，对第2实施方式的掩模计算装置的结构进行说明。图7是示出第2实施方式的掩模计算装置的结构的一例的图。如图7所示，掩模计算装置30具有特征量提取部301、掩模计算部302、目标信号计算部303、簇权重计算部322和存储部340。特征量提取部301、掩模计算部302和目标信号计算部303分别进行与掩模计算装置10的特征量提取部101、掩模计算部102和目标信号计算部103相同的处理。即，掩模计算部302根据1个以上的讲话者的语音的观测信号的特征量，使用通过由簇权重计算部322计算出的权重进行加权后的掩模计算nn来计算从包含特定讲话者的1个以上的讲话者的语音的观测信号的特征量中提取特定讲话者的语音的特征量的掩模。这里，特征量提取部301能够提取mfcc(melfrequencycepstralcoefficient：梅尔频率倒谱系数)、lmfc(logmelfilterbankcoefficients：对数梅尔滤波器组系数)、δmfcc(mfcc的1次微分)、δδmfcc(mfcc的2次微分)、对数功率、δ对数功率(对数功率的1次微分)等，作为特征量。此外，特征量提取部301也可以提取将多个特征量组合而成的特征量，作为特征量。这里，掩模计算装置10的簇权重计算部122根据目标讲话者特征量来计算簇权重，与此相对，簇权重计算部322根据适应用目标讲话者信号来计算簇权重。即，簇权重计算部322根据特定讲话者的语音的信号，使用簇权重计算nn来计算至少任意一个层被分解为多个簇的掩模计算nn的与多个簇各自对应的权重。簇权重计算部322设适应用目标讲话者信号st(s)为输入，通过设定有簇权重计算nn参数μ的nn计算簇权重并输出。簇权重计算部322如式(19)那样计算簇权重的向量α。另外，l(·，μ)是用于根据语音信号计算簇权重的nn。【式19】此外，适应用目标讲话者信号st(s)能够形成为仅记录有目标讲话者的语音的语音数据的语音特征量的集合。这里，簇权重计算部322设输出的时间平均值为簇的权重向量α。此外，存储部340存储在簇权重计算部322中使用的簇权重计算nn参数和在掩模计算部302中使用的掩模计算nn参数。图8是示出第2实施方式的掩模计算装置的处理的流程的流程图。如图8所示，首先，特征量提取部301读入观测信号(步骤s301)。此外，簇权重计算部322读入适应用目标讲话者信号(步骤s302)。这时，簇权重计算部322预先从存储部340读入簇权重计算nn参数(步骤s303)。此外，掩模计算部302预先从存储部340读入掩模计算nn参数(步骤s304)。接着，特征量提取部301从观测信号中提取特征量(步骤s305)。这里，簇权重计算部322根据簇权重计算nn参数和适应用目标讲话者信号，计算簇权重(步骤s306)。此外，掩模计算部302根据特征量和掩模计算nn参数，计算掩模(步骤s307)。而且，目标信号计算部303使用掩模，根据观测信号计算目标语音的信号(步骤s308)。然后，目标信号计算部303输出所计算出的目标语音的信号(步骤s309)。[第2实施方式的效果]簇权重计算部322根据特定讲话者的语音的信号，使用簇权重计算nn来计算至少任意一个层被分解为多个簇的掩模计算nn的与多个簇各自对应的权重。此外，掩模计算部302根据包含特定讲话者的1个以上的讲话者的语音的观测信号的特征量，使用通过由簇权重计算部322计算出的权重进行加权后的掩模计算nn来计算掩模，该掩模从1个以上的讲话者的语音的观测信号的特征量中提取特定讲话者的语音的特征量。在本实施方式中，无需准备用于提取目标讲话者特征量的参数，此外，无需进行用于提取目标讲话者特征量的计算，因此，能够容易地进行掩模计算。(第3实施方式)这里，对第3实施方式的簇权重学习装置进行说明。这里，第1实施方式的掩模计算神经网络学习装置20进行簇权重计算nn参数和掩模计算nn参数的学习。另一方面，第3实施方式的簇权重学习装置通过与掩模计算神经网络学习装置20的学习相同的方法进行簇权重的重新估计。例如，在目标讲话者的特征与学习数据的讲话者的特征大幅度不同的情况下，有时通过由第1实施方式的簇权重计算部122计算的簇权重，无法计算可高精度地提取目标语音的掩模。在这样的情况下，通过使用第3实施方式的簇权重学习装置，能够重新估计簇权重，提高语音提取的精度。<第3实施方式的簇权重学习装置>使用图9，对第1实施方式的簇权重学习装置的结构进行说明。图9是示出第3实施方式的簇权重学习装置的结构的一例的图。如图9所示，簇权重学习装置40具有特征量提取部401、掩模计算部402、误差计算部403、簇权重微分值计算部404、簇权重更新部405、收敛判定部406、目标讲话者特征量提取部421、簇权重计算部422和存储部440。特征量提取部401、掩模计算部402、误差计算部403、目标讲话者特征量提取部421、簇权重计算部422分别进行与掩模计算神经网络学习装置20的特征量提取部201、掩模计算部202、误差计算部203、目标讲话者特征量提取部221和簇权重计算部222相同的处理。即，簇权重计算部422根据特定讲话者的语音的信号，使用簇权重计算nn来计算至少任意一个层被分解为多个簇的掩模计算nn的与多个簇各自对应的权重。此外，掩模计算部402根据包含特定讲话者的1个以上的讲话者的语音的观测信号的特征量，使用通过由簇权重计算部422计算出的权重进行加权后的掩模计算nn来计算掩模，该掩模从1个以上的讲话者的语音的观测信号的特征量中提取特定讲话者的语音的特征量。存储部440存储在目标讲话者特征量提取部421中使用的讲话者特征量提取模型参数、在簇权重计算部422中使用的簇权重计算nn参数和在掩模计算部402中使用的掩模计算nn参数。簇权重学习装置40例如通过与学习掩模计算神经网络学习装置20中的掩模计算nn参数的方法相同的方法，进行簇权重的重新估计。这时，簇权重学习装置40能够设可从对目标讲话者的语音和其他讲话者的语音进行混合而生成的语音数据提取目标讲话者的语音的掩模为正确掩模。这里，将对目标讲话者的语音和其他讲话者的语音进行混合而生成的观测信号称作适应用观测信号。簇权重微分值计算部404通过将掩模计算nn和簇权重计算nn视作所结合的nn，并对该结合的nn进行误差反向传播，计算权重的微分值。此外，簇权重更新部405根据由簇权重微分值计算部404计算出的簇权重的微分值，对簇权重进行更新。收敛判定部406判定簇权重是否收敛。在判定为已收敛的情况下，收敛判定部406将收敛时的簇权重作为簇权重学习装置40的输出值输出。另一方面，在判定为未收敛的情况下，收敛判定部406将更新后的簇权重输出到掩模计算部402。而且，收敛判定部406向掩模计算部402、误差计算部403、簇权重微分值计算部404和簇权重更新部405输出控制信号，使得反复处理。图10是示出第3实施方式的簇权重学习装置的处理的流程的流程图。如图10所示，首先，特征量提取部401读入适应用观测信号(步骤s401)。此外，目标讲话者特征量提取部421读入适应用目标讲话者信号(步骤s402)。这时，目标讲话者特征量提取部421预先从存储部440读入讲话者特征量提取模型参数(步骤s403)。此外，簇权重计算部422预先从存储部440读入簇权重计算nn参数(步骤s404)。此外，掩模计算部402预先从存储部440读入掩模计算nn参数(步骤s405)。接着，特征量提取部401从观测信号中提取特征量(步骤s406)。此外，目标讲话者特征量提取部421从适应用目标讲话者信号中提取目标讲话者特征量(步骤s407)。这里，簇权重计算部422根据簇权重计算nn参数和目标讲话者特征量，计算簇权重(步骤s408)。此外，掩模计算部402根据特征量和掩模计算nn参数，计算掩模(步骤s409)。误差计算部403根据由掩模计算部402计算出的掩模和正确掩模，计算误差(步骤s410)。簇权重微分值计算部404计算簇权重的微分值(步骤s411)。然后，簇权重更新部405对簇权重进行更新(步骤s412)。收敛判定部406判定簇权重是否收敛(步骤s413)。在判定为模型参数未收敛的情况下(步骤s413：否)，收敛判定部406使各处理部进一步执行步骤s409～s412。另一方面，在判定为模型参数已收敛的情况下(步骤s413：是)，收敛判定部406输出模型参数(步骤s414)。[第3实施方式的效果]簇权重计算部422根据特定讲话者的语音的信号，使用簇权重计算nn来计算至少任意一个层被分解为多个簇的掩模计算nn的与多个簇各自对应的权重。此外，掩模计算部402根据包含特定讲话者的1个以上的讲话者的语音的观测信号的特征量，使用通过由簇权重计算部422计算出的权重进行加权后的掩模计算nn来计算掩模，该掩模从1个以上的讲话者的语音的观测信号的特征量中提取特定讲话者的语音的特征量。此外，簇权重微分值计算部404通过将掩模计算nn和簇权重计算nn视作所结合的nn，对该结合的nn进行误差反向传播，计算权重的微分值。此外，簇权重更新部405根据由簇权重微分值计算部404计算出的簇权重的微分值，对簇权重进行更新。由此，即使通过1次的计算无法计算精度较高的掩模的情况下，也能够通过重新估计簇权重来提高掩模的精度。[本发明与现有技术的比较]表1示出使用本发明的各实施方式和现有技术语音进行提取的情况下的实验结果。表1的倒谱距离(db)为提取出的目标语音的信号与实际的目标语音的信号的倒谱距离。此外，语音提取精度越高，倒谱距离越小。【表1】表1倒谱距离(db)观测语音5.23基线(baseline)5.86本发明(ivector)3.91本发明(讲话者的后验概率)4.11本发明(适应)3.86本发明(序列总结)3.67本实验用于供2个讲话者从混合的观测信号中仅提取目标讲话者的语音。在本实验中，通过8个麦克风对语音进行观测，计算通过波束形成器输出的目标语音的信号。此外，在本实验中，掩模计算nn具有：blstm层、具有relu函数作为激活函数的2个全结合层、具有sigmoid数作为激活函数的全结合层。表1的“观测语音”是未进行语音提取的情况下的结果。如表1所示，未进行语音提取的情况下的倒谱距离为5.23。此外，表1的“基线(baseline)”是使用现有的目标讲话者提取装置10a进行语音提取的情况下的结果。如表1所示，“baseline”的倒谱距离为5.86。这样，在现有的现有的目标讲话者提取装置10a中，与观测信号相比未改善倒谱距离。表1的“本发明(ivector)”是在本发明的第1实施方式中使用ivector进行目标讲话者特征量的提取并进行语音提取的情况下的结果。如表1所示，“本发明(ivector)”的倒谱距离为3.91。表1的“本发明(讲话者的后验概率)”是在本发明的第1实施方式中使用讲话者的后验概率进行目标讲话者特征量的提取并进行语音提取的情况下的结果。如表1所示，“本发明(讲话者的后验概率)”的倒谱距离为4.11。表1的“本发明(适应)”是在使用本发明的第1实施方式的掩模计算装置10计算簇权重并进一步使用本发明的第3实施方式的簇权重学习装置40进行簇权重的重新估计之后进行语音提取的情况下的结果。如表1所示，“本发明(适应)”的倒谱距离为3.86。表1的“本发明(序列总结)”是使用本发明的第2实施方式的掩模计算装置30进行语音提取的情况下的结果。如表1所示，“本发明(序列总结)”的倒谱距离为3.67。如表1所示，现有的目标讲话者提取装置10a与观测信号相比未改善倒谱距离，与此相对，在使用本实施方式的各方法的情况下，改善了倒谱距离。由此，可以说本发明的各实施方式在提高目标语音提取的精度的方面是有效的。[系统结构等]此外，图示的各装置的各结构要素是功能概念性的各结构要素，不一定需要如物理上所图示地构成。即，各装置的分散/合并的具体方式不限于图示，能够根据各种负荷和使用状况等，以任意的单位在功能或物理上分散/合并构成其全部或一部分。并且，在各装置中进行的各处理功能能够通过cpu和由该cpu分析执行的程序来实现其全部或一部分，或者作为基于有线逻辑的硬件来实现。此外，还能够手动地进行在本实施方式中所说明的各处理中的、作为自动地进行的处理而说明的处理的全部或一部分，或者，还能够通过公知的方法自动地进行作为手动地进行的处理而说明的处理的全部或一部分。此外，除非另外指定，否则可以任意地变更上述文档中、附图中所示的处理过程、控制过程、具体名称、包含各种数据或参数的信息。[程序]作为一个实施方式，掩模计算装置10能够通过将执行上述的掩模的计算的掩模计算程序作为封装软件、在线软件安装在期望的的计算机中来安装。例如，通过使信息处理装置执行上述的掩模计算程序，能够使信息处理装置作为掩模计算装置10发挥功能。这里所说的信息处理装置中包含台式机或笔记本型个人计算机。此外，除此以外，在信息处理装置的范畴中还包含智能手机、移动电话机、phs(personalhandyphonesystem：个人手机系统)等移动体通信终端、以及pda(personaldigitalassistant：个人数字助理)等平板终端等。此外，掩模计算装置10还能够作为设用户使用的终端装置为客户端并向该客户端提供与上述的掩模计算有关的服务的掩模计算服务器装置来安装。例如，掩模计算服务器装置被作为提供设观测信号和适应用目标讲话者信号为输入、用于提取目标语音的信号的掩模为输出的掩模计算服务的服务器装置来安装。该情况下，掩模计算服务器装置可以作为web服务器来安装，也可以作为通过外包提供与上述的掩模计算相关的服务的云来安装。图11是示出执行程序的计算机的一例的图。计算机1000例如具有存储器1010、cpu1020。此外，计算机1000具有硬盘驱动器接口1030、盘驱动器接口1040、串行端口接口1050、视频适配器1060、网络接口1070。这些各部件通过总线1080连接。存储器1010包含rom(readonlymemory：随机存取存储器)1011和ram1012。rom1011存储例如bios(basicinputoutputsystem：基本输入输出系统)等引导程序。硬盘驱动器接口1030与硬盘驱动器1090连接。盘驱动器接口1040与盘驱动器1100连接。例如，磁盘、光盘等可装卸的存储介质插入到盘驱动器1100中。串行端口接口1050例如与鼠标1110、键盘1120连接。视频适配器1060例如与显示器1130连接。硬盘驱动器1090例如存储os1091、应用程序1092、程序模块1093和程序数据1094。即，规定掩模计算装置10的各处理的程序被作为记述有可由计算机执行的代码的程序模块1093来安装。程序模块1093例如存储到硬盘驱动器1090中。例如，用于执行与掩模计算装置10中的功能结构相同的处理的程序模块1093存储到硬盘驱动器1090中。另外，硬盘驱动器1090也可以通过ssd代替。此外，在上述实施方式的处理中使用的设定数据作为程序数据1094存储到例如存储器1010、硬盘驱动器1090中。而且，cpu1020根据需要将存储器1010、硬盘驱动器1090所存储的程序模块1093、程序数据1094读出到ram1012中并执行。另外，程序模块1093、程序数据1094不限于存储到硬盘驱动器1090的情况，例如也可以存储到可装卸的存储介质中，经由盘驱动器1100等被cpu1020读出。或者，程序模块1093和程序数据1094也可以存储到经由网络(lan(localareanetwork)、wan(wideareanetwork)等)而连接的其它计算机中。而且，程序模块1093和程序数据1094也可以从其它计算机中经由网络接口1070被cpu1020读出。程序模块1093能够形成为规定掩模计算装置10、掩模计算神经网络学习装置20、掩模计算装置30或簇权重学习装置40中的至少1个各处理的程序。标号说明10、30：掩模计算装置；20：掩模计算神经网络学习装置；40：簇权重学习装置；101、201、301、401：特征量提取部；102、202、302、402：掩模计算部；103、303：目标信号计算部；121、221、421：目标讲话者特征量提取部；122、222、322、422：簇权重计算部；140、240、340、440：存储部；203、403：误差计算部；204：掩模计算nn参数微分值计算部；205：掩模计算nn参数更新部；206、406：收敛判定部；223：簇权重计算nn参数微分值计算部；224：簇权重计算nn参数更新部；404：簇权重微分值计算部；405：簇权重更新部。当前第1页1 2 3