专利名称：语音波形内插装置及方法
技术领域：
本发明涉及语音波形的内插装置，例如涉及在分组通信系统中，用 于在接收侧再生与语音分组的传送途中消失的语音分组相当的语音波形 的语音波形内插装置。并且，涉及例如可用于对蓄积的语音段的数据进 行编辑或加工而生成新的语音数据的语音编辑/加工处理系统的语音波形 内插装置。
下面，将前者的语音分组通信系统作为代表例进行说明。
背景技术：
近年来，在因特网普及的背景下，经由IP (Internet Protocol)网络 来传送将语音数据分组化的语音分组的、所谓VoIP (Voice over IP)通信 系统正在迅速普及。
在像这样以分组单位来传送PCM数据的IP网络中，若应接收的语 音分组的一部分消失或缺失，则导致通过该语音分组再生的语音的语音 质量变差。因此，以往就已提出各种极力不会使用户察觉到因该语音分 组消失等而引起的语音质量劣化的方法。
作为该语音分组消失掩蔽方法之一，已知有ITU-T (International Telecommunication Union:国际电信联盟)丰示准G. 711 Appendix I。在该 G. 711 Appendix I中规定的分组消失掩蔽方法中，首先，利用波形相关， 提取作为语音的物理特性之一的音调周期。并且，在与消失的语音分组 相当的部分，重复配置该提取的音调图案，从而生成消失掩蔽信号。另 外，在连续消失语音分组的情况下，使该消失掩蔽信号慢慢衰减。
此外，还提出了几种消失语音的内插再生方法，例如可举出下述的 [专利文献1] [专利文献3]。中公开了如下方式，即，赋予根据分组消失前正常接
6收到的语音数据估计的、音调周期的波动和功率变动，生成消失掩蔽信 号。并且，在[专利文献2]中，参照分组消失前及消失后的分组之中的 至少一方，利用该音调变动特性和功率变动特性，估计语音消失区间的 音调变动及功率变动。并且，公开了一种通过使用该估计出的特性来再
生语音消失区间的语音波形的方式。此外，在[专利文献3]中公开了如下
方式，g卩，通过非标准化差分运算处理，计算与缺失之前输入的语音分 组信号之间的最佳匹配波形，根据计算结果的最小值，由缺失之前输入 的语音分组信号，决定要内插的内插信号。
专利文献l:日本特开2001-228896号公报 专利文献2: WO 2004/068098号公报 专利文献3:日本特开平2-4062号公报
根据上述现有的消失语音的波形内插方法，提取消失分组的前一个 波形或后一个波形，提取其音调周期，重复该音调波形，从而生成内插 语音波形。该情况下，由于提取该消失分组的前一个或后一个波形，所 以无论该提取出的波形如何，都同样地重复音调波形，生成内插语音波 形。
用于上述用于生成内插语音波形的前一个波形例如在母音的中间附 近，振幅为一定值以上，且振幅变动也小，比较稳定时，可以生成几乎 没有音质劣化的语音波形。但是，例如在从母音变为辅音，共振峰变化 较大的过渡部分，或呼气段落末尾等，发生分组消失的情况下，即使上 述用于生成内插语音波形的波形是自相关性高的周期性波形，也会出现 蜂鸣声这样的再生音，有时引起音质劣化。将该情况示于图。
图14是表示发送语音波形(A)、以及对该发送来的语音波形(A) 之中的因语音分组消失而引起的波形缺失部分进行内插的内插语音波 形(B)的图。图14 (A)中，一连串的语音波形之中的、因发生分组消 失(分组遗失)而在语音分组中发生缺失的部分表示为Pa。根据上述现 有的方法，始终提取该缺失部分Pa的前一个分组Pb，如图14 (B)所示， 作为重复的分组Pb'，插入配置到缺失部分Pa。
该pb'的波形似乎是不错的波形，但若作为实际语音再生，则成为使用户感到不快的蜂鸣声。
发明内容
因此，本发明是鉴于上述问题而提出的，其目的在于，提供一种不 产生不愉快的再生音的语音波形内插装置。
并且，本发明的目的还在于，提供一种用于解决上述情况的语音波 形内插方法、以及用于计算机的语音波形内插程序。
如下面使用
基于本发明的语音波形内插装置如下，其由如 下部分构成-
(i) 语音存储部，其存储语音数据；
(ii) 内插波形生成部，其针对所述语音数据的一部分，利用该语音
数据的另一部分进行内插，生成语音数据；
(m)波形结合部，其将来自所述语音存储部的语音数据和替代该 语音数据的一部分的来自所述内插波形生成部的内插语音数据结合；以 及
(iv)内插波形设定功能部，其判断所述语音数据的一部分作为应 由所述内插波形生成部进行内插的内插语音数据是否合适，选择判断为 合适的语音数据，将该语音数据设定为所述内插语音数据。其中，本发 明的最大的特征在于，上述(iv)的内插波形设定功能部。
该内插波形设定功能部(iv)具体还包括振幅信息分析单元，其 对来自所述语音存储部的所述语音数据，进行其振幅信息分析；以及语 音波形判断部，其根据该分析结果，判断作为所述内插语音数据是否合 适。
进一步详细地说，计算语音数据的每单位帧的振幅信息，根据时间 方向的振幅值，求出振幅包络线，根据该振幅包络线，确定应该用于波 形内插的附近波形在振幅包络线上的位置。根据所确定的位置的振幅信 息，在上述语音波形判断部中判断是否是适合于上述重复的波形。
图1是表示本发明的基本结构的图。
图2是进一步具体表示图1的基本结构的图。
图3是表示与图14 (A)的波形相同的波形(A)、将波形(A)包
含在中间的长时间的语音波形(B)、以及通过波形(B)的振幅值计算得
到的振幅包络线(C)的图。
图4是表示分组通信系统的语音波形内插装置的第一例的图。 图5是表示与图14 (A)的波形相同的波形(A)、以及通过背景噪
声区间内插的语音波形(B)的图。
图6是表示与图14 (A)的波形相同的波形(A)、以及通过后方语
音数据内插的语音波形(B)的图。
图7是表示语音波形内插装置的第二例的图。
图8是表示图7所示的语音波形内插装置的动作的流程图。
图9是进一步详细表示图8所示的步骤S19的流程图。
图IO是表示语音波形内插装置的第三例的图。
图11是表示语音波形内插装置的第四例的图。
图12是表示对图14 (A)的波形进行变形的一例(A)、以及通过前
方语音数据内插的语音波形(B)的图。
图13是表示图6和图12所示的进行波形内插时的动作的流程图。 图14是表示发送语音波形(A)、以及对该发送来的语音波形(A)
之中的因语音分组消失而引起的波形缺失部分进行内插的内插语音波
形(B)的图。
符号说明
l语音波形内插装置；2语音存储部；3内插波形生成部；4波形结 合部；5内插波形设定功能部；6振幅信息分析部；7语音波形判断部；8 振幅值计算部；9振幅信息存储部；11有声/无声判断部；12判断阔值判 断部；13振幅使用范围设定部；14发言者识别部；15判断阈值存储部； 16振幅使用范围存储部
具体实施例方式
图1是表示本发明的基本结构的图。如图1所示，本发明涉及的语 音波形内插装置l具有语音存储部2，其存储语音数据Din;内插波形 生成部3，其针对语音数据Di。的一部分，利用该语音数据Din的另一部 分进行内插，生成语音数据De;波形结合部4，其将来自语音存储部2 的语音数据Din和替代该一部分的来自内插波形生成部3的内插语音数 据Dc结合，作为语音数据D。ut输出；以及内插波形设定功能部5，其判
断上述的语音数据DiJ勺一部分作为应在内插波形生成部3内插的内插语
音数据是否合适，选择判断为合适的语音数据，将该语音数据设定为内
插语音数据Dc。
在此，内插波形设定功能部5包括振幅信息分析单元6，其对来 自语音存储部2的语音数据Din，进行其振幅信息分析；以及语音波形判
断部7，其根据该分析结果，判断作为内插语音数据De是否合适。
图2是进一步具体表示图1的基本结构的图。另外，通过整个图，
对相同结构要素赋予相同标号或符号。
图2中进一步具体表示图1的振幅信息分析单元6。即，振幅信息
分析单元6具有振幅值计算部8，其计算语音数据Din的振幅值，得到
时间方向的振幅值；以及振幅信息存储部9，其将该计算出的振幅值作为 振幅信息临时存储。该振幅值计算部8还计算振幅包络线或该振幅的最 大值及最小值。
在此，语音波形判断部7根据由上述时间方向的振幅信息确定的振 幅包络线上的位置，判断作为内插语音数据Dc是否合适。另外，本图 的右上所示的SW是择一切换下述两种情况的信号来作为输出语音数 据D。ut的开关，g卩，使输入语音数据Din直接通过，或是包含通过内插得
到的来自波形结合部5的内插语音数据De的语音数据。在此，为了便于
理解本发明的原理，参照图3。
图3是表示与图14 (A)的波形相同的波形(A)、将波形(A)包 含在中间的长时间的语音波形(B)、以及通过波形(B)的振幅值计算(8) 得到的振幅包络线(C)的图。本图(A)的Pa部分发生语音分组消失的情况下，在语音波形判断部7中判断与该消失分组的前一个分组相当的 语音波形Pb作为内插波形(De)是否合适。
为了说明该语音波形判断部7中的判断方法，参照图3的(B)及(C)。
语音波形判断部7对作为内插波形的几个候补进行如下判断将在振幅
信息分析部6中对以模拟波形表示时为该图(B)所示的输入语音数
据D,n进行分析的结果，gP，以模拟表示时为该图(C)所示的振幅包络
线EV，作为输入时，作为该内插波形是否合适。
该情况下，以该候补位于振幅包络线EV上的哪一位置作为判断基 准。在此，分析本图(C)的振幅包络线EV， Pb部分的语音波形位于振
幅局部变小的位置，不能成为上述内插波形的候补。并且，Pe,部分或Pc2
部分的各语音波形位于取振幅包络线的极小值的位置，也不能成为上述 内插波形的候补。此外，Pd部分语音波形仅接在振幅包络线上的无声区
间S的前面，也不能成为内插波形的候补。若将这些Pb、 Pcl、 Pc2、 Pd的
任意一个所在的语音波形用作内插波形，则例如会再生上述的蜂鸣声那
样的声音。在此，本发明中，作为在内插波形生成部3中用作内插波形 的图3 (C)的振幅包络线(EV)上的波形，选择不位于Pb、 Pel、 Pc2、 Pd等的波形。
通过上述的本发明的原理来实现用于语音编辑/加工处理系统的语 音内插装置或用于分组通信系统的语音波形内插装置。
前者的用于语音编辑/加工处理系统的语音波形内插装置由如下部 分构成语音存储部2，其蓄积多个语音段，进行保持；内插波形生成 部3，其通过重复使用该语音段，对一连串的语音数据Din的一部分迸行 内插，生成语音数据D。；波形结合部4，其将存储于语音存储部2的语 音数据和替代其一部分的来自内插波形生成部4的内插语音数据结合；
以及内插波形设定功能部5，其判断语音数据的一部分作为应在内插波形 生成部3内插的内插语音数据是否合适，选择判断为合适的语音数据，
将该语音数据设定为内插语音数据。若使用该语音波形内插装置，例如 在进行语音合成波形的标签中的辅音的音素边界的决定处理时，并且， 进行语音合成时的语音段的配置处理时，或者，进行语速变换处理的情
11况下，决定语音段长度延长的语音段时，能够判断相应音段是否合适。
另一方面，后者的用于分组通信系统的语音波形内插装置由如下部 分构成语音存储部2，其按顺序存储依次接收的各分组之中、正常接收
到的各分组具有的语音数据；内插波形生成部3，其在因分组的消失(废
弃或延迟)而在语音数据Din的一部分上发生缺失时，利用语音数据Din
的另一部分对该缺失部进行内插，生成语音数据Dc;波形结合部4，其
将存储于语音存储部2的语音数据Din和替代该一部分的来自内插波形生
成部3的内插语音数据Dc结合；以及内插波形设定功能部5，其判断语
音数据Din的一部分作为应在内插波形生成部3内插的内插语音数据c是
否合适，选择判断为合适的语音数据，将该语音数据设定为该内插语音数据。
图4是表示上述分组通信系统的语音波形内插装置的第一例的图。 本图中，参考符号"F"表示从分组通信网络正常接收语音分组时激活的模 块，另一方面，参考符号"G"表示检测到来自分组通信网络的一连串的语 音分组之中存在缺失的语音分组时激活的模块。其中，这些模块F及G 内的结构与图2所示的结构相同。
作为本发明要部的内插波形设定功能部5由振幅值计算部8、振幅 信息存储部9以及语音波形判断部7构成。在上述分组通信网络中的分 组通信中，在分组正常接收区间，输入语音数据Din被保存于语音存储 部2。振幅值计算部8根据语音存储部2中的语音数据Din，计算帧单位 的振幅值，计算振幅包络线信息、振幅最大值、振幅最小值等振幅信息。 振幅信息存储部9保存由振幅值计算部8计算出的振幅信息。
在发生分组消失的情况下，当从语音存储部2输入该消失的分组的 前方或后方的波形位置到语音波形判断部7时，语音波形判断部7确定 该部分在振幅包络线(EV)上的位置。判断应作为内插波形候补的波形 是否在振幅包络线(EV)上的极小值位置或是无声区间S的前一部分Pd， 将该判断结果通知给内插波形生成部3。
内插波形生成部3按照该判断结果，生成分组消失区间的波形。此 外，波形结合部4将正常接收到的区间的语音波形和由内插波形生成部3生成的内插区间的波形结合，并使这些波形的连结部分圆滑，将结合波 形作为输出语音数据D。ut。
而且，语音波形判断部7判断作为替代候补的内插语音数据R在振 幅包络线(EV)上的位置至少是振幅极小位置Pel、 Pe2或是无声区间的 前一位置Pd时，不将该部分的语音数据釆用为内插语音数据Dc，搜索该 部分的语音数据以外的位置上的其他语音数据，或搜索背景噪声区间(参 见图5)。
图5是表示与图14 (A)的波形相同的波形(A)、以及通过背景噪 声区间内插的语音波形(B)的图。图5 (B)的参考符号Pn表示背景噪 声区间。在判断分组消失区间(Pa)的前一区间不适合波形重复的情况下， 也可以不通过该重复生成波形，而替代于此，将背景噪声数据配置在分 组消失区间Pa。该背景噪声区间的语音数据利用存储于语音存储部2的 语音数据和有声/无声的判断结果(参见图7的有声/无声判断部11)，仅 提取无声的噪声部分的语音数据来使用。另外，背景噪声数据也时时刻
刻发生变化，所以使用区间优选使用尽量接近消失分组Pa的语音数据。
此外，语音波形判断部7将依次出现在应被内插的语音数据Din的时 间轴上的前方的前方语音数据的任意一个以及、依次出现在该应被内插 的语音数据Din的时间轴上的后方的后方语音数据的任意一个的至少一 方，设定为作为上述代替候补的内插语音数据Dc (参见图6)。
图6是表示与图14 (A)的波形相同的波形(A)、以及通过上述后 方语音数据(P》内插的语音波形(B)的图。图6的内插波形生成例是， 不仅对消失分组的前方的语音数据进行判断，还对消失分组的后方的语 音数据进行判断，生成内插波形的例子。判断为消失分组的前一个分组 不适合重复、而消失分组的后一个分组适合重复的情况下，重复配置该 判断为合适的后方分组的语音数据，从而生成内插区间的波形De。但是， 只有在允许语音发生些许延迟的情况下，才能够利用后方语音数据。
另外，内插波形的生成方法当然也可以相互组合，在基于波形重复 的内插波形上重叠噪声波形，或者在分组消失连续且较长的情况下，分 为消失分组区间的前半和后半，变更波形生成方法。图7是表示语音波形内插装置的第二例的图。图7和图4 (第一例) 之间的差异在于，追加了有声/无声判断部11。即，基于该第二例的语音 波形内插装置1还具备将存储于语音存储部2的语音数据Din分类成有声 部分和无声部分来进行判断的有声/无声判断部11，针对判断出的有声部 分，通过振幅计算部8计算其振幅最大值和振幅变动率，将该结果保持 在振幅信息存储部9中；针对判断出的无声部分，通过振幅计算部8计 算其振幅平均值，将该结果保持在振幅信息存储部9中。进一步详细说 明如下。
输入语音数据Din被输入到有声/无声判断部11，被分类成语音区间 和无声区间。在下一段的振幅值计算部8中，根据存储于语音存储部2 的输入语音数据Din，以帧单位(例如4msec)计算语音的振幅值。除了 表示该振幅值的时间方向的变化的振幅包络线(EV)的信息之外，还根 据上述有声/无声判断部11进行分类的结果，分别计算有声区间的振幅的 最大值和最小值、语音区间的平均振幅。而且，在振幅信息存储部9中 保存如上所述由振幅值计算部8计算出的振幅信息和有声/无声的判断结 果。
在发生了分组消失的情况下，若从语音存储部2输入消失分组的前 方(或后方)的波形位置到语音波形判断部7，则该语音波形判断部7确 定该部分在振幅包络线(EV)上的位置。判断应作为内插候补的波形是 否是振幅包络线(EV)上的极小值位置或是无声区间S的前一部分。如 上所述，参见图5，使用实际的语音波形进行了说明。
引入上述有声/无声判断部ll具有如下优点，不仅最大值、最小值、 极小值的计算精度有所提高，振幅值计算部8中的运算负荷减轻。下面， 说明引入了该有声/无声判断部11时的动作流程。
图8是表示图7所示的语音波形内插装置的动作的流程图。图8中，
步骤Slh判断是否正常收到了分组。
步骤S12:若进行了上述的正常接收(是)，则取入其中的l个分组 数据(语音数据)，
步骤S13:将该输入语音数据Din存储到语音存储部2中。
14步骤S14:此外，上述有声/无声判断部ll对语音数据Din进行有声 部分和无声部分的分类处理，
步骤S15:根据该分类结果，进行判断。
步骤S16:通过上述判断，判断为有声时，计算语音数据的振幅包 络线(EV)和该振幅的最大值，
步骤S17:另一方面，通过上述判断，判断为无声时，计算出该无 声语音的振幅平均值(即，有声语音的振幅的最小值)，
步骤S18:将这些计算数据保持在振幅信息存储部9中。
步骤S19:在上述初始步骤Sll中判断为未能正常接收到分组(分
组消失)时，根据在步骤S18中保持的振幅信息，进行基于上述语音波
形判断部7的判断，
步骤S20:如上所述，通过内插波形生成部3生成内插语音数据Dc。 步骤S21:进一步利用波形结合部4将输入语音数据Din和内插语音
数据De圆滑地结合，
步骤S22:得到输出语音数据D。ut。在此，进一步详细说明上述步
骤S19。
图9是更加详细地表示图8的步骤S19的流程图。图9中，
步骤S31:语音波形判断部7调查要作为内插语音波形候补的、振 幅包络线EV (图3)上的位置的振幅变化率。该振幅变化率较小之处包 含作为内插波形不合适的部分。
步骤S32:但是，从振幅变化率较小的部分之中，通过下面的3个 步骤的判断，判断出作为内插波形不合适的位置。首先，若(振幅值-振 幅最小值) <无声前一区间判断阈值，则立即判断作为内插波形不合适， 将判断标志设为OFF (不可使用)。
步骤S33:若上述不等式的成立为"否"，则接着，调查(振幅值-振 幅最小值) <极小值判断阈值1的不等式是否成立，
步骤S34:若该不等式成立(是)，则进一步调査(振幅最大值-振幅 值)<极小值判断阈值2的不等式是否成立，
步骤S35:若该不等式成立(是)，则最终不允许该语音数据作为内插波形使用(判断标志K)FF)。参见上述图3可知，例如进入到本图中 的振幅范围"TH"内时，设定为不可使用。
步骤S36:因此，若上述步骤S31、 S33及S34的判断结果的任意一 个为"否"，则允许该语音数据作为内插波形使用(判断标志-ON)。
图10是表示语音波形内插装置的第三例的图，图11是表示语音波 形内插装置的第四例的图。
简单地说，第三例和第四例示出还具备判断阈值设定部12的语音波 形内插装置，该判断阈值设定部12根据存储于语音存储部2的语音数 据Di。和存储于振幅信息存储部9的振幅信息，设定语音波形判断部7中 判断作为内插语音数据De是否合适时的振幅判断阈值Tl，
并且还示出具备发言者识别部14的语音波形内插装置(图ll)，从 而对识别出的每个发言者设定上述振幅判断阈值Tl，
还示出具备振幅使用范围设定部13的语音波形内插装置(图10、 图11)，该振幅使用范围设定部13设定应使用语音波形判断部7所使用 的振幅信息之中的哪一范围。
为了与时时刻刻变化的语音数据Dh对应，判断阈值设定部12根据 语音存储部2的语音数据和振幅信息存储部9的振幅信息，计算进行语 音波形判断时的判断阈值T1，存储于判断阈值存储部15。另外，下面示 出各种判断阈值的具体例。
-呼气段落末尾判断阈值=(无声区间)振幅平均值xl.2
-极小值判断阈值1=(有声区间)振幅最小值xl.2 (参见图9的S33)
-极小值判断阈值2=(有声区间)振幅最大值x0.8 (参见图9的S34)
另一方面，在图10和图11的振幅使用范围设定部13中设定语音波 形判断部7所使用的振幅信息的使用范围。作为振幅信息的使用范围的 设定方式，可以考虑，(i)设定为时间范围；(ii)参考有声/无声判断 部11的判断结果，将夹在2个无声区间的有声区间设定为振幅的使用范 围；(iii)参考有声/无声判断部11的判断结果，将一呼气段落设定为振 幅的使用范围。
进一步详细说明上述(i) (iii)如下
16(i) 指定例如分组消失前3秒钟的时间；
(ii) 根据有声/无声判断部11的判断结果，将夹在无声和无声之间 的区间设定为振幅使用范围，无声不仅包含只有背景噪声的区间，还包 括摩擦音(例如"日语廿行"音的辅音部分)或爆破音(例如"日语夕行，， 音的辅音部分)；
(iii) 根据有声/无声判断部11的判断结果，将一个呼气段落、即一 口气叙述的范围设定为振幅使用范围。
图10和图11的语音波形判断部7使用振幅信息存储部9的振幅信 息、判断阈值存储部15的判断阈值、振幅使用范围存储部16的振幅使 用范围，判断语音波形是否是可重复使用的语音波形。
并且，由振幅信息存储部9得到保持于振幅使用范围存储部16内的 位于振幅使用范围内的振幅信息，计算振幅最小值、振幅最大值等。此 外，使用判断阈值存储部15的判断阈值进行判断，对于此时的判断方法， 如图9所示的流程图。
图11的第四例中的发言者识别部14根据语音存储部2的语音数 据Din,对发言者进行识别。对于发言者的识别方法，通过FFT(Fast Fourier Transform,快速傅里叶变换)对语音数据迸行频率变换，调查其平均频 率、共振峰，从而进行识别。根据发言者的不同，从母音转移到辅音时 的振幅变化率有所不同，极小值部分的辅音的振幅平均值也不同，此外， 振幅最大值和振幅最小值之差也不同。在此，在判断阈值存储部15中存 储各发言者的阈值信息。
在发生语音分组消失的情况下，根据语音存储部2的语音数据识别 发言者，语音波形判断部7使用保持于判断阈值存储部15内的各发言者 的阈值信息，判断波形，但此时，通过使用各发言者的阈值，能够进一 步提高判断性能。
波形内插的方法如上所述有很多种。例如，上述的图5和图6所示 的方法，下面还示出一种方法。
图12是表示对图14 (A)的波形进行变形的一例(A)、以及通过前 方语音数据内插的语音波形(B)的图。图12的波形生成例是，仅使用消失分组Pa的前方语音波形数据，生成内插区间(W区间)波形的例子。 在判断为分组消失区间(Pa)的前一区间(U区间)的语音波形不适合波 形重复使用的情况下，再判断前方分组(V区间)，其结果，判断为适合 波形重复使用的情况下，将V区间的波形重复配置在W区间，再连续配 置U区间的波形，从而生成内插区间W的波形PV。
此外，作为其他方式，使用消失分组的后方语音波形数据的情况下， 该消失分组区间后一个区间被判断为不适合波形重复使用时，再判断其 后方的分组，判断为在此处适合重复使用的情况下，首先，仅配置一次 认为适合重复使用的上述区间的波形，重复使用上述后方分组的波形，
使它们相连，从而能够生成内插区间w的波形。
图13是表示进行图6和图12所示的波形内插时的动作的流程图。 图13中，
步骤S41:在内插波形设定功能部5中得到作为判断对象的输入语 音信号(Din)。
步骤S42:判断形成该输入语音信号的分组是消失分组的前方分组 还是后方分组，
步骤S43:若是前方分组，则对该波形(参见图12的U区间)进行 判断。
步骤S44:根据该判断结果，认为该前方分组不适合在内插区间重 复使用时(否)；
步骤S45:进一步将再前一个分组(图12的V区间)作为判断对象， 重复相同操作；
步骤S46:在步骤S44中判断为适合在内插区间重复使用吋(是)， 通过该判断为适合的前方波形，生成该内插区间的波形。并且，其他内 插方法如下。
步骤S47:在上述步骤S42中，判断形成输入语音信号的分组是消 失分组的前方分组还是后方分组，若是后方分组，则对其波形(参见图6 的P》进行判断。
步骤S48:通过该判断结果，认为该后方分组不适合在内插区间重复使用时(否)，
步骤S49:将再后一个的分组作为判断对象，重复相同操作，
步骤S50:在步骤S48中判断为适合在内插区间重复使用时(是)，
通过该认为合适的后方波形，生成在该内插区间的波形。
以上所述的本发明的语音波形内插装置还可以作为方法的步骤来实
现。即， 一种语音波形内插方法，针对所存储的语音数据De的一部分， 利用该语音数据的另一部分进行内插，生成语音数据，所述语音波形内
插方法包括(i)存储语音数据Din的第一步骤；(ii)第二步骤，判断该 语音数据的一部分作为应内插的内插语音数据Dc是否合适，选择判断为 合适的语音数据，将该语音数据设定为内插语音数据De;以及(iii)将 在第一步骤(i)中存储的语音数据和在第二步骤(ii)中设定的内插语音 数据D。结合的第三步骤。
此外，所述语音波形内插方法在第二步骤(ii)中包括对在第一步 骤(i)中存储的语音数据Din分析其振幅信息的分析步骤；以及根据其 分析结果判断作为内插语音数据De是否合适的语音波形判断步骤。
并且，本发明可以作为语音波形内插程序表现，该语音波形内插程
序使计算机针对所存储的语音数据Din的一部分，利用该语音数据的另一
部分进行内插，生成语音数据，所述语音波形内插程序使计算机执行如
下步骤(i)存储语音数据Din的第一步骤；(ii)第二步骤，判断该语音 数据的一部分作为应内插的内插语音数据Dc是否合适，选择判断为合适 的语音数据，将该语音数据设定为内插语音数据Dc;以及(iii)将在第 一步骤(i)中存储的语音数据和在第二步骤(ii)中设定的内插语音数据 结合的第三步骤。
权利要求
1.一种语音波形内插装置，其特征在于，所述语音波形内插装置具有语音存储部，其存储语音数据；内插波形生成部，其针对所述语音数据的一部分，利用该语音数据的另一部分进行内插，生成语音数据；波形结合部，其将来自所述语音存储部的语音数据和替代该语音数据的一部分的来自所述内插波形生成部的内插语音数据结合；以及内插波形设定功能部，其判断所述语音数据的一部分作为应在所述内插波形生成部中内插的内插语音数据是否合适，选择判断为合适的语音数据，将该合适的语音数据设定为所述内插语音数据。
2. 根据权利要求1所述的语音波形内插装置，其特征在于，所述内 插波形设定功能部包括-振幅信息分析单元，其针对来自所述语音存储部的所述语音数据， 分析其振幅信息；以及语音波形判断部，其根据其分析结果，判断作为所述内插语音数据 是否合适。
3. 根据权利要求1所述的语音波形内插装置，其特征在于， 所述振幅信息分析单元具有振幅值计算部，其计算所述语音数据的振幅值，得到时间方向的振 幅值；以及振幅信息存储部，其将该计算出的振幅值作为振幅信息临时存储， 所述语音波形判断部根据由所述时间方向的振幅信息确定的振幅包 络线上的位置，判断作为所述内插语音数据是否合适。
4. 根据权利要求3所述的语音波形内插装置，其特征在于，所述语 音波形判断部在判断为作为替代候补的所述内插语音数据的所述振幅包 络线上的位置至少是振幅极小值位置或无声区间的前一位置时，不将相 应部分的语音数据作为所述内插语音数据釆用，而搜索相应部分的语音数据以外的位置上的其他语音数据或背景噪音区间。
5. 根据权利要求4所述的语音波形内插装置，其特征在于，所述语音波形判断部将在应被内插的所述语音数据的时间轴上的前方依次出现 的前方语音数据的任意一个、以及在应被内插的所述语音数据的时间轴 上的后方依次出现的后方语音数据的任意一个的至少一方，设为作为所 述替代候补的所述内插语音数据。
6. 根据权利要求3所述的语音波形内插装置，其特征在于，所述语 音波形内插装置还具有将存储于所述语音存储部的所述语音数据分类成 有声部分和无声部分来进行判断的有声/无声判断部，对于判断出的有声 部分，在所述振幅计算部中计算其振幅最大值和振幅变动率，将其结果 保持在所述振幅信息存储部中，针对判断出的无声部分，在所述振幅计 算部中计算其振幅平均值，将其结果保持在所述振幅信息存储部中。
7. 根据权利要求3所述的语音波形内插装置，其特征在于，所述语 音波形内插装置还具备判断阈值设定部，该判断阈值设定部根据存储于 所述语音存储部的所述语音数据和存储于所述振幅信息存储部的振幅信 息，设定所述语音波形判断部中判断作为所述内插语音数据是否合适时 的振幅判断阈值。
8. 根据权利要求7所述的语音波形内插装置，其特征在于，所述语 音波形内插装置还具备发言者识别部，对识别出的每个发言者设定所述 振幅判断阈值。
9. 根据权利要求6所述的语音波形内插装置，其特征在于，所述语 音波形内插装置还具备振幅使用范围设定部，该振幅使用范围设定部设 定应使用所述语音波形判断部所使用的所述振幅信息之中的哪个范围。
10. 根据权利要求9所述的语音波形内插装置，其特征在于，所述 振幅使用范围设定为时间范围。
11. 根据权利要求9所述的语音波形内插装置，其特征在于，所述振 幅使用范围参考所述有声/无声判断部的判断结果，将夹在2个无声区间 的有声区间设定为振幅的使用范围。
12. 根据权利要求9所述的语音波形内插装置，其特征在于，所述振幅使用范围参考所述有声/无声判断部的判断结果，将一个呼气段落设 定为振幅使用范围。
13. —种用于分组通信系统的语音波形内插装置，其特征在于，所 述语音波形内插装置具有语音存储部，其按顺序存储依次接收的各分组之中、正常接收到的各分组具有的语音数据；内插波形生成部，其在因分组的消失而在所述语音数据的一部分上 发生缺失时，利用所述语音数据的另一部分对该缺失部进行内插，生成内插语音数据；波形结合部，其将存储于所述语音存储部的语音数据和替代该语音 数据的一部分的来自所述内插波形生成部的内插语音数据结合；以及内插波形设定功能部，其判断所述语音数据的一部分作为应在所述 内插波形生成部内插的内插语音数据是否合适，选择判断为合适的语音 数据，将该合适的语音数据设定为所述内插语音数据。
14. 一种用于语音编辑/加工处理系统的语音波形内插装置，其特征 在于，所述语音波形内插装置具有语音存储部，其蓄积多个语音段，并保持；内插波形生成部，其生成通过所述语音段的重复使用而对一连串语 音数据的一部分进行内插的语音数据；波形结合部，其将存储于所述语音存储部的语音数据和替代该语音 数据的一部分的来自所述内插波形生成部的内插语音数据结合；以及内插波形设定功能部，其判断所述语音数据的一部分作为应在所述 内插波形生成部内插的内插语音数据是否合适，选择判断为合适的语音 数据，将该合适的语音数据设定为所述内插语音数据。
15. —种语音波形内插方法，针对所存储的语音数据的一部分，利用 该语音数据的另一部分迸行内插，生成语音数据，该语音波形内插方法 的特征在于，所述语音波形内插方法包括存储所述语音数据的第一步骤；第二步骤，判断所述语音数据的一部分作为应内插的所述内插语音数据是否合适，选择判断为合适的语音数据，将该合适的语音数据设定为所述内插语音数据；以及将在所述第一步骤中存储的语音数据和在所述第二步骤中设定的所 述内插语音数据结合的第三步骤。
16. 根据权利要求15所述的语音波形内插方法，其特征在于，所述 第二步骤包括对在所述第一步骤中存储的所述语音数据分析其振幅信息的分析步 骤；以及语音波形判断步骤，根据其分析结果，判断作为所述内插语音数据 是否合适。
17. —种语音波形内插程序，使计算机针对所存储的语音数据的一 部分，利用该语音数据的另一部分进行内插，生成语音数据，该语音波 形内插程序的特征在于，所述语音波形内插程序执行如下步骤存储所述语音数据的第一步骤；第二步骤，判断所述语音数据的一部分作为应内插的所述内插语音 数据是否合适，选择判断为合适的语音数据，将该语音数据设定为所述 内插语音数据；以及将在所述第一步骤中存储的语音数据和在所述第二步骤中设定的所 述内插语音数据结合的第三步骤。
全文摘要
本发明涉及一种语音波形内插装置及方法，其针对所存储的语音数据(D<sub>in</sub>)的一部分，利用该语音数据的另一部分进行内插，生成语音数据(D<sub>c</sub>)。为此，所述语音波形内插装置具有语音存储部(2)；生成内插语音数据(D<sub>c</sub>)的内插波形生成部(3)；输出通过语音数据(D<sub>c</sub>)将一部分替换的语音数据(D<sub>out</sub>)的波形结合部(4)；以及内插波形设定功能部(5)，其判断上述语音数据的另一部分作为在内插波形生成部(3)中生成的内插语音数据(D<sub>c</sub>)是否合适，并选择合适的语音数据。
文档编号G10L19/08GK101542593SQ20078004330
公开日2009年9月23日 申请日期2007年3月12日 优先权日2007年3月12日
发明者松本智佳子 申请人:富士通株式会社