一种自动韵律提取方法、系统及其在自然语言处理任务中的应用与流程

文档序号:11924032阅读:来源:国知局

技术特征:

1.一种自动语音韵律提取标注方法,其特征在于,该方法包括如下步骤:

步骤1,接收待标注语音数据,获取所述语音数据的对应文本;

步骤2,使用文本-语音对齐技术对采集到的语音数据及所述对应文本进行时间轴上的对齐,形成对齐文本;

步骤3,对所述对齐文本进行句子分割,从而生成以句子为单位的样本;

步骤4,对所述样本中的每个句子应用自动韵律突出性标注算法,从而构造并得到自动标注的文本韵律数据集。

2.根据权利要求1所述的一种自动语音韵律提取标注方法,其特征在于,所述步骤2中所述的语音数据及其对应文本进行时间轴上的对齐具体是指:使得每个文本中的基本单元能够对应所述语音数据上的一段时间轴,从而得到所述文本中每个基本单元对应的语音数据片段,其中,所述基本单元指代中文的字或词语,英文的单词。

3.根据权利要求1所述的一种自动语音韵律提取标注方法,其特征在于,所述步骤4还包括:若原始语音数据中包含多个朗读者或者多个不同朗读的环境,则需要对不同朗读者的发音习惯分别做标准化处理,以及根据需要将所述语音数据的韵律特征进行离散化处理。

4.一种如权利要求1-3任一项所述的一种自动韵律提取方法在自然语言处理任务中的应用,其特征在于,该方法包括:

将文本数据的韵律作为一个序列标注任务,采用长短期记忆人工神经网络(LSTM)对于韵律序列进行建模,LSTM模型的输入为句子对应的词向量序列,在每个时间点预测并输出当前位置基本单元的韵律突出性标注。

5.根据权利要求4所述的一种自动韵律提取方法在自然语言处理任务中的应用,其特征在于,所述LSTM模型可扩展到双向LSTM网络、多层双向LSTM网络或时间循环神经网络及其衍生类型与结构等。

6.根据权利要求5所述的一种自动韵律提取方法在自然语言处理任务中的应用,其特征在于,该方法还包括:

将文本韵律数据集用于基于循环神经网络(RNN)的句子压缩任务:将文本韵律突出性标注作为辅助任务,将句子压缩任务作为主要任务,采用多任务学习下的交替训练方式,每个时间段给所述模型输入一部分文本韵律数据或句子压缩数据,下一个时间段输入另外一个任务,两个任务交替进行,直到所述模型收敛。

7.根据权利要求5所述的一种自动韵律提取方法在自然语言处理任务中的应用,其特征在于,该方法还包括:

将文本韵律数据集用于基于循环神经网络及其相关扩展改进结构的自然语言处理任务:将文本韵律突出性标注作为辅助任务,将句子压缩任务作为主要任务,采用多任务学习下的交替训练方式,每个时间段给所述模型输入一部分文本韵律数据或句子压缩数据,下一个时间段输入另外一个任务,两个任务交替进行,通过优化所述模型参数,直到所述模型收敛。

8.一种自动语音韵律提取标注系统,其特征在于,该系统包括:

采集模块,接收待标注语音数据,获取所述语音数据的对应文本;

对齐模块,使用文本-语音对齐技术对采集到的语音数据及其文本进行时间轴上的对齐,形成对齐文本 ;

分割模块,对所述对齐文本进行句子分割,生成以句子为单位的样本;

自动韵律标注模块,对所述样本中的每个句子应用自动韵律突出性标注算法,从而构造并得到自动标注的文本韵律数据集。

9.根据权利要求8所述的一种自动语音韵律提取标注系统,其特征在于,所述对齐模块中所述的语音数据及其对应文本进行时间轴上的对齐具体是指:使得每个文本中的基本单元能够对应所述语音数据上的一段时间轴,从而得到所述文本中每个基本单元对应的语音数据片段,其中,所述基本单元指代中文的字或词语,英文的单词。

10.根据权利要求8所述的一种自动语音韵律提取标注系统,其特征在于,所述分割模块还用于:

若原始语音数据中包含多个朗读者或者多个不同朗读的环境,则需要对不同朗读者发音习惯分别做标准化处理,以及根据需要将所述语音数据的韵律特征进行离散化处理。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1