一种声乐学习电子辅助发音系统的制作方法

本发明涉及声乐教学领域，具体涉及一种声乐学习电子辅助发音系统。

背景技术：

声乐包括：美声唱法、民族唱法和通俗唱法，现在中国又出现了原生态唱法。声乐是由一个或多个歌手表演的音乐形式，使用乐器伴奏与否皆可，而人声是作品的重点。对于声乐而言，它也许是最古老的一种音乐形式，因为不需要任何乐器，仅仅人声便可。在各种音乐文化中都存在着某种形式的声乐。语言和音乐目的虽不同，皆有共同的音高与节奏因素。

在声乐练习中，呼吸是声乐练习的重要组成部分，是声乐的基础和动力，声乐呼吸要服从于声乐演唱的需要，根据乐曲的要求分出强、弱、急、缓，使演唱时的气息更饱满、更舒畅，使歌声更具有表现力。然而现有的声乐练习器材中，虽然能够为练习者打节拍、录音、校对唱姿等，但无法让练习者了解自己在练习声乐技巧时，注意到自己声音的频率节拍和标准音频、节拍是否对位，给歌唱者的使用带来了局限。

目前现有技术中大多通过教师进行人工的评定，一定程度会出现偏差，且很多演唱技能无法进行检测，比如喉头的位置判定、声音穿透力的判定。

技术实现要素：

为解决上述问题，本发明提供了一种声乐学习电子辅助发音系统，基于计算机系统完成了整个发音情况检测过程中的数据的采集以及评估，自动化程度高，且涉及面广，可一次性完成喉头的位置及稳定性情况、声音的音色情况、音频穿透力情况、泛音运用情况以及吐字在发声中的保持情况、口型、音高、节拍的检测分析，从而可以得出针对性的培训方案，大大提高了学生的学习效率。

为实现上述目的，本发明采取的技术方案为：

声乐学习电子辅助发音系统，包括：

音频采集模块，用于通过拾音器进行练习者发声音频数据的采集，并将采集到的数据发送到发音标准评估模块；

口型图像采集模块，用于通过摄像头进行学习者口型以及舌头位置图像的音频采集模块，用于采集练习者的发声音频，并将采集到的音频数据发送到数据处理模块；

喉头位置检测模块，通过安装在弹力颈套内的加速度传感器进行弹力颈套加速度数据的采集，并将采集到的数据通过北斗模块发送到数据处理模块；

特征信号采集模块，用于按照预设频率通过传感器组采集发声者的特征信号，并将采集到的特征信号通过北斗模块发送到数据处理模块，所述特征信号包括声门下压、声门气流和声级；

呼吸频率采集模块，通过呼吸频率传感器进行练习者的呼吸频率的采集，并将采集到的数据发送到发音标准评估模块；

数据处理模块，用于通过kinect深度传感器对所接收到的口型图像数据进行人体深度信息以及骨骼信息获取，并将获取的数据发送到发音评估模块；用于接收特征信号，通过声门下压法和波流指数法分别对特征信号进行计算，获得两种算法下的发声效率，按照预设的算法输出音频穿透力评估结果，并以声门下压法测量结果为横坐标，以波流指数法测量结果为纵坐标建立声带振动发声效率坐标图；还用于消除所得骨骼信息的抖动和噪声干扰，并获取所有骨骼对的角度旋转移动SO3矩阵信息；还用于对音频采集模块所发送的音频数据进行消噪处理；

发音标准评估模块，用于根据接收到的弹力颈套加速度数据、呼吸频率数据以及数据处理模块发送的人体深度信息数据与标准数据库内的弹力颈套加速度标准数据、呼吸频率标准数据以及人体深度信息进行对比，进行发音情况的评估，如果差距小于某个门限，则认为发音标准，否则认为不标准；

口型标准评估模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与口型标准数据库内录制的标准口型姿态信息进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；

音高提取模块，用于从经消噪处理后的音频数据的音频帧中提取音高；

节拍提取模块，用于从音高提取模块获取音频帧的音高，累积分析音频帧的音高变化情况，判断出其中包含的旋律段后提取该旋律段的节拍信息；

音符音高和音符时值模型构建模块，用于根据预先建立的音符音高模型集，利用提取的音高分别计算出当前音频帧属于所述音符音高模型集中各个音符音高模型的概率值，根据计算的概率值以及音符音高模型集对当前音频帧进行音符音高模型匹配识别，若当前音频帧与其前一相邻音频帧分属不同的音符音高模型时，记录下当前音频帧号；在按照上述方式依序处理完采集到的音频的所有音频帧后，确定出采集到的音频所对应的音符音高模型序列以及序列中各个音符音高模型的起始音频帧号，计算出所述各个音符音高模型各自所持续的音频帧数；根据预先建立的音符时值模型集，从确定的音符音高模型序列中依次选取出一个音符音高模型，利用其所持续的音频帧数分别计算出所述音符音高模型属于所述音符时值模型集中各个音符时值模型的概率值，进行音符时值模型匹配识别；在按照上述方式依序处理完所确定的全部音符音高模型序列后，得出采集到的音频所包含的各个音符音高模型序列以及各个音符音高模型持续音频帧数所对应的音符时值模型，形成一组<音符音高模型，音符时值模型>序列；

初级评估模块，用于将所得的<音符音高模型，音符时值模型>序列与标准序列数据库内的模型序列进行对比计算后输出演唱技能初级评估结果；

综合评估模块，用于通过预设的算法根据发音标准评估模块、口型标准评估模块、初级评估模块所得的结果以及数据处理模块所得的音频穿透力评估结果进行声乐发音情况的综合评估，并将评估结果发送到显示屏进行显示；

发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出标准的口型数据、喉头移动状态数据、呼吸频率数据到显示屏进行显示；

培训方案生成模块，用于通过人工专家根据综合评估模块的评估结果进行培训方案的输出；

中央处理器，用于协调上述各模块进行工作。

优选地，所述传感器组包括口腔气压传感器、口腔气流传感器和小型收音器。

优选地，所述音符音高模型集包含分别为处于低八度、中八度、高八度区段中的各个标准音符以及一个静音所建立的模型。

优选地，所述显示屏内设有

绘图模块，用于根据数据处理模块、发音标准评估模块、口型标准评估模块、音高提取模块、节拍提取模块所发送到的数据生成各种曲线；

回归计算模块，用于通过不同函数对绘图模块所绘制的曲线进行回归计算；

发音情况评估模块，用于将绘图模块所绘制的曲线与原标准曲线的对比分析进行技能情况的评估，并将输出评估结果。

优选地，还包括一数据库，用于储存整个检测过程中所采集以及发生的数据。

优选地，还包括人机操作模块，用于输入信息调用命令，所述中央处理器根据信息调用命令，从存储单元中调用人们所需的数据信息；所述人机操作模块包括图片输入模块、语音输入模块和文字输入模块，图片输入模块采用扫描仪或图片导入上传，语音输入模块采用麦克风，文字输入模块采用键盘或触控屏。

优选地，所述标准序列数据库、标准数据库、口型标准数据库均连接有一数据更新模块，用于进行各数据库内数据的更新。

优选地，还包括一场景模拟单元，包括空气屏幕生成系统、若干组3D投影仪、素材数据库和播音系统，用于模拟各种训练场景。

优选地，还包括

乐理处理与变换器，用于根据音高提取器提取的音高和节拍提取器提取的节拍信息，对确定出的采集到的语音的<音符音高模型，音符时值模型>序列进行乐理转换处理，得到对应的<标准音符，标准时值>序列；

乐谱生成器，用于根据所述<标准音符，标准时值>序列生成对应的乐谱。

本发明具有以下有益效果：

基于计算机系统完成了整个发音情况检测过程中的数据的采集以及评估，自动化程度高，且涉及面广，可一次性完成喉头的位置及稳定性情况、声音的音色情况、音频穿透力情况、泛音运用情况以及吐字在发声中的保持情况、口型、音高、节拍的检测分析，从而可以得出针对性的培训方案；具有较高的识别率和计算速度，适应性强，能够满足不同声乐训练的使用需求，可以将所采集到的音频数据与标准音频进行对比，使学生可以直观的了解到自己的训练缺陷，大大提高了学生的学习效率；同时在完成评估后，显示屏会自动显示标准的口型数据、喉头移动状态数据和呼吸频率数据，便于学生进行口型、喉头位置和呼吸频率的调节。

附图说明

图1为本发明实施例声乐学习电子辅助发音系统的系统框图。

图2为本发明实施例声乐学习电子辅助发音系统中喉头位置检测模块的结构示意图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了声乐学习电子辅助发音系统，包括：

音频采集模块，用于通过拾音器进行练习者发声音频数据的采集，并将采集到的数据发送到发音标准评估模块；

口型图像采集模块，用于通过摄像头进行学习者口型以及舌头位置图像的音频采集模块，用于采集练习者的发声音频，并将采集到的音频数据发送到数据处理模块；

喉头位置检测模块，通过安装在弹力颈套内的加速度传感器进行弹力颈套加速度数据的采集，并将采集到的数据通过北斗模块发送到数据处理模块；如图2所示，加速度传感器1为多个，相邻两个加速度传感器之间的距离为2-5mm，通过粘合层固定安装在弹力颈套2内，弹力颈套2采用具有弹力的棉布材质，在使用的时候，将加速度传感器紧贴在喉头上，然后在进行演唱时，通过加速度传感器进行弹力颈套加速度数据的测定，从而完成对喉头运动状态数据的采集，且每个加速度传感器1内均设有北斗模块，通过短报文通讯的方式完成数据的传输；

特征信号采集模块，用于按照预设频率通过传感器组采集发声者的特征信号，并将采集到的特征信号通过北斗模块发送到数据处理模块，所述特征信号包括声门下压、声门气流和声级；

呼吸频率采集模块，通过呼吸频率传感器进行练习者的呼吸频率的采集，并将采集到的数据发送到发音标准评估模块；呼吸频率传感器安装在麦克风内；

数据处理模块，用于通过kinect深度传感器对所接收到的口型图像数据进行人体深度信息以及骨骼信息获取，并将获取的数据发送到发音评估模块；用于接收特征信号，通过声门下压法和波流指数法分别对特征信号进行计算，获得两种算法下的发声效率，按照预设的算法输出音频穿透力评估结果，并以声门下压法测量结果为横坐标，以波流指数法测量结果为纵坐标建立声带振动发声效率坐标图；还用于消除所得骨骼信息的抖动和噪声干扰，并获取所有骨骼对的角度旋转移动SO3矩阵信息；还用于对音频采集模块所发送的音频数据进行消噪处理；

发音标准评估模块，用于根据接收到的弹力颈套加速度数据、呼吸频率数据以及数据处理模块发送的人体深度信息数据与标准数据库内的弹力颈套加速度标准数据、呼吸频率标准数据以及人体深度信息进行对比，进行发音情况的评估，如果差距小于某个门限，则认为发音标准，否则认为不标准；

口型标准评估模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与口型标准数据库内录制的标准口型姿态信息进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；

音高提取模块，用于从经消噪处理后的音频数据的音频帧中提取音高；

节拍提取模块，用于从音高提取模块获取音频帧的音高，累积分析音频帧的音高变化情况，判断出其中包含的旋律段后提取该旋律段的节拍信息；

音符音高和音符时值模型构建模块，用于根据预先建立的音符音高模型集，利用提取的音高分别计算出当前音频帧属于所述音符音高模型集中各个音符音高模型的概率值，根据计算的概率值以及音符音高模型集对当前音频帧进行音符音高模型匹配识别，若当前音频帧与其前一相邻音频帧分属不同的音符音高模型时，记录下当前音频帧号；在按照上述方式依序处理完采集到的音频的所有音频帧后，确定出采集到的音频所对应的音符音高模型序列以及序列中各个音符音高模型的起始音频帧号，计算出所述各个音符音高模型各自所持续的音频帧数；根据预先建立的音符时值模型集，从确定的音符音高模型序列中依次选取出一个音符音高模型，利用其所持续的音频帧数分别计算出所述音符音高模型属于所述音符时值模型集中各个音符时值模型的概率值，进行音符时值模型匹配识别；在按照上述方式依序处理完所确定的全部音符音高模型序列后，得出采集到的音频所包含的各个音符音高模型序列以及各个音符音高模型持续音频帧数所对应的音符时值模型，形成一组<音符音高模型，音符时值模型>序列；

初级评估模块，用于将所得的<音符音高模型，音符时值模型>序列与标准序列数据库内的模型序列进行对比计算后输出演唱技能初级评估结果；

综合评估模块，用于通过预设的算法根据发音标准评估模块、口型标准评估模块、初级评估模块所得的结果以及数据处理模块所得的音频穿透力评估结果进行声乐发音情况的综合评估，并将评估结果发送到显示屏进行显示；

发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出标准的口型数据、喉头移动状态数据、呼吸频率数据到显示屏进行显示；

培训方案生成模块，用于通过人工专家根据综合评估模块的评估结果进行培训方案的输出；

中央处理器，用于协调上述各模块进行工作。

所述传感器组包括口腔气压传感器、口腔气流传感器和小型收音器，均安装在麦克风内。

所述音符音高模型集包含分别为处于低八度、中八度、高八度区段中的各个标准音符以及一个静音所建立的模型。

所述显示屏内设有

绘图模块，用于根据数据处理模块、发音标准评估模块、口型标准评估模块、音高提取模块、节拍提取模块所发送到的数据生成各种曲线；

回归计算模块，用于通过不同函数对绘图模块所绘制的曲线进行回归计算；

发音情况评估模块，用于将绘图模块所绘制的曲线与原标准曲线的对比分析进行技能情况的评估，并将输出评估结果。

还包括一数据库，用于储存整个检测过程中所采集以及发生的数据。

还包括人机操作模块，用于输入信息调用命令，所述中央处理器根据信息调用命令，从存储单元中调用人们所需的数据信息；所述人机操作模块包括图片输入模块、语音输入模块和文字输入模块，图片输入模块采用扫描仪或图片导入上传，语音输入模块采用麦克风，文字输入模块采用键盘或触控屏。

所述标准序列数据库、标准数据库、口型标准数据库均连接有一数据更新模块，用于进行各数据库内数据的更新。

还包括一场景模拟单元，包括空气屏幕生成系统、若干组3D投影仪、素材数据库和播音系统，用于模拟各种训练场景。

还包括

乐理处理与变换器，用于根据音高提取器提取的音高和节拍提取器提取的节拍信息，对确定出的采集到的语音的<音符音高模型，音符时值模型>序列进行乐理转换处理，得到对应的<标准音符，标准时值>序列；

乐谱生成器，用于根据所述<标准音符，标准时值>序列生成对应的乐谱。

数据处理模块至少包括前置放大电路，低通滤波电路和工频滤波电路。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。