一种智能化音乐教学平台及其使用方法
【专利摘要】本发明公开了一种智能化音乐教学平台及其使用方法，包括数据采集系统，特征提取系统，数据处理系统，数据存储系统，指导系统，智能反馈系统和显示系统，所述方法为：利用数据采集系统采集音视频数据提交音频数据到特征提取系统，特征提取系统提取音频的实时特征数据，提交给数据处理系统，经由数据处理系统处理得到音高和音长对比数据，并存储入数据存储系统，作为Assist Mode基数据，最后由智能反馈系统反馈到显示系统。本发明涉及相当广泛的科学技术领域具有很强的实用性；还能应用于娱乐活动和软件开发等。
【专利说明】一种智能化音乐教学平台及其使用方法
[0001]
技术领域
[0002]本发明属于智能化教育软件开发领域，涉及是一种智能化音乐教学方式，具体涉及一种智能化音乐教学平台及其使用方法。
【背景技术】
[0003]随着互联网与信息化的发展，借用现有的互联网技术辅助教学已经在多门学科中得到运用。音乐教学的目的，本质上在于培养学员的审美情趣及审美能力。而其中的内容就包括了歌唱、演奏、律动、欣赏、创作以及相关的基础知识和基本技能的培养。这就决定了音乐教学方法的特殊性，是感性与理性的融合式教学。因而教学准备、教学过程以及对教学的互动，都可以借助互联网技术得以实现。
[0004]目前音乐教学模式还处在相对传统的方式，学员学习效率低下，没有一种有效的智能化辅助系统来提高音乐教学的效率。
【发明内容】
[0005]本发明的目的在于克服现有技术存在的问题，提供一种智能化音乐教学平台及其使用方法。
[0006]为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现:
一种智能化音乐教学平台，包括数据采集系统，特征提取系统，数据处理系统，数据存储系统，指导系统，智能反馈系统和显示系统，所述数据采集系统分别与所述特征提取系统和所述指导系统连接，所述特征提取系统分别与数据处理系统和所述数据存储系统连接，所述数据存储系统分别与所述数据处理系统，所述指导系统和所述显示系统连接，所述数据处理系统与所述智能反馈系统连接，所述智能反馈系统与所述显示系统连接。
[0007]如上所述的智能化音乐教学平台的使用方法的步骤为:
步骤I)当学员在所述显示系统中选择在线教师指导学习，即Online Mode，或者系统指导学习，即Assist Mode,若选择Online Mode，进一步选择在线的指导教师，若选择AssistMode，进一步选择所述数据存储系统中列出的可以学习曲目；
步骤2)根据所述步骤(I)学员的选择，若是Online Mode，通过所述指导系统通知在线老师，所述数据采集系统进入采集状态，采集学员和教师的音视频数据，若是Assist Mode,所述数据采集系统进入采集状态采集学员音视频数据；
步骤3)所述特征提取系统提取所述步骤(2)中传递过来音频的基音和音长数据，提交给所述数据处理系统；
步骤4)若是Online Mode，比较学员音频与教师音频中的每个音符音调和音长是否相同，给出学员音符音调是偏高多少，偏低多少，给出学员音符音长是偏长多少时值，偏短多少时值，将处理结束提交给所述智能反馈系统和所述数据存储系统，并将教师的音频和音频特征数据提交给所述数据存储系统进行存储，若是Assist Mode，从所述数据存储系统中，调出所选曲目的音频及音频的特征数据，与学员音频及音频特征进行比较，给出学员音符音调是偏高多少，偏低多少，给出学员音符音长是偏长多少时值，偏短多少时值；
步骤5)得到所述步骤(4)中音频特征数据，以音高的值为Y轴，以音长时值为X轴，将得到音频数据特征数据，以二维图形式提交给所述显示系统；
步骤6)将所述步骤(5)中得到二维图反馈到所述显示系统。
[0008]进一步的，所述数据采集系统包括学员端数据采集系统和教师端数据采集系统。
[0009]进一步的，所述特征提取系统包括基音频率识别器和音长获取器。
[0010]进一步的，所述数据处理系统包括频率音高转换器，音高比较器和音长比较器。[0011 ]进一步的，所述数据存储系统提供多数据存储接口。
[0012]进一步的，所述指导系统包括互动模块和基音识别算法选择模块。
[0013]进一步的，所述显示系统包括:指导系统传递来的教师指导视频;智能反馈系统反馈二维图信息实时显示学员乐音特征数据与教师乐音特征数据比较的结果;显示数据存储系统里已有的音视频数据。
[0014]本发明的有益效果:
本发明涉及相当广泛的科学技术领域，包括:语言识别，信号处理，人工智能等，具有很强的实用性;本发明还具有以下的应用前景:
(1)娱乐活动:基音识别的方法和数据处理方式可用于音乐或歌唱评比等方面；
(2)软件开发:基音识别的方法和数据处理方式可用于音乐识别相关软件。
【附图说明】
[0015]图1为本发明智能化音乐教学平台的整体构架图；
图2为本发明智能化音乐教学平台的特征提取系统工作图；
图3为本发明智能化音乐教学平台的数据处理系统工作图；
图4为本发明智能化音乐教学平台的指导系统工作图；
图5为本发明智能化音乐教学平台的工作流程图。
[0016]图中标号说明:1、数据采集系统，2、特征提取系统，3、数据处理系统，4、数据存储系统，5、指导系统，6、智成反馈系统，7、显不系统。
【具体实施方式】
[0017]下面将参考附图并结合实施例，来详细说明本发明。
[0018]参照图1所示，一种智能化音乐教学平台，包括数据采集系统I，特征提取系统2，数据处理系统3，数据存储系统4，指导系统5，智能反馈系统6和显示系统7，所述数据采集系统I分别与所述特征提取系统2和所述指导系统5连接，所述特征提取系统2分别与数据处理系统3和所述数据存储系统4连接，所述数据存储系统4分别与所述数据处理系统3，所述指导系统5和所述显示系统7连接，所述数据处理系统3与所述智能反馈系统6连接，所述智能反馈系统6与所述显示系统7连接。
[0019]如上所述的智能化音乐教学平台的使用方法的步骤为:
步骤I)当学员在所述显示系统7中选择在线教师指导学习，S卩Online Mode，或者系统指导学习，即Assist Mode，若选择Online Mode，进一步选择在线的指导教师，若选择Assist Mode，进一步选择所述数据存储系统4中列出的可以学习曲目；
步骤2)根据所述步骤(I)学员的选择，若是Online Mode，通过所述指导系统5通知在线老师，所述数据采集系统I进入采集状态，采集学员和教师的音视频数据，若是AssistMode，所述数据采集系统I进入采集状态采集学员音视频数据；
步骤3)所述特征提取系统2提取所述步骤(2)中传递过来音频的基音和音长数据，提交给所述数据处理系统3;
步骤4)若是Online Mode，比较学员音频与教师音频中的每个音符音调和音长是否相同，给出学员音符音调是偏高多少，偏低多少，给出学员音符音长是偏长多少时值，偏短多少时值，将处理结束提交给所述智能反馈系统6和所述数据存储系统4，并将教师的音频和音频特征数据提交给所述数据存储系统4进行存储，若是Assist Mode，从所述数据存储系统4中，调出所选曲目的音频及音频的特征数据，与学员音频及音频特征进行比较，给出学员音符音调是偏高多少，偏低多少，给出学员音符音长是偏长多少时值，偏短多少时值；步骤5)得到所述步骤(4)中音频特征数据，以音高的值为Y轴，以音长时值为X轴，将得到音频数据特征数据，以二维图形式提交给所述显示系统7;
步骤6)将所述步骤(5)中得到二维图反馈到所述显示系统7。
[0020]进一步的，所述数据采集系统I包括学员端数据采集系统和教师端数据采集系统，采集音视频数据，其中音频数据包括部分:交流用的音频数据和声乐音频数据;通过视频采集设备(比如:摄像机)实时采集的视频数据，通过语音视设备(比如:话筒)采集交流用的音频数据，将视频数据和交流用的音频数据直截提交给数据存储系统4，通过语音设备采集声乐音频数据，将声乐音频数据提交给特征提取系统2。
[0021 ]进一步的，所述特征提取系统2包括基音频率识别器和音长获取器，基音频率识别器内置的基音频率认别方法:倒谱法，谐波峰值法，循环直方法，小波变换法和并行处理法等并留有基音频率识别算法添加接口；根据指导系统中教师选定的获取基音的方法，进行基音频率数据特征的提取;音长获取器通过算法t = ΛΝ.l/(fs/2j)公式提取音长的时值，其中j是小波分解尺度，ΛΝ为两个音符端点之间的采样个数，匕为信号的初始采样频率(22,050Hz)ο
[0022]进一步的，所述数据处理系统3包括频率音高转换器，音高比较器和音长比较器，频率音高转换器转换的方式是X = [12xlg(y/27.5)]/lg2 + I，其中，y基音频率，X为对应的音高，比如:4000Hz对应的音高为87.21，即4000Hz对应的音高为b4+21音分;音高比较器比较的方式H = A-B，其中A待检声音高，B基准声音音高，H为音高差值;音长比较器比较的方式H = A-B，其中A待检声音长，B基准声音音长，H为音长差值;比较每个音的音高和音长是否相同，给出待检音符基音是偏高多少，偏低多少;给出待检音符音长是偏长多少时值，偏短多少时值。将处理结束提交给智能反馈系统6和数据存储系统4。
[0023]进一步的，所述数据存储系统4提供多数据存储接口，比如:传统的数据库(Oralce)，大数据存储(hadoop)。数据存储系统用来存储视频数据，音频数据，声音的特征数据和数据处理系统提交处理结果数据。
[0024]进一步的，所述指导系统5包括互动模块和基音识别算法选择模块，互动模块通过互联网，实时教师与学员交流，用于接入在线教师对学员进行实时指导;基音识别算法选择模块根据学员请求的曲目，选择适合曲目的基音识别算法。
[0025]进一步的，所述智能反馈系统6以音高的值为Y轴，以音长时值为X轴，将得到数据处理系统提交的基准音频数据和待检音频数据，表示在给定的二维图中，并将二维图信息提交给显示系统
进一步的，所述显示系统7包括:指导系统传递来的教师指导视频;智能反馈系统6反馈二维图信息实时显示学员乐音特征数据与教师乐音特征数据比较的结果;显示数据存储系统4里已有的音视频数据;提供VR显示接口，全息投影技术显示接口和传统显示接口。
[0026]如图2所示，实现特征提取系统的方法如下步骤来实施:
步骤I)教师会根据学员所选的曲目，选择合适基音识别算法；
步骤2)由数据采集系统输入的基准声音数据和待检声音数据通选定的基音识别算法得到基音数据，通过t = ΛΝ.l/(fs/2j)时值提取方法提取音长的时值，其中j是小波分解尺度，ΛΝ为两个音符端点之间的采样个数，fs为信号的初始采样频率(22，050Hz);
步骤3)将基准声音数据，选定的基音识别算法及音乐特征数据作为数据存储系统的输入，音乐特征数据作为数据处理系统的输入。
[0027]如图3所示，实现数据处理系统的方法如下步骤来实施:
步骤I)基准基音数据A与待检基音数据B作为数据处理系统的输入，通过频率音高转换器将基音数据转换成音高数据，转换的方式是X = [12xlg(y/27.5)]/lg2 + I，其中，y基音频率，X为对应的音高，得到对应的A音高和B音高；
步骤2)A音高和B音高进入音高比较器，输出音高差A-B;
步骤3)基准时值数据A待检时值数据B进入时值比较器输出时值差A-B。
[0028]如图4所示，实现指导系统的方法如下步骤来实施:
步骤I)学员在显示系统终端选择学习曲目；
步骤2)确定教师与学员之间网络连接；
步骤3)教师根据曲目选择合适的基音识别算法。
[0029]如图5所示，一种智能化音乐教学工作流程:
步骤I)学员根据自身需求选择Assist Mode,Online Mode；
步骤2)列出学员当前所要可以学习的曲目，学员进行选择曲目；
步骤3)数据采集系统进行音视频采集状态，若为Online Mode，则进一步通知指导系统，指导系统请求教师选择确定基音识别算法；
步骤4)特征提取系统提取音频特征数据，若为Online Mode，根据指导系统反馈的基音识别算法提取，若为Assist Mode，根据数据存储系统中该曲目存储的基音识别算法提取；步骤5)数据处理系统进行基音到音高的换算，二种音频频特征数据的分析，若为Online Mode，则是教师音频与学员音频特征数据分析，同时将教师音频，音频特征数据及基音识别算法，存入数据存储系统;若为Assist Mode，数据存储曲目音频与学员音频特征数据分析；
步骤6)智能反馈系统输出音高与音长的对比的实时二维图；
步骤7)显示系统将实时二维图及视频显示在学员的显示终端。
[0030]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种智能化音乐教学平台，其特征在于，包括数据采集系统(I)，特征提取系统(2)，数据处理系统(3)，数据存储系统(4)，指导系统(5)，智能反馈系统(6)和显示系统(7)，所述数据采集系统(I)分别与所述特征提取系统(2)和所述指导系统(5)连接，所述特征提取系统(2)分别与数据处理系统(3)和所述数据存储系统(4)连接，所述数据存储系统(4)分别与所述数据处理系统(3)，所述指导系统(5)和所述显示系统(7)连接，所述数据处理系统(3)与所述智能反馈系统(6)连接，所述智能反馈系统(6)与所述显示系统(7)连接。2.根据权利要求1所述的智能化音乐教学平台的使用方法，其特征在于，所述方法的步骤为: 步骤I)当学员在所述显示系统(7)中选择在线教师指导学习，S卩Online Mode，或者系统指导学习，即Assist Mode,若选择Online Mode，进一步选择在线的指导教师，若选择Assist Mode，进一步选择所述数据存储系统(4)中列出的可以学习曲目； 步骤2)根据所述步骤(I)学员的选择，若是Online Mode，通过所述指导系统(5)通知在线老师，所述数据采集系统(I)进入采集状态，采集学员和教师的音视频数据，若是AssistMode，所述数据采集系统(I)进入采集状态采集学员音视频数据； 步骤3)所述特征提取系统(2)提取所述步骤(2)中传递过来音频的基音和音长数据，提交给所述数据处理系统(3); 步骤4)若是Online Mode，比较学员音频与教师音频中的每个音符音调和音长是否相同，给出学员音符音调是偏高多少，偏低多少，给出学员音符音长是偏长多少时值，偏短多少时值，将处理结束提交给所述智能反馈系统(6)和所述数据存储系统(4)，并将教师的音频和音频特征数据提交给所述数据存储系统(4)进行存储，若是Assist Mode，从所述数据存储系统(4)中，调出所选曲目的音频及音频的特征数据，与学员音频及音频特征进行比较，给出学员音符音调是偏高多少，偏低多少，给出学员音符音长是偏长多少时值，偏短多少时值； 步骤5)得到所述步骤(4)中音频特征数据，以音高的值为Y轴，以音长时值为X轴，将得到音频数据特征数据，以二维图形式提交给所述显示系统(7); 步骤6)将所述步骤(5)中得到二维图反馈到所述显示系统(7)。3.根据权利要求1所述的智能化音乐教学平台，其特征在于，所述数据采集系统(I)包括学员端数据采集系统和教师端数据采集系统。4.根据权利要求1所述的智能化音乐教学平台，其特征在于，所述特征提取系统(2)包括基音频率识别器和音长获取器。5.根据权利要求1所述的智能化音乐教学平台，其特征在于，所述数据处理系统(3)包括频率音高转换器，音高比较器和音长比较器。6.根据权利要求1所述的智能化音乐教学平台，其特征在于，所述数据存储系统(4)提供多种数据存储接口。7.根据权利要求1所述的智能化音乐教学平台，其特征在于，所述指导系统(5)包括互动模块和基音识别算法选择模块。8.根据权利要求1所述的智能化音乐教学平台，其特征在于，所述显示系统(7)包括:指导系统传递来的教师指导视频；智能反馈系统(6)反馈二维图信息实时显示学员乐音特征数据与教师乐音特征数据比较的结果;显示数据存储系统(4)里已有的音视频数据。
【文档编号】G09B5/06GK106056503SQ201610380874
【公开日】2016年10月26日
【申请日】2016年6月1日
【发明人】胡锐, 张燕, 吴银芳, 沈晓东, 胡奇章
【申请人】苏州科技学院