一种用于乐器的智能评分方法与流程

本发明涉及乐器智能管理技术领域，具体涉及一种用于乐器的智能评分方法。

背景技术：

乐器泛指可以用各种方法奏出音色音律的器物，一般分为民族乐器和西洋乐器，在现有技术中，乐器演奏的好坏通常通过人为的方式进行判断，其判断结果受人为因素的影响较大；同时乐器随着演奏的时间变化会产生音准的偏差，尤其是木质乐器受温度和湿度的影响较大，当空气的温湿度变化时会影响木材的松紧，进而影响乐器的音准；现有技术中并未有相应的产品对乐器进行综合的智能化管理。

申请号为201610859490.x公开了一种通用的实时乐器演奏评价系统，包括主控模块、数据库、乐曲选择模块、电子乐谱解析模块、乐谱排版显示模块、音频采集模块、乐谱跟踪模块、乐器演奏正确性评价模块和评分计算模块；通过解析电子乐谱、对乐器演奏进行实时的乐谱跟踪和自动音乐转录，得到演奏的正确性评价结果并实时显示，并对用户的演奏水平计算评分。

申请号为201520553923.x公开了一种用于乐器的无线智能装置以及乐器无线监控系统，其中用于乐器的无线智能装置，包括以下电路模块：用于检测温度信息的温度传感器、用于检测湿度信息的湿度传感器、用于处理检测信息的处理芯片以及用于发送检测信息至智能终端的无线传输模块，所述无线传输模块、温度传感器、湿度传感器连接处理芯片。通过温度传感器检测温度信息、通过湿度传感器检测湿度信息，并经由处理芯片、无线传输模块将上述温度信息、湿度信息传送至智能终端，可以通过智能终端对上述数据进行保存，并且在检测到的温度以及湿度超出设定阈值的时候，通过智能终端予以提示，提醒用户进行相应的降温、干燥操作，避免乐器出现温度、湿度过大的问题。

技术实现要素：

本发明是为了解决现有技术中无法实现对乐器的演奏进行智能评分的技术问题，提供一种用于乐器的智能评分方法，能够对乐器演奏进行管理，同时能够提高乐器的检测精度，具有广泛的适用性。

本发明提供一种用于乐器的智能评分方法，包括以下步骤：

s1、特征数据烧录：将乐器的mfcc特征系数烧录至flash存取模块中；

s2、信号数据采集：启动智能管理系统，智能硬件设备中的麦克风实时采集乐器的模拟信号，并将模拟信号实时传送至音频编解码器；

s3、语音数据生成：音频编解码器将模拟信号实时转化成数字信号，通过对数字信号进行滤波和放大处理生成语音数据并将语音数据传送至amr处理单元；

s4、乐音判断：amr处理单元判断语音数据是否为乐音，若判断为是则进入步骤s5，若判断为否则进入返回步骤s2；

s5、语音数据录音：amr处理单元向sd卡大容量存取模块发送驱动指令，sd卡大容量存取模块开始对乐音进行录音；

s6、语音数据传输：乐音录制完成后，amr处理单元将语音数据通过通讯模块传送至云服务器；

s7、语音数据处理：云服务器中的数据处理模块对语音数据进行压缩、降噪和曲目识别，将处理后的语音数据和识别结果传送至评级模块，将处理后的语音数据传送至频漂检测模块；

s8、语音数据评级：评级模块根据乐器评级标准对语音数据进行评级并将评级结果传送至报告生成模块；

s9、报告生成：报告生成模块根据评级结果和检测结果生成报告并将报告传送至客户端。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，步骤s7进一步包括以下步骤：

s71、数据处理模块将语音数据进行分类并压缩成mp3格式；

s72、基于一维的wave-u-net卷积神经网络对所述语音数据进行一维卷积和下采样处理，得到中间结果；

s73、对中间结果进行上采样和反卷积处理，同时在每一层卷积采样对音频特征信号的频谱进行分类；

s74、卷积采样处理完成后，输出分离后的纯乐器演奏乐音并丢弃环境背景噪音，生成处理后的语音数据；

s75、根据处理后的语音数据进行曲目识别并生成识别结果；

s76、将处理后的语音数据和识别结果传送至评级模块，将处理后的语音数据传送至频漂检测模块。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，步骤s8进一步包括以下步骤：

s81、对处理后的语音数据进行mfcc处理后得到的音频频谱特征序列用rnn网络的encoder进行编码，得到语义向量xt；

s82、以语义向量xt作为rnn网络的decoder的隐藏层状态ht＝rnn(xt，ht-1)；

s83、将前一时刻t的隐藏状态层ht作为后一时刻t+1的ht+1的输入，得到输出状态yt＝rnn(xt，ht-1)，输出状态为乐器演奏乐音信号的频谱时序序列；

s84、通过长短时记忆神经网络和连续时序分类对频谱时序序列进行分类连接，得到乐器演奏乐音符号化序列；步骤s84进一步包括以下步骤：

s85、将乐音符号化序列与乐器评级标准进行对比生成评级结果并将评级结果传送至报告生成模块。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，步骤s84进一步包括以下步骤：

s841、将频谱时序序列中的每一个yt输出作为一个时间片输入到lstm网络并后接softmax，输出后验概率矩阵y；

s842、对后验概率矩阵y的每一列进行argmax函数处理，得到每一列输出的音符类别netw(x)，其中w表示lstm的参数；

s843、将音符类别netw(x)输入ctc中进行loss操作将音符序列进行对齐，得到乐音符号化序列。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，用于实现智能评分方法的系统包括：

智能硬件设备：设置在乐器上，用于收集乐器的数据信息，用于将数据信息传送至云服务器；智能硬件设备包括：

麦克风：与音频编解码器电连接，用于采集模拟信号，用于将模拟信号传送至音频编解码器中；

音频编解码器：与麦克风和arm处理单元电连接，用于接收麦克风传送的模拟信号，用于将模拟信号转化成数字信号，用于对数字信号进行滤波和放大处理并生成语音数据，用于将语音数据传送至arm处理单元，用于接收arm处理单元传送的控制指令；

arm处理单元：与音频编解码器、flash存取模块、sd卡大容量存取模块、psram内存模块和温湿度传感器电连接，用于接收音频编解码器传送的语音数据，用于接收温湿度传感器传送的温湿度数据，用于将语音数据传送至sd卡大容量存取模块，用于将语音数据和温湿度数据传送至通讯模块，用于向音频编解码器、flash存取模块、sd卡大容量存取模块、psram内存模块和温湿度传感器传送控制指令；arm处理单元将温湿度数据格封装成json格式；

flash存取模块：与arm处理单元电连接，用于存取智能硬件设备的固件，用于接收arm处理单元传送的控制指令；

sd卡大容量存取模块：与arm处理单元电连接，用于接收arm处理单元传送的存储音频数据，用于接收arm处理单元传送的控制指令；sd卡中加载了fatfs文件系统方便进行文件管理和读写；

psram内存模块：与arm处理单元电连接，用于对音频数据进行缓存，用于接收arm处理单元传送的控制指令；

温湿度传感器：与arm处理单元电连接，用于采集环境的温湿度数据，用于将温湿度数据传送至arm处理单元，用于接收arm处理单元传送的控制指令；

通讯模块：用于接收arm处理单元传送的语音数据和温湿度数据，用于将语音数据和温湿度数据传送至云服务器；

电源模块：与麦克风、音频编解码器、arm处理单元、flash存取模块、sd卡大容量存取模块、psram内存模块和温湿度传感器电连接，用于向麦克风、音频解码器、arm处理单元、flash存取模块、sd卡大容量存取模块、psram内存模块和温湿度传感器提供电源；

云服务器：用于接收通信模块传送的语音数据和温湿度数据，用于对语音数据和温湿度数据进行处理和存储，用于根据数据处理结果生成报告传送至客户端；网络传输上采用的协议是基于tcp/ip的https和websocket两种数据链路层协议，并自定了部分协议支持断点续传；

客户端：用于接收云服务器传送的所述报告，用于将报告反馈至客户。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，云服务器包括：

数据接收模块：用于接收通信模块传送的语音数据和温湿度数据，用于将语音数据传送至分类压缩模块，用于将温湿度数据传送至评级模块；

分类压缩模块：用于接收数据接收模块传送的语音数据，用于将语音数据进行分类和压缩，用于将压缩后的语音数据传送至数据处理模块；

数据处理模块：用于接收分类压缩模块传送的压缩后的语音数据，用于对语音数据进行降噪处理，用于根据降噪后的语音数据与存储在数据库模块曲目信息进行曲目识别并将降噪后的语音数据和识别结果传送至评级模块；

评级模块：用于接收数据处理模块传送的降噪后的语音数据和识别结果，用于接收数据接收模块传送的温湿度数据，用于根据降噪后的语音数据、识别结果、温湿度数据和存储在数据库模块中的乐器评级标准进行评级并生成评级结果，用于将评级结果传送至报告生成模块；

报告生成模块：用于接收评级模块传送的评级结果，用于根据评级结果和检测结果生成报告，用于将报告传送至数据库模块和客户端；

数据库模块：用于存储曲目信息、乐器评级标准和乐器定音标准，用于接收并存储报告生成模块传送的报告。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，麦克风包括左声道麦克风和右声道麦克风，左声道麦克风和右声道麦克风与音频编解码器电连接。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，音频编解码器与arm处理单元通过12s总线方式进行通讯。arm处理器可以开启12sdma中断方式进行数据响应。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，arm处理单元通过双dma(pingpongdma)+ringbuff方式接收音频编解码器传送的音频数据，当ringbuff数据满的时候开启sd卡大容量存取模块，将实时音频数据存取到sd卡大容量存取模块中。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，温湿度传感器为sht30高精度数字温湿度传感器。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，电源模块为锂电池。

本发明所述的一种用于乐器的智能评分方法，作为优选方式，麦克风为驻极体麦克风或硅麦mems。

本发明可以以高分辨率记录乐器弹奏的内容，弹奏的时间，以及乐器内部温湿度等信息，通过wifi通讯模块将数据传输到云服务器，然后在云服务器部署算法，识别采集到的音频文件曲目，根据乐器考级要求给出ai评分，最后通过手机移动终端反馈给用户，实现了乐器使用和管理全智能化，ai技术与乐器的完美结合。

附图说明

图1为一种用于乐器的智能评分方法流程图；

图2为一种用于乐器的智能评分方法语音数据处理流程图；

图3为一种用于乐器的智能评分方法语音数据评级流程图；

图4为一种用于乐器的智能评分方法乐音符号化序列计算方式流程图；

图5为一种用于实现乐器智能评分方法的管理系统组成图；

图6为一种用于实现乐器智能评分方法的管理系统智能硬件设备组成图；

图7为一种用于实现乐器智能评分方法的管理系统智能硬件设备安装示意图；

图8为一种用于实现乐器智能评分方法的管理系统云服务器组成图。

附图标记：

1、乐器；2、智能硬件设备；3、云服务器；31、数据接收模块；32、分类压缩模块；33、数据处理模块；34、评级模块；35、报告生成模块；36、数据库模块；4、客户端；5、电源模块；6、左声道麦克风；7、右声道麦克风；8、音频编解码器；9、flash存取模块；10、sd卡大容量存取模块；11、psram内存模块；12、温湿度传感器；13、arm处理模块；14、通讯模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

如图1所示，一种用于乐器的智能评测方法，包括以下步骤：

s1、特征数据烧录：将乐器1的mfcc特征系数烧录至flash存取模块9中；

s2、信号数据采集：启动智能管理系统，智能硬件设备2中的麦克风实时采集乐器1的模拟信号，并将模拟信号实时传送至音频编解码器8；

s3、语音数据生成：音频编解码器8将模拟信号实时转化成数字信号，通过对数字信号进行滤波和放大处理生成语音数据并将语音数据传送至amr处理单元13；

s4、乐音判断：amr处理单元13判断语音数据是否为乐音，若判断为是则进入步骤s5，若判断为否则进入返回步骤s2；

s5、语音数据录音：amr处理单元13向sd卡大容量存取模块10发送驱动指令，sd卡大容量存取模块10开始对乐音进行录音；

s6、语音数据传输：乐音录制完成后，amr处理单元13将语音数据通过通讯模块14传送至云服务器3；

s7、语音数据处理：云服务器3中的数据处理模块33对语音数据进行压缩、降噪和曲目识别，将处理后的语音数据和识别结果传送至评级模块34，将处理后的语音数据传送至频漂检测模块37；如图2所示，步骤s7进一步包括以下步骤：

s71、数据处理模块33将语音数据进行分类并压缩成mp3格式；

s72、基于一维的wave-u-net卷积神经网络对语音数据进行一维卷积和下采样处理，得到中间结果；

s73、对中间结果进行上采样和反卷积处理，同时在每一层卷积采样对音频特征信号的频谱进行分类；

s74、卷积采样处理完成后，输出分离后的纯乐器演奏乐音并丢弃环境背景噪音，生成处理后的语音数据；

s75、根据处理后的语音数据进行曲目识别并生成识别结果；

s76、将处理后的语音数据和识别结果传送至评级模块34，将处理后的语音数据传送至频漂检测模块37；

s8、语音数据评级：评级模块34根据乐器评级标准对语音数据进行评级并将评级结果传送至报告生成模块35；评级结果包括以下各单项的评分：演奏的音准、节奏、强弱、速度、完整性和音乐性；如图3所示，步骤s8进一步包括以下步骤：

s81、对处理后的语音数据进行mfcc处理后得到的音频频谱特征序列用rnn网络的encoder进行编码，得到语义向量xt；

s82、以语义向量xt作为rnn网络的decoder的隐藏层状态ht＝rnn(xt，ht-1)；

s83、将前一时刻t的隐藏状态层ht作为后一时刻t+1的ht+1的输入，得到输出状态yt＝rnn(xt，ht-1)，输出状态为乐器演奏乐音信号的频谱时序序列；

s84、通过长短时记忆神经网络和连续时序分类对频谱时序序列进行分类连接，得到乐器演奏乐音符号化序列；如图4所示，步骤s84进一步包括以下步骤：

s841、将频谱时序序列中的每一个yt输出作为一个时间片输入到lstm网络并后接softmax，输出后验概率矩阵y；

s842、对后验概率矩阵y的每一列进行argmax函数处理，得到每一列输出的音符类别netw(x)，其中w表示lstm的参数；

s843、将音符类别netw(x)输入ctc中进行loss操作将音符序列进行对齐，得到乐音符号化序列；

s85、将乐音符号化序列与乐器评级标准进行对比生成评级结果并将评级结果传送至报告生成模块35；

s9、报告生成：报告生成模块35根据评级结果和检测结果生成报告并将报告传送至客户端4。

如图5所示，一种用于实现乐器智能评测方法的管理系统，包括：

智能硬件设备2：如图6所示，设置在乐器1上(如安装在钢琴上盖的底板下侧或古筝筝首的盒盖内部、扬琴的共鸣箱内部等，使用双面胶固定)，用于收集乐器1的数据信息，用于将数据信息传送至云服务器3；智能硬件设备2为圆柱体，直径为68mm，高度为24mm；如图7所示，智能硬件设备2包括：

麦克风：与音频编解码器8电连接，用于采集模拟信号，用于将模拟信号传送至音频编解码器8中；麦克风包括左声道麦克风6和右声道麦克风7，左声道麦克风6和右声道麦克风7与音频编解码器8电连接；麦克风的采样率为44.1khz，采样位为16bits，声道数为2(立体声左右声道)，增益为0底板0db；

音频编解码器8：与麦克风和arm处理单元13电连接，用于接收麦克风传送的模拟信号，用于将模拟信号转化成数字信号，用于对数字信号进行滤波和放大处理并生成语音数据，用于将语音数据传送至arm处理单元13，用于接收arm处理单元13传送的控制指令；

arm处理单元13：与音频编解码器8、flash存取模块9、sd卡大容量存取模块10、psram内存模块11和温湿度传感器12电连接，用于接收音频编解码器8传送的语音数据，用于接收温湿度传感器12传送的温湿度数据，用于将语音数据传送至sd卡大容量存取模块10，用于将语音数据和温湿度数据传送至通讯模块14，用于向音频编解码器8、flash存取模块9、sd卡大容量存取模块10、psram内存模块11和温湿度传感器12传送控制指令；arm处理单元13将温湿度数据格封装成json格式；音频编解码器8与arm处理单元13通过12s总线方式进行通讯；arm处理器13可以开启12sdma中断方式进行数据响应；arm处理单元13通过双dma(pingpongdma)+ringbuff方式接收音频编解码器8传送的音频数据，当ringbuff数据满的时候开启sd卡大容量存取模块10，将实时音频数据存取到sd卡大容量存取模块10中；

flash存取模块9：与arm处理单元13电连接，用于存取智能硬件设备的固件，用于接收arm处理单元13传送的控制指令；其中固件包括钢琴88根琴键对应琴音或古筝21根弦对应琴音或扬琴的12音对应琴音的mfcc特征系数；

sd卡大容量存取模块10：与arm处理单元13电连接，用于接收arm处理单元13传送的存储音频数据，用于接收arm处理单元13传送的控制指令；sd卡大容量存取模块10中加载了fatfs文件系统方便进行文件管理和读写；

psram内存模块11：与arm处理单元13电连接，用于对音频数据进行缓存，用于接收arm处理单元13传送的控制指令；

温湿度传感器12：与arm处理单元13电连接，用于采集环境的温湿度数据，用于将温湿度数据传送至arm处理单元13，用于接收arm处理单元13传送的控制指令；温湿度传感器12为sht30高精度数字温湿度传感器；

通讯模块14：用于接收arm处理单元13传送的语音数据和温湿度数据，用于将语音数据和温湿度数据传送至云服务器3；

电源模块5：与麦克风、音频编解码器8、arm处理单元13、flash存取模块9、sd卡大容量存取模块10、psram内存模块11和温湿度传感器12电连接，用于向麦克风、音频解码器8、arm处理单元13、flash存取模块9、sd卡大容量存取模块10、psram内存模块11和温湿度传感器12提供电源；电源模块12为锂电池；

云服务器3：用于接收通信模块14传送的语音数据和温湿度数据，用于对语音数据和温湿度数据进行处理和存储，用于根据数据处理结果生成报告传送至客户端4；网络传输上采用的协议是基于tcp/ip的https和websocket两种数据链路层协议，并自定了部分协议支持断点续传；如图8所示，云服务器3包括：

数据接收模块31：用于接收通信模块14传送的语音数据和温湿度数据，用于将语音数据传送至分类压缩模块32，用于将温湿度数据传送至评级模块34；

分类压缩模块32：用于接收数据接收模块31传送的语音数据，用于将语音数据进行分类和压缩，用于将压缩后的语音数据传送至数据处理模块33；

数据处理模块33：用于接收分类压缩模块32传送的压缩后的语音数据，用于对语音数据进行降噪处理，用于根据降噪后的语音数据与存储在数据库模块36曲目信息进行曲目识别并将降噪后的语音数据和识别结果传送至评级模块34；

评级模块34：用于接收数据处理模块33传送的降噪后的语音数据和识别结果，用于接收数据接收模块31传送的温湿度数据，用于根据降噪后的语音数据、识别结果、温湿度数据和存储在数据库模块36中的乐器评级标准进行评级并生成评级结果，用于将评级结果传送至报告生成模块35；

报告生成模块35：用于接收评级模块34传送的评级结果，用于根据评级结果和检测结果生成报告，用于将报告传送至数据库模块36和客户端4；

数据库模块36：用于存储曲目信息、乐器评级标准和乐器定音标准，用于接收并存储报告生成模块传送的报告；

客户端4：用于接收云服务器3传送的报告，用于将报告反馈至客户。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。