乐器演奏点的确定及节奏评分的方法与流程

本发明涉及电子乐器领域，更确切地说，是一种乐器演奏点的确定及节奏评分的方法。

背景技术：

现有的乐器演奏点的确定一般采用差值处理和傅里叶变换等方法，这种方法对于节奏较快的片段无法精确得到乐音的演奏点，在较为嘈杂的环境下体验比较差，同时，对于音量较小的演奏点难以检测。

技术实现要素：

本发明主要是解决现有技术所存在的技术问题，从而提供一种乐器演奏点的确定及节奏评分的方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种乐器演奏点的确定方法，包含步骤：

s1、使用硬件设备获取用户的音频演奏数据；

s2、将音频演奏数据分割成固定长度的片段，并按照先后顺序命名，进行短时傅里叶变换，得到相应名称的固定比例的频谱图；

s3、将频谱图输入一目标检测框架,输出边界框及相应确定性分数；

s4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；

s5、根据文件名重组边界框序列，得到时间顺序上真实的边界框；

s6、设定边界框的两个横坐标为x1和x2，,则真实演奏点x3＝

(x1+x2)/2，由此得到用户演奏点的时间序列。

一种乐器演奏点的节奏评分的方法，包含步骤：

s1、使用硬件设备获取用户的音频演奏数据；

s2、将音频演奏数据分割成固定长度的片段，并按照先后顺序命名，进行短时傅里叶变换，得到相应名称的固定比例的频谱图；

s3、将频谱图输入一目标检测框架,输出边界框及相应确定性分数；

s4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；

s5、根据文件名重组边界框序列，得到时间顺序上真实的边界框；

s6、设定边界框的两个横坐标为x1和x2，,则真实演奏点x3＝

(x1+x2)/2，由此得到用户演奏点的时间序列；

s7、将模板音频数据进行步骤s2-s6操作，得到模板演奏点的时间序列；

s8、使用动态规划进行点匹配，寻找用户演奏点与模板演奏点的对应关系；

s9、根据预设的匹配关系进行评分。

本发明的乐器演奏点的确定及节奏评分的方法具有以下优点：由于乐器每一次演奏都会引起频率的变化，音频数据在经过短时傅里叶变换后输出的数据使用色彩梯度生成图像，视觉上体现为这一区域颜色较深。本发明使用目标检测技术确定这一颜色较深的地方，并进行二分类，判断此演奏点是噪音还是乐器演奏音。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的乐器演奏点的确定及节奏评分的方法的流程示意图；

图2为未分割前用户的音频波形图；

图3为图2中的音频按照固定长度分割后局部的音频波形图；

图4为图3中的分割后的音频放大至固定比例后未经过短时傅里叶变换的波形图；

图5为图4中的波形经过短时傅里叶变换后的频谱图；

图6为图5中的波形经过目标检测框架后输出的频谱图；

图7为节凑点匹配示意图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示，该乐器演奏点的确定及节奏评分的方法，包含步骤：

s1、使用硬件设备获取用户的音频演奏数据，如图2所示；

s2、将音频演奏数据分割成固定长度的片段并按照先后顺序命名，如图3所示。接着，进行短时傅里叶变换，得到相应名称的固定比例的频谱图，如图4和图5所示；

s3、将频谱图输入一目标检测框架,输出边界框及相应确定性分数，如图6所示，图6中的每一个方框为一个演奏点；

s4、选择是否根据确定性分数删除若干分数低于一预设值的边界框；

s5、根据文件名重组边界框序列，得到时间顺序上真实的边界框；

s6、设定边界框的两个横坐标为x1和x2，,则真实演奏点x3＝

(x1+x2)/2，由此得到用户演奏点的时间序列；

s7、将模板音频数据进行步骤s2-s6操作，得到模板演奏点的时间序列；

s8、使用动态规划进行点匹配，寻找用户演奏点与模板演奏点的对应关系；

s9、根据预设的匹配关系进行评分。

下面对频谱图经过目标检测框架后的输出作进一步的说明。

在图6中，每一个方框为一个演奏点，格式为(x1,y1,x2,y2,point)，其中，x1和x2分别表示横坐标的起始点和结束点的估计值，y1和y2表示演奏力度，那么真实的演奏时间点x3＝(x1+x2)/2，因此，可以得到一个用户演奏点的时间序列u[u1,u2,u3,u4,u5]。同时，将模板数据经过相同的步骤，可以得到一个模板演奏点的时间序列t[t1,t2,t3,t4,t5]。

如图7所示，在进行匹配时，u1匹配t1，u2匹配t2,u3在模板演奏点的时间序列t上没有找到相应的对应点，则u3为用户在u2和u4之间多演奏的音。再看t4，t4在用户演奏点的时间序列u上没有找到对应点，则用户在u4和u5之间少演奏了一个音。最后，用户得到的分数为去掉多演奏的音和少演奏的音后的分数后的平均分，

即

其中，avg为取平均，abs为取绝对值，这里n＝5。

需要说明的是，由于乐器每一次演奏都会引起频率的变化，音频数据在经过短时傅里叶变换后输出的数据使用色彩梯度生成图像，视觉上体现为这一区域颜色较深，比如图5中灰色较深的位置即为演奏点。本发明使用目标检测技术确定这一颜色较深的地方，并进行二分类，判断此演奏点是噪音还是乐器演奏音。

不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。