基于手势识别的音乐编辑器及音乐编辑方法与流程

本发明涉及音乐编辑领域技术领域，具体涉及一种基于手势识别的音乐编辑器及音乐编辑方法。

背景技术：

随着社会的不断发展，人们对于工作效率及灵活度提出了更高的要求。本申请旨在提高音乐编辑与记录的灵活性，为广大音乐爱好者提供更多便利。不同于传统的音乐编辑方式，本申请希望通过手势识别技术，借助摄像头等输入工具将手势与音乐编辑结合起来，以不同的手势代表不同的音符，从而完成音乐的谱写。

相较于传统方式需要大量设备的不足，本申请仅需使用摄像记录功能，如可使用手机相机等移动设备，因此更加方便户外携带，且适用于各种场合。大大避免了设备使用的局限性，使音乐记录更加随心所欲，编辑工作更加方便快捷。同时本产品操作简单且易于学习，仅需记忆少量手势便可进行音乐的编辑工作，给予初学者和业余爱好者极大地便利。同时简化了工作的复杂度，使音乐编辑更加灵活便捷且贴近生活，吸引更多有兴趣的人关注并尝试音乐编辑工作，为生活带来更多乐趣。

此外，作为一款新型音乐编辑方法，该音乐编辑方法可推广应用到电脑软件及手机app两个版本，尤其是手机app方便大家随时随地进行音乐编辑工作，这也使音乐编辑更加方便。在电子发展如此迅速的今天，人们对于电子设备的广泛使用更将推进软件的普及度和实用性，发展前景广阔。

技术实现要素：

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于手势识别的音乐编辑器及音乐编辑方法。

根据公开的实施例，本发明一方面公开了一种基于手势识别的音乐编辑器，所述音乐编辑器包括用于接收手势信号的摄像头模块、用于显示手势的显示器模块、用于检测、识别与处理手势信号的主控模块和用于播放音乐的扬声器；

所述摄像头模块设置在所述显示器模块的上方，摄像头可以根据用户的使用习惯放置和调整；所述摄像头模块、所述显示器模块、所述扬声器均与所述主控模块相连，并且均受所述主控模块控制。

进一步地，所述显示器模块水平平均划分为若干不同高度区域的手势位置，不同高度区域的位置对应不同的音色高低。

根据公开的实施例，本发明另一方面公开了一种基于手势识别的音乐编方法，所述音乐编辑方法包括以下步骤：

s1、通过摄像头模块实时录入用户手势，获取手势图像并传递给主控模块；

s2、主控模块对用户手势进行实时识别与处理，对于获取的每个手势图像通过opencv算法进行二值化和中值滤波处理并计算其hog特征，然后利用手势分类器匹配产生识别结果，并利用事先设定的音色调用关系调用音色；

s3、调用与识别结果对应的音色文件控制扬声器输出音频。

进一步地，所述步骤s2包括以下子步骤：

r1、识别手势类型，调用与手势类型相应的乐器；

r2、将显示器模块水平平均划分为若干不同高度区域的手势位置，不同高度区域的位置对应不同的音色高低，判别手势位置，调用与手势位置对应的音色；

r3、判别手势移动速率，根据移动速率确定乐声的频率。

进一步地，所述步骤r2中，当手部同时处于两个划分位置的时候，判断手部在哪一部分的占比较大，最终对应于占比较大部分的音色。

进一步地，所述步骤s1之前还包括以下步骤：

主控模块中运行算法对手势样本库中的图像进行训练，得到手势分类器，并将手势分类器中各类别手势与其对应音色文件建立音色调用关系。

进一步地，所述主控模块利用opencv对手势样本图像进行二值化和中值滤波处理，对处理过后的样本计算其hog特征，并用svm对样本特征进行训练，得到所述手势分类器。

进一步地，所述步骤s1之前还包括以下步骤：

基于摄像头模块获取的手势图像，主控模块通过显示器模块将摄像头的实时图像反馈给使用者，并与使用者配合调节手势在图像中的大小并建立参考平面。

进一步地，所述基于摄像头模块获取的手势图像，主控模块通过显示器模块将摄像头的实时图像反馈给使用者，并与使用者配合调节手势在图像中的大小并建立参考平面具体过程如下：

t1、标校用户手部活动距离，使用户的手部活动区域位于显示屏所能显示的区域对应的物理区域。

t2、建立以中央手势为基准建立参考平面。

本发明相对于现有技术具有如下的优点及效果：

相较于传统方式需要大量设备的不足，本发明仅需使用摄像记录功能，如可使用手机相机等移动设备，因此更加方便户外携带，且适用于各种场合。大大避免了设备使用的局限性，使音乐记录更加随心所欲，编辑工作更加方便快捷。同时该音乐编辑器操作简单且易于学习，仅需记忆少量手势便可进行音乐的编辑工作，给予初学者和业余爱好者极大地便利。同时简化了工作的复杂度，使音乐编辑更加灵活便捷且贴近生活，吸引更多有兴趣的人关注并尝试音乐编辑工作，为生活带来更多乐趣。

附图说明

图1是本发明中基于手势识别的音乐编辑器的结构示意图；

图2为本发明中产生不同声音的流程示意图；

图3为本发明中调制音色的流程示意图；

图4为本发明中控制发音频率的流程示意图；

其中，101—摄像头模块，102—显示器模块，103—主控模块，104—扬声器，105—手部活动距离，106—手部活动区域，201—手势，301—手势位置，401—手势轨迹。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例公开了一种基于手势识别的音乐编辑器包括用于接收手势信号的摄像头模块101、用于显示手势的显示器模块102、用于检测、识别与处理手势信号的主控模块103和用于播放音乐的扬声器104。

请参见图1，图1是本实施例一中公开的一种基于手势识别的音乐编辑器的结构示意图，如图所示，摄像头模块101在显示器模块102的上方，摄像头可以根据用户的使用习惯放置和调整。主控模块103与显示器模块102、摄像头模块101和扬声器104相连。手部活动距离105根据摄像头的不同和显示器的分辨率大小进行配置。配置方法为：首先将主控模块103中电脑初始化，显示器模块102中显示屏会显示一个矩形区域，将手移动到矩形框内显示的手掌位置即可配置成功。此时的位置位于手部活动距离105，手部活动区域106位于显示屏所能显示的区域对应的物理区域。

摄像头模块101、显示器模块102、扬声器104均与主控模块103相连，并且均受主控模块103控制。

主控模块103是音乐编辑器的控制中心，负责协调与直接控制各模块正常运行，摄像头模块101主要接收位于有效的手部活动区域106内不同的手势信号，并将所接收到的手势信号传输到所述的主控模块103，让主控模块103对手势信号进行相应的检测、识别与处理，主控模块103将手势识别处理的结果分别传输到显示模块102与扬声器104，显示器模块102根据主控模块103的反馈信号，显示出所识别的手势信号，扬声器104根据主控模块103的处理结果，播放相应的音频信号。

请参见图3，图3是本实施例一中公开的基于手势识别的音乐编辑器中控制声音音色的方法。通过将显示器模块102水平平均划分为若干不同高度区域的手势位置301，不同高度区域的位置对应不同的音色高低。判断手势的位置，位置低到高对应音色由低到高。当手部处于两个划分位置的时候，判断手部在哪一部分的占比较大，最终对应于占比较大部分的音色。判断出手势位置后，通过调制声音，使声音的音色发生变化。比如，音调较高的大鼓和音调较底的大鼓。

请参见图4，图4是本实施例一中公开的基于手势识别的音乐编辑器中控制声音发出频率的控制方法。通过在一定的时间内检测手部在水平方向上的移动轨迹——手势轨迹401，确定移动的速度。通过判断速度，决定发出声音的频率。如手在水平位置上移动的速度越快，在一定时间内大鼓发出声音的次数越多。

综上所述，基于手势识别的音乐编辑器可以在多种场合进行使用。通过将手掌移动到指定位置，可以进行编辑器的初始化工作，同时通过识别不同的手势，选择所对应的乐器，进行声音的调用。此外，通过对手势位置，移动轨迹等进行检测，可以对声音的音调高低以及频率大小进行调整，以满足用户的需求。

实施例二

本实施例公开了一种基于手势识别的音乐编辑方法，包含以下步骤：

s1、通过摄像头模块101实时录入用户手势，获取手势图像并传递给主控模块103；

具体步骤中，用户开启电脑或移动设备中相应的音乐编辑器应用程序，通过电脑或移动设备中的摄像头模块101实时录入用户手势，获取手势图像并传递给主控模块103。

s2、主控模块103对用户手势进行实时识别与处理，对于获取的每个手势图像通过opencv算法进行二值化和中值滤波处理并计算其hog特征，然后利用手势分类器匹配产生识别结果，并利用事先设定的音色调用关系调用音色；

该步骤具体包括以下步骤：

r1、识别手势类型，调用与手势类型相应的乐器；

r2、通过将显示器模块102水平平均划分为若干不同高度区域的手势位置301，不同高度区域的位置对应不同的音色高低，判别手势位置301，调用与手势位置对应的音色；

通过将显示器模块102水平平均划分为若干部分的手势位置301。判断手势的位置，位置低到高对应音色由低到高(或者位置低到高对应音色由高到低，此处音色设置方案不构成本发明技术方案的限制)。当手部处于两个划分位置的时候，判断手部在哪一部分的占比较大，最终对应于占比较大部分的音色。判断出手势位置后，通过调制声音，使声音的音色发生变化。比如，音调较高的大鼓和音调较底的大鼓。

若干不同高度区域的手势位置301，不同高度区域的位置对应不同的音色高低

r3、判别手势移动速率，根据移动速率确定乐声的频率。

通过在一定的时间内检测手部在水平方向上的移动轨迹——手势轨迹401，确定移动的速度。通过判断速度，决定发出声音的频率。如手在水平位置上移动的速度越快，在一定时间内大鼓发出声音的次数越多。

s3、调用与识别结果对应的音色文件控制扬声器104输出音频。

在另一优选的实施方式中，本实施例公开的一种基于手势识别的音乐编辑方法，所述步骤s1之前还包括以下步骤：

主控模块103中运行算法对手势样本库中的图像进行训练，得到手势分类器，并将手势分类器中各类别手势与其对应音色文件建立音色调用关系。

该步骤为本实施例公开的基于手势识别的音乐编辑方法的配置步骤，用户首次运行该音乐编辑方法，均需要进行前期配置，训练手势分类器。

主控模块103利用opencv对手势样本图像进行二值化和中值滤波处理，对处理过后的样本计算其hog特征，并用svm对样本特征进行训练，得到手势分类器。其中手势样本图像分为正样本和负样本，通过调整正样本和负样本的数量、比例及手势的代表性可以使手势分类器更加高效准确。

在另一优选的实施方式中，本实施例公开的一种基于手势识别的音乐编辑方法，所述步骤s1之前还包括以下步骤：

基于摄像头模块101获取的手势图像，主控模块103通过显示器模块102将摄像头103的实时图像反馈给使用者，并与使用者配合调节手势在图像中的大小并建立参考平面。

该步骤为本实施例公开的基于手势识别的音乐编辑方法的标校步骤，用户首次运行该音乐编辑方法，均需要进行手势距离以及位置标校。

标校模式下，基于摄像头模块101获取的手势图像，主控模块103通过显示器模块102将摄像头103的实时图像反馈给使用者，并与使用者配合调节手势在图像中的大小并建立参考平面。

该步骤具体包括两个子步骤。

t1、标校用户手部活动距离105，使用户的手部活动区域106位于显示屏所能显示的区域对应的物理区域。

如果手势在图像中所占面积过小即手部活动距离105过大，则主控模块103通过显示器模块102提示使用者将缩小手部活动距离105或者提高摄像头模块101的摄像倍率。相反，如果手势在图像中所占面积过大甚至不能显示完整手部即手部活动距离105过小，则主控模块103通过显示器模块102提示使用者将增大手部活动距离105或者降低摄像头模块101的摄像倍率。按如上方法调整图像中手势大小至合适范围。

t2、建立以中央手势为基准建立参考平面。

主控模块103通过显示器模块102提示用户将手部调整至图像中央后，主控模块103以中央手势为基准建立参考平面。

在另一优选的实施方式中，本实施例公开的一种基于手势识别的音乐编辑方法，还包含以下步骤：

显示模块102实时显示用户手势；

实时显示用户的手势，可方便用户及时了解当前音乐编辑信息，掌握当前音乐编辑进程，同时，方便用户决定如何进行下一步手势操作。

当用户通过音乐编辑器完成音乐编辑之后，用户编辑完成的音乐文件存储于电脑或移动设备，可通过调用已完成的音乐文件进行再编辑操作。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。