一种手势音乐演奏器的制作方法

本发明涉及一种手势音乐演奏器，具体涉及到手势识别与音乐演奏领域，特别是一种根据识别不同的手势来播放不同的音符的系统。

背景技术：

现有的技术中，有可以通过手势来控制音乐和视频的播放和暂停、调节音量大小的应用。也有可以通过可穿戴设备如vr眼镜vr头盔等专用虚拟设备通过手势和外界进行虚拟交互的软件。用户在体验时需要花费额外的财力去购买这些设备。携带不方便，使用较为复杂，需要将外设与相应的计算机进行连接。

目前在手势识别领域，特别是移动智能终端的手势识别领域。尚没有一套系统可以仅通过手势的变化来进音乐的演奏和创作。

本发明针对以上问题，提供一种手势音乐演奏器，旨在开发一种仅使用智能设备的摄像头即可对设备的音乐演奏进行控制的装置，通过用户手势的变化来播放不同音高的音符，实现乐曲的演奏。增加在音乐创作和播放时人与设备之间的直接交互，增添音乐的乐趣。

技术实现要素：

为实现上述目的，本发明提供如下技术方案：一种手势音乐演奏器，其包括外壳及设置在外壳内的电源、集成电路、存储器、图像采集设备、显示器、中央处理器、音频输出设备和手势分类器，其特征在于，所述电源为各个部件提高所需电压；所述图像采集设备与所述中央处理器采用数据总线连接，且所述图像采集设备负责采用手势的图像信息，并将图像信息传输给所述中央处理器进行处理；

所述显示器与所述中央处理器采用数据总线连接，以便显示图像采集设备采集的画面；

所述手势分类器与所述中央处理器连接，且所述手势分类器中预存设有标准手势；

所述中央处理器对所述图像采集设备所采集的图像信息进行预处理，并与所述手势分类器中的标准手势进行对比，并根据对比信息得到识别结果；

所述音频输出设备直接与中央处理器采用数据总线相连，当中央处理器得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放。

进一步，作为优选，所述图像采集设备采用mipi接口与所述数据总线连接通信，所述音频输出设备采用d/a接口与所述数据总线连接，所述显示器通过人机接口与所述数据总线通信。

进一步，作为优选，所述图像采集设备采用摄像头，所述音频输出设备采用扬声器。

进一步，作为优选，所述中央处理器对所述图像采集设备所采集的图像信息进行预处理的方法为：将传入采集的图像转为灰度图像并进行手势分割和特征提取，得到手势区域的整体轮廓信息。

进一步，作为优选，与所述手势分类器中的标准手势进行对比时的对比方法为：分类器使用距离匹配算法将输入轮廓信息与分类器中存在的手势进行匹配识别，并将识别结果送入cpu，cpu及内存单元对当前演奏的音乐进行记录与保存。

进一步，作为优选，该演奏器上设置有摄像头显示用户实时手势的小窗口、为用户提供演奏音乐所必要的参数选择的参数选择按键、播放显示界面、保存按键、暂停按键、返回退出按键。

进一步，本发明提供了一种手势音乐演奏器的演奏方法，其特征在于：其包括以下步骤：

（1）打开手势音乐演奏器的电源并点击进入主界面，选择播放参数：音调、音色和八拍；

（2）选择后点击确定后，摄像头开始工作，开始监测画面中的手势，并将画面实时传递到显示屏上，同时手势分类器开始接收手势信息；

（3）手势分类器将每一帧手势与预先训练好的手势分类器中的手势进行对比，若匹配则触发监听事件，监听事件做出处理，将音乐文件数据库中相匹配的文件通过扬声器输出，完成此次手势所代表乐符的发声；

（4）重复步骤（3），直至遇到停止手势或用户点击暂停按钮；

（5）用户点击保存，生成当前演奏音频文件并保存到本地。

与现有技术相比，本发明的有益效果是：

本发明仅使用带有摄像头与音频输出设备的设备即可实现，简单易实施。用户通过不同的手势来控制设备发出不同的声音实现对乐曲的演奏。通过定义特定的手势可以实现虚拟乐器的演奏功能，随时随地可以享受音乐创作带来的乐趣。

附图说明

图1是本发明一种手势音乐演奏器的方框构成图；

图2是本发明一种手势音乐演奏器的硬件连接图；

图3是本发明一种手势音乐演奏器的演奏流程图；

图4是本发明一种手势音乐演奏器的平面构成图；

其中，1、图像采集设备，2、显示器，3、音频输出设备，4、cpu，5、手势分类器，6、摄像头，7、扬声器为系统输入输出设备，8、触屏，9、mipi接口，10、d/a接口，11、人机接口，12、ram，14、rom,15、小窗口，16、参数选择按键。17、播放显示界面，18、保存按键，19、暂停按键，20、返回退出按键。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：一种手势音乐演奏器，其包括外壳及设置在外壳内的电源、集成电路、存储器、图像采集设备1、显示器2、中央处理器cpu4、音频输出设备3和手势分类器5，其特征在于，所述电源为各个部件提高所需电压；所述图像采集设备1与所述中央处理器4采用数据总线连接，且所述图像采集设备负责采用手势的图像信息，并将图像信息传输给所述中央处理器进行处理，图像采集设备主要工作过程是：抓取用户手势图像信息，将图像信息数字化后传入处理器；

所述显示器2与所述中央处理器4采用数据总线连接，以便显示图像采集设备采集的画面，显示器即触屏，是用户操作的入口。其工作过程是：将用户的操作信息传入处理器，经处理后，返回处理器的处理结果。当图像采集设备开启时实时显示图像采集设备的画面，便于用户做出调整；所述手势分类器5与所述中央处理器4连接，且所述手势分类器5中预存设有标准手势；所述中央处理器4对所述图像采集设备1所采集的图像信息进行预处理，并与所述手势分类器5中的标准手势进行对比，并根据对比信息得到识别结果；

所述音频输出设备3直接与中央处理器采用数据总线相连，当中央处理器得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放。

其中，cpu和手势分类器为本发明中最重要的两个设备，cpu对图像采集设备传入的数据进行预处理，将传入图像转为灰度图像并进行手势分割和特征提取得到手势区域的整体轮廓信息。分类器使用距离匹配算法将输入轮廓信息与分类器中存在的手势进行匹配识别，并将识别结果送入cpu。cpu及内存单元还可以对当前演奏的音乐进行记录与保存。

扬声器为音频输出设备，直接与处理器相连。当cpu得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放

在本实施例中，所述图像采集设备1采用mipi接口9与所述数据总线连接通信，所述音频输出设备采用d/a接口10与所述数据总线连接，所述显示器通过人机接口11与所述数据总线通信。

其中，所述图像采集设备采用摄像头，所述音频输出设备采用扬声器。所述中央处理器对所述图像采集设备所采集的图像信息进行预处理的方法为：将传入采集的图像转为灰度图像并进行手势分割和特征提取，得到手势区域的整体轮廓信息。

另外，与所述手势分类器中的标准手势进行对比时的对比方法为：分类器使用距离匹配算法将输入轮廓信息与分类器中存在的手势进行匹配识别，并将识别结果送入cpu，cpu及内存单元对当前演奏的音乐进行记录与保存。

为了便于操作，该演奏器上设置有摄像头显示用户实时手势的小窗口15、为用户提供演奏音乐所必要的参数选择的参数选择按键16、播放显示界面17、保存按键18、暂停按键19、返回退出按键20。

在本实施例中，本发明还提供了一种手势音乐演奏器的演奏方法，其特征在于：其包括以下步骤：

（1）打开手势音乐演奏器的电源并点击进入主界面，选择播放参数：音调、音色和八拍，主界面可以进行声音播放参数的选择：选择目前现实中已有的乐器的音色（如钢琴、小号、小提琴等常见乐器）、音乐乐调a~g和音乐节拍1/4、3/4等；

（2）选择后点击确定后，摄像头开始工作，开始监测画面中的手势，并将画面实时传递到显示屏上，同时手势分类器开始接收手势信息；

（3）手势分类器将每一帧手势与预先训练好的手势分类器中的手势进行对比，若匹配则触发监听事件，监听事件做出处理，将音乐文件数据库中相匹配的文件通过扬声器输出，完成此次手势所代表乐符的发声；

（4）重复步骤（3），直至遇到停止手势或用户点击暂停按钮；

（5）用户点击保存，生成当前演奏音频文件并保存到本地。

其中，在步骤（1）和（2）之间具体有：通过用户的一系列选择后，系统根据用户的选择找到其对用的声音文件数据库准备播放，若数据库过于庞大可以考虑放在服务器端，有使用时实时获取。

其中，在步骤（2）与步骤（3）之间其关键技术为手势分类器的生成。本发明采用机器学习的方法，由opencv或其他计算机视觉软件，用已知的机器学习算法经过大量正负样本的训练生成手势识别分类器。特别的，对于步骤3中分类器进行分类之前，要对读入的帧数据做一定的特征提取和处理，提高识别的成功率和效率。下面进行详细说明。

图像采集设备(摄像头)，负责手势信息的采集和传输，通过接口与cpu相连。其主要工作过程是：抓取用户手势图像信息，将图像信息数字化后传入处理器。

显示器即触屏，是用户操作的入口。其工作过程是：将用户的操作信息传入处理器，经处理后，返回处理器的处理结果。当图像采集设备开启时实时显示图像采集设备的画面，便于用户做出调整。cpu和手势分类器为本发明中最重要的两个设备，cpu对图像采集设备传入的数据进行预处理，将传入图像转为灰度图像并进行手势分割和特征提取得到手势区域的整体轮廓信息。分类器使用距离匹配算法将输入轮廓信息与分类器中存在的手势进行匹配识别，并将识别结果送入cpu。cpu及内存单元还可以对当前演奏的音乐进行记录与保存。扬声器为音频输出设备，直接与处理器相连。当cpu得到识别结果时，从数据库中选择相应的音频文件传入其中并控制其进行播放。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。