本发明涉及一种基于计算机音视频的人机交互数字乐器系统,属于人机智能数字乐器技术领域。
背景技术：
回顾音乐的发展史，音乐的创作和交互方式从未发生过大的变化。在人类文明高度发展的今天，传统上音乐首先被专业人士创作出来，进而以磁带、cd、电台或互联网音频流等形式进入大众耳朵。现场演出会可能发生的部分即兴改编，或类似于“音乐背后的创作故事”等对话交流，音乐从被创作出来，直至在大众中传播的整个过程几乎不存在任何变化。同时，音乐本身和听众之间的交互也仅停留于“你写我听”的层面。
随着计算机技术的发展，音乐在现有技术中也存在一些音乐制作平台软件，也使得普通用户能够通过这些音乐软件来制作自己的音乐作品，得到了很好的体验，但是作为音乐的长期发展来看，音乐不光是听觉的美好体验，也应该向着听觉、视觉以及触觉相结合的体验上去发展。
技术实现要素：
本发明为了实现音乐听觉、视觉以及触觉的三觉统一的目的，提出了一种基于计算机音视频的人机交互数字乐器系统，将音乐制作、视觉配合以触觉感受相结合。
本发明的技术方案如下：
一种基于计算机音视频的人机交互数字乐器系统，所述系统包括：
控制中心模块，所述控制中心模块包括素材库、音乐制作模块、深度学习模块、中央处理器、存储器以及解码器；所述深度学习模块、音乐制作模块、素材库、存储器、解码器分别连接中央处理器，所述素材库包括音频riff文件以及视频文件；
用户输入模块，连接于控制中心模块，用于用户输入触发信息，所述音乐制作软件模块根据用户输入模块的数据制作成midi数据存储在存储器中；
视频输出模块，连接于控制中心模块，根据音乐制作模块制作好的midi数据音乐通过深度学习模块学习后筛选素材库里面合适的视频，并存储在存储器中；
振动模块，包括若干振动元件，所述振动模块连接于解码器，所述解码器将接收到的存储器中的midi数据进行解码，转换成各个振动元件的开关控制码，同时调用预先录制好的对应的振动波形数据，经过功放放大后，传输至各个振动元件。
上述音乐制作模块包括用于制作音乐软件和音乐生成模块。
上述制作音乐软件为bitwigstudio2.0。
所述音乐生成模块包括：
筛选子模块，用于根据用户输入的触发信息从素材库中选取riff；
音乐制作子模块，用于根据用户输入的触发信息通过深度学习模块选取的riff进行排序生成音乐文件；
效果器添加子模块，用于向音乐文件中添加效果器；
音乐输出子模块，用于输入音乐文件。
上述触发信息为语音信息、文字信息或动作信息。
上述深度学习模块包括神经网络、决策树、遗传算法、遗传编程、高斯过程回归、线性判别分析、径向基函数网络、支持向量机和深度学习中的一个。
上述系统还包括外接功放和麦克风，用于用户更好的体验。
上述用户输入模块包括midi键盘，所述midi键盘包括实体调节效果器，包括混响效果器、镶边效果器、延迟效果器和回声效果器。
上述振动模块放置于承载振动元件的装置中。
上述承载振动元件的装置为体感衣、按摩椅中的一种。
本发明的有益效果如下：
本发明的技术方案开拓了普通人制作midi数据音乐，根据自己制作的音乐风格结合相匹配的视频数据，再加上触觉感受，达到人体三觉合一的效果，给予用户更佳的体验。
附图说明
图1是本发明的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
如图1所示，一种基于计算机音视频的人机交互数字乐器系统，所述系统包括：
控制中心模块，所述控制中心模块包括素材库、音乐制作模块、深度学习模块、中央处理器、存储器以及解码器；所述深度学习模块、音乐制作模块、素材库、存储器、解码器分别连接中央处理器，所述素材库包括音频riff文件以及视频文件；
用户输入模块，连接于控制中心模块，用于用户输入触发信息，所述音乐制作软件模块根据用户输入模块的数据制作成midi数据存储在存储器中；
视频输出模块，连接于控制中心模块，根据音乐制作模块制作好的midi数据音乐通过深度学习模块学习后筛选素材库里面合适的视频，并存储在存储器中；
振动模块，包括若干振动元件，所述振动模块连接于解码器，所述解码器将接收到的存储器中的midi数据进行解码，转换成各个振动元件的开关控制码，同时调用预先录制好的对应的振动波形数据，经过功放放大后，传输至各个振动元件。
作为优选方案，上述音乐制作模块包括用于制作音乐软件和音乐生成模块。
作为优选方案，上述制作音乐软件为bitwigstudio2.0。bitwig提供了业内最强大和灵活的动态调制系统，同时带来24个全新的模块。每个模块插件都包含模块插槽，可以加入无数个模块。用户只需要点击模块插槽，然后在宿主模块插件库当中选择所需要的模块即可。所有的模块参数都可以映射记忆相互连接。
作为优选方案，上述音乐生成模块包括：
筛选子模块，用于根据用户输入的触发信息从素材库中选取riff；
音乐制作子模块，用于根据用户输入的触发信息通过深度学习模块选取的riff进行排序生成音乐文件；
效果器添加子模块，用于向音乐文件中添加效果器；
音乐输出子模块，用于输入音乐文件。
作为优选方案，上述深度学习模块包括，但不局限于神经网络、决策树、遗传算法、遗传编程、高斯过程回归、线性判别分析、径向基函数网络、支持向量机和深度学习中，上述学习算法都是现有技术中成熟的算法，此处不展开叙述。
作为优选方案，上述系统还包括外接功放和麦克风，用于用户更好的体验。
作为优选方案，上述用户输入模块包括midi键盘，所述midi键盘包括实体调节效果器，包括混响效果器、镶边效果器、延迟效果器和回声效果器。
作为优选方案，上述振动模块放置于承载振动元件的装置中。
作为优选方案，上述承载振动元件的装置为体感衣、按摩椅中的一种。
本系统的运行过程如下：
用户在用户输入模块输入整个音乐数据，通过bitwigstudio2.0合成完整的音乐作品，或者用户只需要输入部分触发信息，系统即可根据触发信息自动生成相应的音乐，通过深度学习模块的帮助，使得普通大众能够制作和完成音乐。
完成好的音乐数据存储好以后，系统通过深度学习模块筛选素材库中的视频文件，找到最匹配的视频文件，输出视频文件，音频文件可以通过外接功放播放，也可以通过解码器的帮助，将音频数据转化成振动元件的开关控制码，用于触觉的感知。本发明达到了将视觉、听觉、触觉三觉合一，使得用户更好地获得音乐的体验。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的两种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。