本发明涉及综合教育娱乐技术领域，具体涉及一种虚拟爵士鼓及实现方法。
背景技术：
爵士鼓(Drum kit,Drum set)，是一套各种不同类型、不同音色的手击乐器和脚击乐器集结为一体由单人利用脚踏、鼓槌或鼓刷来演奏的大型乐器。主要用在摇滚乐和爵士乐中，抑扬顿挫的立体鼓点配上鼓手投入演出的神情，演奏起来极具渲染性。爵士鼓的基本组合包括了大鼓(bass drum)、小鼓(snare drum)、两个筒鼓(tom-tom)、一个落地鼓(floor tom)、脚踏钹(hi-hat cymbal)和钹(cymbal)。其中钹分为碎音钹(crash cymbal)、叠音钹(ride cymbal)以及发出效果音的中国钹(Chinese cymbal)、水钹(splashcymbal)和crash ride(crash/ride cymbal)等。因从外观上看去就像一排架子上挂着很多鼓，又名架子鼓。爵士鼓演奏，集娱乐及运动于一身。然而传统爵士鼓，价格昂贵，占用空间大等缺点，很大程度上限制其普及。众所周知，西方现代音乐是建立在电声乐器演奏的基础上，但是作为基础乐器的爵士鼓的电声化研发道路却显得默默无闻，目前电子爵士鼓，是通过鼓槌的敲击鼓皮(非传统套鼓筒)引起震动，震动触发鼓皮下的震动传感器，震动传感器把震动信号转变为电信号，传达到电子鼓的音源，音源再经专用芯片合成为各风格鼓声，实现爵士鼓的电声化。电子爵士鼓在一定程度上解决了传统爵士鼓体积大的缺点，但其价格仍居高不下。
技术实现要素：
本发明的目的是为了解决现有技术中的上述缺陷，提供一种虚拟爵士鼓及实现方法。
根据公开的实施例，本发明的第一方面公开了一种虚拟爵士鼓，所述的虚拟爵士鼓包括脚踏10、鼓槌13、摄像头2、上位机3、爵士鼓软件程序4、存储器5、爵士鼓声音数据库6和音箱7，其中，所述的鼓槌13和所述的脚踏10用作爵士鼓演奏工具，所述的摄像头2与所述的上位机3连接，实时拍摄演奏者1的手部和脚部动作，所述的爵士鼓软件程序4运行在所述的上位机3上，所述的爵士鼓声音数据库6存储在所述的上位机3的存储器5中，所述的音箱7通过线路连接到所述的上位机3；
所述的上位机3将所述的摄像头2采集到的视频信号，经所述的爵士鼓软件程序4分析后，即可匹配到所述的爵士鼓声音数据6中的声音信号，声音信号再经音频处理形成音频文件，音频文件最后通过所述的音箱进行播放。
进一步地，所述的脚踏10包括对应演奏者左脚位置的踩镲脚踏11和对应演奏者右脚位置的大鼓脚踏12，所述的鼓槌13为左右手各一根。
进一步地，所述的爵士鼓软件程序通过运算分析出所述的摄像头2实时采集视频数据中的相关信息，并将利用上述相关信息用来匹配爵士鼓数据库中对应的音频信号、配置音箱相关参数、交互界面显示，最后通过音箱将相应的音频播放出来，同时爵士鼓软件程序的交互界面将显示给演奏者，方便演奏者进行演奏；
其中，所述的相关信息为手部鼓槌槌头与脚部脚踏锤头的位置信息和运动信息，所述的爵士鼓软件程序根据位置信息和运动信息判断演奏者击打的是哪一个鼓或者钹及具体的击打点位置，根据运动信息判断演奏者击打鼓面或钹面的力度和方向，根据击打点位置，结合其在视频画面固定位置显示的各鼓和钹的相对位置信息，所述的爵士鼓软件程序将匹配爵士鼓数据库的对应声音信号，结合用户的在程序界面进行的相关设置形成音频文件。
进一步地，所述的爵士鼓软件程序的界面40包括基本操作栏401、乐器模型选择区402和乐器模型放置区403，所述的基本操作栏401包括声音大小、音乐风格、存储与否、脚踏与鼓槌设定和初始化按钮。
根据公开的实施例，本发明的第二方面公开了一种虚拟爵士鼓的实现方法，所述的实现方法包括下列步骤：
S1、摄像头2放置在演奏者1正前方，拍摄演奏者1对脚踏10和鼓槌13的操作动作，其中，所述的脚踏包括对应演奏者左脚位置的踩镲脚踏和对应演奏者右脚位置的大鼓脚踏，所述的鼓槌为左右手各一根；
S2、摄像头2将拍摄到的视频数据上传到上位机3，视频数据同时存储于存储器5，由上位机3的爵士鼓软件程序4进行实时分析，得到击打信息，击打信息同时存储为演奏记录，通过击打信息来匹配爵士鼓声音数据库6中声音信号，匹配到的声音信号再经音频处理形成音频文件，该音频文件作为演奏记录存储在存储器5上；
S3、将音频文件或演奏记录文件通过音箱进行播放。
进一步地，其特征在于，所述的步骤S2的过程如下：
通过运算分析出摄像头2实时采集视频数据中的相关信息，并将利用上述相关信息用来匹配爵士鼓数据库中对应的音频信号、配置音箱相关参数、交互界面显示，最后通过音箱将相应的音频播放出来，同时爵士鼓软件程序的交互界面将显示给演奏者，方便演奏者进行演奏；
其中，所述的相关信息为手部鼓槌槌头与脚部脚踏锤头的位置信息和运动信息，所述的爵士鼓软件程序根据位置信息和运动信息判断演奏者击打的是哪一个鼓或者钹及具体的击打点位置，根据运动信息判断演奏者击打鼓面或钹面的力度和方向，根据击打点位置，结合其在视频画面固定位置显示的各鼓和钹的相对位置信息，所述的爵士鼓软件程序将匹配爵士鼓数据库的对应声音信号，结合用户的在程序界面进行的相关设置形成音频文件。
进一步地，所述的击打点位置的确定，是通过分析连续视频帧中槌头、锤头的空间位置变化，判断其运动速度大小和方向，当速度大小小于某一个阈值且速度方向为特定方向时，认为此时刻为击打时刻，然后取出该时刻前后连续视频帧图像，综合分析，得到槌头、锤头的空间位置，此空间位置即为击打点位置；
所述的击打鼓面或钹面的力度和方向的确定，是通过分析上述击打时刻附近槌头、锤头速度变化的快慢和方向，得到击打加速度大小和方向，从而就可以推断出击打力度和击打方向。
进一步地，所述的爵士鼓软件程序会在用户拖放完击打乐器模型后，将各模型位置固定显示在程序界面上，结合获得到的槌头、锤头击打位置，可以判断出演奏者击打的是哪一个鼓或者钹，以及击打点在鼓面、钹面的相对位置，击打点会有水波纹效果，不同击打乐器水波纹颜色不一样，不同击打力度和角度会影响水波颜色深浅。
进一步地，所述的步骤S2中通过击打信息来匹配爵士鼓声音数据库6中声音信号具体如下：
将每一个乐器模型的被击打位置进行编号，每一个编号对应一个声音信号，所述的爵士鼓软件程序据此将匹配出相对应的爵士鼓声音数据库的声音信号，其中，声音信号包括音调和音色，然后将声音信号经响度调整和音频混合处理成音频文件，其中，响度调整根据击打力度和方向确定，音频混合处理是多声音信号混合以及用户的混音设置。
进一步地，所述的步骤S2中爵士鼓软件程序实时分析视频数据的过程如下：
S201、将视频信号逐帧提取并对其进行模式识别，找到帧中踩镲踏板11、大鼓踏板12和鼓槌13并确定其位置，连续三帧的位置信息被用来计算踩镲踏板11、大鼓踏板12和鼓槌13的运动速度和加速度，其中运动速度作为是否为击打点的判断依据，加速度作为击打力度和方向的判断依据；
S202、当确认为击打点后，将击打点的位置信息将与乐器的位置信息进行相对计算，得到该击打点在乐器模型的相对位置，击打点位置将显示水波纹，不同乐器模型不同颜色，不同击打强度不同颜色深度。
本发明相对于现有技术具有如下的优点及效果：
本发明设计了一种虚拟爵士鼓及实现方法，具易携带、低成本、强实用性并能够最大程度满足个体用户爵士鼓演奏的个性化需求，即适合游戏娱乐、专业演奏、爵士鼓教学等不同场合不同人群使用。
附图说明
图1是本发明中虚拟架子鼓实施的全流程示意图；
图2是本发明中摄像头拍摄演奏者实施实例一示意图；
图3是本发明中摄像头拍摄演奏者实施实例二示意图；
图4是本发明中摄像头拍摄演奏者动作示意图；
图5是本发明中爵士鼓软件程序界面示意图；
图6是本发明中爵士鼓软件程序视频信息分析流程图；
图7是本发明中爵士鼓软件程序流程图；
附图标记说明：1—演奏者，10—脚踏，11—大鼓脚踏，12—踩镲脚踏，13—鼓槌，2—摄像头，21—摄像头A，22—摄像头B，23—摄像头C，24—摄像头D，3—上位机，4—爵士鼓软件程序，40—爵士鼓程序界面，401—基本操作栏，402—乐器模型选择区，403—乐器模型放置区，5—存储器，6—爵士鼓声音数据库，7—音箱。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
参见图1-图4，如图1示出一种虚拟爵士鼓及实现方法，包括脚踏10、鼓槌13、摄像头2、上位机3、爵士鼓软件程序4、存储器5、爵士鼓声音数据库6和音箱7。摄像头2正对演奏者1，摄像头2与上位机3通过数据线或者无线连接，爵士鼓软件程序4运行在上位机3上，存储器5通过总线与上位机3连接，爵士鼓声音数据库6位于上位机的存储器5上，音箱7与上位机3线路连接。
摄像头2放置在演奏者1正前方，主要拍摄演奏者1对脚踏10和鼓槌13的操作动作，脚踏10和鼓槌13是爵士鼓击打工具，其中脚踏10有两个，对应演奏者左脚边的为踩镲脚踏11，对应演奏者右脚边的为大鼓脚踏12，鼓槌13为左右手各一根。摄像头2主是用来拍摄脚踏10和鼓槌11的踩击、击打动作(图4)，摄像头2的分布可以如图2直接正对着演奏者1，同样可以采用多个摄像头进行拍摄如图3，其中摄像头A20，摄像头B21，摄像头C22，摄像头D23分别放置在演奏者1周围。摄像头2将采集到的视频数据上传到上位机3，视频数据可以存储于存储器5，同样视频信号实时被上位机3的爵士鼓软件程序4进行实时分析，得到击打信息，击打信息可以存储为演奏记录，方便演奏者1后期使用。击打信息用来匹配爵士鼓声音数据库6声音信号，匹配到的声音信号，声音信号再经音频处理形成音频文件，此处的音频处理主要涉及到多声音信号的混合及演奏者1对音乐风格的音频处理，这个演奏者1的音频文件可以作为演奏记录存储在存储器5上，以便后期调用。即时音频文件和演奏记录文件均可通过音箱进行播放。
实施例二
一种虚拟爵士鼓及实现方法，包括脚踏10、鼓槌13、摄像头2、上位机3、爵士鼓软件程序4、存储器5、爵士鼓声音数据库6和音箱7。鼓槌13和脚踏10为爵士鼓演奏工具，摄像头2与上位机3连接，实时拍摄演奏者1手部和脚部动作，爵士鼓软件程序4运行在上位机3上，爵士鼓声音数据库6存储在上位机3的存储器5中，音箱7通过线路连接到上位机3。上位机3将摄像头2采集到的视频信号，经爵士鼓软件程序4分析后，即可匹配到爵士鼓声音数据6中的声音信号，声音信号再经音频处理形成音频文件，音频文件最后通过音箱进行播放。
其中，鼓槌、脚踏可以为传统爵士鼓的鼓槌和脚踏，也可以由其他任何可方便移动或踩动的物体代替，其主要作用是标记出手部和脚部，方便上位机程序根据实时摄像头数据分析出手部鼓槌和脚部脚踏的运动信息和位置信息。
其中，摄像头是用来拍摄鼓槌和脚踏动作，摄像头的帧率、像素及视角有一定参数要求，摄像头相关参数需要输入到爵士鼓软件程序中。此处摄像头数目可以多个，种类可以是2D或3D摄像头，摄像头将拍摄到的视频数据经过数据传输线路或无线上传到上位机。
其中，上位机是具有运算、存储、显示功能的微型计算机。
其中，存储器主要是用来存储上位机操作系统、爵士鼓软件程序、爵士鼓声音数据库和演奏者相关演奏记录。
其中，爵士鼓软件程序作用是运算分析出实时视频数据中的相关信息，并将利用这些信息用来匹配爵士鼓数据库、配置音箱、交互界面显示。爵士鼓软件程序是运行在上位机的程序，该程序能够对摄像头上传的视频图像进行分析运算并得到相关信息，然后再匹配到爵士鼓音频数据库中对应的音频信号、配置音箱相关参数，最后通过音箱将相应的音频播放出来，同时爵士鼓软件程序的交互界面将显示给演奏者，方便演奏者进行演奏。
其中，爵士鼓软件程序界面，可以由演奏者自己选择拖放各种爵士鼓击打乐器的模型，每种乐器有不同规格提供选择，击打乐器模型主要包括：大鼓、小鼓、中鼓、落地鼓、脚踏钹、碎音钹、叠音钹、中国钹、水钹、牛铃、木鱼、沙锤、三角铁、吊钟等。
其中，爵士鼓软件程序分析运算得到的相关信息具体指的是：手部鼓槌槌头与脚部脚踏锤头的位置信息和运动信息。然后根据位置信息和运动信息可判断演奏者击打的是哪一个鼓或者钹及具体的击打点位置，根据其他运动信息可以判断演奏者击打鼓面或钹面的力度和方向。根据击打点位置，结合其在视频画面固定位置显示的各鼓和钹的相对位置信息，程序将匹配爵士鼓数据库的对应声音信号，结合用户的在程序界面进行的相关设置形成音频文件，最终由音箱播放出来。
其中，击打点位置的确定，是通过分析连续视频帧中槌头、锤头的空间位置变化，可以判断其运动速度大小和方向，当速度大小小于某一个阈值且速度方向为特定方向时，认为此时刻为击打时刻，然后取出该时刻前后连续视频帧图像，综合分析，得到槌头、锤头的空间位置，此空间位置即为击打点位置。
其中，击打力度、击打方向的确定，是通过分析上述击打时刻附近槌头、锤头速度变化的快慢和方向，得到击打加速度大小和方向，从而就可以推断出击打力度和击打方向。
其中，爵士鼓软件程序会在用户拖放完击打乐器模型后，将各模型位置固定显示在程序界面上。结合获得到的槌头、锤头击打位置，可以判断出演奏者击打的是哪一个鼓或者钹，以及击打点在鼓面、钹面的相对位置，击打点会有水波纹效果，不同击打乐器水波纹颜色不一样，不同击打力度和角度会影响水波颜色深浅。
其中，程序将如何匹配到爵士鼓声音数据库对应声音信号。每一个乐器模型的被击打位置均有编号，每一个编号对应一个声音信号。据此，程序将匹配出相对应的爵士鼓声音数据库的声音信号。
其中，声音信号主要包括音调和音色。
其中，声音信号处理成音频文件，其处理包括：响度调整，音频混合。响度调整主要根据击打力度和方向确定，音频混合处理主要指的是多声音信号混合以及用户的混音设置。
其中，音频信号送到音箱中进行播放。其播放的音量大小的控制在爵士鼓软件程序、音箱端均可以调整。
实施例三
参见图5-图7，使用虚拟爵士鼓时，点击打开上位机3上爵士鼓软件程序4，上位机上3将显示出爵士鼓程序界面40如图5，首先在乐器模型选择区402位置选择需要的乐器模型并将其拖放到乐器模型放置区403，此区域可以同时显示出摄像头2视频。基本操作栏401中包含：声音大小、音乐风格、存储与否、脚踏与鼓槌设定等配置和初始化按钮，脚踏10和鼓槌13默认为传统样式，此处可以提供用户定义当前视频画面中的任何物体为脚踏和鼓槌。当点击初始化后，程序将形成配置文件，并初始化摄像头2等端口，并锁定踩镲踏板11、大鼓踏板12和鼓槌13。初始化成功后，提示演奏者开始演奏，同时程序将进入视频分析流程如图6，第一步，视频信号将被逐帧提取并对其进行模式识别，找到帧中踩镲踏板11、大鼓踏板12和鼓槌13并确定其位置，连续三帧的位置信息被用来计算踩镲踏板11、大鼓踏板12和鼓槌13的运动速度和加速度，其中运动速度作为是否为击打点的重要判断依据，加速度为击打力度和方向主要参考。当确认为击打点后，击打点的位置信息将与乐器的位置信息进行相对计算，得到该击打点在乐器模型的相对位置。击打点位置将显示水波纹，不同乐器模型不同颜色，不同击打强度不同颜色深度。第二步，由于乐器模型的每一个位置都有唯一编码与爵士鼓声音数据库一一对应，同样，击打力度和方向信息将决定此声音的响度，最后再结合演奏者1对音乐风格的选择，进行最终的音频处理，形成音频文件。最后一步，音频信号将由音箱播放和根据演奏者1设定进行演奏记录存储。
该实施方案，适合于爵士鼓娱乐、练习、教学等领域。
上述实施例公开了一种虚拟爵士鼓及实现方法，极其便利，完全可以在个人计算机上实现其核心功能，适用于不同年龄，不同爵士鼓操作水平的使用者，而且该虚拟爵士鼓设备，能够带来很好的临场感，适合演奏、娱乐和学习。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。