专利名称：基于手部动作感应的虚拟演奏系统的制作方法
技术领域：
本发明涉及一套基于手部动作感应的虚拟演奏系统。
技术背景随着计算机系统性能快速提升，许多在音乐制作上使用的硬件已经转化成 为软件实现。大量优质的软音源相继出现，使得人们不必再花费几十万甚至上 百万的资金去购买音色上好的三角钢琴就能听到世界顶级钢琴发出的声音甚至 进行演奏。与此同时，建立在软件层面的虚拟乐器也相继涌现出来，虚拟吉他手、REAL GUITAR等虚拟乐器软件有着丰富的演奏功能和优质的音色。利用软音源技术的虚拟乐器是乐器发展的一种新趋势。但目前市场上虚拟 乐器的发展很大程度上还停留在软件层面上。硬件层面上大量采用的依然是 MIDI键盘控制器，其人机交互方式仍然没有摆脱键盘的形式，其输入方式与真 实乐器的弹奏手法相差甚远。因此，如何改进虚拟乐器的人机交互方式已成为 本领域技术人员亟待解决的技术问题。Virtual Air Guitar Company Oy生产的Air Guitar是目前该领域较为成功的产 品。它通过网络摄像头识别使用者的手势，但这是以网络摄像头能拍到使用者 的手为前提，有一定的局限性，如果使用者背对这摄像头或者手在摄像头的视 觉范围之外，系统便会失效。它将手势信息输入音乐智能模块进行处理，控制 产生声音，但音乐智能模块原理是将两只手视为两个点，两个点的连线等效于 弦，这仅仅相当于弹奏一根弦发声，与真实的吉他相差甚远。同时它利用地面 上的两个踏板控制开始和停止，给使用者带来不便。专利号为200480004097.8，名称为"虚拟现实音乐手套系统"的专利提出 了一种虚拟现实音乐系统。它的手套组件结合有可变形管并将可变形管连接到 信号启动器上，以此来识别手部动作，但这仅仅能识别手指的弯曲动作，只能 实现击打类的乐器功能，不能完全满足乐器演奏的需求。它通过按键式按钮来 切换乐器、模式，给使用者带来了很大的不便。因此该专利所述虚拟现实音乐 系统无法给使用者带来近似真实的乐器演奏感受和舒适的人机交互体验。发明内容本发明的目的是提供一种利用手套进行人机交互的虚拟乐器，其弹奏手法 与弹奏真实乐器相同或相似，使操作者自然、灵活地进行虚拟演奏。本发明的另一目的是实现用一双手套演奏笛子、钢琴、吉他三种乐器。 本发明还能将乐器的演奏声音和特效场景反馈给操作者，使操作者更加直接、更加自然地进行演奏。为了达到上述目的，本发明提供了一套基于手部动作感应的虚拟演奏系统，包括数据采集手套，对手部动作进行感应； 机器视觉模块，对手部位置信息进行感应；传输模块，将数据采集手套和机器视觉模块采集的信息传到处理模块； 处理模块，从接收到的手部信息中识别出乐器演奏的动作，并产生乐器的 演奏声音和特效场景；外围设备，将声音和场景反馈给操作者。本发明提供的虚拟演奏系统其弹奏手法与弹奏真实乐器相同或相似，还能 将乐器的演奏声音和特效场景反馈给操作者，使操作者更加直接、更加自然地 进行演奏。
图l为系统总体结构示意图。图2为系统硬件实现示意图。图3为手部信息采集电路流程图。图4为传感器安装位置图。图5为系统软件平台层次结构图。图6为渲染实现流程图。图7为虚拟演奏场景。图8为声音引擎处理流程图。其中，1一红外LED， 2—弯曲传感器，3—加速度传感器，4一气压传感器。
具体实施方式
如图1所示，本发明总体方案是利用数据采集手套和机器视觉模块采集手 部的动作以及位置信息，并传输到处理模块；处理模块产生乐器的演奏声音和 特效场景，并利用外围设备反馈给使用者。系统硬件实现如图2所示。整个系统包括数据采集手套、USB摄像头、传 输模块、处理模块、音箱和显示器。所述数据釆集手套包括安装在手套上的弯曲传感器、加速度传感器、气压传感器、红外发光二极管(LED)和主控芯片，传感器根据弹奏需要安置；传感器的输出信号经过信号调理电路并用A/D进行采样，然后传给主控芯片，并经传输模块传到处理模块。所述数据采集手套上的手部信息采集电路流程如图3所示。每只数据采集 手套上使用了 5个弯曲传感器、1个加速度传感器、1个气压传感器，总共有9 路信号。由于各个传感器的输出信号均为模拟信号，因此需要A/D将传感器的 输出信号进行采样。系统选用的主控芯片集成了多路模数转换器(ADC)，但是 若耍系统对9路信号进行采集，就要使信号分时进入ADC端口。本系统选用八 选一多路选择开关，将五个手指的弯曲传感器输出和加速度传感器的3路输出 接入选择开关，然后将选择开关输出接到主控芯片的ADC1，将气压传感器的输 出接ADC2。这样就可以通过对主控芯片编程实现在一个采样周期内完成对9 路信号的采样，并将得到的信息通过传输模块传给处理模块。同时利用主控芯 片的I/O 口实现对红外LED的控制。所述数据采集手套，在制作时传感器应当根据弹奏需要安置。弯曲传感器 用于感应手指弯曲，应放置于手指背面；加速度传感器感应手扫弦加速度，将 其置于手背上；气压传感器感应吹气动作，放在拇指上；红外LED是用于摄像 头对手部位置信息的捕捉，三个红外LED组成一个阵列置于中指前端。传感器 在手套上的安置位置如图4所示。所述传输模块，既可以选用有线方式，也可以选用无线方式。所述有线方 式是通过传输线进行传输；所述无线传输方式为蓝牙传输、红外传输或ZigBee 传输等。本系统选用ZigBee无线传输模块实现数据采集手套信息的传输，选用 传输线实现机器视觉模块信息的传输。所述系统的机器视觉模块，采用了红外LED作为光源，利用红外滤光片来 进行噪声抑制。摄像头捕获的数据通过USB接口传到处理模块。所述处理模块包括手套信息处理模块、机器视觉处理模块、虚拟演奏场景 模块和音频合成引擎，分别完成手部动作识别实现、机器视觉实现、图形实现 和声音实现的功能。在这个架构的基础上系统还实现了用手部动作发出各种控 制命令，用一双手套演奏笛子、钢琴、吉他三种乐器和即兴模式、引导模式、 创作模式三种功能模式。系统软件平台层次结构如图5所示。所述手套信息处理模块通过传输模块得到手部动作信息，从而计算出相应 的手部动作。所述系统的机器视觉处理模块，由于摄像头提供的单帧捕获存储格式为 BMP，使得系统可以对图像直接处理，在BMP图像中釆用RGB彩色模型来表6示像素点。系统通过RGB空间向灰度空间的转换以及二值化处理，进行坐标运 算可得到光心的坐标，实现对手部位置信息的捕捉。
所述虚拟演奏场景模块包括演奏厅构建模块、乐器模型导入模块、摄像机 漫游模块、演奏特效实现模块、视口和面板设置模块以及音频可视化窗口模块。 场景实现需要多帧的场景渲染。其中所述演奏厅，由地面、左侧面、右侧面、 正面这四个基本四边形面构成。对这四个四边形面进行贴图渲染，从而构成了 演奏厅场景。所述乐器模型导入，即将乐器模型经世界变换、坐标变换等过程， 放置在场景的正确位置上。所述摄像机漫游，即在场景中架设一架摄像机，改 变摄像机的位置坐标和指向方向，可以达到在场景中漫游的效果。所述演奏特 效包括灯光效果、音符蹦出渐隐、冲击波光柱三种特效。对于场景的灯光效果， 使用的是基于顶点的光照系统实现。对于音符蹦出渐隐特效，采用粒子系统技 术实现。对于冲击波光柱特效，实现主要依靠构建一个圆环的顶点模型和一个 圆柱的顶点模型，贴上冲击波的纹理贴图实现。所述视口和面板设置，是定义 一个矩形目标区域，在区域内绘制场景。在本系统的设计中，屏幕显示分为两 个部分，屏幕的上3/5部分是三维演奏场景，下2/5部分是一个状态面板。对于 不同的演奏模式有相应的内容显示。所述音频可视化窗口，就是将声音用图形 表达出来。系统采用傅立叶变换的方式分析音频流，并将声音的各频率段上的 幅值用2D图形显示出来。
每帧场景渲染实现流程图如图6所示，包括以下步骤
(1) 设置场景视口；
(2) 设置灯光效果；
(3) 渲染演奏厅；
(4) 渲染乐器；
(5) 摄像机架构；
(6) 判断是否弹奏乐器，如果弹奏，则继续以下步骤
(7) 实现冲击波光柱特效；
(8) 实现音符漂浮渐隐特效；
(9) 设置面板视口；
(10) 渲染状态面板。 系统虚拟演奏场景效果图如图7所示。
所述音频合成引擎，利用声音加载技术实现。系统在声音加载时采用了流 缓冲技术，这种方法保证了音频文件只在需要时从硬盘动态调入到内存中，从 而节约了内存空间。声音加载还存在加载格式的问题，当所有的缓冲都使用同一种声音格式而且硬件输出也是使用这种格式，那么混音将不需要在格式转换 上花任何的工夫，从而达到最优的效果。声音引擎对音乐处理的流程如图8所 示。
本发明通过在处理模块中增加对各种手部动作的处理，从而实现通过手部 动作发出各种控制命令，如乐器选择、演奏乐器的切换、演奏模式选择、菜单 的选择等，完全脱离了传统的按键式输入方式。
所述控制命令，是通过特定传感器相互组合实现的，在避免控制动作与乐 器弹奏动作相同的前提下，尽量使所有动作简洁易懂。例如刚进入演奏系统 时是乐器选择场景，通过机器视觉识别手的移动实现三种乐器的选择，然后双 手握拳确认乐器选择。三个乐器演奏场景之间的切换则是通过与各个乐器弹奏 动作相仿的动作实现的。要切换到笛子演奏场景便左手握拳同时向左手的气压 传感器吹气；要切换到钢琴演奏场景便同时握住双手向下甩；要切换到吉他演 奏场景便握住右手，左手做扫弦动作。
在处理模块中增加对手部动作的处理，还可以实现用一双手套演奏笛子、 钢琴、吉他三种乐器。
所述笛子演奏，利用气压传感器和弯曲传感器来识别笛子的演奏动作，实 现了与真实笛子完全相同的指法。使用两只手除小指和大拇指外的六个手指进 行演奏，同时利用气压传感器感应吹气气压，判断操作者是否在进行笛子演奏。
所述钢琴演奏，利用弯曲传感器和机器视觉来识别钢琴的演奏动作。系统 采用了三个音区，音区的控制通过机器视觉来实现，它可以识别手套的空间坐 标位置，并映射到屏幕显示区域，即将摄像头的视场进行X方向的均匀分割。 默认中央C所在的小字组为中心音区。在每个音区内有CDEFGAB音级，这些 音级可通过手套不同手指来对应弹奏。
所述吉他演奏，利用弯曲传感器和加速度传感器来识别吉他的演奏动作。 系统在操作控制上采用了样本与控制一一对应的实现方式，即每个单独的指部 动作对应一个单独的乐音。同时系统还利用加速度传感器感应手的扫弦动作， 判断操作者是否在进行吉他演奏。
本系统通过在处理模块中增加演奏模式处理模块，实现即兴演奏，引导演 奏，创作演奏三种演奏模式。
所述即兴演奏即自由弹奏的模式，下面板以动画的方式实时显示乐器当前 演奏动作状态。
所述引导演奏，即下面板区域是引导面板，有一个乐谱可视化的导引方式。 系统通过乐谱导引提示用户在相应的时间按下相应的键。从而引导用户进行相应乐曲的演奏。
所述创作演奏，即下面板区域是创作面板。在乐器的演奏过程中，面板上 自动显示所弹奏的音符，音高及音长，并将显示内容存成乐谱文件。
所述外围设备包括音箱与显示器。它们将乐器的演奏声音和特效场景反馈 给使用者，给使用者带来近似真实、舒适的乐器演奏感受。
权利要求
1、一种基于手部动作感应的虚拟演奏系统，其特征在于包括数据采集手套，对手部动作进行感应；机器视觉模块，对手部位置信息进行感应；传输模块，将数据采集手套和机器视觉模块采集的信息传到处理模块；处理模块，从接收到的手部信息中识别出乐器演奏的动作，并产生乐器的演奏声音和特效场景；外围设备，将声音和场景反馈给操作者。
2、 如权利要求1所述的基于手部动作感应的虚拟演奏系统，其特征在于所述数据采集手套包括安装在手套上的弯曲传感器、加速度传感器、气压传感器、红外发光二极管和主控芯片；传感器的输出信号经过信号调理电路并用A/D进行采样，然后传给主控芯片，并经传输模块传到处理模块；传感器根据弹奏需要安置；弯曲传感器用于感应手指弯曲，放置于手指背面；加速度传感器感应手扫弦加速度，将其置于手背上；气压传感器感应吹气动作，放在拇指上；红外发光二极管用于摄像头对手位置信息的捕捉，三个红外发光二极管组成一个阵列置于中指前端。
3、 如权利要求1所述的基于手部动作感应的虚拟演奏系统，其特征在于所述机器视觉模块，采用红外LED作为光源，利用红外滤光片来进行噪声抑制。
4、 如权利要求1所述的基于手部动作感应的虚拟演奏系统，其特征在于所述处理模块包括手套信息处理模块、机器视觉处理模块、虚拟演奏场景模块和音频合成引擎，分别完成手部动作识别、机器视觉实现、图形实现和声音实现的功能。
5、 如权利要求4所述的基于手部动作感应的虚拟演奏系统，其特征在于所述机器视觉处理模块通过RGB空间向灰度空间的转换以及二值化处理，进行坐标运算得到光心的坐标，实现对手部位置信息的捕捉。
6、 如权利要求4所述的基于手部动作感应的虚拟演奏系统，其特征在于所述虚拟演奏场景模块包括演奏厅构建模块、乐器模型导入模块、摄像机漫游模块、演奏特效实现模块、视口和面板设置模块以及音频可视化窗口模块；所述演奏厅，由地面、左侧面、右侧面、正面这四个基本四边形面构成，对这四个四边形面进行贴图渲染，从而构成了演奏厅场景；所述乐器模型导入模块将乐器模型放置在场景的正确位置上；所述摄像机漫游模块通过改变摄像机的位置坐标和指向方向，达到在场景中漫游的效果；所述演奏特效实现模块实现演奏的特殊效果；所述视口和面板设置模块定义一个矩形目标区域，在区域内绘制场景；所述音频可视化窗口将声音用图形表达出来。
7、 如权利要求4所述的基于手部动作感应的虚拟演奏系统，其特征在于所述音频合成引擎利用声音加载技术实现；系统在声音加载时采用了流缓冲技术，并且所有的缓冲以及硬件输出都使用同一种声音格式。
8、 如权利要求1所述的基于手部动作感应的虚拟演奏系统，其特征在于在处理模块中增加对各种手部动作的处理，实现通过手部动作发出各种控制命令。
9、 如权利要求1所述的基于手部动作感应的虚拟演奏系统，其特征在于在处理模块中增加对各种手部动作的处理，实现用一双手套演奏笛子、钢琴、吉他三种乐器。
10、 如权利要求1所述的基于手部动作感应的虚拟演奏系统，其特征在于在处理模块中增加演奏模式处理模块，实现即兴演奏，引导演奏，创作演奏三种演奏模式。
全文摘要
本发明涉及一套基于手部动作感应的虚拟演奏系统，包括数据采集手套，对手部动作进行感应；机器视觉模块，对手部位置信息进行感应；传输模块，将数据采集手套和机器视觉模块采集的信息传到处理模块；处理模块，从接收到的手部信息中识别出乐器演奏的动作，并产生乐器的演奏声音和特效场景；外围设备，将声音和场景反馈给操作者。本发明提供了一种利用手套进行人机交互的虚拟乐器，其弹奏手法与弹奏真实乐器相同或相似，使操作者自然、灵活地进行虚拟演奏，同时还能将乐器的演奏声音和特效场景反馈给操作者，使操作者更加直接、更加自然地进行演奏。
文档编号G10H1/34GK101504832SQ20091008085
公开日2009年8月12日 申请日期2009年3月24日 优先权日2009年3月24日
发明者付梦印, 刘中金, 琦 梁, 贾挺祥 申请人:北京理工大学