一种利用生物电流的音乐控制装置及控制方法与流程

本发明涉及人机交互技术领域，尤其涉及一种利用生物电流的音乐控制装置及控制方法。

背景技术：

随着音频控制技术的发展，出现了通过触碰植物进行音乐演奏、丰富音乐创作的全新人机交互体验方式，公告号为cn106601219a的专利文献公开了一种用植物奏乐的乐器，其基于检测人触碰植物不同位置所产生的电信号变化、并将其转化为不同音频控制信号的系统和方法，也就是通过触摸植物来播放不同频率的声音，其主要包括：植物盆、用于检测人触碰植物不同位置所产生的电信号变化的检测模块、用于输出电信号至所述检测模块,并根据电信号变化产生不同的音频控制信号的控制芯片u1、用于接收到控制芯片u1因人触碰植物不同位置而输出的音频控制信号并输出不同频率声音的音频播放模块，其还公开了一种用植物奏乐的乐器控制方法，其可以通过触摸植物来创作音乐的全新人机交互体验,触碰植物不同部位可以发出不同的频率的声音，然而此方法未能将电信号或音频控制信号转换为现代音乐制作人使用数字音乐工作站、电子乐器时频繁使用的midi信号、用户不能对声音的各项参数进行控制和调整，比如自由调整音调的高低、响度的大小；交互方式上依靠触摸植物的位置的变化来改变音高，但是音高和位置没有明确的逻辑对应关系，因此不便于用户判断；创作音乐时只能先录音再通过其他方法进行后期调整，对于音乐创作来说具有相当的局限性。

手势识别是计算机科学和语言技术中的一个主题，目的是通过数学算法来识别人类手势，手势可以源自任何身体运动或状态，但通常源自面部或手，本领域中的当前焦点包括来自面部和手势识别的情感识别，用户可以使用简单的手势来控制或与设备交互，而无需接触他们。从而在机器和人之间搭建比原始文本用户界面或甚至gui（图形用户界面）更丰富的桥梁。anapproachtonaturalgestureinvirtualenvironment，pages180-182.gesturebasedinteractionnui:anoverview,pages633-635.等文献都对此技术作了详细的介绍，手势识别使人们能够与机器（hmi）进行通信，并且无需任何机械设备即可自然交互，使用手势识别的概念，可以将手指指向计算机屏幕，使得光标将相应地移动，这可能使常规输入设备（如鼠标，键盘甚至触摸屏）变得冗余，将手势识别运用在电子音乐创作中具有创新性，这一方式能够让音乐人摆脱用一手操作键盘、另一手移动鼠标来创作数字音乐或用双手演奏单一乐器的局限性，让音乐人既能用单手完成操作传统机械旋钮的复杂指令，又能通过双手进行多个音轨、多种通道的协奏，使得音乐人在使用多种多样的设备进行创作时能更加灵活。但现阶段就用手势识别技术直接替代传统的交互手段，并不一定意味着高效和进步，手势识别技术的应用场景和与之相匹配的其他系统的更新是这项技术能否带来交互变革的难点。

现有技术中还提供了一种将哼唱旋律转换为midi旋律的转换方法，公开号为cn105244021b，其采用一种基于相邻或间邻哼唱音符音程分析的哼唱旋律的调性分析法。即先估算实际哼唱相邻或间邻哼唱音符的音程，而后再在音程序列上估算哼唱旋律的调性。并由此建立期望哼唱旋律的估算模型。这种方法是将声音信号转为midi信号，涉及到语音识别或合成技术，通过分析语音后可得到估算的音调，让midi旋律匹配语音识别的结果的，但是植物电信号本身不包含声音信息，需要对数据进行分析和转换才能得到和谐的midi旋律。

又如公告号为cn206932773u的专利文献公开了一种智能植物音乐盆栽，其在花盆本体的内部底面上设有触摸传感器，触摸传感器用于采集植物被触摸信息，并将该信息传送给主控器，主控器根据收到的信息来控制扬声器，从而实现花盆能够随着碰触的节奏发出美妙的声音，提高用户体验，并且其在所述花盆本体的表面上设有七彩led灯，在主控器的控制下，七彩led灯能够跟随播放音乐的节奏闪烁，此发明是将对植物的触摸转化为音乐播放的开关，是一种和植物盆栽相结合的音乐播放器，无法达成人和音乐本身的交互。

技术实现要素：

针对现有技术中存在的利用植物来演奏音乐的装置和设备在音乐参数上的不可编辑/不可控制性，以及交互方式局限性较大的问题，本发明提供了一种利用生物电流的音乐控制装置及控制方法，其可通过手势实现人与音乐的交互，并且在利用植物来演奏音乐时，可对音乐参数进行编辑或控制。

一种利用生物电流的音乐控制装置，其包括电极片，所述电极片与所述控制器连接，所述控制器还连接有音频输出装置、发光二极管led，其特征在于，其还包括壳体、安装于壳体内部的控制芯片u1、手势控制模块，所述电极片贴装于植物叶片上，所述电极片用于采集并传输植物的电信号数据，所述电极片与控制芯片u1电连接，所述控制芯片u1通过midi信号传输通道与控制器连接，所述手势控制模块包括手势传感器、arduinolilypad，所述手势传感器通过所述arduinolilypad与所述控制器连接；所述控制芯片u1内设置有模数转换模块、比较模块，所述模数转换模块用于将所述电极片传输的电信号数据转换为音符数据，所述比较模块用于将电信号数据与预先设定的电位阈值进行对比。

其进一步特征在于，所述壳体上设置有音频接口u5、arduinolilypad接口u2、midi信号接口u4，所述音频接口u5一端与所述电极片电连接，所述音频接口u5另一端与所述控制芯片u1电连接，所述midi接口u4一端与所述控制芯片u1电连接，所述midi信号接口u4另一端与所述控制器电连接，所述arduinolilypad接口u2一端与所述手势传感器电连接，所述arduinolilypad接口u2另一端与所述控制器电连接；

所述midi信号传输通道为usb-midi线；

所述控制器为电脑、平板或手机；

所述midi信号传输通道的数量与所述手势的数量一致，所述手势控制模块包括八种手势，八种手势分别用于控制八个所述midi信号传输通道，八种所述手势分别为上、下、左、右、前、后、左翻转、右翻转，所述上、下手势分别用于实现音频响度增加、减弱，所述左、右手势分别用于实现音频振幅增强、减弱，所述前、后手势分别用于实现音频压缩升高、降低，所述左翻转、右翻转分别用于实现音频混响增加、减弱；

其还包括计时器芯片u3，所述计时器芯片u3通过导线分别连接发光二极管led、所述控制芯片u1；

所述音频接口u5、arduinolilypad接口u2、midi信号接口u4、计时器芯片u3与所述控制芯片u1连接的电路包括电阻r1、r2、有源电容c1，所述音频接口u5的2端口分别连接电阻r2一端、计时器芯片u3的7管脚，所述音频接口u5的3端口连接所述计时器芯片u3的2、6管脚，所述电阻r2另一端分别连接所述计时器芯片u3的4、5管脚、电池bat负极、控制芯片u1的7、20管脚、滑动电阻r3的3端口、arduinolilypad接口u2的1管脚、所述电阻r1一端，所述midi信号接口u4的1管脚连接所述控制芯片u1的1、2、3管脚，所述midi信号接口u4的2管脚连接所述电阻r1另一端，所述arduinolilypad接口u2的2管脚连接所述控制芯片u1的26管脚，所述arduinolilypad接口u2的3管脚连接所述控制芯片u1的25管脚，所述arduinolilypad接口u2的4管脚分别连接滑动电阻r3的1端口、控制芯片u1的22、8管脚电池bat正极、所述发光二极管led阴极、有源电容c1负极、计时器芯片u3的1管脚，所述滑动电阻r3的2端口连接所述控制芯片u1的23管脚，所述滑动电阻r3的3端口分别连接所述控制芯片u1的23管脚，所述计时器芯片u3的3管脚分别连接所述控制芯片u1的4管脚、发光二极管led阳极。

所述控制芯片u1为atmega328芯片；

一种基于上述音乐控制装置实现音频控制的方法，其包括以下步骤：s1、变量初始化；其特征在于，其还包括以下步骤s2、通过电极片获取植物叶片上的电位值，并将该电位值发送给控制芯片u1；s3、通过控制芯片u1中的比较模块将步骤s2采集的电位值与预先设定的电位阈值进行比较；s4、通过控制芯片u1中的模数转换模块将电位值转化为midi信号；s5、通过midi信号传输通道将经步骤s4转换后的midi数据输送给控制器，并存储；s6、通过手势传感器检测手势动作，并通过arduinolilypad发送给控制器；s7，控制器根据手势动作控制音频的响度、振幅、压缩及混响；

其进一步特征在于，步骤s3包括以下具体内容：s31、当电位值在电位阈值范围内时，直接进入步骤s4；s32、当电位值超出电位阈值范围时，通过数据处理模块对电位值进行处理，将处理后获得的数据发送至步骤s3中进行再一次比较，直至电位值处理结果符合电位阈值范围，再进入步骤s4；

步骤s7包括以下具体内容：s71、如果手势动作为向上，通过手势传感器将该手势指令发送给arduinolilypad，arduinolilypad将相应的增加声音响度发送给控制器，如果手势动作为向下，arduinolilypad将相应的降低声音响度输送给控制器；

s72、如果手势动作为向左，通过手势传感器将该手势指令发送给arduinolilypad，arduinolilypad将相应的增强声音振幅发送给控制器，如果手势动作为向右，arduinolilypad将相应的减弱声音振幅输送给控制器；

s73、如果手势动作为向前，通过手势传感器将该手势指令发送给arduinolilypad，arduinolilypad将相应的升高声音压缩发送给控制器，如果手势动作为向后，arduinolilypad将相应的降低声音压缩输送给控制器；

s74、如果手势动作为向左翻转，通过手势传感器将该手势指令发送给arduinolilypad，arduinolilypad将相应的增加声音混响发送给控制器，如果手势动作为向后，arduinolilypad将相应的减弱声音混响输送给控制器；

采用本发明的上述结构可以达到如下有益效果：本发明为音乐艺术家提供了一种全新的音乐拾取及音频编辑的交互方法，具体提出了将植物电信号转化为可在控制器上进行专业编辑的midi信号、并用手势来对数字化后的信号进行混音处理，用户只须将电极片贴在植物叶片上，灵活使用手势传感器就能体验专业人士混音、创作时的乐趣。用户在使用时通过电极片采集植物叶片上的电位值，即生物电流，并将该电位值传输给控制芯片，通过控制芯片内的比较模块将电位值与预先设定的阈值进行比较，通过模数转换模块将电位值转换为音符数据，并通过midi信号传输通道将音符数据发送给控制器，从而实现利用植物来演奏音乐；控制器还连接有手势控制模块，通过手势控制模块中的手势传感器获取手势动作，并通过arduinolilypad将手势动作转化为相应的音乐参数发送给控制器，从而实现对音乐参数的编辑或控制。

附图说明

图1为本发明的主视结构示意图；

图2为本发明的俯视结构示意图；

图3为本发明的系统结构框图；

图4为本发明的电路原理图；

图5为本发明音乐控制方法的控制流程图。

具体实施方式

见图1、图2、图3，一种利用生物电流的音乐控制装置，其包括电极片1、壳体2、安装于壳体2内部的控制芯片u1、手势控制模块3、控制器4，控制器4还连接有音频输出装置5、发光二极管led，电极片1贴装于植物叶片上，电极片1用于采集并传输植物的电信号数据，电极片1与控制芯片u1电连接，控制芯片u1通过midi信号传输通道与控制器连4接，手势控制模块3包括手势传感器31、arduinolilypad32，手势传感器31通过arduinolilypad32与控制器4连接；控制芯片u1内设置有模数转换模块61、比较模块62，模数转换模块61用于将电极片1传输的电信号数据转换为音符数据，比较模块62用于将电信号数据与预先设定的电位阈值进行对比。

壳体2上设置有音频接口u5、arduinolilypad接口u2、midi信号接口u4，音频接口u5一端与电极片1电连接，音频接口u5另一端与控制芯片u1电连接，midi接口u4一端与控制芯片u1电连接，midi信号接口u4另一端与控制器4电连接，arduinolilypad接口u2一端与手势传感器31电连接，arduinolilypad接口u2另一端与控制器4电连接，本实施例中控制器4为电脑，midi信号传输通道为usb-midi线，控制芯片u1为atmega328芯片；

midi信号传输通道的数量与手势的数量一致，手势控制模块包括八种手势，八种手势分别用于控制八个midi信号传输通道，八种手势分别为向上、向下、向左、向右、向前、向后、左翻转、右翻转，向上、向下手势分别用于实现音频响度增加、减弱，向左、向右手势分别用于实现音频振幅增强、减弱，向前、向后手势分别用于实现音频压缩升高、降低，左翻转、右翻转分别用于实现音频混响增加、减弱；

其还包括计时器芯片u3，计时器芯片u3通过导线分别连接发光二极管led、控制芯片u1，本实施例中设置有若干个发光二极管led，且发光二极管led呈圆周状布置于壳体2的顶端端面上；

见图4，音频接口u5、arduinolilypad接口u2、midi信号接口u4、计时器芯片u3与控制芯片u1连接的电路包括电阻r1、r2、有源电容c1，音频接口u5的2端口分别连接电阻r2一端、计时器芯片u3的7管脚，音频接口u5的3端口连接计时器芯片u3的2、6管脚，电阻r2另一端分别连接计时器芯片u3的4、5管脚、电池bat负极、控制芯片u1的7、20管脚、滑动电阻r3的3端口、arduinolilypad接口u2的1管脚、电阻r1一端，midi信号接口u4的1管脚连接控制芯片u1的1、2、3管脚，midi信号接口u4的2管脚连接电阻r1另一端，arduinolilypad接口u2的2管脚连接控制芯片u1的26管脚，arduinolilypad接口u2的3管脚连接控制芯片u1的25管脚，arduinolilypad接口u2的4管脚分别连接滑动电阻r3的1端口、控制芯片u1的22、8管脚电池bat正极、发光二极管led阴极、有源电容c1负极、计时器芯片u3的1管脚，滑动电阻r3的2端口连接控制芯片u1的23管脚，滑动电阻r3的3端口分别连接控制芯片u1的23管脚，计时器芯片u3的3管脚分别连接控制芯片u1的4管脚、发光二极管led阳极，arduinolilypad采用现有常规技术。

通过上述音乐控制装置实现利用植物来演奏音乐时，电脑接收两种信号（电极片传入的midi信号和手势传感器传入的控制信号），最终在电脑中实现音频编辑与创作，具体的：采用电极片1作为植物电信号的接收器，用户将电极片1贴到任意植物的叶片上，将与电极片相连的电极线插入壳体2侧面的标准插孔上，即音频接口u5的一端，即可向壳体2内部的控制芯片u1传输植物的电信号数据，通过控制芯片u1内部的比较模块62对输入的电位值进行判断，若输入的电位值在预先设定的电位阈值范围内，则通过模数转换模块61将该电位值转换为音符数据，并将其计入8位midi通道中，若输入的电位值不在预先设定的电位阈值范围内，则采用数据处理模块进行处理，再将处理后的合理值计入midi信号传输通道中；控制芯片u1中还可用于实现发光二极管led灯的控制，控制器u1将转换后音符数据通过midi信号传输通道发送给控制器4，控制器4通过音频输出装置5将音频播出，从而实现植物音乐的播放。在使用该音乐控制装置时，使用者可将usb-midi线的midi头插入壳体2侧面的midi信号接口u4中，将usb头插入电脑的usb插口上，或通过其他转接线与平板或手机等相连，打开任意数字音频工作站，选择本设备的名称作为midi输入源，设置任意音色和播放轨道，便可从电脑扬声器上听到植物音乐；本设备的手势交互技术通过arduinolilypad实现，程序预先设置四组动作，共八个手势来控制8个midi通道上存储的数据，若检测到手势动作是向上/向下，则对输出声音参数的响度进行相应的增减，以此类推，完成上/下和响度，左/右和振幅，前/后和压缩，左翻转/右翻转和混响的对应关系，如若用户想通过电脑、平板等设备上的数字音频软件对植物音乐进行进一步处理，则可将手势信号设置为软件的midi输入控制，让其控制音频软件里的参数。

一种基于上述音乐控制装置实现音频控制的方法，其包括以下步骤：

s1、变量初始化；

s2、通过电极片1获取植物叶片上的电位值，并将该电位值发送给控制芯片u1；

s3、通过控制芯片u1中的比较模块将步骤s2采集的电位值与预先设定的电位阈值进行比较，具体的：s31、当电位值在电位阈值范围内时，直接进入步骤s4；

s32当电位值超出电位阈值范围时，通过数据处理模块对电位值进行处理，将处理后获得的数据发送至步骤s3中进行再一次比较，直至电位值处理结果符合电位阈值范围，再进入步骤s4；

s4、通过控制芯片u1中的模数转换模块将电位值转化为midi信号；

s5、通过midi信号传输通道将经步骤s4转换后的midi数据输送给电脑，并存储；

s6、通过手势传感器检测手势动作，并通过arduinolilypad发送给电脑；

s7，控制器根据手势动作控制音频的响度、振幅、压缩及混响，具体的：s71、如果手势动作为向上，通过手势传感器将该手势指令发送给arduinolilypad，arduinolilypad将相应的增加声音响度发送给控制器，如果手势动作为向下，arduinolilypad将相应的降低声音响度输送给控制器；

s72、如果手势动作为向左，通过手势传感器将该手势指令发送给arduinolilypad，arduinolilypad将相应的增强声音振幅发送给控制器，如果手势动作为向右，arduinolilypad将相应的减弱声音振幅输送给控制器；

s73、如果手势动作为向前，通过手势传感器将该手势指令发送给arduinolilypad，arduinolilypad将相应的升高声音压缩发送给控制器，如果手势动作为向后，arduinolilypad将相应的降低声音压缩输送给控制器；

s74、如果手势动作为向左翻转，通过手势传感器将该手势指令发送给arduinolilypad，arduinolilypad将相应的增加声音混响发送给控制器，如果手势动作为向后，arduinolilypad将相应的减弱声音混响输送给控制器。

midi信号接口u4为(musicalinstrumentdigitalinterface)乐器数字接口，是20世纪80年代初为解决电声乐器之间的通信问题而提出的，midi是编曲界最广泛的音乐标准格式，可称为“计算机能理解的乐谱”，它用音符的数字控制信号来记录音乐，一首完整的midi音乐只有几十kb大，而能包含数十条音乐轨道，几乎所有的现代音乐都是用midi加上音色库来制作合成的。midi传输的不是声音信号，而是音符、控制参数等指令,它指示midi设备要做什么，怎么做，如演奏哪个音符、多大音量等，它们被统一表示成midi消息(midimessage)，传输时采用异步串行通信，标准通信波特率为31.25×(1±0.01)kbaud，《midi信号的解码及实时音符显示》一文详细解释了mid信号解码的问题。

综上所述，仅是本发明的较佳实施例而已，并非是对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为同等变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。