一种基于超声波的无接触式虚拟电子钢琴演奏方法及系统

本发明涉及超声波，特别涉及一种基于超声波的无接触式虚拟电子钢琴演奏方法及系统。

背景技术：

1、随着科技的发展，各种互联网产品如雨后春笋般出现在市场中，很多传统元素也穿上科技的新衣，以一种新的形态出现在人们的视野中，例如传统教学黑板如今用智能触摸屏替代、传统养殖业也使用上了智能控制管理系统等等，传统产品智能化是未来的发展趋势。除去科技发展的推动、音乐教育行业的需求，用户对产品的要求也变得更高，用户更加注重使用产品过程中的体验感，电子钢琴学习难度高，学习周期长，费用较高、对于新手用户极不友好，导致许多人望而却步，从而导致电子钢琴不是音乐学习的第一选择。因此现有技术出现了虚拟钢琴，即基于虚拟钢琴来实现学校、娱乐等功能，如专利申请号为201720852203.2的一种带钢琴键的双屏手机，涉及智能终端领域，包括手机壳体、主屏幕、物理键、钢琴键、电子墨水屏幕、主板电路和音频装置；所述手机壳体的正面设有所述主屏幕，所述手机壳体的背面设有所述钢琴键和所述电子墨水屏幕；所述钢琴键为导电墨水绘制的钢琴键；所述电子墨水屏幕用于显示乐谱；所述主板电路设有能够感知所述钢琴键的触碰传感器；所述主板电路的信号输入端通过所述触碰传感器与所述钢琴键连接；所述触碰传感器能将获取的触碰信息转换为音频信息；所述音频装置与所述主板电路的信号输出端连接，用于输出所述音频信息；所述物理键可以激活所述主板电路。

2、这种虚拟电子钢琴依赖于专用手机，将钢琴与手机结合在一起，但是其成本仍然较高，需要一台手机的价格，且由于电子钢琴是集成在手机上，因此也会受限于手机尺寸的大小，无法满足真实场景下的钢琴手势学习，费用较高、对于新手用户极不友好，其无法解决现有技术电子钢琴学习成本高的缺陷。因此需要一种成本低、具有教学、学习和娱乐方式的新颖的虚拟电子钢琴演奏方案。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于超声波的无接触式虚拟电子钢琴演奏方法及系统，通过超声波检测来控制播放电子钢琴音调声音，实现基于超声波的虚拟电子钢琴弹奏，以解决现有电子钢琴学习难度高，学习周期长，费用较高和对新手用户极不友好的技术问题。。

2、为了实现上述目的，本发明采用的技术方案为：一种基于超声波的无接触式虚拟电子钢琴演奏方法，所述方法具体包括如下步骤：

3、s1、使用超声波传感器实时测量其与手部摆动的距离，并将测量结果通过串口发送至mcu主控模块；

4、s2、通过mcu主控模块对超声波传感器测量的数据进行滤波，去除异常值，得到滤波后的数据；

5、s3、根据超声波传感器滤波后的数据计算手动摆动有效距离；

6、s4、基于实际手部摆动习惯设置合适的阈值，将其映射为基本音阶的频率信息；

7、s5、mcu主控模块通过wifi通信模块将音阶频率信息发送至上位机模块，播放上位机相应的音调声音。

8、进一步的，步骤s1中的实时测量其与手部摆动的距离方法具体如下：

9、s11、通过mcu主控模块触发脉冲给超声波传感器，超声波传感器接收到触发脉冲后，发送方波信号，并开始等待回波信号；

10、s12、当手部遮挡超声波传感传输路径时，接收到超声波传感器的回波信号，并将回波信号发送至mcu主控模块，通过mcu主控模块中定时器计算超声波传感器接收回波信号的时间t；

11、s13、根据超声波在空气中的传播速度c(通常是音速，约为340米/秒)和超声波传感器接收回波信号的时间t,计算超声波传感器与手部的距离d。

12、进一步的，步骤s11中的触发超声波传感器方法具体如下：

13、将mcu主控模块为超声波传感器的发送一个20us的高电平触发脉冲信号并延时60ms，以确保超声波传感器发送脉冲信号传播并返回。

14、进一步的，步骤s12中的定时器计算超声波接收回波信号时间方法具体如下：

15、超声波传感器在接收到触发信号后开始发送超声波信号，当超声波信号遇到手部遮挡时，会产生回波信号。通过tim定时器的输入捕获功能来计算超声波回波信号时间。

16、进一步的，步骤s12中输入捕获功能来计算超声波回波信号时间方法具体如下：

17、将tim定时器的输入捕获功能初始设置为上升沿捕获。当超声波传感器受到触发信号后，输出高电平回响信号。tim定时器捕获到高电平回响信号后，将捕获极性设置为下降沿捕获。同时通过hc_data[i][]二维数组记录对应的第i个超声波传感器上升沿到来时定时器的值，记为rising_count；在持续的高电平七键，开始记录定时器溢出中断次数，记为update_time，在第二次捕获中断到来时，记录此时定时器的值，记为falling_count，同时一次定时器更新中断间隔时间记为time。

18、计算超声波回波信号时间t＝falling_count+(time-rising_count)+time*update_time。

19、进一步的，步骤s13中计算手部与超声波传感器之间的距离方法具体如下：

20、利用超声波在空气中的传播速度c和超声波回波信号时间t，计算手部与超声波传感器之间的距离d＝t*340m/s*0.5。

21、进一步的，步骤s2中超声波传感器测量的数据进行滤波方法具体如下：

22、s21、确定一个合适的间隔时间ti,以此采集手部与超声波传感器之间的距离数据di，将采集到的数据点表示为(t1，d1)，...，(ti，di)，使用线性拟合算法进行滤波，去除跳跃性较大的数据点；

23、进一步的，步骤s21中线性拟合算法滤波方法具体如下：

24、对采集到的数据点(t1，d1)，...，(ti，di)，其中ti为时间，di是对应时间点ti手部离超声波传感器的距离值。

25、定义目标函数利用偏导数对目标函数进行求解，求得和的最佳估计值，得到拟合方程y＝ax+b,设置阈值，去除与拟合方程偏差较大的数据点。

26、进一步的，步骤s3中计算手部摆动有效距离方法具体如下：

27、对滤波后的数据进行分析，其中手部从按下到抬起是一次完整手部摆动动作。手部摆动距离由远到近的变化是按下动作，选择距离d最短的作为手部按下的谷值dmin；手部摆动距离由近到远变化是抬起动作，选择距离d最长的作为手部抬起的峰值dmax。通过按下的谷值dmin和抬起的峰值dmax，计算出的峰谷的极差作为手部摆动的有效距离di＝dmax-dmin；

28、进一步的，步骤s4中设置合适的阈值来映射为基本音阶频率的方法具体如下：

29、基于实际手部摆动习惯，每个超声波传感器都设置为相同的阈值参数，分别为α，β和γ。不同的阈值对应不同音调频率。阈值α范围内对应基本音阶的低音频率；阈值α与β范围内对应基本音阶的中音频率；阈值γ范围外对应基本音阶的高音频率。

30、当手部摆动的距离di在阈值以内时，将输出与阈值对应的音调频率，实现无接触式虚拟电子钢琴演奏。

31、一种基于超声波的无接触式虚拟电子钢琴演奏系统，所述系统包括：

32、hc-sr04超声波传感器模块，使用七个hc-sr04超声波传感器采集数据；

33、stm32f4阿波罗开发板作为mcu主控模块，用于处理分析所述hc-sr04超声波传感器采集的数据和传输；esp8266wifi通信模块，将所述tm32f4阿波罗开发板处理的有效数据传输至上位机；上位机，基于hc-sr04超声波信号计算手部摆动的有效距离，并映射到基本音阶的频率信号来实现无接触式虚拟电子钢琴演奏。

34、本发明的优点在于：(1)本发明是基于超声波的无接触式虚拟电子钢琴演奏，电子钢琴价格偏低、上手难度低、演奏方式新颖独特等特点，可以更加容易地普及到青少年的生活中，为青少年提供一种新的娱乐方式，引导学生从虚拟的游戏世界走向丰富有趣的现实世界，激发学生对音乐学习的兴趣。

35、(2)与传统电子钢琴截然不同的发音原理，对于那些善于发现的学生，能够引发他们对于本作品原理的思考，可以起到科学启蒙的作用。