琴键动作识别装置、琴键动作检测系统及检测方法与流程

本发明涉及检测技术领域，尤其涉及一种琴键动作识别装置、琴键动作检测系统及检测方法。

背景技术：

钢琴，是按键类乐器中一种常见的乐器。普通听众在没有专业知识的前提下，无法评价演奏者的演奏钢琴等按键类乐器的演奏水平。对于演奏者，在独自练习过程中，不知道自己的失误点，难以提高自己的训练水平。

目前，市场上有一款音乐笔记的大眼睛陪练机器人，采用了机器视觉的方案实现对钢琴琴键的监测，其先在钢琴琴键上进行贴白色和黑色贴片(白键贴黑色和黑键贴白色)，通过琴键上方的摄像头检测贴片的运动、琴键自身的遮挡变化，间接检测钢琴等按键类乐器的键盘动作，再用处理系统对获取的画面进行处理，再与与参考动作进行比对。这种方式存在以下缺点：1)贴片只是随着琴键进行上下运动，这对摄像头监测极为不利，处理系统对获取垂直于画面的运动很难进行判断；2)监测白色和黑色贴片的上下运动，对光线要求非常高，需要额外的补光，这对演奏者而言，操作非常麻烦。而且，上述缺点容易造成琴键动作判断错误，练习者按键按对了，分析单元判断没有按，容易造成混乱，不利于演奏者纠正错误。

技术实现要素：

为解决上述背景技术中存在的问题，本发明提出一种琴键动作识别装置，其可将琴键的上下运动转化为琴键动作识别装置水平面的运动，利于信息处理单元对琴键动作进行识别。

本发明解决上述问题的技术方案是：一种琴键动作识别装置，其特殊之处在于：

包括支架和转动件，所述转动件设置在支架上，转动件可相对于支架进行转动，转动件的上部设有识别块；所述转动件的数量为多个；

支架的两端分别设有定位识别块。

优选地，定位识别块的几何形状为圆形。

优选地，上述支架包括壳体，壳体内设有多个腔室，腔室的顶部和底部开口；转动件设置在腔室内。

优选地，上述腔室的数量与转动件的数量相对应，一个腔室设置一个转动件。

优选地，上述壳体内在其长度方向贯穿有销轴，销轴穿过转动件。

优选地，上述转动件为l型和/或z型。

优选地，上述支架两端的底部分别设有底座。

本发明还提供了一种琴键动作检测系统，其特殊之处在于：包括上述琴键动作识别装置，还包括软件部分；

所述软件部分包括图像获取单元和处理单元；处理单元与图像获取单元通讯连接；

所述图像获取单元用于获取转动件上部的识别块图像，所述识别块图像包括识别块初始化时图像、识别块动作图像；

所述处理单元用于对图像获取单元获取的图像进行处理，具体包括：校准和识别；

所述校准是指：提取识别块初始化时的图像并进行存储，并作为对比模板，

所述识别是指：提取识别块动作图像，将识别块动作图像与上述对比模板进行对比，获取识别块的检测动作信息。

优选地，上述提取识别块初始化时的图像，具体为：先对支架的两端的定位识别块进行识别，基于定位识别块外轮廓的顶点绘制识别带，所述识别带将识别块包含在内，再对识别带进行提取，然后对识别带中的识别块进行切分提取，将每个切块作为模板进行存储。

优选地，上述将识别块动作图像与上述对比模板进行对比，具体为：将识别块动作图像中每一帧中的识别块与其对应的模板进行帧差对比，当差值大于设定的阈值时则判断识别块运动，间接判断识别块对应的琴键被按下。

优选地，上述处理单元，还用于根据识别块的检测动作信息和预先存储的识别块标准动作信息，获得演奏者演奏的琴键动作情况。

优选地，上述处理单元，还用于输出演奏者演奏的琴键动作情况。

另外，本发明还提供一种上述琴键动作检测系统的检测方法，其特殊之处在于，包括以下步骤：

1)获取识别块图像，所述识别块图像包括识别块初始化时图像、识别块动作图像；

2)对步骤1)中获取的图像进行处理，所述处理包括校准和识别；其中，

所述校准是指：提取识别块初始化时的图像并进行存储，并作为对比模板，

所述识别是指：提取识别块动作图像，将识别块动作图像与上述对比模板进行对比，获取识别块的检测动作信息，间接得到琴键的检测动作信息。

优选地，上述步骤1)中，获取识别块图像是通过图像获取单元进行获取。

优选地，上述步骤2)中，对步骤1)中获取的图像进行处理是利用处理单元进行处理。

优选地，上述步骤2)中，所述提取识别块初始化时的图像并进行存储，并作为对比模板，具体步骤为：

2.1)对支架的两端的定位识别块进行识别；

2.2)基于定位识别块外轮廓的顶点绘制识别带，所述识别带将识别块包含在内；

2.3)对识别带进行提取；

2.4)对识别带中的识别块进行切分提取；

2.5)将每个切块作为模板进行存储。

优选地，上述步骤2)中，所述提取识别块动作图像，将识别块动作图像与上述对比模板进行对比，获取识别块的检测动作信息，具体步骤为：

将识别块动作图像中每一帧中的识别块与其对应的模板进行帧差对比，当差值大于设定的阈值时则判断识别块运动，间接判断识别块对应的琴键被按下。

优选地，在步骤2)之后，还包括，

步骤3)：根据识别块的检测动作信息和预先存储的识别块标准动作信息，获得演奏者演奏的琴键动作情况。

优选地，在步骤3)之后，还包括，

步骤4)：输出演奏者演奏的琴键动作情况。

本发明的优点：

本发明一种琴键动作识别装置，其结构简单，可将琴键的上下运动转化为琴键动作识别装置水平面的运动，利于信息处理单元对琴键动作进行识别；本发明一种琴键动作检测系统，包括上述琴键动作识别装置和软件部分，琴键动作识别装置将琴键的上下运动转化为琴键动作识别装置水平面的运动，图像获取单元获取转动件上部的识别块图像，所述处理单元对图像获取单元获取的图像进行校准和识别处理，可以获取识别块的检测动作信息；本发明一种上述琴键动作检测系统的检测方法，通过获取识别块图像，对获取的图像进行校准和识别处理，最终获取识别块的检测动作信息，即间接得到琴键的检测动作信息；本发明琴键动作检测系统及检测方法技术方案，摒弃了传统的对直接检测琴键上下运动方法，将琴键的上下运动转化为水平面的运动，不仅使图像获取系统降低对光线的要求，更大大提高了检测的准确性，利于演奏者日常练习，纠正错误。

附图说明

图1为本发明琴键动作识别装置的实施例的整体结构图；

图2为图1中a处放大图；

图3为图1的另一个方向视图；

图4为图3中b处放大图；

图5为图1的俯视图；

图6为本发明琴键动作识别装置省略壳体后的结构图；

图7为图1与钢琴配合示意图；

图8为图7另一个方向视图。

其中，1-支架；2-转动件；3-识别块；4-壳体；5-腔室；6-销轴；7-定位识别块；8-琴键；9-底座。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

参见图1-图6，其中，图1为为本发明琴键动作识别装置的实施例的整体结构图，包括支架1和转动件2，所述转动件2设置在支架1上，转动件2可相对于支架1进行转动，转动件2的上部设有识别块3，优选地，识别块3的上表面采用矩形，当然，识别块3上表面也可采用其他几何形状；优选地，识别块3的上表面可以设置成白色，当然，识别块3上表面也可采用其他颜色；所述转动件2的数量为多个；所述支架1的两端分别设有定位识别块7。

所述支架1包括壳体4，壳体4内设有多个腔室5，腔室5的顶部和底部开口；转动件2设置在腔室5内。所述腔室5的数量与转动件2的数量相对应，每个腔室5设置一个转动件2。所述壳体4内在其长度方向贯穿有销轴6，销轴6穿过转动件2。转动件为l型和/或z型，识别块3设置在l型和/或z型的一端。

参见图7和图8，优选地，壳体4两端底部设有底座9，两个底座9与钢琴琴键8接触。

底座9下表面设有普通棉垫或胶垫，进一步地，为了保证硬件整体在琴键8上的稳定性，可采用以下两个方案：方案1，底座9下表面设置吸盘，吸盘直径优选不大于10mm，吸盘和琴键8可以通过气压原理粘贴紧固，达到稳固硬件在琴键上的目的；方案2，底座9和琴键8采用磁铁原理结合，在底座9上镶嵌或粘贴几何形状的磁铁石，在琴键8上粘贴白色矩形铁片，此处白色矩形铁片优选和琴键一样的白色,当然，其他颜色也可以，当装置放置在钢琴上时，磁铁和铁片起稳定装置的作用，起到支撑整个装置的作用。

壳体底部对应白色的琴键8处高度较低，对应黑色的琴键8处高度较高，对应白色琴键处，转动件为z型，对应黑色琴键处转动件为l型。琴键动作识别装置放置在琴键上后的初始化状态为：z型转动件未设置识别块3的一端与白色琴键接触，l型转动件未设置识别块3的一边与黑色琴键接触，所有的转动件的识别块3的上表面处于同一水平面。当演奏者开始演奏，琴键8的运动会促使动转动件2绕着销轴6转动，转动件2转动后，其上部设置的识别块3产生运动，从俯视角度看，识别块3在平面上产生了位移，平面上的位移利于检测到其产生了动作。

一种琴键动作检测系统，包括上述琴键动作识别装置，还包括软件部分；所述软件部分包括图像获取单元和处理单元；处理单元与图像获取单元通讯连接。

所述图像获取单元用于获取转动件2上部的识别块3图像，所述识别块3图像包括识别块3初始化时图像、识别块3动作图像。

具体地，图像获取单元可以是单独的摄像装置，也可以采用ipad或iphone或android手机的摄像头。

优选地，所述图像获取单元设置在琴键动作识别装置的上方，具体地，可以采用摄像头或者手机通过支架设置在琴键动作识别装置的上方。

所述处理单元用于对图像获取单元获取的图像进行处理，处理单元采用了机器视觉算法库opencv，当然，此处包含但不限于opencv库，也可以是其他机器视觉算法库，具体包括：校准和识别；所述校准是指：提取识别块3初始化时的图像并进行存储，并作为对比模板，所述识别是指：提取识别块3动作图像，将识别块3动作图像与上述对比模板进行对比，获取识别块3的检测动作信息。

所述提取识别块3初始化时的图像，具体为：先对支架1的两端的定位识别块7进行识别，基于两个定位识别块7最大外轮廓的四个顶点绘制矩形识别带，所述识别带将所有识别块3包含在内，这里需要对定位识别块7构成的直线进行斜率判断，以适应识别块3在不同倾斜情况下的精准识别；当绘制完矩形识别带后，采用“掩码提取法”对非标准矩形识别带进行提取(在opencv里的算法库可以直接对标准矩形进行roi(图像识别里的感兴趣区域)提取，无法直接对非标准矩形进行提取，所谓标准矩形就是矩形的上下边是水平状态，左右两边是垂直状态),在提取到相应的矩形识别带后，然后采用“投影法”对其内部的识别块3进行切分提取，将每个切块作为模板进行存储，用作以后识别时做帧差处理用。

所述将识别块3动作图像与上述对比模板进行对比，具体为：图像获取单元对琴键动作识别装置上的识别块3进行连续监测，每一帧都会对所有的识别块3进行采集，同时，将识别块3动作图像中每一帧中的识别块3与其对应的模板进行帧差对比，当差值大于设定的阈值时则判断识别块3运动，间接判断识别块3对应的琴键被按下。

进一步地，在本实施例的一个可能的实现方式中，所述处理单元，还用于根据识别块3的检测动作信息和预先存储的识别块3标准动作信息，获得演奏者演奏的琴键动作情况，其具体为：将琴键序号和按下状态以及按下时间等信息进行编码，与预先存储的识别块3标准动作信息进行比较，获得演奏者演奏的琴键动作情况。所述获得演奏者演奏的琴键动作情况，可以是演奏者弹奏的对错情况，可以具体到每个音符。

进一步地，在本实施例的一个可能的实现方式中，所述处理单元，还用于输出演奏者演奏的琴键动作情况，具体为：处理单元将演奏者演奏的琴键动作情况发送给接收装置，所述接收装置为ipad或iphone或android手机等硬件设备和linux，unix,windows等系统硬件平台上，当然，上述接收装置包含但不限于以上系统设备。所述接收装置可以通过显示器进行查看演奏者演奏的琴键动作情况。

上述软件部分可以运行在ios、android手机和linux，unix,windows等系统平台上，当然，上述软件部分包含但不限于以上系统平台。

一种琴键动作检测方法，包括以下步骤：

1)获取识别块3图像，所述识别块3图像包括识别块3初始化时图像、识别块3动作图像；

2)对步骤1)中获取的图像进行处理，所述处理包括校准和识别；其中，

所述校准是指：提取识别块3初始化时的图像并进行存储，并作为对比模板；所述识别是指：提取识别块3动作图像，将识别块3动作图像与上述对比模板进行对比，获取识别块3的检测动作信息，间接得到琴键的检测动作信息。

进一步地，上述步骤2)中，所述提取识别块3初始化时的图像并进行存储，并作为对比模板，具体步骤为：

2.1)对支架1的两端的定位识别块7进行识别；

2.2)基于定位识别块7最大外轮廓的四个顶点绘制矩形识别带，所述识别带将识别块3包含在内；

2.3)对识别带进行提取；

2.4)对识别带中的识别块3进行切分提取；

2.5)将每个切块作为模板进行存储。

进一步地，上述步骤2)中，所述提取识别块3动作图像，将识别块3动作图像与上述对比模板进行对比，获取识别块3的检测动作信息，具体步骤为：

采用“帧差法”，将识别块3动作图像中每一帧中的识别块3与其对应的模板进行帧差对比，当差值大于设定的阈值时则判断识别块3运动，间接判断识别块3对应的琴键被按下。

进一步地，在步骤2)之后，还包括，

步骤3)：根据识别块3的检测动作信息和预先存储的识别块3标准动作信息，获得演奏者演奏的琴键动作情况。其具体为：将琴键序号和按下状态以及按下时间等信息进行编码，与预先存储的识别块3标准动作信息进行比较，获得演奏者演奏的琴键动作情况。所述获得演奏者演奏的琴键动作情况，可以是演奏者弹奏的对错情况，可以具体到每个音符。

进一步地，在步骤3)之后，还包括，

步骤4)：输出演奏者演奏的琴键动作情况。具体为：处理单元将演奏者演奏的琴键动作情况发送给接收装置，所述接收装置为ipad或iphone或android手机，linux、unix、windows系统等的硬件设备，当然，上述接收装置包含但不限于以上系统硬件设备。所述接收装置可以通过显示器进行查看演奏者演奏的琴键动作情况。

当然，本发明的装置和方法不仅适用于钢琴，也同样适用于其他按键类乐器。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的系统领域，均同理包括在本发明的专利保护范围内。