一种钢琴演奏的视频特征提取方法及系统与流程

本发明涉及钢琴演奏智能陪练技术领域，尤其涉及一种钢琴演奏的视频特征提取方法及系统。

背景技术：

现有技术往往利用相机录制演奏者进行钢琴弹奏的视频，再针对录制的视频进行分析，以判断钢琴弹奏的水平。但目前还没有一种有效的钢琴演奏的视频特征提取方法。

技术实现要素：

本发明的目的在于，解决现有技术中钢琴演奏的视频特征提取的技术问题。

为实现上述目的，一方面，本发明提供了一种钢琴演奏的视频特征提取方法，该方法包括以下步骤：利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频；逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长；根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。

优选地，视频特征信息包括：演奏者弹奏的每个音符的音高和时值、按键力度、弹奏方式以及节奏的快慢中的一种或多种信息。

优选地，演奏者的手指按键时的琴键位置通过以下步骤获取：将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。

优选地，琴键被按下时的保持的时长通过以下步骤获取：将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。

优选地，琴键被按下时的深度由深度相机参数获得。

另一方面，本发明提供了一种钢琴演奏的视频特征提取系统，该系统包括：第一获取模块、第二获取模块和处理模块；其中，第一获取模块用于利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频；第二获取模块用于逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长；处理模块用于根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。

优选地，第二获取模块具体用于：将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。

优选地，第二获取模块，具体用于：将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。

本发明利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频，再逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，再根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。通过上述步骤能够快速提取钢琴演奏的视频特征，用以对演奏者的演奏进行分析。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明实施例提供的一种钢琴演奏的视频特征提取方法流程示意图；

图2为本发明实施例提供的一种钢琴演奏的视频特征提取系统结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

图1为本发明实施例提供的一种钢琴演奏的视频特征提取方法流程示意图。如图1所示，该方法包括步骤s101-s103:

在步骤s101，利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频。

具体地，钢琴演奏的视频特征提取系统利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频。其中，深度相机可以为tof(timeofflight)相机，tof相机利用传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。其测量范围可达数米、精度小于2cm，每秒更新频率可达30-60fps。

在步骤s102，逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息。

具体地，钢琴演奏的视频特征提取系统逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指所按下的琴键位置，以及该琴键被按下时的深度和保持的时长。

优选地，演奏者的手指按键时的琴键位置通过以下步骤获取：将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。

优选地，琴键被按下时的保持的时长通过以下步骤获取：将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。

需要说明的是，琴键被按下时的深度由所述深度相机计算获得。

在步骤s103，根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。

具体地，钢琴演奏的视频特征提取系统根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。视频特征信息包括：演奏者弹奏的每个音符的音高和时值、按键力度、弹奏方式以及速度的快慢中的一种或多种信息。

其中，音高是指音的高低，音的高低是由振动频率决定的，两者成正比关系：频率(即单位时间内振动次数多)高则音"高"，反之则"低"。音符的时值用来表达乐谱中各音符之间的相对持续时间：一个完全音符等于两个二分音符，等于四个四分音符，等于八个八分音符，等于十六个十六分音符，等于三十二个三十二分音符。按键力度是指弹奏的音的强弱程度，钢琴弹奏中对力度的层次控制十分重要。弹奏方式主要包括连奏、断奏和跳奏，断奏是一种每个音都是独立的弹奏方式，在第二个手指落下时第一个音手指是已经提起；连奏是一种音与音紧密相连的弹奏方式，连奏时第一个音手指按下后第二个音落下后才提起；跳奏时手指贴近琴键(有一种触摸感)，手指着力反弹，触键敏捷，手指离键迅速，声音集中透亮而富有弹性。音乐的速度一般用每分钟的拍数表示，如grava表示壮板，对应的速度为每分钟40拍。

根据上述获取的视频特征文件与预先制作的标准视频特征文件进行分析，可以判断出钢琴演奏者的弹奏水平。

本发明实施例利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频，再逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，再根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。通过上述步骤能够快速提取钢琴演奏的视频特征，用以对演奏者的演奏进行分析。。

相应地，本发明实施例提供了一种钢琴演奏的视频特征提取系统。该系统可以用于执行图1所示钢琴演奏的视频特征提取方法。

图2为本发明实施例提供的一种钢琴演奏的视频特征提取系统结构示意图。如图2所示，钢琴演奏的视频特征提取系统20包括第一获取模块21(例如，提取模块21)、第二获取模块22(例如，分析模块22)和处理模块23。

提取模块21用于利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频。

分析模块22用于逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，所述按键信息包括：演奏者的手指按键时的琴键位置，以及该琴键被按下时的深度和保持的时长。

优选地，分析模块22具体用于：将提取到的图片中的钢琴键盘区域和手的位置进行对比，得到演奏者的手指按键时的琴键位置。

优选地，分析模块22具体用于：将逐帧提取的多张图片进行对比，获得琴键被按下时的保持的时长。

需要说明的是，琴键被按下时的深度由所述深度相机计算获得。

处理模块23用于根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。所述视频特征信息包括：演奏者弹奏的每个音符的音高和时值、按键力度、弹奏方式以及节奏的快慢中的一种或多种信息。

其中，音高是指音的高低，音的高低是由振动频率决定的，两者成正比关系：频率(即单位时间内振动次数多)高则音"高"，反之则"低"。音符的时值用来表达乐谱中各音符之间的相对持续时间：一个完全音符等于两个二分音符，等于四个四分音符，等于八个八分音符，等于十六个十六分音符，等于三十二个三十二分音符。按键力度是指弹奏的音的强弱程度，钢琴弹奏中对力度的层次控制十分重要。弹奏方式主要包括连奏、断奏和跳奏，断奏是一种每个音都是独立的弹奏方式，在第二个手指落下时第一个音手指是已经提起；连奏是一种音与音紧密相连的弹奏方式，连奏时第一个音手指按下后第二个音落下后才提起；跳奏时手指贴近琴键(有一种触摸感)，手指着力反弹，触键敏捷，手指离键迅速，声音集中透亮而富有弹性。音乐的速度一般用每分钟的拍数表示，如grava表示壮板，对应的速度为每分钟40拍。

本发明实施例利用深度相机录制演奏者参照曲谱进行钢琴弹奏的视频，再逐帧提取所述视频中的所有图片，从每帧图片中获取演奏者在进行钢琴弹奏时的按键信息，再根据所述按键信息提取视频特征信息，并将所述视频特征信息记录在所述曲谱对应的视频特征文件中。通过上述步骤能够快速提取钢琴演奏的视频特征，用以对演奏者的演奏进行分析。

本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。