键盘动作检测方法及装置与流程

本发明涉及检测技术，尤其涉及一种键盘动作检测方法及装置。

背景技术：

钢琴，是按键类乐器中最为常见的乐器。普通听众在没有专业知识的前提下，无法评价演奏者的演奏钢琴等按键类乐器的演奏水平。

因此，亟需提供一种用以检测钢琴等按键类乐器的键盘动作的方法，以评价演奏者的演奏水平。

技术实现要素：

本发明的多个方面提供一种键盘动作检测方法及装置，用以检测钢琴等按键类乐器的键盘动作。

本发明的一方面，提供一种键盘动作检测方法，包括：

获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像；

根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像；

根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述演奏视差图像和预先构建的参考视差图像，获得所述指定键盘的检测按键动作之前，还包括：

构建所述指定键盘的参考视差图像。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像，包括：

对所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，进行畸变校正处理，以获得至少两个变换图像；

根据所述至少两个变换图像，获得演奏视差图像。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，包括：

获取分别设置在所述指定键盘所在设备的左边和右边的两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作之后，还包括：

根据所述指定键盘的检测按键动作和当前参考的标准按键动作，获得所述演奏者演奏所述指定键盘的按键情况。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述指定键盘的检测按键动作和当前参考的标准按键动作，获得所述演奏者演奏所述指定键盘的按键情况之后，还包括：

输出所述演奏者演奏所述指定键盘的按键情况。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述输出所述演奏者演奏所述指定键盘的按键情况，包括：

获取视频采集装置所采集的所述演奏者演奏所述指定键盘的原始视频信息；

根据所述原始视频信息和所述演奏者演奏所述指定键盘的按键情况，获得所述分享视频信息；

输出所述分享视频信息。

本发明的另一方面，提供一种键盘动作检测装置，包括：

获取单元，用于获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像；

重构单元，用于根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像；

分析单元，用于根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述重构单元，还用于

构建所述指定键盘的参考视差图像。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述重构单元，具体用于

对所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，进行畸变校正处理，以获得至少两个变换图像；以及

根据所述至少两个变换图像，获得演奏视差图像。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述获取单元，具体用于

获取分别设置在所述指定键盘所在设备的左边和右边的两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分析单元，还用于

根据所述指定键盘的检测按键动作和当前参考的标准按键动作，获得所述演奏者演奏所述指定键盘的按键情况。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分析单元，还用于

输出所述演奏者演奏所述指定键盘的按键情况。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述分析单元，具体用于

获取视频采集装置所采集的所述演奏者演奏所述指定键盘的原始视频信息；

根据所述原始视频信息和所述演奏者演奏所述指定键盘的按键情况，获得所述分享视频信息；以及

输出所述分享视频信息。

由上述技术方案可知，本发明实施例通过获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，进而根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像，使得能够根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作，通过根据平面的演奏者演奏指定键盘的键盘图像，重构立体的演奏视差图像，使得能够清晰的还原演奏者演奏指定键盘的键盘空间状态，从而实现了检测钢琴等按键类乐器的键盘动作的目的。

另外，采用本发明所提供的技术方案，通过根据所获得的指定键盘的检测按键动作和当前参考的标准按键动作，获得演奏者演奏所述指定键盘的按键情况，进而将该按键情况进行输出，能够有效增强键盘动作检测的可视化。

【附图说明】

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的键盘动作检测方法的流程示意图；

图2为本发明另一实施例提供的键盘动作检测装置的结构示意图。

【具体实施方式】

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(Tablet Computer)、个人电脑(Personal Computer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)等。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本发明一实施例提供的键盘动作检测方法的流程示意图，如图1所示。

101、获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像。

所谓的图像采集装置，具体可以采用图像传感器实现。其中，所述图像传感器可以为电荷耦合元件(Charge Coupled Device，CCD)传感器，或者还可以为金属氧化物半导体元件(Complementary Metal-Oxide Semiconductor，CMOS)传感器，本实施例对此不进行特别限定。

如果检测到当前的光线比较暗，还可以进一步对待采集物体即指定键盘进行补光处理，例如，开启发光二极管(Light Emitting Diode，LED)补光灯。

可选地，在本实施例的一个可能的实现方式中，所采用的图像采集装置的数量可以为以目标物体的中心位置为中心，对称设置的两个，或者还可以为以目标物体的中心位置为中心，对称设置的多个，每个图像采集装置所放置的位置需要满足预先设置的视差设置距离，本实施例对此不进行特别限定。所谓的视差，是指从有一定距离的两个点上观察同一个目标物体所产生的方向差异。

具体来说，图像采集装置，可以设置在指定键盘所在设备上，采用设备上所设置的支架结构进行固定。例如，钢琴的弦仓盖平面上所设置的支架设备，等等。

由于是多个图像采集装置同时采集同一个目标物体的图像即键盘图像，因此，需要对这些图像采集装置进行调试处理，以保证所采集到的键盘图像为标准化图像。所谓的标准化图像，是指每个图像采集装置所采集的键盘图像都具有同步特性，例如，相同图像质量、同步触发采集、相同图像参数如，大小、通道数、位深度、方位等。

可选地，在本实施例的一个可能的实现方式中，在101中，具体可以获取分别设置在所述指定键盘所在设备的左边和右边的两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像。

102、根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像。

具体来说，可以采用现有技术中的视差图像的获取方案，获得演奏视差图像，详细描述可以参加现有技术中的相关描述，此处不再赘述。

103、根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作。

本发明中，可以通过对比所获得的指定键盘的演奏视差图像和预先构建的指定键盘的参考视差图像，只要演奏视差图像与参考视差图像之间存在差异部分，就可以将该差异部分所对应的按键，确定为该按键被按下。

需要说明的是，101～103的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。

可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。

这样，通过获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，进而根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像，使得能够根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作，通过根据平面的演奏者演奏指定键盘的键盘图像，重构立体的演奏视差图像，使得能够清晰的还原演奏者演奏指定键盘的键盘空间状态，从而实现了检测钢琴等按键类乐器的键盘动作的目的。

可选地，在本实施例的一个可能的实现方式中，在103之前，还可以进一步构建所述指定键盘的参考视差图像。

在该实现方式中，具体可以利用标准图像进行分析，得到标准数据即指定键盘的标准立体图像。这样，在获得了指定键盘的标准立体图像之后，便可以分析任意的指定键盘的待检测键盘图像，只要待检测键盘图像与标准立体图像之间有差别，则可以分析出按键动作。

具体来说，具体可以通过人机交互，调整图像采集装置的位置、以及角度等，确保采集过程符合视觉算法分析的要求。图像采集装置，可以采用设备上所设置的支架结构进行固定。例如，钢琴的弦仓盖平面上所设置的支架设备，等等。支架结构允许对图像采集装置进行上下、前后及角度等调整。在最初的图像采集装置的布设时，对其的大致位置有一定的要求。例如，图像采集装置需要设置在指定键盘的中间位置的上方；通过调整图像采集装置的位置和/或角度，保证指定键盘的全部图像被采集到。

在构建过程中，需要实时反馈问题，并提示进行图像采集装置的调整。例如，图像采集装置的高度微调、前后微调、倾斜度微调、以及现场光环境调整，等等。

在获得经过调整之后的图像采集装置所采集的指定键盘的标准图像之后，可以进一步对该标准图像进行图像剪裁、图像灰度化、以及图像去燥等预处理操作。然后，可以进一步利用最大类间方差(OTSU)算法、或改进的OTSU算法等，在经过预处理之后的标准图像中进行键盘检测，并分割出键盘包络。接着，可以利用区域生长算法、或改进的区域生长算法等，分割出每一个按键。

本发明中，由于图像采集装置距离目标物体即指定键盘的距离与目标物体的整体宽度之间的比值较小，使得图像采集装置的镜头视场角需要满足一定大小才能够采集到目标物体的全部图像。假设图像采集装置放置高度在50厘米(距离指定键盘所在的平面)左右，而需要采集图像的宽度为150厘米左右。经过反复试验得出，图像采集装置的镜头视场角需要大于150°时才可以采集到指定键盘的全部图像。由于图像采集装置的镜头视场角具有较大的角度，使得会导致较大的光学畸变，在所采集的键盘图像的边缘会出现明显的鱼眼效应。因此，在获取到键盘图像之后，需要对所获取的键盘图像进行畸变校正处理。具体来说，在102中，具体可以对所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，进行畸变校正处理，以获得至少两个变换图像。进而，则可以根据所述至少两个变换图像，获得演奏视差图像。

可选地，在本实施例的一个可能的实现方式中，在103中，具体可以根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述每个按键的差异部分，进而，则可以根据所述每个按键的差异部分，获得所述指定键盘的检测按键动作。

进一步地，在该实现方式中，还可以进一步采用帧间信息差异法、色彩特征分析法等处理方法，将演奏者的手部进行分割，这样，则能够根据所分割出的手部，估计出可能被按下的按键，这样，则可以对可能被按下的按键区域进行图像扫描，即对所述指定按键的演奏视差图像中可能被按下的按键区域与预先构建的所述指定按键的参考视差图像中对应按键区域进行图像匹配，能够有效避免由于指定键盘的全键盘图像扫描而导致的扫描时间长的技术问题，从而提高了键盘动作检测的效率。

可选地，在本实施例的一个可能的实现方式中，在103之后，还可以进一步根据所述指定键盘的检测按键动作和当前参考的标准按键动作，获得所述演奏者演奏所述指定键盘的按键情况。

如果所述指定键盘的检测按键动作与当前参考的标准按键动作一致，则可以说明演奏者演奏所述指定键盘的按键情况为标准按键情况；如果所述指定键盘的检测按键动作与当前参考的标准按键动作不一致，则可以根据不一致的情况，获得所述演奏者演奏所述指定键盘的按键情况，例如，不一致的地方越少，则说明演奏者演奏所述指定键盘的按键情况越好，不一致的地方越多，则说明演奏者演奏所述指定键盘的按键情况越差。

在一个具体的实现过程中，在获得所述演奏者演奏所述指定键盘的按键情况之后，还可以进一步输出所述演奏者演奏所述指定键盘的按键情况。

具体来说，具体可以获取视频采集装置所采集的所述演奏者演奏所述指定键盘的原始视频信息，进而，则可以根据所述原始视频信息和所述演奏者演奏所述指定键盘的按键情况，获得所述分享视频信息，并输出所述分享视频信息。

其中，视频采集装置，可以设置在指定键盘所在设备上，采用设备上所设置的支架结构进行固定。例如，钢琴的弦仓盖平面上所设置的支架设备，等等。

本实施例中，通过获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，进而根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像，使得能够根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作，通过根据平面的演奏者演奏指定键盘的键盘图像，重构立体的演奏视差图像，使得能够清晰的还原演奏者演奏指定键盘的键盘空间状态，从而实现了检测钢琴等按键类乐器的键盘动作的目的。

另外，采用本发明所提供的技术方案，通过根据所获得的指定键盘的检测按键动作和当前参考的标准按键动作，获得演奏者演奏所述指定键盘的按键情况，进而将该按键情况进行输出，能够有效增强键盘动作检测的可视化。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

图2为本发明另一实施例提供的键盘动作检测装置的结构示意图，如图2所示。本实施例的键盘动作检测装置可以包括获取单元21、重构单元22和分析单元23。其中，获取单元21，用于获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像；重构单元22，用于根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像；分析单元23，用于根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作。

需要说明的是，本实施例所提供的键盘动作检测装置的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，本实施例对此不进行特别限定。

可以理解的是，所述应用可以是安装在终端上的本地程序(nativeApp)，或者还可以是终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。

可选地，在本实施例的一个可能的实现方式中，所述重构单元22，还可以进一步用于构建所述指定键盘的参考视差图像。

可选地，在本实施例的一个可能的实现方式中，所述重构单元22，具体可以用于对所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，进行畸变校正处理，以获得至少两个变换图像；以及根据所述至少两个变换图像，获得演奏视差图像。

可选地，在本实施例的一个可能的实现方式中，所述获取单元21，具体可以用于获取分别设置在所述指定键盘所在设备的左边和右边的两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像。

可选地，在本实施例的一个可能的实现方式中，所述分析单元23，还可以进一步用于根据所述指定键盘的检测按键动作和当前参考的标准按键动作，获得所述演奏者演奏所述指定键盘的按键情况。

在一个具体的实现过程中，所述分析单元23，还可以进一步用于输出所述演奏者演奏所述指定键盘的按键情况。

具体来说，所述分析单元23，具体可以用于获取视频采集装置所采集的所述演奏者演奏所述指定键盘的原始视频信息；根据所述原始视频信息和所述演奏者演奏所述指定键盘的按键情况，获得所述分享视频信息；以及输出所述分享视频信息。

需要说明的是，图1对应的实施例中方法，可以由本实施例提供的键盘动作检测装置实现。详细描述可以参见图1对应的实施例中的相关内容，此处不再赘述。

本实施例中，通过获取单元获取至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，进而由重构单元根据所述至少两个图像采集装置所采集的演奏者演奏指定键盘的键盘图像，获得演奏视差图像，使得分析单元能够根据所述演奏视差图像和预先构建的所述指定键盘的参考视差图像，获得所述指定键盘的检测按键动作，通过根据平面的演奏者演奏指定键盘的键盘图像，重构立体的演奏视差图像，使得能够清晰的还原演奏者演奏指定键盘的键盘空间状态，从而实现了检测钢琴等按键类乐器的键盘动作的目的。

另外，采用本发明所提供的技术方案，通过根据所获得的指定键盘的检测按键动作和当前参考的标准按键动作，获得演奏者演奏所述指定键盘的按键情况，进而将该按键情况进行输出，能够有效增强键盘动作检测的可视化。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。