一种动作的评估方法及可读存储介质

本申请涉及算法识别领域，特别涉及一种动作的评估方法及可读存储介质。

背景技术：

1、钢琴是使用键盘演奏的乐器。作为世界上最流行的乐器之一，钢琴被广泛地演奏和研究。但是对于用户，尤其是初学者用户而言，钢琴弹奏的手型手势、指法序列、节奏停顿等方面的学习和纠正较为困难。因此，需要提供一种智能检测及反馈的系统和方法来帮助用户学习钢琴。

2、相关技术中，钢琴手势识别的评分方法一般通过截取用户弹奏视频中某一时刻的图像和教学视频中同一时刻的图像进行对比相似度从而进行评分，给出一个综合评分。但是由于不同的人弹奏同一首曲子弹奏的速度存在一定的差别，倘若使用某一时刻的弹奏图像静态识别进行评估会在一定程度上影响评估的准确性。另外，现有的钢琴手势识别的评分方法只会给出一综合评分或等级来告知用户当前的水平，用户无法得知自己弹奏过程中哪一时刻的手型、弹奏指法或弹奏速度出现问题，因而无法及时得到反馈报告并进行对应调整。

技术实现思路

1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请实施例提供了一种动作的评估方法及可读存储介质，有利于提高钢琴弹奏手势评分的精确度，同时解决用户无法及时得到反馈并进行调整的问题；本申请通过将表征用户钢琴弹奏手势的视频流数据输入至算法处理器进行预处理，得到评估结果，并将所述评估结果上传至云端评价系统，以使得所述云端评价系统对所述评估结果进行评价分析得到反馈报告，用户可根据反馈报告及时作出对应的调整。

3、第一方面，本申请实施例提供了一种动作的评估方法，包括：

4、获取用于表征用户钢琴弹奏手势的视频流数据；

5、将所述视频流数据输入至算法处理器进行预处理，得到评估结果；

6、将所述评估结果上传至云端评价系统，以使得所述云端评价系统对所述评估结果进行评价分析得到反馈报告。

7、本申请上述第一方面的技术方案至少具有如下的优点或有益效果之一：通过获取用于表征用户钢琴手势的视频流数据，将动态的视频流数据输入至算法处理器，算法处理器利用预设的算法程序对视频流数据进行计算和处理，得到评估结果；并将评估结果上传至云端评价系统，以使得云端评价系统对评估结果进行评价与分析，得到反馈报告。用户通过获取反馈报告能够及时得知自己的钢琴弹奏手势以及弹奏节奏存在的问题，用户通过反馈报告能够及时作出对应的调整，从而提高用户弹奏钢琴手势的准确性，提高用户的弹奏水平。

8、进一步，在所述获取用于表征用户钢琴弹奏姿势的视频流数据之后，所述评估方法还包括：

9、将所述视频流数据逐帧分解成图像，并对所述图像进行畸变矫正处理，得到第一图像；

10、将所述第一图像进行特征匹配，得到视差图像；

11、根据所述视差图像进行深度计算，得到深度图像。

12、进一步，所述将所述视频流数据输入至算法处理器进行预处理包括：

13、将所述深度图像输入至预设的深度学习模型进行预处理，提取表征用户钢琴弹奏手势的预测图像；

14、对所述表征用户钢琴弹奏手势的预测图像进行卷积处理，得到表征用户钢琴弹奏手势的第一骨骼图。

15、进一步，在所述获取用于表征用户钢琴弹奏手势的视频流数据之后，所述评估方法还包括：

16、识别所述视频流数据对应的钢琴曲目；

17、获取所述钢琴曲目对应的目标视频流数据；

18、将所述目标视频流数据逐帧分解成图像，并获取表征目标钢琴弹奏手势的第二骨骼图。

19、进一步，所述将所述视频流数据输入至算法处理器进行预处理，得到评估结果还包括：

20、通过动态时间归整算法对所述第一骨骼图和所述第二骨骼图进行匹配，得到第一匹配相似度结果；

21、根据所述第一匹配相似度结果进行评分，得到第一评估结果。

22、进一步，所述通过动态时间归整算法对所述第一骨骼图和所述第二骨骼图进行匹配包括：

23、分别提取所述第一骨骼图中点的序列图、所述第二骨骼图中点的序列图，得到第一时间序图和第二时间序列图；

24、将所述第一时间序列图和所述第二时间序列图对齐，确定所述第一时间序列图和所述第二时间序列图之间的最小距离；

25、根据所述最小距离确定匹配的相似度。

26、进一步，在根据所述视差图像进行深度计算，得到深度图像之后，所述评估方法还包括：

27、识别所述深度图像中的琴键，并对所述琴键进行预处理，得到琴键坐标；

28、识别所述深度图像中被按下的琴键的坐标信息和按下所述琴键对应的手指以及指法；

29、获取目标视频流数据中对应的目标深度图像，并提取与所述被按下的琴键的坐标信息对应的目标手指以及目标指法；

30、通过动态时间归整算法将所述按下所述琴键对应的手指以及指法与所述目标手指以及目标指法进行相似度匹配，得到第二匹配相似度结果；

31、根据所述第二匹配相似度结果进行评分，得到第二评估结果。

32、进一步，所述第一评估结果包括手势时间同步结果、手势延时时间结果、手势匹配结果、弹奏得分中的一种或多种，所述第二评估结果包括手型得分、指法得分、手型错误类型、手型错误截图中的一种或多种；

33、所述评估方法还包括：

34、根据所述第一评估结果和所述第二评估结果生成反馈报告；

35、将所述反馈报告上传至所述云端评价系统的反馈模块。

36、进一步，所述评估方法还包括：

37、从所述云端评价系统获取所述反馈报告；

38、将所述反馈报告通过所述提醒装置反馈至用户；

39、其中，提醒装置包括耳机、显示器、终端装置中的一种或多种。

40、第二方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述第一方面的技术方案所述的动作的评估方法。

41、本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种动作的评估方法，其特征在于，包括：

2.根据权利要求1所述的动作的评估方法，其特征在于，在所述获取用于表征用户钢琴弹奏姿势的视频流数据之后，所述评估方法还包括：

3.根据权利要求2所述的动作的评估方法，其特征在于，所述将所述视频流数据输入至算法处理器进行预处理包括：

4.根据权利要求3所述的动作的评估方法，其特征在于，在所述获取用于表征用户钢琴弹奏手势的视频流数据之后，所述评估方法还包括：

5.根据权利要求4所述的动作的评估方法，其特征在于，所述将所述视频流数据输入至算法处理器进行预处理，得到评估结果还包括：

6.根据权利要求5所述是动作的评估方法，其特征在于，所述通过动态时间归整算法对所述第一骨骼图和所述第二骨骼图进行匹配包括：

7.根据权利要求3所述的动作的评估方法，其特征在于，在根据所述视差图像进行深度计算，得到深度图像之后，所述评估方法还包括：

8.根据权利要求7所述的动作的评估方法，其特征在于，所述第一评估结果包括手势时间同步结果、手势延时时间结果、手势匹配结果、弹奏得分中的一种或多种，所述第二评估结果包括手型得分、指法得分、手型错误类型、手型错误截图中的一种或多种；

9.根据权利要求8所述的动作的评估方法，其特征在于，所述评估方法还包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至9中任意一项所述的动作的评估方法。

技术总结
本申请涉及算法识别领域，特别涉及一种动作的评估方法及可读存储介质。其中，动作的评估方法包括获取用于表征用户钢琴弹奏手势的视频流数据；将视频流数据输入至算法处理器进行预处理，得到评估结果；将评估结果上传至云端评价系统，以使得云端评价系统对评估结果进行评价分析得到反馈报告。本申请通过将评估结果上传至云端评价系统，以使得云端评价系统对评估结果进行评价与分析，得到反馈报告。用户通过获取反馈报告能够及时得知自己的钢琴弹奏手势以及弹奏节奏存在的问题，用户通过反馈报告能够及时作出对应的调整，从而提高用户弹奏钢琴手势的准确性，提高用户的弹奏水平。

技术研发人员：张景榆,李宗博,黄铿侨,李言忠,曾婧,甘娜,邵国栋,林良晟,邓志坚,肖宇,林金彬,罗贵祥,黄沃清,张晓南,丁梦军,钟昀烽
受保护的技术使用者：广东科学技术职业学院
技术研发日：
技术公布日：2024/1/15