一种基于音视频多模态的古筝弹奏指法评估方法

本发明属音乐人工智能交叉学科，具体涉及一种基于音视频多模态的古筝弹奏指法评估方法。

背景技术：

1、ai赋能乐器演奏指法的智能化评估横跨了科学与艺术两大交叉领域，隶属于音乐与人工智能研究范畴。本发明将计算机视觉技术和古筝的专业化知识深度融合，旨在实现民族乐器古筝演奏指法的智能评估。

2、从科技角度来看，人工智能技术已进入基于数据与知识双轮驱动的第四代创新阶段，基于视觉的数据采集和乐器演奏专业知识为这一课题的实现奠定了基础。从文化角度来看，古筝是中国特色的传统民族乐器，古筝艺术于2008年被列入国家级非物质文化遗产，这项发明也立足于对古筝艺术的传承与创新。

3、随着ai技术的迅速发展，在音乐人工智能领域，大多研究集中在智能作曲、自动转录、歌曲推荐等电子音乐方面。基于视觉的乐器相关研究基本围绕键盘乐器钢琴进行，本发明则针对的事中国民族乐器古筝。乐器学习辅助系统的设计多数依赖于穿戴式传感设备，然而这在很大程度上对实际应用有所限制，本发明利用自由移动的采集设备以非接触方式提高了应用的便携性和可扩展性。随着多媒体技术和人机交互技术的发展，有些研究在乐器虚拟交互方面进行探索，如乐器游戏、沉浸式体验等，然而在专业性上明显不足，本发明采用数据和知识双驱动的方式使得专业化和智能化成为可能。针对技能评估大部分研究集中在对体育赛事的研究上，因其规则性强、数据集相对容易获取。本发明针对乐器指法提出了基于音视频多模态的古筝指法评估方法，对指法动作内部进行深度剖析并给出专业化改进意见。

技术实现思路

1、本发明的目的在于将视频理解、图像识别、音频分析技术相结合，实现古筝弹奏基本指法的智能评估。

2、1.一种基于音视频多模态的古筝弹奏指法评估方法，其特征在于包括下列步骤：

3、1)古筝弹奏指法分类量表：

4、制定基于视听觉的古筝弹奏指法评估量表，结合古筝弹奏指法相关专业知识，并通过计算机对其进行表征和计算，其中，正确的古筝弹奏指法视频包括：托、勾、抹、大撮、小撮；错误的古筝弹奏指法视频包括：手型错误、指法错误、拨弦方向偏差、塌掌、手不稳定、手指卷曲；正确的音频即音高准确；错误的音频包括弹错琴弦、半音阶音准偏差；

5、2)构建古筝弹奏指法音、视频数据集，包括下列步骤：

6、2.1构建古筝弹奏指法视频数据集

7、古筝弹奏指法的视频采用便携式录像设备采集，要求拍摄到完整的手部和手指动作；构建的古筝弹奏右手基本指法数据集cf-dataset，共采集56名志愿者的1932个指法视频，该数据集包括11个子集；

8、2.2构建古筝弹奏指法音频和视频数据集

9、构建古筝弹奏指法音、视频数据集cf-va-dataset，共采集22名志愿者的600个音、视频指法数据，包括5个子集，每个子集中包括从视频角度能评估的正确和常见错误的指法，以及从音频角度能评估的准确和有偏差的音高；

10、3)基于音、视频多模态的古筝弹奏指法评估，包括下列步骤：

11、3.1基于视频的古筝弹奏指法评估

12、针对待评估的古筝弹奏指法视频，依次进行基于图像的手型识别和基于视频的指法评估，利用图像识别技术和视频理解技术，从视觉角度得到相应的评估结果，包括手型识别模块、关键点跟踪模块、指法评估模块；

13、基于图像的手型识别：从指法视频中提取首尾两帧手型图像，采用基于自主设计层次网络的古筝弹奏手型识别方法，来评估输入的指法其手型的合理性；

14、基于视频的指法评估：在手型识别正确的基础上，利用mediapipehands方法检测和跟踪原输入的指法视频中的手部关键点，并得到手部21个关键点在时空维度上的数据信息；利用古筝弹奏指法的先验知识，完成基于视频的古筝弹奏指法评估，具体包括:

15、3.1.1手型评估

16、古筝弹奏基本指法的弹奏要求起始时以规范手型准备，结束时恢复到原手型；因此，针对输入的指法视频，取其首末两帧手型图像，利用基于自主设计层次网络的古筝弹奏手型识别方法进行分类识别；如果结果正确，则针对原指法视频进行手部关键点跟踪，利用所得21个关键点的信息参数进行后续指法的评估；如果结果错误，则直接给出相应的手型识别结果，并参照古筝弹奏手型分类量表提供相应的问题描述和改进意见；

17、3.1.2指法判别

18、古筝弹奏右手基本指法规定了由指定的手指弹弦，以托为例加以说明，谱例中托的指法符号，则应由大指向外弹弦，如果使用了其他手指则为指法错误；将此问题转化为手指指尖运动幅度加以判别，选取指法视频中指尖的运动幅度最大的手指，判断其是否与规定的指法符号一致；

19、指尖在起始时刻ta和结束时刻tb的三维空间坐标分别为fa(xa,ya,za)和fb(xb,yb,zb)，其中f＝t1,i1,m1,r1,l1，t1至l1分别代表从大指至小指的指尖关键点。遍历5个手指，分别计算指尖运动位移d(f)，其数学表达式为：

20、

21、对其按降序排列sort{d(t1),d(i1),d(m1),d(r1),d(l1)}；

22、判别：指法勾、托、抹是否与序列中的第一位相符，指法大撮、小撮是否与序列中的前两位一致；如果相同，则为正确；如果不一致，则判定为指法错误，需核对指法符号并重新选择弹弦的手指；

23、具体来说，指法托是由大指弹弦，则需判断d(t1)是否为序列中的第一位，如果是，则指法正确，反之则错误；同理，指法勾和抹则分别通过d(m1)和d(i1)在序列中的位置来判断；由于撮的指法是由两根手指同时弹弦，因此，对于大撮指法的判断则是通过序列中的前两位是否为d(t1)和d(m1)进行判断，而小撮则是通过d(t1)和d(i1)是否在序列的前两位来判断；

24、3.1.3弹弦方向的判别

25、在手型、手指选择正确的基础上，古筝弹奏的这5个右手基本指法要求向手掌心方向弹弦；针对弹弦方向的问题，将利用手指动作向量和指尖指向手心向量的夹角来判断；

26、利用手部关键点示意图中i4(xi,yi,zi)、l4(xl,yl,zl)和h(xh,yh,zh)，计算掌心o点坐标为则动作向量和指向手心向量的夹角的数学表达式为：

27、

28、通过θ与阈值θth的大小关系判别弹弦方向是否正确，如果夹角小于阈值，则为正确，反之则判定为弹弦方向有偏差；

29、3.1.4常见错误指法判别

30、在指法和弹奏方向基本正确的基础上，依据古筝弹奏教学经验归纳总结出3种常见错误：塌掌关节凹陷、手不稳定跳跃、手指紧张导致的卷曲，具体包括：

31、3.1.4.1塌掌关节凹陷

32、利用i4(xi,yi,zi)、l4(xl,yl,zl)和h(xh,yh,zh)三点构造手掌的平面p(x,y,z)＝ax+by+cz+d，通过手指的第三关节与第一关节在手平面的同侧或异侧来判定；根据如下公式，求解系数，得到掌平面模型：

33、

34、判别：

35、

36、依据判别公式(4)，正确弹琴时，由于手为半握拳状，手指关节均在掌平面的同侧；因此，每个手指的第1、3关键点在同侧则为正确，如果出现任何一个在异侧的情况，则判定为塌掌、手指关节凹陷；

37、3.1.4.2手部不稳定

38、完成基础指法动作时，手部应保持稳定，只手指运动；当不稳定时，在弹弦时手会出现跳动的现象，针对此问题，利用掌心o点的位移大小，来判别手部的稳定程度；o点在ta和tb时刻的坐标分别为oa(xa,ya,za)和ob(xb,yb,zb)；其移动距离表达式为：

39、

40、弹弦时手部是否稳定，通过|d(o)|与阈值δth的大小关系来判定；如果掌心移动距离小于阈值，则手部稳定；反之则判定为不稳定；

41、3.1.4.3手指卷曲

42、弹琴时要求手呈半握拳状，手指自然弯曲；但由于身体机能紧张，会导致手指回勾严重卷曲的情况；对此，利用手指的弯曲度来加以判别；计算手指的第3、2关键点向量和第3、4关键点向量的夹角表达式为：

43、

44、通过比较δ与弯曲阈值δth的大小关系来判断手指的弯曲程度；如果夹角大于阈值，则为正确，反之则判定为手指弯曲；

45、3.2基于音频的古筝弹奏指法评估

46、针对待评估的古筝弹奏指法音频，进行基于音频的音准比对，利用音频分析技术从听觉角度得到相应的评估结果；基于音频的音高比对：从输入的待评估古筝弹奏指法中提取音频，利用傅立叶变换获取其频域信息；将其基频与标准音进行比较，以实现音频评估结果，具体包括：

47、3.2.1琴弦选择的判定

48、将待测音频依次与五声音阶的频率进行比较，依据下列公式(7)，取绝对值最小的结果所对应的音级p，判定如公式(8)，如果与指定的音级q相同，则所弹琴弦正确；如果不同，则判定为弹错琴弦；

49、o＝min|f-fi|,i＝d,e,#f,a,b  (7)

50、判定：

51、

52、3.2.2半音阶音准的判定

53、将待测音频与半音阶的标准频率进行比较，如果差值大于阈值η，则音偏高，需要减小左手的按弦力度；如果差值小于-η则音偏低，需要增加左手的按弦力度；增减按弦深度随差值的绝对值大小进行调整；如果频率差的绝对值小于等于阈值η，则判定为正确；判定如公式(9)所示：

54、

55、3.3基于音、视频的古筝弹奏指法评估

56、针对待评估的古筝弹奏基本指法，通过基于视频的指法评估模块，给出量化的指法视频评估分数svideo，并通过基于音频的指法评估模块，依据差值的偏离程度，给出量化的音频评估分数saudio；最终，综合计算音视频评估分数score，其数学表达式为：

57、score＝αsvideo+βsaudio  (10)

58、其中：α为音频的权重，β为视频的权重；在实际应用中，根据不同的习筝阶段，动态地调整权重值。

59、本发明提出的基于音视频多模态的古筝指法评估方法具有可行性和有效性，能够实现对古筝弹奏基本指法的智能评估，给与习筝者及时的反馈指导，对于提高练琴效率具有重要作用。