一种古筝弹奏提示方法及古筝教学辅助系统

本发明涉及古筝教学技术领域，具体涉及一种古筝弹奏提示方法及古筝教学辅助系统。

背景技术：

现有古筝教学模式主要为老师一对一或一对二进行小班化教学，初学者在练习曲谱时一般采取看谱练习到背谱练习的模式，其主要通过练习时老师的观察指出问题以及老师示范进行练习从而获取弹奏信息。在整个教学活动中，老师的示范无法复刻使学习时存在一定认知负荷，即初学者经老师示范后，每次弹奏依然需要思考较长时间，应该弹奏哪个位置，用什么指法，弹哪根弦，并且要准确根据节拍弹奏，对其而言都存在一定问题。

技术实现要素：

本发明针对现有技术中的缺点，提供了一种古筝弹奏提示方法及古筝教学辅助系统，具有提高弹奏者练习效率的优点，突破了古筝教具自动提示弹奏者弹奏位置的瓶颈。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种古筝弹奏提示方法及古筝教学辅助系统，包括以下步骤：

对弹奏者启动活性识别，确定弹奏者就位情况；

通过共线关系，计算双眼瞳孔在三维空间的位置；

构建双眼瞳孔、琴弦弹奏点以及两点延长线落在琴面上的弹奏提示点三者之间的几何关系；

根据几何关系得出弹奏提示点坐标位置。

可选的，对弹奏者启动活性识别，确定弹奏者就位情况，包括以下步骤：

获取人脸图像信息；

对人脸图像进行瞳孔识别处理并求得瞳孔参数，定位瞳孔；

若连续n帧的人脸图像无法全部识别到瞳孔，则判定弹奏者未就位，此时继续获取人脸图像信息，并进行瞳孔识别；

若连续n帧的人脸图像均能成功识别瞳孔，则判定弹奏者已就位。

可选的，对人脸图像进行瞳孔识别处理并求得瞳孔参数，定位瞳孔，包括以下步骤：

以左眼瞳孔和鼻尖作为对角线，形成初始矩形；

计算初始矩形平均灰度i0；

同时向上和向右增加步长并保持矩形的长宽比不变，计算新矩形的平均灰度ii+1；

在经过平滑处理的新的搜索矩形的上面的边和右面的边上，找到灰度最小的点p，并计算p点灰度值ip；

设定阈值k，比较ii+1-ip与阈值k的大小。

可选的，通过共线关系，计算双眼瞳孔在三维空间的位置，包括以下步骤：

在p点周围设置一搜索矩形，在搜索矩形内用一个领域最小模板寻找瞳孔；

根据投影在像点平面上的人脸图像，获取像点平面上的瞳孔的位置坐标一a；

位于古筝另一侧所得的人脸图像，通过上述方法，得出人脸图像在像点平面上的瞳孔的位置坐标二；

将坐标一的坐标系作为基准坐标系，并将坐标二转化为用基准坐标系标记的目标坐标二b；

将摄影中心分别标记为c、c’，左眼瞳孔位置标记为q1，且q1、c、a在同一直线上；q1、c’、b在同一直线上；

联立a、c、q1三点形成的直线与b、c’、q1三点形成的直线共线方程式，得出弹奏者左眼瞳孔位置q1；

同样的，计算得出弹奏者右眼瞳孔位置q2。

可选的，构建双眼瞳孔、琴弦弹奏点以及两点延长线落在琴面上的弹奏提示点三者之间的几何关系，包括以下步骤：

设定q1垂直于琴面的点为d，弹奏点为f，弹奏点垂直于琴面的点为e，左眼弹奏提示点为g1；

以g1、e、f点构建三角形；以g1、d、q1构建三角形，且构建的两个三角形为左眼瞳孔处构建的一组相似三角形；

根据上述相同步骤，构建右眼瞳孔处另一组相似三角形。

可选的，根据几何关系得出弹奏提示点坐标位置，包括以下步骤：

根据左眼瞳孔处构建的一组相似三角形得出左眼弹奏提示点g1；

根据右眼瞳孔处构建的另一组相似三角形得出右眼弹奏提示点g2。

一种古筝教学辅助系统，还包括主控模块、录制模块、眼动分析模块、屏幕显示模块、发音分析模块和存储模块，所述录制模块、眼动分析模块、屏幕显示模块、发音分析模块、存储模块均与主控模块电连接；

所述录制模块用于人脸图像的录制；

所述眼动分析模块用于对弹奏者进行活性识别，并得出瞳孔在三维空间的坐标；

所述发音分析模块用于判断弹奏者弹奏琴弦是否准确；

所述存储模块用于存储弹奏曲谱。

可选的，所述录制模块设置于古筝本体的两侧。

可选的，所述屏幕显示模块设置于琴弦正下方，所述屏幕显示模块包括弹奏显示模块和指法显示模块。

可选的，所述发音分析模块包括音色比对模块和震动比对模块。

采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

通过在古筝面板上显示弹奏提示点，使弹奏者根据弹奏提示点得出弹奏琴弦的位置，并根据弹奏者的瞳孔位置变化，实时变化相应的弹奏提示点，提高弹奏者的学习效率，降低老师的教学压力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统主视图；

图2为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统俯视图；

图3为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统仰视图；

图4为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统的屏幕显示模块位置图；

图5为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统的屏幕显示模块显示上滑音指法提示示意图；

图6为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统的屏幕显示模块显示下滑音指法提示示意图；

图7为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统的屏幕显示模块显示按音指法提示示意图；

图8为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统的屏幕显示模块显示刮奏指法提示示意图；

图9为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统的屏幕显示模块显示摇指指法提示示意图；

图10为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统的眼动分析系统根据不同瞳孔位置得出的需弹奏同一根琴弦时弹奏提示点的位置变化示意图；

图11为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统左眼瞳孔在两摄像头拍摄时摄影中心、左眼瞳孔以及瞳孔投影在像点平面上的点三者之间的位置关系图；

图12为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统以左眼瞳孔、琴弦弹奏点以及弹奏提示点构建的一组相似三角形示意图；

图13为本发明实施例提出的一种古筝弹奏提示方法及古筝教学辅助系统的辅助系统示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

如图1-13所示，一种古筝弹奏提示方法及古筝教学辅助系统，包括以下步骤：

对弹奏者启动活性识别，确定弹奏者就位情况；通过共线关系，计算双眼瞳孔在三维空间的位置；构建双眼瞳孔、琴弦弹奏点以及两点延长线落在琴面上的弹奏提示点三者之间的几何关系；根据几何关系得出弹奏提示点坐标位置。

其中，对弹奏者启动活性识别，确定弹奏者就位情况，包括以下步骤：获取人脸图像信息，在弹奏开始前，弹奏者开启古筝教具，并以正确弹奏姿势坐定，维持1-2秒时间，摄像头朝向人脸，并连续获取十五帧人脸图像，

然后对人脸图像进行瞳孔识别处理并求得瞳孔参数，定位瞳孔，具体的，对每一帧的人脸图像，获取其左眼瞳孔在图像中的位置，并裁剪出人眼区域图像，即以左眼瞳孔和鼻尖作为对角线，形成初始矩形，并得到鼻子区域中心坐标为(x0，y0)，初始矩形的宽为w0，高为h0，计算初始矩形平均灰度i0，即此处的人脸图像上的坐标均为投影在像点平面上的人脸图像的坐标，且像点平面与提示平面为同一平面。

计算得到i0后，同时向上和向右增加步长并保持矩形的长宽比不变，使用上述相同计算公式，计算新矩形的平均灰度ii+1，在经过平滑处理的新的搜索矩形的上面的边和右面的边上，找到灰度最小的点p，并计算p点灰度值ip，且设定阈值k，比较ii+1-ip与阈值k的大小，若ii+1-ip＜k，则为在该帧的人脸图像上识别到瞳孔，否则为未识别到瞳孔。

若连续n帧的人脸图像无法全部识别到瞳孔，即连续十五帧的人脸图像无法全部识别到瞳孔，则判定弹奏者未就位，此时摄像头继续获取人脸图像信息，并进行瞳孔识别；若连续n帧的人脸图像均能成功识别瞳孔，即连续十五帧的人脸图像均成功识别到瞳孔，则判定弹奏者已就位。

判定弹奏者已就位后，对最后一帧的人脸图像重复“同时向上和向右增加步长并保持矩形长宽比不变，计算新矩形的平均灰度”和“在经过平滑处理的新的搜索矩形的上面的边和右面的边上，找到灰度最小的点p”的步骤，然后通过共线关系，计算双眼瞳孔在三维空间的位置。

具体地，包括以下步骤：在p点周围设置一搜索矩形，在搜索矩形内用一个领域最小模板寻找瞳孔，然后根据投影在像点平面上的人脸图像，获取像点平面上的瞳孔的位置坐标一a，而位于古筝另一侧摄像头所得的人脸图像，通过上述方法，得出人脸图像在像点平面上的瞳孔的位置坐标二，并将坐标一的坐标系作为基准坐标系，然后将坐标二转化为用基准坐标系标记的目标坐标二b，将摄影中心分别标记为c、c’，左眼瞳孔位置标记为q1(x，y，z)，即可得出q1、c、a在同一直线上，q1、c’、b在同一直线上。

根据两直线共线，联立a、c、q1三点形成的直线与b、c’、q1三点形成的直线共线方程式，即

且x1/xr＝x-x0；y1/yr＝y-y0，其中，a、b、c、c’、均为已知坐标点，x0、y0和f为影像的内方位元素，即像主点o(x0，y0)和摄像中心c到像片的垂直距离，ai，bi，ci(i＝1,2,3)为影响的3个外方位角元素组成的9个方向余弦，在此计算方程中都为已知条件，得出弹奏者左眼瞳孔位置q1，同样的，计算得出弹奏者右眼瞳孔位置q2。

构建双眼瞳孔、琴弦弹奏点以及两点延长线落在琴面上的弹奏提示点三者之间的几何关系，包括以下步骤：设定q1垂直于琴面的点为d，弹奏点为f，弹奏点垂直于琴面的点为e，左眼弹奏提示点为g1；以g1、e、f点构建三角形；以g1、d、q1构建三角形，且构建的两个三角形为左眼瞳孔处构建的一组相似三角形；根据上述相同步骤，构建右眼瞳孔处另一组相似三角形。

根据几何关系得出弹奏提示点坐标位置，包括以下步骤：根据左眼瞳孔处构建的一组相似三角形得出左眼弹奏提示点g1，具体地e、f、d、q1均为已知坐标点，从而根据相似三角形对应边成比例原理，得出左眼弹奏提示点g1坐标，从而在g1点出做出弹奏提示，相同的，根据右眼瞳孔处构建的另一组相似三角形得出右眼弹奏提示点g2，并在g2点做出弹奏提示。

一种古筝教学辅助系统，还包括主控模块、录制模块1、眼动分析模块、屏幕显示模块2、发音分析模块和存储模块，录制模块1、眼动分析模块、屏幕显示模块2、发音分析模块、存储模块均与主控模块电连接，录制模块1设置于古筝本体的两侧，且录制模块1为摄像头。

具体的，录制模块1用于人脸图像的录制；眼动分析模块用于对弹奏者进行活性识别，并得出瞳孔在三维空间的坐标；发音分析模块用于判断弹奏者弹奏琴弦是否准确；存储模块用于存储弹奏曲谱。

在弹奏者进行练习前，教学者首先会将练习的弹奏曲谱录入存储模块，当弹奏者就位并开始弹奏时，眼动分析模块在摄像头的协同作用下，进行弹奏者就位情况分析，然后通过上述方式对弹奏者进行弹奏提示点位置定位。

屏幕显示模块2设置于琴弦正下方，屏幕显示模块2包括弹奏显示模块和指法显示模块，弹奏显示模块为led灯珠指示，设置在古筝琴弦正下方，且覆盖整个古筝面板，通过led灯珠亮灭来提示弹奏点，而指法显示模块为led灯珠图案指示，即通过led灯珠亮起不同组合图案表示不同的弹奏指法，其中包括上滑音指法、下滑音指法、按音指法、刮奏指法和摇指指法图案，且指法显示模块与佩戴在弹奏者手上的义甲器配合完成指法提示，义甲器用于提示弹奏手指。

发音分析模块包括音色比对模块和震动比对模块3，当弹奏者弹奏完成一根音弦后，音色比对模块会通过发出的因与设定的标准音色进行对比，从而确认弹奏者是否弹奏准确，同时，震动比对模块3会收集琴弦震动的信号进行比对弹奏点的位置，进一步确认弹奏者的弹奏准确情况。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。