基于手势识别的多媒体教学方法与系统与流程

1.本发明涉及多媒体教学的技术领域，特别涉及基于手势识别的多媒体教学方法与系统。


背景技术：

2.多媒体教学通常是利用ar设备或者投影仪等设备显示教学视频的方式来实现声音与图像的互动教学。在多媒体教学过程中，不同学生对于教学视频的显示亮度等参数高低存在不同需求。为了使学生能够获得最优显示状态的教学视频，这需要学生根据自身实际需要来调整多媒体教学设备的显示参数。但是在多媒体教学过程中学生通常是专注于观看教学视频，这使得学生无法快速和准确调整多媒体教学设备的显示参数，这不利于改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。


技术实现要素：

3.针对现有技术存在的缺陷，本发明提供基于手势识别的多媒体教学方法与系统，其采集多媒体教学终端所处环境四周的声音信息；分析声音信息后得到声音信息对应的声音强度分布信息以及识别声音信息对应的语义信息；再根据语义信息，控制多媒体教学终端显示界面的显示状态；根据声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据相对位置，拍摄学生在观看显示界面过程中的动作影像；最后分析动作影像，确定学生的左手动作状态和右手动作状态；根据左手动作状态，调整显示界面当前显示的视频的音量；根据右手动作状态，调整显示界面当前显示的视频的画面亮度；可见，该基于手势识别的多媒体教学方法与系统通过采集多媒体教学终端所处环境的声音信息，以此确定是否唤醒多媒体教学终端显示界面是否进行显示以及确定学生与显示界面之间的相对位置，再拍摄学生的动作影像来确定学生的左右手手势状态，从而以左右手手势状态为基准分别调整显示界面当前显示的视频的音量和显示界面当前显示的视频的画面亮度，这样能够便于学生在专注观看多媒体教学视频的同时快速和便捷地调整多媒体教学视频的显示状态，从而改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。
4.本发明提供基于手势识别的多媒体教学方法，其特征在于，其包括如下步骤：
5.步骤s1，采集多媒体教学终端所处环境四周的声音信息；分析所述声音信息后得到所述声音信息对应的声音强度分布信息以及识别所述声音信息对应的语义信息；再根据所述语义信息，控制多媒体教学终端显示界面的显示状态；
6.步骤s2，根据所述声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据所述相对位置，拍摄学生在观看显示界面过程中的动作影像；
7.步骤s3，分析所述动作影像，确定学生的左手动作状态和右手动作状态；根据所述左手动作状态，调整显示界面当前显示的视频的音量；根据所述右手动作状态，调整显示界面当前显示的视频的画面亮度；
8.进一步，在所述步骤s1中，采集多媒体教学终端所处环境四周的声音信息；分析所
述声音信息后得到所述声音信息对应的声音强度分布信息以及识别所述声音信息对应的语义信息；再根据所述语义信息，控制多媒体教学终端显示界面的显示状态具体包括：
9.步骤s101，利用麦克风阵列扫描收集多媒体教学终端所处环四周方向的声音信息；并对所述声音信息进行卡尔曼滤波处理，从而剔除所述声音信息包含的背景噪声；
10.步骤s102，对所述声音信息进行声音强度波形分析，从而提取得到所述声音信息对应的声音强度波峰分布；对所述声音信息进行语义识别，从而提取得到所述声音信息对应的语义信息；
11.步骤s103，将所述语义信息与预设存储的语义关键词进行比对；若所述语义信息不包含所述语义关键词，则控制多媒体教学终端显示界面处于休眠黑屏状态；若所述语义信息包含所述语义关键词，则控制多媒体教学终端显示界面处于点亮工作状态；
12.进一步，在所述步骤s2中，根据所述声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据所述相对位置，拍摄学生在观看显示界面过程中的动作影像具体包括：
13.步骤s201，提取声音强度波峰分布中具有最大半波峰值的声音强度波峰；并确定最大半波峰值的声音强度波峰出现时，在扫描收集声音信息过程中对应的声音扫描收集方位，从而将所述声音扫描收集方位作为学生相对于多媒体教学终端显示界面的方位朝向；
14.步骤s202，确定学生相对于多媒体教学终端显示界面的方位朝向与多媒体教学终端显示界面正前方的法线方向之间的方向夹角；并将所述方向夹角与预设夹角阈值进行比对；
15.步骤s203，若所述方向夹角小于或等于预设夹角阈值，则通过摄像头直接拍摄学生在观看显示界面过程中的动作影像；若所述方向夹角大于预设夹角阈值，则指示学生移动至显示多媒体教学终端显示界面正前方后、通过摄像头直接拍摄学生在观看显示界面过程中的动作影像；
16.进一步，在所述步骤s3中，分析所述动作影像，确定学生的左手动作状态和右手动作状态；根据所述左手动作状态，调整显示界面当前显示的视频的音量；根据所述右手动作状态，调整显示界面当前显示的视频的画面亮度具体包括：
17.步骤s301，从所述动作影像中识别得到学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态；
18.步骤s302，若确定学生的左手的掌心朝上，则保持显示界面当前显示的视频的音量不变；若确定学生的左手的掌心朝下并且左手所有手指均未伸出，则降低显示界面当前显示的视频的音量；若确定学生的左手的掌心朝下并且左手所有手指均伸出，则提高显示界面当前显示的视频的音量；
19.步骤s303，若确定学生的右手的掌心朝上，则保持显示界面当前显示的视频的画面亮度不变；若确定学生的右手的掌心朝下并且右手所有手指均未伸出，则降低显示界面当前显示的视频的画面亮度；若确定学生的右手的掌心朝下并且右手所有手指均伸出，则提高显示界面当前显示的视频的画面亮度；
20.进一步，在所述步骤s301中，从所述动作影像中识别得到学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态具体为通过所述动作影像得到学生左右手的手指指尖坐标，学生左右手的手指与手掌连接处的指关节坐标，学生左右手的手掌
掌心坐标；接着根据学生左右手的手指与手掌连接处的指关节坐标，确定学生左手和右手各自的掌心正反朝向；再根据学生左右手的手指指尖坐标和学生左右手的手掌掌心坐标，确定学生左手和右手各自的手指伸出状态；最后根据学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态，确定学生当前的手部动作是否属于调整视频的音量和视频的画面亮度的动作，其具体包括：
21.步骤s3011，利用下面公式(1)，根据学生左右手的手指与手掌连接处的指关节坐标，确定学生左手和右手各自的掌心正反朝向，
[0022][0023]
在上述公式(1)中，η表示学生手掌掌心正反朝向的表征值，(x
i
,y
i
,z
i
)表示第i个手指与手掌连接处的指关节坐标，i＝1、2、3、4、5对应于左手或右手的五个手指，其中右手的第1、2、3、4、5手指是按照所述动作影像从左到右的顺序而确定的，左手的第1、2、3、4、5手指是按照所述动作影像从右到左的顺序而确定的；
[0024]
当η＝0时，表示学生手掌掌心向上；
[0025]
当η＞0时，表示学生手掌掌心向下；
[0026]
当η＜0时，表示学生手掌掌心既不向上也不向下；
[0027]
步骤s3012，利用下面公式(2)，根据学生左右手的手指指尖坐标和学生左右手的手掌掌心坐标，确定学生左手和右手各自的手指伸出状态，
[0028][0029]
在上述公式(2)中，λ
i
表示学生左手或右手的第i个手指伸出状态的表征值，(x0,y0,z0)表示学生左手或右手的手掌掌心坐标，(x
i
,y
i
,z
i
)表示学生左手或右手的第i个手指的指尖坐标，i＝1、2、3、4、5对应于左手或右手的五个手指，其中右手的第1、2、3、4、5手指是按照所述动作影像从左到右的顺序而确定的，左手的第1、2、3、4、5手指是按照所述动作影像从右到左的顺序而确定的；
[0030]
当λ
i
＞0时，表示学生左手或右手的第i个手指处于完全伸直的状态；
[0031]
当λ
i
＜0时，表示学生左手或右手的第i个手指处于未伸出的状态；
[0032]
当λ
i
＝0时，表示学生左手或右手的第i个手指处于伸出当未完全伸直的状态；
[0033]
步骤s3013，利用下面公式(3)，根据学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态，确定学生当前的手部动作是否属于调整视频的音量和视频的画面亮度的动作，
[0034][0035]
在上述公式(3)中，δ表示学生当前的手部动作是否属于调整视频的音量和视频的
画面亮度的动作的判定值，sgn()表示符号函数，当括号内的数值为正数时，符号函数的结果为1，当括号内的数值为负数时，符号函数的结果为
‑
1，当括号内的数值为0时，符号函数的结果为0；
[0036]
当δ≠
‑
1时，表示学生当前的手部动作属于调整视频的音量和视频的画面亮度的动作；
[0037]
当δ＝
‑
1时，表示学生当前的手部动作不属于调整视频的音量和视频的画面亮度的动作。
[0038]
本发明还提供基于手势识别的多媒体教学系统，其特征在于，其包括声音信息采集与分析模块、多媒体教学终端显示状态控制模块、学生动作影像拍摄模块，动作影像分析模块和显示界面视频显示参数调整模块；其中，
[0039]
所述声音信息采集与分析模块用于采集多媒体教学终端所处环境四周的声音信息；分析所述声音信息后得到所述声音信息对应的声音强度分布信息以及识别所述声音信息对应的语义信息；
[0040]
所述多媒体教学终端显示状态控制模块用于根据所述语义信息，控制多媒体教学终端显示界面的显示状态；
[0041]
所述学生动作影像拍摄模块用于根据所述声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据所述相对位置，拍摄学生在观看显示界面过程中的动作影像；
[0042]
所述动作影像分析模块用于分析所述动作影像，确定学生的左手动作状态和右手动作状态；
[0043]
所述显示界面视频显示参数调整模块用于根据所述左手动作状态，调整显示界面当前显示的视频的音量；根据所述右手动作状态，调整显示界面当前显示的视频的画面亮度；
[0044]
进一步，所述声音信息采集与分析模块用于采集多媒体教学终端所处环境四周的声音信息；分析所述声音信息后得到所述声音信息对应的声音强度分布信息以及识别所述声音信息对应的语义信息具体包括：
[0045]
利用麦克风阵列扫描收集多媒体教学终端所处环四周方向的声音信息；并对所述声音信息进行卡尔曼滤波处理，从而剔除所述声音信息包含的背景噪声；
[0046]
对所述声音信息进行声音强度波形分析，从而提取得到所述声音信息对应的声音强度波峰分布；对所述声音信息进行语义识别，从而提取得到所述声音信息对应的语义信息；
[0047]
以及，
[0048]
所述多媒体教学终端显示状态控制模块用于根据所述语义信息，控制多媒体教学终端显示界面的显示状态具体包括：
[0049]
将所述语义信息与预设存储的语义关键词进行比对；若所述语义信息不包含所述语义关键词，则控制多媒体教学终端显示界面处于休眠黑屏状态；若所述语义信息包含所述语义关键词，则控制多媒体教学终端显示界面处于点亮工作状态；
[0050]
进一步，所述学生动作影像拍摄模块用于根据所述声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据所述相对位置，拍摄学生在观看显示界
面过程中的动作影像具体包括：
[0051]
提取声音强度波峰分布中具有最大半波峰值的声音强度波峰；并确定最大半波峰值的声音强度波峰出现时，在扫描收集声音信息过程中对应的声音扫描收集方位，从而将所述声音扫描收集方位作为学生相对于多媒体教学终端显示界面的方位朝向；
[0052]
确定学生相对于多媒体教学终端显示界面的方位朝向与多媒体教学终端显示界面正前方的法线方向之间的方向夹角；并将所述方向夹角与预设夹角阈值进行比对；
[0053]
若所述方向夹角小于或等于预设夹角阈值，则通过摄像头直接拍摄学生在观看显示界面过程中的动作影像；若所述方向夹角大于预设夹角阈值，则指示学生移动至显示多媒体教学终端显示界面正前方后、通过摄像头直接拍摄学生在观看显示界面过程中的动作影像；
[0054]
进一步，所述动作影像分析模块用于分析所述动作影像，确定学生的左手动作状态和右手动作状态具体包括：
[0055]
从所述动作影像中识别得到学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态；
[0056]
以及，
[0057]
所述显示界面视频显示参数调整模块用于根据所述左手动作状态，调整显示界面当前显示的视频的音量；根据所述右手动作状态，调整显示界面当前显示的视频的画面亮度具体包括：
[0058]
若确定学生的左手的掌心朝上，则保持显示界面当前显示的视频的音量不变；若确定学生的左手的掌心朝下并且左手所有手指均未伸出，则降低显示界面当前显示的视频的音量；若确定学生的左手的掌心朝下并且左手所有手指均伸出，则提高显示界面当前显示的视频的音量；
[0059]
若确定学生的右手的掌心朝上，则保持显示界面当前显示的视频的画面亮度不变；若确定学生的右手的掌心朝下并且右手所有手指均未伸出，则降低显示界面当前显示的视频的画面亮度；若确定学生的右手的掌心朝下并且右手所有手指均伸出，则提高显示界面当前显示的视频的画面亮度。
[0060]
相比于现有技术，该基于手势识别的多媒体教学方法与系统采集多媒体教学终端所处环境四周的声音信息；分析声音信息后得到声音信息对应的声音强度分布信息以及识别声音信息对应的语义信息；再根据语义信息，控制多媒体教学终端显示界面的显示状态；根据声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据相对位置，拍摄学生在观看显示界面过程中的动作影像；最后分析动作影像，确定学生的左手动作状态和右手动作状态；根据左手动作状态，调整显示界面当前显示的视频的音量；根据右手动作状态，调整显示界面当前显示的视频的画面亮度；可见，该基于手势识别的多媒体教学方法与系统通过采集多媒体教学终端所处环境的声音信息，以此确定是否唤醒多媒体教学终端显示界面是否进行显示以及确定学生与显示界面之间的相对位置，再拍摄学生的动作影像来确定学生的左右手手势状态，从而以左右手手势状态为基准分别调整显示界面当前显示的视频的音量和显示界面当前显示的视频的画面亮度，这样能够便于学生在专注观看多媒体教学视频的同时快速和便捷地调整多媒体教学视频的显示状态，从而改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。
[0061]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
[0062]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0063]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0064]
图1为本发明提供的基于手势识别的多媒体教学方法的流程示意图。
[0065]
图2为本发明提供的基于手势识别的多媒体教学系统的结构示意图。
具体实施方式
[0066]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0067]
参阅图1，为本发明实施例提供的基于手势识别的多媒体教学方法的流程示意图。该基于手势识别的多媒体教学方法包括如下步骤：
[0068]
步骤s1，采集多媒体教学终端所处环境四周的声音信息；分析该声音信息后得到该声音信息对应的声音强度分布信息以及识别该声音信息对应的语义信息；再根据该语义信息，控制多媒体教学终端显示界面的显示状态；
[0069]
步骤s2，根据该声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据该相对位置，拍摄学生在观看显示界面过程中的动作影像；
[0070]
步骤s3，分析该动作影像，确定学生的左手动作状态和右手动作状态；根据该左手动作状态，调整显示界面当前显示的视频的音量；根据该右手动作状态，调整显示界面当前显示的视频的画面亮度。
[0071]
上述技术方案的有益效果为：该基于手势识别的多媒体教学方法通过采集多媒体教学终端所处环境的声音信息，以此确定是否唤醒多媒体教学终端显示界面是否进行显示以及确定学生与显示界面之间的相对位置，再拍摄学生的动作影像来确定学生的左右手手势状态，从而以左右手手势状态为基准分别调整显示界面当前显示的视频的音量和显示界面当前显示的视频的画面亮度，这样能够便于学生在专注观看多媒体教学视频的同时快速和便捷地调整多媒体教学视频的显示状态，从而改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。
[0072]
优选地，在该步骤s1中，采集多媒体教学终端所处环境四周的声音信息；分析该声音信息后得到该声音信息对应的声音强度分布信息以及识别该声音信息对应的语义信息；再根据该语义信息，控制多媒体教学终端显示界面的显示状态具体包括：
[0073]
步骤s101，利用麦克风阵列扫描收集多媒体教学终端所处环四周方向的声音信
息；并对该声音信息进行卡尔曼滤波处理，从而剔除该声音信息包含的背景噪声；
[0074]
步骤s102，对该声音信息进行声音强度波形分析，从而提取得到该声音信息对应的声音强度波峰分布；对该声音信息进行语义识别，从而提取得到该声音信息对应的语义信息；
[0075]
步骤s103，将该语义信息与预设存储的语义关键词进行比对；若该语义信息不包含该语义关键词，则控制多媒体教学终端显示界面处于休眠黑屏状态；若该语义信息包含该语义关键词，则控制多媒体教学终端显示界面处于点亮工作状态。
[0076]
上述技术方案的有益效果为：在ar设备或者投影设备等多媒体教学终端工作过程中，学生可能处于多媒体教学终端显示界面的不同方向位置处(比如在显示界面的正南方位或者东北方位)，此时利用麦克风阵列扫描收集多媒体教学终端所处环四周方向的声音信息，能够全面地和准确地收集来自学生的语音声音。
[0077]
由于来自学生的语音信息能够包含不同的语义信息，通过对该语音信息进行语义识别，继而通过语义关键词验证的方式控制多媒体教学终端显示界面的开关与否。在实际操作中，该语义关键词可为但不限于是“显示启动”，当该语义信息包含“显示启动”这一关键词时，则将多媒体教学终端显示界面点亮以使显示界面能够显示相应的视频，当该语义信息不包含“显示启动”这一关键词时，则将多媒体教学终端显示界面熄灭，这样能够保证多媒体教学终端能够进入不同的显示模式。
[0078]
优选地，在该步骤s2中，根据该声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据该相对位置，拍摄学生在观看显示界面过程中的动作影像具体包括：
[0079]
步骤s201，提取声音强度波峰分布中具有最大半波峰值的声音强度波峰；并确定最大半波峰值的声音强度波峰出现时，在扫描收集声音信息过程中对应的声音扫描收集方位，从而将该声音扫描收集方位作为学生相对于多媒体教学终端显示界面的方位朝向；
[0080]
步骤s202，确定学生相对于多媒体教学终端显示界面的方位朝向与多媒体教学终端显示界面正前方的法线方向之间的方向夹角；并将该方向夹角与预设夹角阈值进行比对；
[0081]
步骤s203，若该方向夹角小于或等于预设夹角阈值，则通过摄像头直接拍摄学生在观看显示界面过程中的动作影像；若该方向夹角大于预设夹角阈值，则指示学生移动至显示多媒体教学终端显示界面正前方后、通过摄像头直接拍摄学生在观看显示界面过程中的动作影像。
[0082]
上述技术方案的有益效果为：当学生从某一方位位置(比如正南方位)向多媒体教学终端发出语音声音时，在相应的扫描收集声音信息的过程中，当扫描到学生所处的方位位置(比如正南方位)时，收集到的声音信息对应的声音强度波峰具有最大半波峰值。基于上述过程，从声音强度波峰分布中提取具有最大半波峰值的声音强度波峰，并确定最大半波峰值的声音强度波峰出现时，在扫描收集声音信息过程中对应的声音扫描收集方位，就能够准确快速地确定学生相对于多媒体教学终端显示界面的方位朝向。
[0083]
若定学生相对于多媒体教学终端显示界面的方位朝向与多媒体教学终端显示界面正前方的法线方向之间的方向夹角过大，则表明学生所处位置偏离严重偏离显示界面正前方的法向方向，此时需向学生反馈相应的语音提示消息使学生移动到显示界面的前方，
以便于对学生的手部动作进行全面的拍摄。
[0084]
优选地，在该步骤s3中，分析该动作影像，确定学生的左手动作状态和右手动作状态；根据该左手动作状态，调整显示界面当前显示的视频的音量；根据该右手动作状态，调整显示界面当前显示的视频的画面亮度具体包括：
[0085]
步骤s301，从该动作影像中识别得到学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态；
[0086]
步骤s302，若确定学生的左手的掌心朝上，则保持显示界面当前显示的视频的音量不变；若确定学生的左手的掌心朝下并且左手所有手指均未伸出，则降低显示界面当前显示的视频的音量；若确定学生的左手的掌心朝下并且左手所有手指均伸出，则提高显示界面当前显示的视频的音量；
[0087]
步骤s303，若确定学生的右手的掌心朝上，则保持显示界面当前显示的视频的画面亮度不变；若确定学生的右手的掌心朝下并且右手所有手指均未伸出，则降低显示界面当前显示的视频的画面亮度；若确定学生的右手的掌心朝下并且右手所有手指均伸出，则提高显示界面当前显示的视频的画面亮度。
[0088]
上述技术方案的有益效果为：通过学生左手和右手各自的动作姿势来分别控制显示界面当前显示的视频的音量和画面亮度，这样有别于采用同一手部的动作姿势来分别控制音量和画面亮度，这样能够帮助学生明显区分控制音量和画面亮度的动作姿势以及有效避免学生混淆音量和画面亮度控制手势的情况，从而大大改善多媒体教学手势识别的可靠性和准确性。
[0089]
优选地，在该步骤s301中，从该动作影像中识别得到学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态具体为通过该动作影像得到学生左右手的手指指尖坐标，学生左右手的手指与手掌连接处的指关节坐标，学生左右手的手掌掌心坐标；接着根据学生左右手的手指与手掌连接处的指关节坐标，确定学生左手和右手各自的掌心正反朝向；再根据学生左右手的手指指尖坐标和学生左右手的手掌掌心坐标，确定学生左手和右手各自的手指伸出状态；最后根据学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态，确定学生当前的手部动作是否属于调整视频的音量和视频的画面亮度的动作，其具体包括：
[0090]
步骤s3011，利用下面公式(1)，根据学生左右手的手指与手掌连接处的指关节坐标，确定学生左手和右手各自的掌心正反朝向，
[0091][0092]
在上述公式(1)中，η表示学生手掌掌心正反朝向的表征值，(x
i
,y
i
,z
i
)表示第i个手指与手掌连接处的指关节坐标，i＝1、2、3、4、5对应于左手或右手的五个手指，其中右手的第1、2、3、4、5手指是按照该动作影像从左到右的顺序而确定的，左手的第1、2、3、4、5手指是按照该动作影像从右到左的顺序而确定的；
[0093]
当η＝0时，表示学生手掌掌心向上；
[0094]
当η＞0时，表示学生手掌掌心向下；
[0095]
当η＜0时，表示学生手掌掌心既不向上也不向下；
[0096]
步骤s3012，利用下面公式(2)，根据学生左右手的手指指尖坐标和学生左右手的手掌掌心坐标，确定学生左手和右手各自的手指伸出状态，
[0097][0098]
在上述公式(2)中，λ
i
表示学生左手或右手的第i个手指伸出状态的表征值，(x0,y0,z0)表示学生左手或右手的手掌掌心坐标，(x
i
,y
i
,z
i
)表示学生左手或右手的第i个手指的指尖坐标，i＝1、2、3、4、5对应于左手或右手的五个手指，其中右手的第1、2、3、4、5手指是按照该动作影像从左到右的顺序而确定的，左手的第1、2、3、4、5手指是按照该动作影像从右到左的顺序而确定的；
[0099]
当λ
i
＞0时，表示学生左手或右手的第i个手指处于完全伸直的状态；
[0100]
当λ
i
＜0时，表示学生左手或右手的第i个手指处于未伸出的状态；
[0101]
当λ
i
＝0时，表示学生左手或右手的第i个手指处于伸出当未完全伸直的状态；
[0102]
步骤s3013，利用下面公式(3)，根据学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态，确定学生当前的手部动作是否属于调整视频的音量和视频的画面亮度的动作，
[0103][0104]
在上述公式(3)中，δ表示学生当前的手部动作是否属于调整视频的音量和视频的画面亮度的动作的判定值，sgn()表示符号函数，当括号内的数值为正数时，符号函数的结果为1，当括号内的数值为负数时，符号函数的结果为
‑
1，当括号内的数值为0时，符号函数的结果为0；
[0105]
当δ≠
‑
1时，表示学生当前的手部动作属于调整视频的音量和视频的画面亮度的动作；
[0106]
当δ＝
‑
1时，表示学生当前的手部动作不属于调整视频的音量和视频的画面亮度的动作。
[0107]
上述技术方案的有益效果为：学生在于多媒体教学终端进行手部动作互动的过程中，学生做出的手部动作并不是标准的手部动作，比如学生做出的手部动作上手掌掌心并不是完全向上或者完全向下的，若直接从动作影像中对学生手部进行图像识别，会无法精确的确定手部动作的掌心正反朝向以及手指伸出状态。利用上述公式(1)，能够以学生的手指与手掌连接处的指关节等价视为一个质点，并通过坐标变换的方式对学生的手掌掌心正反朝向进行准确的识别，这样能够有效避免手掌自身的厚度或者手掌掌心纹理的存在而影响识别的准确性。其次，利用上述公式(2)，能够对学生左手或者右手的每个手指的伸出状态进行有效识别，由于学生的手指可能处于将伸未伸的的弯曲状态，此时通过直接的图像识别方式可能会导致识别误差，而上述公式(2)以手掌掌心坐标和手指指尖坐标为基础，对每个手指进行理想化的坐标分析，从而大大降低识别误差发生的概率。最后、利用上述公式
(3)，则对学生当前的手部动作进行进一步的分析，以此将学生在互动过程中作出的无意识手部动作(比如挠痒等)进行剔除，从而避免无意识手部动作对多媒体教学终端产生误触发。
[0108]
参阅图2，为本发明实施例提供的基于手势识别的多媒体教学系统的结构示意图。该基于手势识别的多媒体教学系统包括声音信息采集与分析模块、多媒体教学终端显示状态控制模块、学生动作影像拍摄模块，动作影像分析模块和显示界面视频显示参数调整模块；其中，
[0109]
该声音信息采集与分析模块用于采集多媒体教学终端所处环境四周的声音信息；分析该声音信息后得到该声音信息对应的声音强度分布信息以及识别该声音信息对应的语义信息；
[0110]
该多媒体教学终端显示状态控制模块用于根据该语义信息，控制多媒体教学终端显示界面的显示状态；
[0111]
该学生动作影像拍摄模块用于根据该声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据该相对位置，拍摄学生在观看显示界面过程中的动作影像；
[0112]
该动作影像分析模块用于分析该动作影像，确定学生的左手动作状态和右手动作状态；
[0113]
该显示界面视频显示参数调整模块用于根据该左手动作状态，调整显示界面当前显示的视频的音量；根据该右手动作状态，调整显示界面当前显示的视频的画面亮度。
[0114]
上述技术方案的有益效果为：该基于手势识别的多媒体教学系统通过采集多媒体教学终端所处环境的声音信息，以此确定是否唤醒多媒体教学终端显示界面是否进行显示以及确定学生与显示界面之间的相对位置，再拍摄学生的动作影像来确定学生的左右手手势状态，从而以左右手手势状态为基准分别调整显示界面当前显示的视频的音量和显示界面当前显示的视频的画面亮度，这样能够便于学生在专注观看多媒体教学视频的同时快速和便捷地调整多媒体教学视频的显示状态，从而改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。
[0115]
优选地，该声音信息采集与分析模块用于采集多媒体教学终端所处环境四周的声音信息；分析该声音信息后得到该声音信息对应的声音强度分布信息以及识别该声音信息对应的语义信息具体包括：
[0116]
利用麦克风阵列扫描收集多媒体教学终端所处环四周方向的声音信息；并对该声音信息进行卡尔曼滤波处理，从而剔除该声音信息包含的背景噪声；
[0117]
对该声音信息进行声音强度波形分析，从而提取得到该声音信息对应的声音强度波峰分布；对该声音信息进行语义识别，从而提取得到该声音信息对应的语义信息；
[0118]
以及，
[0119]
该多媒体教学终端显示状态控制模块用于根据该语义信息，控制多媒体教学终端显示界面的显示状态具体包括：
[0120]
将该语义信息与预设存储的语义关键词进行比对；若该语义信息不包含该语义关键词，则控制多媒体教学终端显示界面处于休眠黑屏状态；若该语义信息包含该语义关键词，则控制多媒体教学终端显示界面处于点亮工作状态。
[0121]
上述技术方案的有益效果为：在ar设备或者投影设备等多媒体教学终端工作过程中，学生可能处于多媒体教学终端显示界面的不同方向位置处(比如在显示界面的正南方位或者东北方位)，此时利用麦克风阵列扫描收集多媒体教学终端所处环四周方向的声音信息，能够全面地和准确地收集来自学生的语音声音。
[0122]
由于来自学生的语音信息能够包含不同的语义信息，通过对该语音信息进行语义识别，继而通过语义关键词验证的方式控制多媒体教学终端显示界面的开关与否。在实际操作中，该语义关键词可为但不限于是“显示启动”，当该语义信息包含“显示启动”这一关键词时，则将多媒体教学终端显示界面点亮以使显示界面能够显示相应的视频，当该语义信息不包含“显示启动”这一关键词时，则将多媒体教学终端显示界面熄灭，这样能够保证多媒体教学终端能够进入不同的显示模式。
[0123]
优选地，该学生动作影像拍摄模块用于根据该声音强度分布信息，确定学生与多媒体教学终端显示界面之间的相对位置；根据该相对位置，拍摄学生在观看显示界面过程中的动作影像具体包括：
[0124]
提取声音强度波峰分布中具有最大半波峰值的声音强度波峰；并确定最大半波峰值的声音强度波峰出现时，在扫描收集声音信息过程中对应的声音扫描收集方位，从而将该声音扫描收集方位作为学生相对于多媒体教学终端显示界面的方位朝向；
[0125]
确定学生相对于多媒体教学终端显示界面的方位朝向与多媒体教学终端显示界面正前方的法线方向之间的方向夹角；并将该方向夹角与预设夹角阈值进行比对；
[0126]
若该方向夹角小于或等于预设夹角阈值，则通过摄像头直接拍摄学生在观看显示界面过程中的动作影像；若该方向夹角大于预设夹角阈值，则指示学生移动至显示多媒体教学终端显示界面正前方后、通过摄像头直接拍摄学生在观看显示界面过程中的动作影像。
[0127]
上述技术方案的有益效果为：当学生从某一方位位置(比如正南方位)向多媒体教学终端发出语音声音时，在相应的扫描收集声音信息的过程中，当扫描到学生所处的方位位置(比如正南方位)时，收集到的声音信息对应的声音强度波峰具有最大半波峰值。基于上述过程，从声音强度波峰分布中提取具有最大半波峰值的声音强度波峰，并确定最大半波峰值的声音强度波峰出现时，在扫描收集声音信息过程中对应的声音扫描收集方位，就能够准确快速地确定学生相对于多媒体教学终端显示界面的方位朝向。
[0128]
若定学生相对于多媒体教学终端显示界面的方位朝向与多媒体教学终端显示界面正前方的法线方向之间的方向夹角过大，则表明学生所处位置偏离严重偏离显示界面正前方的法向方向，此时需向学生反馈相应的语音提示消息使学生移动到显示界面的前方，以便于对学生的手部动作进行全面的拍摄。
[0129]
优选地，该动作影像分析模块用于分析该动作影像，确定学生的左手动作状态和右手动作状态具体包括：
[0130]
从该动作影像中识别得到学生左手和右手各自的掌心正反朝向以及左手和右手各自的手指伸出状态；
[0131]
以及，
[0132]
该显示界面视频显示参数调整模块用于根据该左手动作状态，调整显示界面当前显示的视频的音量；根据该右手动作状态，调整显示界面当前显示的视频的画面亮度具体
包括：
[0133]
若确定学生的左手的掌心朝上，则保持显示界面当前显示的视频的音量不变；若确定学生的左手的掌心朝下并且左手所有手指均未伸出，则降低显示界面当前显示的视频的音量；若确定学生的左手的掌心朝下并且左手所有手指均伸出，则提高显示界面当前显示的视频的音量；
[0134]
若确定学生的右手的掌心朝上，则保持显示界面当前显示的视频的画面亮度不变；若确定学生的右手的掌心朝下并且右手所有手指均未伸出，则降低显示界面当前显示的视频的画面亮度；若确定学生的右手的掌心朝下并且右手所有手指均伸出，则提高显示界面当前显示的视频的画面亮度。
[0135]
上述技术方案的有益效果为：通过学生左手和右手各自的动作姿势来分别控制显示界面当前显示的视频的音量和画面亮度，这样有别于采用同一手部的动作姿势来分别控制音量和画面亮度，这样能够帮助学生明显区分控制音量和画面亮度的动作姿势以及有效避免学生混淆音量和画面亮度控制手势的情况，从而大大改善多媒体教学手势识别的可靠性和准确性。
[0136]
从上述实施例的内容可知，该基于手势识别的多媒体教学方法与系统通过采集多媒体教学终端所处环境的声音信息，以此确定是否唤醒多媒体教学终端显示界面是否进行显示以及确定学生与显示界面之间的相对位置，再拍摄学生的动作影像来确定学生的左右手手势状态，从而以左右手手势状态为基准分别调整显示界面当前显示的视频的音量和显示界面当前显示的视频的画面亮度，这样能够便于学生在专注观看多媒体教学视频的同时快速和便捷地调整多媒体教学视频的显示状态，从而改善多媒体教学的调整便捷性以及提高多媒体教学的用户体验。
[0137]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。