基于手势的交互式教学方法及交互系统与流程

本发明涉及一种智能教学技术领域，特别涉及一种基于手势的交互式教学方法及交互系统。

背景技术：

目前，在很多教学系统中，虽然多媒体已得到广泛应用，但多数教室仍然是教师在讲台通过音视频等方式授课，学生在座位上听的灌输学习模式，其技术手段和教学系统仍然缺乏老师与学生的教学互动有效途径，即课堂上缺乏师生信息的实时互动交流。随着WiFi技术的发展和普及，在同一WiFi网络中的传输速度和响应速度可以满足互动的实时性要求，为增强课堂上的实时互动效果，出现了基于WiFi的教学系统，如CN 104933916 A公布了一种互动教学系统，包括通过教师移动终端、学生终端、计算机、投影仪，学生终端可通过红外信号与教师移动终端连接，教师移动终端通过WiFi与计算机连接，计算机再与投影仪连接。该技术方案能够实现教师与学生之间的多媒体互动，同时还能实时的在投影仪上显示出来，实现了高效率教学。但该技术方案需要学生购买和携带采用光学识别技术的点读笔、点读板套件的学生终端，增加学生开支，此外该系统学生端需要在特定区域进行点按按钮来执行相应指令，若特定区域的触摸感应器出现问题则无法执行该指令，因此使用不方便。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于手势的交互式教学系统及交互方法。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种交互式教学系统方法，学生在智能终端客户端输入手势，建立手势模板库；通过输入手势与教师机进行互动，所述手势包括“上传”、“截取”、“下载”、“清除”、“提问”；所述建立手势模板库包括如下步骤：

S1，手势采集模块对学生在智能终端输入的手势数据进行加速度采集，即利用智能终端设备自身的加速度传感器，通过自然方式握持智能终端来采集手势的整体运动数据；

S2，利用手势采集模块对所述手势数据进行预处理，得到去噪后的手势样本数据以及手势的起点和终点；

S3，利用手势采集模块对所述手势数据进行特征值提取，得到手势样本模板；

S4，手势采集模块建立手势样本模板，即通过设定手势功能统一存储手势样本模板，利用手势采集模块存储手势样本模板，并存入手势库中，用于匹配相应手势功能；

S5，手势采集模块对手势模板进行自适应处理；所属自适应处理步骤包括：首先通过手势采集模块计算出手势样本模板并同手势库中所有手势样本模板进行计算，然后匹配最相近的手势样本；

S6，学生对所述录入手势模板中各手势进行自定义命名，对应模板中预置的手势功能，所述预置的手势功能包括“上传”、“截取”、“下载”、“清除”、“提问”；所述互助式教学方法包括如下步骤：

S7，教师机播放教学内容并将播放内容传输至服务器，所述服务器将播放内容传输至学生的智能终端；

S8，学生通过投影屏幕得到老师播放的实时的教学信息；

S9，学生通过所述智能终端与老师机进行交流时，进行手势操作，智能终端手势采集模块对录入手势的加速度数据进行采集；

S10，手势识别解析模块将学生输入的手势与样本手势进行匹配，当匹配成功时，将手势解析成指令并发送至服务器，服务器发送给教师机，教师机根据指令做出响应和学生互动；所述互动包括如下步骤之一或者组合：

“上传”：学生在所述智能终端上输入“上传”手势，由手势采集模块采集，并传递给手势识别和解析模块，将所述手势与预定义的手势进行匹配，匹配成功后，将储存在智能终端中的作业传输至教师机的教师客户端，显示在教师为其分配的显示区域，并通过投影仪投射到屏幕上；

“截取”：学生在所述智能终端上输入“截取”手势，由手势采集模块采集，并传递给手势识别解析模块，将所述手势与预定义的手势进行匹配，匹配成功后，截取智能终端当前显示内容并以图片方式保存在智能终端中；

“下载”：学生在所述智能终端上输入“下载”手势，由手势采集模块采集，并传递给手势识别解析模块，手势识别解析模块将采集的手势与预定义的手势进行匹配，匹配成功后，截取教师机当前播放的教案下载并保存到智能终端中；

“抢答”：采用如下两种方法之一：

(一)、学生用纸质工具完成练习后，学生在所述智能终端上输入“截取”手势，由手势采集模块采集，并传递给手势识别解析模块，手势识别解析模块将采集的手势与预定义的手势进行匹配，匹配成功后传输给教师机，通过“抢答”手势在教师机获取分享空间；

(二)、学生使用智能终端对解题过程进行拍照，然后选定要上传的相应的图片进行上传，利用预定义的“上传”手势进行上传操作，使用“清除”手势进行清除操作并重新上传；

“清除”：学生在所述智能终端客户端输入“清除”手势，由手势采集模块采集，并传递给手势识别解析模块，将所述手势与预定义的手势进行匹配，匹配成功后，解析模块将手势解析为指令并传输至教师机，将教师机为其分配显示空间内的文件删除。

“提问”：学生在所述智能终端客户端输入“提问”手势，由手势采集模块采集，并传递给手势识别和解析模块，将所述手势与预定义的手势进行匹配，匹配成功后，所述手势识别和解析模块将手势解析为指令并传输至教师机，老师同意后，学生的问题将显示在教师为其分配的显示区域，并通过投影仪投射到屏幕上。

学生通过自定义手势建立模板并通过手势与教师之间进行互动，增加了课堂的活跃度和教学环节的参与度，同时手势操作简单方便，智能终端易于携带。

所述步骤S2，用户对所采集的手势进行预处理的具体步骤为：

S21，将智能终端的加速度传感器采集到的数据流进行数据转换，转换成为标准的样本手势数据，通过智能终端的加速度传感器采集到样本手势从开始到结束过程中每个时刻在三维空间中3个方向的加速度，将这些数据保存为一个nx3矩阵A，3列分别表示X轴、Y轴、Z轴的加速度采样数据，其中{a_xi，a_yi，a_zi}值对应第i个采样的时间点的三轴加速度的值；该加速度数据的矩阵形式A为

用A[a～b]表示从第a个采样点到第b个采样点的所有序列值，共b-a+1个矩阵；

S22，进一步处理标准的样本手势数据，通过均值滤波的方法对加速度数据进行平稳降噪处理，其表达式为

a[i]′代表当前i时刻的加速度通过均值滤波得到的加速度，即通过把连续的n个加速度，包括当前i时刻及它之前n-1时刻的加速度之和的平均值来代替表示当前加速度，数据包括X轴、Y轴、Z轴的加速度值。由表达式计算得到a[i]′，由a[i]′组成新的加速度序列数据A′，同时获取手势位移的起点i_start和终点i_end，生成一个完整的加速度序列数据，，加速度序列为A′[i_start，i_end]。

采用均值滤波方法对采集的手势数据进行预处理，减少了噪声数据，平滑图像，增加图像的连续性，且算法快速简单。

手势采集模块进行特征值提取，所述特征值包括手势的位移量和旋转角度，所述提取步骤包括：

通过计算手势加速度的位移量，从加速度序列数据得到加速度时间序列，即手势样本模板，其表达式为

首先f(a_i)代表将矩阵A三轴加速度数据，a_ix代表对应第i个采样的时间点的x轴加速度的值，a_iy代表对应第i个采样的时间点的y轴加速度的值，a_iz代表对应第i个采样的时间点的z轴加速度的值，通过f(a_i)将矩阵A合成到一个序列中，其中min{f(a_i)}和max{f(a_i)}分别代表f(a_i)计算序列中的最小值和最大值，g(A)对序列进行分割得到有效手势动作对应的时间序列，g(a_i)为所述序列中的第i个元素。

该方法结合提取手势的位移量和旋转角度作为特征值，有利于提高提取动态手势的准确性。

在本发明的一种优选实施方式中，所述步骤S10中所述学生智能终端的手势识别解析模块将各种手势动态地规整到一个固定的时间长度，算法中计算手势之间的距离公式：

D(i，j)＝distance(i，j)+min{D(i-1，j-1)，D(i-1，j)，D(i，j-1)}

其中D为代价矩阵，D(i，j)表示长度分别为i和j的两个时间序列之间的归整路径距离，distance(i，j)为i与j时间序列之间的距离(或误差距离)；

从所述智能终端加速度传感器的数据流中找出样本手势，之后计算采集的手势与手势库的所有手势之间的距离，然后找一个距离最近的手势库中的手势来进行确认，当采集的手势小于手势库中的手势界限时，采集的手势会被识别，并根据所识别手势代表的功能解析发送指令到服务器的通讯模块。

该方法消除了采集手势时时间长度的不一致性，通过DTW方法原理有效的计算两个时间序列之间的距离，准确的识别出与录入手势相匹配的模板。

在本发明的另一种优选实施方式中，服务器在显示新内容时向学生客户端发送更新讯号。使学生得到最新的教学更新内容提醒，进行及时更新。

在本发明的另一种优选实施方式中，允许同时让一个以上学生以手势上传文件，教师机有多个分享空间，教师机在接收多名学生的上传请求后将分派空间的指令发送给教师机的显示模组，分派分享空间并对已分派的空间进行控制，教师机可以对学生当前的分配空间进行清除操作和禁用操作。

让一个以上学生共同上传文件，教师机对所述文件同时进行管理，让更多的学生同时参与到教学互助活动中，提高了教学效率。

为了实现本发明的上述目的，根据本发明的第二个方面，一种交互式教学系统，包括学生智能终端、服务器、教师机、投影仪和屏幕，所述教师机和/或服务器与投影仪相连接，教师机、学生智能终端均与服务器连接实现通信；其特征在于：

所述交互式教学系统利用权利要求1-7之一所述的方法运行；

所述学生智能终端包括：手势采集模块、手势识别解析模块所述手势采集模块包括加速度感应器，所述手势采集模块采集手势信息并传输至手势识别解析模块，所述手势识别解析模块进行识别解析将结果传输至服务器通讯模块；

所述服务器包括通讯模块，所述通讯模块用于服务器与学生智能终端和教师机之间的通讯数据和操作指令的传输；所述教师机包括教学互动模块和显示模组，所述教学互动模块通过服务器通讯模块与学生智能终端进行双向交互，即经服务器通讯模块向指定数量学生智能终端同时发送和接收指令或信息，或根据服务器传递的指令或信息作出响应；所述显示模组为可分为一个以上显示区域的显示屏幕，当所述请求包括“上传”、“抢答”、“提问”时，教学过程互动模块接收到服务器端的操作指令后，为所述请求分配相应的显示区域；

当手势进行预定义时，所述手势识别模块在手势第一次录入时候通过终端加速感测器将所述手势作为手势模板储存；当学生在客户端通过手势与教师机进行交互时，手势采集模块采集手势并传输至手势识别解析模块，所述手势识别解析模块将采集到的手势与手势模板进行匹配，通过后发出操作指令，经WiFi网络传输至服务器端通讯模块；服务器端的通讯模块将所述操作指令转发至教师机的教学过程互动模块，所述教师机进行相应的操作后，由教学过程互动模块发出指令或者信息经服务器通讯模块和WiFi网络发送至学生智能终端完成指令或信息交互。

所述教师机客户端包括一个抢答界面，所述抢答界面包括一个“开始抢答”按钮，点击进入抢答界面后，老师未点击“开始抢答”按钮，学生在智能终端客户端做“抢答”手势将解答内容传输至教师机客户端将被客户端教学互动模块直接拒绝；老师点击“开始抢答”按钮后，学生学生在智能终端客户端做“抢答”手势，经手势识别和解析模块匹配成功后将解答文件传输至教师机客户端，教师机客户端接收到文件后，显示模组为学生分配分享空间，将其提交的作业显示在分享空间中，并通过与教师机相连的投影仪投射到屏幕上。在抢答过程中，学生重新提交作业时，先在智能终端用“清除”手势删除该终端上一次上传的文件再使用“上传”手势重新上传。

所述“上传”和“抢答”手势所提交的文件包括在纸质材料上写好，经拍照后以图片格式保存在智能终端的文件和通过“截屏”手势获取的图片。所述手势采集模块为智能终端上的按钮触发。教师通过教师机选择播放的内容，包括PPT格式。所述教师机终端允许同时让一个以上学生以手势上传图片，教师机屏幕有大于一个分享空间，教师机客户端在接受多名学生的上传请求后将分派空间的指令发送给教师机的显示模组，分派分享空间并对已分派的空间进行控制，教师机可以对学生当前分配的显示空间进行清除操作和禁用操作。

本发明效果：该系统利用了学生日常生活中常用的智能终端，包括智能手机、平板电脑，安装客户端即可使用，省去了额外购买专属终端设备的开销，节约了成本，方便携带；利用手势识别技术通过WiFi路由器传输，和服务器以及教师机进行实时互动，操作简单方便且个性化，提高了教学效率。

附图说明

图1为本发明提供的基于WiFi的手势交互式教学系统示意图；

图2是根据本发明的手势控制系统处理流程图；

图3为本发明提供的基于WiFi的手势交互式教学系统模块示意图；

图4为本发明提供的抢答环节流程图。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

实施例一参见图1、图2，包括WiFi路由器、学生智能终端、路由器、服务器、教师机、投影仪、屏幕、Internet网络；所述教师机中安装有教师客户端，所述学生智能终端上安装有学生客户端，教师机和学生智能终端采用Wifi路由器相互通信连接，教师机和投影仪相连接，教师机和学生智能终端通过WiFi路由器连接Internet网络，与数据库和服务器进行连接通信；教师上课阶段使用教师客户端，学生的上课使用学生客户端。

参见图1、图2结合图3，学生登录学生客户端后，第一次使用时，首先需要录入手势模板，由智能终端上的按钮触发智能终端自身的加速度传感器的开始和结束，按下按钮表示执行一个手势动作，释放按钮表示一个动作结束，手势数据由手势采集模块对学生在智能终端输入的手势数据进行加速度采集，即利用智能终端设备自身的加速传感器，通过自然方式握持智能终端来采集手势的整体运动数据。

然后利用手势采集模块对所述手势数据进行预处理，具体步骤为：将智能终端的加速度传感器采集到的数据流进行数据转换，转换成为标准的样本手势数据，并进一步处理标准的样本手势数据，通过均值滤波的方法对加速度数据流进行平稳降噪处理，数据包括X轴、Y轴、Z轴的加速度值，并进一步压缩原加速度序列数据，获取手势位移的起点和终点，重新生成一个新的加速度序列数据；得到去噪后的手势样本数据以及手势的起点和终点。

接下来利用手势采集模块对所述手势数据进行特征值提取，特征值包括手势的位移量和旋转角度，首先计算手势的位移量，然后根据从加速度序列数据得到手势位置偏移值序列，得到最终的手势样本模板。

以此方式利用手势采集模块建立多个手势样本模板，从而建立手势样本模板库，即通过设定手势功能统一存储手势样本模板，利用手势采集模块存储手势样本模板，并存入手势库中，用于匹配相应手势功能。

然后利用手势采集模块对手势模板进行自适应处理，即通过手势采集模块计算出手势样本模板并同手势库中所有手势样本模板进行计算，匹配最相近的手势样本。

用户需要定义两次以确定第一次定义是否正确，确认后，学生对所述录入手势模板中的各手势进行自定义命名，并有模板中预置的手势功能一一对应，所述预置的手势功能包括“上传”、“截取”、“下载”、“清除”、“提问”、“抢答”。

所述的教师机上播放老师事先准备的PPT格式的教案，通过与教师机相连的投影仪投放到大屏幕，教师机和学生智能终端通过WiFi网络及服务器相连，服务器通过无线多播技术发送教师机播放的内容实现实时传输，并且在更新发送教师机播放的内容时使用了两种方式，即通过多播数据的特性获取更新内容和通过服务器在显示新内容时发送更新讯号，提供了双重保障，学生在学生客户端采用“下载”手势，由手势采集模块采集，手势识别解析模块从感测器的数据流中找出样本手势之后用动态规则算法计算手势之间的距离，即将各种手势动态地规整到一个固定的时间长度，算法中计算手势之间的距离公式：

D(i,j)＝distance(i,j)+min{D(i-1,j-1),D(i-1,j),D(i,j-1)}

其中D为代价矩阵，D(i,j)表示长度分别为i和j的两个时间序列之间的归整路径距离，distance(i,j)为i与j时间序列之间的距离(或误差距离)；

从所述智能终端加速度传感器的数据流中找出样本手势，之后计算采集的手势与手势库的所有手势之间的距离，然后找一个距离最近的手势库中的手势来进行确认，当采集的“下载”手势小于手势库中的手势界限时，该手势会被识别为“下载”，并根据所识别手势代表的功能解析发送指令到服务器的通讯模块。手势识别和解析系统识别手势后根据相应的操作功能解析发送指令到服务器端通讯模块，通讯模块进行传输学生智能终端、服务器和教师机之间的通讯数据，所述传输方式为双向传输，即学生智能终端中包括手势定义、识别和管理，教学过程互动功能的应用软件通过与服务器的消息接收和发送同教师机进行操作指令的传输,服务器对教师机控制播放的内容进行无线多播，学生通过智能终端中的手势传递操作向服务器发送指令对教师机内容进行实时获取；通讯模块将“下载”指令发送至教师机教学互动模块，教师机的教学互动模块接收后转化为相应的“下载”操作，实时将教师机上的教案通过服务器通讯模块传输至学生智能终端，完成下载操作。

学生要提问时，在终端的学生客户端做“截取”的手势，由手势采集模块采集，手势识别解析模块从感测器的数据流中找出样本手势之后用动态规则算法计算手势之间的距离，然后找一个距离最近的手势库中的手势来进行确认，当采集的“截取”手势小于手势库中的手势界限时，该手势会被识别为“截取”，并根据所识别手势代表的功能解析发送指令到服务器的通讯模块，通讯模块传输指令并与教师机教学过程互动模块双向信息交互，即学生通过智能终端手势识别解析模块发送手势传递“截取”指令，服务器通讯模块传输该“截取”指令至教师机，教师机接收到信息后，有教学过程互动模块将当前教师机或屏幕上的数据经过服务器传输至学生智能终端，并以图片方式保存到智能终端中。然后学生使用“提问”手势，请求老师解答。手势识别解析模块确认后发送“提问”指令到服务器端通讯模块，服务器通知老师机客户端，老师机客户端接收到“提问”请求并发送同意消息接受“提问”请求，通过WiFi和服务器通讯模块传递至学生智能终端手势识别解析模块，同时教学过程互动模块为提问的学生在教师机屏幕上分配显示空间，将学生智能终端当前显示的问题同步到教师机屏幕上，进行现场解答。

实施例二为基于实施例一实现的基础上的一优选方案。参见图4，所述学生客户端的手势库里还有“抢答”手势，所述老师机客户端教学互动模块中有相应的“抢答”模块，教师客户端包含抢答界面，所述抢答界面包含一个“开始抢答”选项，老师在课堂上布置随堂练习，进入抢答界面，在点击“开始抢答”选项前，学生在客户端用“抢答”手势将会被教师客户端教学互动模块拒绝；当老师点击“开始抢答”后，学生在智能终端或者纸质材料上完成作业，通过学生客户端做出“抢答”手势，被手势识别解析模块与手势模板里的“抢答”模板匹配成功后，学生客户端的手势识别解析模块发送指令到服务器通讯模块，服务器通讯模块传输“抢答”指令至老师机的老师客户端，然后老师机客户端教学互动模块为抢答学生分配显示分享空间，学生将在终端完成的作业或者通过拍照将解答过程以图片格式储存在智能终端中的作业，通过“上传”手势将所述作业上传至教师客户端，显示在所分配的分享空间中，通过投影仪在屏幕上展现，,当学生要重新上传作业时，通过“清除”手势删除为其分配的显示空间中已上传的作业并重新上传。

教师客户端有分配指定数量(即指定抢答数量)分享空间并允许抢答的选项，老师机允许多个学生服务端终端通过WiFi路由器进行同时访问。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或/和等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。