一种可视化教育教学分析方法、系统及存储介质与流程

本发明涉及可视化教育教学，具体而言，涉及一种可视化教育教学分析方法、系统及存储介质。

背景技术：

1、随着社会和科技的发展，人们对精神层面的要求就越来越高，而教育是能提高人的精神涵养的一种方法，因此，国家提倡全民教育，并大力建设教育基础设施，教育的形式也随之发生转变，近年来，线上授课不受时间空间地点的限制，同时也便于学生和教师进行沟通和交流，同时也可以观看回放来进一步复习自己不懂的知识点，越来越多的教师选择线上授课，但是存在部分学生有听觉能力或者说话能力的缺陷，如若聋哑学生在上课时的回答问题的质量无法得到保证，则会影响教师对聋哑学生的课题掌握度的判断，进而不利于聋哑学生的线上学习，因此，需要对聋哑学生的回答问题的质量进行分析。

2、现有的聋哑学生回答问题的质量分析存在以下缺陷：(1)现有的聋哑学生回答问题的质量分析大多是根据聋哑学生的手语表达文本或者唇语表达文本进行分析，分析维度比较单一，一方面可能存在聋哑学生的手语表达文本分析不精确的现象，进而将其作为聋哑学生的表述语言，从而无法真正反映出聋哑学生回答问题的质量，另一方面也有可能存在聋哑学生的唇语表达文本分析不精确的现象，进而将其作为聋哑学生的表述语言，从而导致聋哑学生回答问题质量分析的可靠性不高，综上所述，现有技术的分析方法无法为聋哑学生回答问题的质量分析提供强有力的数据支持。

3、(2)现有对聋哑学生手语表达文本进行分析，大多是根据聋哑学生手部形状进行分析，然而聋哑学生手部大小、形状和胖瘦大都不一致，进而导致聋哑学生手语表达文本分析结果准确性不高，对聋哑学生手语表达文本分析的针对性不强，从而影响聋哑学生手语表达文本分析结果的后续分析，降低了聋哑学生回答问题质量分析结果的精确性。

技术实现思路

1、为了克服背景技术中的缺点，本发明实施例提供了一种可视化教育教学分析方法、系统及存储介质,能够有效解决上述背景技术中涉及的问题。

2、本发明的目的可以通过以下技术方案来实现：本发明第一方面提供了一种可视化教育教学分析方法，该方法包括以下步骤：s1、聋哑学生手部动作和唇部动作采集：通过移动设备在聋哑学生各次回答问题时采集聋哑学生的手部动作视频和唇部动作视频。

3、s2、聋哑学生表达文本分析：基于采集的聋哑学生各次回答问题时的手部动作视频和唇部动作视频分别分析聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本。

4、s3、聋哑学生表达文本匹配度分析：基于聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，进而分析聋哑学生各次回答问题时对应的标准表达语言。

5、s4、聋哑学生回答问题质量分析：根据聋哑学生各次回答问题时对应的标准表达语言与标准答案评估聋哑学生各次回答问题时对应的质量系数。

6、在一种可能的设计中，所述聋哑学生各次回答问题时对应的手语表达文本，其具体分析方法为：s211：从云数据库中提取各手语表达文本对应的手部动作视频，并将各手语表达文本对应的手部动作视频按照预设的视频帧数划分为各手部动作子图片，进而得到各手语表达文本对应的各手部动作子图片。

7、s212：根据各手语表达文本对应的各手部动作子图片提取手部轮廓，并获取各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点。

8、s213：将各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点相连接的手部轮廓线条进行连接，进而得到各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点的弯曲角度，并将其标记为tqpjx，其中p＝1,2,...,q，j表示为各手部动作子图片的编号，j＝1,2,...,k，x表示为各关节点的编号，x＝1,2,...,y。

9、s214：将采集的聋哑学生各次回答问题时的手部动作视频均匀划分为各段手部动作视频，并按照设定的视频帧数将各段手部动作视频划分为各手部图片，并将其标记为各待分析图片，进而得到聋哑学生各次回答问题时各段手部动作视频所属各待分析图片。

10、s215：同理，获取聋哑学生各次回答问题时各段手部动作视频所属各待分析图片内手部轮廓的各关节点的弯曲角度，并将其标记为wqiamx，其中i表示为各次回答问题时的编号，i＝1,2,...,n，a表示为各段手部动作视频的编号，a＝1,2,...,b，m表示为各待分析图片的编号，m＝1,2,...,l。

11、s216：将聋哑学生各次回答问题时各段手部动作视频所属各待分析图片内手部轮廓的各关节点的弯曲角度与各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点的弯曲角度进行对比，进而分析聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段手部动作视频所属第m个待分析图片与第p个手语表达文本对应的第j个手部动作子图片的匹配度，y表示为关节点的数量。

12、s217：将聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度分别和预设的匹配度阈值进行对比，进而统计聋哑学生各次回答问题时各段手部动作视频所属目标图片的数量，并将其标记为slia。

13、s218：统计各手语表达文本对应的手部动作子图片的总数量，并结合聋哑学生各次回答问题时各段手部动作视频所属目标图片的数量、聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度分析聋哑学生各次回答问题时各段手部动作视频与各手语表达文本的匹配系数，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段手部动作视频与第p个手语表达文本的匹配系数，ssp表示为第p个手语表达文本对应的手部动作子图片的总数量,ad表示为预设的匹配度阈值，k表示为手部动作子图片的数量，l表示为待分析图片的数量。

14、s219：基于聋哑学生各次回答问题时各段手部动作视频与各手语表达文本的匹配系数，筛选聋哑学生各次回答问题时各段手部动作视频对应最大匹配系数的手语表达文本，并将其作为聋哑学生各次回答问题时各段手部动作视频的手语表达文本。

15、s2110：将聋哑学生各次回答问题时各段手部动作视频的手语表达文本进行拼接，进而得到聋哑学生各次回答问题时对应的手语表达文本。

16、在一种可能的设计中，所述聋哑学生各次回答问题时对应的唇语，其具体分析方法为：s221：从云数据库中提取各唇语表达文本对应的唇部动作视频，并将各唇语表达文本对应的唇部动作视频按照预设的视频帧数划分为各唇部动作子图片，进而得到各唇语表达文本对应的各唇部动作子图片。

17、s222：从各唇语表达文本对应的各唇部动作子图片中提取唇部轮廓。

18、s223：将采集的聋哑学生各次回答问题时的唇部动作视频均匀划分为各段唇部动作视频，并按照设定的视频帧数将各段唇部动作视频划分为各唇部动作图片，并将其标记为各待解析图片，进而得到聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片。

19、s224：将聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓进行等比例处理。

20、s225：将进行等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语表达文本对应的各唇部动作子图片内的唇部轮廓进行重合对比。

21、s226：获取等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语表达文本对应的各唇部动作子图片内的唇部轮廓的重合面积，并将其标记为其中a表示为各段唇部动作视频的编号，a＝1,2,...,b，m表示为各待解析图片的编号,m＝1,2,...,l，u表示为各唇语表达文本的编号,u＝1,2,...,r，j表示为各唇部动作子图片的编号,j＝1,2,...,k。

22、获取等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓面积，并将其标记为mjuj。

23、从而据此分析聋哑学生各次回答问题时各段唇部动作视频与各唇语表达文本的匹配系数，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段唇部动作视频与第u个唇语表达文本的匹配系数，l、k分别表示为待解析图片的数量、唇部动作子图片的数量。

24、s227：基于聋哑学生各次回答问题时各段唇部动作视频与各唇语表达文本的匹配系数，筛选聋哑学生各次回答问题时各段唇部动作视频对应最大匹配系数的唇语表达文本，并将其作为聋哑学生各次回答问题时各段唇部动作视频的唇语表达文本。

25、s228：将聋哑学生各次回答问题时各段唇部动作视频的唇语表达文本进行拼接，进而得到聋哑学生各次回答问题时对应的唇语表达文本。

26、在一种可能的设计中，所述聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，其具体分析方法为：s311：根据聋哑学生各次回答问题时的手语表达文本和唇语表达文本构建聋哑学生各次回答问题时对应的手语表达文本关键字集合和唇语表达文本关键字集合，并将其分别标记为ei、fi。

27、s312：将聋哑学生各次回答问题时对应的手语表达文本关键字集合和唇语表达文本关键字集合进行匹配对比，并据此分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，其计算公式为：其中表示为聋哑学生第i次回答问题时手语表达文本与唇语表达文本的匹配度。

28、在一种可能的设计中，所述分析聋哑学生各次回答问题时对应的标准表达语言，其具体分析方法为：s321：将聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度和预设的聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值进行对比，若聋哑学生某次回答问题时手语表达文本与唇语表达文本的匹配度大于或等于聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值，则将聋哑学生该次回答问题时的手语表达文本作为聋哑学生该次回答问题时对应的标准表达语言。

29、s322：若聋哑学生某次回答问题时手语表达文本与唇语表达文本的匹配度小于聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值，则进行以下分析：获取聋哑学生该次回答问题时各段手部动作视频与各手语表达文本的匹配系数、各段唇部动作视频与各唇语表达文本的匹配系数，并据此分析聋哑学生该次回答问题时手部动作视频与手语表达文本的平均匹配系数、唇部动作视频与唇语表达文本的平均匹配系数，从而得到聋哑学生该次回答问题时对应的标准表达语言。

30、s323：获取聋哑学生各次回答问题时对应的标准表达语言。

31、在一种可能的设计中，所述聋哑学生各次回答问题时对应的质量系数的具体分析方法为：根据聋哑学生各次回答问题时对应的标准表达语言和云数据库中存储的各次回答问题时的标准答案构建聋哑学生各次回答问题时对应的标准表达语言关键字集合和各次回答问题时的标准答案关键字集合，并将其分别标记为qai、dai,进而分析聋哑学生各次回答问题时对应的质量系数，其计算公式为：其中zli表示为聋哑学生第i次回答问题时对应的质量系数。

32、本发明第二方面提供了一种可视化教育教学分析系统，包括：聋哑学生手部动作和唇部动作采集模块：通过移动设备在聋哑学生各次回答问题时采集聋哑学生的手部动作视频和唇部动作视频。

33、聋哑学生表达文本分析模块：基于采集的聋哑学生各次回答问题时的手部动作视频和唇部动作视频分别分析聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本。

34、聋哑学生表达文本匹配度分析模块：基于聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，进而分析聋哑学生各次回答问题时对应的标准表达语言。

35、聋哑学生回答问题质量分析模块：根据聋哑学生各次回答问题时对应的标准表达语言与标准答案评估聋哑学生各次回答问题时对应的质量系数。

36、云数据库：存储各手语表达文本对应的手部动作视频，存储各唇语表达文本对应的唇部动作视频，并存储各次回答问题时的标准答案。

37、本发明第三方面提供了一种可视化教育教学分析存储介质，所述存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现本发明所述的可视化教育教学分析方法。

38、相对于现有技术，本发明的实施例至少具有如下优点或有益效果：(1)本发明的聋哑学生回答问题的质量分析，不仅对聋哑学生的手语表达文本进行分析，而且对聋哑学生的唇语表达文本进行分析，弥补了现有技术中心分析维度单一的缺陷，本发明通过分析聋哑学生的手语表达文本和唇语表达文本，进而分析聋哑学生手语表达文本和唇语表达文本的相似度，此方法可以有效避免存在聋哑学生的手语表达文本不精确或唇语表达文本不精确的现象，进而降低了将聋哑学生的单一手语表达文本或单一唇语表达文本作为聋哑学生的表述语言的出错率，提高了聋哑学生回答问题质量分析的可靠性，综上所述，本发明可以为聋哑学生回答问题的质量分析提供强有力的数据支持。

39、(2)本发明对聋哑学生的手语表达文本进行分析时，对聋哑学生手部关节点的弯曲角度进行分析，进而避免出现因聋哑学生手部大小、形状和胖瘦不一致而导致聋哑学生手语表达文本分析不精确的现象，从而提高了聋哑学生手语表达文本分析结果的准确性，克服了现有技术中对聋哑学生手语表达文本分析针对性不强的难题，从而为聋哑学生手语表达文本分析结果的后续分析奠定了坚实的基础，提高了聋哑学生回答问题质量分析结果的精确性。