一种课堂行为识别方法及设备与流程

本发明属于课堂行为识别技术领域，尤其涉及一种课堂行为识别方法及设备。

背景技术：

课堂行为智能识别，是实现课堂大数据采集和监测的基础性技术，其价值体现在教学测评、师资培养、学生个性化辅导等多个方面。一方面可记录教师真实的教学情况，并据此作为评教和自评的客观依据，以提升教师的教学能力；一方面能记录学生千差万别的个性、能力、学习习惯，对其进行人群画像，尽可能实现个性化的辅导，并对其成长状况进行长期监测。

目前国内进行课堂行为智能识别的技术，主要有基于“视频”和基于“音频”两种。当前涉及课堂教学行为识别的研究绝大多数基于视频，其中绝大多数又集中在“人体行为识别”方面，少数集中在“表情识别”方面。

也有极个别单纯基于语音识别技术，在实验室环境下使用音频转文本的方式进行教学行为识别。如基于课堂言语互动分析系统(fias)、基于信息技术的互动分析编码系统(itias)、言语互动分类系统(vics)、学生教师分析(s-t)的课堂行为识别系统，前人研究存在以下明显问题：第一，绝大部分研究集中于人体行为识别(肢体动作)，忽视了课堂教学行为互动的核心是言语互动，难以实现较好的识别效果；第二，单独使用图像识别或语音识别技术，能识别的行为种类都很有限，不能满足复杂的课堂教学行为识别要求；第三，教学环境比实验室环境更加复杂，特别是教学环境中的语音识别面临远场识别准确率低的巨大挑战，难以转换为有效文本。

技术实现要素：

(一)要解决的技术问题

针对现有存在的技术问题，本发明提供一种课堂行为识别方法及设备。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

一种课堂行为识别方法，其包括以下步骤：

针对不同的课堂行为进行编码形成编码表；

对课堂行为进行采集，根据编码表对课堂行为进行标注，形成模态训练数据，并对训练数据进行特征提取和特征拆分；

对提取和拆分的特征进行优化和压缩，基于深度学习技术，利用多模态训练数据训练得出课堂教学行为识别模型；

利用识别模型对课堂教学行为自动识别和数据化，给出神经网络的多层识别结果，并使用集成优化算法进行集成，实现课堂教学行为数据的采集；

通过大量课例的数据采集，得到课堂教学行为及互动常模体系，并构建系统自动对比常模生成监测结果。

优选的，课堂行为包括言语、动作、表情的互动。

优选的，针对语言的编码方法包括依据语音识别的结果，运用话语标记技术，说话人的言语互动行为会被详细划分为多种，并且每种言语互动行为均具有对应的标签。

优选的，语言互动行为包括教师行为和学生行为；

教师语言行为包括鼓励表扬、提问、讲授、指令、领读和批评；

学生语言行为包括应答、讨论和跟读。

优选的，言语互动行为标签包括针对不同言语互动行为常用的关键字和/或词语。

优选的，动作行为包括会从教师行走、教师站立、教师书写、教师做出指示手势、学生低头、学生抬头、学生站立、学生举手和学生书写。

优选的，表情行为包括教师说话、教师微笑、学生说话和学生微笑。

优选的，进行相关度优化和压缩的具体步骤；

使用tensorflow框架做深度学习的系统性训练、算法选择及参数调整的具体步骤。

优选的，采用摄像头进行课堂行为的识别。

一种计算机设备，其特征在于，包括存储器和处理器，存储器内存储有计算机程序，处理器执行计算机程序实现如以上所述的方法步骤。

(三)有益效果

本发明的有益效果是：本发明提供的课堂行为识别方法，课堂教学行为体现为师生、生生互动的行为，师生在互动中达成教学目标。互动的形式又是多种多样的，包括了言语互动、肢体互动、表情互动等，其中所有互动的核心，应当是言语互动。在教学过程中，言语互动是核心，表情、肢体动作等互动是辅助。把握住了这个关键，才能真正准确、高效地实现课堂教学行为大数据的采集和监测。因此，本申请是以课堂言语互动行为的识别(语音识别)为核心，以表情、动作识别(图像识别)为辅助的课堂教学行为自动识别及监测方法。

在使用语音识别技术采集言语互动行为大数据的过程中，以往的技术存在远场语音识别准确度不高的问题，本申请通过运用话语标记，编写识别规则体系，提高系统识别容错率的途径解决。将对训练数据进行特征提取与特征拆分，并对提取的特征进行相关度优化和svd压缩，使得拆分后的数据在识别方面具有更好的表现力、解释力、鲁棒性。

附图说明

图1为本发明具体实施方式提供的课堂行为识别方法的流程示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

如图1所示，本发明公开了一种课堂行为识别方法，其包括以下步骤：

针对不同的课堂行为进行编码形成编码表。

课堂行为包括语言、动作、表情的互动。

针对语言的编码方法包括依据语音识别的结果，运用话语标记技术，说话人的言语互动行为会被详细划分为多种，并且每种言语互动行为均具有对应的标签。

语言互动行为包括教师语言行为和学生语言行为。

教师语言行为包括鼓励表扬、提问、讲授、指令、领读和批评。

学生语言行为包括应答、讨论和跟读。

言语互动行为标签包括针对不同言语互动行为常用的关键字和/或词语。

如教师的表扬行为对应的关键词为好、棒、漂亮等表扬性的关键词或词语，当教师使用该类词语时判定教师在表扬学生。

具体的，本申请中根据此规则设置的语言互动行为标码表如以下所示：

在以上编码表中，编码2中(andnot[指令or提问or鼓励]indata(n-1))：包含上述关键词，且，上一个片段不是“指令、提问、鼓励”。

编码4中(“*/nr”intheend)：依托分词且标注词性的结果(需要研究分词api，可以后实现)最后一个词是表示人名的词，“nr”是自动分词软件自动标注的表示人名的词性代码。

编码6中(([指令or提问or鼓励]indata(n-1))andnot[跟读])：上一个片段是“指令、提问、鼓励”。

编码8中(3samewordsindata(n)anddata(n+1))：当前片段和下一个片段有3个词以上的重合。

编码9中(3samewordsindata(n)anddata(n-1))：当前片段和上一个片段有3个词以上的重合。

动作行为包括教师动作行为和学生动作行为；

教师动作行为包括教师行走、教师站立、教师书写、教师做出指示手势。

学生动作行为包括学生低头、学生抬头、学生站立、学生举手和学生书写。

针对动作行为同样会设置编码表，在制作动作行为编码表时，针对不同的动作行为设置对应的标签。

如老师行为对应的标签包括手臂摆动或脚步移动。

表情行为包括教师表情行为和学生表情行为

其中教师表情行为包括表情行为包教师说话和教师微笑；

学生表情行为包括学生说话和学生微笑。

针对动作行为同样会设置编码表，在制作表情行为编码表时，针对不同的表情行为设置对应的标签。

如教师说话对应的标签包括嘴唇开合。

对课堂行为进行采集，根据编码表对课堂行为进行标注，形成多模态训练数据，并对训练数据进行特征提取和特征拆分；

进行人工标注的具体方法、步骤为：

在得到真实的课堂教学视频资源以后，会组织人力基于新的编码系统，从言语、动作、表情的互动行为三个维度对资源进行人工标注。前三个维度的数据标注都是为了训练得到互动行为自识别模型。

语音方面，会基于语音识别的结果，进行人工修正，从而得到整个课堂的所有言语互动语料进行语言互动行为标注。

动作方面，会从教师行走、教师站立、教师书写、教师做出指示手势、学生低头、学生抬头、学生站立、学生举手、学生书写等方面对动作进行标注；表情方面，主要从教师说话、教师微笑、学生说话、学生微笑等方面进行表情标注。

训练数据的特征拆分主要分为两层，第一层是言语、动作、表情三类特征的数据，第二层是这三类特征的进一步拆分，语音方面，会基于语音识别的结果，进行人工修正，从而得到整个课堂的所有言语互动语料；动作方面，会从教师行走、教师站立、教师书写、教师做出指示手势、学生低头、学生抬头、学生站立、学生举手、学生书写等方面对动作进行标注；表情方面，主要从教师说话、教师微笑、学生说话、学生微笑等方面进行表情标注。

对提取和拆分的特征进行优化和压缩，基于深度学习技术，利用多模态训练数据训练得出课堂教学行为识别模型。

对提取的特征进行相关度优化和svd压缩，基于深度学习技术，使用tensorflow框架做深度学习的系统性训练、算法选择及参数调整，利用同时包括视频、音频的多模态训练数据训练得出课堂教学行为识别模型。

识别模型建立之后还包括对模型产出的数据进行几轮大规模人工复核及修正，用于模型的参数调整，使模型的识别正确率得到显著提升。

进行相关度优化和svd压缩的具体步骤；

使用tensorflow框架做深度学习的系统性训练、算法选择及参数调整的具体步骤。

利用识别模型对课堂教学行为自动识别和数据化，给出神经网络的多层识别结果，并使用集成优化算法进行集成，实现课堂教学行为数据的采集。

通过大量课例的数据采集，得到课堂教学行为及互动常模体系，并构建系统自动对比常模生成监测结果。检测结果生成方式：生成发展性评价与诊断性评价报告、图表的功能，实现课堂教学行为数据的监测。

以上结合具体实施例描述了本发明的技术原理，这些描述只是为了解释本发明的原理，不能以任何方式解释为对本发明保护范围的限制。基于此处解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。