一种机器人识别学生状态辅助课堂教学的方法及其装置与流程

文档序号:16088846发布日期:2018-11-27 22:46阅读:346来源:国知局

本发明属于机器人应用于教学领域,尤其涉及一种机器人识别学生状态辅助课堂教学的方法及其装置。



背景技术:

课堂教学行为是指老师在教学时的行为表现。在特定的教学情境下,老师根据自己的专业素养选择教学模式及自己扮演的角色,然后进行教学产生了教学行为,其主要是课堂授课人来凭自己的感觉来对课程进行教学。

机器人辅助教学是指作为教学媒体和工具为所进行的教与学活动提供服务的机器人,能起到助手、学伴、环境或者智能化感觉课堂气氛的器材。教育机器人作为学校课外活动的载体,可以使课外活动具有科学性和趣味性,同时能培养学生的创新精神、综合实践能力和协作能力。而在课堂应用中,能对课堂环境监测、帮助教师辅助学生学习,监控课堂的行为等还很少报道。

合理的利用机器人监测课堂教学行为能使我们更多了解课堂信息,对于老师更多把控课堂教学的方面有很重要的参考价值。所以机器人用于课堂教学有着重要的应用价值。

综上所述,现有技术存在的问题是:

现有课堂教学中,教师上课不能对学生状态进行完全了解,没有利用机器人对学生状态进行识别后先处理,协助教师教学;不能更有效的提高学生的学习效率。



技术实现要素:

针对现有技术存在的问题,本发明提供了一种机器人识别学生状态辅助课堂教学的方法及其装置。

本发明是这样实现的,一种机器人识别学生状态辅助课堂教学的方法,所述机器人识别学生状态辅助课堂教学的方法包括:

对于学生状态、教学行为进行知识积累并深度学习,构建出学生状态行为知识数据库;

提取出各个学生状态的特征值后,将所述特征值通过SVM分类器进行分类识别,并用数学统计方法得到感知状态权重法;通过视觉传感器识别得到真实的状态权重a%,动作传感器得到真实状态概率为b%,脑电传感器识别得到真实的状态权重c%,听觉传感器得到真实状态概率为d%;

再计算视觉传感器、动作传感器、脑电传感器、听觉传感器多个传感器得到的真实感知状态时总的概率为:F=m(a%+b%+c%+d%),其中F为总概率,m为多个传感器感知状态时的权重,m的值在训练学习中得到。

进一步,教学行为知识积累包括:教师在认知学生的实时状态下作出的课堂调整的数据库;所述课堂调整包括教师课堂节奏、语速语音的调整。

进一步,所述机器人识别学生状态辅助课堂教学的方法还包括:

通过脑电传感器感知出学生情绪数据、视觉传感器感知出学生人脸数据、动作传感器感知出学生手势与姿态数据、听觉传感器感知学生声音数据;

对得到的学生情绪数据、学生人脸数据、学生手势与姿态数据、学生声音数据进行处理分析而识别出学生的状态;

先将脑电传感器、视觉传感器、动作传感器、听觉传感器得到的数据进行过滤分类识别;然后得出各个分类库,进行深度学习。

进一步,所述机器人识别学生状态辅助课堂教学的方法还包括:

机器人对学生的状态进行分析决策出教学行为的控制方案,所述控制方案包括状态知识积累、教学行为知识积累、反馈行为规划、人机交互。

进一步,所述机器人识别学生状态辅助课堂教学的方法还包括:

机器人得到分析决策后由相应的机构去实现相应的指令;所述相应的指令包括教师已经提过知识的重复、通过语音向外输出、显示器显示出知识、向老师指出问题。

本发明的另一目的在于提供一种机器人识别学生状态辅助课堂教学装置,包括:

学生状态感知模块,用于通过脑电传感器感知出学生情绪数据、视觉传感器感知出学生人脸数据、动作传感器感知出学生手势与姿态数据、听觉传感器感知学生声音数据;

学生状态识别模块,用于对学生状态感知模块得到的数据进行处理分析而识别出学生的状态;先将各个传感器得到的数据进行过滤分类识别,然后得出各个分类库,进行深度学习;所述得到的数据包括视觉传感器得出人脸表情特征值、脑电传感器得到情绪特征值;

自主决策模块,用于机器人对学生的状态进行分析决策出教学行为的控制方案,所述控制方案包含状态知识积累、教学行为知识积累、反馈行为规划、人机交互;

深度学习模块,用于对于学生状态、教学行为进行知识积累和机器深度学习,构建出学生状态行为知识数据库;

在提取出各个学生状态的特征值后进行状态识别训练学习;将特征值通过SVM分类器进行分类识别,并用数学统计方法得到感知状态权重法;通过视觉传感器识别得到真实的状态权重a%,动作传感器得到真实状态概率为b%,脑电传感器识别得到真实的状态权重c%,听觉传感器得到真实状态概率为d%;

再计算视觉传感器、动作传感器、脑电传感器、听觉传感器多个传感器得到真实感知状态时总的概率为:F=m(a%+b%+c%+d%),其中F为总概率,m为多个传感器感知状态时的权重,m的值在训练学习中得到;教学行为知识积累包括教师在认知学生的实时状态下作出的课堂调整的数据库,具体有教师课堂节奏,语速语音的调整;

执行机构,用于机器人得到分析决策后由相应的机构去实现相应的指令;包括教师已经提过知识的重复、通过语音向外输出、显示器显示出知识、向老师指出问题。

进一步,所述机器人识别学生状态辅助课堂教学装置包括:

CCD摄像头,不断拍照形成采集学生人脸表情、动作视觉信号输入传入到内部处理器中,得到视觉信息;

377A02声音传感器,不断采集学生上课声音信号输入到机器人处理器中,得到声音信号;

WISEIMA姿态传感器,在凳子上不断采集学生坐姿状态,输入到内部处理器中,得到坐姿信号;

脑电头盔,输入脑电信号输入到处理器中得到情绪信号;

处理器,综合分析学生的状态作出决策;

显示器,显示出最终识别结果;

进一步,所述机器人识别学生状态辅助课堂教学装置还包括:

喇叭,当前内部状态行为知识库能处理时,进行重复课堂内容;当其内部状态行为知识库不能处理时,由显示器显示出并提示由老师处理。

本发明的另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述的方法。

本发明的优点及积极效果为:

本发明提出了一套利用机器人来监控学生状态辅助教师的课堂教学的方法,帮助教师了解学生状态,可提高课堂教学的效率。

本发明解决单一传感器不能准确识别的出学生状态,利用多个传感器利用感知数据权重法分析学生状态数据可得到更准确的学生状态。

附图说明

图1是本发明实施例提供的机器人识别学生状态辅助课堂教学的方法流程图。

图2是本发明实施例提供的学生状态感知模块的原理图。

图3是本发明实施例提供的机器人识别学生状态辅助课堂教学的装置原理图。

图4是本发明实施例提供的机器人识别学生状态辅助课堂教学的装置示意图。

图中:1、CCD摄像头;2、377A02声音传感器;3、喇叭;4、WISEIMA姿态传感器;5、脑电头盔;6、处理器;7、显示器。

图5是本发明实施例提供的机器人识别学生状态辅助课堂教学装置框图。

图中:8、学生状态感知模块;9、学生状态识别模块;10、自主决策模块;11、深度学习模块;12、执行机构。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图1和图2所示,本发明实施例提供的机器人识别学生状态辅助课堂教学的方法,包括:

通过脑电传感器感知出学生情绪数据、视觉传感器感知出学生人脸数据、动作传感器感知出学生手势与姿态数据、听觉传感器感知学生声音数据;

对得到的学生情绪数据、学生人脸数据、学生手势与姿态数据、学生声音数据进行处理分析而识别出学生的状态;

先将脑电传感器、视觉传感器、动作传感器、听觉传感器得到的数据进行过滤分类识别;然后得出各个分类库,进行深度学习。

对于学生状态、教学行为进行知识积累并深度学习,构建出学生状态行为知识数据库;

提取出各个学生状态的特征值后,将所述特征值通过SVM分类器进行分类识别,并用数学统计方法得到感知状态权重法;通过视觉传感器识别得到真实的状态权重a%,动作传感器得到真实状态概率为b%,脑电传感器识别得到真实的状态权重c%,听觉传感器得到真实状态概率为d%;

再计算视觉传感器、动作传感器、脑电传感器、听觉传感器多个传感器得到的真实感知状态时总的概率为:F=m(a%+b%+c%+d%),其中F为总概率,m为多个传感器感知状态时的权重,m的值在训练学习中得到。

教学行为知识积累包括:教师在认知学生的实时状态下作出的课堂调整的数据库;所述课堂调整包括教师课堂节奏、语速语音的调整。

机器人对学生的状态进行分析决策出教学行为的控制方案,所述控制方案包括状态知识积累、教学行为知识积累、反馈行为规划、人机交互。

机器人得到分析决策后由相应的机构去实现相应的指令;所述相应的指令包括教师已经提过知识的重复、通过语音向外输出、显示器显示出知识、向老师指出问题。

图3、图4,本发明实施例提供的机器人识别学生状态辅助课堂教学装置,包括:

CCD摄像头(1)不断拍照形成采集学生人脸表情,动作等视觉信号输入传入到内部处理器(6)中,得到视觉信息;377A02声音传感器(2)不断采集学生上课声音信号输入到机器人处理器(6)中,得到声音信号;WISEIMA姿态传感器(4)在凳子上不断采集学生坐姿状态,输入到内部处理器(6)中,得到坐姿信号,同时脑电头盔(5)输入脑电信号输入到处理器(6)中得到情绪信号,由处理器(6)综合分析学生的状态作出决策,由显示器(7)显示出最终识别结果;当前内部状态行为知识库能处理时,如重复课堂内容等可交由执行机构喇叭(3)完成;当其内部状态行为知识库不能处理时交由显示器(7)显示出交由老师处理。

如图5,本发明实施例提供的机器人辅助课堂教学行为装置,主要由学生状态感知模块8、学生状态识别模块9、自主决策模块10、深度学习模块11、执行机构12等组成。

所述的学生状态感知模块8是指通过一系列传感器得到学生状态的数据;其具体是指脑电传感器感知出学生情绪数据、视觉传感器感知出学生人脸数据、动作传感器感知出学生手势与姿态数据、听觉传感器感知学生声音数据。

所述的学生状态识别模块9是指在对学生状态感知模块得到的数据进行处理分析而识别出学生的状态。先将各个传感器得到的数据进行过滤分类识别,如视觉传感器得出人脸表情特征值进行识别、脑电传感器得到情绪特征值识别等,然后得出各个分类库,进行深度学习。

所述的自主决策模块10是指机器人对学生的状态进行分析决策出教学行为的控制方案,其具体包含状态知识积累、教学行为知识积累、反馈行为规划、人机交互等。

所述的深度学习模块11是指对于学生状态知识积累、教学行为知识积累的机器学习;构建出状态行为知识数据库。状态识别训练学习是在提取出各个状态的特征值后,将特征值通过SVM分类器进行分类识别,并用数学统计方法得到感知状态权重法,如通过视觉传感器识别得到真实的状态权重a%,动作传感器得到真实状态概率为b%,脑电传感器识别得到真实的状态权重c%,听觉传感器得到真实状态概率为d%,则在计算多个传感器得到真实感知状态时总的概率为:F=m(a%+b%+c%+d%),其中F为总概率,m为多个传感器感知状态时的权重,m的值可在训练学习中得到。教学行为知识积累是指教师在认知学生的实时状态下作出的课堂调整的数据库,如教师课堂节奏,语速语音等问题的调整。

所述的执行机构12是指机器人得到分析决策后由相应的机构去实现相应的指令。如教师已经提过知识的重复,通过语音向外输出,显示器显示出知识,同时向老师指出问题。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1