本发明涉及互动教学技术领域,具体涉及一种基于增强现实和人工智能的多人互动教学的展示方法。
背景技术:
市场上现有的互动教学装置包括:电脑/平板电脑或智能手机上的教育软件、点读机、点读笔、电子书等。但是上述这些现有的互动教学装置存在着下列缺点和缺陷:
1)互动教学装置趣味性不足,难以吸引学习者主动参与。
2)互动教学装置中的课件内容无法及时更新,亦无法根据每位学习者的学习情况进行量身定做。
3)教学系统设计复杂,操作繁琐,使用门槛较高。
4)没有讲更先进的人工智能和增强现实应用到教学中。
5)没有实现多人互动学习和学习情况的实时反馈。
科技伴随着时代不断进步,图片、文字、视频等媒介在互动教学过程里起到的作用越来越大,从三岁孩子到花甲老人在日常生活和学习中都会接触到大量的上述媒介资料。然而传统的媒介在表现手法上存在着表述不清晰、内容更新慢、不能根据学习进度定制学习内容等弊端,无法让学习效率最大化,使得学习者、教学者和监督者不得不付出额外的精力来持续矫正教学过程。
近年来增强现实(augmentedreality简称ar)逐渐被研究和应用。其通过计算机装置将虚拟信息应用到现实世界,将现实世界与虚拟信息实时地叠加到装置上显示的方法非常适合应用到教学中。使用ar技术将虚拟信息和真实世界呈现的信息融合显示,让两者实现信息互补、强调,促使使用者扩大感官上的体验,提升接收信息的质量。
另外,教师虽然使用了ar技术等先进手段进行教学,实现了更有效的讲授知识,但依然未能解决一名教师面对多名学生时的有针对性的辅导问题。学生在学习过程中,因个体学习能力差异必然出现进度不同,掌握知识点程度不同等问题,当一个知识点某位学生已经掌握后,教师如果继续教授该知识点,学生必然会出现注意力转移等情况。又或者教师在单独为某一名学生有针对性的教学时,其他学生也会出现注意力涣散等情况。并且教师也很难因材施教,高效、快速的掌握每一名学生的学习进度和知识掌握情况。
随着人工智能(artificialintelligence简称ai)的发展,其能够具有推理、知识、规划、学习、交流、感知、移动和操作物体的能力等。但如何将上述ai技术已经拥有的能力应用到教学当中,并且与ar技术相结合,尚存在技术空白。
技术实现要素:
针对现有的技术不足和空白,本发明提供了一种基于增强现实和人工智能的多人互动教学的展示方法及系统,既可以实现教学内容更加生动、有趣,具有沉浸感体验,还可以实现教师、学生、监管等多角色和多终端的实时互动,并且还能够根据每名学生的学习情况由系统自动调整学习内容和教学方法,大大提升学生学习的兴趣,提高主观能动性和学习效果,同时,也让教师、监管等角色更轻松有效的完成工作,增强学生之间、教师之间、监管之间的互动效果。
为了达到上述目的,本发明的技术方案是基于增强现实和人工智能的多人互动教学的展示方法,其包括s1主系统、s1数据库、c1控制系统、k1子系统、f1辅助系统;
步骤1:c1控制系统发出指令至s1主系统,s1主系统控制s1数据库输出数据模组到k1子系统;
步骤2:k1子系统上的ki装置,其中i=1,2,…,n,接收上述数据模组,将所述数据模组呈现到ki显示单元和/或ki音频输出单元上,通过ki交互控制单元进行互动学习;
步骤3:k1子系统将ki装置上呈现的实时数据由f1辅助系统分配到对应的fi装置上,其中i=1,2,…,n;并由fi运算单元和fi显示单元进行实时显示;
步骤4:k子系统上的ki装置,其中i=1,2,…,n,经s1主系统中的ai引擎输出数据至s1数据库,并结合s1数据库中已有数据模组中的全部数据,由s1主系统中的ai引擎进行数据处理,形成ki装置对应的自定义数据模组,并储存到s1数据库中,其中自定义数据模组包括成绩数据;
步骤5:s1主系统由s1数据库获得自定义数据模组,并向k1子系统、f1辅助系统中的对应的ki装置、fi装置输出成绩数据;
步骤6:c1控制系统发出指令至s1主系统,s1主系统控制s1数据库输出经过ai引擎数据处理后的自定义数据模组到k1子系统;
重复步骤2-6。
需要说明的是,本申请中i=1,2,…,n;其中n取大于0的自然数,上述的自定义数据模组中包括成绩数据,还包括由ai引擎输出的自定义教案数据、自定义题目数据、自定义语言数据、自定义提问数据、自定义答案数据等一些其他的自定义数据。成绩数据是分为题目数据和自定义成绩数据。成绩数据是未经过ai引擎输出的,自定义成绩数据是经过ai引擎处理输出的数据。
基于上述的技术方案,k1子系统将ki装置上呈现的实时数据由f1辅助系统分配到对应的fi装置上,即可实现监管者,包括家长、教师等第三方可以实时获得其对应的学生的学习状况。
另外,对单独的第i个学生而言,其获得的数据模组在不断更新,并且是根据其自身对上一次数据模组的学习情况,进行的个性化更新,不断形成新的自定义数据模组,这样的教学更加具有针对性,教学效果更好。
其次,实现多角色和多终端的实时互动,多名学生可同时对数据模组进行学习。
优选的,所述数据模组包括基础数据模组、可识别图像模组、题目数据模组、教案数据模组和用户数据组件中的一项或多项。
优选的,所述基础数据模组包括文本数据、脚本数据、三维模型数据、音效数据、音乐数据、语音数据、动画数据、视频数据和/或特效数据;可识别图像模组包括可识别图像数据和/或自定义可识别图像数据;题目数据模组包括题目数据和/或自定义题目数据;教案数据模组包括标准答案数据、教案数据和/或自定义教案数据;用户数据组件包括成绩数据、用户信息数据、自定义答案数据和/或自定义提问数据。
进一步的,所述步骤4中ai引擎进行数据处理具体包括数据推理、知识总结、规划数据、学习数据、数据交流、感知能力、移动数据和操作数据。
需要说明的是,上述的数据处理方法,为利用本领域公知常识均可以完成的方法。
进一步的,所述步骤4中ai引擎得到ki装置,其中i=1,2,…,n,输出的数据后结合由s1数据库中已存在的可识别图像模组中的数据,包括每一张可识别图像中的vi(i=1,2,…,n)、yi(i=1,2,…,n)、wi(i=1,2,…,n)关键点数据;经由ai引擎结合s1数据库中其它数据模组进行数据训练,得到全新的自定义可识别图像;
ai引擎得到ki装置输出的数据后结合由s1数据库中已存在的教案数据模组中的数据,包括每一节课程数据中的mi(i=1,2,…,n)、ji(i=1,2,…,n)、ii(i=1,2,…,n)、ki(i=1,2,…,n)关键点数据,经由ai引擎结合s1数据库中其它数据模组进行数据训练,得到新自定义教案数据;
ai引擎得到ki装置输出的数据后结合由s1数据库中已存在的题目数据模组中的数据,包括每一个问题数据中的ni(i=1,2,…,n)、nai(i=1,2,…,n)、qi(i=1,2,…,n)、qai(i=1,2,…,n)、pi(i=1,2,…,n)关键点数据,经由ai引擎结合s1数据库中其它数据模组进行数据训练,得到新的自定义题目数据;
ai引擎得到ki装置输出的数据后结合由s1数据库中已存在的基础数据模组中的数据,包括每一个三维模型数据中的a1、a2、a3、…、an关键点数据;每一个视频数据中的b1、b2、b3、…、bn关键点数据;每一个动画数据中的c1、c2、c3、…、cn关键点数据;每一个特效数据中的d1、d2、d3、…、dn关键点数据;每一个音乐数据中的e1、e2、e3、…、en关键点数据;每一个脚本数据中的f1、f2、f3、…、fn关键点数据;每一个音效数据中的g1、g2、g3、…、gn关键点数据;每一个文本数据中的h1、h2、h3、…、hn关键点数据;每一个语音数据中的i1、i2、i3、…、in关键点数据;经由ai引擎结合s1数据库中其它数据模组进行数据训练,得到全新的基础数据模组;
ai引擎得到ki装置输出的数据后结合由s1数据库中已存在的数据模组,包括题目数据模组、教案数据模组、用户数据组件、基础数据模组、可识别图像模组进行数据训练,得到成绩数据。
进一步的,所述步骤1的具体方法为c1控制系统通过c1装置上的c1控制器和/或c1音频输出单元经过c1通讯单元和c1运算单元发出指令,由s1数据库中输出数据模组到k1子系统和s1主系统。
进一步的,所述步骤2的具体方法为k1子系统上的ki装置使用ki通讯单元接收数据模组并由ki运算单元、ki三维引擎单元、kiar引擎单元结合ki摄像头、ki现实环境将数据模组呈现到ki显示单元和ki音频输出单元上,通过ki交互控制单元完成互动学习。
进一步的,所述步骤3的具体方法为k1子系统将ki装置上呈现的实时数据由f1辅助系统分配到对应的fi装置上并由fi运算单元和fi显示单元进行实时显示。
进一步的,所述步骤4的具体方法为k1子系统上的ki装置通过ki交互控制输出数据或经由ki音频输出单元通过s1装置上的语音识别引擎输出数据并结合s1数据库中已有的题目数据模组、教案数据模组、用户数据组件、基础数据模组、可识别图像模组中的全部数据,由s1主系统中的ai引擎进行数据处理,所述数据处理包括数据推理、知识总结、规划数据、学习数据、数据交流、感知能力、移动数据和/或操作数据;形成ki装置对应的自定义答案数据、成绩数据、自定义可识别图像、自定义题目数据;并储存到s1数据库中。
需要说明的是,所述ki装置为第i个学生终端;fi装置为第i个学生对应的监管者终端。其中学生终端可以是学生的手机或pc端,所述的监管者终端可以为该学生的家长所使用的手机或pc端,亦或者是教师终端。
本发明中部分术语解释:
s1主系统:s1主系统是本专利的中枢神经,负责并联s1、c1、k1、f1各个系统和子系统、装置和子装置以及s1数据库。
s1数据库:s1数据库是本系统的知识元素,由基础数据、可识别图像、题目、教案、用户等若干个数据模组构成,并通过s1、c1、k1、f1装置上的持续输出装置和引擎输出新的数据进而通过人工智能持续构建输入更有效的数据模组。
s1装置:s1装置在本系统中负责交流和感知,包含s1系统、s1装置中的语音识别引擎、ai引擎、存储单元、运算单元、通信单元、音频输出单元、现实单元、可识别图像等,用于c1、s1、k1、f1系统的集成、协同运行和人工智能、语音识别等输入输出识别。
k1子系统:k1子系统作用于学习。由k1子系统负责与s1、c1、k1、f1各个系统和子系统、装置和子装置以及k1子系统下的ki子系统(ki装置)并联,每位系统中的学生使用其专属的ki子系统(ki装置)进行学习。
ki装置:ki装置由ki通信单元、ki三维引擎单元、ki音频输入单元、ki音频输出单元、kiar引擎单元、ki摄像头、ki交互控制单元等单元组成,用于承载和运行k1子系统。
c1控制系统:c1控制系统负责s1、c1、k1、f1各个系统和子系统、装置和子装置的运行控制,并可对ai引擎的学习结果进行修正控制。
c1装置:由c1控制器、c1显示单元、c1音频输入单元、c1音频输出单元、c1通信单元、c1运算单元等单元构成,用于运行c1控制系统。
f1辅助系统:f1辅助系统在c1控制系统授权下监督k1子系统中具有一对一关系的ki装置上呈现的学习结果。
f1装置:f1装置由显示单元、运算单元、通信单元等单元构成,用于承载和运行f1辅助系统。
数据模组:是s1数据库中在初始阶段预置的若干模组构成,包括:题目数据模组、教案数据模组、用户数据模组、基础数据模组和可识别图像模组构成。在系统启动后,通过s1、c1、k1、f1各个系统和子系统、装置和子装置通过ai引擎或c1控制系统输入自定义数据后,数据模组自行进行学习和扩充。
自定义数据:是由自定义题目数据、自定义教案数据、自定义提问数据、自定义答案数据、自定义可识别图像数据等若干自定义数据构成,上述数据可以是c1控制系统输入,也可以是由s1、c1、k1、f1各个系统和子系统通过ai引擎自动输入。
现实环境:区别于虚拟现实环境,指的是真实世界的环境。
本发明的有益效果:实现教师、学生、监管等多角色和多终端的实时互动,并且还能够根据每名学生的学习情况由系统自动调整学习内容和教学方法。
附图说明
图1为本发明的方法流程图;
图2为本发明数据模组与ai引擎交互流程图;
图3为本发明的装置连接关系示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行进一步详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程。
如图1及图3所示,基于增强现实和人工智能的多人互动教学的展示方法,其包括s1主系统、s1数据库、c1控制系统、k1子系统、f1辅助系统;
步骤1:c1控制系统发出指令至s1主系统,s1主系统控制s1数据库输出数据模组到k1子系统;
步骤2:k1子系统上的ki装置,其中i=1,2,…,n,接收上述数据模组,将所述数据模组呈现到ki显示单元和/或ki音频输出单元上,通过ki交互控制单元进行互动学习;
步骤3:k1子系统将ki装置上呈现的实时数据由f1辅助系统分配到对应的fi装置上,其中i=1,2,…,n;并由fi运算单元和fi显示单元进行实时显示;
步骤4:k子系统上的ki装置,其中i=1,2,…,n,经s1主系统中的ai引擎输出数据至s1数据库,并结合s1数据库中已有数据模组中的全部数据,由s1主系统中的ai引擎进行数据处理,形成ki装置对应的自定义数据模组,并储存到s1数据库中,其中自定义数据模组包括成绩数据;
步骤5:s1主系统由s1数据库获得自定义数据模组,并向k1子系统、f1辅助系统中的对应的ki装置、fi装置输出成绩数据;
步骤6:c1控制系统发出指令至s1主系统,s1主系统控制s1数据库输出经过ai引擎数据处理后的自定义数据模组到k1子系统;
重复步骤2-6。
优选的,所述数据模组包括基础数据模组、可识别图像模组、题目数据模组、教案数据模组和用户数据组件中的一项或多项。
优选的,所述基础数据模组包括文本数据、脚本数据、三维模型数据、音效数据、音乐数据、语音数据、动画数据、视频数据和/或特效数据;可识别图像模组包括可识别图像数据和/或自定义可识别图像数据;题目数据模组包括题目数据和/或自定义题目数据;教案数据模组包括标准答案数据、教案数据和/或自定义教案数据;用户数据组件包括成绩数据、用户信息数据、自定义答案数据和/或自定义提问数据。
进一步的,所述步骤4中ai引擎进行数据处理具体包括数据推理、知识总结、规划数据、学习数据、数据交流、感知能力、移动数据和操作数据。
如图2所示,进一步的,所述步骤4中ai引擎得到ki装置,其中i=1,2,…,n,输出的数据后结合由s1数据库中已存在的可识别图像模组中的数据,包括每一张可识别图像中的vi(i=1,2,…,n)、yi(i=1,2,…,n)、wi(i=1,2,…,n)关键点数据;经由ai引擎结合s1数据库中其它数据模组进行数据训练,得到全新的自定义可识别图像;
ai引擎得到ki装置输出的数据后结合由s1数据库中已存在的教案数据模组中的数据,包括每一节课程数据中的mi(i=1,2,…,n)、ji(i=1,2,…,n)、ii(i=1,2,…,n)、ki(i=1,2,…,n)关键点数据,经由ai引擎结合s1数据库中其它数据模组进行数据训练,得到新自定义教案数据;
ai引擎得到ki装置输出的数据后结合由s1数据库中已存在的题目数据模组中的数据,包括每一个问题数据中的ni(i=1,2,…,n)、nai(i=1,2,…,n)、qi(i=1,2,…,n)、qai(i=1,2,…,n)、pi(i=1,2,…,n)关键点数据,经由ai引擎结合s1数据库中其它数据模组进行数据训练,得到新的自定义题目数据;
ai引擎得到ki装置输出的数据后结合由s1数据库中已存在的基础数据模组中的数据,包括每一个三维模型数据中的a1、a2、a3、…、an关键点数据;每一个视频数据中的b1、b2、b3、…、bn关键点数据;每一个动画数据中的c1、c2、c3、…、cn关键点数据;每一个特效数据中的d1、d2、d3、…、dn关键点数据;每一个音乐数据中的e1、e2、e3、…、en关键点数据;每一个脚本数据中的f1、f2、f3、…、fn关键点数据;每一个音效数据中的g1、g2、g3、…、gn关键点数据;每一个文本数据中的h1、h2、h3、…、hn关键点数据;每一个语音数据中的i1、i2、i3、…、in关键点数据;经由ai引擎结合s1数据库中其它数据模组进行数据训练,得到全新的基础数据模组;
ai引擎得到ki装置输出的数据后结合由s1数据库中已存在的数据模组,包括题目数据模组、教案数据模组、用户数据组件、基础数据模组、可识别图像模组进行数据训练,得到成绩数据。
进一步的,所述步骤1的具体方法为c1控制系统通过c1装置上的c1控制器和/或c1音频输出单元经过c1通讯单元和c1运算单元发出指令,由s1数据库中输出数据模组到k1子系统和s1主系统。
进一步的,所述步骤2的具体方法为k1子系统上的ki装置使用ki通讯单元接收数据模组并由ki运算单元、ki三维引擎单元、kiar引擎单元结合ki摄像头、ki现实环境将数据模组呈现到ki显示单元和ki音频输出单元上,通过ki交互控制单元完成互动学习。
进一步的,所述步骤3的具体方法为k1子系统将ki装置上呈现的实时数据由f1辅助系统分配到对应的fi装置上并由fi运算单元和fi显示单元进行实时显示。
进一步的,所述步骤4的具体方法为k1子系统上的ki通过k交互控制输出数据或经由k音频输出单元通过s1装置上的语音识别引擎输出数据并结合s1数据库中已有的题目数据模组、教案数据模组、用户数据组件、基础数据模组、可识别图像模组中的全部数据由s1主系统中的ai引擎进行数据处理,所述数据处理包括数据推理、知识总结、规划数据、学习数据、数据交流、感知能力、移动数据和/或操作数据;形成ki装置对应的自定义答案数据、成绩数据、自定义可识别图像、自定义题目数据;并储存到s1数据库中。
对实施例的进一步说明,所述s1主系统是本专利的中枢神经,负责并联s1、c1、k1、f1各个系统和子系统、装置和子装置以及s1数据库;所述s1数据库是本系统的知识元素,由基础数据、可识别图像、题目、教案、用户等若干个数据模组构成,并通过c1、s1、k1、f1装置上的持续输出装置和引擎输出新的数据进而通过人工智能持续构建输入更有效的数据模组;所述s1装置在本系统中负责交流和感知,包含s1系统、s1装置中的语音识别引擎、ai引擎、存储单元、运算单元、通信单元、音频输出单元、现实单元、可识别图像等,用于c1、s1、k1、f1系统的集成、协同运行和人工智能、语音识别等输入输出识别;所述k1子系统作用于学习,由k1子系统负责与c1、s1、k1、f1各个系统和子系统、装置和子装置以及k1子系统下的ki子系统并联,每位系统中的学生使用其专属的ki子系统进行学习;所述ki装置由ki通信单元、ki三维引擎单元、ki音频输入单元、ki音频输出单元、kiar引擎单元、ki摄像头、ki交互控制单元等单元组成,用于承载和运行ki子系统;
所述c1控制系统负责c1、s1、k1、f1各个系统和子系统、装置和子装置的运行控制,并可对ai引擎的学习结果进行修正控制;所述c1装置由c1控制器、c1显示单元、c1音频输入单元、c1音频输出单元、c1通信单元、c1运算单元等单元构成,用于运行c1控制系统;所述f1辅助系统在c1控制系统授权下监督k1子系统中具有一对一关系的ki装置上呈现的学习结果;所述f1装置由显示单元、运算单元、通信单元等单元构成,用于承载和运行f1辅助系统;所述数据模组是s1数据库中在初始阶段预置的若干模组构成,包括:题目数据模组、教案数据模组、用户数据模组、基础数据模组和可识别图像模组构成。在系统启动后,通过c1、s1、k1、f1各个系统和子系统、装置和子装置通过ai引擎或c1控制系统输入自定义数据后,数据模组自行进行学习和扩充;所述自定义数据是由自定义题目数据、自定义教案数据、自定义提问数据、自定义答案数据、自定义可识别图像数据等若干自定义数据构成,上述数据可以是c控制系统输入,也可以是由c1、s1、k1、f1各个系统和子系统通过ai引擎自动输入。
具体的说,s1数据库包括:题目数据模组、教案数据模组、用户数据组件、基础数据模组和可识别图像模组构成。其中题目数据模组包括:题目数据、自定义题目数据;教案数据模组包括:标准答案数据、教案数据、自定义教案数据;用户数据组件包括:成绩数据、用户信息数据、自定义答案数据、自定义提问数据;基础数据模组包括:文本数据、脚本数据、三维模型数据、音效数据、音乐数据、语音数据、动画数据、视频数据、特效数据;可识别图像模组包括:可识别图像数据、自定义可识别图像数据。s1装置包括:语音识别引擎、s1存储单元、s1运算单元、s1通讯单元、ai引擎、s1音频输出单元、s1显示单元和可识别图像。c1装置包括:c1控制器、c1显示单元、c1音频输入单元、c1音频输出单元、c1通讯单元、c1运算单元。
可以理解的是,ki装置表示第i个学生使用的终端,整个系统包括若干个k装置,每个k装置都包括:k通讯单元、k三维引擎单元、kar引擎单元、k显示单元、k摄像头、k通讯单元、k音频输入单元、k音频输出单元、k运算单元、k交互单元以及k现实环境。同样的,fi装置表示第i个学生对应的第i个监管者终端,系统中包括若干个f装置,每个f装置都包括:f显示单元、f运算单元、f通讯单元。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。