一种用于K12阶段的互动情景教学系统的制作方法

本发明属于教育技术领域，涉及一种k12阶段的互动情景教学系统。

背景技术：

作为基础教育，k12(一般是幼儿园到高三期间的基础教育)阶段的教育越来越受到关注，针对这个阶段学生的特点，互动情景教学是非常重要的一个方面。特别是互联网教育技术领域，现有技术中已经有专利申请关注到互动情景教学方面的技术，比如：

cn204965778u，公开了一种基于虚拟现实与视觉定位的幼儿教学系统，主要通过主控计算机、投影仪、摄像头和触控设备，用于使教师可以方便地在教学区域内的方位呈现投影画面，形成虚拟现实的全空间虚拟场景教学环境，让幼儿在虚拟环境中进行体验和互动操作，并通过交互触控设备获得幼儿的触控信号，通过摄像头定位幼儿的位置信息，识别幼儿的动作特征，幼儿互动操作的反馈，从而实现沉浸式互动教学活动。

cn106557996a，公开了一种第二语言教学系统，所述系统通过一个通过网络和服务器进行电子通讯的计算装置、对用户的第二语言能力进行测试的语言能力测试单元、接受用户学习需求信息的学习大纲定制单元、用户在虚拟世界中的一个或多个生活仿真交互任务中与虚拟人物进行互动的生活仿真部分，以及从服务器将一个或多个生活仿真交互任务下载到计算机上的虚拟场所管理单元等实现模拟真实场景和个性服务。

us2014220543a1公开了一种多导航模式的在线教育系统，所述系统可以设置多个提供活动的装置，每个活动与技能、兴趣或专长领域相关，用户可以根据排序性导航模式的装置选择多个排序活动中的一个，并根据引导性导航模式的装置从活动母群中选择一个或多个技能、兴趣或专长领域中的一个或多个活动，以创建子群，利用独立导航模式的装置从活动目群中选定活动，从而提高计算机与用户的互动，并允许每个人有机会以有效的方式发现、探索和浏览参与学习的内容。

cn103282935a公开了一种计算机实施系统，包含使得一数字处理设备可提供数个活动的装置，每个活动与技能、兴趣或专长的领域相关；使得所述数字处理设备可提供一排序性导航模式的装置，其中所述系统向一用户呈现了一个在一个或多个技能、兴趣或专长领域中的一个以上活动的预设排序，其中所述用户必须完成所述排序中的每一个前款活动才能继续进入下一个；使得所述数字处理设备可提供一引导式导航模式的装置，其中所述系统向所述用户呈现了一指导者从活动母群中选定的一个或多个技能、兴趣或专长领域中的一个或多个活动，以创建活动子群；使得所述数字处理设备可提供一独立导航模式的装置，其中所述用户从活动母群中选定活动，该申请的系统能够创建可与用户互动的虚拟环境，使用计算机系统的技术特征来与用户互动。

cn105573592a公开了一种学前教育智能互动系统，包括遥控器、投影镜头、主控单元；所有功能应用单元的底层开发程序被一个主框架程序整合在一起，所述功能应用单元包括应用了ar技术的互动故事单元和利用unity技术开发的互动学习单元。

cn106569469a公开了一种家庭农场远程监控系统，包括用户终端和现场终端，所述用户终端包括处理单元和连接在处理单元上的视频单元、上位通信单元和控制单元。

cn106527684a公开了一种基于增强现实技术进行运动的方法，应用于智能终端，所述智能终端包括摄像头及投影仪，所述方法包括：通过所述摄像头采集目标特征图片；获取与所述目标特征图片对应的虚拟三维素材，并通过所述投影仪对所述虚拟三维素材进行投射显示；通过所述摄像头采集用户在投射出的虚拟三维素材中运动的图像；通过所述投影仪对采集到的所述图像进行投射显示，以实现将在现实中运动的用户拉入所述虚拟三维素材对应的虚拟三维环境中。所述虚拟三维素材为预先使用虚拟三维素材开发工具根据所述特征图片开发出来并存储于智能终端中。所述智能终端还包括语音采集部件，通过所述语音采集部件采集用户的语音信息；根据采集到的语音信息调整投射出的虚拟三维素材中的内容，以便于在用户运动过程中与用户进行互动。所述虚拟三维素材包括：虚拟三维场景、虚拟三维物体或虚拟三维动画视频。

cn10106683501a公开了一种ar儿童情景扮演投影教学方法，包括：s1、采集ar互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音，利用深度传感设备采集所述用户实时肢体动作数据；s2、识别所述ar互动卡片图像的信息，调用所述ar互动卡片对应的3d情景剧模板，所述3d情景剧模板包括3d角色模型和背景模型，所述3d角色模型由面部模型和肢体模型组成，所述背景模型为动态或者静态；s3、对所述用户面部图像进行切割，将切割后的面部图像合成到所述3d角色模型的所述面部模型；s4、将所述用户实时肢体动作数据与所述3d角色模型的所述肢体模型进行数据交互，控制所述3d角色模型的肢体运动；s5、对所述用户语音进行变声处理；s6、将s2中调用的所述3d情景剧模板转化为投影投射在投影屏幕上，其中，所述背景模型转化为动态或者静态的背景投影，所述3d角色模型根据所述用户实时肢体动作相应地转化为动态的3d角色投影，投影的同时播放变声处理后的所述用户语音。

通过上述现有技术可以发现，现有技术中还没有对于情景教学完整全面互动的技术构思，对于任何教学测试或测验都是比较难的事情，需要进行专门的处理，很多互动情景教学更多时候被当成了实践课，上完课后，没有什么值得记录的东西，对于考试或者作业来讲，也非常困难。实际上，这是因为这样的情景教学系统缺少最后用户反馈的功能和环节。

技术实现要素：

针对上述问题，本发明提供一种用于k12阶段的互动情景教学系统，包括计算机装置以及与所述计算机装置连接的场景营造装置、图像采集装置和用户终端，

所述图像采集装置，包括摄像头，用于远程采集情景教学的情景音视频信息；

所述场景营造装置，包括投影设备和音响设备，用于将所述计算机装置中存储的预定场景或者通过所述图像采集装置获得的实际场景投射到目标区域，展现情景教学场景；

所述用户终端，包括录音装置和摄像装置，用于获取用户音视频信息以及将用户的操作指令发送给所述计算机装置；

所述计算机装置，用于接受所述用户终端的操作指令，对所述场景营造装置和所述图像采集装置进行控制，并且可以将从所述图像采集装置获得的情景音视频信息和从所述用户终端获得的用户音视频信息融合保存为一个音视频文件。

所述计算机装置包括情景音视频截取单元、用户音视频获取单元、信息合成保存单元，

所述情景音视频截取单元，用于根据教学目标设置的预置信息，截取与所述预置信息相关的从所述图像采集装置获取的情景音视频信息的片段，比如视频片段、音频片段、截屏图片等，并且按照顺序建立所述预置信息与所述片段之间的关联关系；

所述用户音视频获取单元，用于根据教学目标设置的所述预置信息，对通过所述用户终端获取的用户音视频信息进行分段处理，并且建立所述预置信息与所述分段之间的关联关系；

所述信息合成保存单元，用于将经过所述情景音视频截取单元和所述用户音视频获取单元分别处理过的情景音视频信息和用户音视频信息，根据所述预置信息合成为一个音视频文件，并且保存至所述计算机装置。

所述情景音视频截取单元进一步包括信息预置单元、信息比对单元、数据截取单元、数据保存单元，

所述信息预置单元，用于根据教学目标，尤其是教学目标大纲文本信息，提取关键点作为预置信息，设置与所述预置信息对应的音频和/或图像作为参考信息；

所述信息比对单元，用于将所述情景音视频信息与所述参考信息的音频和/或图像进行比对，获取与所述预置信息对应的情景音视频信息的时间节点；

所述数据截取单元，用于根据所述时间节点，按照预设规则，比如按照固定时间间隔截取图像、按照固定时间间隔截取视频段、音频段等，截取与所述预置信息对应的情景音视频信息；

所述数据保存单元，用于将截取的情景音视频信息按照顺序进行保存，并且建立与所述预置信息的对应关联关系。

所述用户音视频获取单元进一步包括音频识别单元、文本比对单元、分段标记单元，

所述音频识别单元，用于根据语音识别模型将获得用户音视频信息中的音频识别转换成文本内容，并且根据时间信息，比如数字时间戳信息，建立文本内容与用户音视频信息的对应关联关系；

所述文本比对单元，用于根据所述预置信息，在所述文本内容中进行搜索比对，根据所述预置信息对所述文本内容建立对应关联关系；

所述分段标记单元，用于根据所述音频识别单元和所述文本比对单元分别获得的对应关联关系，经由所述文本内容建立所述预置信息与用户音视频信息的对应关联关系，并且根据所述预置信息的关键点对所述用户音视频信息进行分段标记。

所述信息合成保存单元进一步包括对应关系处理单元、数据压缩处理单元、时间拟合处理单元、数据合成处理单元，

所述对应关系处理单元，用于将进行分段标记的所述用户音视频信息与所述情景音视频截取单元截取的情景音视频信息片段，根据与所述预置信息的对应关联关系进行关联处理，建立用户音视频信息与情景音视频信息的对应关系；

所述数据压缩处理单元，用于根据预设规则，以用户音视频信息分段时间持续时间为基准，对于对应的情景音视频信息进行压缩处理，以满足预设规则的时间性要求；

所述时间拟合处理单元，用于根据压缩后的情景音视频信息，对用户音视频信息根据分段标记进行拟合处理，比如在分段之间增加空闲时间，以完成情景音视频信息的播放；

所述数据合成处理单元，用于将完成拟合处理之后的用户音视频信息和情景音视频信息，根据对应关系进行合成，形成一个音视频文件。

将合成的所述音视频文件通过所述场景营造装置播放出来。

将合成的所述音视频文件作为情景教学的作业提交给教师。

所述用户终端的录音装置和摄像装置是用户终端自带的或者外设的装置。

所述用户终端可以是台式计算机、笔记本电脑、智能手机、pad。

所述用户音视频信息是录制的用户在完成情景教学的学习或实践之后，根据所述教学目标的要求，按照教学目标的关键点顺序进行的总结性讲解。

附图说明

图1是根据本发明的互动情景教学系统的组成架构示意图；

图2是根据本发明的计算机装置的功能构成示意图；

图3是根据本发明的情景音视频截取单元的功能构成示意图；

图4是根据本发明的用户音视频获取单元的功能构成示意图；和

图5是根据本发明的信息合成保存单元的功能构成示意图。

具体实施方式

下面将结合附图对本发明的具体实施方式进行进一步详细说明。应当理解，此处所描述的实施例仅仅是用于解释本发明，并不是用于限制本发明。有关领域的普通技术人员在不背离本发明精神的情况下所做的各种变化和变形，都在本发明的独立权利要求和从属权利要求的范围内。

如图1所示，根据本发明的互动情景教学系统的组成架构示意图。根据本发明的用于k12阶段的互动情景教学系统，包括：计算机装置10、以及与计算机装置10连接的场景营造装置20、图像采集装置30和用户终端40。场景营造装置20、图像采集装置30和用户终端40可以通过有线网络或者无线网络或者通过有线数据线与计算机装置10建立连接关系。所谓互动情景教学是指用户特别是k12阶段的学生用户可以参与到学习过程中的，以生动形象的情景激起学生学习情绪的教学方法。这种教学通常以生动真实的场景为主要依托。本发明的互动情景教学优选为例如植物生长观察、动物喂养观察、天气情况观察、手工制作等可以获得生动且具有规律变化的音视频信息的教学场景。当然本发明并不限制具体的教学场景，只要本发明的系统根据其功能判断可以应用其中即可。

图像采集装置30，包括至少一个摄像头301，用于远程采集情景教学的情景音视频信息。所述摄像头301可以带有音频采集装置的摄像头，也可以是具有单独设置的音频采集装置的。优选的，所述摄像头301是高清摄像头。

场景营造装置20，包括投影设备201和音响设备203，用于将计算机装置10中存储的预定场景或者通过图像采集装置30获得的实际场景投射到目标区域，展现情景教学场景。优选的，场景营造装置20进一步包括ar增强现实显示装置204，将需要投射的图像信息进行处理后，以ar的方式展示出来，用户可以使用相应的观察设备进行观看。

用户终端40，包括录音装置401和摄像装置402，用于获取用户音视频信息以及将用户的操作指令发送给所述计算机装置。对于所述互动情景教学系统可以具有多个用户终端40，或者说需要获得许可，用户就可以使用用户终端40接入系统。对于很多智能用户终端，已经集成了录音装置401和摄像装置402，但是为了对于音视频数据更高质量的追求或者其他原因，可以使用录音和摄像的外设装置，比如高保真麦克风或者高清摄像头。根据本发明，用户使用用户终端40进行互动情景教学的学习，当用户完成情景教学的学习或实践之后，或者在学习结束之前，根据教学目标的要求，按照教学目标的关键点顺序进行的总结性讲解，由此形成本发明下述的用户音视频信息。具体来说，用户终端40可以是台式计算机、笔记本电脑、智能手机、pad，但是其不限于此，只要满足下列功能的设备都可以使用。

用户终端40可以包括：处理器、网络模块、控制模块、显示模块以及智能操作系统；所述用户终端上可以设有通过数据总线连接各种拓展类设备和配件的多种数据接口；所述智能操作系统包括windows、android及其改进、ios，在其上可以安装、运行应用软件，实现在智能操作系统下的各种应用软件、服务和应用程序商店/平台的功能。

用户终端40可以通过rj45/wi-fi/蓝牙/2g/3g/4g/g.hn/zigbee/z-ware/rfid等连接方式连接到互联网络，并借助互联网连接到其它的终端或其它电脑及设备，通过1394/usb/串行/sata/scsi/pci-e/thunderbolt/数据卡接口等多种数据接口或者总线方式，通过hdmi/ypbpr/spdif/av/dvi/vga/trs/scart/displayport等音视频接口等连接方式，来连接各种拓展类设备和配件，组成了一个会议/教学设备互动系统。带有软件形式的声音捕捉控制模块和动作捕捉控制模块，或通过数据总线板载硬件形式的声音捕捉控制模块和动作捕捉控制模块，来实现声控和形控功能；通过音视频接口连接显示/投影模块、麦克风、音响设备和其它音视频设备，来实现显示、投影、声音接入、音视频播放，以及数字或模拟的音视频输入和输出功能；通过数据接口连接摄像头、麦克风、电子白板、rfid读取设备，实现影像接入、声音接入、电子白板的使用控制和录屏，rfid读取功能，并通过相应的接口可接入和管控移动存储设备、数字设备和其它设备；通过dlna/igrs技术和互联网络技术，来实现的包括多屏设备之间的操控、互动和甩屏等功能。

在本发明中，用户终端40的处理器定义为包括但不限于：指令执行系统，如基于计算机/处理器的系统、专用集成电路(asic)、计算设备、或能够从非暂时性存储介质或非暂时性计算机可读存储介质取得或获取逻辑并执行非暂时性存储介质或非暂时性计算机可读存储介质中包含的指令的硬件和/或软件系统。所述处理器还可以包括任意控制器，状态机，微处理器，基于互联网络的实体、服务或特征，或它们的任意其它模拟的、数字的和/或机械的实现方式。

本发明中，所述计算机可读存储介质定义为包括但不限于：能够包含、存储或保持程序、信息及数据的任意介质。计算机可读存储介质包括许多物理介质中的任一种，如电子介质、磁性介质、光介质、电磁介质或半导体介质。合适计算机可读存储介质以及用户终端和服务器使用的存储器的更具体示例包括但不限于：磁性计算机盘(如软盘或硬驱)、磁带、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom)、光盘(cd)或数字视频光盘(dvd)、蓝光存储器、固态硬盘(ssd)、闪存。

计算机装置10，用于接受用户终端40的操作指令，对场景营造装置20和图像采集装置30进行控制，并且可以将从图像采集装置30获得的情景音视频信息和从用户终端40获得的用户音视频信息融合保存为一个音视频文件。计算机装置10可为普通台式机、笔记本电脑、平板电脑等任何满足实际需要的商用或家用计算机设备。计算机装置10的上述功能是通过其功能单元执行和实现的。

用户使用用户终端40通过网络或者数据电缆以有线或无线的方式连接到计算机装置10，由此可以接受或者主动开展情景教学科目的学习。比如用户可以使用本发明的系统，可以进行这类主题的情景学习，比如在某种花卉开花的季节，如春天观察某种花开的过程，秋天红叶的变化，可以在雷电天气观察雷电的情况，还可以比如观察种子发芽。作为一个示例，比如以观察花卉开花的过程为教学场景。用户通过用户终端40发出学习指令后，计算机装置10接受指令，获取用于观察这种花卉的摄像头301，所述摄像头301可以是专门架设在野外或者室内的摄像头，也可以是比如植物园或者森林监控公共摄像头，这些摄像头通过许可协议可以进行调用。由于有些花卉的开花可能需要较长时间，而有些花卉的开花时间可能较短，比如昙花。具体的，要根据情境教学的教学大纲的内容，设置摄像头301开始监控和获取情境音视频信息的时间。比如可以从有花苞开始，定期的监控和获取音视频信息，比如根据这种花的开花时间快慢，设定相应的音视频信息的间隔获取时间。对于获得的情境音视频信息，可以通过场景营造装置20定期或不定期的进行展示，以便于观察实时的状态，以及情况变化。

如图2所示，根据本发明的计算机装置的功能构成示意图。计算机装置10包括情景音视频截取单元110、用户音视频获取单元120、信息合成保存单元130。情景音视频截取单元110，用于根据教学目标设置的预置信息，截取与预置信息相关的从图像采集装置30获取的情景音视频信息的片段，比如视频片段、音频片段、截屏图片等，并且按照顺序建立预置信息与片段之间的关联关系。由于情景教学的学习过程中，可能采集到大量的音视频信息，但是这些音视频信息并不是都是必要的。与教学目标设定的关键点相关的音视频信息才是最关心，从大量的音视频信息中截取到这样的信息即可。用户音视频获取单元120，用于根据教学目标设置的预置信息，对通过用户终端40获取的用户音视频信息进行分段处理，并且建立预置信息与分段之间的关联关系。在此优选的是，用户在完成情景教学的学习之后，根据教学目标或大纲的要求，对于教学目标的要求进行一一回应，由此形成用户音视频信息。信息合成保存单元130，用于将经过情景音视频截取单元110和用户音视频获取单元120分别处理过的情景音视频信息和用户音视频信息，根据预置信息合成为一个音视频文件，并且保存至计算机装置10。通过这种合成，将用户按照教学目标进行的总结或者称之为作业类的内容，与情景教学过程中获得音视频信息结合起来，对应起来，形成一个统一的文件，使得一个学生完成这样的观察或者学习之后，再以自己组织的文字，通过自己的语言说出来，从而让学生全程参与了情景教学，并且有一个完整的结束或者学习总结。由此解决了，以往情景教学过程很精彩，过后却记不起来的，缺少深入的参与感的状态。

如图3所示，根据本发明的情景音视频截取单元的功能构成示意图。情景音视频截取单元110进一步包括信息预置单元111、信息比对单元112、数据截取单元113、数据保存单元114。信息预置单元111，用于根据教学目标，尤其是教学目标大纲文本信息，提取关键点作为预置信息，设置与预置信息对应的音频和/或图像作为参考信息。比如对于花卉开花的观察教学，教学目标比如观察花苞期、开花期、盛花期、落花期等，就可以提取这些关键点，也就是关键词作为预制信息。对于计算机无法识别出这些预制信息的具体含义，要执行这些关键点的含义，本发明优选的通过设置与所述关键点对应的已有的参考音频文件或者参考图片，比如这种花已有的花苞期图片、开花期图片，如果是观察闪电，可以是闪电的音频，这些图片或音频作为参考数据，计算机装置10在获得相应的信息之后，同与设置的参考图片进行比较，比如通过判断信息比对单元12，判断当前观察对象所处的阶段。判断信息比对单元12，用于将情景音视频信息与参考信息的音频和/或图像进行比对，获取与预置信息对应的情景音视频信息的时间节点。比如在花苞期，根据花苞期的长短，间隔一定时间拍摄一张照片或者截取视频的一个图片，直至进入开花期，再根据规则要求，以及时间参数等设置相应的间隔获取时间，将这些图片数据连续播放时，就可以形成与教学目标的关键点对应的动态变化图片信息。对于数据的具体截取通过数据截取单元113执行，对于截取后不用的数据可以删除。数据截取单元113，用于根据时间节点，按照预设规则，比如按照固定时间间隔截取图像、按照固定时间间隔截取视频段、音频段等，截取与预置信息对应的情景音视频信息。数据保存单元114，用于将截取的情景音视频信息按照顺序进行保存，并且建立与预置信息的对应关联关系。

如图4所示，是根据本发明的用户音视频获取单元的功能构成示意图。用户音视频获取单元120进一步包括音频识别单元121、文本比对单元122、分段标记单元123。音频识别单元121，用于根据语音识别模型将获得用户音视频信息中的音频识别转换成文本内容，并且根据时间信息，比如数字时间戳信息，建立文本内容与用户音视频信息的对应关联关系。文本比对单元122，用于根据预置信息，在文本内容中进行搜索比对，根据预置信息对文本内容建立对应关联关系。分段标记单元123，用于根据音频识别单元和文本比对单元分别获得的对应关联关系，经由文本内容建立预置信息与用户音视频信息的对应关联关系，并且根据预置信息的关键点对用户音视频信息进行分段标记。用户学习完成之后或者之末，使用用户终端40将按照教学目标要求的观察内容，用文字描述出来，或者即兴通过语言概括出来，当然这样的行为可以是教学要求的，包括按照教学目标的顺序进行概括也是教学的要求。根据将用户的语音识别成文字后，用户对于文字内容，采用教学目标的关键点进行识别比对，从而将用户的音视频信息分段并且与教学目标关联起来。

如图5所示，根据本发明的信息合成保存单元的功能构成示意图。信息合成保存单元130进一步包括对应关系处理单元131、数据压缩处理单元132、时间拟合处理单元133、数据合成处理单元134。对应关系处理单元131，用于将进行分段标记的用户音视频信息与情景音视频截取单元截取的情景音视频信息片段，根据与预置信息的对应关联关系进行关联处理，建立用户音视频信息与情景音视频信息的对应关系。数据压缩处理单元132，用于根据预设规则，以用户音视频信息分段时间持续时间为基准，对于对应的情景音视频信息进行压缩处理，以满足预设规则的时间性要求。时间拟合处理单元133，用于根据压缩后的情景音视频信息，对用户音视频信息根据分段标记进行拟合处理，比如在分段之间增加空闲时间，以完成情景音视频信息的播放。数据合成处理单元134，用于将完成拟合处理之后的用户音视频信息和情景音视频信息，根据对应关系进行合成，形成一个音视频文件。基于教学的要求或者对于总结的要求或者对于作业长度的要求，整个合成的音视频文件的长度是有一定要求的。在这个过程中，要根据实际情况，对于情景音视频数据播放的时间或者数据量进行调整，以满足时间性的要求，比如加快或减少播放图片的速度。这种调整在现有技术中比较常见，在此不再赘述。优选的，将上述合成的音视频文件通过场景营造装置20播放出来。优选的，将前述合成的音视频文件作为情景教学的作业提交给教师。

以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的更新、替换、改进，均应包含在本发明所附的权利要求概况的保护范围之内。