一种基于全景学习平台系统的实时动作渲染方法
【技术领域】
[0001]本发明涉及一种互联网远程教学的数据传输方法，尤其涉及一种基于全景学习平台系统的实时动作渲染方法。这项数据传输技术可广泛应用于普通教学、远程会议和救灾救援的远程指挥等各个领域。
【背景技术】
[0002]随着数字技术的发展，信息化教学已经开始应用到日常教学工作中。而信息化教学，特别是远程信息化教学，目前一直以来都是依赖视频技术作为教学信息的载体。众所周知，传输视频格式的文件每秒至少传输25张图片，体积大，对网络带宽要求高，目前流畅直播高清视频所需要的带宽一般在512kB/s以上，尽管光纤网络已经普及到大中城市，但真正需要远程信息化教学的地方，网络环境依然比较差，视频信息传输的缺点已经成为远程信息化教学的一大障碍。
[0003]另外，视频内容一经录制，不通过专业的视频编辑软件，就无法进行修改。因此学生与老师无法实现时时共享互动，无法带给学生身临课堂现场的第一视角。
【发明内容】
[0004]为了解决上述问题，本发明提供一种基于全景学习平台系统的实时动作渲染方法。所述全景学习平台系统包括老师客户端、中心服务器和学生客户端三大部分。首先，老师客户端识别老师不同的课堂讲解动作，得到动作类型，并采集该讲解动作的位置坐标和动作特征码，同时录制老师的讲解语音。将动作位置坐标、动作特征码和发生讲解动作时的讲解语音三个核心数据与讲解动作类型、讲解动作发生的时间一起，形成二进制数据流通过中心服务器进行远程数据传输或生成文件进行保存。学生客户端收到二进制数据流后，通过学生客户端的全景学习平台系统，解析并读取数据中的动作类型、动作特征码、动作坐标位置和发生讲解动作时的讲解语音，按时间数据顺序将其实时渲染到显示器上，实现实时再现讲课过程的画面。
[0005]所述讲解动作包括:板书、教杆指引、粉笔书写、画线、画图形(矩形、三角形、圆柱体、圆锥体、立方体)、打开或关闭小黑板、使用板擦、插入图片、插入视频、打开或关闭板书、
插入文字等。
[0006]例如，老师在教学讲解过程中，点击老师客户端的全景学习平台系统界面上的粉笔图标，则全景学习平台系统就得到了一个特定的动作类型一一即粉笔书写，在老师落笔时，获取到落笔位置一一即本次动作的坐标位置，书写的过程中，老师客户端的全景学习平台系统实时记录粉笔书写过的轨迹一一即粉笔这一动作的动作特征码。这样，动作特征码、动作坐标位置和发生讲解动作时的讲解语音三个核心数据与讲解动作类型、讲解动作发生的时间一起形成二进制数据流进行实时远程数据传输或生成文件进行保存。学生客户端收到二进制数据流后，通过全景学习平台系统的学生客户端，解析并读取数据中的动作类型、动作特征码、动作坐标位置和发生讲解动作时的讲解语音，按时间数据顺序将其实时渲染到显示器上，实现实时再现讲课过程的画面。
[0007]作为进一步优选的实施方式，在数据传输过程中，如动作类型没有变化，则一直默认为当前动作类型，数据传输只需要将动作坐标位置和发生讲解动作时的讲解语音两个核心数据与讲解动作发生的时间一起形成二进制数据流发送，大大减少了数据传输流量。例如，老师在教学讲解过程中，点击老师客户端的全景学习平台系统界面上的粉笔图标，则全景学习平台系统就得到了一个特定的动作类型一一即粉笔书写，在老师书写的过程中，老师客户端的全景学习平台系统实时记录粉笔书写过的轨迹一一即粉笔动作的动作特征码，这时，如果动作类型在一段时间(比如2秒钟)保持不变，则系统一直默认为当前动作类型为粉笔书写，数据传输只需要将动作特征码和发生讲解动作时的讲解语音两个核心数据与讲解动作发生的时间一起形成二进制数据流发送，直到动作类型改变(比如老师点击全景学习平台系统界面上的其他图标)。
[0008]动作位置坐标始终为本次动作开始的坐标位置，针对不同的动作，动作特征码会包含不同信息:
[0009]当动作类型为粉笔书写时，动作特征码为字的颜色及笔迹坐标。
[0010]当动作类型为画线时，动作特征码为线的颜色及笔迹坐标。
[0011]当动作类型为画图形时，动作特征码为图形特征描述码及位置坐标。对于矩形，图形特征描述码包括为矩形的宽和高；对于三角形，图形特征描述码为三角形三顶点的坐标；对于圆柱体和圆锥体，图形特征描述码为圆柱体或圆锥体的底边半径和高；对于立方体，图形特征描述码为立方体的底部宽、高和立方体的高。
[0012]对于使用板擦，动作特征码为板擦的尺寸以及板擦擦除路径的连续位置坐标。
[0013]对于插入图片、视频，动作特征码为图片、视频的引用地址或者文件本身的二进制代码。
[0014]对于插入文字，动作特征码为文字内容。
[0015]对于教杆指引，动作特征码为教杆指引路径的位置坐标。
[0016]这样，与传统的视频文件相比，本发明所采用的数据传输方式，仅保留核心的变化的信息数据，即动作的起始坐标位置、变化的动作特征码和对应时间的讲解语音进行数据传输或记录，从而大幅降低信息化教学的数据传输流量。使用本发明的技术方案进行远程教学，仅需3kb/s的传输速度即可，是视频内容的百分之一。而使用本发明的技术方案进行课程实况保存，45分钟的课程生成的文件仅有15Mb，是传统视频内容的十分之一。
[0017]另外，动作产生时间还可以进行延迟矫正，保证还原的画面与现场的一致性，从而达到远程信息化实时教学的目的。
[0018]由于是动态渲染，因此可以随时对渲染内容进行干预，从而实现互动。采用本方法实现的远程教学，发言人和听众的操作可以同时在一个设备上显示，且所有正在参与的用户，均可同步看到所有人的操作，互不干扰互不干涉。
【附图说明】
[0019]图1为本发明所述的渲染方法的数据流结构图
[0020]其中，I为老师的讲解画面；2为讲解动作发生时的时间数据；3为动作类型；4为动作特征码；5为动作位置坐标；6为数据流中的讲解语音。
【具体实施方式】
[0021]以下参照【附图说明】本发明的【具体实施方式】。
[0022]图1为传输中的二进制数据流，该二进制数据流包含动作特征码4、动作位置坐标5和发生讲解动作时的讲解语音6三个核心数据，其与讲解动作发生时的时间数据2、动作类型3 —起形成二进制数据流，学生客户端收到二进制数据流后，通过学生客户端的全景学习平台系统，解析并读取文件中的动作特征码、动作坐标位置和发生讲解动作时的讲解语音，根据讲解动作特征码、该动作的坐标位置及相应时刻的讲解语音，通过渲染程序，将这一时间节点的讲解动作全部渲染到显示设备的全景学习平台系统界面上。多个连续的时间节点重复动态进行，就会在学生客户端形成老师的讲解画面I。
【主权项】
1.一种基于全景学习平台系统的实时动作渲染方法，所述全景学习平台系统包括老师客户端、中心服务器和学生客户端三大部分，其特征在于，实时动作渲染方法如下:首先，老师客户端识别老师不同的课堂讲解动作，得到动作类型，并采集该讲解动作的位置坐标和动作特征码，同时录制老师的讲解语音，将动作位置坐标、动作特征码和发生讲解动作时的讲解语音三个核心数据与讲解动作类型、讲解动作发生的时间一起，形成二进制数据流通过中心服务器进行远程数据传输或生成文件进行保存，学生客户端收到二进制数据流后，通过学生客户端的全景学习平台系统，解析并读取数据中的动作类型、动作特征码、动作坐标位置和发生讲解动作时的讲解语音，按时间数据顺序将其实时渲染到显示器上，实现实时再现讲课过程的画面。2.根据权利要求1所述的实时动作渲染方法，其特征在于，在数据传输过程中，如果动作类型没有变化，则一直默认为当前动作类型，数据传输只将变化的动作特征码和发生讲解动作时的讲解语音两个核心数据与讲解动作发生的时间、新的动作位置坐标一起形成二进制数据流发送至学生客户端。3.根据权利要求2所述的实时动作渲染方法，其特征在于，所述讲解动作发生时间可以进行延迟矫正，保证还原的画面与教学课堂现场的一致性。4.根据权利要求1所述的实时动作渲染方法，其特征在于，对保存的文件进行讲解回放时，通过老师或学生客户端的全景学习平台系统，解析并读取二进制数据流中的动作类型、动作特征码、动作坐标位置和发生讲解动作时的讲解语音，按时间数据顺序同步还原当时老师的讲解动作，将其实时渲染到显示器上，实现实时再现讲课过程的画面。5.根据权利要求1-4任一项所述的实时动作渲染方法，其特征在于，所述讲解动作包括:教杆指引、粉笔书写、画线、画几何图形、打开或关闭小黑板、使用板擦、插入图片、插入视频、打开或关闭板书或插入文字。
【专利摘要】本发明提供一种基于全景学习平台系统的实时动作渲染方法。老师客户端识别老师的课堂讲解动作，采集该讲解动作的起始坐标和动作特征码，同时录制老师的讲解语音，并记录下该讲解动作的动作位置坐标、动作特征码和发生讲解动作时的讲解语音三个核心数据与讲解动作类型、讲解动作发生的时间一起，形成二进制数据流通过中心服务器进行远程数据传输或生成文件进行保存。学生客户端收到二进制数据流后，通过学生客户端的全景学习平台系统，解析并上述数据，按时间数据顺序将其实时渲染到显示器上。本发明把老师讲解过程、讲解语音为学生进行同步播放，达到全景实时模拟真实课堂的教学目的。
【IPC分类】G09B5/14
【公开号】CN105261252
【申请号】CN201510790177
【发明人】闫健, 任浩
【申请人】闫健
【公开日】2016年1月20日
【申请日】2015年11月18日