生用户在点播回放某课程ID的录制文件时，系统首先检查本地缓存是否 保存了该课程ID的数据，如果没有保存，就通过网络访问服务器端的数据库，根据课程ID 分别获取图像数据（或片段）、应用数据（或片段）、可能使用的电子文档（如PPT)、音频 数据（或片段）以及对应关系表，这些数据分别以socket加密信道传输并且缓存至学生 用户终端上，再由学生用户终端的客户端或APP根据对应关系表将这些数据组合再现实现 点播回放；如果本地缓存已经保存，就通过网络访问服务器端的数据库，只需获取对应关系 表，再由学生用户终端的客户端或APP根据数据流片段对应关系表将这些本地已经缓存的 数据组合再现实现点播回放。
[0417] 在上述实施方式的描述中，用户终端和服务器是可以由与包含互联网在内的通信 网络进行连接的构成，所以也可以是以经由通信网络下载程序代码的方式流动地承载程序 代码的媒体。在这样从通信网络下载程序代码的情况下，也可以是该下载用的程序预先保 存在主体装置中或者从别的记录媒体进行安装的构成。此外，本发明可以通过上述程序代 码以电子传输所体现的、被嵌入于载波中的计算机数据信号的形态而得以实现。
[0418] 本发明的网络教学方法及系统区别于视频流录制，主要记录并传输动作/操作产 生的坐标触发数据，实时在其他用户端或后期点播中通过触发数据还原课堂内容，具有存 储和传输数据流小的特点。特别是在教学过程中如果有闲置时间，将不发送任何数据，或者 只发送音频数据流，从而最大程度上提高了传输效率。通过应用本发明的方法，使得同屏数 据信息不局限于图像等，通过传送指令及坐标点数据的方式进行同屏信息推送，大大减少 了网络的并发数据量，使得同屏速率在质上有了大幅度的提升、节省大量的存储空间及使 用流量，取代了传统视频流录制的方式。
[0419] 本发明的网络教学方法及系统，从分类数据的录制和分类单独存储，生成统一的 时间戳进行标记，到对需要加密的数据进行简单分割，建立对应关系表，根据需要单独获取 录制数据，实现流畅的数据传送，而使用本地的终端上客户端将这些数据有机组合起来，甚 至可以根据客户端的需要仅仅获取部分数据进行播放，系统性的解决了教学过程录播问 题。
[0420] 本发明的网络教学方法及系统还定义了明确清晰的数据储存、还原格式，过程文 件录制和文件回放的所有数据均通过时间戳标识+动作数据流+音频数据流方式从数 据库，获取实现网络在线交流过程中比如授课板书及授课音频还原，支持Android/iOS/ Windows等操作系统，具有非常良好的可跨平台展示的能力，方便快捷扩展到其他展示平 台。
[0421] 以上对于发明的描述是针对网络教学的，围绕学生用户和教师用户之间的交互的 同屏显示、实时录制和点播回放进行的，可以理解的是，本发明中所称的学生用户和教师用 户在其他类似的基于网络的交流系统可以是网络会议的参与者和/或会议主持人、发言人 等，他们之间可以是平等的关系，也可以是主从的关系，而且这样的关系是可以切换的或者 对换的，所称的学生用户、教师用户以及网络教学系统并不是为了限制本发明的用途，仅作 为一种典型情况进行示例性的描述，任何基于网络的，需要将某终端上显示的内容和/或 操作的内容发送到网络的其他至少一个终端的应用，均适用于本发明的方法和系统。
[0422] 以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理 解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应 包含在本发明所附的权利要求书概括的保护范围之内。
【主权项】
1. 一种网络教学方法，用于包括多个用户终端和服务器的网络教学系统，它们通过网 络进行通信，包括以下步骤： 一数据采集步骤，用于采集网络教学过程中用户终端上的图像数据、应用数据和/或 音频数据，所述采集的数据用于同步显示和实时录制； 一同步显示步骤，用于将所述采集的数据自动同步显示或者传送至其他用户终端上； 一实时录制步骤，用于将所述采集的数据分别保存至数据库，使得用户可以点播回放 教学过程；和 一点播回放步骤，用于根据用户的请求，将保存的采集数据传送给所述用户并且在所 述用户的终端上组合以再现教学过程。2. 根据权利要求1的网络教学方法，其中，所述数据采集步骤包括： 一启动用户终端步骤，准备获取用于同步显示的数据以及教学过程中产生的音频数 据，所述用于同步显示的数据包括同屏显示数据和同屏应用数据； 一同屏显示数据获取步骤，获取用于图像同步显示的同屏显示图像数据； 一同屏应用数据获取步骤，获取用于同步显示的同屏应用操作数据，其包括对于屏幕 上显示的电子文档的各种应用操作； 一音频数据获取步骤，获取教学过程中产生的用于同步传输和实时录制的音频数据；一图像压缩步骤，采用JPEG格式压缩获取的所述同屏显示图像数据； 一图像发送判断步骤，判断经过所述图像压缩步骤压缩的相邻两幅所述同屏显示图像 是否相同，根据判断结果确定是否发送所述图像； 一确定发送图像分割步骤，分割确定要发送的且文件大小超过UDP协议数据包的经过 压缩的所述图像数据和所述音频数据，与符合协议大小要求的图像数据一起，形成待发送 数据包。3. 根据权利要求2的网络教学方法，其中，所述数据来源包括用户终端上显示的图像、 各种操作的应用数据、与所述用户终端连接的其他辅助显示或展示设备的图像、通过用户 终端采集的或者通过与用户终端连接的音频采集设备采集的音频数据； 所述采集的图像数据是BMP格式的。4. 根据权利要求3的网络教学方法，其中，所述音频数据包括从第一音频源采集的第 一音频数据流，以及从至少一个第二音频源采集的第二音频数据流； 所述第一音频源为教学活动中的教师用户、在线会议的主讲人或者交互交流活动的主 要发言人； 所述第二音频源为教学活动中的学生用户、在线会议的其他讲话人或者交互交流活动 的其他发言人。5. 根据权利要求2的网络教学方法，其中， 通过用户终端上的客户端或者APP记录传送指令及坐标点数据包括Path路径坐标数 据的方式获得需要的所述同屏应用数据。6. 根据权利要求5的网络教学方法，其中， 所述Path路径坐标数据的记录过程如下： A1、解析记录的Path路径坐标数据，并存放至临时的指令坐标堆栈中，然后对屏幕进 行初始布局，在屏幕的Canvas画布上先设置背景图案； A2、新建一个Bitmap，并以此Bitmap生成一个临时画布temptCanvas; A3、将tempBitmap背景设置为透明，这样做的目的是把临时画布temptCanvas的目标， 定位在新建的tempBitmap上； A4、通过所述构造后，提取指令堆栈中的坐标指令，--还原，通过temptCanvas进行 从写，temptCanvas的一切draw函数，都会把相应的图像画在临时的tempBitmap上，这 样在动作回溯的过程中，画点、画线调用temptCanvas而不是原先屏幕上的Canvas，包括 temptCanvas.drawPoint,temptCanvasRect； A5、所有的指令坐标堆栈执行完毕后，执行Canvas.drawBitmap(tempBitmap, 0, 0,null);temptCanvas负责的是将各种画笔痕迹画在 tempBitmap上，而Canvas负责将tempBitmap绘制到屏幕上。7. 根据权利要求2的网络教学方法，其中， 在执行所述图像压缩步骤前，将未压缩的所述图像数据进行备份，形成原始图像备份 数据库，当用户收到压缩的图像而需要查看更精细的图像时，通过点击操作从所述原始图 像备份数据库中下载原始图像。8. 根据权利要求7的网络教学方法，其中， 在执行完所述图像发送判断步骤后，将确定不同步显示给学生用户终端的压缩图像的 原始备份数据从所述数据库中删除。9. 根据权利要求2的网络教学方法，其中， 所述图像压缩步骤进一步包括一次压缩和二次压缩。10. 根据权利要求9的网络教学方法，其中， 在所述JPEG图像一次压缩过程中，在对所述图像进行压缩处理时，将每幅所述图像的DC特征值和AC特征值复制另存为独立的数据文件； 根据所述复制另存的数据文件，依次计算前后两幅相邻图像的所述DC和AC特征值的 差异值，即DC和AC特征向量各分量之差的总和，差异值越大说明前后两幅图像的差别越 大，差异值越小或者没有差异说明前后两幅图像的差别越小或者没有差别，判断为后面的 这幅图像无需传送到学生用户终端进行同步显示。11. 根据权利要求10的网络教学方法，其中， 所述特征值的差异值的计算方法为： 将前后相邻两幅图像的DC和AC特征值值进行对比， 对于DC特征值值，对比其分量的正负号，如果分量同号标记为1，否则标记为0 ; 对于AC特征值值，根据设定的对比阈值，如果分量之差超过对比阈值标记为0,否则标 记为1 ; 由此，求出0或1的数目，相加求和，可以得出前后相邻两幅图像之间的差异值； 其中，0的数目越多表明特征向量的差异越大，图像的差异越大。12. 根据权利要求11的网络教学方法，其中， 设置多个存储复制另存的DC和AC特征值存储文件，存储满一个文件夹，就使用另一个 存储文件，之后系统清空所述存储满的文件夹备用。13. 根据权利要求10的网络教学方法，其中， 当长时间检测到前后截屏的内容没有变化时，逐步自动延长截取屏幕图像内容的时 间。14. 根据权利要求11的网络教学方法，其中， 当检测到差异值保持在一定范围内基本平稳时，将当前屏幕的内容作为第一版板书内 容进行标记； 当检测到差异值出现较大变化时，判断为新的一个版面的板书或新的显示内容开始。15. 根据权利要求9的网络教学方法，其中， 所述图像二次压缩步骤，根据图像大小与结合系统指定的文件字节数的{最小值、最 大值}: {minSize, maxSize}，设置进一步的压缩比率： If (image. getBytes () >maxSize) {压缩比率=image. getBytes()/maxSize*系统定义偏移量} Else, {压缩比率=1}; 根据由压缩图像构成的图像的大小与指定的文件字节数的{minSize, maxSize}获得 图像压缩比率： 如果图像的大小大于最大值， 压缩比率=图像大小/最大值*系统定义偏移量，否则，压缩比率=1 ; 其中， 所述偏移量设置为〇. 4~0. 6之间。16. 根据权利要求2的网络教学方法，其中， 所述压缩获得的JPEG图像以及同屏应用数据包大于报文的限制长度时，会按照报文 等比，将所述JPEG图像以及同屏应用数据包分割成若干子数据包，即 分割成若干临时TMP文件，这些分割的临时TMP文件通过网络以组播方式进行传送，用 于当学生用户终端获得所有的分割TMP文件后，对分割TMP文件进行合并，形成完整的JPEG 图像，并在学生用户终端本地显示。17. 根据权利要求16的网络教学方法，其中， 根据数据长度，动态计算并拆分数据，并且最大的拆分数量不超过5个这样两组条件 进行综合计算，从而得到一个较优的报文数组进行发送。18. 根据权利要求1的网络教学方法，其中， 所述同步显示步骤包括： 一数据包发送步骤，基于UDP协议以组播模式向多个用户终端发送所述待发送数据 包； 一线程监控步骤，用于在基于UDP协议传送时对线程进行实时监控，对丢包数据进行 补发操作； 一过期数据处理步骤，用于丢弃所述网络教学系统中的过期数据，保证网络传输的畅 通； 一同步再现步骤，用于在接收数据的所述学生用户终端上实现同步再现。19. 根据权利要求18的网络教学方法，其中， 所述学生用户终端的客户端在收到了来自教师用户终端的组播数据包时，会先校验收 到的数据是否已经接受完全，如果接受完全会将数据报文进行合并还原； 在每收到一个数据报文的同时，立刻给教师用户终端发送反馈信息； 学生用户终端接收到指令信息后，会向教师用户终端发送反馈信息。20. 根据权利要求18的网络教学方法，其中， 所述线程监控步骤具体包括： 线程监控步骤B1、数据报文发送处理步骤： 教师用户终端对发送的数据报文进行签名编号，确保每次发送的报文组ID统一并且 唯一，然后将数据报文发送至无线AP的组播地址，范围在234. 5. *组播网段间固定组播 地址，教师用户终端在启动程序时会自动计算组播地址，确保在一个网络环境内特别是局 域网络环境内，每个课堂都独立占用为一个组播地址； B2、自守护线程启动步骤： 在数据报文发送后，教师用户终端会启动一个自守护线程，启动计时器，并建立补发堆 栈，将本次的发送数据、发送目标存入补发堆栈，在到达自守护线程启动时间后，没有收到 学生用户终端的数据报文反馈，自守护线程会启动数据报文补发处理，对没有反馈的学生 用户终端补充发送数据包； B3、反馈守护线程启动步骤： 教师用户终端发送完组播UDP数据包后，当第一次收到学生用户终端的反馈消息后， 会自动启动反馈守护线程，该线程会按照拆分后的数据包对用户终端的反馈进行保证重传 处理，同时停止自守护线程； B4、报文反馈步骤： 学生用户终端的客户端在收到了来自教师用户终端的组播数据包时，会先校验收到的 数据是否已经接受完全，如果接受完全会将数据报文进行合并还原；在每收到一个数据报 文的同时，立刻给教师用户终端发送反馈信息。21. 根据权利要求18的网络教学方法，其中， 所述过期数据处理步骤具体过程如下： C1、教师用户终端上传组播报文到服务器，服务器通过网络传输把组播报文给学生用 户终端； C2、学生用户终端收到的组播报文时，如果报文签名为当前正在处理的报文组，则将报 文信息入栈，并反馈信息发送给教师用户终端； C3、如果学生用户终端收到的组播报文签名比当前栈中处理的数据新，则表明栈中的 数据已经过期，会将栈中数据清空，同时将新数据入栈，等待报文数据接收完全后进行后续 处理； C4、如果学生用户终端收到的组播报文签名比当前栈中处理的数据旧，则表明该收到 的数据报文已经过期，系统放弃当前接收到的数据报文； C5、教师用户终端收到学生用户终端的数据报文反馈信息，如果报文时间戳已经过期， 表明学生用户终端延迟收到消息，数据已过期，教师用户终端对该数据报文进行丢弃，不进 行其它任何处理，如果收到的数据报文时间戳为当前发送数据包，则对该反馈信息进行接 收。22. 根据权利要求18的网络教学方法，其中， 所述同步再现步骤，在学生用户终端上的客户端或APP中，内置有图像子数据包合并 显示模块，用于将接收到的若干子数据包如若干临时TMP文件，合并形成完整的JPEG图像， 并在学生用户终端上进行显示，完成同屏显示的目的；以及， 内置有与教师用户终端同样的文件操作逻辑模块，在同屏应用过程中，学生用户终端 事前加载本次课堂的电子文件资源，教师在讲课直播过程中，学生用户终端将通过服务器 获得的教师操作电子文档/文件的操作指令数据如指令及坐标点数据，利用已经内置的逻 辑模块结合下载的课堂电子文件资源，通过所述逻辑模块自动模拟教师的操作，完成同屏 应用显示的目的。23. 根据权利要求1的网络教学方法，其中， 所述实时录制步骤包括： 一系统生成文件标识ID; 一系统生成时间戳标识； 一将文件标识ID和时间戳标识Timestamp分别与以上所述数据流以及所述电子文档 结合绑定，并按照设定格式分别保存至数据库。24. 根据权利要求23的网络教学方法，其中： 所述数据库为本地服务器Server数据库或者网络服务器Server数据库， 当数据流保存至本地服务器Server数据库时，由本地服务器Server上传至网络服务 器Server。25. 根据权利要求23的网络教学方法，其中： 将至少一种所述数据流分割成片段，每个数据流片段的标识ID由所述文件标识ID和 随机分配的片段编码组成； 建立所述数据流片段标识ID与所述时间戳的映射关系表，用于根据所述映射关系表 顺序组合所述数据流片段，实现数据流的正常播放。26. 根据权利要求1的网络教学方法，其中： 所述点播回放步骤包括用户终端通过网络分别获取这些数据流，利用安装在所述用户 终端上的客户端或APP根据时间标识Timestamp播放录制的内容。27. 根据权利要求26的网络教学方法，其中： 在执行首次播放请求时，服务器根据映射关系表的时间顺序，向用户终端传送数据流 片段，用户终端顺序组合这些片段即可进行播放，不将所述映射关系表发送给用户终端； 在执行播放请求时，根据需要播放的录制文件的文件标识ID，检查是否使用了电子文 档，如果使用了电子文档，首先在用户终端的本地缓存中查找是否已经下载了所述电子文 档，如果有，则无需下载，如果没有，先通过网络将所述电子文档下载到用户终端，所述电子 文档是由教师用户上传到服务器的。28. 根据权利要求27的网络教学方法，其中： 当数据流分割成片段而需要映射关系表才能播放录制文件时，如果网络用户终端的本 地缓存中已经保存了所述数据流时，只需要下载所述映射关系表，即可实现复原播放。29. 根据权利要求1-28之一的网络教学方法，其中： 所述网络教学录播方法可以用于网络教学、在线培训、应急指挥包括地图标注和音频 录制、金融系统包括操盘讲解或者在线会议系统的教学活动或者会议过程的录制和播放。30. 根据权利要求1-28之一的网络教学方法，其中： 所述数据流传输时通过Socket通信接口进行，并且对所述数据流进行SSL加密处理。31. -种网络教学系统，其特征在于：用于执行权利要求1-30所述的网络教学方法。32. -种计算机程序，包括被加载至计算机系统并被执行时执行根据权利要求1-30中 任一项所述的方法的步骤的计算机程序代码。33. -种计算机可读存储介质，包含权利要求32的计算机程序。
【专利摘要】本发明提供一种网路教学方法及系统，该系统包括多个用户终端和服务器，他们通过网络进行通信，该方法包括以下步骤：数据采集步骤，用于采集网络教学过程中的图像数据、应用数据和/或音频数据，这些采集的数据用于同步显示和实时录制；同步显示步骤，用于将所述采集的数据自动同步显示或者传送至学生用户终端上；实时录制步骤，用于将所述采集的数据分别保存至数据库，使得用户可以下载这些数据；和点播回放步骤，用于根据用户的请求，将录制保存的数据传送给用户并且在用户终端上组合再现教学过程。
【IPC分类】G09B5/06
【公开号】CN105405325
【申请号】CN201510975783
【发明人】陈铿帆, 刘胜强, 刘善果, 腾凯
【申请人】深圳市时尚德源文化传播有限公司
【公开日】2016年3月16日
【申请日】2015年12月22日