一种在线直播课堂教育的实现方法与流程

本发明属于电子信息技术领域，特别涉及一种在线直播课堂教育的实现方法。

技术背景

在线课堂教育是运用各种教育资源，通过网络跨越了空间距离的限制，使教育可以超越学校教育以外，向社会广泛辐射的开放式教育，可以充分发挥教育资源优势，使最优秀的师资、最好的教学成果通过网络传播到千家万户。根据课堂教学行为分析，学生的注意力容易集中在授课教师身上，所以授课教师和课件在同一画面展现更易于被学生接受，提高知识的接收的效果。所以，现在的教师和学生不在同一空间下(如网络课堂)进行的教学活动，力求做到的就是让学生上课时，能同时接受到教师音视频、课件、板书和课件操作等信息的有机组合，产生课堂现场感。

现有新的视频录播和微课录制系统技术抛弃了传统的画中画或三分屏画面，该技术方案是教师与PPT、图片、视频等多媒体课件资源在同一画面中融合展现，再辅以教师声情并茂的讲授和交互式的板书，让学生感受到课堂现场授课的氛围，避免学生在学习过程中认知的错位，减轻视觉疲劳。但是这一技术方案并没有在在线直播的网络课堂上广泛应用。其原因在于数据形成、传播和利用需要经过以下流程：

数据采集→数据编码→数据传输(流媒体服务器)→解码数据→播放显示；数据采集，摄像机及拾音器收集视频及音频数据，此时得到的为原始数据；数据编码，使用相关硬件或软件对音视频原始数据进行编码处理(数字化)及加工(如音视频混合、打包封装等)，得到可用的音视频数据；数据传输，将编码完成后的音视频数据进行传输，早期的音视频通过同轴电缆之类的线缆进行传输，IP网络发展后，使用IP网络优化传输；解码数据，使用相关硬件或软件对接收到的编码后的音视频数据进行解码，得到可以直接显示的图像/声音；播放显示，在显示器(电视、监视屏等)或扬声器(耳机、喇叭等)里，显示相应的图像画面或声音。其中，数据采集时通常用摄像机对教师在电子白板或者投影幕布前的授课进行拍摄，这种解决方案会因为电子课件经过电子白板或者投影显示后再拍摄，而产生图像失真的问题，无法清晰地同时拍摄教师和课件。特别是在用投影仪投影时，摄像机只能拍摄投影屏和幕布上的漫反射光，根本无法清晰展示课件中的细节部分，哪怕是教师在电子大屏前授课，用摄像机拍摄时也会发生空间混叠，产生水波纹、摩尔纹，因此学生所看的视频是不清晰的。除此之外，现在还有一些方式是将这些原始的PPT、图片、视频等多媒体课件资源和老师授课的音视频等数据分开采集，然后在传输之前进行数据编码处理(数字化)及加工(如音视频混合、打包封装等)，那么所有这些信息流最终形成的是一个视频流数据。而各类信息(包括课件、音频和视频)在这个最终的视频流中的效果和质量已经在编码处理及加工的时候就确定了下来。随着视频流数据的传输，用户为了确保网络教育实时的进行，会根据传输过程中不同网络环境和带宽调整，使其所获得的视频分辨率和视频压缩率造成存在不同程度的失真，也就是说网络不稳定或者网速较慢时，学生所看的视频也是不清晰的。目前，实时直播的数据传输使用的是直播采集分发技术，服务器在同一课堂需要给多个学生提供学生端提供服务。服务器所提供的服务质量受多种因素影响，教师端和服务器之间的上行速度、学生端的数量、课堂内容的信息量、服务器的处理速度和网络链接质量等都对画面清晰度影响很大。如果课堂容量较大时(如：万人大课堂、高质量精品课等)在线直播会占有大量的带宽，尤其是学生在对画面清晰度有更高的要求情况下也会对服务器和用户的设备提出更高的要求，但是服务器、设备设施或者带宽的升级换代也就意味着会产生大量的费用。

经检索，中国专利号CN105245976A，名称为音频和视频同步播放的方法及系统，公开了一种音频和视频同步播放方法。经检索，中国专利号CN104156959A，名称为一种视频抠图方法及装置，考虑了视频图像中人物区域的运动状态，从而提供了抠图准确率。

因此，现在需要提供一种解决方案，在既定的服务器、设备设施和带宽情况条件下，教师可以在网络教育中在网速不稳定的情况下能有选择的传输各类信息，同时学生可以在网络教育中在网速不稳定的情况下能有选择的接收教师传输的各类信息要求。

技术实现要素：

本发明旨在解决现有技术缺陷，目的是提供一种授课信息分类采集、传送和接收，降低网络带宽要求，根据网络情况按优先级选择，保证良好教学质量的在线直播课堂教育的实现方法。

为达到上述目的，提供以下技术方案：

一种在线直播课堂教育的实现方法，其特征在于：包括以下步骤：

步骤1教师端对课件、课件控制信息、涂鸦信息、音频信息和视频信息分开采集，同步标记，分类处理传送；

步骤2根据检测到的网络情况，教师端按优先级顺次传送课件、课件控制信息、涂鸦信息、音频信息和视频信息中的一个或多个；

步骤3学生端通过服务器按优先级顺次接收上述课件、课件控制信息、涂鸦信息、音频信息和视频信息中的一个或多个；

步骤4学生端将接收到的信息进行解码、同步、混合和叠加，展示到学生端的同一画面中。

如上所述在线直播课堂教育的实现方法，其特征在于：所述步骤2中，教师端在课堂开始前将课件先推送到学生端，学生端接收课件存储在本地并反馈信息给教师端，教师端接收反馈信息后再顺次推送课件控制信息、涂鸦信息、音频信息和视频信息中的一个或多个。

如上所述在线直播课堂教育的实现方法，其特征在于：所述步骤1中分类处理传送时，根据教师端网络情况，教师端能选择对传送的视频信息进行控制处理，控制处理时视频信息根据网络上传速度通过视频压缩软件自动调整教师的图像视频信号的视频分辨率和视频压缩率或者自动识别是否上传视频信息到服务器。

如上所述在线直播课堂教育的实现方法，其特征在于：所述步骤1中分类处理传送时，将课件控制信息、涂鸦信息、音频信息和视频信息分为若干个数据流传输；所述步骤4中学生端能自定义自己要接收的数据。

如上所述在线直播课堂教育的实现方法，其特征在于：所述步骤1中，所述涂鸦信息的采集方法为，通过交互设备实时收集和编译教师在讲解时在课件上进行勾画、擦涂和板书的涂鸦信息，经由教师端电脑或设备实时传送到服务器端；

所述视频信息为教师个人抠图的视频信息，其通过摄像机将教师在纯色背景前配合投影在背景布上的课件进行讲解的画面记录下来，抠图并编译成视频信号，经由教师端电脑或设备实时传送到服务器。

如上所述在线直播课堂教育的实现方法，其特征在于：所述步骤3中，在课堂开始前，教师端将课件推送缓存在服务器中，学生端从服务器中接收课件的推送并存储到本地终端。

如上所述在线直播课堂教育的实现方法，其特征在于：所述步骤3中，课堂开始后，服务器将课件控制信息、涂鸦信息、音频信息和视频信息实时分发传送到各个学生端，学生端实时接收来自教师端的讲课信息，学生端按如下优先级选择实时接收讲课信息；

3.1课堂开始后，学生端实时接收和执行教师端发送的课件控制信息，课件控制信息对存储在本地终端的课件进行实时控制，实现教师端和学生端课件的同步控制；

3.2课堂开始后，学生端实时接收和解码来自教师端的涂鸦信息，形成相应的涂鸦，通过外部设备进行显示；

3.3课堂开始后，实时接收和解码来自教师端的音频信息，形成相应的音频，通过外部设备进行播放；

3.4课堂开始后，实时接收和解码来自教师端的视频信息，形成相应的视频，通过外部设备进行显示和播放。

如上所述在线直播课堂教育的实现方法，其特征在于：所述步骤3中，根据学生端网络情况，学生端能选择对传送的视频信息进行控制处理，控制处理时视频信息根据网络下载速度通过视频压缩软件自动调整教师的图像视频信号的视频分辨率和视频压缩率或者自动识别是否下载视频信息到学生端。

如上所述在线直播课堂教育的实现方法，其特征在于：所述服务器为局域网服务器或者互联网服务器或者局域网服务器与互联网服务器的组合。

本发明的有益效果：

(1)将课件在课前发送到学生端，不用将课件作为视频一帧帧地向学生端传送，节省带宽，减轻了服务器的压力，将课件数据在直播前就传送到位；

(2)将内容分类，按优先级传送，解决了网络环境不好或者设备配置低的情况下课堂中断的问题，在环境最差的情况下也能实现课件控制和音频的传送，让学生看不到教师个人抠图的视频信息的情况下也可以正常学习；

(3)教师可以根据需求灵活地控制各类信息的传输，不必要或者不重要的信息不会占用网络传输空间，提高了网络利用率；

(4)学生可以根据需求有选择地控制各类信息的接收，对自己不需要的信息可以关闭该类信息流通道，提高了网络利用率的同时也满足了不同学生的不同需求；

(5)对课件进行实时控制，确保学生能够跟着教师的讲解，不会找不到内容而产生分心，让教师和学生同步看到课件，产生亲临课堂现场的感觉；

(6)将课件转化为虚拟背景，避免画中画或三分屏画面会导致学生学习过程中认知的错位，不易识别教学主体、还容易造成视觉疲劳，从而到达更清晰生动地展示内容，感受到课堂现场授课的氛围，从而提高使用微课程视频学习的效果；

(7)将课件、涂鸦和视频组合在同一画面显示，使得画面更有层次，更生动形象，甚至能比现实课堂展示更多的信息；

(8)将课件在课前发送到学生端，使得学生能够看到清晰完整的课件内容，不用受到教师端摄像机好坏、视频编辑压缩和网络传输不稳定导致的失真或者不清晰。

附图说明

图1是本发明中教师端与学生端信息处理流程框图；

图2是本发明中在线直播课堂教育系统连接结构框图。

具体实施方式

如图1和图2，一种在线直播课堂教育的实现方法，包括以下步骤：

步骤1教师端100对课件1、课件控制信息2、涂鸦信息3、音频信息4和视频信息5分开采集，同步标记，分类处理传送；

步骤2根据检测到的网络情况，教师端100按优先级顺次传送课件1、课件控制信息2、涂鸦信息3、音频信息4和视频信息5中的一个或多个；

步骤3学生端300通过服务器按优先级顺次接收上述课件1、课件控制信息2、涂鸦信息3、音频信息4和视频信息5中的一个或多个；

步骤4学生端300将接收到的信息进行解码、同步、混合和叠加，展示到学生端的同一画面中。

步骤1中，涂鸦信息3的采集方法为，通过交互设备实时收集和编译教师在讲解时在课件1上进行勾画、擦涂和板书的涂鸦信息3，经由教师端100电脑或设备实时传送到服务器200端；视频信息5为教师个人抠图的视频信息5，其通过摄像机将教师在纯色背景前配合投影在背景布上的课件1进行讲解的画面记录下来，抠图并编译成视频信号，经由教师端100电脑或设备实时传送到服务器200。

步骤1中分类处理传送时，根据教师端100网络情况，教师端能对传送的视频信息5进行控制处理，控制处理时视频信息5根据网络上传速度通过视频压缩软件自动调整教师的图像视频信号的视频分辨率和视频压缩率或者自动识别是否上传视频信息到服务器200。同步标记，分类处理传送时，将课件控制信息2、涂鸦信息3、音频信息4和视频信息5分为若干个数据流传输，步骤4中学生端能自定义自己要接收的数据。

步骤2中，教师端在课堂开始前将课件先推送到学生端，学生端接收课件存储在本地并反馈信息给教师端，教师端接收反馈信息后再顺次推送课件控制信息、涂鸦信息、音频信息和视频信息中的一个或多个。

步骤2中，教师端100在课堂开始前将课件1先推送到学生端300，学生端300接收课件1存储在本地并反馈信息给教师端100。

课堂开始后，教师端100接收反馈信息后再顺次推送课件控制信息2、涂鸦信息3、音频信息4和视频信息5中的一个或多个。服务器200将课件控制信息2、涂鸦信息3、音频信息4和视频信息5实时分发传送到各个学生端300，学生端300实时接收来自教师端100的讲课信息，学生端300按如下优先级选择实时接收讲课信息：3.1课堂开始后，学生端300实时接收和执行教师端100发送的课件控制信息2，课件控制信息2对存储在本地学生端300的课件1进行实时控制，实现教师端100和学生端300课件1的同步控制；3.2课堂开始后，学生端300实时接收和解码来自教师端100的涂鸦信息3，形成相应的涂鸦，通过外部设备进行显示；3.3课堂开始后，实时接收和解码来自教师端100的音频信息4，形成相应的音频，通过外部设备进行播放；3.4课堂开始后，实时接收和解码来自教师端100的视频信息5，形成相应的视频，通过外部设备进行显示和播放。

步骤3中，根据网络情况，学生端300能选择对传送的视频信息5进行控制处理，控制处理时视频信息根据网络下载速度通过视频压缩软件自动调整图像视频信号的视频分辨率和视频压缩率或者自动识别是否下载视频信息到学生端300。

步骤4中，学生端300将接收到的课件控制信息2、涂鸦信息3、音频信息4和视频信息5进行时间上的同步标记，实现学生端300同一画面中展示讲课信息。

本发明中，服务器200为局域网服务器或者互联网服务器或者局域网服务器与互联网服务器的组合。

本发明工作原理：

(一)将整个课堂信息分为五类，课件信息、课件控制信息、涂鸦信息、和视频信息；

1、课件信息，教师为了传达内容，在课前制作的可在计算机上展现的文字、声音、图像、视频等素材的有机集合；

2、课件控制信息，教师为了控制课件，对教师端和学生端的课件进行同步打开、修改和演示等相关操作；

3、涂鸦信息，教师为了传达内容，在课件上所做的勾画、擦涂和、板书、指示、演算和标注等相关操作；

4、音频信息，教师为了传达内容，在讲述内容过程中，通过自己口述的声音信息；

5、视频信息，教师为了传达内容，在带投影的纯色背景(如，绿幕)前，配合投影在背景布上的课件进行讲解，通过抠图软件将教师个人图像视频抠出，将讲课思想和情感通过肢体语言和面部表情向学生传达的连续视频信息；

其中，信息传递的传输优先级为，课件(课前缓存)>课件控制>涂鸦>音频>视频，最先保证课件在课前已经缓存好在学生的学生端上。课堂开始后根据网络情况，按照优先级顺序，确保优先级高的传送顺利，再传送优先级低的前提条件下传送。

(二)将整个信息流分为三个节点，教师端、服务器、学生端；

1、教师端，配置在教师讲课处，要求有一定空间，配合使用的设备还应该有，投影(电子屏)、控制设备、拾音设备、交互设备、摄像机和网络链接装置等设备。主要完成以下几个操作，

1)课堂开始前，制作课件，将课件在上课之前提前推送至指定学生端；

2)教师在上课的时候利用专用纯色背景(如，绿幕)及支架结合背投式投影，将课件投影到纯色背景(如，绿幕)上，让教师可以方便地看着课件讲解；

3)课堂开始后，在检测到教师通过控制设备(如，鼠标、遥控翻页笔)对课件有操纵指令信息(如，打开、关闭、翻页和切换、前进和后退等)时，通过教师端电脑或设备收集和编译教师对课件的控制信息，并实时传送到服务器；

4)课堂开始后，通过交互设备(如，电子白板书写笔、投影机交互笔)实时收集和编译教师在讲解时在课件上进行勾画、擦涂和板书的涂鸦信息，经由教师端电脑或设备实时传送到服务器端；

5)课堂开始后，通过拾音设备(如无线话筒、麦克风等)实时收集和编译教师的音频信息，经由教师端电脑或设备实时传送的服务器；

6)课堂开始后，通过摄像机将教师在纯色背景(如，绿幕)前配合投影在背景布上的课件进行讲解的画面记录下来，并编译成视频信号(采用图像分析算法进行图层分离，通过抠像软件将教师的视频图像抠录下来)，经由教师端电脑或设备实时传送到服务器；

7)课堂开始后，将接收到的课件控制信息、音频信息、涂鸦信息和视频信息进行时间上的同步标记，以避免控制信息流在教师端和学生端产生不同步或者不匹配的情况；

8)可以根据需要对课堂五类信息的传输进行控制(开/关/自动)，根据教师端网络情况对传送的视频信息进行控制处理，控制处理时视频信息根据网络上传速度自动调整教师的图像视频信号的视频分辨率和视频压缩率或者自动识别是否上传视频信息到服务器。例如:一路1080P的视频，比特率为4Mbps，所需的网络上行带宽至少为4Mbps，则当用户上行网速低于4Mbps时调整为更低分辨率的视频格式(如，720P)；720P视频的比特率为2Mbps，所需的网络上行带宽至少为2Mbps，则当用户网速低于2Mbps时调整为更低分辨率的视频格式(如，480P视频格式)；480P视频的比特率为1Mbps，所需的网络上行带宽至少为1Mbps，则当用户网速低于1Mbps时调整为更低分辨率的视频格式(或者停止传送教师的头像视频信号)；反之，当使用480P视频信息的用户网速高于更高分辨率(如，720P)所需的网速(即，2Mbps)时，则将视频调整为更高分辨率(即，720P)。通过以上方法的调整，系统可以实现根据网络上传速度快慢自动调整教师的图像视频信号的视频分辨率和码率(或者自动识别是否上传该类信息到服务器)的效果；

2、服务器，主要完成以下几个操作，

1)在课堂开始前，将教师端传送的课件向学生端推送传输；

2)课堂开始后，将教师端的课件控制指令信息转发到学生端，实现课件的同步控制；

3)课堂开始后，实时接收来自教师端的音频、涂鸦和视频信息，并实时分发传送到各个学生端；

4)课堂开始后，将接收到的课件控制、音频、涂鸦和视频信息进行同步标记，使得最终画面能同步，并呈现出教师在PPT前勾画授课的效果；

5)课堂开始后，检查教师端与服务器的网络传输情况，并响应教师端对各类信息流的传输控制命令，根据教师端用户的自定义条件接收教师端传输过来的信号流；当教师端对某类信息流打开“自动”条件，判断当前教师端与服务器之间网络传输环境，并给教师端发送反馈信息，根据教师端的要求来控制是否传送该类信息流(或者根据网速自动调整教师的图像视频信号的视频分辨率和码率)；

6)课堂开始后，检查学生端与服务器的网络传输情况，并响应各个学生端对各类信息流的传输控制命令，从教师端传输过来的信息流中根据各学生端用户的自定义条件按照需求分发个信息流信号；当某学生端对某类信息流打开“自动”条件，判断当前学生端与服务器之间网络传输环境，控制是否分发该类信息流(或者自动调整教师的图像视频信号的视频分辨率和压缩程度)；

3、学生端，配置在学生听课处(作为局域服务器时可以配置在听课处附近)。主要完成以下几个操作，

1)课堂开始前，接收来自教师端的课件，存储到本地学生端；

2)课堂开始后，接收和执行课件控制信息，实现控制信息对存储在本地的课件进行实时控制(如，打开、关闭、翻页和切换、前进和后退等)；

3)课堂开始后，实时接收和解码来自教师端的涂鸦信息(如，勾画、擦涂和板书)，形成相应的涂鸦，通过外部设备(屏幕或投影等)进行显示；

4)课堂开始后，实时接收和解码来自教师端的音频信息，形成相应的音频，通过外部设备(音响或喇叭等)进行播放；

5)课堂开始后，实时接收和解码来自教师端的视频信息，形成相应的视频，通过外部设备(屏幕或投影等)进行显示和播放；

6)课堂开始后，将课件、涂鸦、音频和视频进行同步叠加，展示到学生端(如，电脑、平板、手机或者智能电视等)的同一画面，其中课件作为背景，涂鸦叠加在课件之上，视频叠加在课件涂鸦之上，最终画面呈现出教师在PPT前勾画授课的效果。这样可实现教师授课形象和教学课件同时出镜，实时标注课件和进行板书；

7)各学生端也可以独立作为最末学生端，若学生端是局域服务器，则各学生子端按照根据学生端类型选择性加入。学生端作为局域网服务器时，将合成好的视频和音频分发到局域网内的各个子学生端(如，电脑、平板、手机或者智能电视等)；

8)可以根据需要对课堂五类信息的接收进行控制(开/关/自动)，根据教师端网络情况对传送的视频信息进行控制处理，控制处理时视频信息根据网络上传速度自动调整教师的图像视频信号的视频分辨率和视频压缩率或者自动识别是否上传视频信息到服务器。

本发明中，在既定的服务器、设备设施和带宽情况条件下，讲课信息分类采集、同步标记，再同步叠加显示，教师可以在网络教育中在网速不稳定的情况下能有选择的传输各类信息，同时学生可以在网络教育中在网速不稳定的情况下能有选择的接收教师传输的各类信息要求。根据网络情况按优先级选择，实时传输接收，保证良好教学质量。

以上已将本发明做一详细说明，以上所述，仅为本发明之较佳实施例而已，当不能限定本发明实施范围，即凡依本申请范围所作均等变化与修饰，皆应仍属本发明涵盖范围内。