实时远程互动教学系统的制作方法

本发明涉及远程教学技术领域，尤其是涉及实时远程互动教学系统。

背景技术

远程视频互动voip(voiceoverinternetprotocol，模拟信号数字化)基于的通讯协议主要分为两大阵营：sip(sessioninitiationprotocol，会话初始协议)与h.323。它们都利用rtp(real-timetransportprotocol，实时传输协议)作为媒体传输的协议。h.323企图把voip当作是众所周知的传统电话，sip借鉴了其他internet标准和协议的设计思想，首先，它是基于文本的协议，而h.323采用基于asn.1(abstractsyntaxnotationone，抽象语法标记)和压缩编码规则的二进制方法表示其消息，因此，sip对以文本形式表示的消息的词法和语法分析就比较简单。其次，sip会话请求过程和媒体协商过程等是一起进行的，因此呼叫建立时间短，而在h.323中呼叫建立过程和进行媒体参数等协商的信令控制过程是分开进行的，在h.323系统中，终端主要为媒体通信提供数据，功能比较简单，而对呼叫的控制、媒体传输控制等功能的实现则主要由网守来完成，而h.323系统体现了一种集中式、层次式的控制模式。

目前有很多的远程互动教学系统，这些远程互动教学系统毫无例外都是基于sip或h.323协议来开发。现有技术方案实际上是简单的将通信行业的sip/h.323协议及视频会议等相关视频通信应用，按照教学行业场景和应用进行有限的修改后直接应用到教学场景中。但是，所有sip/h.323协议及相关技术的缺点在这些远程教学系统中都有体现。

基于sip/h.323视频会议的系统架构是比较复杂的，对网络的要求也比较高，基于sip/h.323协议组建视频会议系统需要视频会议服务器或视频会议mcu(multicontrolunit，多点控制单元)、sipserver、sip或h.323终端、摄像头等等配套设备。最关键的是需要进行网络穿越，才能保证sip/h.323的使用，由于很多网络设备以及各级管理员并不都支持随意进行nat(networkaddresstranslation，网络地址转换)穿越，所以在实际应用中需要配置很多网络设备和各种参数，才能搭建一个基于sip/h.323协议的视频会议系统。

h.323的局限性是易造成瓶颈，而sip的各项管理功能实现起来比较复杂。远程互动教学是为了异地同上一节课，是在特定场合下的音视频通信，其关键是需要搭建简单、使用方便，能够进行群体性的视频互动，还需要进行课件展示、直播、录课、回放等功能，而这些要求基于sip/h.323协议远程互动很难满足，要么环境搭建过于复杂、设备太多，对网络要求太高；要么使用太复杂，一般老师很难在上课的同时进行操控，还需要有专职的人员协助；要么功能上满足不了异地同上一节课的教学要求，缺乏满足远程互动教学特需的功能。

技术实现要素：

有鉴于此，本发明的目的在于提供实时远程互动教学系统，以简化远程互动教学中的通信过程、网络架构和操作难度，有利于推进优化教育资源配置、平衡不同区域教育发展水平的工作。

第一方面，本发明实施例提供了一种实时远程互动教学系统，其中，包括：转发及流媒体服务器和智能网关；

所述智能网关通过设置的vga接口、hdmi接口与所述转发及流媒体服务器之间进行流媒体传输；

其中，所述智能网关分别设置于主讲教室和听讲教室中。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述vga接口，用于将多个来源的视频流进行编码后输出至所述转发及流媒体服务器，以使所述转发及流媒体服务根据所述编码后的视频流生成课件源。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述智能网关还设置有lineout接口；

基于设置于主讲教室中所述智能网关：

所述hdmi接口，用于基于所述转发及流媒体服务器中的课件源，获取课件路画面和/或其他路教室画面、课件路声音和/或其他路教室声音；

所述vga接口，还用于输出课件画面，所述课件画面为来自本地台式机、笔记本、android的画面；

所述lineout接口，用于输出输出课件声音。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述系统还包括音频处理器；

所述hdmi接口和所述lineout接口均与所述音频处理器的aec_ref端相连。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述系统还包括回声抑制器和ipc工业个人计算机；

所述lineout接口和所述回声抑制器的aec_out接口均与所述ipc相连。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，基于设置于听讲教室中所述智能网关：

所述hdmi接口，用于基于所述转发及流媒体服务器中的课件源，获取主讲老师画面和/或其他路教室画面、主讲老师的课件声音和讲课声音；

所述vga接口，还用于输出课件画面，所述课件画面为来自本地台式机、笔记本、android的画面和主讲教室的课件画面；

所述lineout接口，用于输出输出课件声音。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述系统还包括设置于主讲教室和听讲教室内且与所述智能网关相连的本地教学辅助设备，所述本地教学辅助设备包括摄像机、麦克风、音响和显示设备。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述转发及流媒体服务器设置有内网接口和外网接口。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，当任一互动教室发起请求信息时，所述转发及流媒体服务器将所述请求信息转发至设置于所述主讲教室内的所述智能网关，以根据所述请求信息生成同步命令，所述转发及流媒体服务器再将所述同步命令转发至其他的所述听讲教室内设置的所述智能网关处。

结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，所述系统还包括u盘和/或硬盘。

本发明实施例带来了以下有益效果：

本发明提供了实时远程互动教学系统，包括：转发及流媒体服务器和智能网关；智能网关通过设置的vga接口、hdmi接口与转发及流媒体服务器之间进行流媒体传输；其中，智能网关分别设置于主讲教室和听讲教室中。本发明可以简化远程互动教学中的通信过程、网络架构和操作难度，有利于推进优化教育资源配置、平衡不同区域教育发展水平的工作。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的实时远程互动教学系统示意图；

图2为本发明实施例二提供的实时远程互动教学系统的视频流示意图；

图3为本发明实施例三提供的实时远程互动教学系统的音频流示意图。

图标：

110-主讲教室的智能网关；120-听讲教室的智能网关；200-转发及流媒体服务器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前有很多的远程互动教学系统，这些远程互动教学系统毫无例外都是基于sip或h.323协议来开发。现有技术方案实际上是简单的将通信行业的sip/h.323协议及视频会议等相关视频通信应用，按照教学行业场景和应用进行有限的修改后直接应用到教学场景中。但是，所有sip/h.323协议及相关技术的缺点在这些远程教学系统中都有体现。

基于sip/h.323视频会议的系统架构是比较复杂的，对网络的要求也比较高，基于sip/h.323协议组建视频会议系统需要视频会议服务器或视频会议mcu、sipserver、sip或h.323终端、摄像头等等配套设备。最关键的是需要进行网络穿越，才能保证sip/h.323的使用，由于很多网络设备以及各级管理员并不都支持随意进行nat穿越，所以在实际应用中需要配置很多网络设备和各种参数，才能搭建一个基于sip/h.323协议的视频会议系统。

h.323的局限性是易造成瓶颈，而sip的各项管理功能实现起来比较复杂。远程互动教学是为了异地同上一节课，是在特定场合下的音视频通信，其关键是需要搭建简单、使用方便，能够进行群体性的视频互动，还需要进行课件展示、直播、录课、回放等功能，而这些要求基于sip/h.323协议远程互动很难满足，要么环境搭建过于复杂、设备太多，对网络要求太高；要么使用太复杂，一般老师很难在上课的同时进行操控，还需要有专职的人员协助；要么功能上满足不了异地同上一节课的教学要求，缺乏满足远程互动教学特需的功能。

基于此，本发明实施例提供的实时远程互动教学系统，可以简化远程互动教学中的通信过程、网络架构和操作难度，有利于推进优化教育资源配置、平衡不同区域教育发展水平的工作。

为便于对本实施例进行理解，首先对本发明实施例所公开的实时远程互动教学系统进行详细介绍。

实施例一：

图1为本发明实施例一提供的实时远程互动教学系统示意图。

参照图1和图2，实时远程互动教学系统主要包括：转发及流媒体服务器200、智能网关、音频处理器等，同时还包括设置于主讲教室和听讲教室内且与智能网关相连的本地教学辅助设备，如摄像机、麦克、音箱、显示设备等。其中，智能网关根据设置位置不同分为主讲教室的智能网关110和听讲教室的智能网关120。

智能网关通过设置的vga接口、hdmi接口等与转发及流媒体服务器200之间进行流媒体传输。

转发及流媒体服务器200主要用于做命令转发和流媒体收发的数据节点；同时，转发及流媒体服务器200设置有内网接口和外网接口两个网络接口，可以提供数据路由功能。

本实时远程互动教学系统最重要的组成部分是设置于教室中的各个智能网关，智能网关是实现远程互动教学的关键组成部分。

进一步的，vga接口，用于将多个来源的视频流进行编码后输出至转发及流媒体服务器200，以使转发及流媒体服务根据编码后的视频流生成课件源。

具体的，实时远程互动教学中，同场景相关的要素包括：一是远程互动教学中一般会主讲教室和听讲教室，二是远程互动教学中一定会有课件，三是能做远程互动教学活动的教室要求具备两个显示设备(投影或大屏)。其中，课件定义是由主讲教室的台式机、笔记本或无线投屏以及听课教室回答问题(一般为投屏)的画面及声音组合的一个视频流，因此课件是由不同来源的视频流组成一个连续的单一的视频。主讲教室的课件发生变化，所有显示课件的界面或听课教室课件均要随之改变，基于此，由转发及流媒体服务器200统一提供课件源，而转发及流媒体服务器200的课件是从主讲教室的智能网关110的vga输出编码拉来的。

进一步的，智能网关还设置有lineout接口。基于主讲教室的智能网关110，讲课教室中关于音视频画面展示通过如下内容实现的。

hdmi接口，用于基于转发及流媒体服务器200中的课件源，获取课件路画面和/或其他路教室画面、课件路声音和/或其他路教室声音；即，主讲教室hdmi画面均从转发及流媒体服务器200获取，hdmi画面输出课件路画面和其他路教室画面，hdmi声音输出课件路或者其他路教室声音。

vga接口，还用于输出课件画面，课件画面为来自本地台式机、笔记本、android的画面。

lineout接口，用于输出输出课件声音。即，在本地音响放出的声音包括课件声音，同时，在本实时远程互动教学系统种还设置有远端ipc(industrialpersonalcomputer，工业个人计算机)的情况下，本地音响放出的声音还进一步包括ipc采集的声音。

进一步的，实时远程互动教学系统还包括音频处理器、回声抑制器。hdmi接口和lineout接口均与音频处理器的aec_ref端相连，并且，lineout接口和回声抑制器的aec_out接口均与ipc相连。

进一步的，基于听讲教室的智能网关120，听课教室中关于音视频画面展示通过如下内容实现的。

hdmi接口，用于基于转发及流媒体服务器200中的课件源，获取主讲老师画面和/或其他路教室画面、主讲老师的课件声音和讲课声音；即，hdmi画面输出主讲老师画面和其他路教室画面，hdmi声音输出主讲教室老师ipc采集的课件加上老师说话的混合声音。

vga接口，还用于输出课件画面，课件画面为来自本地台式机、笔记本、android的画面和主讲教室的课件画面(流媒体流)。

lineout接口，用于输出输出课件声音。即，在本地音箱放出的声音包括课件和远端ipc采集的老师声音。

同样的，智能网关的lineout接口和hdmi音频都要接到音频处理器的aec_ref端，并将教室智能网关的lineout和音频处理器的aec_out接到ipc上。

进一步的，当任一互动教室发起请求信息时，转发及流媒体服务器200将请求信息转发至设置于主讲教室内的智能网关，以根据请求信息生成同步命令，转发及流媒体服务器200再将同步命令转发至其他的听讲教室内设置的智能网关处。

具体的，基于转发及流媒体服务器200的命令转发功能，有互动教室的申请导致主讲hdmi画面变化的同时，由主讲教室的智能网关110收到请求后转发命令给所有听课教室，听课教室接收到命令后进行同步变化。

对于提问形式分为语言提问和展示提问；语言提问：仅展示互动教室的画面和声音；展示提问：在语言提问的基础上，拉取互动教室的展示流作为课件显示。

可见，实时远程互动教学系统，可以让老师在实际使用中简单易用。从老师课堂教学实际使用场景出发，让老师可以掌控所有听课教室的状态和上课进程，同时也允许听课教室学生申请发言，如同在一间教室面对面上课一样，且操控非常简单。

进一步的，实时远程互动教学系统还包括u盘和/或硬盘。

实施例二：

图3为本发明实施例二提供的实时远程互动教学系统的视频流示意图。

进一步的，参照图3，分别对主讲端(主讲教室)和听讲端(听讲教室的)对视频流的输入输出情况进行描述。

主讲端输入包括：1-4路本地或网络视频输入(台式机或笔记本或无线投屏或网络课件等)，主讲端的现场麦克风通过音频处理器处理后的aec_out输出给ipc。

主讲端输出包括：1路1080p@30fps+4路dl@30fps码流解码，互动画面解码显示，1路1080p@30fps码流解码，android拉流输出1路1080p@30fps码流，声音为音频处理器的mix_out输出给教室智能网关的line_in(即现场所有的声音)，供录课使用。其中，1路1080p@30fps码流编码给流媒体服务器，作为课件源，1路1080p@30fps+4路d1@30fps码流编码给流媒体服务器，作为远程互动视频源。

听讲端输入包括：1-4路本地或网络视频输入(台式机或笔记本或无线投屏或网络课件等)。

听讲端输出包括：1路1080p@30fps+4路d1@30fps码流解码，显示视频互动画面，1路1080p@30fps码流解码显示课件。

实施例三：

图3为本发明实施例三提供的实时远程互动教学系统的音频流示意图。

参照图3，实时远程互动教学系统的音频数据来源有从本地拾音器、鹅颈麦、吊麦、功放和音频处理器输入的，有从电脑放出来的，有从android用户功能板上的放出来的，有从远端网络上获取的；输出音频有输出到本地扩音系统，有送给sata硬盘存储，有通过网络送给远端网络等。

具体的，来自android用户功能板的音频数据，来自地拾音器、鹅颈麦、音频处理器、电脑等的音频数据，以及来自远端网络的课件视频三者之间是互斥的，经过三选一虚拟通道再通过i2s(inter-icsound，集成电路内置音频总线)送给audiocodec，audiocodec再输出给功放，本地扩音的功能通过无线mic或鹅颈麦接到回声抑制器mic_in，为了保证能录到全部的声音，要将回声抑制器的一路输出(选择mix_out接口，该接口包含所有进入回声抑制器的声音)回送到核心板的拾音器接口上。

远程互动需要ipc参与，远程互动的音频也是来自于ipc，因此进ipc的音频输入连接到回声抑制器的aec_out接口输出。

关于远端教室拉课件时声音输出问题，是核心板拿出一个虚拟通道(即上述的三选一虚拟通道)进行编码用于给远端设备拉本地设备的课件，此虚拟通道的声音不是拾音器输入的声音而应该具体选择的课件声音。

关于编码问题，智能网关提供两路编码，一个是前述的课件虚拟通道的编码，另外一个是hdmi输出的编码，这个编码的声音是从本地拾音器进来的现场声音，这个声音包含了课件声音(本地或远端)、本地老师讲课、本地学生、远端的老师和学生等所有的现场能听见的声音。

上述多个实施例所提供的实时远程互动教学系统，具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

上述多个实施例所提供的实时远程互动教学系统，采用了去中心化技术，终端接入系统并不需要有一个中心服务器去注册然后才能连接使用，任意两个或者多个终端可以互联在一起，从信令控制到数据传输都是点对点，不同于现有远程互动系统中采用sip或h.323协议必然需要注册服务器的方案。因此，本系统在网络拓扑上大大简化，对于网络要求也不像sip或h.323那样复杂，而是，对网络没有任何特殊要求，相当于一般网络设备，只需要能上外网就可以异地互动，在学校内网使用更加简单。

本实时远程互动教学系统可以随意增加参与互动教室的数量，不受数量限制，学校可以根据实际应用需要来确定每次互动教学参与教室的数量和具体教室。

同时，实时远程互动教学系统除了能实现远程音视频互动同上一节课外同时还具备录制功能，在完成远程互动上课的同时将完整的过程录制存储在本地硬盘并上传到学校存储服务器上形成教学资源。

本发明实施例带来了以下有益效果：

本发明提供了实时远程互动教学系统，包括：转发及流媒体服务器和智能网关；智能网关通过设置的vga接口、hdmi接口与转发及流媒体服务器之间进行流媒体传输；其中，智能网关分别设置于主讲教室和听讲教室中。本发明可以解决voip视频会议需要网络支持nat穿越，需要各种网络设备支持sip和h.323协议的通过，对网络要求高的问题；大大降低了硬件成本和使用成本，使得可以在学校等场合大面积推广，加快教育资源合理配置和教育公平化的进展；大大简化远程互动教学的操作复杂度；对师生提供了极大的学习便利性。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。