音视频处理器、智能教学装置、智能教学系统及方法与流程

本发明属于计算机领域，尤其涉及音视频处理器、智能教学装置、智能教学系统及方法。

背景技术：

现有基于b/s架构的浏览器上的音视频互动(如实时视频会议、视频直播、点播等)，其技术关键点在于如何实现web页面上的音视频渲染。现有web页面的音视频渲染技术，主要是通过flash插件或自行开发的浏览器插件来实现，但现有技术在叠加文字、图标、按钮等web页面元素时，不仅导致浏览器插件和web页面之间产生严重的耦合问题，不利于程序的模块化实现，而且对产品维护成本也造成影响。

同时，随着html5技术的不断发展，主流的浏览器已经不支持浏览器插件，使得基于浏览器插件的音视频互动已不能进行正常运行，近年来已出现基于webrtc的视频直播和互动方案，但现有整体方案都还不够成熟，不能很好地满足现有需求。

技术实现要素：

本发明提供了音视频处理器、智能教学装置、智能教学系统及方法，以解决上述问题。

根据本发明实施例的第一方面，本发明提供了一种音视频处理器，所述音视频处理器，用于根据自身与虚拟摄像机创建的共享内存的对应关系建立与所述共享内存的连接；所述音视频处理器，还用于将音视频数据通过所述连接发送至所述共享内存，且所述音视频数据通过所述虚拟摄像机进行显示。

根据本发明实施例的第二方面，本发明提供了一种智能教学装置，包括：业务逻辑单元、服务单元；所述服务单元包括：控制服务器和上述技术方案中所述的音视频处理器。

根据本发明实施例的第三方面，本发明提供了一种智能教学系统，包括：如上述任一技术方案中所述的智能教学装置。

根据本发明实施例的第四方面，本发明提供了一种智能教学方法，包括以下步骤：音视频处理器根据自身与虚拟摄像机创建的共享内存的对应关系建立与所述共享内存的连接；所述音视频处理器将音视频数据通过所述连接发送至所述共享内存，且所述音视频数据通过所述虚拟摄像机进行显示。

通过以下方案：一种音视频处理器，实现了web页面上的音视频渲染，解决了现有主流浏览器不支持浏览器插件而导致web页面上的音视频渲染无法正常运行的问题。

通过以下方案：一种智能教学装置，基于html5技术实现了web页面上的音视频渲染，替代了现有的通过浏览器插件实现web页面上的音视频渲染，避免了由于浏览器插件对浏览器稳定性和安全性的影响，同时避免了由于浏览器插件在叠加文字、图标、按钮等web页面元素时带来的与web页面之间的耦合问题。采用本方案实现了程序的模块化，降低了产品的维护成本。

通过以下方案：一种智能教学系统，针对浏览器插件技术不被支持的情况下，采用一种可靠、低成本、高性能的技术方案解决了原有基于浏览器插件的音视频互动、直播和点播产品无法在基于html5技术的浏览器上正常运行的问题。

通过以下方案：一种智能教学方法，采用了b/s和c/s混合架构模型，兼顾了b/s的业务及界面控制效果的灵活性和便利性，以及c/s的功能可定制性等特性，实现了无插件浏览器的音视频互动。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为根据本发明的一较佳实施例提供的智能教学装置的结构示意图；

图2所示为根据本发明的一较佳实施例提供的智能教学系统的结构示意图；

图3所示为根据本发明的一较佳实施例提供的智能教学方法的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的一较佳实施例提供的音视频处理器，所述音视频处理器，用于根据自身与虚拟摄像机创建的共享内存的对应关系建立与所述共享内存的连接；所述音视频处理器，还用于将音视频数据通过所述连接发送至所述共享内存，且所述音视频数据通过所述虚拟摄像机进行显示。

图1所示为根据本发明的一较佳实施例提供的智能教学装置的结构示意图。

如图1所示的本发明的一较佳实施例提供的智能教学装置，包括：业务逻辑单元101、服务单元102；所述服务单元102包括：控制服务器1021和上述技术方案中的音视频处理器1022。

所述业务逻辑单元101，用于运行并加载虚拟摄像机1011；还用于控制加载后的所述虚拟摄像机1011创建共享内存1012，还用于接收所述控制服务器1021发送所述共享内存的创建成功消息；还用于向所述控制服务器1021发送共享内存名称；

所述控制服务器1021，用于接收所述虚拟摄像机1011发送的所述创建成功消息；还用于在接收到所述业务逻辑单元101发送的所述共享内存名称后启动所述音视频处理器1022；还用于向所述音视频处理器1022发送所述共享内存名称；

所述音视频处理器1022，用于根据所述共享内存名称建立与所述共享内存1012的连接；还用于将音视频数据通过所述连接发送至所述共享内存1012。

所述虚拟摄像机1011，还用于在加载成功后，向所述控制服务器1021发送通知消息。

所述虚拟摄像机1011，用于从所述共享内存中获取所述音视频数据，并在所述业务逻辑单元101上进行显示。

所述创建成功消息中携带有所述共享内存名称。

所述音视频处理器1022，用于在将音视频数据通过所述连接发送至所述共享内存之前，将所述音视频数据进行前置处理、编解码处理、网络传输、渲染处理。

图2所示为根据本发明的一较佳实施例提供的智能教学系统的结构示意图。

如图2所示的本发明的一较佳实施例提供的智能教学系统，包括如上述任一技术方案中所述的智能教学装置。

图3所示为根据本发明的一较佳实施例提供的智能教学方法的流程图。

如图3所示的本发明的一较佳实施例提供的智能教学方法包括以下步骤：

步骤301，音视频处理器根据自身与虚拟摄像机创建的共享内存的对应关系建立与所述共享内存的连接；

步骤302，所述音视频处理器将音视频数据通过所述连接发送至所述共享内存，且所述音视频数据通过所述虚拟摄像机进行显示。

音视频处理器根据自身与虚拟摄像机创建的共享内存的对应关系建立与所述共享内存的连接，包括：业务逻辑单元运行并加载虚拟摄像机；所述虚拟摄像机在加载成功后创建对应的共享内存，并向所述控制服务器发送所述共享内存的创建成功消息；所述控制服务器接收所述创建成功消息，并将所述创建成功消息转发至所述业务逻辑单元；所述业务逻辑单元在接收到所述创建成功消息后向所述控制服务器发送共享内存名称；所述控制服务器启动所述音视频处理器，并向所述音视频处理器发送所述共享内存名称；所述音视频处理器根据所述共享内存名称建立与所述共享内存的连接。

所述虚拟摄像机在加载成功后，还包括向所述控制服务器发送通知消息。

所述音视频数据通过所述虚拟摄像机进行显示的过程，包括：所述虚拟摄像机从所述共享内存中获取所述音视频数据，并在所述业务逻辑单元上进行显示。

其中，所述创建成功消息中携带有共享内存名称。

所述音视频处理器将音视频数据通过所述连接发送至所述共享内存之前，还包括：将所述音视频数据进行前置处理、编解码处理、网络传输、渲染处理。

在本实施例中，在用户开启计算机的同时控制服务器启动，用户打开浏览器，通过url进入一个音视频应用(如视频直播)。业务逻辑单元开始运行，以websocket客户端身份连接并注册到控制服务器上，业务逻辑单元根据业务需要加载相应的虚拟摄像机(假设为虚拟摄像机a)。虚拟摄像机a加载成功后，以websocket客户端身份向控制服务器发送通知消息并注册到控制服务器上。业务逻辑单元通过websocket消息控制虚拟摄像机a创建指定名称的共享内存例如：共享内存a，虚拟摄像机在共享内存a创建成功后，通过websocket消息向控制服务器发送共享内存的创建成功消息c，控制服务器通过websocket消息向业务逻辑单元转发创建成功消息c，所述业务逻辑单元通过websocket消息向控制服务器发送共享内存名称(即共享内存a)。控制服务器启动音视频处理器，并向业务逻辑单元发送成功启动消息，音视频处理器以websocket客户端身份连接并注册到控制服务器上。随后，控制服务器向音视频处理器发送共享内存名称(即共享内存a)。音视频处理器根据共享内存名称(共享内存a)建立与对应的共享内存a的连接，并将输出的音视频信息绑定到共享内存a上，音视频信息通过共享内存a推送到虚拟摄像机上，在业务逻辑单元上进行显示。其中，创建成功消息c中携带有共享内存名称(共享内存a)。

所述业务逻辑单元通过websocket消息向所述控制服务器发送共享内存名称(即共享内存a)外还向控制服务器发送控制参数。

其中，在音视频处理器将音视频数据通过音视频处理器与共享内存的连接发送至共享内存之前，还包括：将音视频数据进行视频拼接、音频信号处理、编解码处理、网络传输、渲染处理。

通过以下方案：一种音视频处理器，实现了web页面上的音视频渲染，解决了现有主流浏览器不支持浏览器插件而导致web页面上的音视频渲染无法正常运行的问题。

通过以下方案：一种智能教学装置，基于html5技术实现了web页面上的音视频渲染，替代了现有的通过浏览器插件实现web页面上的音视频渲染，避免了由于浏览器插件对浏览器稳定性和安全性的影响，同时避免了由于浏览器插件在叠加文字、图标、按钮等web页面元素时带来的与web页面之间的耦合问题。采用本方案实现了程序的模块化，降低了产品的维护成本。

通过以下方案：一种智能教学系统，针对浏览器插件技术不被支持的情况下，采用一种可靠、低成本、高性能的技术方案解决了原有基于浏览器插件的音视频互动、直播和点播产品无法在基于html5技术的浏览器上正常运行的问题。

通过以下方案：一种智能教学方法，采用了b/s和c/s混合架构模型，兼顾了b/s的业务及界面控制效果的灵活性和便利性，以及c/s的功能可定制性等特性，实现了无插件浏览器的音视频互动。

显然，本领域的技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个单元或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。