一种基于嵌入式的异地网络会议系统的制作方法

本发明属于音视频通讯技术领域，特别是一种基于嵌入式系统的异地网络会议系统。

背景技术：

当前的常规视频会议主要是处于多地的不同参会人员采用pc机作为客户端，将音视频信息和信令控制指令交给服务器进行转发。随着视频会议模式的不断发展，在多媒体传输领域出现了基于数据流的rtp/rtcp协议，在会议模式下，则出现了开源轻量的sip协议和便于运营商管理的h323协议。从会议基本架构上来说，主要分为了集中式和分布式两种类型。

集中式的网络架构具有紧耦合、服务器高负载的特点。客户端将所有的多媒体数据均交由服务器进行转发，虽然集中式的网络会议具有易管理，监控可靠等优点，但对于服务器的要求过高，不能同时管理大量的会议。

分布式的网络架构则具有松耦合、控制效率低下的特点。在分布式架构中，服务器只是负责参会者之间的连接桥梁，客户端连接成功后，将控制权完全交给客户端，多媒体数据则由客户端之间直接收发。尽管分布式网络会议架构系统整体稳定性高，但不易于管理，对于单个会议来说，信令在客户端中的直接通信稳定性较差。

同时，作为视频会议的客户端，目前仍以pc机为准，还包括视频摄像头、显示拼接器等等外设设备，布线复杂，成本较高。而手机、平板等便携式设备则由于屏幕尺寸限制或者造价成本过高，型号种类繁多。

技术实现要素：

本发明的目的在于提供一种基于嵌入式系统的异地网络会议系统，可以有效地解决上述几个一般视频会议系统中存在的问题。

实现本发明目的的技术解决方案为：一种嵌入式系统下的异地网络会议系统，该系统的组成部包括：预装linux系统的嵌入式主控板设备、外接音频播放设备、高清液晶触摸显示屏、usb摄像头、usb话筒、开启upnp的路由设备、互联网和会议注册pc服务器，具体连接：外接音频播放设备、高清液晶触摸屏、usb摄像头、usb话筒连接到带有显示屏的预装linux系统的嵌入式主控板设备上，嵌入式主板设备连接到开启upnp的路由设备上，通过互联网，连接到会议注册pc服务器。

预装linux系统的嵌入式主控板设备1主要采用以mstar6a918处理器为核心的集成嵌入式设备，预装轻量级的嵌入式linux系统；所诉外接音频播放设备2采用高保真外放音响或者便携式耳机；所述高清液晶触摸显示屏3可采用标准电阻屏或电容屏。

usb摄像头4需要配置支持uvc协议的usb摄像头，主要负责图像采集；所述usb话筒5采用alsa协议下的适配usb接口的免驱话筒，主要负责音频采集。

外接音频播放设备2、高清液晶触摸显示屏3、usb摄像头4、usb话筒5通过预装linux系统的嵌入式主控板设备1提供的usb以及音频接口连接到linux系统的嵌入式主板设备1上，共同构成一个完整的嵌入式客户端系统，共同完成客户端的事务。

开启upnp的路由设备6代表客户端至互联网之间的层层路由设备，为了系统进行nat穿越技术必须开启upnp服务支持。

会议注册pc服务器8作为整个系统的唯一服务器，与每个参会者建立直接的tcp连接。负责每个会议的管理，记录每个参会者的网络地址，以及每位参会者之间的信令控制命令转发。

本发明与现有技术相比，其显著优点为：1)本发明的系统采用c/s的架构，客户端采用统一的嵌入式设备，服务器只需要一般性能的pc设备。稳定性强，成本低，用户的使用体验一致；2)本发明客户端采用嵌入式设备，省去了体积较大的pc机客户端，并且在嵌入式设备主板上扩展了触摸显示屏、usb摄像头及麦克风、内置硬编码芯片负责本客户端的单路编码事务、通过软件方式实现的多路音视频解码事务。将音视频采集和播放、数据编解码、网络数据包收发、信令控制命令处理、人员白板交流、基本会议操作等全部功能集中在客户端上，减轻网络和服务器负担，系统整体稳定性较高；3)本发明的系统成本较低，由于采用开源的linux系统嵌入式设备，从硬件和软件两个方面控制了成本，省去大量外设，同时通过软件的手段省去了混音器、视频拼接器等；4)本系统支持异地网络通信，通过互联网直接参加会议，客户端之间的多媒体数据进行直接p2p打洞穿越，独立分布式地传输，可以实现异地用户的参会。5)本发明中的所有客户端均通过tcp协议连接到注册pc服务器上，所有信令消息均由服务器进行转发，会议管理员发送给每个参会者的控制命令也由服务器转发，消息则由客户端自行解析处理。因此，本系统具有稳定性强、控制权限分配合理的优点。

附图说明

图1为本发明视频会议组织结构图。

图2为本发明音视频数据传输流程图。

图3为本发明整体架构运行流程图。

图中编号所代表的含义为：1为linux系统的嵌入式主板设备，2为外接音频播放设备，3为高清液晶触摸显示屏，4为usb摄像头，5为usb话筒，6为开启upnp的路由设备，7为互联网，8为会议注册pc服务器。

具体实施方式

本发明的一种嵌入式系统下的异地网络会议系统，采用基于嵌入式linux和arm处理器的客户端以及负责信令控制的注册pc服务器，具有集中式和分布式混合架构的特点。同时，本系统通过p2p穿越技术，将多媒体数据在各个客户端直接进行广播，减轻了服务器压力。具有成本低廉，管理灵活、控制权分配合理等特征，因此具有十分广阔的应用前景。

本发明的一种嵌入式的异地网络会议系统，包括预装linux系统的嵌入式主控板设备1、外接音频播放设备2、高清液晶触摸显示屏3、usb摄像头4、usb话筒5、开启upnp的路由设备6、互联网7和会议注册pc服务器8，所述外接音频播放设备2、高清液晶触摸屏3、usb摄像头4、usb话筒5均与带有显示屏的预装linux系统的嵌入式主控板设备1相连，嵌入式主板设备1与开启upnp的路由设备6相连，该路由设备通过互联网7与会议注册pc服务器8相连。

所述预装linux系统的嵌入式主控板设备1采用以mstar6a918处理器为核心的集成嵌入式设备，预装轻量级的嵌入式linux系统；所诉外接音频播放设备2采用高保真外放音响或者便携式耳机；所述高清液晶触摸显示屏3采用标准电阻屏或电容屏。

所述usb摄像头4为支持uvc协议的usb摄像头，用于负责图像采集；所述usb话筒5采用alsa协议下的适配usb接口的免驱话筒，用于负责音频采集。

所述外接音频播放设备2、高清液晶触摸显示屏3、usb摄像头4、usb话筒5通过预装linux系统的嵌入式主控板设备1提供的usb以及音频接口连接到linux系统的嵌入式主板设备1上，共同构成一个完整的嵌入式客户端系统，共同完成客户端事务。

会议注册pc服务器8为系统服务器，与每个参会者建立直接的tcp连接，用于对每个会议的管理，记录每个参会者的网络地址，并对每位参会者之间的信令控制命令进行转发。

本发明的系统采用c/s的架构，客户端采用统一的嵌入式设备，服务器只需要一般性能的pc设备。稳定性强，成本低，用户的使用体验一致。

下面结合附图1-3对本发明的系统架构进行进一步详细的说明。

本发明设计了一种新型的异地网络会议模型，采用嵌入式设备作为客户端，服务器负责信令消息转发，客户端则通过p2p直接进行多媒体数据传输。

1.视频会议系统整体架构

为了解决当前视频会议系统布线复杂，系统组成过于庞杂的缺点，同时为了削减传统pc机作为客户端带来的用户体验不一致、便携性差、成本颇高等不足。本发明采用嵌入式主板设备为核心的会议客户端和以pc机为核心的服务端，采用c/s系统架构，将音视频数据采集模块，数据显示模块，用户交互模块整合在一个嵌入式客户端中，通过在开启upnp服务的路由设备进行穿越技术处理，建立客户端之间的直接多媒体数据传输通道。

如图1，是本发明的视频会议组织结构图，嵌入式客户端通过路由器连接到注册pc服务器上，服务器可以同时管理多个会议，每个会议则由一个客户端管理员进行管理，具体包括以下的设备：预装linux系统的嵌入式主控板设备1、外接音频播放设备2、高清液晶触摸显示屏3、usb摄像头4、usb话筒5、开启upnp的路由设备6、互联网7和会议注册pc服务器8，系统各组成部分及对应功能如下：

1)嵌入式主板设备1主要采用以mstar6a918处理器为核心的集成嵌入式设备，预装轻量级的嵌入式linux系统：负责与其他客户端之间的p2p穿越打洞、音视频数据编解码、数据打包发送与接受、会议数据混音混屏处理以及通过tcp/ip连接注册pc服务器；

2)外接音频播放设备2采用高保真外放音响或者便携式耳机；

3)高清液晶触摸显示屏3可采用标准电阻屏或电容屏；

4)usb摄像头4需要配置支持uvc协议的usb摄像头，主要负责图像采集；

5)usb话筒5采用alsa协议下的适配usb接口的免驱话筒，主要负责音频采集；

6)开启upnp的路由设备6代表客户端至互联网之间的层层路由设备，为了系统进行nat穿越技术必须开启upnp服务支持；

7)会议注册pc服务器8作为整个系统的唯一服务器，与每个参会者建立直接的tcp连接。负责每个会议的管理，记录每个参会者的网络地址，以及每位参会者之间的信令控制命令转发。

2.信令通信模块：

如图2，是基于tcp/ip协议的集中式会议信令通信模块流程图，阐述了本发明视频会议系统的信令通信方法。

集中式的信令通信模块包括两个方面，一是多个会议的申请与管理由服务器控制，二是单个会议中的信令消息转发由服务器和各个客户端之间的tcp连接负责。

1)会议管理员身份的嵌入式客户端通过tcp连接到服务器上并申请开启一个会议，正常情况下申请成功并且会议由服务器以及管理员客户端共同控制；

2)其他普通成员向服务器注册，获得会议列表，并向某个会议提出申请；

3)会议管理员同意后，服务器将该申请者加入该会议的人员列表中，并且同步至会议的每位成员；

4)新会议成员与其他成员进行p2p打洞穿越，实现音视频数据直接传输

3.p2p穿越打洞模块：

异地通信的方式一般有两种方式，服务器集中接收和转发以及客户端直接建立联系传输数据。本系统中，为了分担服务器负载压力，采用第二种方式。为了实现p2p的直接通信，首先要在支持upnp服务的路由设备上进行穿越打洞，具体流程如下：

1)客户端通过与服务器的tcp连接获得当前所在会议的成员网络地址；

2)在每个客户端之间进行两两打洞穿越，既在音视频数据传输端口向其他参会者的网络地址发送特定协议的udp数据包；

3)在接收udp打洞数据包的客户端上层路由设备上建立p2p直接通信的通道。

4)穿越完成，等待音视频数据的传输。

4.多媒体数据传输模块

本发明的多媒体数据传输模块采用基于rtp/rtcp协议的分布式多媒体数据传输方法。其中rtp可以通过udp、tcp及atm等数据传输协议进行传输，主要负责处理一对一、一对多的多媒体数据流传输，提供数据流传输的时间信息以及同步控制。rtcp的主要作用是用来与rtp一起合作，以解决数据传输的浏览控制以及网络拥塞控制问题，它们的配合使用可以在一定程度上提高数据的传输效率，所以这种解决方案能够成为在线实时数据传输的主要方式。

如图3，是本发明的多媒体数据传输方案流程图。嵌入式客户端在加入会议系统后，开始和所有当前客户端进行音视频数据传输，同时开启数据采集线程和数据接收线程，首先，数据采集线程流程方法如下：

1)通过uvc协议摄像头和alsa音频架构话筒设备采集原始音视频数据；

2)将音视频原始yuv格式视频和pcm音频数据编码；

3)读取当前在线参会者ip地址名单；

4)通过rtp/rtcp协议将多媒体数据分包，打包，通过ip组播发送至每个客户端

5)循环采集并重复以上步骤。

数据接收线程流程方法如下：

1)客户端开启rtp会话数据接收端口；

2)通过rtcp协议报头信息判断数据类型，音视频数据分类处理；

3)视频数据组包后解码为原始数据类型，所有参会者视频画面混屏后在显示屏上显示；

4)音频数据解码为原始数据类型，所有参会者音频数据混音后播放。

5)循环接收数据重复以上步骤

5.系统整体运行步骤

1)将系统各个设备连接好，客户端连接至路由设备上，实现连接到互联网；

2)会议管理员客户端注册至服务器上并申请一个会议；

3)参会者注册至服务器并选择一个会议参加，管理员做出响应；

4)会议人员进行p2p穿越打洞，为多媒体数据直接传输建立通道；

5)客户端读取会议ip列表，开始进行音视频采集和发送，同时接收其他客户端发送的rtp数据包并解析播放

6)客户端退出会议，通知会议管理员，管理员同步会议记录并告知服务器后将该人员ip移除，其他客户端停止与该客户端数据传输，会议结束。

本发明的系统采用c/s的架构，客户端采用统一的嵌入式设备，服务器只需要一般性能的pc设备。稳定性强，成本低，用户的使用体验一致。