专利名称：用于视频会议系统的屏幕共享及控制方法
技术领域：
本发明涉及计算机数据共享技术，具体的说是涉及一种用于视频会议系统的屏幕共享及控制方法。
背景技术：
随着信息技术的不断发展，网络已成为信息传播的重要手段。基于远程控制与操作互动作为一种新的交互方式，让用户不需要身临其境便可以实现相同的互动，异地的观看与操作。其中桌面共享是数据共享中的一种重要应用，特别在网络视频会议、IM即时通讯工具等各类网络通讯系统中经常被用于文档展示、操作演示、协同办公等，是音视频、文本消息等交互方式重要且有效的补充。目前大多视频会议、IM即时通讯工具等使用的屏幕共享技术是采用常见的屏幕截·图、本地编码、发送屏幕数据、远端解码、远端显示的过程实现。如申请号为200910189480. X的中国专利，主要技术方案为由主控端发送桌面请求命令向被控端，被控端在接收桌面共享后，将当前屏幕内容及屏幕显示更新的内容实时发送给对端，实现屏幕共享。又如申请号为200810220423.9的中国专利，主要技术方案为通过对共享线端进行鼠标信息采集、桌面图像采集、编码压缩图像、分块、打包、发送数据包至MCU、MCU向控制端和观看者端发送图像、控制端向MCU发送控制命令、MCU转发控制命令、共享线端执行响应的控制命令从而实现了屏幕的共享与远程控制。其他的一些比较成熟的屏幕共享及控制工具如VNC，主要由一个服务端，多个客户端组成。VNC为通过采集桌面图像，在采集时采集图像变化部分，发送至客户端，客户端进行解码显示或发送命令控制。这些传统的屏幕共享技术、系统或工具在屏幕共享上均只能实现当前共享线端本机的屏幕共享，即一个共享线端，多个观看者的模式，使其在视频会议中的应用相当局限。而随着信息系统与业务的高速发展，传统的一个共享线端、多个观看者的模式已不能再满足用户需求，而需要多个共享线端、多个观看者任意查看的模式。而目前的HDMI高清共享桌面目前主要应用于一些视频会议领域，主要见于宝利通、华平等。其主要是在视频会议终端上装一个支持HDMI接口的高清采集卡，将带有HDMI接口的PC、笔记本电脑等采用高清HDMI线进行对接，然后通过桌面扩展显示方式，将桌面同时显示在当前屏幕和视频会议终端视频采集卡上。视频会议终端则将屏幕以一路视频方式广播给视频会议中其他用户。HDMI高清共享桌面虽然可以通过增加采集卡方式提供多个PC桌面共享，但其存在诸多局限性，包括需要共享屏幕的PC必须支持HDMI接口，而目前市面上较多PC或笔记本均无该接口 ；HDMI线的长度有限，而PC与终端的连接不变，具有较大局限性；视频会议终端每支持一路PC接入需装一张视频采集卡，需接入多路时需装多张，从而极大程度地提高了成本。因此目前的屏幕共享技术均不能满足视频会议系统的需要。
发明内容
本发明所要解决的技术问题，就是针对现有技术的不足，提出一种用于视频会议系统的屏幕共享及控制方法。本发明解决上述技术问题所采用的技术方案是用于视频会议系统的屏幕共享及控制方法，其特征在于，包括以下步骤a.视频会议终端与 服务器和屏幕共享设备建立通信连接，所述屏幕共享设备为PC机、笔记本电脑、智能手机和平板电脑中的一种或多种；b.屏幕共享设备与服务器建立视频传输通道；c.视频会议终端接收用户发出的屏幕共享控制指令；d.根据屏幕共享控制指令选择并设置屏幕共享设备，屏幕共享设备采集自身屏幕共享数据，并将采集到的屏幕共享数据发送到视频会议终端；e.视频会议终端将接收到的屏幕共享数据进行拷贝并转发给服务器；f.服务器将屏幕共享数据发送到屏幕共享设备；g.屏幕共享设备接收并显示屏幕共享数据。具体的，步骤a还包括以下步骤al.视频会议终端建立网络通信连接服务，提供端口供需要共享屏幕的屏幕共享设备连接；a2.视频会议系统通过网络连接服务器，并在连接过程中进行验证，若验证成功，则与服务器建立服务连接并进入步骤a3，若验证失败，则断开连接，所述连接为有线和/或无线连接；a3.视频会议终端创建抽象视频数据对象，并连接服务器的视频转发服务。具体的，步骤b还包括以下步骤bl.屏幕共享设备接收视频会议终端的信号，判断视频会议终端是否连接到服务器的视频转发服务，若是，则进入步骤b2，若否，则不作处理；b2.屏幕共享设备初始化本地视频采集器和编码器，与服务器建立视频传输通道。具体的，步骤b2还包括以下步骤b21.判断用户是否自行指定共享屏幕区域，若是，则进入步骤b22，若否，则默认为全屏共享并初始化视频采集器；b22.接收并解析用户输入的屏幕共享区域，并初始化视频采集器。具体的，所述视频传输通道为根据TCP或UDP传输协议建立的数据传输通道。具体的，所述屏幕共享控制指令包括提供共享的屏幕共享设备信息、接收共享信息的屏幕共享设备信息、屏幕共享设备屏幕分辨率、屏幕共享范围、编码格式和视频传输码率中的一种或多种。具体的，步骤c还包括以下步骤Cl.视频会议终端接收并分析用户发出的屏幕共享控制指令，解析出提供共享的屏幕共享设备的地址和接收共享信息的屏幕共享设备的地址，所述提供共享的屏幕共享设备的地址为一个或多个，所述接收共享信息的屏幕共享设备的地址为一个或多个；c2.视频会议终端将接收共享信息的屏幕共享设备的地址发送到服务器；
c3.服务器建立接收列表并将接收共享信息的屏幕共享设备的地址存储在接收列表中。具体的，步骤d还包括以下步骤dl.视频会议终端获取屏幕共享设备所支持的分辨率信息，并与视频会议终端所支持的分辨率进行对比，得出视频会议终端支持且屏幕共享设备也支持的分辨率信息组，将分辨率信息组发送到服务器；d2.服务器将分辨率信息组反馈给用户，用户根据分辨率信息组进行屏幕共享参数设置，所述参数设置包括屏幕分辨率、屏幕抓起的起始坐标、屏幕抓取的终点坐标、屏幕共享压缩编码方式和屏幕共享码率中的一种或多种；d3.服务器将用户的参数设置信息发送到视频会议终端，视频会议终端将其转发给共享显示设备执行。 具体的，步骤f还包括以下步骤fl.服务器读取接收列表中的屏幕共享设备地址；f2.将视频共享数据根据屏幕共享设备地址发送到所有的屏幕共享设备。具体的，步骤g还包括以下步骤gl.屏幕共享设备判断接收并解析屏幕共享数据，判断当前接收的屏幕共享数据是否包括了多个屏幕共享设备屏幕数据，若判断当前屏幕共享设备为一个，则直接将共享终端屏幕数据显示在屏幕上，若判断当前屏幕共享设备为多个，则进入步骤g2 ；g2.将所有屏幕共享设备屏幕数据均呈现在屏幕上，根据用户输入的控制指令进行选择性显示。本发明的有益效果为，实现在视频会议中，能同时共享多个PC桌面和移动设备桌面，同时在视频会议中，其他用户能通过参数设置方式，远程调整设备终端的分辨率等参数，并可以在同一屏幕中同时显示多个已共享桌面的设备桌面，能够快捷方便的全屏放大或缩小任何一个共享桌面，满足视频会议中的多种桌面屏幕共享需求。
图I为本发明的结构示意图；图2为视频会议终端与屏幕共享设备连接流程图；图3为屏幕共享设备端初始化视频采集器流程图；图4为视频会议终端初始化屏幕共享设备流程图；图5为用户远程设置屏幕共享参数流程图。
具体实施例方式下面结合附图和实施例，详细描述本发明的技术方案本发明提出用于视频会议系统的屏幕共享及控制方法，主要包括以下步骤首先视频会议终端与服务器和屏幕共享设备建立通信连接，这里的通信连接指通过有线和/或无线网络建立通信连接，屏幕共享设备为PC机、笔记本电脑、智能手机和平板电脑中的一种或多种；屏幕共享设备与服务器建立视频传输通道；视频会议终端接收用户发出的屏幕共享控制指令；根据屏幕共享控制指令选择并设置屏幕共享设备，屏幕共享设备采集自身屏幕共享数据，并将采集到的屏幕共享数据发送到视频会议终端；视频会议终端将接收到的屏幕共享数据进行拷贝并转发给服务器，视频会议终端进行拷贝的目的在于可以对接收到的数据进行FEC解码，FEC解码完成后进行解压解码工作，得到解码后的视频数据流可以进行本地播放，从而使本地能观看共享的屏幕视频信息；服务器将屏幕共享数据发送到屏幕共享设备；最后屏幕共享设备接收并显示屏幕共享数据。为了更详细的说明本发明总的技术方案，下面通过一个具体的视频会议系统来阐述，如图I所示，为一种具体的视频会议终端与服务器和屏幕共享设备连接的结构示意图，其中服务器由Windows Client和MCU组成,在该结构中，由Windows Client通过MCU的转发查看终端视频时，可以选择查看设备I、设备2和设备3的桌面数据信息，并可根据授权进行相应的远程控制操作。同时设备I、设备2和设备3也可接入Windows Client,终端通过MCU中专访问Windows Client时可访问设备I、设备2、设备3的界面。根据本发明总的技术方案，图I中所述的连接结构进行屏幕共享的方式为，首先由设备I、设备2和设备3中的一个或多个发起视频共享命令，终端根据共享命令选择设备
I、设备2和设备3中的一个或多个进行自身屏幕数据采集，将采集到的共享数据发送到终·端，由终端进行拷贝后发送到MCU，最后MCU将共享数据转发给发起视频共享命令的设备。一种具体的视频会议终端与服务器和屏幕共享设备建立通信连接的方式为如图2所示，首先视频会议终端建立网络通信连接服务，提供端口供需要共享屏幕的屏幕共享设备连接，如在现有视频会议终端设备上建立网络通讯连接服务SocketServer,并启动SocketServer服务,开放服务端口供需要共享屏幕的PC服务连接，然后在需要共享的设备上创建Socket连接；然后视频会议系统通过网络连接服务器，主要为通过IP网络连接到SocketServer服务器，并进行视频会议终端接入认证，一种具体的认证方式为终端在启动SocketServer时建立相应的连接密码或密钥，设备在访问连接视频会议终端设备SocketServer时,发送相应密码进行验证,验证成功后建立服务连接,验证失败时，视频会议终端断开设备连接，拒绝设备连接请求，所述连接为有线和/或无线连接；最后视频会议终端创建抽象视频数据对象，并连接服务器的视频转发服务，创建抽象视频数据对象与视频会议系统中的具体摄像头数据对象创建相同，具有相同行为与属性，但其行为与属性的具体体现方式不同。区别在于启动具体摄像头采集视频数据时，其行为实现为调用视频采集卡，通过摄像头采集图像信息，返回视频会议系统，而抽象的视频数据对象采集数据时需接收桌面共享设备发送的数据并进行转发。其摄像头相关参数设置与屏幕控制相关操作属性及行为也存在一些区别，最后当视频会议系统向MCU注册视频数据信息成功后，向待共享屏幕设备端发送视频数据注册成功消息。—种具体的屏幕共享设备与服务器建立视频传输通道的方法为首先屏幕共享设备接收视频会议终端的信号，判断视频会议终端是否连接到服务器的视频转发服务，若是，则屏幕共享设备初始化本地视频采集器和编码器，与服务器建立视频传输通道，若否，则不做处理。其中视频采集器是一种通用的屏幕视频采集技术，通过固定频率对屏幕进行图片剪切采集，将每一帧进行数据缓冲形成视频流实现视频数据的采集。固定频率指每秒采集屏幕图片的数量，通由用户指定，用户未指定的情况下采用默认值。固定频率越高，采集的视频越流畅，同时带宽占用也越高。编码器是指视频网络传输前，对采集的桌面共享视频流进行视频压缩、编码的编码器。编码器采用通用技术和协议，主要包括 H264、X264、MPEG4 等。一种具体的屏幕共享设备初始化本地视频采集器的方法为首先判断用户是否自行指定共享屏幕区域，若是，则接收并解析用户输入的屏幕共享区域，若否，则默认为全屏共享并初始化视频采集器。如图3所示，一种具体的屏幕共享设备端初始化视频采集器的流程为屏幕共享设备端接收到终点虚拟视频对象初始化成功消息及虚拟视频对象信息后，启动本地视频采集线程，然后获取虚拟视频信息中的分辨率，根据获取到的分辨率设置本地分辨率，然后初始化桌面屏幕共享采集对象(包括采集范围、编码格式和码率等)，最后通知终端设备视频初始化成功并建立视频通讯通道。一种方案为，所述视频传输通道为根据TCP或UDP传输协议建立的数据传输通道，通常情况下视频会议终端与待共享屏幕的设备在同一局域网内，网络传输速度较高，丢包 率低，默认采用TCP连接传输。但用户也可以跟据实际需求，选择m)P或TCP传输。具体的，所述屏幕共享控制指令包括提供共享的屏幕共享设备信息、接收共享信息的屏幕共享设备信息、屏幕共享设备屏幕分辨率、屏幕共享范围、编码格式和视频传输码率中的一种或多种。—种具体的视频会议终端接收用户发出的屏幕共享控制指令的方法为视频会议终端接收并分析用户发出的屏幕共享控制指令，解析出提供共享的屏幕共享设备信息的地址和接收共享信息的屏幕共享设备信息的地址，所述被提高共享的屏幕共享设备的地址为一个或多个，所述接收共享信息的屏幕共享设备的地址为一个或多个；然后视频会议终端将接收共享信息屏幕共享设备的地址发送到服务器；最后服务器建立接收列表并将接收共享信息的屏幕共享设备的地址存储在接收列表中。本方案的目的在于提高一种多个屏幕共享设备同时共享屏幕，并且有多个接收设备接收共享屏幕信息的解决方案。一种具体的屏幕共享设备设置方法为首先视频会议终端获取屏幕共享设备所支持的分辨率信息，并与视频会议终端所支持的分辨率进行对比，得出视频会议终端支持且屏幕共享设备也支持的分辨率信息组，将分辨率信息组发送到服务器；然后服务器将分辨率信息组反馈给用户，用户根据分辨率信息组进行屏幕共享参数设置，所述参数设置包括屏幕分辨率、屏幕抓起的起始坐标、屏幕抓取的终点坐标、屏幕共享压缩编码方式和屏幕共享码率中的一种或多种；最后服务器将用户的参数设置信息发送到视频会议终端，视频会议终端将其转发给共享显示设备执行。具体的视频会议终端初始化屏幕共享设备的流程如图4所示，在屏幕共享设备与视频会议终端连接时，视频会议终端接收屏幕共享设备的验证密码，当验证通过后，在本地创建视频信息对象并向MCU服务器登录一个视频连接数据,如LoginMediaServer,然后终端获取注册MCU结果，如果失败，则通知屏幕共享设备因此MCU注册失败而导致共享失败，如果注册成功，则终端从屏幕共享设备终端获取分辨率，然后根据终端支持的分辨率获取视频会议系统支持该设备的分辨率，接着初始化视频会议信息，包括分辨率、编码格式和码率等，最后通知屏幕共享设备视频初始化成功及初始化信息。用户远程设置屏幕共享参数的流程如图5所示，设置被共享屏幕分辨率时，先向MCU发起屏幕支持的分辨率获取请求，MCU将屏幕分辨率请求转发给连接屏幕共享的视频会议终端，视频会议终端将命令发送给共享屏幕的设备端。设备端获取本地设备所支持的屏幕分辨率数据信息并发送给与该设备相连接的视频会议终端。视频会议终端接收到设备信息后与视频会议系统所支持的分辨率进行比对，得出视频会议系统支持且屏幕共享设备也支持的分辨率信息组发送给MCU服务器，MCU服务器将分辨率信息转发到请求分辨率数据的视频会议客户端。在获取到可以设置的分辨率后，对屏幕共享的参数信息进行设置，并将设置后的信息发送到MCU服务器端。其中屏幕共享参数设置包括屏幕分辨率、屏幕抓起的起始坐标、屏幕抓取的终点坐标、屏幕共享压缩编码方式、屏幕共享码率设置等。最后MCU接收到视频会议客户端发送的信息及命令并转发给与屏幕共享连接的视频会议终端。视频会议终端接收到命令后并将命令转发给屏幕共享设备，屏幕共享设备执行相关命令。步骤28，步骤27中屏幕共享设备执行相关命令时，需检查参数变化情况，对未变化的参数不处理；对变化的参数进行屏幕共享采集重新初始化；对分辨率设置进行调用设备分辨率改变设置一种具体的服务器进行屏幕共享数据发送的方法为
首先服务器读取接收列表中的屏幕共享设备地址；然后将视频共享数据根据屏幕共享设备地方发送到所有的屏幕共享设备。一种具体的屏幕共享设备接收并显示屏幕共享数据的方法为首先屏幕共享设备判断接收并解析屏幕共享数据，判断当前接收的屏幕共享数据是否包括了多个屏幕共享设备屏幕数据，若判断当前屏幕共享设备为一个，则直接将共享终端屏幕数据显示在屏幕上，若判断当前屏幕共享设备为多个，则将所有屏幕共享设备屏幕数据均呈现在屏幕上，根据用户输入的控制指令进行选择性显示。选择性显示是指用户可以控制当前同一屏幕以相同大小方式呈现多个共享的屏幕视频，并可以任意更换屏幕呈现的位置。也可以在当前屏幕着重较大显示一个共享的屏幕视频，其他共享的屏幕视频以较小的方式显示。同时还可以全屏显示任意一个共享的屏幕视频。并且同一屏幕在显示屏幕共享的视频信息流时，也可以同时显示视频会议的其他信息，包括其他视频、电子白板、文字聊天、文档共享、多媒体共享等。在用户获取屏幕共享信息的同时，还可以远程获取及修改屏幕共享设备的屏幕分辨率，并能远程修改屏幕采集器的参数，当然为了便于管理控制，可以分别为不同的用户终端设置不同的权限，约束其在整个视频会议系统中的控制权限。
权利要求
1.用于视频会议系统的屏幕共享及控制方法，其特征在于，包括以下步骤 a.视频会议终端与服务器和屏幕共享设备建立通信连接； b.屏幕共享设备与服务器建立视频传输通道； c.视频会议终端接收用户发出的屏幕共享控制指令； d.根据屏幕共享控制指令选择并设置屏幕共享设备，屏幕共享设备采集自身屏幕共享数据，并将采集到的屏幕共享数据发送到视频会议终端； e.视频会议终端将接收到的屏幕共享数据进行拷贝并转发给服务器； f.服务器将屏幕共享数据发送到屏幕共享设备； g.屏幕共享设备接收并显示屏幕共享数据。
2.根据权利要求I所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，步骤a还包括以下步骤 al.视频会议终端建立网络通信连接服务，提供端口供需要共享屏幕的屏幕共享设备连接，所述屏幕共享设备为PC机、笔记本电脑、智能手机和平板电脑中的一种或多种； a2.视频会议系统通过网络连接服务器，并在连接过程中进行验证，若验证成功，则与服务器建立服务连接并进入步骤a3，若验证失败，则断开连接，所述连接为有线和/或无线连接； a3.视频会议终端创建抽象视频数据对象，并连接服务器的视频转发服务。
3.根据权利要求I或2所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，步骤b还包括以下步骤 bl.屏幕共享设备接收视频会议终端的信号，判断视频会议终端是否连接到服务器的视频转发服务，若是，则进入步骤b2，若否，则不作处理； b2.屏幕共享设备初始化本地视频采集器和编码器，与服务器建立视频传输通道。
4.根据权利要求3所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，步骤b2还包括以下步骤 b21.判断用户是否自行指定共享屏幕区域，若是，则进入步骤b22，若否，则默认为全屏共享并初始化视频采集器； b22.接收并解析用户输入的屏幕共享区域，并初始化视频采集器。
5.根据权利要求3所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，所述视频传输通道为根据TCP或UDP传输协议建立的数据传输通道。
6.根据权利要求I 5任意一项所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，所述屏幕共享控制指令包括提供共享的屏幕共享设备信息、接收共享信息的屏幕共享设备信息、屏幕共享设备屏幕分辨率、屏幕共享范围、编码格式和视频传输码率中的一种或多种。
7.根据权利要求6所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，步骤c还包括以下步骤 Cl.视频会议终端接收并分析用户发出的屏幕共享控制指令，解析出提供共享的屏幕共享设备的地址和接收共享信息的屏幕共享设备的地址，所述提供共享的屏幕共享设备的地址为一个或多个，所述接收共享信息的屏幕共享设备的地址为一个或多个；c2.视频会议终端将接收共享信息的屏幕共享设备的地址发送到服务器；c3.服务器建立接收列表并将接收共享信息的屏幕共享设备的地址存储在接收列表中。
8.根据权利要求6所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，步骤d还包括以下步骤 dl.视频会议终端获取屏幕共享设备所支持的分辨率信息，并与视频会议终端所支持的分辨率进行对比，得出视频会议终端支持且屏幕共享设备也支持的分辨率信息组，将分辨率信息组发送到服务器； d2.服务器将分辨率信息组反馈给用户，用户根据分辨率信息组进行屏幕共享参数设置，所述参数设置包括屏幕分辨率、屏幕抓起的起始坐标、屏幕抓取的终点坐标、屏幕共享压缩编码方式和屏幕共享码率中的一种或多种； d3.服务器将用户的参数设置信息发送到视频会议终端，视频会议终端将其转发给共享显示设备执行。
9.根据权利要求7或8所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，步骤f还包括以下步骤 fl.服务器读取接收列表中的屏幕共享设备地址； f2.将视频共享数据根据屏幕共享设备地址发送到所有的屏幕共享设备。
10.根据权利要求9所述的用于视频会议系统的屏幕共享及控制方法，其特征在于，步骤g还包括以下步骤 gl.屏幕共享设备判断接收并解析屏幕共享数据，判断当前接收的屏幕共享数据是否包括了多个屏幕共享设备屏幕数据，若判断当前屏幕共享设备为一个，则直接将共享终端屏幕数据显示在屏幕上，若判断当前屏幕共享设备为多个，则进入步骤g2 ； g2.将所有屏幕共享设备屏幕数据均呈现在屏幕上，根据用户输入的控制指令进行选择性显示。
全文摘要
本发明涉及计算机数据共享技术，具体的说是涉及一种用于视频会议系统的屏幕共享及控制方法。本发明所述的方法主要方案为视频会议终端与服务器和屏幕共享设备建立通信连接，屏幕共享设备与服务器建立视频传输通道，屏幕共享设备采集自身屏幕共享数据并发送到视频会议终端；视频会议终端将接收到的屏幕共享数据进行拷贝并转发给服务器；服务器将屏幕共享数据发送到屏幕共享设备；最后屏幕共享设备接收并显示屏幕共享数据。本发明的有益效果为，实现在视频会议中，能同时共享多个PC桌面和移动设备桌面，同时在视频会议中，其他用户能通过参数设置方式，远程调整设备终端的分辨率等参数。本发明尤其适用于视频会议系统。
文档编号H04L29/06GK102883134SQ20121043069
公开日2013年1月16日 申请日期2012年11月1日 优先权日2012年11月1日
发明者刘天成, 高锦欣 申请人:成都飞视美视频技术有限公司