专利名称：一种基于拼接大屏幕的交互式协同系统及交互式协同方法
技术领域：
本发明涉及一种基于拼接大屏幕的交互式协同系统及交互式协同方法。
背景技术：
无论是在教育、科研领域还是企业工作环境下，为了能够提高工作效率和质量，用户需要信息共享，需要协同工作环境的支持。从简单的文本、视频到3D绘制图形，用户渴望及时地交流大量的复杂信息，从而帮助他们在激烈的竞争环境中做出正确的分析和判断。 在诸如军警系统、航空航天系统、电力水利调度、应急指挥系统、金融、医疗、气象乃至生物研究以及工业制造业等领域中海量信息的获取、处理以及显示都需要搭建高性能的存储、 计算和显示系统。多通道、高分辨率的拼接显示系统通常能够辅助本地的信息存储、处理系统，向用户呈现高精度的数据信息。清晰的输出画面和巨大的屏幕极大地拓宽了用户的视野，使之能够全面而准确地把握信息的核心。但用户仍不能满足于在大屏幕上只显示本地的信息资源，他们还希望能够同时远程访问异地的高性能系统。但是目前为止还没有一种这样的系统能够满足用户的需求。
发明内容
本发明的目的是提供一种即能显示本地的信息资源同时还能远程访问异地高性能系统的基于拼接大屏幕的交互式协同系统。为了达到上述目的，本发明的一个技术方案是提供了一种基于拼接大屏幕的交互式协同系统，其特征在于，包括流服务器，用于捕获异地高性能系统的多通道显示输出，并将捕获的信号分别压缩成多条像素流；流转发服务器，该服务器位于流服务器的后端，用以收集来自各流服务器的像素流，根据同步时间戳将每一桢重新打包形成一条新的比特流，然后将其通过局域网或专网转发至客户端系统；同时，流转发服务器接受并处理来自客户端系统的调整可视像素区域的消息，该消息描述当前客户端系统所显示的区域大小以及缩放比例，流转发服务器以此消息来实时地调整前端流服务器的图像处理过程，并向客户端系统发送数据；流转发服务器还通过接受客户端系统的反馈信息动态地对前端流服务器的捕获速率和压缩质量进行调控，负责转发客户端系统的交互命令至异地高性能系统；客户端系统包括一台大屏幕控制端和一套拼接大屏幕显示系统，大屏幕控制端接收来自流转发服务器的比特流；同时，大屏幕控制端向流转发服务器发送调整可视像素区域的消息、反馈信息及交互命令。本发明的另一个技术方案是提供了一种基于上述系统的交互式协同方法，其特征在于，步骤为步骤1、一组流服务器捕获异地高性能系统的多通道远程显示输出的流媒体后将其分别压缩成多条像素流；步骤2、流转发服务器收集来自流服务器的压缩数据，并同步得将数据每一帧重新打包形成一条新的比特流转发至大屏幕控制端；步骤3、大屏幕控制端接收到流转发服务器比特流数据后将比特流数据以图像形式显示在拼接大屏幕显示系统上，若用户在大屏幕控制端上输入了交互指令，则大屏幕控制端通过流转发服务器及流转发服务器将该交互指令转发至异地高性能系统，若大屏幕显示系统的图像显示需要调整，则大屏幕控制端发送调整可视像素区域RVP消息回流转发服务器，流转发服务器接受该消息并处理，同时将处理完成结果反馈给流服务器进行优化，如此往复，形成交互。本发明的优点是系统中远程绘制画面的共享基于像素流，采用了多通道同步捕获和异步编码的操作，大幅度提高了服务端计算性能。依据按需的数据处理和传输方式降低了网络带宽的需求，客户端的大屏幕能够呈现给用户更多的信息源。设计部署灵活的软件系统，采用当前主流的主机硬件配置。本发明的另一个有益效果是为拼接大屏幕显示系统直接采集流媒体信号提供了方法和依据。
图1为本发明提供的一种基于拼接大屏幕的交互式协同系统的构架；图2为帧率对比图；图3为网络占用率对比图。
具体实施例方式以下结合实施例来具体说明本发明。实施例如图1所示，为本发明提供的一种基于拼接大屏幕的交互式协同系统，系统是一种典型的C/S架构部署，系统由服务端和客户端组成，服务端由图形绘制系统、流服务器、 流转发服务器组成；客户端由拼接大屏幕显示系统、大屏幕控制服务器以及大屏幕控制客户端组成。远程多通道图形绘制系统通常由一组集群机驱动，并且由一台控制节点运行监控程序，通过发送命令的方式对整个系统进行操控。具体的，本发明提供的系统包括流服务器，用于捕获异地高性能系统的多通道显示输出，并将捕获的信号分别压缩成多条像素流；流转发服务器，该服务器位于流服务器的后端，用以收集来自各流服务器的像素流，根据同步时间戳将每一桢重新打包形成一条新的比特流，然后将其通过局域网或专网转发至客户端系统；同时，流转发服务器接受并处理来自客户端系统的调整可视像素区域的消息，该消息描述当前客户端系统所显示的区域大小以及缩放比例，流转发服务器以此消息来实时地调整前端流服务器的图像处理过程，并向客户端系统发送数据；流转发服务器还通过接受客户端系统的反馈信息动态地对前端流服务器的捕获速率和压缩质量进行调控，负责转发客户端系统的交互命令至异地高性能系统；客户端系统包括一台大屏幕控制端和一套拼接大屏幕显示系统，大屏幕控制端接
43/4页
收来自流转发服务器的比特流；同时，大屏幕控制端向流转发服务器发送调整可视像素区域的消息、反馈信息及交互命令。用户通过所述大屏幕控制端的鼠标和键盘操作来发出交互命令，包括与远程应用的交互以及大屏幕的布局管理，大屏幕控制端通过所述流转发服务器及所述流服务器向所述异地高性能系统发送简单的交互消息使异地高性能系统的显示器与所述拼接大屏幕显示系统的绘制行为保持一致，同时还能关闭预览远程内容以减少不必要的解码负担。本发明还提供了一种基于上述系统的交互式协同方法，步骤为步骤1、异地高性能系统的多通道的远程显示输出被一组流转发服务器捕获并分别压缩成多条像素流，这些流媒体包括各种常见的图像、视频编码器视频、MPEG2、JPEG等， 服务器甚至可以直接捕获未经压缩的像素流；步骤2、流服务器设计成支持硬件、软件两组捕获方式。当采用硬件捕获时，捕获同步信号能够由硬件触发；采用软件捕获时本系统使用消息传递接口(Message Passing Interface)来触发同步信号；流服务器除捕获进行同步操作外其他如图像分块、重采样、 压缩以及数据传输过程都设计成异步进行；步骤3、流转发服务器收集来自流服务器的压缩数据，并同步将数据每一帧重新打包形成一条新的比特流转发至客户端；步骤4、客户端由拼接大屏幕与其控制端组成，其承担比特流的解码以及大屏幕绘制系统任务，其同时可连接多个远程图形系统，大屏幕的控制端负责建立、维护和管理这些流媒体链接资源，通过专用的大屏幕拼接管理软件，可实现多种显示模式或写入模式，并对这些模式进行预存管理等。控制端与服务端任意叠加、方便、同步的显示效果；客户端接收到流转发服务器比特流数据后，发送调整可视像素区域RVP(Regi0n of Visible Pixels)消息(该消息描述当前客户端现实的区域大小、缩放比)回流转发服务器，流转发服务器接受该消息并处理，同时将处理完成结果反馈给流服务器进行优化。如此往复，形成交互，流转发服务器还负责转发客户的交互命令至交互服务器解析并执行交互指令。因此，流转发服务器在客户端拼接大屏幕系统与流服务器端之间起到中介传输处理和交互的作用；达到用户远程控制和管理的交互功能；下面几个步骤具体详细说明本发明实现的几个关键点(1)按需的图像处理与数据传输实现在本地拼接大屏幕上其实只需要观察局部或缩小的区域，客户端发送RVP消息来改善服务器的运行效率，客户端窗口的尺寸或者滚动条状态的变化都会出发新的RVP消息；而流转发服务器根据服务端内部的配置自动分解RVP消息并要求相应的流服务器调整图像处理过程；流转发服务器根据RVP消息首先从捕获图像中裁剪出有效的区域，然后进行线性重采样，最后执行编码操作，由于RVP中的纵横缩放比例一般不超过1. 0，流转发服务器会忽略放大原始图像的请求，减少编码开销的同时不影响图像精度；因此有效地提高了流服务器的输出帧率，减少视频流的网络带宽占用率；(2)多线程的软件架构实现拼接大屏幕控制服务器主要执行网络数据的接收、视频解码、大屏幕绘制等任务； 应用程序内部包含了这三条主要的线程，线程之间通过信号或消息进行协同工作。以降低数据接收受到网络带宽和发送速率的影响，将解码过程的CPU资源和绘制过程GPU资源分开；由图4可见以大屏幕服务器程序为例说明了多线程工作模式的多线程工作流程；拼接大屏幕的控制客户端除了同样的三条线程外还包含窗口应用程序的消息响应线程；流服务器主要设计包含了视频捕获、图像处理和数据发送线程；转发服务器主要设计包含了数据接收、转发线程、客户端命令接受、处理线程等。(3)自适应的速率控制与系统性能优化设计流服务器与流转发服务器根据客户端请求自动调节视频处理速度，在客户端没有足够CPU空闲时间或者网络带宽来处理高帧率实时画面时它们将请求服务端适当降低发送帧率；反之，在客户端空闲或者带宽充足时请求适当提高帧率；流服务器内部采用自适应的性能优化机制来协调捕获线程与编码线程的执行效率；设计了类似“生产者一消费者”的形式共享一个图像缓存队列以提升流服务器的处理效率，其具体工作实施如下根据图像缓存队列的满溢程度以及当前CPU的占用率，流服务器动态提高或降低线程的执行速度，避免缓存溢出而导致丢帧；在一组协同工作的流服务器中，主节点将定期地监控其他子节点运行情况，动态地作出调整；设计的流服务器的运行速度不会超过客户端指定的最大值。下面给出本发明的一组测试数据帧率是衡量交互性能的主要指标，网络带宽是衡量系统伸缩性的重要指标。我们围绕这两个指标进行了测试，测试系统分别采用JPEG和MPEG2编码器并使用了 Intel性能优化库(IPP)进行了优化，我们将这些数据和采用传递原始像素流(RAW pixel stream)的方式进行对比。由图2可见压缩和按需处理像素流的方式比直接转发原始数据具有更好的交互性能，能够支持更多的远程连接；同时，我们对极端情况即客户端显示完整的远程图像时的RVP进行了测试，此时客户端和服务端运行的负担是最重的MPEG2和JPEG编码器使整个系统能够达到实时交互性能，两者在最坏的情况下都能运行在15fps以上，而RAW形式的原始像素流严重受到网络带宽的限制，只能稳定运行于 7. 5fps左右，由图3可见显示了网络占有率的巨大差距，理论上原始像素流至少需要超过 40倍的网络宽度，同时也显示了本发明在网络带宽限制方面的巨大优势。
权利要求
1.一种基于拼接大屏幕的交互式协同系统，其特征在于，包括流服务器，用于捕获异地高性能系统的多通道显示输出，并将捕获的信号分别压缩成多条像素流；流转发服务器，该服务器位于流服务器的后端，用以收集来自各流服务器的像素流，根据同步时间戳将每一桢重新打包形成一条新的比特流，然后将其通过局域网或专网转发至客户端系统；同时，流转发服务器接受并处理来自客户端系统的调整可视像素区域的消息， 该消息描述当前客户端系统所显示的区域大小以及缩放比例，流转发服务器以此消息来实时地调整前端流服务器的图像处理过程，并向客户端系统发送数据；流转发服务器还通过接受客户端系统的反馈信息动态地对前端流服务器的捕获速率和压缩质量进行调控，负责转发客户端系统的交互命令至异地高性能系统；客户端系统包括一台大屏幕控制端和一套拼接大屏幕显示系统，大屏幕控制端接收来自流转发服务器的比特流；同时，大屏幕控制端向流转发服务器发送调整可视像素区域的消息、反馈信息及交互命令。
2.如权利要求1所述的一种基于拼接大屏幕的交互式协同系统，其特征在于，用户通过所述大屏幕控制端的鼠标和键盘操作来发出交互命令，包括与远程应用的交互以及大屏幕的布局管理，大屏幕控制端通过所述流转发服务器及所述流服务器向所述异地高性能系统发送简单的交互消息使异地高性能系统的显示器与所述拼接大屏幕显示系统的绘制行为保持一致，同时还能关闭预览远程内容以减少不必要的解码负担。
3.一种基于权利要求1所述系统的交互式协同方法，其特征在于，步骤为步骤1、一组流服务器捕获异地高性能系统的多通道远程显示输出的流媒体后将其分别压缩成多条像素流；步骤2、流转发服务器收集来自流服务器的压缩数据，并同步得将数据每一帧重新打包形成一条新的比特流转发至大屏幕控制端；步骤3、大屏幕控制端接收到流转发服务器比特流数据后将比特流数据以图像形式显示在拼接大屏幕显示系统上，若用户在大屏幕控制端上输入了交互指令，则大屏幕控制端通过流转发服务器及流转发服务器将该交互指令转发至异地高性能系统，若大屏幕显示系统的图像显示需要调整，则大屏幕控制端发送调整可视像素区域RVP消息回流转发服务器，流转发服务器接受该消息并处理，同时将处理完成结果反馈给流服务器进行优化，如此往复，形成交互。
4.如权利要求3所述的一种交互式协同方法，其特征在于，步骤1中所述流服务器的捕获方式为硬件捕获方式或软件捕获方式，当采用硬件捕获时，捕获同步信号能够由硬件触发；当采用软件捕获时使用消息传递接口来触发同步信号。
全文摘要
本发明涉及一种基于拼接大屏幕的交互式协同系统，包括流服务器，用于捕获异地高性能系统的多通道显示输出，并将捕获的信号分别压缩成多条像素流；流转发服务器，该服务器位于流服务器的后端，用以收集来自各流服务器的像素流，然后将其通过局域网或专网转发至客户端系统；客户端系统包括一台大屏幕控制端和一套拼接大屏幕显示系统，大屏幕控制端接收来自流转发服务器的比特流；同时，大屏幕控制端向流转发服务器发送调整可视像素区域的消息、反馈信息及交互命令。本发明还提供了一种基于上述系统的交互式协同方法。本发明的优点是即能显示本地的信息资源同时还能远程访问异地高性能系统。
文档编号H04N7/26GK102377745SQ201010256909
公开日2012年3月14日 申请日期2010年8月19日 优先权日2010年8月19日
发明者刘红 申请人:上海济丽信息技术有限公司