一种基于深度和动作流信息的远程绘制方法

文档序号:7776405阅读:141来源:国知局
一种基于深度和动作流信息的远程绘制方法
【专利摘要】一种基于深度和动作流信息的远程绘制方法,其步骤为:(1)服务器从属性缓冲中进行边界提取;(2)根据步骤(1)计算得到的边界信息,提取边界动作流信息和边界深度信息,进行数据压缩处理并发送给客户端;(3)绘制低分辨率图像,使用H.264标准发送到客户端;(4)客户端接受服务器端发送到的信息,首先对边界动作流信息和边界深度信息通过扩射算法进行恢复,得到完整的动作流信息和深度信息;(5)根据步骤(4)得到的数据,使用时空向上采样算法得到高分辨图像。
【专利说明】一种基于深度和动作流信息的远程绘制方法
【技术领域】
[0001]本发明属于计算机虚拟现实【技术领域】,具体地说是涉及一种远程绘制的方法,服务器端绘制低分辨率图像,计算深度和动作流信息,客户端根据这些信息恢复出高分辨图像,完成远程绘制。
【背景技术】
[0002]近些年来,随着计算机硬件更新换代速度的加快以及车载电脑等移动终端的普及,运用于三维图像交互的服务器/客户端平台在我们的生活中扮演者越来越重要的角色。这种平台把计算量巨大的渲染工作交给服务器来完成,然后把渲染好的帧序列以视频的方式传输给客户端,而客户端只需要具有网页浏览和视屏播放的功能就可以了。这种服务器/客户端图形平台具有很多优点,除了可以降低对客户端配置的要求,还可以把大量的数据保存在服务器,简化了数据维护工作,提高了数据保密性,同时还可以在协同工作环境中保证数据的一致性。但是这种体系存在这两个主要难点:一是服务器负载,大场景或者复杂的模型的渲染总是需要服务器进行大量的计算,一方面增加了响应时间,另一方面限制了服务器为多台客户端提供服务的能力;二是带宽,传输高分辨率图像所需要较高的带宽,如传输HD 1080p视频需要至少5Mbps的带宽才能取得较好的传输质量。为了解决这些问题,很多研究都是从两个方向入手:
[0003](I)降低服务器端渲染数据量。文献 I一Dabrius Burschka, Gregory D Hager,Zachary Dodds etc.Recent Method for Image-Based Modeling and Rendering, IEEEVirtual Reality 2003 March 22-26,2003,Los Angeles, CA, 299.提供了在渲染服务器和客户端之间有效地分配渲染负载和数据传输的专用算法。文献2—Cohen-or D, MannY, Fleishman S.Deep compression for streaming texture intensive animations.1n Proceedings of SIGGRAPH(1999),pp.261-268.利用流残差值(高质量服务器端帧和低质量客户端帧之间的差别)来提高客户端的渲染能力,这种方法需要强大的客户端,并且无法再服务器端进行绘制。文献3—Sitthi Amorn P, Lawrence J, Yang L, SanderP V, Nehab D.An Improved Shading Cache for Modern GPUs.1n Proc.APGV(2008),PP.193-197.通过分析时间数据重投影在GPU上的开销设计了一种算法,重利用当前帧的着色信息来提高下面的巾贞序列着色计算的速度。文献4一Yang L, Sander P V, LawrenceJ.Geometry-Aware Framebuffer Level of Detail.Comp.Graph.Forum(Proc.0f EGSR)27,4(2008),1183-1188.提出了一种LOD算法来控制进行像素处理的开销。HEMS提出了时空向上采样算法,结合时间向上采样和空间向上采样的算法来降低像素处理的开销。文献5—Herzog R, Eisemann E,Myszkowski K, Seidel H P.Spatio-temporal Upsampling on TheGPU.1n Proc.0f 13D (2010) ACM, pp.91-98.把渲染和视频流压缩结合在一起,不对在压缩过程中需要被移除的部分进行渲染工作,降低服务器端的负载。
[0004](2)渲染加速。增加单位时间内的数据处理量,通过软硬件加速方法实现,如GPU加速技术、存储访问优化技术、并行渲染技术等,其中并行渲染技术是软件加速方法的重要组成部分。根据图元归属判断方式,文献6—Molnar S., Cox M., Ellsworth D., et al.ASorting Classification of Parallel Rendering[J].1EEE Computer Graphics andApplications, 1994,14(4):23-32.把并行?宣染分为三种类型:Sort-first、Sort-middle和Sort-last。Sort-first体系在几何处理阶段决定图源图像在屏幕时的对应位置,参见文献 7—Miyachi H., Shigeta H., Kiyokawa K., et al.Parallelization of ParticleBased Volume Rendering on Tiled Display Wall[C].Network-Based InformationSystems (NBiS), Takayama, Gifu, Japan,2010.和文献 8—Humphreys G., EldridgeM..WireGL:A Scalable Graphics System for Cluster[C].ACM SIGGRAPH, Los Angeles,California, 2001.,优点是具有流水线相互独立和通信量少的特点,但由于图元分布不均匀等原因容易造成负载不平衡;S0rt-middle体系的图元归属判断发生在几何处理和像素化处理阶段之间,如Chromium框架,参见文献8一Humphreys G.,Houston Μ.,Ng.R.,et al.Chromium:a Stream-processing Framework for Interactive Rendering onClusters[C], ACM, San Diego, 2008.,其优点是有利于模块化实现,但由于数据传输量以处理器数的几何级数增长,限制了系统的可扩展性;Sort-laSt体系的图元归属发生在像素化处理过程中,如Parallel-Mesa系统,系统可扩展性好,同时较好实现了负载平衡,但需要大量的像素传输,占用了大量带宽,使得图像合成速度成为系统瓶颈,同时也具有负载不平衡的问题。由于这三种体系各有优缺点,越来越多的系统开始使用其中某两者相结合的方案,如 Chromium 框架和 Parallel-SG。
[0005]目前的远程绘制技术研究中很少能够兼顾服务器端负载、客户端配置和带宽等多种方面的需求,要么为了降低服务器端负载而增加了客户端负担从而导致客户端配置需求较高,要么为了降低客户端配置而增加了服务器端负载,又或者会导致带宽需求过高等问题。

【发明内容】

[0006]本发明的技术解决问`题:克服现有技术的一些局限性,提供一种基于深度和动作流信息的远程绘制方法,有效降低服务器端负载、客户端配置要求和带宽需求。
[0007]本发明的技术解决方案:基于深度与动作流信息的远程绘制,首先要在服务器端进行深度与动作流信息提取,边界信息提取和低分辨率图像绘制,然后进行数据压缩,最后客户端通过这些信息得到高分辨率图像,其特征在于步骤如下:
[0008]一种基于深度与动作流信息的远程绘制方法,首先要在服务器端进行深度与动作流信息提取,边界信息提取和低分辨率图像绘制,然后进行数据压缩,最后客户端通过这些信息得到高分辨率图像,其特征在于步骤如下:
[0009](I)服务器从属性缓冲中进行边界提取;
[0010](2)根据步骤(1)计算得到的边界信息,提取边界动作流信息和边界深度信息,进行数据压缩处理并发送给客户端;
[0011](3)绘制低分辨率图像,使用H.264标准发送到客户端;
[0012](4)客户端接受服务器端发送到的信息,首先对边界动作流信息和边界深度信息通过扩射算法进行恢复,得到完整的动作流信息和深度信息;
[0013](5)根据步骤(4)得到的数据,使用时空向上采样算法得到高分辨图像。[0014]本发明与现有技术相比的优点在于:
[0015](I)本发明所设计的远程绘制方法极大地降低了服务器端的负载,在远程绘制中,服务器端的主要工作浪费在了渲染部分,而本方法只绘制低分辨图像,从而把服务器从繁重的渲染工作中解脱出来。
[0016](2)本发明降低了对客户端的配置要求,采用传图像的方式进行远程绘制使得客户端不需要进行模型处理,更不需要进行绘制工作,客户端配置要求。
[0017](3)本发明降低了远程绘制对带宽的要求,即使要进行高分辨图像的传输,因为服务器端只传输低分辨图像,而高分辨率的图像是在客户端生成,对带宽要求很低。
【专利附图】

【附图说明】
[0018]图1为本发明方法的流程图;
[0019]图2为本发明数据压缩算法示意图;
[0020]图3为本发明扩散算法示意图;
[0021]图4为服务器端绘制的高分辨率图像;
[0022]图5为服务器端绘制的低分辨率图像;
[0023]图6为客户端恢复的高分辨率图像。
【具体实施方式】
[0024]如图1所示,本发明包括服务器端和客户端两部分内容,具体步骤如下:
[0025]1、服务器端待绘制帧图像的边界信息的提取,其步骤为:使用拉普拉斯算子,根据属性缓冲区中的数据进行边界提取。拉普拉斯算子是一种二阶微分算子,定义为:
【权利要求】
1.一种基于深度与动作流信息的远程绘制方法,首先要在服务器端进行深度与动作流信息提取,边界信息提取和低分辨率图像绘制,然后进行数据压缩,最后客户端得到高分辨率图像,其特征在于步骤如下:(1)服务器从属性缓冲中进行边界提取;(2)根据步骤(I)计算得到的边界信息,提取边界动作流信息和边界深度信息,进行数据压缩处理并发送给客户端;(3)绘制低分辨率图像,使用H.264标准发送到客户端;(4)客户端接受服务器端发送到的信息,首先对边界动作流信息和边界深度信息通过扩射算法进行恢复,得到完整的动作流息和深度息;(5)根据步骤(4)得到的数据,使用时空向上采样算法得到高分辨图像。
2.根据权利要求1所述基于深度和动作流信息的远程绘制方法,其特征在于:所述步骤(I)中边界信息的提取,其步骤为:使用拉普拉斯算子,根据属性缓冲区中的数据进行边界提取,提取出的边界为2个像素的宽度;为了防止丢失变化较少的区域,在边界提取结束后,每32*32个像素中再添加一个像素信息到边界数据中。
3.根据权利要求1所述基于深度和动作流信息的远程绘制方法,其特征在于:所述步骤(2)中,边界深度信息和边界动作流信息的提取和数据压缩,其步骤如下:首先从属性缓冲区根据边界信息提取边界深度信息和边界动作流信息,然后对两种元素,一个像素是否是边界样例、边界样例值,进行编码:首先以二值图像的形式对一个像素是否为边界样例进行编码,I表示该像素为边界样例,O表示不是;对于边界样例的值,以按行扫描的方式进行存储。
4.根据权利要求1所述基于深度和动作流信息的远程绘制方法,其特征在于:所述步骤(3)中,首先根据边界信息绘制低分辨率图像,即只对边界像素和每32*32像素抽取的一个像素进行渲染得到低分辨率图像,然后以H.264标准进行编码后发送。
5.根据权利要求1所述基于深度和动作流信息的远程绘制方法,其特征在于:由步骤(4)包括:其核心是一种“推拉机制”,首先通过降低图像分辨率来填补空洞,具体操作是进行连续向下采样得到金字塔状图像,每一级别增加边界样本的一个像素宽度,空洞被迅速填补;然后把填补好的空洞传播回高分辨率图像;通过自顶向下的方式,粗略级别的样本被“拉”回到自己相应的精确位置;由于在推的阶段保留了偶数位置的值,所以在拉的阶段只从偶数位取值,在金字塔每一层,对剩余像素使用局部扩散的方法进行复制,在这个过程中采用先对角线后坐标轴的方式。
6.根据权利要求1所述基于深度和动作流信息的远程绘制方法,其特征在于:由步骤(5)包括步骤如下:首先通过动作流信息和存储在客户端的前一帧图像推断出当前帧的各像素位置;然后使用Herzog提出的双向加权方案给前一帧图像和当前帧低分辨图像中的时空上相邻的像素分别赋予权重,用加权和求出当前帧Ht中个像素的值,最终得到高分辨图像。
【文档编号】H04N21/238GK103561280SQ201310566712
【公开日】2014年2月5日 申请日期:2013年11月14日 优先权日:2013年11月14日
【发明者】齐越, 吴昊 申请人:北京航空航天大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1