一种基于富媒体的多元化可视化方法与流程

1.本发明涉及媒体技术领域，具体为一种基于富媒体的多元化可视化方法。


背景技术：

2.富媒体，本身并不是一种具体的互联网媒体形式，而是指具有动画、声音、视频和/或交互性的信息传播方法。富媒体包含流媒体、声音、flash、以及java、javascript、dhtml等程序设计语言的形式之一或者几种的组合。富媒体可应用于各种网络服务中，如网站设计、电子邮件、banner、button、弹出式广告、插播式广告等。富媒体本身并不是信息，富媒体可以加强信息，当信息更准确的定向时，广告主会拥有更好的结果。
3.现有的富媒体呈现系统页面延时更长且呈现的网页内容不够丰富化、多元化和可视化，传输网页信息内容过于单一化，且消耗的网络资源过多，为此，我们提出一种基于富媒体的多元化可视化方法。


技术实现要素：

4.本发明的目的在于提供一种基于富媒体的多元化可视化方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于富媒体的多元化可视化方法，具体步骤如下：
6.s1：构建完整的端对端的可交互的富媒体呈现系统，能够支持高性能的远程屏幕呈现以及桌面的远程使用，针对不同的网络环境，提出动态地调整发送缓冲区的方法取得吞吐量与数据延时之间的平衡；
7.s2：针对客户端连接的屏幕共享系统，采用有效的屏幕图像编码方法，当远程的计算资源受限时，一次化编码算法能够提高屏幕共享系统的性能，并以数据中心为基础的大规模桌面网络会议提出快速的屏幕图像转码方案；
8.s3：使用gpu加速进行屏幕图像编码的算法，从而加快远程主机端的编码速度，将屏幕编码端的计算模块转移至gpu中有效的利用gpu强大的并行计算能力；
9.s4：使用视频转码对视频内容的有效传输呈现并且减少网络带宽的消耗，不仅能够用到时域的视频转码，包括对码率、分辨率、帧率的转码，还适用于在频域上的视频转码；
10.s5：构建高性能的基于移动手机的网页浏览器，提供完整的端对端的方案，适用虚拟浏览器来提取、渲染和快速抓取网页对象的图像和其他信息。
11.进一步地，所述步骤1中，富媒体呈现系统中使用了一个帧缓冲区级对压缩友好模型的远程显示结构，使得桌面的屏幕数据直接从主机帧缓冲区逐帧读出来，经由编码方案进行压缩，通过自适应传输机制传输于客户端，所述帧缓冲区级压缩友好模型使用帧缓冲区中的位图来标识屏幕信息，能够被任何系统所理解，采用固定帧大小结构能够使压缩做的更加有效，所述内容自适应压缩使用有效的内容分隔算法然后自动地使用不同的方法来编码不同内容。
12.进一步地，所述步骤2中，一次化编码过程中，屏幕共享应用程序将为多客户端保持共有的数据结构，数据结构包括屏幕图像列表、块级差异历史检测以及已编的块数据和独立比特，所述屏幕图像列表使用屏幕图像联合抓取的机制来避免在多客户端情况下的重复抓取，当一个对应于一个客户端的编码线程请求抓取新的一帧时，线程是首先查询在屏幕图像列表中最新的帧是否已经过期，如果已经过期，线程首先抓取当前的屏幕图像，否则，线程直接从列表中获取屏幕图像；所述块级差异历史检测即当某个编码线程需要对这个块与前一帧作差异检测时，该线程首先查询该历史列表，当参考帧的记录存在与历史列表中时，线程直接读取差异检测的结果；所述已编的块数据和独立比特即当一帧中的某个块被编码后，独立比特，包括编码后的颜色索引比特被共享出来，可由对应于其他客户端的编码器直接拷贝使用。
13.进一步地，所述步骤3中，所述gpu加速的屏幕编码包括图形渲染引擎和gpu加速的屏幕编码结构，所述图形渲染引擎根据用户提供给gpu几何数据，顶点处理器可以通过执行自写程序以simd的方式处理每个顶点，顶点形成的多边形被投影到观察面，由硬件来格栅化，并产生多边形内的像素级表示，通过像素处理器通过执行自写程序来处理每个像素，达到图像的可视化呈现。
14.进一步地，所述步骤4中，提出率失真模型，利用拉格朗日优化方法去找到每个模块找到优化的运动矢量和块模式，拉格朗日优化可以在运动矢量数据和残差数据之间优化地分配比特。
15.进一步地，所述步骤5中，利用虚拟浏览器提取网页中的网页对象，编码器对不通过网页对象根据其内容特点使用不同的编码方案，进度控制器会根据网络状况将编码后的网页对象显示和对象辅助信息发送至客户端，客户端获取信息后解码成各网页对象，最后这些网页对象的显示被拼接起来然后呈现给用户；所述虚拟浏览器具有两个功能，其一是提供网页中网页对象的信息，信息包括超链接、文本输入框、密码输入框、flash和gif图像，其二是提供网页对象的外观，网页对象的抓取具有两种类型，其一是不定大小的抓取，只抓取一个网页对象的显示，其二是固定尺寸的抓取当前网页可视区域内的显示信息。
16.与现有技术相比，本发明的有益效果是：本发明从富媒体的特点触发，针对远程富媒体呈现系统的性能要求，提高远程富媒体的呈现性能、减少带宽资源和计算资源损耗，提高系统对异构网络和设备的自适应性和提高用户的交互体验，针对多客户端连接的屏幕共享系统，利用一次化编码算法提供屏幕共享系统的性能，使用gpu加速图像屏幕编码的算法，加快远程主机端的编码速度，使用视频转码对视频内容进行有效传输并且减少网络带宽的消耗，实现信息的多元化且可视化的呈现。
附图说明
17.图1为本发明方法步骤流程图。
18.附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本发明提供一种基于富媒体的多元化可视化方法，具体步骤如下：
21.s1：构建完整的端对端的可交互的富媒体呈现系统，能够支持高性能的远程屏幕呈现以及桌面的远程使用，针对不同的网络环境，提出动态地调整发送缓冲区的方法取得吞吐量与数据延时之间的平衡；
22.s2：针对客户端连接的屏幕共享系统，采用有效的屏幕图像编码方法，当远程的计算资源受限时，一次化编码算法能够提高屏幕共享系统的性能，并以数据中心为基础的大规模桌面网络会议提出快速的屏幕图像转码方案；
23.s3：使用gpu加速进行屏幕图像编码的算法，从而加快远程主机端的编码速度，将屏幕编码端的计算模块转移至gpu中有效的利用gpu强大的并行计算能力；
24.s4：使用视频转码对视频内容的有效传输呈现并且减少网络带宽的消耗，不仅能够用到时域的视频转码，包括对码率、分辨率、帧率的转码，还适用于在频域上的视频转码；
25.s5：构建高性能的基于移动手机的网页浏览器，提供完整的端对端的方案，适用虚拟浏览器来提取、渲染和快速抓取网页对象的图像和其他信息。
26.步骤1中，富媒体呈现系统中使用了一个帧缓冲区级对压缩友好模型的远程显示结构，使得桌面的屏幕数据直接从主机帧缓冲区逐帧读出来，经由编码方案进行压缩，通过自适应传输机制传输于客户端，帧缓冲区级压缩友好模型使用帧缓冲区中的位图来标识屏幕信息，能够被任何系统所理解，采用固定帧大小结构能够使压缩做的更加有效，内容自适应压缩使用有效的内容分隔算法然后自动地使用不同的方法来编码不同内容。
27.步骤2中，一次化编码过程中，屏幕共享应用程序将为多客户端保持共有的数据结构，数据结构包括屏幕图像列表、块级差异历史检测以及已编的块数据和独立比特，屏幕图像列表使用屏幕图像联合抓取的机制来避免在多客户端情况下的重复抓取，当一个对应于一个客户端的编码线程请求抓取新的一帧时，线程是首先查询在屏幕图像列表中最新的帧是否已经过期，如果已经过期，线程首先抓取当前的屏幕图像，否则，线程直接从列表中获取屏幕图像；块级差异历史检测即当某个编码线程需要对这个块与前一帧作差异检测时，该线程首先查询该历史列表，当参考帧的记录存在与历史列表中时，线程直接读取差异检测的结果；已编的块数据和独立比特即当一帧中的某个块被编码后，独立比特，包括编码后的颜色索引比特被共享出来，可由对应于其他客户端的编码器直接拷贝使用。
28.步骤3中，gpu加速的屏幕编码包括图形渲染引擎和gpu加速的屏幕编码结构，图形渲染引擎根据用户提供给gpu几何数据，顶点处理器可以通过执行自写程序以simd的方式处理每个顶点，顶点形成的多边形被投影到观察面，由硬件来格栅化，并产生多边形内的像素级表示，通过像素处理器通过执行自写程序来处理每个像素，达到图像的可视化呈现。
29.步骤4中，提出率失真模型，利用拉格朗日优化方法去找到每个模块找到优化的运动矢量和块模式，拉格朗日优化可以在运动矢量数据和残差数据之间优化地分配比特。
30.步骤5中，利用虚拟浏览器提取网页中的网页对象，编码器对不通过网页对象根据
其内容特点使用不同的编码方案，进度控制器会根据网络状况将编码后的网页对象显示和对象辅助信息发送至客户端，客户端获取信息后解码成各网页对象，最后这些网页对象的显示被拼接起来然后呈现给用户；虚拟浏览器具有两个功能，其一是提供网页中网页对象的信息，信息包括超链接、文本输入框、密码输入框、flash和gif图像，其二是提供网页对象的外观，网页对象的抓取具有两种类型，其一是不定大小的抓取，只抓取一个网页对象的显示，其二是固定尺寸的抓取当前网页可视区域内的显示信息。
31.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。