专利名称：一种远程显示系统的静态图像编码方法及系统的制作方法
技术领域：
本发明涉及远程显示系统，尤其涉及一种远程显示系统的静态图像编码方法及系 统。
背景技术：
远程显示系统(Remote Display System)，通常也称为瘦客户系统(Thin-Client System)，将应用程序的用户界面和执行逻辑分离，客户端接收来自服务器端的屏幕更新， 并将鼠标键盘等事件发送给服务器端处理。典型的远程显示系统包括X视窗系统(X Window System)、微软终端服务(Microsoft Terminal Service) ,Sun Ray、虚拟网络计算(Virtual NetworkComputing,VNC)和瘦客户机网络计算(Thin-client Internet Computing,THINC)寸。尽管不同的远程显示系统在不同的层次对显示元素编码，并采用不同的绘图原 语，但图像编码是基本操作，当显示更新无法用其他绘图原语表达时，只能直接对图像编 码。因此在远程显示系统中，图像编码成为了影响系统显示性能的重要因素。端到端延迟是评价交互式系统性能的重要指标，远程显示系统中的端到端延迟是 由图像编码时间、传输时间和解码时间共同决定的。编解码时间取决于编解码算法的复杂 度，传输时间取决于图像的压缩比和网络环境。因此编码方法需要在编解码速度、压缩比和 网络环境等因素之间进行权衡。图1为现有技术中静态图像编码系统实施例的组成示意图。如图1所示，该系统 实施例主要包括图像更新模块110、编码模块120及输出模块130，其中图像更新模块110，用于获取待更新的图像更新内容；编码模块120，与该图像更新模块110相连，用于在图像更新内容无法用绘图原语 表达时，对图像更新内容固定地采用Hextile或者Tight等确定的某一种编码方法进行编 码，获得编码结果；输出模块130，与该编码模块120相连，用于输出该编码结果。图2为现有技术中静态图像编码方法实施例的流程示意图。结合图1所示的系统 实施例，图2所示的方法实施例主要包括如下步骤步骤S210，从原始屏幕中获取待更新的图像更新内容；一般地，图像更新内容的获取方法有多种，比如抓取整个屏幕(framebuffer)的 内容，然后再比较本次抓屏与上一次抓屏之间的差异部分，将其作为显示更新内容；为了提 高性能，也可采用另外的方法，比如每当屏幕发生更新，则将更新区域通知给镜像驱动，再 由镜像驱动抓取更新的区域；步骤S220，在图像更新内容无法用绘图原语表达时，对图像更新内容采用 Hextile或者Tight等确定的某一种固定的编码方法进行编码，获得编码结果；步骤S230，输出该编码结果。由于不同的编码方法适用于不同的图像特性及网络环境，但在大部分远程显示系统中，对图像更新内容固定地采用单一的静态图像编码方法，难以在不同条件下有效平衡 上述图像特性及网络环境等编码条件对图像编码的影响。
发明内容
本发明所要解决的技术问题是需要提供一种远程显示系统的静态图像编码方法 及系统，以克服现有技术难以有效平衡编码条件对图像编码的影响。为了解决上述技术问题，本发明提供了一种远程显示系统的静态图像编码方法， 包括根据反馈的编码结果预测获得当前编码条件；根据该当前编码条件为待更新的图像更新内容选择一种优选编码方法； 根据该优选编码方法对所述图像更新内容进行编码，获得编码结果并反馈。优选地，该编码结果包括编解码速度、压缩比及网络带宽中的一种或几种的组合。优选地，在满足系统端到端延迟的情况下，为所述图像更新内容选择压缩比最大 的编码方法作为该优选编码方法。优选地，所述当前编码条件包括当前静态图像编码特性及当前网络环境。为了解决上述技术问题，本发明还提供了一种远程显示系统的静态图像编码系 统，包括图像更新模块及编码模块，还包括预测模块、选择模块及反馈模块，其中该预测模块，用于根据反馈的编码结果预测获得当前编码条件；该选择模块，用于根据该当前编码条件为该图像更新模块待更新的图像更新内容 选择一种优选编码方法；该编码模块，用于根据该优选编码方法对所述图像更新内容进行编码，获得编码
结果；该反馈模块，用于反馈该编码模块所获得的编码结果。优选地，该预测模块用于获得包括当前静态图像编码特性及当前网络环境的该当 前编码条件。优选地，该选择模块用于在满足系统端到端延迟的情况下，为所述图像更新内容 选择压缩比最大的编码方法作为该优选编码方法。优选地，该编码模块用于获得包括编解码速度、压缩比及网络带宽中的一种或几 种的组合的该编码结果。与现有技术相比，本发明的一个实施例在远程显示系统中通过性能预测从多种编 码方法中选择合适的编码方法，有效克服了现有技术难以有效平衡编码条件对图像编码的 影响的技术缺陷，适用于不同的使用条件，提高了系统的显示性能，并减小网络带宽。本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利 要求书以及附图中所特别指出的结构来实现和获得。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实 施例一起用于解释本发明，并不构成对本发明的限制。在附图中
图1为现有技术中静态图像编码系统实施例的组成示意图；图2为现有技术中静态图像编码方法实施例的流程示意图；图3为本发明静态图像编码方法实施例的流程示意图；图4为本发明静态图像编码系统实施例的组成示意图。
具体实施例方式以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用 技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。首先，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本 发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指 令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以 以不同于此处的顺序执行所示出或描述的步骤。远程显示系统的静态图像更新内容可以分成两类，一类是由计算机产生的文本、 图标等合成图像，另一类是应用程序显示的照片等连续色调图像。不同的编码方法适用于 不同的静态图像编码特征，对同样的图像会有不同的编解码时间和压缩比，从而在不同的 网络环境下产生不同的端到端延迟。一般而言，用户会针对某一应用进行一段时间的操作，同时网络环境也能够在一 段时间内保持稳定，即远程显示系统的图像特性和网络环境在短时间内具有一定的连续 性。因此本发明的核心思想是利用上次编码结果预测当前静态图像编码特性及当前网络环 境等编码条件，从而预测出当前显示更新的端到端延迟。其中的静态图像编码特性主要包 括编解码速度和压缩比。对静态图像编码进行性能预测，首先需要评估各种编码对于合成图像和连续色调 图像这两类图像的编码属性，包括编解码时间和压缩比。表1列出了性能预测所需的静态 图像编码属性。表1、静态图像编码属性 在实际系统运行过程中，在每次图像的编码、传输、解码过程完成后，能够得到以 下数据编解码前的数据大小SRt，编解码后的数据大小SCt ；编码时间表示为TEt，解码时间表示为TDt ；网络传输时间表示为TNt。通过这些数据能够计算出在上次编码过程中实际使用的压缩比Ct、可能的网络带宽BWt以及上次编码输入中合成图像所占的百分比α，也即可以得到以下表达式Ct = SRt/SCt式(1)Bfft = SCt/TNt式(2)Ct = Cs X α +Cc X (1- α )式(3)根据式(3)可以得到α = (Ct-Cc)/(Cs-Cc)式(4)将候选编码的端到端延迟Tt+1分成图像编码、网络传输和图像解码三个部分，可以 利用如下表达式计算Tt+1:Tt+1 = St+1X [(TEsX α +TEcX (1-α ))+Ct/Bfft+(TDsX α +TDcX (1_α ))]式(5)其中，St+1表示当前图像更新内容的大小；TEsX α +TEcX (l-α)表示单位大小图像更新内容所需的编码时间；Ct/Bfft表示单位大小图像更新内容所需的网络传输时间；TDsX α +TDcX (l-α)表示单位大小图像更新内容所需的解码时间。理论上，某种编码方法的预测值Tt+1越小，该方法越值得采用。有些静态图像编码 可以具有不同的编码参数，例如可以设定JPEG编码的压缩级别。可以将不同参数范围的同 一编码当作不同的编码处理，同样能够利用上述性能预测表达式选择合适的编码参数。在交互式系统中，并非所有操作都需要尽可能快的完成，已有的研究已经指出对 于低于50 100毫秒(ms)的系统响应时间，用户通常是感觉不到的。因此，在选择编码时 并不一定要选择具有最小延迟的编码，可以在满足系统端到端延迟的情况下，尽可能采用 高压缩比(比如压缩比最大)的编码方法以减少网络传输的数据量，这一点对于无线网络 环境下的远程显示系统来说更加重要。图3为本发明方法实施例的流程示意图。图3所示的方法实施例主要包括如下步 骤步骤S310，获取待更新的图像更新内容；步骤S320，根据反馈的编码结果预测获得当前静态图像编码特性及当前网络环境 等的当前编码条件；步骤S330，根据该当前静态图像编码特性及当前网络环境等当前编码条件，从若 干编码方法中为待更新的图像更新内容选择一种适于当前编码条件的优选编码方法；步骤S340，在图像更新内容无法用绘图原语表达时，根据所选择的该优选编码方 法对该待更新的图像更新内容进行编码，获得编码结果；步骤S350，输出该编码结果，并反馈该编码结果用于进行后续编码的预测。需要说明的是，上述步骤S310与步骤S320及步骤S330之间并没有严格的先后关系。而且，在实际使用时，也可以是周期性地对编码结果进行反馈以用于后续图像更新内容 的编码，而非对每一次编码的编码结果均进行反馈和预测。上述步骤S310中反馈的编码结果，包括上一次编码所使用的编解码速度、压缩比 及网络带宽等信息中的至少一种；而步骤S350中反馈的该编码结果，包括本次编码所使用 的编解码速度、压缩比及网络带宽等信息中的至少一种。 现有技术中的远程显示系统支持多种静态图像编码方法，它们具有不同的编解码 速度和压缩比等特性，因此对于相同的图像和网络条件会产生不同的端到端延迟，上述步 骤S330中图像编码方法的选择阶段就是根据步骤S310中的预测结果(获得的当前静态图 像编码特性及当前网络环境)从多种编码方法中选择适合当前图像特性和网络环境等当 前编码条件的优选编码方法。相比于现有技术中确定一种固定的编码方法用于进行图像更新的编码，本发明从 若干编码方法中选择一个适于当前编码条件的较优的编码方法进行图像更新内容的编码， 并且可以在运行过程中实现集中编码方法的动态切换，有效克服了现有技术难以有效平衡 编码条件对图像编码的影响的技术缺陷，提高了系统的显示性能，并减小网络带宽。图4为本发明系统实施例的组成示意图。结合图3所示的方法实施例，图4所示 的系统实施例主要包括图像更新模块410、预测模块420，选择模块430，编码模块440，输出 模块450以及反馈模块460，其中图像更新模块410，用于获取待更新的图像更新内容；预测模块420，用于根据反馈的编码结果预测获得当前静态图像编码特性及当前 网络环境等当前编码条件；选择模块430，与该预测模块420相连，用于根据该当前静态图像编码特性及当前 网络环境等当前编码条件，从若干编码方法中为待更新的图像更新内容选择一种适于当前 编码条件的的优选编码方法；编码模块440，与该图像更新模块410及选择模块430相连，用于在图像更新内容 无法用绘图原语表达时，根据该选择模块430所选择的该优选编码方法对该图像更新内容 进行编码，获得编码结果；输出模块450，与该编码模块440相连，用于输出该编码结果；反馈模块460，与该预测模块420及编码模块440相连，用于将该编码结果反馈给 该预测模块420用于进行后续编码的预测。其中的选择模块430选择具体的编码方法时，可以从现有技术中多种编码方法中 进行选择。而且，对于部分可以采用不同编码参数进行静态图像编码的同一编码方法，本发 明将其当作不同的编码方法。该选择模块430用于在满足系统端到端延迟的情况下，为所述图像更新内容选择 压缩比最大的编码方法作为该优选编码方法。该编码模块440用于获得包括编解码速度、压缩比及网络带宽中的一种或几种的 组合的该编码结果。本发明的技术方案支持多种静态图像编码技术，该些静态图像编码技术具有不同 的编解码速度和压缩比等特性，因此对于相同的图像和网络环境会产生不同的端到端延 迟，图像编码的选择过程就是根据性能预测的结果从多种编码中选择适合当前图像特性和网络环境的编码方法，并进行编码。本发明技术方案利用历史编码前的信息预测当前静态图像编码特性及当前网络 环境等编码条件，并根据预测结果选择合适的编码方法并用于到当前的图像更新内容的编 码当中，反馈编码结果以用于后续的预测。本发明技术方案的一个实施例能够让远程显示 系统的编码方法随图像更新特性及网络环境灵活地进行切换，开销小且性能预测不依赖于 具体的编码方法，提高远程显示系统的显示性能，并减小网络带宽的消耗，节约了系统资 源。本发明技术方案以现有的远程显示系统为基础，但不受限于其中的某一种，而且 本发明技术方案所使用的多种静态图像编码方法也不受限于某一种或几种。本发明技术方 案对图像更新的编解码速度、压缩比和网络环境等其中至少一种进行预测，结合了编码、传 输和解码等过程，良好地实现了端到端的延迟预测。
本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算 装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络 上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储 装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多 个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和 软件结合。虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采 用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本 发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化， 但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
权利要求
一种远程显示系统的静态图像编码方法，其特征在于，包括根据反馈的编码结果预测获得当前编码条件；根据该当前编码条件为待更新的图像更新内容选择一种优选编码方法；根据该优选编码方法对所述图像更新内容进行编码，获得编码结果并反馈。
2.根据权利要求1所述的方法，其特征在于该编码结果包括编解码速度、压缩比及网络带宽中的一种或几种的组合。
3.根据权利要求2所述的方法，其特征在于在满足系统端到端延迟的情况下，为所述图像更新内容选择压缩比最大的编码方法作 为该优选编码方法。
4.根据权利要求1所述的方法，其特征在于所述当前编码条件包括当前静态图像编码特性及当前网络环境。
5.一种远程显示系统的静态图像编码系统，包括图像更新模块及编码模块，其特征在 于，还包括预测模块、选择模块及反馈模块，其中该预测模块，用于根据反馈的编码结果预测获得当前编码条件； 该选择模块，用于根据该当前编码条件为该图像更新模块待更新的图像更新内容选择 一种优选编码方法；该编码模块，用于根据该优选编码方法对所述图像更新内容进行编码，获得编码结果；该反馈模块，用于反馈该编码模块所获得的编码结果。
6.根据权利要求5所述的系统，其特征在于该预测模块用于获得包括当前静态图像编码特性及当前网络环境的该当前编码条件。
7.根据权利要求6所述的系统，其特征在于该选择模块用于在满足系统端到端延迟的情况下，为所述图像更新内容选择压缩比最 大的编码方法作为该优选编码方法。
8.根据权利要求5所述的系统，其特征在于该编码模块用于获得包括编解码速度、压缩比及网络带宽中的一种或几种的组合的该 编码结果。
全文摘要
本发明公开了一种远程显示系统的静态图像编码方法及系统，以克服现有技术难以有效平衡编码条件对图像编码的影响，其中该系统包括图像更新模块及编码模块，还包括预测模块、选择模块及反馈模块，其中该预测模块，用于根据反馈的编码结果预测获得当前编码条件；该选择模块，用于根据该当前编码条件为该图像更新模块待更新的图像更新内容选择一种优选编码方法；该编码模块，用于根据该优选编码方法对所述图像更新内容进行编码，获得编码结果；该反馈模块，用于反馈该编码模块所获得的编码结果。本发明有效克服了现有技术难以有效平衡编码条件对图像编码的影响的技术缺陷。
文档编号H04N7/26GK101883281SQ20101020117
公开日2010年11月10日 申请日期2010年6月13日 优先权日2010年6月13日
发明者张杨, 程旭, 管雪涛 申请人:北京北大众志微系统科技有限责任公司