屏幕映射以及用于屏幕内容编码的基于标准的渐进式编解码器的制造方法
【专利说明】屏幕映射以及用于屏幕内容编码的基于标准的渐进式编解 码器
[0001] Μ?
[0002] 屏幕内容，或由计算系统在显示器上向用户显示的描述信息的数据，通常包括多 个不同类型的内容。这些内容可包括，例如，文本内容、视频内容、静态图像（例如，窗口或 其它GUI元素的显示）、以及幻灯片或其它呈现素材。屏幕内容被越来越多地远程递送，例 如使得两个或多个远程计算系统可共享公共的显示从而允许两个位于远程的个体同时查 看相同屏幕，或另外地在电话会议中递送使得屏幕在多个个体之间共享。由于屏幕内容被 远程递送，并且归因于渐增的屏幕分辨率，希望将此内容压缩到低于其本身位图尺寸的大 小、以节省带宽并增强传输效率。
[0003] 虽然存在针对图形数据（诸如屏幕内容）的多种压缩解决方案，这些压缩解决方 案不足以用于可变屏幕内容。例如，传统的运动图片专家组（MPEG)编解码器因压缩解决方 案依赖于顺序帧之间的差异而提供针对视频内容的令人满意的压缩。此外，许多设备具有 集成的可高效解码这样编码的数据的MPEG解码器。然而，MPEG编码不提供针对非视频内 容（尽管如此其可随时间变化）的大量的数据压缩，并因此未被典型地用于屏幕内容，尤其 是针对远程屏幕显示。
[0004] 用于将屏幕内容递送到远程系统的各方法可能是效率低的，可能需要大量数据通 信，并且可能是资源密集的。因此，用于压缩并高效地表示供结合远程系统使用的屏幕内容 (包括图形内容）的各策略，需要在接收设备上发生大量的处理，这使用大量功率。
[0005] 施述
[0006] 概括而言，本发明涉及屏幕映射以及用于屏幕内容编码的基于标准的渐进式编解 码器。该屏幕映射和基于标准的渐进式编解码器允许各种类型的屏幕内容的高效分类，例 如，供分发到远程设备。该基于标准的渐进式编解码器将遵循标准的代码流递送到接收设 备，并因此允许那个远程设备利用包括在接收设备中的典型解码硬件。基于标准的渐进式 编解码器的使用允许将屏幕内容的解码从接收设备的主中央处理单元（CPU)卸载。
[0007] 在本发明的一个示例方面，揭示了向客户端设备递送屏幕内容的方法。该方法包 括，对于在特定时间对应于包括在屏幕中的各屏幕区域的多个编码单元的每一个编码单 元，将包括在编码单元中的屏幕内容分类为具有选自多个内容类型的一个内容类型，至少 一个内容类型包括屏幕图像类型，并基于对屏幕内容具有屏幕图像类型的确定，将基于标 准的渐进式编码应用于那个编码单元的屏幕内容。该方法还包括，将针对屏幕区域的每一 个屏幕区域的经编码的屏幕内容发送到客户端设备。
[0008] 在第二个方面，一个系统包括分类组件，该分类组件在计算系统上执行并被配置 来将多个编码单元的每一个编码单元的屏幕内容分类为具有选自多个内容类型中的一个 内容类型，至少一个内容类型包括屏幕图像类型。该系统还包括在计算系统上执行的一个 或多个编码模块，该一个或多个编码模块被配置来基于内容类型将编码应用于编码单元的 屏幕内容。该一个或多个编码模块被配置来将基于标准的渐进式编码应用于与具有该屏幕 图像类型的编码单元相关联的屏幕内容。
[0009] 在第三方面，揭示了其上存储有计算机可执行指令的计算机存储介质，所述指令 在被执行时致使计算系统执行将屏幕内容递送到客户端设备的方法。该方法包括，对于在 特定时间对应于包括在屏幕中的各屏幕区域的多个编码单元的每一个编码单元，将包括在 编码单元中的屏幕内容分类为具有选自多个内容类型的一个内容类型，多个内容类型包括 屏幕图像类型、视频类型、以及文本类型，并基于对屏幕内容具有屏幕图像类型的确定，将 基于标准的渐进式编码应用于那个编码单元的屏幕内容。对于多个编码单元的每一个编码 单元，该方法还包括，基于对屏幕内容具有视频类型的确定，将基于标准的编码应用于那个 编码单元的屏幕内容，以及基于对屏幕内容具有文本类型的确定，将文本编解码器应用于 那个编码单元的屏幕内容。该方法还包括生成包括元数据的屏幕映射，该元数据与多个编 码单元的每一个编码单元相关联，该元数据包括一个或多个质量标志、幻灯片标志、特殊效 果标志、运动标志、空间跳过标志、和时间跳过标志。该方法进一步包括，将针对屏幕区域的 每一个屏幕区域的经编码的屏幕内容发送到客户端设备。
[0010] 本概述被提供以便以简化形式介绍概念的选集，所述概念将在以下详细描述中进 一步描述。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用 于限定所要求保护的主题的范围。
[0011] 附图简沐
[0012] 图1示出了系统的示例示意安排，其中远程屏幕分发可使用屏幕映射和可用于屏 幕内容编码的基于标准的渐进式编解码器来执行；
[0013] 图2示出根据一示例实施例的用于以比特流的形式向远程设备递送经压缩的屏 幕内容的方法的流程图；
[0014] 图3是用于将屏幕内容递送到远程设备的系统的逻辑框图，其包括远程桌面协议 管道及相关联的基于标准的渐进式编码安排；
[0015] 图4是示出通过如图3所示的系统的屏幕内容的行进的逻辑数据流图；
[0016] 图5示出根据一示例实施例的用于生成屏幕映射的过程的流程图，屏幕映射可用 于在编码屏幕内容及向远程设备递送经压缩的比特流中进行辅助；
[0017] 图6A是可用于定义形成屏幕映射的一部分的编码单元的特性的元数据的示例集 合；
[0018] 图6B是可用于定义编码单元的屏幕内容的移动的元数据的示例附加集合；
[0019] 图7是示出根据一示例实施例的基于标准的渐进式编码器及相关联屏幕映射的 操作的流程图；
[0020] 图8是示出根据一示例实施例的屏幕映射处理组件的操作的流程图；
[0021] 图9是可用于在此所述的各方法和系统内的示例空间跳过处理器的框图；
[0022] 图10是可用于在此所述的各方法和系统内的示例时间跳过处理器的框图；
[0023] 图11是在此处所描述的各方法和系统内可用的示例的运动处理器的框图；
[0024] 图12是示出可用来实施本发明的各实施例的计算设备的示例物理组件的框图；
[0025] 图13A和13B是可用来实施本发明的各实施例的移动计算设备的简化框图；以及
[0026] 图14是可在其中实施本发明的各实施例的分布式计算系统的简化框图。
[0027] 详细描沐
[0028] 如上文所简述的，本发明的实施例涉及可用于提供屏幕映射和用于屏幕内容编码 的基于标准的渐进式编解码器的方法、系统、和计算机可读介质。该屏幕映射和基于标准的 渐进式编解码器允许各种类型的屏幕内容的高效分类，例如，供分发到远程设备。
[0029] 为解决在远程屏幕显示系统中的某些限制，华盛顿州雷蒙德市的微软公司开发了 远程桌面协议（RDP)。在这个协议中，屏幕帧被分析，其中不同的内容被不同地分类。例如， 文本数据使用文本编解码器来标识和编码，而图像数据使用专用渐进式编解码器。渐进式 编解码器和文本编解码器提供相比于MPEG编解码器更大的压缩增益，从而允许改善的屏 幕内容传输。这允许物理远离的计算系统的用户之间的无滞后交互，而该滞后原本在MPEG 编码的基于视频的内容被缓存供显示时要经历。
[0030] 尽管以上描述的远程桌面协议安排改善了屏幕内容的压缩和传输特性，它也有缺 点。具体而言，通常接收使用远程桌面协议编码后的屏幕内容的计算设备一般需要接收设 备的主可编程电路（例如，主中央处理单元，或CPU)解码使用文本编解码器和渐进式编解 码器编码后的内容。这相对于文本编解码器而言不是显著性能问题，文本编解码器是提供 充分压缩且可被快速解码而无需大量功耗的无损编解码器；然而，渐进式编解码器需要在 接收设备上进行大量处理，这使用大量功率。此外，由于典型的接收设备（例如，膝上型计 算机、平板、或智能设备）不包括用于渐进式编解码器的专用硬件解码器，这一计算复杂性 不能从接收设备的主可编程电路上容易地卸载。
[0031] 如以下结合本发明的一些实施例进一步讨论的，屏幕映射允许在特定时间将屏幕 的不同区域（称为编码单元）分类为包含不同类型的内容。内容类型可被用于定义那个编 码单元中包括的屏幕内容的编码。并发地，基于标准的渐进式编解码器将遵循标准的代码 流递送到接收设备，并因此允许那个远程设备利用包括在接收设备中的典型解码硬件。基 于标准的渐进式编解码器的使用允许将屏幕内容解码从接收设备的主中央处理单元（CPU) 卸载并改善渐进式编码后的屏幕内容的压缩比率。除了其它益处之外，这改善了接收设备 的功率使用。
[0032] 图1示出了系统100的示例示意安排，其中远程屏幕分发可使用屏幕映射和可用 于屏幕内容编码的基于标准的渐进式编解码器来执行。如所示，系统1〇〇包括计算设备 102,其包括诸如CPU的可编程电路104。计算设备102还包括配置用于存储可以由可编程 电路104执行的计算指令的存储器106。适合用作计算设备102的计算系统的示例类型以 下结合图12 - 14讨论。
[0033] 通常，存储器106包括远程桌面服务器组件108和视频编码器110。远程桌面服务 器组件108通常被配置来将呈现在计算设备102的本地显示器112上的屏幕内容复制到远 程计算设备（被示为远程设备120)上。在某些实施例中，远程桌面服务器组件108生成与 华盛顿州雷蒙德市的微软公司定义的远程桌面协议（RDP)兼容的内容。
[0034] 视频编码器110可被配置来将任何数量的不同编码方案或编解码器应用于内容， 使得内容被压缩供传输到