通用屏幕内容编解码器的制造方法
【专利说明】通用屏幕内容编解码器
[0001 ] 背景
[0002] 屏幕内容，或由计算系统在显示器上向用户显示的描述信息的数据，通常包括多 个不同类型的内容。这些内容可包括，例如，文本内容、视频内容、静态图像(例如，窗口或其 它⑶I元素的显示）、以及幻灯片或其它呈现素材。屏幕内容被越来越多地远程递送，例如使 得两个或多个远程计算系统可共享公共的显示从而允许两个位于远程的个体同时查看相 同屏幕，或另外地在电话会议中递送使得屏幕在多个个体之间共享。由于屏幕内容被远程 递送，并且归因于渐增的屏幕分辨率，希望将此内容压缩到低于其本身位图尺寸的大小、以 节省带宽并增强传输效率。
[0003] 虽然存在针对图形数据(诸如屏幕内容）的多种压缩解决方案，这些压缩解决方案 不足以用于可变屏幕内容。例如，传统的运动图片专家组(MPEG)编解码器因压缩解决方案 依赖于顺序帧之间的差异而提供针对视频内容的令人满意的压缩。此外，许多设备具有集 成的可高效解码这样编码的数据的MPEG解码器。然而，MPEG编码不提供针对非视频内容(尽 管如此其可随时间变化)的大量的数据压缩，并因此未被典型地用于屏幕内容，尤其是针对 远程屏幕显示。
[0004] 为了解决以上的问题，编解码器的混合可被用于图形数据的远程递送。例如，文本 数据可使用无损编解码器，而针对屏幕背景数据或视频数据，压缩该数据的有损编解码器 (例如，MPEG-4AVC/264)可被使用。此外，在一些情况下，可在渐进的基础上执行有损压缩。 然而，这种对混合编解码器的使用产生了问题。首先，由于一个以上的编解码器被用于编码 图形数据，因此在接收该图形数据的远程计算系统处也使用多个不同的编解码器。具体而 言，当远程计算系统是瘦客户端设备时，不太可能本地硬件支持所有这样的编解码器。因 此，在通用处理器上的软件解码被执行，其是计算资源密集的并使用大量功率消耗。此外， 由于在屏幕图像的不同区域中使用具有不同处理技术和有损水平的不同编解码器，图形残 余或伪像可在低带宽情况中出现。
[0005] 概述
[0006] 概括来说，本申请涉及被用于屏幕内容的通用编解码器。具体而言，本申请一般涉 及用于处理屏幕内容的方法和系统，该屏幕内容诸如包括多个不同类型的屏幕内容的各屏 幕帧。这样的屏幕内容可包括文本、视频、图像、特殊效果或其它类型的内容。通用编码可符 合基于标准的编解码器，从而允许计算系统接收经编码的屏幕内容以使用被普遍地合并到 这样的计算系统内的专用处理单元来解码该内容，并避免消耗功率的软件解码过程。
[0007]在第一方面，一方法包括接收包括多个屏幕帧的屏幕内容，其中各屏幕帧中的至 少一个屏幕帧包括多个类型的屏幕内容。该方法还包括使用单个编解码器来编码各屏幕帧 中包括该多个类型的屏幕内容的该至少一个屏幕帧，以生成符合基于标准的编解码器的经 编码的比特流。
[0008]在第二方面，一系统包括计算系统，该计算系统具有可编程电路和包含计算机可 执行指令的存储器。计算机可执行指令在被执行时，致使计算系统向编码器提供多个屏幕 帧，其中各屏幕帧的至少一个屏幕帧包括多个类型的屏幕内容。它们还致使计算系统使用 单个编解码器来编码各屏幕帧的包括该多个类型的屏幕内容的至少一个屏幕帧，以生成符 合基于标准的编解码器的经编码的比特流。
[0009] 在第三方面，揭示了包括存储于其上的计算机可执行指令的计算机可读存储介 质。当被计算系统执行时，计算机可执行指令致使计算系统执行包括接收包括多个屏幕帧 的屏幕内容的方法，其中屏幕帧的至少一个屏幕帧包括文本内容、视频内容和图像内容。该 方法还包括使用单个编解码器来编码各屏幕帧的包括该文本内容、视频内容和图像内容的 该至少一个屏幕帧，以生成符合基于标准的编解码器的经编码的比特流。
[0010] 提供本
【发明内容】
以便以简化的形式介绍将在以下的【具体实施方式】中进一步描述 的一些概念。本
【发明内容】
并不旨在标识出所要求保护的主题的关键特征或必要特征，也不 旨在用于限定所要求保护的主题的范围。
[0011] 附图简述
[0012] 图1示出系统的示例说明性安排，其中在计算系统处从远程源接收到的图形数据 被处理；
[0013] 图2示出利用多个编解码器的示例远程桌面协议流水线安排；
[0014] 图3示出根据本发明的一示例实施例的利用通用屏幕内容编解码器的示例远程桌 面协议流水线安排；
[0015] 图4是图3的安排内的数据流的逻辑图；
[0016] 图5是根据一示例实施例的被执行来实现通用屏幕内容编解码器的示例过程集的 流程图；
[0017] 图6是根据一示例实施例的通用屏幕内容编解码器的实现的详细体系架构图；
[0018] 图7示出根据一示例实施例的被用于视频内容编码器中的示例数据流；
[0019] 图8示出根据一示例实施例的被用于图像内容编码器中的示例数据流；
[0020] 图9示出根据一示例实施例的被用于特殊效果内容编码器中的示例数据流；
[0021] 图10示出根据一示例实施例的被用于文本内容编码器中的示例数据流；
[0022] 图11示出根据一示例实施例的如图7中示出的视频内容编码器的运动估计组件内 的示例数据流；
[0023]图12是根据一示例实施例的被用于图11的视频运动估计组件中的方形运动搜索 的逻辑图；
[0024] 图13是根据一示例实施例的被用于图11的视频运动估计组件中的菱形运动搜索 的逻辑图；
[0025] 图14是根据一示例实施例的被用于图10的文本运动估计组件中的逆六边形运动 搜索的逻辑图；
[0026] 图15示出运动向量平滑滤波器的示例体系架构，诸如分别被合并到图9和10的特 殊效果内容编码器和文本内容编码器中；
[0027] 图16示出根据一示例实施例的图8的图像内容编码器中所包括的运动估计组件的 示例体系架构；
[0028] 图17是根据一示例实施例的被用于图16的运动估计组件中的方形运动搜索的逻 辑图；
[0029] 图18是示出可用来实施本发明的各实施例的计算设备的示例物理组件的框图；
[0030]图19A和19B是可用来实施本发明的各实施例的移动计算设备的简化框图；以及 [0031]图20是可用来实施本发明的各实施例的分布式计算系统的简化框图。
[0032] 详细描述
[0033] 如以上简单描述的，本发明的各实施例涉及被用于屏幕内容的通用编解码器。具 体而言，本申请一般涉及用于处理屏幕内容的方法和系统，该屏幕内容诸如包括多个不同 类型的屏幕内容的屏幕帧。这样的屏幕内容可包括文本、视频、图像、特殊效果或其它类型 的内容。通用编解码器可符合基于标准的编解码器，从而允许计算系统接收经编码的屏幕 内容以使用被普遍地合并到这样的计算系统内的专用处理单元来解码该内容，并避免消耗 功率的软件解码过程。
[0034] 为解决在远程屏幕显示系统中的某些限制，华盛顿州雷蒙德市的微软公司开发了 远程桌面协议(RDP)。在这个协议中，屏幕帧被分析，其中不同的内容被不同地分类。当RDP 被使用时，基于要被压缩且被传送到远程系统以供后续重构和显示的屏幕内容的类型，可 应用混合的编解码器集合。例如，屏幕的文本部分可使用无损编解码器，而图像和背景数据 使用用于逐渐地改善屏幕质量的渐进编解码器。屏幕内容的视频部分使用基于标准的视频 编解码器(诸如MPEG-4AVC/264)来编码;这样的基于标准的编解码器传统上被限制为编码 视频内容或其它单一类型的内容。因此，使用多个编解码器的集合允许RDP不同地处理每种 内容类型，从而维护不大可能快速改变的内容的质量，同时允许对更动态、改变的内容(例 如，视频）的较低质量。然而，这种编解码器的混合集合通过要求进行编码、进行传送的计算 系统以及进行接收、进行解码的计算系统两者均与所有使用的编解码器兼容而导致在编码 器和解码器两者处的计算复杂度。此外，编解码器的混合通常导致屏幕内容中的视觉伪像， 尤其在低带宽情况期间。
[0035]在一些实施例中，并且与现有的RDP方案相反，本发明的通用编解码器被构造成使 得其输出比特流符合特定的基于标准的编解码器，诸如基于MPEG的编解码器。因此，可使用 单个编解码器，其中编码针对要被传送的特定类型的内容被定制，而不是通常在其中多个 内容类型被传送的情况那样使用多个编解码器。这避免了在使用不同的编解码器编码的区 域之间的边界处可发生的屏幕图像质量上的可能的不一致性。接收该比特流的计算系统可 使用常用的硬件解码器来解码接收到的比特流。此外，由于无损编解码器和有损编解码器 之间不同的特性，针对混合编解码器控制比特率是困难的。这避免了在该进行接收的计算 机的通用处理器中解码比特流，并因而降低进行接收的计算机的功率消耗。
[0036] 在本发明的一些实施例中，使用帧预分析模块来实现通用编解码器，该帧预分析 模块包括运动估计或启发式直方图处理来获得特定区域的特性。分类器可确定某帧的每个 特定区域中内容的类型并将内容类型隔离成不同的宏块。这些宏块可基于内容的类型使用 不同的参数和质量来被编码，并可（例如，使用不同的运动估计技术)被不同地处理。然而， 每个类型的内容被一般地编码，使得所得到的结果被提供为与基于标准的编解码器兼容的 比特流。这样的基于标准的编解码器的一个示例可以是MPEG-4AVC/264;然而，也可使用其 它编解码器，诸如ffiVC/H. 265。
[0037] 图1示出系统100的示例说明性安排，其中远程屏幕内容分布可被执行并且其中通 用编解码器可被实现。如所示，系统1〇〇包括计算设备102,其包括诸如CHJ的可编程电路 104。计算设备102还包括配置用于存储可以由可编程电路104执行的计算指令的