增强的无线显示的制作方法

增强的无线显示的制作方法
【专利摘要】一种设备源提供将图形显示分解为多个数据流(即，不同的层)的能力。所述多个数据流可以包括多媒体数据流、操作系统(OS)桌面数据流和鼠标数据流。所述多个数据流被所述设备源独立地进行编码并传输至无线显示设备。
【专利说明】增强的无线显示

【背景技术】
[0001] 无线显示（WiDi)技术是使得能够从诸如个人计算机（PC)这样的设备到另一个设 备（例如，无线显示单元）进行内容共享的视频技术的一个示例。来自所述设备的内容可 以通过无线信道传输到所述无线显示单元，例如，电视（TV)、另一台PC显示器/屏幕或者其 它支持WiDi的设备。在一个实施方式中，来自所述设备的整个桌面被捕获并连续传送到所 述无线显示单元。在提供连续的帧缓冲器给所述显示单元的系统中，当整个桌面是静态时 可能发生数据传输的冗余。换句话说，连续的编码流可能会带来高的网络利用率，即使当整 个桌面没有改变时。
[0002] 当显示操作系统（0S)桌面图形时，在传输过程中，基于流的有损编码机制可能带 来对于用户来说是可见的噪声伪像并且会提供差的用户体验。为此，远程显示操作系统 (0S)桌面图形以便为用户提供更好的视觉和交互体验的WiDi能力可以被进一步增强。所 述增强可以减少网络开销，并优化网络状况。

【专利附图】

【附图说明】
[0003] 参照附图描述详细说明。在附图中，附图标记最左边的数字（或多位数字）标识 该附图标记首次出现在其中的那幅图。相同的数字用于贯穿整个附图来标注相同的特征和 部件。
[0004] 图1是示出实施具有多个数据流编码的增强的无线显示（WiDi)的示例性系统的 示意图。
[0005] 图2是示出实施具有多个数据流编码的增强的无线显示（WiDi)的示例性设备源 的示意图。
[0006] 图3是示出接收多个数据流的示例性显示设备的示意图。
[0007] 图4是示出了实现将图形显示分解成多个数据流的更新单元设备的示意图。
[0008] 图5是示出包括用于增强的无线显示（WiDi)的不同层的图形显示的示意图。
[0009] 图6是示出用于使用基于并行图形处理单元（GPU)的算法的增强的无线显示 (WiDi)的示例性方法的流程图。

【具体实施方式】
[0010] 概述
[0011] 设备源中的基于软件的实施，提供了将图形显示分解成多个数据流（即，不同的 层）的能力。所述多个数据流可以包括多媒体数据流、操作系统（0S)桌面数据流和鼠标 (指向设备）数据流。所述多个数据流可被所述设备源独立地进行编码和传输。类似地，显 示设备独立地解码所接收到的多个数据流。此外，关于图像变化（例如，0S桌面背景）的 更新可以被限制为基于检测到的有修改的单元来传输更新。例如，帧可被划分成k个包括 NXM个像素的单元。在该示例中，可以通过使用基于并行图形处理单元（GPU)的算法比较 两个连续帧的单元来检测有修改的单元。所检测到的有修改的单元可被发送并合并到该显 示设备的当前缓冲帧。由此，获得网络优化。
[0012] 在下面的详细描述中，对许多具体细节进行了阐述，以提供对本发明的彻底理解。 然而，本领域的普通技术人员应当理解，可以无需这些具体细节而实施本发明。在其它实例 中，众所周知的方法、过程、部件和电路未被详细描述，以便不混淆本发明。
[0013] 下面的详细描述中的一些部分是按照针对在计算机存储器内的数据比特或二进 制数字信号的操作的符号表示和算法来呈现的。这些算法描述和表示可以是数据处理领域 的技术人员向本领域其他技术人员传达他们的工作要旨时所使用的技术。
[0014] 除非特别声明，否则如从以下讨论中所显而易见的，应该理解，在整个说明书讨论 中使用的术语例如"处理"、"计算"、"推算"、"确定"等，指的是计算机或计算系统或类似的电 子计算设备的动作和/或处理，其将在计算机系统的寄存器和/或存储器中表示为物理的 (例如电子的）量的数据处理和/或转换成在计算机系统的存储器、寄存器或其它类似信息 存储装置、或其它传输设备中的类似地表示为物理量的其它数据。术语"一"或"一个"，如 本文使用的，被定义为一个或多于一个。术语多个，如本文所使用的，被定义为两个或多于 两个。术语另一个，如本文所使用的，被定义为至少第二个或更多。术语包含和/或具有， 如本文使用的，被定义为、但不限于包括。术语耦合，如本文所使用的，定义为以任何期望的 形式可操作地连接，例如，机械地、电子地、数字地、直接地、通过软件、通过硬件等。
[0015] 一些实施例可以结合各种设备和系统一起使用，例如，视频设备、音频设备、音 频-视频（A/ν)设备、机顶盒（STB)、蓝光光盘（BD)播放器、BD录像机、数字视频光盘（DVD) 播放器、高清（HD) DVD播放器、DVD录像机、HD DVD录像机、个人视频录像机（PVR)、广播HD 接收机、视频源、音频源、视频宿、音频宿、立体声调谐器、广播无线电接收器、显示器、平板 显示器、个人媒体播放器（PMP)、数字摄像机（DVC)、数字音频播放器、扬声器、音频接收机、 音频放大器、数据源、数据宿、数字静态相机（DSC)、个人计算机（PC)、台式计算机、移动计 算机、膝上型计算机、笔记本计算机、平板计算机、服务器计算机，、手持计算机、手持设备、 个人数字助理（PDA)设备、手持PDA设备、机载设备、非机载设备、混合设备、车用设备、非车 用设备、移动或便携式设备、消费者设备、非移动或非便携式设备、无线通信站、无线通信设 备、无线接入点、有线或无线路由器、有线或无线调制解调器、有线或无线网络、无线区域网 络、无线视频区域网络（WVAN)、局域网（LAN)、WLAN、PAN、WPAN、根据现有无线HDTM和/或 无线千兆联盟（WGA)的规范和/或未来版本和/或其衍生物进行操作的设备和/或网络、 根据现有的IEEE 802. 11 (IEEE802. 11-2007 :无线LAN介质访问控制（MAC)和物理层（PHY) 规范）的标准和修订、802. 1 lad ("IEEE 802. 11标准")、IEEE 802. 16标准和/或将来的版 本和/或其衍生物进行操作的设备和/或网络、作为上述网络中的部分的单元和/或设备、 单向和/或双向无线电通信系统、蜂窝无线电-电话通信系统、无线-显示（WiDi)设备、蜂 窝电话、无线电话、个人通信系统（PCS)设备、结合了无线通信设备的PDA设备、移动或便携 式全球定位系统（GPS)设备、结合了 GPS接收机或收发机或芯片的设备、包括RFID元件或 芯片的设备、多输入多输出（ΜΙΜΟ)收发机或设备、单输入多输出（SIM0)收发机或设备、多 输入单输出（MIS0)收发机或设备、具有一个或多个内部天线和/或外部天线的设备、数字 视频广播（DVB)设备或系统、多标准无线电设备或系统、有线或无线手持设备、无线应用协 议（ΜΡ)设备等。
[0016] 一些实施例可以结合一种或多种类型的无线通信信号和/或系统（例如，射频 (RF)、Wi-Fi、Wi-Max、超宽带（UWB)等）来使用。其它实施例可用于各种其它设备、系统和 /或网络。
[0017] 一些实施例可以结合合适的有限范围或短程无线通信网络（例如，"微微网"，例 如，无线区域网络、WVAN、WPAN等）来使用。
[0018] 示例性系统
[0019] 图1示出了用于实现使用多个数据流来表示图形显示的增强的无线显示（WiDi) 的示例性系统环境100的系统层面的概述。在一个实施方式中，图形显示被分解成不同的 层，例如，多媒体数据流（例如，视频和音频）、操作系统（0S)桌面数据流（例如，桌面背景） 和鼠标（指向设备）数据流。图形显示可以使用WiDi适配器106从设备源102传输到显 示设备104。在一个实施方式中，设备源102可包括各种设备，如笔记本计算机、平板计算 机、智能电话等。此外，如上面所讨论的，该设备源102被理解为包括其它设备。
[0020] 设备源102可包括基于软件的实现，以增强WiDi数据传输。例如，设备源102可 被配置为独立地编码和传输图形显示中的不同层。在这个示例中，设备源102可以独立地 传输多媒体数据流、操作系统（0S)桌面数据流和鼠标（指向设备）数据流。在一个实施方 式中，终端用户可以选择所述不同层的哪一个或多个组合要显示在显示设备104上。WiDi 适配器106可以接收所选择的层。另外，WiDi适配器106可以将更新合并到显示设备104 中的当前显示。所述更新可以包括在设备源102处的图像变化，其需要被传输到显示设备 104处。WiDi适配器106可以通过一个或多个无线信道108接收所发送的不同层（即，多 个数据流）。所述一个或多个无线信道108可包括在一个或多个IEEE标准下所定义的调 制。在一个实施方式中，显示设备104,例如HD电视（HDTV)可以通过连接110(例如高清晰 度多媒体输入（HDMI)连接）来连接到WiDi适配器106。在其它实施方式中，支持WiDi技 术的设备，例如HDTV单元或其它显示设备，可以直接包含WiDi技术。换句话说，所述WiDi 适配器106可以被直接集成到显示设备104。
[0021] 示例性设备
[0022] 图2是通过独立地将图形显示中的多个数据流进行编码和传输来实现增强的 WiDi的示例性设备源102。设备源102包括一个或多个处理器，处理器200。处理器200 可以是单个处理单元或多个处理单元，所有这些都可以包括单个或多个计算单元或多个内 核。处理器200可以被实现为一个或多个微处理器、微型计算机、微控制器、数字信号处理 器、中央处理单元、状态机、逻辑电路和/或基于操作指令来处理信号的任何设备。除了其 他功能以外，处理器200可以被配置为取得并执行存储在存储器202或其它计算机可读存 储介质中的计算机可读指令或处理器可访问指令。
[0023] 存储器202是计算机可读存储介质的一个示例，该计算机可读存储介质用于存储 由处理器200执行以实现本文所述的各种功能的指令。例如，存储器202通常可包括易失 性存储器和非易失性存储器（例如，RAM、ROM等）。在本文中，存储器202可以被称作存储 器或计算机可读存储介质。存储器202能够存储计算机可读的、处理器可执行的程序指令 作为计算机程序代码，该计算机程序代码可由处理器200来执行，处理器200是作为被配置 为用于执行在本文的实施方式中所描述的操作和功能的特定机器。
[0024] 存储器202可以包括一个或多个操作系统204,并且可以存储一个或多个应用程 序206。操作系统204可以是针对个人计算机、音频视频设备等所实施的各种已知的和未来 的操作系统其中之一。应用程序206可以包括预先配置/安装的和可下载的应用程序。此 夕卜，存储器202可以包括数据208来存储已安装的和下载的应用程序。存储器202包括显 示数据210,其可以包括可视显示单元以示出由所述多个数据流所定义的图像表示（即，图 形显示）。所述多个数据流可以包括可以由更新单元212独立地进行处理的不同的层。在 一个实施方式中，更新单元212可执行基于并行GPU的算法来检测连续帧之间的有修改的 单元。此外，该更新单元可以将图形显示分解成多个数据流。
[0025] 在一个实施方式中，可以使用为所述多个数据流采用不同的传输技术的WiDi多 流编码器214来发送所述多个数据流。例如，多媒体数据流可以使用H264标准的编码器， 并采用不间断串流的方式。另一方面，操作系统（0S)桌面应用程序和鼠标（指向设备）数 据流可以根据需要来进行发送。换句话说，所述多个数据流被分别对待，例如，具有不同级 别的服务质量（Q0S)，从而最大限度地提高整体的用户体验，同时优化系统和网络性能。在 其它实施方式中，所述多个数据流的处理（例如，分解）独立于在设备源102处的操作系统 (0S)桌面管理器。
[0026] 在一个实施方式中，WiDi多流编码器214可以被配置成分别地且独立地对由更新 单元212生成的多个数据流进行编码和分组化。所编码的和分组化的多个数据流可以被发 送到一个或多个通信层216,在这里，附加信息可以被添加。所述层可以包括实时通信协议 (RTC)/传输控制协议（TCP)/用户数据报协议（UDP)和介质访问控制（MAC)层，在这些层中 附加信息（例如，头部和数据）被添加。WiFi驱动器模块218可以从通信层216接收所述 多个数据流。WiFi驱动器模块218可以被配置给无线电装置220。特别地，WiFi驱动器模 块218可以被配置给无线电装置220的发射机222。发射机222耦合到天线224。应当理 解的是，设备源102可包括除无线电装置220之外的其它的通信接口（未示出）。
[0027] 实施例支持软件实现。例如，更新单元212可以被实现为驻留在存储器202中的软 件应用程序。因此，可避免硬件实现，例如对无线电装置220的修改。在某些实施方式中， 更新单元212和WiDi多流编码器214驻留在同一平台上。
[0028] 本文所描述的设备源102仅仅是适合于一些实施方式的一个示例，并且其并不是 要暗示关于可以实现本文中所描述的处理、部件和特征的环境、架构和框架的使用或功能 性的范围的任何限制。
[0029] 通常，参照附图所描述的任何功能可使用软件、硬件（例如，固定逻辑电路）或这 些实现的组合来实现。程序代码可以被存储在一个或多个计算机可读存储器设备或其它计 算机可读存储设备中。因此，本文描述的处理和部件可以由计算机程序产品来实现。
[0030] 如上面所提到的，计算机存储介质包括易失性和非易失性、可移动和不可移动的 介质，其是以任意信息存储方法或技术来实现的，所述信息例如是计算机可读指令、数据结 构、程序模块或其它数据。计算机存储介质包括、但不限于：RAM、ROM、EEPR0M、闪速存储器 或其它存储器技术、CD-ROM、数字多功能盘（DVD)或其它光学存储装置、盒式磁带、磁带、磁 盘存储装置或其它磁存储设备，或可用于存储供计算设备访问的信息的任何其它介质。
[0031] 示例性的WiDi适配器/支持WiDi的设备
[0032] 图3是接收来自设备源102的所发送的多个数据流的示例性显示设备104。在一 个实施方式中，所述显示设备包括WiDi适配器106 (即，集成到显示设备104)。显示设备 104可以包括一个或多个处理器，处理器302。处理器302可以是单个处理单元或多个处理 单元，所有这些都可以包括单个或多个计算单元或多个内核。处理器302可以被实现为一 个或多个微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑 电路和/或基于操作指令来处理信号的任何设备。除了其它功能以外，处理器302可以被 配置为取得并执行存储在存储器304或其它计算机可读存储介质中的计算机可读指令或 处理器可访问指令。
[0033] 存储器304是用于存储由处理器302执行以实现本文所述的各种功能的指令的计 算机可读存储介质的示例。例如，存储器304通常可包括易失性存储器和非易失性存储器 (例如，RAM、R0M等）。存储器304在本文中可被称为存储器或计算机可读存储介质。存储 器304能够存储计算机可读的、处理器可执行的程序指令作为计算机程序代码，该计算机 程序代码可由处理器302来执行，处理器302是作为被配置为用于执行在本文的实施方式 中所描述的操作和功能的特定机器。
[0034] 存储器304可以包括一个或多个操作系统306,并且可以存储一个或多个应用程 序308。操作系统306可以是针对个人计算机、音频视频设备等所实施的各种已知的和未来 的操作系统其中之一。应用程序308可以包括预先配置的/安装的和可下载的应用程序。 此外，存储器304可以包括数据310。
[0035] 显示设备104可以包括无线电装置312。无线电装置312包括耦合到接收机316 的一个或多个天线314。从设备源102发送的已编码的和已分组化的多个数据流由接收机 316接收。接收到的多个数据流可以被传递经过各种通信层318。多流解码器320处理（解 码）所述多个数据流，并把解码后的多个数据流传送到更新单元/帧缓冲器322,以用于在 显示数据324处显示。
[0036] 本文中所描述的示例性设备300仅仅是适合于一些实施方式的一个示例，并且其 并不是要暗示关于可以实现本文中所描述的处理、部件和特征的环境、架构和框架的使用 或功能性的范围的任何限制。
[0037] 通常，参照附图所描述的任何功能可以使用软件、硬件（例如，固定逻辑电路）或 这些实施方式的组合来实现。程序代码可以被存储在一个或多个计算机可读存储器设备或 其它计算机可读存储设备中。因此，本文描述的处理和部件可以由计算机程序产品来实现。
[0038] 如上面所提到的，计算机存储介质包括易失性和非易失性、可移动和不可移动的 介质，其是以任意信息存储方法或技术来实现的，所述信息例如是计算机可读指令、数据结 构、程序模块或其它数据。计算机存储介质包括、但不限于：RAM、ROM、EEPR0M、闪速存储器 或其它存储器技术、CD-ROM、数字多功能盘（DVD)或其它光学存储装置、盒式磁带、磁带、磁 盘存储装置或其它磁存储设备，或可用于存储供计算设备访问的信息的任何其它介质。 [0039] 更新单元设备的示例
[0040] 图4示出了更新单元设备的示意图。在一个实施方式中，更新单元212可以被配 置为将在显示数据210处的图形显示分解为不同的层（S卩，多个数据流）。所述多个数据流 可以包括多媒体数据流400 (例如，视频和音频）、操作系统（0S)桌面数据流402 (例如，桌 面背景）和鼠标（指向设备）数据流404。所述多个数据流的一个或多个组合可以被发送 到显示设备104。例如，用户选择多媒体数据流400以在显示设备104进行显示。在本示例 中，操作系统（0S)桌面数据流402和鼠标（指向设备）数据流404的传输被暂停。不传输 操作系统（0S)桌面数据流402和鼠标数据流404可以优化网络负载并降低设备源102和 显示设备104的功耗。
[0041] 在另一个实例中，用户可以选择在显示设备104处与多媒体数据流400-起，添加 操作系统（0S)桌面数据流402和鼠标（指向设备）数据流404。在这种实施方式中，操作 系统（0S)桌面数据流402和鼠标（指向设备）数据流404的连续传输，尽管在显示数据 210上缺少图像变化（例如，静态的操作系统（0S)桌面），可能会带来高的网络利用率。为 此，更新单元212可以被配置为发送图像显示的局部更新或局部变化，以节省数据处理和 功耗。在一个实施方式中，定义了显示数据210中的特定的图形显示图像的帧被划分成大 小为NXM个像素的k个单元。通常情况下，存储在帧缓冲器406中的两个连续帧可以包括 局部更新或变化，所述局部更新或变化可以不包括由所述k个单元覆盖的整个区域。换句 话说，k个单元的一部分可以覆盖所述局部更新。为了确定所述局部更新，可以通过检测有 修改的特定单元，对在所述两个存储的连续帧（例如，当前帧和先前帧）之间的k个单元进 行比较。对有修改的单元的检测可以使用配置在GPU 408中的基于并行GPU的算法来实现。
[0042] 在一个实施方式中，GPU 408可包括η个内核（未示出），以执行连续帧之间的并 行比较。例如，给定η个GPU 408内核来比较有k个单元的巾贞，则比较算法的η个实例被执 行，直到所有的k个单元都进行了比较。跟踪阵列（未示出）可以由GPU 408来实现，以检 测有修改的单元。例如，每次检测到修改，该跟踪阵列被更新为比特一（1)。在其它实施方 式中，GPU408可以被配置为一旦检测到修改，则退出比较。
[0043] 在一个实施方式中，GPU 408可被配置成处理动态的NXM个像素尺寸。所述动态 的NXM个像素尺寸可以被调整，以适应特定的单个帧，从而允许更多的原子更新，并限制 损坏或丢失帧的影响。在其它的实施方式中，考虑到用户可能观看屏幕的方式，GPU 408可 以被配置为给桌面操作系统（0S)屏幕的特定区域的更新分配重要度。例如，由0S桌面数 据流400定义的特定区域可以包括桌面操作系统（0S)屏幕的中心部分。在该示例中，GPU 408可以被配置为在检测其余的区域（例如，桌面操作系统（0S)屏幕的边界）之前，首先检 测在桌面操作系统（0S)屏幕的中心部分的单元修改。
[0044] 示例性图形显示
[0045] 图5是示出了可被显示在显示设备104上的不同的层的示例性图形显示500。在 一个实施方式中，显示数据210可以被分解成三层，例如，视频400、桌面操作系统（0S)应 用程序402和鼠标（指向设备）404。如上所讨论的，用户可以选择层的一个或多个组合， 以在显示设备104处进行显示。例如，视频400可以被选择，用于在显示设备104处的视频 串流。在该示例中，视频400是被捕获（由视频捕获502)、编码（由WiDi多流编码器214) 以及由发射机222向显示设备104独立地发送的视频。在一个实施方式中，对视频400进 行的编码可以使用基于H264标准硬件的编码（例如，H264视频格式），其涵盖所有形式的 数字压缩视频，例如HDTV广播应用。在该实施方式中，当视频串流经过发射机222时，视频 400可以使用RTP作为传输协议。所要求的针对视频400的转码和Q0S可被修改、编码并间 接地呈现给桌面操作系统（0S)应用程序402显示，其独立于视频400进行串流。
[0046] 桌面操作系统（0S)应用程序402可以包含操作系统（0S)桌面数据流，其通过首 先将图形显示划分成包括NXM个像素（例如，N7XM7个像素）的栅格结构来被编码。该 NXM个像素可以根据显示内容进行动态调整。为了减少在小帧上的无线争用并最大化压 缩，N和Μ的值被选择为可被动态地调整以达到在给定的网络条件下的最佳性能。在一个 实施方式中，桌面操作系统（OS)应用程序402被按需捕获（由桌面和应用捕获504)并被 按需通过发射机222传输到显示设备104。换句话说，屏幕的有修改的指定区域可以被以给 定的可定义的Q0S和帧更新速率来发送--所述可定义的Q0S和帧更新速率可以独立于视 频400而被指定。
[0047] 在一个实施方式中，鼠标（指向设备）404可包括用户的鼠标（指向设备）移动， 其作为笛卡尔坐标被发送（由发射机222)。在该实施方式中，所述移动可以由鼠标移动捕 获506来捕获。为了减少网络开销并提高性能（考虑到小的帧尺寸和增加的无线争用所带 来的问题），包含鼠标（指向设备）坐标点的数据帧可以被以给定的所期望的分辨率和所期 望的用户体验或Q0S来发送。如果使用UDP而非TCP，考虑到帧丢失，点之间的内插可以被 用来减少提高可靠性的开销。鼠标移动捕获506、桌面和应用捕获504和视频捕获502可以 全部由更新单元212来实现。
[0048] 示例性处理
[0049] 图6示出用于增强的WiDi的示例性处理600,所述增强的WiDi包括向显示设备的 独立的多个数据串流。对该方法进行描述的顺序并不是要被解释为限制，并且任何数量的 所述方法框都可以按任何次序进行组合来实施该方法、或替代方法。此外，单个方框可被从 该方法中删除而不背离本文描述的主题的精神和范围。此外，该方法可以以任何合适的硬 件、软件、固件或它们的组合来实现，而不背离本发明的范围。
[0050] 在方框602,对图形显示进行分解。在一个实施方式中，显示数据（例如，显示数据 210)中的图形显示被分解为包括多个数据流（即，不同的层）。所述多个数据流可以包括 多媒体数据流、操作系统（0S)桌面数据流和鼠标（指向设备）数据流。
[0051] 在方框604,独立地编码所述多个数据的每一个数据流以用于传输。在一个实施方 式中，WiDi多流编码器（例如，WiDi多流编码器214)可以独立地对所述多个数据流进行编 码。例如，多媒体数据流被与操作系统（0S)桌面和鼠标（指向设备）数据流分离地进行编 码。
[0052] 在方框606,对已编码的多个数据流进行发送。在一个实施方式中，所述多个数据 流通过通信层（例如，通信层216)发送。例如，采用H264标准的硬件和RTP协议来发送所 述多媒体数据流。另一方面，操作系统（0S)桌面和鼠标（指向设备）数据流被按需或使用 TCP/UDP协议进行发送。
[0053] 在方框608,对针对图像的块的图像变化进行检测。在一个实施方式中，所述图像 包含被划分成k个单元（即，块）的帧。所述k个单元可以包括总共NXM个像素。可以使 用包含在更新单元部件（例如，更新单元212)中的基于并行GPU的算法来比较两个连续 帧之间的所述k个块，从而确定定义了图像变化的单元的精确位置。检测到的单元可以包 括用于在设备源（例如，设备源102)处的下一次发送的更新。在另一个实施方式中，所述 N X Μ个像素可以根据网络状况被动态地调节。
[0054] 在方框610,对包括所检测到的图像变化的更新进行发送。在一个实施方式中，对 所述ΝΧΜ个像素进行动态调整，以确保所述图像变化（即，有修改的单元）适合于单个数 据帧，从而允许更多的原子更新并限制损坏或丢失帧的影响。为此，由于单个帧的丢失不会 严重地影响整个屏幕的更新时，在传输过程中，除了 TCP，UDP也可被实施。在其它实施方式 中，考虑到用户可能观看屏幕的方式时，可以通过给（例如，桌面操作系统（0S)屏幕的）特 定区域的更新分配重要度来实现原子的更新。例如，相对于桌面操作系统（os)屏幕的周围 或外部区域（例如，在桌面操作系统（0S)的屏幕底部的时钟），用户趋向于更频繁地注意屏 幕的中心区域。为此目的，当更新单元212检测到单元修改时，包括了最可见的点的中心区 域可以被以更高优先级来发送。
[0055] 在方框612中，将所检测到的图像变化合并到显示设备中的当前显示。在一个实 施方式中，所检测到的更新由多流解码器部件（例如，多流解码器322)接收。所述检测到 的更新可通过将所述更新集成到存储在更新单元/帧缓冲器部件322中的当前缓冲帧来进 行合并。合并后的更新可显示在显示源104的显示数据324处。
[0056] 根据本发明的实现已在特定实施例的背景下进行了描述。这些实施例是要表示示 例性的、而非限制性的。多种变型、修改、增加和改进都是可能的。因此，针对本文所描述的 部件的多个实例被提供为单个实例。各种部件、操作和数据存储之间的边界是有几分任意 的，并且特定操作是在特定的示例性配置的背景下被举例说明的。其它功能的分配是可预 想到的并且可以落入后附的权利要求的范围之内。最后，在各种配置中表示为分立部件的 结构和功能可被实施为组合的结构或部件。这些以及其它变型、修改、增加和改进都落入如 后附的权利要求所定义的本发明的范围之内。
【权利要求】
1. 一种由设备源执行的方法，包括： 将在设备源处的图形显示分解成多个数据流，所述多个数据流包括多媒体数据流、操 作系统桌面数据流和指向设备数据流； 分别地并独立地对所述多个数据流进行编码以用于传输； 发送编码后的多个数据流； 检测针对图像的块的图像变化，其中，所述图像变化是通过使用基于并行图形处理单 元的算法比较两个连续帧来检测的；以及 发送包括所检测到的图像变化的更新。
2. 如权利要求1所述的方法，其中，所述多个数据流的分解是独立于在所述设备源处 的操作系统桌面管理器而处理的。
3. 如权利要求2所述的方法，其中，所述多个数据流包括不同级别的服务质量。
4. 如权利要求1所述的方法，其中，所述的发送采用实时协议用于所述多媒体数据流， 并且采用传输控制协议或用户数据报协议用于所述操作系统桌面数据流和鼠标数据流。
5. 如权利要求1所述的方法，其中，所述检测包括比较所述两个连续帧的单独单元的 基于图形处理单元的算法。
6. 如权利要求1或5所述的方法，进一步包括：将帧划分为多个包括动态数目个像素 的块，其中，所述动态数目个像素被调节以适应单个帧从而限制损坏或丢失帧的影响。
7. 如权利要求1所述的方法，其中，一旦由所述基于并行图形处理单元的算法检测到 单元修改，则停止所述检测。
8. -种设备源，包括： 一个或多个处理器； 配置给所述一个或多个处理器的存储器，包括： 更新单元，其将图形显示分解成多个数据流，所述多个数据流包括多媒体数据流、操作 系统桌面数据流和鼠标数据流，其中，所述更新单元通过使用基于并行图形处理单元的算 法比较两个连续帧来检测针对图像的块的图像变化； 多流编码器，其独立地对所述多个数据流进行编码；以及 通信层，其实现不同的通信协议以发送编码后的多个数据流。
9. 如权利要求8所述的设备源，其中，所述更新单元独立于在所述设备源处的操作系 统桌面管理器而处理所述多个数据流的分解。
10. 如权利要求9所述的设备源，其中，所述多个数据流包括不同级别的服务质量。
11. 如权利要求8所述的设备源，其中，所述更新单元通过比较所述两个连续帧的单独 单元来检测所述图像变化。
12. 如权利要求8所述的设备源，其中，一旦由所述基于并行图形处理单元的算法检测 到单元修改，所述更新单元停止检测。
13. 如权利要求8至12所述的设备源，其中，所述更新单元将帧划分为多个包括动态数 目个像素的块，其中，所述动态数目个像素被调节以适应单个帧从而限制损坏或丢失帧的 影响。
14. 如权利要求8所述的设备源，其中，所述通信层采用实时协议用于所述多媒体数据 流，并且采用传输控制协议或用户数据报协议用于所述操作系统桌面数据流和所述鼠标数 据流。
15. -种显不设备，包括： 一个或多个处理器；以及 配置给所述一个或多个处理器的存储器，包括： 更新单元和帧缓冲器，其接收多个数据流，所述多个数据流包括多媒体数据流、操作系 统桌面数据流和鼠标数据流，其中，所述更新单元/帧缓冲器将检测到的更新合并到当前 帧缓冲器，所述检测到的更新包括由设备源通过使用基于并行图形处理单元的算法比较两 个连续帧而得到的针对图像的块的图像变化。
16. 如权利要求15所述的显示设备，其中，所述更新单元/帧缓冲器接收独立于在所述 设备源处的操作系统桌面管理器而被处理的所述多个数据流。
17. 如权利要求16所述的显示设备，其中，所述多个数据流包括不同级别的服务质量。
18. 如权利要求15所述的显示设备，其中，所述更新单元和帧缓冲器被配置为接收动 态数目个像素，其中，所述动态数目个像素被调节以适应单个帧从而限制损坏或丢失帧的 影响。
19. 如权利要求15所述的显示设备，其中，所述显示数据显示被配置为向操作系统桌 面的指定区域给予优先级的合并更新。
20. 如权利要求15所述的显示设备，进一步包括：多流解码器，其用于解码在所述设备 源处被独立地编码和发送的所述多个数据流。
21. 如权利要求15所述的显示设备，进一步包括：通信层，其采用实时协议用于所述多 媒体数据流，并且采用传输控制协议或用户数据报协议用于所述操作系统桌面数据流和所 述鼠标数据流。
22. 至少一个计算机可访问的介质，其执行方法，所述方法包括： 将图形显示分解成多个数据流，所述多个数据流包括以下中的一个或多个：多媒体数 据流、操作系统桌面数据流和指向设备数据流； 分别地并独立地对所述多个数据流进行编码； 发送编码后的多个数据流； 检测针对用于显示的图像的块的图像变化，其中，所述图像变化是通过比较两个连续 帧来检测的； 发送包括检测到的图像变化的更新；以及 将所述检测到的图像变化合并到显示设备中的当前显示。
23. 如权利要求22所述的计算机可访问的介质，其中，所述多个数据流的分解是独立 于在设备源处的操作系统桌面管理器而被处理的，所述多个数据流包括不同级别的服务质 量。
24. 如权利要求22所述的计算机可访问的介质，其中，所述的发送编码后的多个数据 流采用实时协议用于所述多媒体数据流，并且采用传输控制协议或用户数据报协议用于所 述操作系统桌面数据流和鼠标数据流。
25. 如权利要求22所述的计算机可访问的介质，其中，所述检测包括比较两个连续帧 的单独单元的基于并行图形处理单元的算法。
26. 如权利要求20-25所述的计算机可访问的介质，进一步包括：将帧划分为多个包括 动态数目个像素的块，其中，所述动态数目个像素被调节以适应单个帧从而限制损坏或丢 失帧的影响。
【文档编号】H04N21/647GK104115498SQ201180075614
【公开日】2014年10月22日 申请日期:2011年12月20日 优先权日:2011年12月20日
【发明者】J·李普曼, Z·L·易 申请人:英特尔公司