用于视频显示系统的流送技术的制作方法

专利名称：用于视频显示系统的流送技术的制作方法
技术领域：
本公开涉及视频显示器，尤其涉及用于生成、传达和呈现分解式多流(DMS)的视频显示系统。背景视频显示器被用在各种设备中。此类设备包括但不限于数字电视、无线通信设备、个人数字助理(PDA)、膝上型或台式计算机、工作站、数码相机、摄像机、数字媒体播放器、视频游戏设备、便携式电影播放器、电子阅读器、平板计算机、蜂窝或卫星无线电电话、智能电 话、以及类似设备。视频显示系统往往包括生成给客户机设备(诸如显示器)的视频内容流的主机设备(诸如计算机)。在许多情形中，主机设备可包括其自己的显示器，但是仍向可包括比主机设备的显示器更大的显示器的客户机设备传达视频数据。不同的技术和标准正在被开发以允许在高速无线链路上将此类视频内容从主机设备传达给客户机设备，以使得主机设备和客户机设备两者都能够显示该视频内容。ー些视频显示系统生成被称为信号合成流(SCS)的视频内容流。SCS包括单个视频流，尽管视频内容仍可包括有时可呈现为不同流的不同区域。在这种情形中，主机设备可生成SCS，并且客户机设备可从主机设备接收SCS并呈现该信号视频流以显示该内容。实质上，通过SCS，主机设备发送“屏幕截图”帧(例如，显示缓冲器的全部内容)。这些屏幕截图可能包括不同的内容窗，但是SCS中的不同内容窗不是分开的流，而仅是这些屏幕截图的一部分。与生成SCS的系统形成对比，其他类型的视频显示系统生成被称为分解式多流(DMS)的视频内容流。DMS包括两个或更多个不同的视频内容流，这些视频内容流可对应于可观看区域中分开的区划，或者可能地对应于可观看区域内的交叠区划。在这种情形中，主机设备可生成包括该两个或更多个不同视频内容流的DMS，并且客户机设备可从主机设备接收该DMS并在显示屏上呈现包括納入到该DMS中的该两个或更多个不同视频内容流的视频。主机设备可在屏幕的不同区域中呈现DMS的不同流，并且在一些情形中，DMS内的不同流的不同区域可能交叠。概述本公开描述能够改善由视频显示系统的主机设备来生成分解式多流(DMS)和由视频显示系统的客户机设备来显示DMS的技木。这些技术可对DMS内的不同流应用不同的帧率,并且这些帧率可取决于不同流内的内容。例如,DMS内的一个流可包括可用相对较高的帧率(诸如通常在视频回放中使用的每秒10-120帧)来呈现的全运动视频信息序列，然而，DMS内的另ー个流可以与显示的背景、各种图形用户界面控制窗或元素、或者包括非视频内容(诸如电子邮件或文档)的显示窗相关联。可以用比用于全运动视频信息序列的帧率慢得多的帧率来呈现DMS中的第二流。另外，如果这些不同的流与显示屏的可观看区域内的交叠区域相关联，那么诸技术可用来減少一个或两个流在交叠区划中的数据。还描述了能够改善DMS的其他技木。主机设备可包括计算机设备(诸如膝上型计算机、智能电话或其他计算机设备)，并且客户机设备可包括被用来呈现与计算机设备相同的输出的无线显示器。DMS可被用来在高速无线链路上传达数据，以使得主机设备(例如，计算机设备)和客户机设备(例如，无线显示器)两者都能够显示类似的内容。在给定内容本身可以在不同的流中有所不同或者可以在显示器的可观看区域内交叠的条件下，本公开描述了用于改善DMS的技木。为了在主机设备处生成DMS，主机设备不仅可以访问该主机设备处的显示缓冲器，而且还可以从生成内容的应用访问内容。当例如由于不能从生成内容的应用访问内容而使DMS不可能或者不合需时，可实现信号合成流(SCS)技术作为用于从主机设备向客户机设备传达数据的回退技木。在一个示例中，本公开描述ー种方法，该方法包括经由视频显示系统的主机设备生成DMS，其中该DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率。该方法还包括从该主机设备向视频显示系统的客户机设备传达该DMS。在另ー个示例中，本公开描述ー种方法，该方法包括在视频显示系统的客户机处接收来自视频显示系统的主机设备的DMS，其中该DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率。该方法还包括在客户机设备上呈现第一显示内容和第二显示内容。在另ー个示例中，本公开描述一种视频显示系统的主机设备，该主机设备包括生成DMS的DMS生成器，其中该DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第ニ帧率，第一帧率不同于第二帧率。该主机设备还包括从该主机设备向视频显示系统的客户机设备传达该DMS的传输单元。在另ー个示例中，本公开描述ー种视频显示系统的客户机设备，该客户机设备包括从主机设备接收DMS的传输单兀,其中该DMS定义显不窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率。该客户机设备还包括显示单元和DMS呈现单元，该DMS呈现单元在该显示単元上呈现第一显示内容和第二显示内容。在另ー个示例中，本公开描述一种视频显示系统的主机设备，该主机设备包括用于生成DMS的装置，其中该DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率；以及用于从该主机设备向视频显示系统的客户机设备传达该DMS的装置。在另ー个示例中，本公开描述ー种视频显示系统的客户机设备，该客户机设备包 括用于从视频显示系统的主机设备接收DMS的装置，其中该DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率；以及用于在客户机设备上呈现第一显示内容和第二显示内容的装置。
本公开中所描述的技术可以至少部分地在硬件中实现，可能地使用软件或固件的诸方面与硬件组合实现。如果在软件或固件中实现，那么可以在诸如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)之类的一个或更多个处理器中执行该软件或固件。执行这些技术的软件可以最初存储在计算机可读介质中并且载入处理器以及在处理器中执行。相应地，本公开还构想了一种包括指令的计算机可读存储介质，这些指令一旦在视频显示系统的主机设备的处理器中被执行就使该主机设备生成DMS，其中该DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率；以及从该主机设备向视频显示系统的客户机设备传达该DMS。在另一个示例中，本公开描述一种包括指令的计算机可读存储介质，这些指令一旦在视频显示系统的客户机设备的处理器中被执行就使该客户机设备从视频显示系统的主机设备接收DMS，其中该DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率；以及在客户机设备上呈现第一显示内容和第二显示内容。在附图及以下说明中阐述本公开的一个或更多个示例的详情。本公开的其他特征、目的、以及优势将可从此说明和附图、以及从所附权利要求书变明白。附图简述图I是解说可被用来实现本公开的技术的示例系统的框图。图2是对显示屏的概念解说，该显示屏可包括对应于分解式多流(DMS)的不同视频流的两个分开显示内容区域。图3是与本公开的一个示例一致的主机设备的示例性框图。图4是与本公开的一个示例一致的客户机设备的示例性框图。图5-8是解说与本公开一致的可由主机设备实现的技术的流程图。图9-11是解说与本公开一致的可由客户机设备实现的技术的流程图。详细描述本公开描述能够改善由视频显示系统的主机设备来生成分解式多流(DMS)和由视频显示系统的客户机设备来显示DMS的技术。DMS是指用于显示器的数据流，该数据流本身包括可与可观看区域的分开区划对应的或者可能与可观察区域内的交叠区划对应的两个或更多个不同内容流。主机设备可生成包括两个或更多个不同内容流的DMS，并且客户机设备可从主机设备接收该DMS并在显示屏上呈现包括纳入到该DMS中的该两个或更多个不同视频内容流的视频。主机设备可在屏幕的不同区域中呈现DMS的不同流，并且在一些情形中，不同DMS流的不同区域可能交叠。与DMS流形成对比，一些视频显示系统生成被称为信号合成流(SCS)的视频内容流。SCS包括可在主机设备中作为屏幕截图来观看的单个视频流。实质上，通过SCS，主机设备向客户机设备发送其显示缓冲器中的全部内容。这些所谓的“屏幕截图”可能包括不同的内容窗，但是SCS中的不同内容窗不是分开的流，而仅是这些屏幕截图的一部分。如果主机设备显示两个分开的窗口(一个窗口显示全运动视频并且另一个窗口显示相对静态的内容)，那么SCS典型情况下将以对应于全运动视频的帧率来发送屏幕截图。SCS技术可能是连同全运动视频一起发送相对静态的内容的一种非常效率低下的方式。这些技术可对DMS内的不同流应用不同的帧率，并且这些帧率可取决于不同流内的内容。例如，DMS内的一个流可包括可用相对较高的帧率(诸如通常在视频回放中使用的每秒10-120帧)来呈现的视频信息序列，然而，DMS内的另一流可以与显示的背景、各种图形用户界面控制窗或元件、或者包括非视频内容(诸如电子邮件或文档)的显示窗相关联。可以用比用于全运动视频信息序列的帧率慢得多的帧率来呈现该一个或多个第二流(例如，包括相对静态的内容的流)。另外，如果这些不同的流与显示屏的可观看区域内的交叠区域相关联，那么诸技术可用来减少一个或两个流在交叠区划中的数据。还描述了能够改善DMS的许多其他技术。作为示例，第一帧率可以是每秒10-120帧，并且每秒约30帧对于许多流送视频应用而言可以是足够的。与之对比，第二帧率可以为每秒1-10帧之间，并且每秒约4帧对于一般不包括全运动视频的应用而言可以是足够的。主机设备可包括计算机设备(诸如膝上型计算机或智能电话)，并且客户机设备可包括被用来呈现与计算机设备相同的输出的无线显示器。DMS可被用来在高速无线链路上传达数据，以使得主机设备(例如，计算机设备)和客户机设备(例如，无线显示器)两者都能够显示类似的内容。在给定内容本身可以在不同的流中有所不同或者可以在显示器的可观看区域内交叠的条件下，本公开提供用于改善DMS的技术。为了在主机设备处生成DMS，主机设备不仅可以访问该主机设备处的显示缓冲器，而且还可以从生成内容的应用访问内容。当例如由于不能从生成内容的应用访问内容而使DMS不可能或者不合需时，可实现SCS技术作为用于从主机设备向客户机设备传达数据的回退技术。图I是解说可被用来实现本公开的技术的示例视频显示系统的框图。图I的系统包括主机设备10和客户机设备20。在解说性示例中，主机设备10可包括膝上型设备或智能电话，并且客户机设备20可包括分开的被用来呈现与在主机设备上所呈现的内容相同的内容的外部显示设备。主机设备10和客户机设备20可以经由短程高速无线协议来传达数据。然而，此示例仅是示例性的。主机设备10和客户机设备20可替换地包括经由DMS技术来传达数据的任何两个计算机设备。主机设备10与客户机设备20之间的通信链路典型情况下是短程无线链路。然而，在其他示例中，主机设备10与客户机设备20之间的链路可遵循任何有线或无线协议，并且可包括诸如路由器、交换机或其他组网设备之类的中间设备。主机设备10可访问不同的内容(例如，内容I 12A、内容2 12B、和内容N 12N)。内容12可经由显示缓冲器供主机设备访问，但是也可以从呈现该内容的一个或更多个特定应用来分别访问。作为一个示例，内容12A可包括来自视频回放应用的内容，而内容12B可包括来自电子邮件应用或文字处理应用的内容。 主机设备10包括生成分解式多流(DMS)的DMS生成器14，其中该DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率。例如，如果内容12A包括来自视频回放应用的内容并且内容12B包括来自电子邮件应用或文字处理应用的内容，那么内容12A可被编码成DMS的第一流，该第一流具有比用于内容12B的帧率更高的帧率。图2是对显示屏的概念解说，该显示屏包括对应于DMS的不同视频流的两个分开显示内容区域。如图2中所示，可观看区域202包括第一呈现区域204和第二呈现区域206。另外，在此示例中，第一呈现区域204和第二呈现区域206两者均包括交叠区域205。DMS可包括两个分开的用于传达第一呈现区域204和第二呈现区域206的内容的流。DMS还可包括附加流，即，大于两个流。第一呈现区域204可包括全运动视频序列并可在DMS中以每秒30帧或类似帧率来编码。第二呈现区域206可包括与诸如电子邮件或文字处理应用之类的更静态的应用相关联的窗口。第二呈现区域206可替换地或附加地包括背景数据、图形用户界面元件(诸 如对第一呈现区域204中的内容的控制)。再次参照图I，主机设备10包括从主机设备10向客户机设备20传达DMS的多媒体传输单元16。同样，DMS包括与不同呈现区域(诸如第一呈现区域204和第二呈现区域206)相关联的两个或更多个不同流。客户机20同样包括用于从主机设备10接收DMS的多媒体传输单元22。在从主机设备10向客户机设备20传达DMS时，该通信可用于以在形成该DMS时所定义的帧率来发送这些流。即，可以从主机设备10向客户机设备20发送DMS，使得第一内容是以第一巾贞率发送的，第二内容是以第二巾贞率发送的，第一巾贞率不同于第二帧率。传输单元16和22可包括能够彼此无线地通信的无线单元。传输单元16和22可在用于无线通信的任何无线频率上进行通信，传输单元16和22中的任一者可使用用于此类通信的各种无线技术或标准中的任一者，包括短程或长程无线标准、蜂窝电话标准、wi-fi、超宽带通信、空白空间通信、或者类似技术或标准。如果空白空间或者有执照电视TV频带被用于通信，那么传输单元16可包括感测能力(或者使用诸如全球定位之类的其他技术)以确保诸频率可供使用。在客户机处，DMS呈现单元24可被调用以在显示单元26上呈现DMS的不同流。如以下更详细地描述的，DMS呈现单元24可将不同的缓冲技术和不同的等待时间规则用于DMS中的不同内容流。例如，相对于与诸如电子邮件之类的其他应用相关联的流而言，全运动视频可能需要较多缓冲以确保视频无中断地显示，但是可能在呈现全运动视频之前容许较多的等待时间或延迟。电子邮件或其他应用可能(由于使用较慢的帧率而)不需要全运动视频所需要的缓冲程度，但是可能在显示屏的任何变化中不容许等待时间或延迟。出于这些或其他原因，DMS呈现单元24可以不同于第二内容地缓冲第一内容，并且可对由显示单元26进行的对第一内容的显示和对第二内容的显示应用不同的等待时间规则。根据本公开，主机设备10的DMS生成器14可动态地调整DMS中与第一呈现区域204相关联的第一帧率，并动态地调整DMS中与第二呈现区域206相关联的第二帧率。对第一和第二帧率中的一者或两者的这些动态调整可以基于第一内容和第二内容。如以下更详细地描述的，DMS生成器14可从应用截取第一内容，但是简单地从主机设备10的显示缓冲器捕捉第二内容。在这样做时，DMS生成器14还可控制(并且可动态地增大或减小)与从显示缓冲器捕捉第二内容相关联的捕捉率。DMS生成器14可任选地包括用于编码DMS中的一个或更多个流的编码器，在这种情形中，DMS呈现单元24将包括互逆的解码器。如所提及的，第一呈现区域204和第二呈现区域206可包括交叠区域205 (亦被称为交叠区划)。为了促成DMS中的数据减少和解码的简化，DMS生成器14可在一些示例中在DMS中生成标识第一内容或第二内容中的哪一者在交叠区域中处于顶层的信息(例如，句法信息)。此句法信息可包括可允许DMS呈现单元24查明第一内容或第二内容中的哪一者在交叠区域205中处于顶层的z排序信息或坐标。在这种情形中，DMS 14还可减少或消除第一内容或第二内容在交叠区域205中的数据，其中所减少或消除的数据在交叠区域中处于其他数据以下。在一些情形中，例如，如果从特定应用截取内容是不可能的或者不切实际的，那么DMS生成器14可包括直接从显示缓冲器生成包括第一内容和第二内容的SCS的能力。在这种情形中，DMS生成器可确定从应用截取第一内容或第二内容是不可能的，并且可响应于确定从应用截取第一内容或第二内容是不可能的而直接从主机设备10处的显示缓冲器生成包括第一内容和第二内容的SCS。用户输入也可被用来定义DMS。例如，DMS生成器14可 被配置成响应于用户输入而调整DMS以便仅包括第一内容或第二内容中的一者。另外，DMS生成器14可确定在主机设备10与客户机设备20之间可用的带宽。该可用带宽可定义在任何给定的时间可用的数据传输率。DMS生成器14可在一些示例中基于可用带宽来调整第一帧率和第二帧率中的一者或两者。补充地或替换地，DMS生成器14可基于可用带宽来动态地编码第一内容和第二内容中的一者或两者。DMS生成器14还可基于正在被传达的内容的类型来动态地编码第一内容和第二内容中的一者或两者。在许多情形中，可能希望如本文中所描述的那样编码从显示缓冲器捕捉到的内容。从应用截取的内容可能已被编码。在一些情形中，从应用截取的内容可以是经转码的(即，被解码并且随后以不同的编码格式来重新编码)一般而言，短语“单个合成流”(SCS)在本文中被用来指代以压缩或未压缩的形式端对端(例如，从主机设备10向客户机设备20)地传送整个显示缓冲器的技术。通过SCS，也可按压缩或未压缩的形式端对端地传送部分显示更新。与之对比，短语“分解式多流”(DMS)是指除了来自显示缓冲器的其余显示内容之外还传递直接来自应用(例如，媒体播放器应用)的预压缩内容(例如，视频)的技术。针对DMS技术的数种标准化的规范目前正在开发中，包括“VESA Net2Display”和“USB-IF显示”。支持SCS方法的规范可包括VESA Net2Display、USB-IF显示和其他商业VNC系统。DMS方法可定义许多优点，诸如预压缩内容的质量保持以及与主机设备10相关联的主机平台上的资源和功率节省。然而，DMS具有数个缺点。这些缺点可包括DMS可能对客户机设备20强加附加要求的实情，这些附加要求可能会增加客户机设备20的成本和复杂度。此类对客户机设备20支持DMS的附加要求可包括同时解码两个或更多个视频流的能力以及合成并呈现两个或更多个流的经解码输出的能力。合成并呈现两个或更多个流的经解码输出的能力可在一些情形中要求作为多个显示表面的合成的一部分来执行色度键控和a混合的能力。另外，当其他内容动态地覆盖在正呈现全运动视频的区域之上时，对色度键控和a混合的要求可以变重要。此类动态内容的示例可包括由用户动作生成的下拉式菜单、由主机设备10上的操作系统生成的对话框和警报。有时，例如，这些或其他条目可由主机设备10和客户机设备20直接在正呈现影片的区域之上呈现。本公开的技术可通过简单地使用句法信息标识哪个呈现区域在交叠区域中处于顶层来简化这些实例中的DMS并避免对色度键控和/或a混合的需要。
即使在可能不必捕捉和编码背景显示表面的情况下，许多主机设备实现也可依赖高级应用程序接口(API)(例如，图形驱动程序接口(GDI))来周期性地捕捉背景表面。例如，可以从DMS消除被覆盖的全运动视频部分地(或全部地)隐藏的区域，以便减少主机设备资源的使用并且减少在主机设备10与客户机设备20之间传送的数据量。另外，对于无线触摸屏实现，在客户机设备20处对触摸事件的捕捉可以在整个显示屏上是合意的，从而跨越DMS中所有收到流的呈现位置。另外，当客户机设备20不支持特定媒体类型的预压缩内容时，DMS可能失效。如果客户机设备20不支持该媒体类型，那么该媒体类型的许多方面(诸如分辨率、所使用的特定编码类型、所使用的色彩空间、取向、纵横比、或其他因素)可能使DMS失效。当主机设备10不能例如从媒体播放器应用截取预压缩内容时，DMS也可能失效。这可能发生在媒体播放器是以单片形式实现的并且没有在使用有助于截取的公知媒体框架的情况下。另外，当(分开的流的)组合吞吐量要求超过主机设备10与客户机设备20之间可用的传输链路容量(即，可用带宽)时，DMS可能失效。信道状况可能在无线显示会 话开始时出现，或者在无线显示会话过程期间的任何时间点动态地出现。本公开的技术可提供对上述伴随DMS的这些议项和问题的解决方案。仅使用SCS技术的系统可能被迫将整个显示区域作为单个单元来对待。由此，在这种情形中，客户机设备20可以通过实现用于回放的共用抖动缓冲器来针对等待时间统一地对待不同的显示区域。这可给出为了较静态应用的生产率和响应性而使等待时间最小化(并且因此使抖动缓冲最小化)与(通过增加抖动缓冲来)增强全运动视频回放应用的平滑度之间的折衷。另外，在折衷诸如压缩数据传输对未压缩数据传输之类的质量参数时，仅使用SCS技术的系统可被迫对整个显示区域应用统一的处理。在这种情形中，动态自适应可能是受约束的并且可能被要求跨整个显示区域统一地应用。在与本发明一致的情况下，例如，对于低成本的客户机实现而言，可以放宽对DMS客户机(即，客户机设备20)的各种要求。虽然在客户机设备20处可能仍需要同时解码两个或更多个视频流的能力，但是背景表面的编码帧率可被显著减小以便使总解码帧率最小化。以下更详细地讨论DMS内的各流中的一个流的帧率减小。可以在客户机设备20处通过仅要求对交叠呈现区域中的内容的相对简单的z排序来简化合成并呈现两个或更多个流的经解码输出的能力。这可避免客户机设备20处的混合操作和色度键控应用。该方案可被如下补充以处置需要在正呈现全运动视频的区域之上显示的内容。在一个示例中，主机设备10可检测要在全运动视频覆盖表面之上显示的内容的存在(或者后续的移除)。此检测可以由主机设备10以数种方式达成，例如，经由对提供更新的矩形坐标的显示驱动程序更新的截取，或者经由在知道全运动视频覆盖表面的坐标的情况下在战略性位置处扫描全图形驱动程序接口(GDI)捕捉缓冲器。另外，主机设备10可经由控制消息(或者其他句法元素)来信令客户机设备20，以便向该客户机设备通知此类z排序。一旦接收到来自主机设备10的控制消息，客户机设备20就可以控制(在一些情形中交换)两个分开的流的z次序。这可能使全运动视频内容在有用户界面警报要显示时被临时隐藏，但是这对于低成本且相对简单的客户机设备实现而言可以是可接受的限制。对于依赖高级API (例如，GDI)来周期性地捕捉背景表面的主机设备实现，可以按数种不同的方式来使用于捕捉和编码背景显示表面的主机平台开销最小化。在一个示例中，当有全运动视频覆盖表面活跃时，GDI捕捉率可被显著减小(例如，减小到4Hz)。此降低的捕捉率的影响可减小帧率，但是在大多数境况中可能是不可察觉的，因为周围的显示区域通常是静态的 (或者典型情况下以相对于任何全运动视频覆盖表面而言低得多的速率变化)。另外，当全运动视频覆盖表面区域由⑶I捕捉掩盖时(如在主机设备上有硬件加速解码时就可以是这种情形)，减小的帧率(和减小的捕捉率)的此类益处可以甚至更加显著。在GDI捕捉期间，可以用空元数据或“黑色”来填充交叠区划内的被掩盖区域，这可在降低的捕捉率下改善编码效率。此对被掩盖的交叠区划的“涂黑”可以与较低的GDI捕捉率相互促进，因为在正呈现全运动视频的“黑色”区域中不生成运动，并且在一些情形中，任何编码器比特预算可以花在周围区域中以关于给定的比特预算改善视频质量。在极端示例中，如果主机设备10检测到全运动视频覆盖表面占据整个显示区域(这可能发生在媒体播放器应用处于“全屏”模式时)，那么GDI捕捉率可退化到0Hz。当主机设备媒体播放器应用不处于全屏模式时，例如，如果用户选择不在客户机设备的无线显示器上使全部用户界面可视化，那么也可任选地模拟此GDI捕捉率退化到0Hz。如果客户机设备的无线显示器是电视(TV)屏幕，在这种情况中希望在客户机上仅使全运动覆盖表面可视化，那么这可以是合适的选择。对于无线触摸屏实现，在客户机设备20处对触摸事件的捕捉可以在整个显示屏上达成，从而跨越所有收到DMS流的呈现位置。客户机设备20可以呈现与整个显示区域一致的附加虚拟窗表面。此虚拟窗表面可以是对于用户而言透明的窗口，以使得该虚拟窗表面不隐藏任何接收到并呈现的实际显示流。(使用标准操作系统接口的)触摸屏捕捉可以在客户机设备20处的此虚拟表面上被执行，并且可被恰适地缩放到主机设备显示屏大小。在实现本公开中所描述的技术时，主机设备10可以在客户机设备20不支持预压缩内容的媒体类型时回退到SCS模式。媒体类型的诸方面可包括分辨率、所使用的编码、色彩空间、取向、纵横比、或者其他因素。另外，在实现本公开中所描述的技术时，主机设备10可在该主机设备10不能从被用来呈现内容的应用(诸如媒体播放器应用)截取预压缩内容时回退到SCS模式。例如，这可能发生在应用(诸如媒体播放器应用)不使用主机设备10已知的媒体框架或者媒体另行不利于由主机设备10截取的情况下。当主机设备10检测到(所有DMS流的)组合吞吐量要求超过主机设备10与客户机设备20之间的可用传输链路容量(例如，可用带宽)时，主机设备10可以执行各种操作。在一个此类示例中，主机设备10可以通过适应性调整诸如在编码中使用的量化参数、帧率、比特率或其他参数之类的一个或更多个参数来降低用于背景表面的吞吐量预算。如果这仍不足以使两个流容适在主机设备10与客户机设备20之间的可用传输链路容量内，那么客户机设备20可以回返到SCS模式，其中适当地使量化参数、帧率、比特率或其他元素降格。不足的信道容量状况可能在无线显示会话开始时出现，或者在无线显示会话过程期间动态地出现。客户机设备20可以针对等待时间不同地对待收到流中的每个流。例如，相对于用于全运动视频的抖动缓冲器，客户机设备20可以为背景表面流实现较小的抖动缓冲器。客户机设备还可应用不同的等待时间规则以确保不为背景表面流引入等待时间。等待时间对于全运动视频而言可以是较为容许的，并且可能最初是合意的以帮助避免稍后在视频序列中的视频播放中断。与用于背景表面流的较小抖动缓冲器形成对比，客户机设备20可以实现相对较大的用于全运动视频覆盖表面的抖动缓冲器以改善视频回放应用的平滑度。关于DMS的特定延迟的实现还可以由主机设备10例如经由为DMS内的每个流添加呈现时间戳来控制，每个流可由主机设备10唯一性地补偿。主机设备10还可取决于DMS状态(即，目前是否有全运动视频覆盖表面活跃)和传输链路容量的可用性来在对背景表面的传输的压缩模式与未压缩模式之间进行选择。例如，每当有全运动视频覆盖表面活跃时，主机设备10可以选取较低帧率下的未压缩模式。在这种情形中，对背景表面的未压缩模式传输可以是全表面屏幕截图，或者是部分更新以修改已由客户机设备20接收到的先前屏幕截图。在任一情形中，可以例如使用色度亚采样、游程编码或其他技术来轻微地压缩这些屏幕截图或更新。图3是可对应于图I的主机设备10的主机设备300的框图。在此示例中，主机设 备300包括主机应用单元302，该主机应用单元302可包括在处理器上工作的主机操作系统。主机设备300还包括主机显示系统304，该主机显示系统304可包括显示器和用于主机设备300上的显示器的软件驱动程序。显示缓冲器306也可构成主机显示系统304的一部分，但是被分开示出，因为作为DMS生成的一部分，这些显示缓冲器可由DMS生成器308访问。DMS生成器308可对应于图I的DMS生成器12。主机设备300还包括可对应于图I的多媒体传输单兀14的多媒体传输单兀310。传输接口 316可包括主机设备300上的一个或更多个天线，以及用于无线通信的空中接口。主机设备300可包括媒体播放器单元312，并且DMS生成器308可以能够(诸如经由中断)直接从媒体播放器单元312获得内容以纳入到DMS中。主机设备300可任选地包括用于编码包括在DMS中的一个或更多个流的编码器314。编码器314可包括任何视频编码器，诸如遵循ITU-H. 263、ITU-H. 264、ITU-H. 265、或者其他公共或专有视频编码标准或技术的编码器。在许多情形中，可能希望调用编码器314来编码从显示缓冲器306捕捉到的内容。从媒体播放器单元312截取的内容可能已被编码。在一些情形中，从媒体播放器单元312截取的内容可以由编码器314转码(即，解码并且随后以不同的编码格式来重新编码)。DMS生成器308生成DMS,该DMS定义显不窗的第一区域中的第一内容和显不窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率。与第一帧率相关联的第一内容可包括直接从媒体播放器单元312接收到的视频信息。在这种情形中，DMS生成器308可向媒体播放器单元312发布中断以指示媒体播放器单元312将其视频流直接提供给DMS生成器。媒体播放器单元312还可将其视频流提供给主机显示系统304以由与主机设备300相关联的显示设备进行显示。除了直接从媒体播放器单元312接收到的此第一流之外，DMS生成器308还可从显示缓冲器306接收实质上为SCS的第二流。DMS生成器308可生成包括第一和第二流两者的DMS，并可生成DMS的具有不同帧率的不同流。例如，直接从媒体播放器单元312接收到的第一流可定义在视频回放情况下常见的相对较高的帧率(诸如每秒10-30帧)。从显示缓冲器306接收到的第二流可定义相对较慢的帧率(诸如每秒I到10帧)。如果第一内容和第二内容的区域交叠，那么DMS生成器308可以使用本公开的技术来避免发送这两个流在交叠区域中的数据。取而代之的是，DMS生成器308可以生成标识哪个流在顶层的DMS信息，并可消除来自在底层的流(具体而言在交叠区域中)的数据。在这种情形中，生成DMS可包括减少或消除第一内容或第二内容在交叠区域中的数据，其中所减少或消除的数据在交叠区域中处于其他数据以下。在一些情形中，DMS生成器308还可动态地减小或动态地增大其与捕捉来自显示缓冲器306的第二内容相关联的捕捉率，并且这些调整可以基于第一内容和/或第二内容。编码器314可被调用以编码DMS的第一内容、DMS的第二内容、或者第一和第二内容两者。编码器314可根据ITU-H. 263、ITU-H. 264、ITU-H. 265或其他公共或专有视频编码标准或技术来编码数据。在一些情形中，DMS生成器308可确定从媒体播放器单元312截取第一内容是不可能的，并且在这种情形中，可以响应于确定从应用截取第一内容或第二内容是不可能的而直接从显示缓冲器306生成包括第一内容和第二内容的SCS。在这种情形中，SCS可被认为是在内容不可从应用得到而仅可从显示缓冲器306得到的情形中回退到DMS。在不同的示例中，第一内容包括视频序列并且第二内容包括非视频应用的输出。 在一些情形中，第二内容可包括在第一内容的视频序列周围形成框架的图形用户界面元素。在其他情形中，第二内容可包括图形用户界面控制元素或者可与第一内容交叠的分开的图形用户界面窗口。在另一些情形中，第二内容可包括与诸如电子邮件或文字处理应用之类的不同应用相关联的分开的窗口。若希望，则DMS可以响应于用户输入而被调整成仅包括第一内容或第二内容中的一者。在另一些示例中，DMS生成器308可以在生成DMS时考虑其他因素(诸如可用带宽)。例如，DMS生成器308可确定在主机设备300与客户机设备之间可用的带宽，并可基于可用的带宽来调整第一帧率和第二帧率中的一者或两者。如果作为DMS生成过程的一部分，编码器314由DMS生成器308调用以在DMS中创生经编码内容，那么作为DMS生成过程的一部分，DMS生成器308还可调整编码参数。作为一个示例，DMS生成器308可确定在主机设备300与客户机设备之间可用的带宽，并可基于可用的带宽来使编码器314动态地编码第一内容和第二内容中的一者或两者。DMS可被转发给主机设备300的多媒体传输单元310以经由传输接口 316向客户机设备(未示出)进行传达。多媒体传输单元310和传输接口 316可将各种无线技术或标准中的任一者用于此类通信，包括短程或长程无线标准、蜂窝电话标准、wi-fi、超宽带通信、空白空间通信、或者类似技术或标准。如果空白空间或者有执照电视TV频带被用于通信，那么多媒体传输单元310可包括感测能力(或者使用诸如全球定位之类的其他技术)以确保诸频率在传输接口 316上可用。图4是可对应于图I的客户机设备20的客户机设备400的框图。在此示例中，客户机设备400包括客户机应用单元402，该客户机应用单元302可包括在处理器上工作的客户机操作系统。客户机设备400还包括客户机显示系统404，该客户机显示系统304可包括显示器和用于客户机设备400上的显示器的软件驱动程序。DMS呈现单元406可对应于图I的DMS呈现单元24。客户机设备400还包括可对应于图I的多媒体传输单元22的多媒体传输单元408。传输接口 412可包括客户机设备400上的一个或更多个天线，以及用于来自主机设备(图4中未示出)的无线通信的空中接口。客户机设备400可任选地包括用于解码包括在DMS中的一个或更多个流的解码器410。解码器410可包括遵循ITU-H. 263、ITU-H. 264、ITU-H. 265或其他公共或专有视频编码标准或技术的解码器。客户机设备400经由传输接口 412和多媒体传输单元408从主机设备接收DMS流。如本公开中所解释的，DMS定义显示窗的第一区域中的第一内容和显示窗的第二区域中的第二内容，其中第一内容定义DMS中的第一帧率并且第二显示内容定义DMS中的第二帧率，第一帧率不同于第二帧率。DMS呈现单元406在客户机设备400的客户机显示系统404上呈现第一显示内容和第二显示内容。同样，在一个示例中，第一内容包括视频序列并且第二内容包括非视频应用的输出。在另一个示例中，第一内容包括视频序列并且第二内容包括图形用户界面元素。在这些示例中，第一帧率可以大于第二帧率。在一些情形中，可能希望DMS呈现单元406和/或客户机显示系统404为DMS中的不同内容实现不同类型的缓冲和等待时间规则。例如，客户机显示系统404可包括显示缓冲器，并且可不同于第二内容地缓冲第一内容。另外，客户机显示系统404可对第一内容的显示和第二内容的显示应用不同的等待时间规则。例如，相对于与诸如电子邮件之类的其他应用相关联的流，全运动视频可能要求较多缓冲以确保视频被无中断地显示，但是可能在呈现全运动视频之前容许较多的等待时间或延迟。电子邮件或其他应用可能(由于使用较慢的帧率而)不需要全运动视频所需要的缓冲程度，但是可能在显示屏的任何变化中不容许等待时间或延迟。出于这些或其他原因，DMS呈现单元406和/或客户机显示系统404可以不同于第二内容地缓冲第一内容，并且可对由客户机显示系统404进行的对第一内容的显示和对第二内容的显示应用不同的等待时间规则。图5是解说用于生成DMS的技术的流程图。将从主机设备300的角度来描述图5，尽管类似的技术也可由其他设备应用。如图5中所示，主机设备300的DMS生成器308从媒体播放器单元312访问第一内容(501)并从显示缓冲器306访问第二内容(502)。DMS生成器308生成包括为不同的帧率的第一内容和第二内容的DMS (503)，并诸如经由多媒体传输单元310和传输接口 316来向客户机设备传达该DMS (504)。在一些情形中，附加内容(即，附加流)也可被包括在DMS中。图6是解说用于生成DMS的技术的另一个流程图。也将从主机设备300的角度来描述图6，尽管类似的技术也可由其他设备应用。如图6中所示，主机设备300的DMS生成器308从媒体播放器单元312访问第一内容(601)并从显示缓冲器306访问第二内容￠02)。DMS生成器308生成包括为不同帧率的第一内容和第二内容的DMS(603)。另外，DMS生成器308生成DMS信息(604)，该DMS信息可包括指示客户机设备如何重构第一内容和第二内容的句法信息(例如，元数据)。例如，在第一内容与第二内容之间有交叠的情形中，该DMS信息可包括关于该交叠区域的z坐标信息。在这种情形中，DMS内在该交叠区域中处于其他流之下的流可被编码为空元数据或黑色数据以减少在其中有些东西被其他流覆盖的区域中的数据量。主机设备300随后诸如经由多媒体传输单元310和传输接口 316来向客户机设备传达该DMS和DMS信息(605)。图7是解说用于生成DMS的技术的另一个流程图。也将从主机设备300的角度来描述图7，尽管类似的技术也可由其他设备应用。如图7中所示，主机设备300的DMS生成器308从媒体播放器单元312访问第一内容(701)并从显示缓冲器306访问第二内容(702)。 DMS生成器308基于内容本身动态地定义第一和第二内容的帧率(703)。例如，DMS生成器308可向任何视频信息指派较高的帧率，而向较静态的流指派较慢的帧率。在一些情形中，帧率可由访问位置来确定。例如，来自媒体播放器单元312的视频信息可被指派比来自显示缓冲器306的任何数据的帧率更高的帧率。诸如来自电子邮件应用或文字处理应用之类的其他应用的数据可同样地被指派比来自媒体播放器单元312或另一个源的视频数据的帧率更低的帧率。在任何情形中，DMS生成器308生成包括为这些动态定义的不同帧率的第一内容和第二内容的DMS(704)。不同的速率可以在速率可以随内容的变化而改变的意义上是动态的。在任何给定情况下，此类变化可以基于内容的源或者内容的实际类型。图8是解说用于在不同的情景中生成DMS或SCS的技术的流程图。也将从主机设备300的角度来描述图8，尽管类似的技术也可由其他设备应用。如图8中所示，主机设备300的DMS生成器308确定是否可从与媒体播放器单元312相关联的应用得到视频内容(801)。若否(“否”801)，则DMS生成器可默认使用SCS技术。在这种情形中(“否”801)，DMS生成器从显示缓冲器306访问内容(806)，并以一个恒定的帧率生成包括显示缓冲器306的整个内容的SCS (807)。主机设备300随后诸如经由多媒体传输单元310和传输接口 316来向客户机设备传达该SCS (808)。如果主机设备300的DMS生成器308确定可从与媒体播放器单元312相关联的应用得到视频内容(“是”801)，那么DMS生成器可实现DMS技术。在这种情形中(“是”801)，DMS生成器308从与媒体播放器单元312相关联的应用访问视频内容(802)，并分开地从显示缓冲器306访问非视频内容(803)。DMS生成器308生成包括为不同帧率的不同内容的DMS (804)，并诸如经由多媒体传输单元310和传输接口 316来向客户机设备传达该DMS(805)。图9是解说用于在客户机设备上处理DMS的技术的流程图。将从客户机设备400的角度来描述图9，尽管类似的技术也可由其他设备应用。如图9中所示，DMS呈现单元406接收DMS(901)。例如，DMS可以是从主机设备传达并在客户机设备400处经由传输接口 412和多媒体传输单元408接收的。多媒体传输单元408将DMS转发给DMS呈现单元406。DMS呈现单元406基于该DMS生成第一内容(902)并基于该DMS生成第二内容(903)。DMS呈现单元406使客户机显示系统404以可由DMS定义的不同帧率来显示第一和第二内容(904)。此对该两个或更多个流的显示可任选地包括本文中所描述的其他技术中的任何一种技术，诸如用于处置不同流在交叠区域中的覆盖的技术。

图10是解说用于在客户机设备上处理DMS的技术的流程图。也将从客户机设备400的角度来描述图10，尽管类似的技术也可由其他设备应用。如图10中所示，DMS呈现单元406接收DMS (1001)，并且还接收可包括与DMS相关联的元数据或其他边信息或句法信息的DMS信息(1002)。DMS和DMS信息可以是从主机设备传达并在客户机设备400处经由传输接口 412和多媒体传输单元408接收的。多媒体传输单元408将该DMS和DMS信息转发给DMS呈现单元406。DMS呈现单元406基于该DMS生成第一内容(1003)并基于该DMS生成第二内容(1004)。DMS呈现单元406使客户机显示系统404以不同的帧率并基于DMS信息来显示第一和第二内容(1005)。不同的帧率可以由DMS本身来定义。DMS信息可包括定义第一和第二流的交互的信息。例如，DMS信息可包括定义DMS流内的第一和第二内容中的哪个内容覆盖在另一个内容之上的Z坐标(即，深度)信息。该Z坐标(S卩，深度)信息可定义不同流的相对深度以便定义对于任何交叠区域而言哪个内容在顶层以及哪个内容在下层。在交叠 区域中处于其他内容下面的内容可以在DMS流中留空或涂黑，以便改善吞吐量。由于该数据在其他数据以下，因而该数据无论如何都会被阻止查看，所以将DMS流中的此类数据留空或涂黑将不会被客户机设备400处的用户观察到。图11是解说用于在客户机设备上处理DMS的技术的流程图。也将从客户机设备400的角度来描述图11，尽管类似的技术也可由其他设备应用。如图11中所示，DMS呈现单元406接收包括第一和第二内容的DMS(IlOl)。例如，DMS可以是从主机设备传达并在客户机设备400处经由传输接口 412和多媒体传输单元408接收的。多媒体传输单元408将该DMS转发给DMS呈现单元406。DMS呈现单元406使客户机显示系统404缓冲来自该DMS的第一内容(1102)并缓冲来自该DMS的第二内容(1103)。由客户机显示系统404使用的缓冲器可取决于内容。例如，较大的缓冲器可被用于实时视频数据，而较小的缓冲器(可能定义比较大的缓冲器的等待时间少的等待时间)可被用于其他类型的数据，诸如图形数据或与诸如电子邮件应用或文字处理应用之类的其他类型的应用相关联的数据。相应地，客户机显示系统404根据对不同的内容所应用的缓冲和等待时间规则来以不同的帧率显示第一和第二内容(1104)。这些缓冲和等待时间规则可以因此类不同内容类型而不同以便改善对全运动视频信息的呈现，相对于来自其他类型的应用的图形元素或数据，对全运动视频信息的呈现可以容许较长的等待时间并需要较多的缓冲以确保输出视频的平滑度。例如，图形元素流或来自其他类型的应用的数据流可能需要较短的等待时间(即，较多的响应性)但是可能不需要全运动视频序列所希望的较大的缓冲程度。在另一些示例中，在DMS的第一流中包括实时视频时，与背景数据(例如，第二流中的数据)相关联的帧率可被特别地减小。此技术可改善客户机设备中的有限资源的使用并改善资源有限的此类情形中的视频呈现。为了实现此类技术，当DMS的第一流中包括实时视频时，主机设备处与为DMS的第二流而捕捉显示缓冲器中的数据相关联的GDI捕捉率可被减小。在另一些示例中，数据可被包括在DMS中作为另一个流(例如，第三流)以提供跨越DMS流中的第一和第二内容的触摸屏覆盖。在这种情形中，触摸屏覆盖可包括用于在客户机设备处提供触摸屏捕捉或反馈的透明窗。用于在显示系统的主机和客户机设备中促成触摸屏捕捉的其他技术也可被使用。应当注意，以上讨论专注于包括两个流的DMS。然而，本公开的技术可被扩展到包括附加流(即，多于两个流的)DMS。该DMS可包括第一流、第二流、第三流、第四流等。DSM中的不同流中的一些或全部的帧率可以按动态方式来定义，如本文中所描述的那样。各种其他技术也可被用来解决关于两个以上流的交叠问题或其他特征。本公开中所描述的技术可至少部分地在硬件、软件、固件或其任何组合中实现。例如，所描述的技术的各种方面可以在一个或更多个处理器内实现，包括一个或更多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其他等效的集成或分立逻辑电路系统以及此类组件的任何组合。术语“处理器”或“处理电路系统”可以一般而言指代单独的或者与其他逻辑电路系统相组合的上述逻辑电路系统中的任一者，或者诸如执行处理的分立硬件之类的任何其他等效的电路系统。此类硬件、软件和固件可在相同的设备内或者在分开的设备内实现以支持本公开中所描述的各种操作和功能。另外，所描述的单元、模块或组件中的任一者可被一起实现或者被分开地实现为分立的但是可互操作的逻辑设备。将不同的特征描述为模块或单元旨在突出不同的功能方面并且未必暗示此类模块或单元必须由分开的硬件或软件组件来实现。更确切地说，与一个或更或多个模块或单元相关联的功能性可由分开的硬件、固件和/或软件组件来执行，或者被整合在共用的或分开的硬件或软件组件中。本公开所描述的技术还可被存储、实施或编码在诸如存储指令的计算机可读存储介质之类的计算机可读介质中。嵌入在或编码在计算机可读介质中的指令可在例如这些指令由一个或更多个处理器执行时使该一个或更多个处理器执行本文中所描述的技术。计算机可读存储介质可包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、硬盘、CD-ROM、软盘、磁带、磁介质、光介质、或其他有形的计算机可读存储介质。计算机可读介质可包括对应于诸如以上所列出的那些有形存储介质的计算机可读存储介质。计算机可读介质还可包括通信介质，通信介质包括例如根据通信协议来促成从一地到另一地的计算机程序转送的任何介质。以此方式，短语“计算机可读介质” 一般而言可对应于(I)非易失性的有形计算机可读存储介质以及(2)诸如暂态信号或载波之类的 非有形计算机可读通信介质。已描述了各种方面和示例。然而，可以对本公开的结构或技术作出修改而不会脱离所附权利要求的范围。
权利要求
1.ー种方法，包括 经由视频显示系统的主机设备生成分解式多流(DMS)，其中所述DMS定义显示窗的第一区域中的第一内容和所述显示窗的第二区域中的第二内容，其中所述第一内容定义所述DMS中的第一帧率并且所述第二显示内容定义所述DMS中的第二帧率，所述第一帧率不同于所述第二帧率；以及 从所述主机设备向所述视频显示系统的客户机设备传达所述DMS。
2.如权利要求I所述的方法，其特征在干，进ー步包括基于所述第一内容和所述第二内容来动态地调整所述DMS中的所述第一帧率和所述第二帧率。
3.如权利要求I所述的方法，其特征在干，生成所述DMS包括从应用截取所述第一内容以及从所述主机设备中的显示缓冲器捕捉所述第二内容。
4.如权利要求3所述的方法，其特征在干，进ー步包括基于所述第一内容和所述第二内容来动态地减小与从所述显示缓冲器捕捉所述第二内容相关联的捕捉率。
5.如权利要求I所述的方法，其特征在于，生成所述DMS包括编码所述第二内容。
6.如权利要求I所述的方法，其特征在于，所述第一区域和所述第二区域皆包括交叠区域，所述方法进ー步包括 在所述DMS中生成标识所述第一内容或所述第二内容中的哪ー者在所述交叠区域中处于顶层的信息。
7.如权利要求6所述的方法，其特征在于，生成所述DMS包括減少或消除所述第一内容或所述第二内容在所述交叠区域中的数据，其中被減少或消除的数据在所述交叠区域中处于其他数据以下。
8.如权利要求I所述的方法，其特征在干，生成所述DMS包括从应用截取所述第一内容或者所述第二内容。
9.如权利要求8所述的方法，其特征在干，进ー步包括 确定从所述应用截取所述第一内容或者所述第二内容是不可能的；以及 响应于确定从所述应用截取所述第一内容或者所述第二内容是不可能的而直接从所述主机设备处的显示缓冲器生成包括所述第一内容和所述第二内容的信号合成流(SCS)。
10.如权利要求I所述的方法，其特征在于，所述第一内容包括视频序列并且所述第二内容包括非视频应用的输出。
11.如权利要求10所述的方法，其特征在于，所述第一帧率大于所述第二帧率。
12.如权利要求I所述的方法，其特征在于，所述第一内容包括视频序列并且所述第二内容包括图形用户界面元素。
13.如权利要求I所述的方法，其特征在于，进ー步包括响应于用户输入而将所述DMS调整成仅包括所述第一内容或所述第二内容中的一者。
14.如权利要求I所述的方法，其特征在干，进ー步包括 确定所述主机设备与所述客户机设备之间可用的带宽；以及 基于所述可用的带宽来调整所述第一帧率和所述第二帧率中的一者或两者。
15.如权利要求I所述的方法，其特征在干，进ー步包括 确定所述主机设备与所述客户机设备之间可用的带宽；以及 基于所述可用的带宽来动态地编码所述第一内容和所述第二内容中的一者或两者。
16.如权利要求I所述的方法，其特征在干，进ー步包括动态地编码所述第一内容和所述第二内容中的一者或两者。
17.—种方法,包括 在视频显示系统的客户机设备处从所述视频显示系统的主机设备接收分解式多流(DMS)，其中所述DMS定义显示窗的第一区域中的第一内容和所述显示窗的第二区域中的第二内容，其中所述第一内容定义所述DMS中的第一帧率并且所述第二显示内容定义所述DMS中的第二帧率，所述第一帧率不同于所述第二帧率；以及 在所述客户机设备上呈现所述第一显示内容和所述第二显示内容。
18.如权利要求17所述的方法，其特征在于，所述第一内容包括视频序列并且所述第ニ内容包括非视频应用的输出。
19.如权利要求18所述的方法，其特征在于，所述第一帧率大于所述第二帧率。
20.如权利要求17所述的方法，其特征在于，所述第一内容包括视频序列并且所述第ニ 内容包括图形用户界面元素。
21.如权利要求17所述的方法，其特征在干，进ー步包括 在所述客户机设备中不同于所述第二内容地缓冲所述第一内容。
22.如权利要求21所述的方法，其特征在干，进ー步包括对由所述客户机设备进行的对所述第一内容的显示和由所述客户机设备进行的对所述第二内容的显示应用不同的等待时间规则。
23.一种视频显示系统的主机设备，所述主机设备包括 分解式多流(DMS)生成器，其生成DMS，其中所述DMS定义显示窗的第一区域中的第一内容和所述显示窗的第二区域中的第二内容，其中所述第一内容定义所述DMS中的第一帧率并且所述第二显示内容定义所述DMS中的第二帧率，所述第一帧率不同于所述第二帧率；以及 传输单元，所述传输単元从所述主机设备向所述视频显示系统的客户机设备传达所述DMS。
24.如权利要求23所述的主机设备，其特征在于，所述DMS生成器基于所述第一内容和所述第二内容来动态地调整所述DMS中的所述第一帧率和所述第二帧率。
25.如权利要求23所述的主机设备，其特征在于，所述DMS生成器从应用截取所述第一内容并且从所述主机设备中的显示缓冲器捕捉所述第二内容。
26.如权利要求25所述的主机设备，其特征在于，所述DMS生成器基于所述第一内容和所述第二内容来动态地减小与从所述显示缓冲器捕捉所述第二内容相关联的捕捉率。
27.如权利要求25所述的主机设备，其特征在于，所述DMS生成器使用编码器来编码所述DMS中的所述第二内容。
28.如权利要求23所述的主机设备，其特征在干，所述第一区域和所述第二区域皆包括交叠区域，所述DMS生成器 在所述DMS中生成标识所述第一内容或所述第二内容中的哪ー者在所述交叠区域中处于顶层的信息。
29.如权利要求28所述的主机设备，其特征在于，所述DMS生成器減少或消除所述第一内容或所述第二内容在所述交叠区域中的数据，其中被減少或消除的数据在所述交叠区域中处于其他数据以下。
30.如权利要求23所述的主机设备，其特征在于，所述DMS生成器从应用截取所述第一内容或者所述第二内容。
31.如权利要求30所述的主机设备，其特征在于，所述DMS生成器 确定从所述应用截取所述第一内容或者所述第二内容是不可能的；以及 响应于确定从所述应用截取所述第一内容或者所述第二内容是不可能的而直接从所述主机设备处的显示缓冲器生成包括所述第一内容和所述第二内容的信号合成流(SCS)。
32.如权利要求23所述的主机设备，其特征在于，所述第一内容包括视频序列并且所述第二内容包括非视频应用的输出。
33.如权利要求32所述的主机设备，其特征在于，所述第一帧率大于所述第二帧率。
34.如权利要求23所述的主机设备，其特征在于，所述第一内容包括视频序列并且所述第二内容包括图形用户界面元素。
35.如权利要求23所述的主机设备，其特征在于，所述DMS生成器响应于用户输入而将所述DMS调整成仅包括所述第一内容或所述第二内容中的一者。
36.如权利要求23所述的主机设备，其特征在于，所述DMS生成器 确定所述主机设备与所述客户机设备之间可用的带宽；以及 基于所述可用的带宽来调整所述第一帧率和所述第二帧率中的一者或两者。
37.如权利要求23所述的主机设备，其特征在于，所述DMS生成器 确定所述主机设备与所述客户机设备之间可用的带宽；以及 基于所述可用的带宽来动态地编码所述第一内容和所述第二内容中的一者或两者。
38.如权利要求23所述的主机设备，其特征在于，所述DMS生成器动态地编码所述第一内容和所述第二内容中的一者或两者。
39.ー种视频显示系统的客户机设备，所述客户机设备包括 传输单元，所述传输单元从主机设备接收分解式多流(DMS)，其中所述DMS定义显示窗的第一区域中的第一内容和所述显示窗的第二区域中的第二内容，其中所述第一内容定义所述DMS中的第一帧率并且所述第二显示内容定义所述DMS中的第二帧率，所述第一帧率不同于所述第二帧率； 显示单元；以及 DMS呈现单元，所述DMS呈现单元在所述显示単元上呈现所述第一显示内容和所述第ニ显示内容。
40.如权利要求39所述的客户机设备，其特征在于，所述第一内容包括视频序列并且所述第二内容包括非视频应用的输出。
41.如权利要求40所述的客户机设备，其特征在于，所述第一帧率大于所述第二帧率。
42.如权利要求39所述的客户机设备，其特征在于，所述第一内容包括视频序列并且所述第二内容包括图形用户界面元素。
43.如权利要求39所述的客户机设备，其特征在于，所述显示単元包括被配置成不同于所述第二内容地缓冲所述第一内容的缓冲器。
44.如权利要求39所述的客户机设备，其特征在于，所述呈现単元被配置成对由所述显示单元进行的对所述第一内容的显示和由所述显示单元进行的对所述第二内容的显示应用不同的等待时间规则。
45.ー种包括指令的计算机可读存储介质，所述指令一旦在视频显示系统的主机设备的处理器中执行就使所述主机设备 生成分解式多流(DMS)，其中所述DMS定义显示窗的第一区域中的第一内容和所述显示窗的第二区域中的第二内容，其中所述第一内容定义所述DMS中的第一帧率并且所述第ニ显示内容定义所述DMS中的第二帧率，所述第一帧率不同于所述第二帧率；以及 从主机设备向所述视频显示系统的客户机设备传达所述DMS。
46.ー种包括指令的计算机可读存储介质，所述指令一旦在视频显示系统的客户机设备的处理器中执行就使所述客户机设备 从所述视频显示系统的主机设备接收分解式多流(DMS)，其中所述DMS定义显示窗的第一区域中的第一内容和所述显示窗的第二区域中的第二内容，其中所述第一内容定义所 述DMS中的第一帧率并且所述第二显示内容定义所述DMS中的第二帧率，所述第一帧率不同于所述第二帧率， 在所述客户机设备上呈现所述第一显示内容和所述第二显示内容。
47.一种视频显示系统的主机设备，所述主机设备包括 用于生成分解式多流(DMS)的装置，其中所述DMS定义显示窗的第一区域中的第一内容和所述显示窗的第二区域中的第二内容，其中所述第一内容定义所述DMS中的第一帧率并且所述第二显示内容定义所述DMS中的第二帧率，所述第一帧率不同于所述第二帧率；以及 用于从所述主机设备向所述视频显示系统的客户机设备传达所述DMS的装置。
48.ー种视频显示系统的客户机设备，所述客户机设备包括 用于从所述视频显示系统的主机设备接收分解式多流(DMS)的装置，其中所述DMS定义显示窗的第一区域中的第一内容和所述显示窗的第二区域中的第二内容，其中所述第一内容定义所述DMS中的第一帧率并且所述第二显示内容定义所述DMS中的第二帧率，所述第一帧率不同于所述第二帧率；以及 用于在所述客户机设备上呈现所述第一显示内容和所述第二显示内容的装置。
全文摘要
本公开描述能够改善由视频显示系统的主机设备生成分解式多流(DMS)和由视频显示系统的客户机设备显示DMS的技术。这些技术可对DMS内的不同流应用不同的帧率，并且这些帧率可取决于内容。例如，DMS内的一个流可包括可按相对较高的帧率来呈现的全运动视频信息序列。然而，DMS内的另一流可以与显示的背景、各种图形用户界面控制窗或元素、或者包括非视频内容(诸如电子邮件或文档)的显示窗相关联。可以用比用于全运动视频信息序列的帧率慢得多的帧率来呈现DMS中的第二流。
文档编号G06F3/14GK102656551SQ201080057871
公开日2012年9月5日 申请日期2010年12月14日 优先权日2009年12月14日
发明者F·肖卡特, K·拉贾马尼, X·王 申请人:高通股份有限公司