3可决定GUI引擎1319是否发送原语调用给显示驱动器模块1323。
[0183]客户端200可基于运行表示为远程用户界面(user interface，UI)应用1317的应用的架构实现，远程用户界面(user interface，UI)应用1317可负责使用第二通信会话1315接收请求信号，以便显示来自如结合图1所描述的服务器100等服务器的元素文本。这可实现以便发送请求信号给本地GUI引擎1319，其中可使用能够将元素文本呈现为位图或呈现在矢量表示中的GUI引擎1319的子集，以及以便发送指示来自按键按下和/或释放事件等的用户输入的请求信号给服务器100，例如，来自在服务器100上运行的应用1201所使用的远程控制或任意输入设备。
[0184] 远程用户界面(user interface，UI)应用1317的另一作用可为将有序对(timestamp_text_i，text_display_request_i)传送给文本同步器1313。文本同步器1313可将请求排队和分类。来自解码器引擎1303的时间戳值等定时表可作为时间参考提供以便读取队列。文本同步器1313可决定是否允许或阻止来自GUI引擎1319的低层显示请求信号，这些低层显示请求信号已通过使用组合器1321进行过滤来继承了最高层显示请求信号的定时表，例如时间戳。因此，显示驱动器模块1323可仅在图形层模块1325显示元素文本显示请求信号有意义时接收元素文本显示请求信号。
[ΟΙ85] 通过第一通信会话1301，可使用远程帧缓冲器(remote framebuffer，RFB)协议接收像视频流一样的帧缓冲器的内容，该内容不具有图形用户界面元素的呈现元素文本等。解码器引擎1303可解码视频流，并可通过视频驱动器模块1305向视频层模块1307提供视频。当存在例如使用画中画(picture in picture，PIP)功能的视频元素嵌入图形用户界面(graphical user interface，GUI)中时，可使用第三通信会话1327和另一解码器引擎1329ο
[0186]组合器1309可用于合并层，其中这些层可包括图形用户界面的三个部分。第一层可包括图形用户界面元素的元素文本。第二层可包括图形用户界面元素的元素形状或图形。第三层可包括图形用户界面的视频元素。
[0187]对于如结合图12和图13所描述的第一通信会话1215、1301，可应用包松散处理机制而非TCP(Transmiss1n Control Protocol，传输控制协议)，以便实现低延迟。例如，可应用结合对丢失的视频数据包的重传请求的UDP(User Datagram Protocol，用户数据报协议)。对于如结合图12和图13所描述的第二通信会话1223、1315，可应用1^?(1'作1181^881011Control Protocol，传输控制协议)。如结合图12和图13所描述的第三通信会话1229、1327可用于在客户端200中使用解码器的其它视频数据。其它视频数据可由第三方视频服务器提供。
[0188]实施例涉及向具有元素文本呈现能力的例如包括媒体播放器的客户端200提供远程图形用户界面。实施例涉及减少图形用户界面的例如快速活动菜单的编码负载。例如，通过在服务器100处使用约束编码资源可在客户端200等纯零客户端上无缝呈现渐显和/或渐隐效果。
[0189]服务器100可使用硬件编码器。然而，资源的共享可限制可扩展性。除了提供用于呈现图形用户界面元素的服务器资源，还可为每个客户端使用一个硬件编码器。
[0190]实施例可减少用于编码服务器100的帧缓冲器的资源，并使得当使用零或近零客户端技术保持服务器100上的主要呈现时在服务器100等约束资源服务器上使用软件编码成为可能。服务器100等约束资源服务器可涉及可能不同时为所有客户端请求提供处理并且可能必须推迟处理或可能必须通过降低服务质量来减轻处理负载的服务器。
[0191]实施例可省略元素文本在服务器100上的提供和/或呈现，并将元素文本传输给客户端200以将其本地提供和/或呈现在客户端200处。由于元素文本可不在服务器100的帧缓冲器中绘制，即，可表示为字形像素矩阵的字符可不复制到帧缓冲器中，所以压缩比可以更佳，这是因为文本通常创造DCT(Discrete Cosine Transform，离散余弦变换)编码过程不可移除的尚频。
[0192]由于压缩比可更佳，所以帧率可提高以便在不提高数据速率或带宽的情况下支持快速动态⑶I (Graphic User Interface，图形用户界面)，例如菜单渐显和/或渐隐。用于传送元素文本绘制消息的数据的附加传输相比于完整的帧传输可忽略不计。
[0193]本发明的实施例的实施方式可基于0penGL(0pen Graphics Library，开放图形库)，其中顶级API(Applicat1n Programming Interface，应用编程接口)调用在服务器100上可省略，且可例如使用面向RPC (Remo te Procedure Ca 11，远程过程调用)的协议将调用传送给客户端200。这可意味着应用编程接口(applicat1n programming interface，API)实施方式可由对等价但远程的功能的调用替代。
[ΟΙ94] 实施例能够提供客户端200，例如vSTB(virtual Set Top Box，虚拟机顶盒)，这可依赖客户端200处有限的图形能力，同时能够以有效的方式提供和/或呈现例如包括图片动画、字体平滑或阴影的富图形用户界面(graphical user interface，GUI)。客户端200可基于互联网和/或基于云。
[0195]真或纯零客户端技术可以使客户端便宜但可能有以下约束。其可能基于单流，例如，包括视频和覆盖图形用户界面(graphical user interface，⑶I)两者的一个MPEG视频流。这可导致服务器上的负载增加，该服务器出于可扩展性原因可能不可行。其还可能基于双流，例如，用于视频的一个MPEG视频流和用于图形用户界面的一个MPEG视频流。这可导致质量和可扩展性之间的选择。例如，对于动画，系统可使用几乎无损的编解码器以30fps的速度编码，从用户体验的视角来看，该编解码可能是不需要的。一种方案可为混合使用零客户端和客户端200处的图形用户界面元素的元素文本的本地呈现。
[0196]元素文本数据可根据ITU-TT.128文本消息格式格式化。图形用户界面元素的元素形状可由如结合图1描述的服务器100呈现。图形用户界面元素的元素文本可由如结合图2描述的客户端200呈现。
【主权项】
1.一种用于通过通信网络(301)向客户端(200)提供图形用户界面(600)的服务器(100)，其特征在于，所述图形用户界面(600)包括图形用户界面元素(601)，所述图形用户界面元素(601)由元素形状(603)和元素文本(605)组成，所述元素形状(603)通过元素形状数据表示，所述元素文本(605)通过元素文本数据表示，所述服务器(100)包括: 编码器(101)，用于将所述元素形状数据编码为视频数据； 检测器(103)，用于检测与所述图形用户界面(600)内的所述图形用户界面元素(601)有关的变化;以及 通信接口(105)，用于通过所述通信网络(301)分别传输所述视频数据和所述元素文本数据，所述元素文本数据在检测到与所述图形用户界面元素(601)有关的所述变化后传输以向所述客户端(200)提供所述图形用户界面(600)。2.根据权利要求1所述的服务器(100)，其特征在于，所述图形用户界面(600)还包括视频元素(607)，所述视频元素(607)通过其它视频数据表示，以及所述通信接口(105)用于通过所述通信网络(301)分别传输所述其它视频数据、所述视频数据和所述元素文本数据。3.根据任一前述权利要求所述的服务器(100)，其特征在于，所述视频数据包括指示所述视频数据的有效期的第一定时表，以及所述元素文本数据包括指示所述元素文本数据的有效期的第二定时表。4.根据任一前述权利要求所述的服务器(100)，其特征在于，所述编码器(101)用于基于所述元素形状数据生成若干视频帧以将所述元素形状数据编码为所述视频数据，所述若干视频帧用于组成所述视频数据。5.根据任一前述权利要求所述的服务器(100)，其特征在于，所述服务器(100)包括用于将所述元素文本(605)编码为纯文本数据和布局数据的文本编码器，所述布局数据指示文本大小、文本字体或所述元素文本(605)在所述图形用户界面元素(601)内的文本路径，所述纯文本数据和所述布局数据组成所述元素文本数据。6.根据权利要求1至5所述的服务器(100)，其特征在于，所述服务器(100)包括用于将所述元素文本(605)编码为图像数据的图像编码器，所述图像数据表示所述图形用户界面元素(601)的所述元素文本(605)的图像，所述图像数据组成所述元素文本数据。7.根据任一前述权利要求所述的服务器(100)，其特征在于，所述通信接口(105)用于接收请求信号，所述请求信号请求与所述图形用户界面(600)内的所述图形用户界面元素(601)有关的变化，以及所述通信接口(105)用于在接收所述请求信号后通过所述通信网络(301)分别传输所述视频数据和所述元素文本数据。8.根据任一前述权利要求所述的服务器(100)，其特征在于，所述图形用户界面元素(601)包括窗口元素、文本框元素、按钮元素、图标元素、列表框元素、菜单元素或轮播菜单元素。9.根据任一前述权利要求所述的服务器(100)，其特征在于，与所述图形用户界面元素(601)有关的所述变化包括所述图形用户界面(600)内的所述图形用户界面元素(601)的重新布置、所述图形用户界面(600)内的所述图形用户界面元素(601)的缩放或所述图形用户界面(600)内的所述图形用户界面元素(601)的所述元素文本(605)的修改。10.—种用于通过通信网络(301)从服务器(100)获取图形用户界面(600)的客户端(200)，其特征在于，所述图形用户界面(600)包括图形用户界面元素(601)，所述图形用户界面元素(601)由元素形状(603)和元素文本(605)组成，所述元素形状(603)通过元素形状数据表示，所述元素文本(605)通过元素文本数据表示，所述客户端(200)包括: 通信接口(201)，用于通过所述通信网络(301)分别接收视频数据和所述元素文本数据，所述元素形状数据被编码为所述视频数据；以及 组合器(203)，用于组合所述视频数据与所述元素文本数据以从所述服务器(100)获取所述图形用户界面(600)。11.根据权利要求10所述的客户端(200)，其特征在于，所述图形用户界面(600)还包括视频元素(607)，所述视频元素(607)通过其它视频数据表示，所述通信接口( 201)用于通过所述通信网络(301)分别接收所述其它视频数据、所述视频数据和所述元素文本数据，以及所述组合器(203)用于组合所述其它视频数据与所述视频数据及所述元素文本数据。12.根据权利要求10或11所述的客户端(200)，其特征在于，所述视频数据包括指示所述视频数据的有效期的第一定时表，所述元素文本数据包括指示所述元素文本数据的有效期的第二定时表，所述客户端(200)包括用于基于所述第一定时表和所述第二定时表将所述视频数据与所述元素文本数据同步的同步器，以及所述组合器(203)用于在所述视频数据与所述元素文本数据同步后组合所述视频数据与所述元素文本数据。13.根据权利要求10或12所述的客户端(200)，其特征在于，所述客户端(200)包括检测器，用于检测对与所述图形用户界面(600)内的所述图形用户界面元素(601)有关的变化的请求以获得请求信号，以及所述通信接口(201)用于在检测到对与所述图形用户界面元素(601)有关的所述变化的所述请求后通过所述通信网络(301)传输所述请求信号。14.一种用于通过通信网络(301)向客户端(200)提供图形用户界面(600)的方法(400)，其特征在于，所述图形用户界面(600)包括图形用户界面元素(601)，所述图形用户界面元素(601)由元素形状(603)和元素文本(605)组成，所述元素形状(603)通过元素形状数据表示，所述元素文本(605)通过元素文本数据表示，所述方法(400)包括: 将所述元素形状数据编码(401)为视频数据； 检测(403)与所述图形用户界面(600)内的所述图形用户界面元素(601)有关的变化；以及 通过所述通信网络(301)分别传输(405)所述视频数据和所述元素文本数据，所述元素文本数据在检测到与所述图形用户界面元素(601)有关的所述变化后传输以向所述客户端(200)提供所述图形用户界面(600)。15.—种用于通过通信网络(301)从服务器(100)获取图形用户界面(600)的方法(500)，其特征在于，所述图形用户界面(600)包括图形用户界面元素(601)，所述图形用户界面元素(601)由元素形状(603)和元素文本(605)组成，所述元素形状(603)通过元素形状数据表示，所述元素文本(605)通过元素文本数据表示，所述方法(500)包括: 通过所述通信网络(301)分别接收(501)视频数据和所述元素文本数据，所述元素形状数据被编码为所述视频数据；以及 组合(503)所述视频数据与所述元素文本数据以从所述服务器(100)获取所述图形用户界面(600)。16.一种包括程序代码的计算机程序，其特征在于，当所述计算机程序在计算机上执行时，用于执行根据权利要求14或15中的任一权利要求所述的方法(400; 500)。
【专利摘要】本发明涉及一种用于通过通信网络向客户端提供图形用户界面的服务器(100)，所述图形用户界面包括图形用户界面元素，所述图形用户界面元素由元素形状和元素文本组成，所述元素形状通过元素形状数据表示，所述元素文本通过元素文本数据表示；所述服务器(100)包括用于将所述元素形状数据编码为视频数据的编码器(101)，用于检测与所述图形用户界面内的所述图形用户界面元素有关的变化的检测器(103)，以及用于通过所述通信网络分别传输所述视频数据和所述元素文本数据的通信接口(105)，其中所述元素文本数据在检测到与所述图形用户界面元素有关的所述变化后传输以向所述客户端提供所述图形用户界面。此外，本发明涉及一种客户端。
【IPC分类】H04N21/43, H04N21/44, H04N21/234, H04N21/8547, H04N21/431
【公开号】CN105637886
【申请号】CN201480046301
【发明人】金-皮埃尔·莫拉尔, 埃兰·甘佩尔
【申请人】华为技术有限公司
【公开日】2016年6月1日
【申请日】2014年9月25日
【公告号】WO2016045729A1