用于向客户端提供图形用户界面的服务器，以及客户端的制作方法
【技术领域】
[0001]本发明涉及计算机图形领域，尤其涉及图形用户界面的呈现。
【背景技术】
[0002]众多应用主要关注的是通过通信网络提供图形用户界面。例如在将多媒体内容从服务器流式传输到客户端时提供图形用户界面。
[0003]图形用户界面可包括不同的图形用户界面元素，这些元素可允许用户控制客户端的功能。图形用户界面常被称为远程图形用户界面，这是因为图形用户界面的呈现通常由服务器远程进行。因此，可通过通信网络将呈现的图形用户界面从服务器传送到客户端。
[0004]服务器处图形用户界面的呈现通常包括在服务器的帧缓冲器内处理整个图形用户界面。然后，可编码帧缓冲器的内容以将图形用户界面传送给客户端。为此，通常在服务器处使用硬件加速器。
[0005]然而，在连接客户端的数量不断增长的情况下，普通技术的可扩展性不足。此外，在服务器处呈现整个图形用户界面会导致编码效率降低。
【发明内容】
[0006]本发明的目的是提供一种用于通过通信网络从服务器向客户端提供图形用户界面的高效概念。
[0007]该目的由独立权利要求的特征来实现。其它实施形式在从属权利要求、具体说明和附图中显而易见。
[0008]本发明基于如下发现:可以通过分别提供图形用户界面元素的元素形状和元素文本来更高效地提供所述图形用户界面内的所述图形用户界面元素。所述元素形状通过视频数据表示并由所述服务器编码。所述元素文本通过元素文本数据表示，所述元素文本数据在检测到与所述图形用户界面元素有关的变化后与所述视频数据分别从所述服务器传输到所述客户端。所以，所述视频数据和所述元素文本数据在客户端接收并组合。因此，可实现所述图形用户界面的高压缩比和编码效率。
[0009]根据第一方面，本发明涉及一种用于通过通信网络向客户端提供图形用户界面的服务器，所述图形用户界面包括图形用户界面元素，所述图形用户界面元素由元素形状和元素文本组成，所述元素形状通过元素形状数据表示，所述元素文本通过元素文本数据表示;所述服务器包括用于将所述元素形状数据编码为视频数据的编码器，用于检测与所述图形用户界面内的所述图形用户界面元素有关的变化的检测器，以及用于通过所述通信网络分别传输所述视频数据和所述元素文本数据的通信接口，其中所述元素文本数据在检测到与所述图形用户界面元素有关的所述变化后传输以向所述客户端提供所述图形用户界面。这样，可实现一种用于通过通信网络从服务器向客户端提供图形用户界面的高效概念。
[0010]所述编码器可用于编码所述服务器的帧缓冲器，其中所述帧缓冲器包括所述元素形状而不包括所述元素文本。所述帧缓冲器可为虚拟帧缓冲器。所述编码器可用于使用MPEG-4,1 TU-T Η.264或ITU-T H.265等视频编解码器将所述元素形状数据编码为视频数据。
[0011]所述检测器可用于通过监控所述图形用户界面元素来检测与所述图形用户界面元素有关的所述变化。所述图形用户界面元素的所述元素形状和所述元素文本可由应用分别提供。
[0012]所述通信接口可用于通过所述通信网络建立所述服务器和所述客户端之间的通信链路。所述通信链路可基于TCP(Transmiss1n Control Protocol，传输控制协议)协议和/或UDP(User Datagram Protocol，用户数据报协议)协议。所述通信网络可为互联网。
[0013]所述视频数据可作为视频流通过所述通信网络传输。可使用MPEG-4、ITU-T H.264或ITU-T H.265等视频编解码器压缩所述视频数据。可使用MPEG-TS或MPEG-DASH等音频和/或视频流协议通过所述通信网络将所述视频数据传输给所述客户端。
[0014]所述检测器可用于在所述图形用户界面元素被复制到所述服务器的所述帧缓冲器之前检测与所述图形用户界面内的所述图形用户界面元素有关的所述变化。所述检测器可用于阻止所述元素文本在所述服务器的所述帧缓冲器中呈现和/或禁止将所述呈现的元素文本复制到所述服务器的所述帧缓冲器中。这样，所述检测器可用于在所述元素文本被复制到所述服务器的所述帧缓冲器之前通过所述服务器阻拦所述元素文本的呈现。
[0015]在根据如上所述第一方面的所述服务器的第一实施形式中，所述图形用户界面还包括视频元素，所述视频元素通过其它视频数据表示，其中所述通信接口用于通过所述通信网络分别传输所述其它视频数据、所述视频数据和所述元素文本数据。这样，可向所述客户端提供所述图形用户界面的视频元素。
[0016]在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第二实施形式中，所述视频数据包括指示所述视频数据的有效期的第一定时表，所述元素文本数据包括指示所述元素文本数据的有效期的第二定时表。这样，可在客户端实现所述视频数据和所述元素文本数据的及时同步。
[0017]所述第一定时表或所述第二定时表可包括时间戳。所述第一定时表或所述第二定时表可指示表示为日期、小时、分钟、秒和/或毫秒的有效期。所述视频数据的所述第一定时表可以是MPEG元数据的一部分。所述元素文本数据的所述第二定时表可通过时间文本标记语言等标记语言定义。
[0018]在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第三实施形式中，所述编码器用于基于所述元素形状数据生成若干视频帧以将所述元素形状数据编码为所述视频数据，所述若干视频帧用于组成所述视频数据。这样，可有效地编码所述元素形状数据。因为所述元素文本数据可能不是所述视频数据的一部分，所以可实现有效编码。
[0019]在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第四实施形式中，所述服务器包括文本编码器，用于将所述元素文本编码为纯文本数据和布局数据，所述布局数据指示文本大小、文本字体或所述元素文本在所述图形用户界面元素内的文本路径，所述纯文本数据和所述布局数据组成所述元素文本数据。这样，可有效地编码所述元素文本。
[0020]所述文本编码器可用于基于矢量图形格式或矢量图形表示将所述元素文本编码为纯文本数据和布局数据。所述文本编码器可用于根据开放矢量图形(Open VectorGraphics，0penVG)规范、可缩放矢量图形(Scalable Vector Graphics，SVG)规范、级联样式表(Cascading Style Sheets，CSS)规范或附录(Postscript，PS)规范将所述元素文本编码为纯文本数据和布局数据。
[0021]由所述纯文本数据和所述布局数据组成的所述元素文本数据可使用数据流协议等通过所述通信网络作为数据流传输给所述客户端。
[0022]所述检测器可用于基于所述矢量图形形式或矢量图形表示对于所述纯文本数据和/或所述布局数据阻拦和/或解释所述元素文本。所述检测器可用于根据所述开放矢量图形(Open Vector Graphics，OpenVG)规范、所述可缩放矢量图形(Scalable VectorGraphics，SVG)规范、所述级联样式表(Cascading Style Sheets，CSS)规范或所述附录(P0StSCript，PS)规范对于所述纯文本数据和/或所述布局数据阻拦和/或解释所述元素文本。
[0023]在根据如上所述第一方面或所述第一方面的所述第一实施形式到所述第四实施形式的所述服务器的第五实施形式中，所述服务器包括用于将所述元素文本编码为图像数据的图像编码器，所述图像数据表示所述图像用户界面元素的所述元素文本的图像，所述图像数据组成所述元素文本数据。这样，可有效地编码所述元素文本。
[0024]所述图像编码器可用于使用LZ4压缩、JPEG压缩、JPEG 2000压缩、JPEG XR压缩、WebP压缩和/或HEVC-MSP压缩将所述元素文本编码为图像数据。
[0025]由所述图像数据组成的所述元素文本数据可使用数据流协议等通过所述通信网络作为数据流传输给所述客户端。由所述图像数据组成的所述元素文本数据可以包括一套字形和/或一个标识。由所述图像数据组成的所述元素文本数据可仅包括一个标识。
[0026]所述检测器可用于在所述元素文本已在服务器上呈现之后但在其被复制到帧缓冲器或虚拟帧缓冲器之前中断所述元素文本的呈现。所述帧缓冲器或虚拟帧缓冲器可反映所述客户端的显示能力，其中，大小和/或颜色深度与所述服务器相比可不同。所述元素文本可解压并直接复制到所述客户端的帧缓冲器中，而不在所述客户端中使用任何字体引擎。
[0027]所述检测器可用于按所述纯文本数据、所述布局数据和/或所述图像数据拦截和/或解释所述检测器检测出的所述元素文本。所述纯文本数据、所述布局数据和/或所述图像数据可组成所述元素文本数据。
[0028]在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第六实施形式中，所述元素文本数据指示所述元素文本相对于所述图形用户界面元素的所述元素形状的位置、方向或移动。这样，可有效地指示所述元素文本和所述元素形状之间的相对布置或移动。
[0029]在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第七实施形式中，所述通信接口用于接收请求信号，所述请求信号请求与所述图形用户界面内的所述图形用户界面元素有关的变化，其中所述通信接口用于在接收所述请求信号后通过所述通信网络分别传输所述视频数据和所述元素文本数据。这样，在接收所述请求信号后可进行所述图形用户界面元素的更新。
[0030]所述请求信号可指示所述客户端处的用户事件。所述用户事件可以是所述用户的输入和/或所述用户在所述客户端处的击键。所述请求信号还可涉及所述服务器处的应用事件或系统事件，所述事件可发生在所述客户端处的呈现的元素文本上。
[0031]在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第八实施形式中，所述图形用户界面元素包括窗口元素、文本框元素、按钮元素、图标元素、列表框元素、菜单元素或轮播菜单元素。这样，可使用所述图形用户界面元素的标准化元素形状。所述图形用户界面元素可在二维(two-dimens1nal，2D)和/或三维(three-dimens1nal ，3D)表不中表不。
[0032]在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第九可能实施形式中，与所述图形用户界面元素有关的所述变化包括所述图形用户界面内的所述图形用户界面元素的重新布置、所述图形用户界面内的所述图形用户界面元素的缩放或所述图形用户界面内的所述图形用户界面元素的所述元素文本的修改。这样，可有效地检测与所述图形用户界面元素有关的所述变化。所述元素文本的所述修改可包括所述元素文本的刷新和/或所述元素文本的更新。
[0033]与所述图形用户界面元素有关的所述变化可涉及与所述元素文本和/或所述元素形状有关的变化。
[0034]与所述元素文本有关的所述变化可涉及纯文本数据和/或布局数据的变化，所述纯文本数据和/或布局数据指示用来绘制所述文本的文本大小、文本字体、文本路径、文本届IJ、文本像素色或透明度。与所述元素文本有关的所述变化还可涉及呈现的元素文本，或所述元素文本的图像。与所述元素形状有关的所述变化可涉及指示包括所述元素文本在内的所述元素形状的所述变化的语义信息，例如，从点A到点B的转换。
[0035]根据第二方面，本发明涉及用一种于通过通信网络从服务器获取图形用户界面的客户端，所述图形用户界面包括图形用户界面元素，所述图形用户界面元素由元素形状和元素文本组成，所述元素形状通过元素形状数据表示，所述元素文本通过元素文本数据表示;所述客户端包括用于通过所述通信网络分别接收视频数据和所述元素文本数据的通信接口，所述元素形状数据被编码为所述视频数据，以及用于组合所述视频数据与所述元素文本数据以从所述服务器获取所述图形用户界面的组合器。这样，可实现一种用于通过通信网络从服务器向客户端提供图形用户界面的高效概念。所述客户端可为瘦客户端或零客户端。
[0036]所述通信接口可用于通过所述通信网络建立所述服务器和所述客户端之间的通信链路。所述通信链路可基于TCP (Transmi ss 1n Control Protocol，传输控制协议)协议和/或UDP(User Datagram Protocol，用户数据报协议)协议。所述通信网络可为互联网。
[0037]所述组合器可用于基于所述视频数据生成视频层，基于所述元素文本数据生成文本层，以及将所述视频层与所述文本层合并以组合所述视频数据与所述元素文本数据。所述组合器可用于在所述客户端的帧缓冲器内组合所述视频数据与所述元素文本数据。
[0038]在根据如上所述第二方面的所述客户端的第一实施形式中，所述图形用户界面还包括视频元素，所述视频元素通过其它视频数据表示，其中所述通信接口用于通过所述通信网络分别接收所述其它视频数据、所述视频数据和所述元素文本数据，以及所述组合器用于组合所述其它视频数据与所述视频数据及所述元素文本数据。这样，可向所述客户端提供所述图形用户界面的视频元素。
[0039]所述组合器用于基于所述视频数据生成视频层，基于所述其它视频数据生成其它视频层，基于所述元素文本数据生成文本层，以及将所述视频层与所述其它视频层和所述文本层合并以组合所述其它视频数据与所述视频数据及所述元素文本数据。
[0040]在根据如上所述第二方面或根据所述第二方面的任一前述实施形式的所述客户端的第二实施形式，所述视频数据包括指示所述视频数据的有效期的第一定时表，所述元素文本数据包括指示所述元素文本数据的有效期的第二定时表，其中所述客户端包括用于基于所述第一定时表和所述第二定时表及时将所述视频数据与所述元素文本数据同步的同步器，以及所述组合器用于在所述视频数据与所述元素文本数据同步后组合所述视频数据与所述元素文本数据。这样，可实现所述视频数据和所述元素文本数据的及时同步。
[0041]所述同步器可用于比较所述第一定时表和所述第二定时表以便确定所述元素文本数据和所述视频数据之间的时间偏差。
[0042]在根据如上所述第二方面或根据所述第二方面的任一前述实施形式的所述客户端的第三实施形式中，所述客户端包括检测器，用于检测对与所述图形用户界面内的所述图形用户界面元素有关的变化的请求以获得请求信号，以及所述通信接口用于在检测到对与所述图形用户界面元素有关的所述变化的所述请求后通过所述通信网络传输所述请求信号。这样，在检测到与所述图形用户界面元素有关的变化后可开始所述图形用户界面元素的更新。
[0043]所述检测器可用于通过监控所述客户端处的事件来检测与所述图形用户界面元素有关的所述变化。
[0044]所述请求信号可指示所述客户端处的用户事件。所述用户事件可