在显示器-服务器计算系统中重定向音频和视频数据流的系统和方法与流程

相关申请的交叉引用

本申请享有以下申请的优先权权益，该申请同样正在审查中，与本申请有至少一个相同的发明人，并且通过引用并入本申请中：2018年3月22日提交的的第62/646,429号美国临时专利申请，题为“systemandmethodforredirectingaudioandvideodatastreamsinadisplay-servercomputingsystem”(在显示器-服务器计算系统中重定向音频和视频数据流的系统和方法)。

本发明总体上涉及计算系统，更具体地说，涉及显示器-服务器系统和通信网络。

背景技术：

终端用户计算软件程序及其操作(即应用程序)传统上是在终端用户设备自身上进行处理(即，运行)的，例如，运行个人计算机(pc)的应用程序的个人计算机、在智能手机上运行应用程序的智能手机、在操控器上运行游戏应用程序的游戏机，等等。一种不同的方法是在位于数据中心的服务器上运行终端用户应用程序。这些服务器运行的应用程序通过终端用户设备与服务器之间的通信连接，被传送给终端用户设备，例如所描述的那些设备，或者甚至是处理能力有限的显示设备。在美国专利第8,700,723号中描述了这种显示器-服务器系统。当服务器上运行的应用程序从外部源接收到音频和视频时，这些音频和视频数据必须由服务器传递到终端用户显示设备上。所需的网络带宽包括数据传输到服务器所占用的带宽，以及数据由服务器传输到终端用户设备所占用的带宽。实际上，带宽需求增加了一倍。

参照图1，常规系统100的非排他性示例包括直接在设备106(诸如终端用户计算机、智能电话、操控器或其他设备)上运行的应用单元105。设备106以通信方式连接到网络102。系统100详细描述了非显示器-服务器系统的典型用法，其中，设备106需要大量的处理和存储以操作应用单元。在设备106上运行的应用单元105要求能够从按通信方式连接于网络102的音频/视频服务器101获取音频/视频数据。设备106将对网络102上的音频/视频信息的请求103发送到音频/视频服务器101上。音频/视频服务器101作出响应，将所需音频/视频数据113通过网络102传送到设备106。设备106的应用单元105接收音频/视频数据113，并将其存储在设备106的缓存器112中。当在缓存器112中有足够的音频/视频数据时，应用单元105向设备106的解码器110发出指令107以开始解码。解码器的输出被显示在显示器109上。

在显示器-服务器计算系统中，服务器计算机操作应用单元。当需要音频和/或视频数据来操作应用单元时，服务器计算机通常通过网络联系音频/视频服务器计算机并请求音频/视频数据。音频/视频数据由音频/视频服务器计算机通过网络发送给操作应用单元的服务器计算机。然后，操作应用单元的服务器计算机必须将用于应用单元操作的音频/视频数据发送给用户设备，诸如显示器、个人计算机、智能电话、操控器或其他设备。用户设备与服务器计算机进行通信，并且服务器计算机传送与服务器计算机上正在操作的应用单元相关联的音频/视频数据。在这种传统的显示器-服务器计算系统中，带宽要求非常重要，因为音频/视频数据必须由服务器计算机检索并由服务器计算机传输给用户设备。

向终端用户设备(例如，个人计算机、智能手机、操控器、或者甚至是具有有限处理能力的显示器或其它设备)提供更有效和优化的音频和视频数据流，对本技术领域而言将是一项重大进步。

技术实现要素：

本发明的一个实施例是一种系统，该系统包括：服务器计算机，其运行该服务器计算机上的应用单元；用户设备，其按通信方式连接至服务器计算机；以及另一服务器计算机，其能够传输音频和视频数据。应用单元的服务器计算机和用户设备均包括用于解密音频和视频数据的解码器。

运行应用单元的服务器计算机需要来自音频/视频数据的另一台服务器计算机的音频/视频数据，以用于操作应用单元(通常，音频/视频数据的另一台服务器计算机与运行应用单元的服务器/计算机不同，虽然在实施例中，同一服务器可以承载应用单元并提供音频/视频数据)。要求获取该音频/视频数据的请求与音频/视频服务器计算机的标识符一起，由运行应用单元的服务器计算机发送给用户设备。用户设备将该请求转发到音频/视频服务器计算机。音频/视频服务器计算机以所需的音频/视频数据对用户设备作出响应。用户设备接收音频/视频数据并将其存储在缓存器中。音频/视频数据还由用户设备重定格式，以便仅包括运行应用单元的服务器计算机操作应用单元所需的数据，而不包括解码器所需的数据。这大大减小了重定格式的数据的音频/视频数据大小。所述重定格式的数据由用户设备传输给应用单元的服务器计算机，用于操作应用单元。

应用单元的服务器计算机接收重定格式的音频/视频数据，并将该数据转换回标准格式，然后再将音频/视频数据传递至应用单元。对于在服务器计算机上操作的应用单元而言，这种音频/视频数据与从音频/视频服务器计算机发送给用户设备的原始音频/视频数据是无法区分的。在服务器计算机上运行的应用单元将此音频/视频数据存储在缓存器中，并按正常方式用来操作应用单元。当缓存器中有足够的音频/视频数据时，应用单元向服务器计算机的解码器发出指令以开始解码。解码指令被转发到用户设备，诸如显示设备，然后用户设备的解码器将开始对来自用户设备本地缓存器的音频/视频进行解码。因此，由用户设备的解码器使用的音频/视频数据是从音频/视频服务器发送的实际音频/视频数据，并且用户设备向服务器发送的音频/视频数据量非常有限。

附图说明

在附图中通过示例而非限制的方式对本发明进行了图解说明，附图中相似的附图标记指示相似的元件，其中：

图1示出了根据本发明某些实施例的系统，该系统能在服务器计算机的数据通信网络上操作，服务器计算机运行由用户或传统显示器-服务器系统的显示系统访问的应用程序；

图2示出了根据本发明某些实施例的系统，该系统能在服务器计算机的数据通信网络上操作，服务器计算机运行由用户或显示系统访问的应用程序，其中，是用户或显示系统，而不是服务器计算机，从音频/视频服务器计算机获得音频/视频数据，并且用户或显示系统将重定格式的音频/视频数据输送到服务器计算机，以供正在运行的应用程序使用；以及

图3示出了根据本发明某些实施例的示例性音频/视频数据流，包括重定格式的音频/视频数据流和重构的音频/视频数据流，数据流被传送给用户或显示设备以及服务器计算机，并由用户或显示设备以及服务器计算机进行使用，服务器计算机运行由用户或显示设备访问的应用程序。

具体实施方式

参照图2，系统200的一种非排他性示例实施例包括服务器计算机215。服务器计算机215包括或例如通过数据通信网络按通信方式连接至应用单元224。通过示例而非限制的方式，服务器计算机215包括处理器223、缓存器222和重定格式模块214。应用单元224还包括解码器。应用单元224在服务器计算机215上运行。

应用单元224的服务器计算机215按通信方式连接至一个或多个网络202、213，网络可以是相同的或不同的网络，并且在每种情况下都可以包括例如有线和/或无线数据网络等通信网络的组合。

音频/视频数据服务器计算机201按通信方式连接至一个或多个网络202、213。在该示例实施例中，网络202可以与网络213相同或不同。作为非排他性示例，音频/视频服务器计算机201可以包括处理器、缓存器和存储器。音频/视频数据服务器计算机201通过网络202传输表示音频和视频信息的数据，该数据能够由服务器计算机215的应用单元224使用，也能够由用户设备204使用，诸如显示器、个人计算机、智能手机、操控器或其他设备等，用于输出显示或音频。

用户设备204按通信方式经由网络202连接于音频/视频服务器计算机201，并且经由网络213连接于服务器计算机215。网络202、213可以整体或部分相同或不同。作为非排他性示例，用户设备204包括控制/处理器206、缓存器204、解码器210、显示器209或其他输出设备、以及重定格式模块211。如果适用，用户设备204可以包括其他或替代元件。用户设备204可以但不必具有有限的存储和处理能力。在该示例实施例中，在服务器计算机215上操作的应用单元224由用户设备204通过网络213访问，以为用户设备204提供运行的应用程序。

在操作中，服务器计算机215按可控方式操作应用单元224以供用户设备204访问。在这样的操作中，应用单元224需要音频/视频数据。音频/视频数据可从音频/视频数据服务器计算机201获得。服务器计算机215在网络213上按通信方式向用户设备204发送获取该音频/视频数据的请求217，以及音频/视频服务器201的标识符。用户设备204经由处理器206接收请求217。用户设备204在网络202上按通信方式将请求202转发给音频/视频服务器201。音频/视频服务器201通过网络202用所需的音频/视频数据203对用户设备204作出响应。用户设备204接收音频/视频数据201并将其存储在缓存器204中。音频/视频数据203还由用户设备204重定格式211，以便仅包括应用单元224用于其操作所需的数据，而不包括服务器计算机215的解码器所需的数据。重定格式211的音频/视频数据的大小显著小于用户设备204从音频/视频服务器201接收的原始音频/视频数据。重定格式的数据212由用户设备204通过网络213发送给服务器计算机215。

服务器计算机215通过网络213从用户设备204接收所述重定格式的数据212。服务器计算机215通过将数据212转换回由用户设备204接收的原始音频/视频数据203的标准格式，来处理重定格式的数据212。服务器计算机215的重定格式模块214接收重定格式的数据212。重定格式模块214将重定格式的数据214转换回音频/视频数据220的标准格式，该标准格式与原始音频/视频数据203基本相同。来自重定格式模块214的转换后数据，即音频/视频数据220，被重定格式模块214传送给服务器计算机215的应用单元224。音频/视频数据220对于应用单元224而言是无法与从音频/视频服务器201发送的原始音频/视频数据203相区分的。应用单元224将音频/视频数据220存储在缓存器222中，然后音频/视频数据220被用于应用单元224所进行的操作。当缓存器222中有足够的音频/视频数据220时，应用单元224向服务器计算机的解码器发出指令218，以开始对音频/视频数据220进行解码。解码指令218由服务器计算机215在网络213上转发到用户设备204，然后用户设备204的解码器210对存储在用户设备的本地缓存器204中的原始音频/视频数据203进行解码。解码器210的输出被显示在显示器209上，作为音频输出，或者根据音频/视频数据203的性质由用户设备204以其他方式输出。

因此，解码器210使用的音频/视频数据203是由音频/视频服务器201发送给用户设备204的实际音频/视频数据203。用户设备204发送给服务器计算机215的音频/视频数据212明显小于原始音频/视频数据203。通信的带宽要求降低了。

结合图2，并参考图3，系统300的一个非排他性示例实施例针对前述示例中的音频/视频数据包括三种数据格式。这三种数据格式包括接收的音频/视频数据流203、发送的音频/视频流220和重构的音频/视频数据流220。接收的音频/视频数据流203由用户设备204从音频/视频服务器201接收。

用户设备204对接收的音频/视频数据流203重定格式，转换为发送的音频/视频数据流203。重定格式包括将信息数据303和标头数据304直接复制到发送的音频/视频数据212。然后，将解码器数据306转换为cookie305(网络饼干)和长度307。对于接收的音频/视频数据流203的每一段都重复该过程。

发送的音频/视频数据212由服务器计算机215从用户设备204接收。所述服务器计算机215将来自用户设备204的发送的音频/视频数据212重定格式214为重构的音频/视频数据流220。所述重定格式包括将信息数据310、标头数据311和cookie312数据直接复制到重构的音频/视频数据流220。然后通过使用长度313，在重构的音频/视频数据流220中创建该数量的填充数据316。对于发送的音频/视频数据212的每一段都重复该过程。

接收的音频/视频数据流203的长度301和重构的音频/视频数据流220的长度301完全相同。发送的音频/视频数据流212的长度308比接收的音频/视频数据流203小得多。

在前述说明书中，已经参考特定实施例描述了本发明。然而，本领域的普通技术人员应理解，在不脱离如以下权利要求书阐述的本发明范围的情况下，可以进行各种修改和改变。因此，说明书和附图应被认为是说明性的而不是限制性的，并且所有这样的修改都是意图包括在本发明的范围内。

上面已经针对特定实施例描述了益处、其他优点和问题的解决方案。但是，益处、优点、问题的解决方案，以及可能导致任何益处、优点或解决方案出现或变得更加明显的设备、连接和元件，都不应视为是任何或所有权利要求的至关重要的、所要求的或必要的特征或元素。如本文所使用的，术语“包括”、“包含”或任何其他变型，旨在覆盖非排他性包含内容，使得包括一系列元素的过程、方法、物品或装置不仅仅包括那些元素，还可能包括未明确列出的或此类过程、方法、物品或装置固有的其他元素。