流式传输应用的本机虚拟接口的自动实例化的制作方法

背景技术：

1、游戏流服务允许玩家通过在客户端设备上执行的接口与服务器上运行的游戏实例进行交互。从游戏服务器流式传输的游戏可以执行并继续本地处理和渲染游戏应用，同时(通过流式传输服务平台)将经渲染的视频、音频和/或其他游戏数据传输到远程客户端设备以呈现该游戏。用户可以向客户端设备提供输入，该输入被传送到游戏服务器并用于与游戏交互。由于游戏的实例正在游戏服务器中运行，所以游戏可被流式传输到游戏不是为其设计的客户端设备，这可能会导致用户体验的降低，因为不同的客户端设备可能依赖于不同的输入接口。例如，桌面游戏通常不是为移动或平板设备设计的，这些设备通常缺乏物理键盘和鼠标。因此，一些客户端设备可以使用触摸屏和基于软件的“软”或“虚拟”键盘，它们出现在显示屏幕的一部分上以代替物理键盘向用户提供输入界面。因为软键盘显示在设备的屏幕上--或者作为来自应用或游戏的其他图形数据的可视化之上的覆盖(例如，遮挡)或者以其他方式影响(例如，通过压缩)来自应用或游戏的其他图形数据的可视化—所以软键盘界面可能需要由用户根据需要激活和停用。

2、用于调用客户端设备的本机输入接口的常规方法不能够使用与游戏接口本身的交互来让客户端设备的本机输入方法激活和停用，而是依赖于补充小部件或菜单。例如，在客户端设备上激活特定于应用的软键盘可能需要与允许用户通过从菜单或命令中选择键盘来调用(例如，实例化)该键盘的游戏同时运行的额外小部件或应用。由于这些操作需要额外的步骤并且不在游戏的主界面或显示内进行，所以它创建了一个繁琐且低效的用户接口。

技术实现思路

1、本公开的实施例涉及用于流式传输应用的本机虚拟接口的自动实例化的方法。所公开的系统和方法可用于检测与流式传输游戏的一个或更多个图像帧的一个或更多个交互区相关联的输入事件，并使客户端设备显示对客户端设备来说是本机的图形输入界面。

2、与传统方法相比，本公开提供了利用与来自应用(例如游戏)的图像帧相关联的交互区来自动调用设备的本机输入界面(例如软键盘)。本机输入界面可以通过与来自应用输出的视频流的图像帧的特定部分进行交互来被激活。例如，来自流式传输游戏视频的图像帧的一个区可以(被例如，游戏和/或游戏服务器)指定为交互区(例如，对应于字符输入字段、数字输入字段、手指或手写笔交互字段等)。当检测到与交互区相关联的输入事件(例如，鼠标点击、触摸事件、选择、激活等)时，可向客户端设备发出指令以调用客户端设备(例如，智能手机、智能电视、平板电脑等)的用户接口(例如，软键盘)，并且可使客户端设备呈现图形输入界面(例如，软键盘、软件文本输入、数字键盘等)。对所呈现的图形输入界面的输入(例如，输入的文本)可由游戏流客户端访问并提供给游戏实例。通过调用客户端设备的本机输入接口，用户可以以类似于客户端设备上的其他应用的方式与游戏流式传输应用进行交互，因此可以使用更少的用户交互来提供更熟悉、自然和直观的体验。

技术特征：

1.一种处理器，包括：

2.如权利要求1所述的处理器，其中所述至少一个交互区对应于用所述一个或更多个软件应用的所述至少一个实例实例化的至少一个输入字段。

3.如权利要求1所述的处理器，其中所述一个或更多个交互区的一个或更多个参数使用所述一个或更多个软件应用的所述至少一个实例来指定。

4.如权利要求1所述的处理器，其中所述数据指示以下中的至少一个：所述一个或更多个区域的一个或更多个位置；或所述一个或更多个区域的一个或更多个维度。

5.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于：

6.如权利要求1所述的处理器，其中使所述一个或更多个图形输入界面进行显示包括：将所述一个或更多个视频流中的至少一个视频流的呈现的至少一部分操纵到更新的位置，以使所述至少一个区域不被所述至少一个图形输入界面遮挡。

7.如权利要求1所述的处理器，其中所述至少一个图形输入界面包括至少一个软件实现的键盘。

8.如权利要求1所述的处理器，其中所述数据包括对应于所述至少一个交互区的一个或更多个输入类型参数，所述一个或更多个输入类型参数指示从一组图形输入界面中对所述一个或更多个图形输入界面的选择以用于显示。

9.如权利要求1所述的处理器，其中所述数据包括与所述至少一个交互区相对应的交互区状态信息，并且使所述一个或更多个图形输入界面进行显示是进一步至少基于指示所述至少一个交互区处于活跃的所述交互区状态信息。

10.如权利要求1所述的处理器，其中所述处理器被包含在以下中的至少一个中：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行数字孪生操作的系统；用于执行光传输模拟的系统；用于为3d资产执行协作内容创建的系统；用于执行深度学习操作的系统；使用边缘设备实现的系统；使用机器人实现的系统；用于执行会话式ai操作的系统；用于生成合成数据的系统；用于呈现虚拟现实内容、增强现实内容或混合现实内容中的至少一种的系统；包含一个或更多个虚拟机vm的系统；至少部分地在数据中心中实现的系统；或者至少部分地使用云计算资源实现的系统。

11.一种系统，包括：

12.如权利要求11所述的系统，其中所述一个或更多个交互区对应于用所述一个或更多个应用的所述至少一个实例实例化的一个或更多个文本输入字段。

13.如权利要求11所述的系统，其中所述一个或更多个交互区的一个或更多个参数使用所述一个或更多个应用的所述至少一个实例来指定。

14.如权利要求11所述的系统，其中来自所述一个或更多个服务器的应用数据指示以下中的至少一个：所述一个或更多个区域的一个或更多个位置；或所述一个或更多个区域的一个或更多个维度。

15.如权利要求11所述的系统，其中所述系统被包含在以下中的至少一个中：用于自主或半自主机器的控制系统；用于自主或半自主机器的感知系统；用于执行模拟操作的系统；用于执行数字孪生操作的系统；用于执行光传输模拟的系统；用于为3d资产执行协作内容创建的系统；用于执行深度学习操作的系统；使用边缘设备实现的系统；使用机器人实现的系统；用于执行会话式ai操作的系统；用于生成合成数据的系统；用于呈现虚拟现实内容、增强现实内容或混合现实内容中的至少一种的系统；包含一个或更多个虚拟机vm的系统；至少部分地在数据中心中实现的系统；或者至少部分地使用云计算资源实现的系统。

16.一种方法，包括：

17.如权利要求16所述的方法，其中所述至少一个交互区对应于用所述一个或更多个应用的所述至少一个实例实例化的至少一个输入字段。

18.如权利要求16所述的方法，其中所述至少一个交互区的一个或更多个参数由所述一个或更多个应用的所述至少一个实例来指定。

19.如权利要求16所述的方法，其中所述至少一个交互区由所述一个或更多个应用的所述至少一个实例来指定。

20.如权利要求16所述的方法，其中使至少一个图形输入界面进行显示包括：将所述视频数据中的至少一些的呈现的至少一部分操纵到更新的位置，以使所述至少一个区域不被所述至少一个图形输入界面遮挡。

技术总结
在示例中，设备的本机输入界面(例如，软键盘)可以使用与来自应用(例如游戏)的图像帧相关联的交互区来调用。来自被流式传输游戏视频的(一个或更多个)图像帧的区可以被指定(例如，由游戏和/或游戏服务器)为交互区。当检测到与交互区相关联的输入事件时，可以向客户端设备发出指令以调用该客户端设备的用户接口(例如，软键盘)并可以使客户端设备呈现图形输入界面。对所呈现的图形输入界面的输入可被游戏流式传输客户端访问并提供给游戏实例。

技术研发人员：P·亚达夫,C·卡拉尼,S·霍姆斯,D·威尔逊,D·勒·塔孔,J·L·万·威尔森
受保护的技术使用者：辉达公司
技术研发日：
技术公布日：2024/1/15