可扩展交互式视频系统和方法与流程

文档序号:25997741发布日期:2021-07-23 21:13阅读:147来源:国知局
可扩展交互式视频系统和方法与流程

相关申请的交叉引用

本申请要求2018年12月21日提交的标题为“scalableinteractivevideosystemsandmethods”的美国临时申请no.62/783,544的优先权和权益,所述申请出于所有目的以其整体通过引用特此并入。



背景技术:

本公开总体上涉及视频系统并且,更具体地,涉及实现同时多玩家游戏玩乐(gameplay)的交互式视频游戏系统。

视频游戏系统通常使参与者(例如,玩家)能够控制虚拟环境中的角色以实现预定义的目标或目的。传统的视频游戏系统通常依赖于手动输入设备,诸如操纵杆、游戏控制器、键盘等,以使参与者能够控制游戏的虚拟环境内的角色。另外,某些现代视频游戏系统可以包括能够跟踪参与者的移动的相机,从而使参与者能够基于他们的移动来控制视频游戏角色。然而,这些系统通常遭受等待时间和/或数据吞吐量方面的问题。例如,这些系统可促进有限的数据收集和/或处理,这可限制由视频游戏提供的体验(例如,图形和/或效果)。另外,控制视频游戏所涉及的处理时间可在从参与者接收的输入与结果输出之间引入延迟。此外,在多参与者视频游戏系统中,等待时间的可能性随着参与者的数量而显著增加。因此,使用这些系统来提供平滑且响应于参与者交互的实时交互式体验可能是不方便的。



技术实现要素:

以下概述与最初要求保护的主题在范围上相称的某些实施例。这些实施例不旨在限制本公开的范围,而是这些实施例仅旨在提供某些公开的实施例的简要概述。实际上,本公开可以涵盖可以与以下阐述的实施例类似或不同的多种形式。

本实施例涉及一种交互式视频系统的分布式控制系统。分布式控制系统包括互连多个节点的交换结构网络。交换结构网络包括输入节点,该输入节点包括感测单元。感测单元被实现成收集交互式视频系统的参与者的扫描数据。另外,交换结构网络包括处理节点的集合。该处理节点的集合被实现成至少部分地基于参与者的扫描数据来生成参与者的虚拟表示。处理节点的集合经由交换结构网络的第一交换机通信地耦合到输入节点。此外,交换结构网络包括输出节点。输出节点包括输出设备,输出设备被实现成在虚拟环境中向参与者呈现虚拟表示。输出节点经由交换结构网络的第二交换机通信地耦合到输入节点。

本实施例还涉及一种操作交互式视频系统的方法。该方法包括在交互式视频系统的分布式控制系统的交换结构网络中的多个节点中的输入节点处收集交互式视频系统的参与者的扫描数据。该方法还包括在多个节点中的处理节点的第一集合处至少部分地基于参与者的扫描数据来生成参与者的虚拟表示。处理节点的第一集合经由交换结构网络的第一交换机通信地耦合到输入节点。此外,该方法包括使用多个节点中的输出节点在虚拟环境中呈现参与者的虚拟表示。输出节点经由交换结构网络的第二交换机通信地耦合到输入节点。该方法还包括在处理节点的第二集合处至少部分地基于参与者的扫描数据来确定游戏中效果的集合。另外,所述方法包括使用输出节点至少部分地基于游戏中效果来更新虚拟环境。

本实施例还涉及一种包括分布式控制系统的交互式视频系统,该分布式控制系统包括互连多个节点的交换结构网络。多个节点包括输入节点,输入节点包括感测单元。感测单元被实现成收集参与者的扫描数据。多个节点还包括处理节点的集合。该处理节点的集合经由交换结构网络通信地耦合到输入节点。该处理节点的集合被实现成至少部分地基于参与者的扫描数据来生成参与者的虚拟表示。处理节点的集合还被实现成基于参与者的扫描数据来确定游戏中效果的集合。扫描数据可以包括参与者的一个或多个游戏中动作。多个节点附加地包括输出节点。输出节点经由交换结构网络通信地耦合到输入节点。此外,输出节点经由交换结构网络通信地耦合到处理节点的集合,并且输出节点包括输出设备的集合。输出设备的集合被实现成在虚拟环境中呈现参与者的虚拟表示。输出设备的集合还被实现成至少部分地基于游戏中效果来更新虚拟环境的呈现。

附图说明

当参考附图阅读以下详细描述时,本公开的这些和其他特征、方面和优点将变得更好理解,其中贯穿附图,相同的字符表示相同的部分,其中:

图1是根据本技术的交互式视频系统的实施例的示意图,该交互式视频系统使多个参与者能够通过在参与区域中执行动作来控制相应的虚拟表示;

图2是根据本技术的交换结构网络的框图;

图3是图示根据本技术的操作交互式视频系统的过程的实施例的流程图;以及

图4是图示根据本技术的过程的实施例的流程图,通过该过程来执行图3的流程图中指示的某些动作。

具体实施方式

如本文中所使用的,“扫描数据”是指通过对参与区域中的参与者的可见外表面进行感测(例如,测量、成像、测距)而收集的二维(2d)或三维(3d)数据。更具体地,如本文中所使用的“体积扫描数据”是指3d扫描数据(诸如点云数据),并且可以与“2d扫描数据”(诸如图像数据)形成对比。

如本文中所使用的,“参与者模型”是从参与者的扫描数据生成的2d或3d模型,其通常描述参与者的外表面并且可以包括纹理数据。更具体地,如本文中所使用的“体积参与者模型”或“体积模型”是指从参与者的体积扫描数据生成的3d参与者模型,并且可以与从参与者的2d扫描数据生成的“2d参与者模型”形成对比。

如本文中所使用的,“阴影模型”是指直接或通过参与者模型从参与者的扫描数据生成的参与者的无纹理体积模型。因此,当在诸如显示设备之类的2d表面上呈现时,参与者的阴影模型具有基本上类似于当从后面照明时参与者的阴影或廓影的形状。

如本文中所使用的“骨骼模型”是指从参与者的扫描数据生成的3d模型,其定义参与者的某些身体部位和/或质心(例如,躯干、手臂、腿、头部)的预测位置和定位,以描述参与者在参与区域内的位置和姿势。因此,骨骼模型用于确定参与区域中的参与者的移动和动作,以触发虚拟环境中和/或参与区域中的事件。

本实施例涉及交互式视频系统(例如,视频游戏系统),其使多个(例如,1至12个)参与者(例如,玩家)能够在物理环境(例如,参与区域)中执行动作,以控制在所显示的虚拟环境(例如,呈现区域)中的参与者的虚拟表示。所公开的交互式视频系统包括一个或多个感测单元,诸如体积传感器(例如,深度相机和/或光检测和测距(lidar)设备),其能够扫描每个参与者和/或捕获每个参与者的过程中(例如,游戏中)动作。交互式视频系统还可以包括能够呈现虚拟环境和/或产生一个或多个过程中效果的多个输出设备,诸如显示设备、音频设备、物理效果设备和/或类似物。此外,交互式视频系统包括具有多个节点(例如,输入节点、处理节点、数据库节点、输出节点)的分布式控制系统。分布式控制系统可以被实现成部分地基于从交互式视频系统中的各种感测和输入设备接收的输入数据来控制输出设备。因此,交互式视频系统基于参与者的动作及其对应的过程中效果来连续地更新参与者的虚拟表示和虚拟环境。在视频游戏的上下文中描述了本文中公开的本实施例的示例。然而,应当理解的是,本实施例可以应用于并且包含除游戏活动之外的活动。此外,应当注意,术语视频游戏宽泛地包括利用视频技术的大量娱乐活动。

此外,为了创建平滑且响应于参与者交互的实时交互式体验,交互式视频系统可以包括交换结构网络。交换结构网络可以包括通过交换机和互连件(interconnect)的集合通信地耦合在一起的多个节点,这可以促进低等待时间、高带宽通信。另外,交换结构网络可以支持远程直接存储器访问(rdma)。交换结构网络的节点可包括感测和输入设备、输出设备、处理节点和/或数据库节点。例如,交互式视频系统中的感测和/或附加输入设备可被实现为交换结构网络的一个或多个输入节点,而输出设备可被实现为交换结构网络的一个或多个输出节点。某些处理节点可以包括专用处理器,诸如向量处理单元(vpu)和/或张量处理单元(tpu),其可以被优化以执行特定功能。因此,某些处理节点可以专用于基于它们各自的能力来执行交互式视频系统所涉及的某些处理任务,诸如视觉(例如,图形)处理、音频处理、人工智能(ai)计算、物理计算和/或类似物。此外,交换结构网络可以在多个合适的处理节点之间划分这些处理任务。此外,交换结构网络可以促进远程直接存储器访问(rdma)。因此,使用rdma,可以在物理上分离的处理节点之间传送数据以执行具有内部计算机总线的等待时间的处理任务,使节点能够无缝地从其他节点读取信息以及向其他节点写入信息,所述其他节点在实际上可以被认为是交换结构网络中的所有节点的大的组合存储器空间中。因此,交换结构网络能够高效地处理和更新在交互式视频系统中使用的数据。此外,交互式视频网络可以被有效地扩展(scaled),因为附加的处理节点、输入节点和/或输出可以被添加到交换结构网络,而不遭受显著的等待时间损失。

考虑到前述内容,图1是交互式视频系统10(例如,视频游戏系统)的实施例的示意图,该交互式视频系统10使多个参与者12(例如,参与者12a和12b)能够通过在参与区域16中执行动作来控制相应的虚拟表示14(例如,虚拟表示14a和14b)。可以注意的是,虽然为了简单起见,本说明书涉及使用交互式视频系统10的两个参与者12,但是在其他实施例中,交互式视频系统10可以支持多于两个(例如,6个、8个、10个、12个或更多)参与者12。

交互式视频系统10的参与区域16可以具有一宽度(对应于x轴18)、一高度(对应于y轴20)和一深度(对应于z轴22),其中系统10通常监视每个参与者12沿x轴18、y轴20和/或z轴22的移动。交互式视频系统10响应于参与者12在参与区域16内移动(例如,沿x轴18跑步、沿y轴20跳跃、沿z轴22跑步)而更新在虚拟环境32中沿x轴26、y轴28和/或z轴35呈现在呈现区域25的显示设备24上的虚拟表示14的位置。

图1中所图示的交互式视频系统10的实施例包括设置在参与区域16内和/或周围的多个感测单元38。更具体地,感测单元38可以被描述为围绕参与区域16的周边对称地分布。在某些实施例中,感测单元38的至少一部分可以定位在参与区域16上方(例如,自顶板悬挂下来或悬挂在高架的平台或支架上)并且以向下的角度指向以对参与区域16成像。在其他实施例中,感测单元38的至少一部分可以定位在参与区域16的底板附近并且以向上的角度指向以对参与区域16成像。在某些实施例中,交互式视频系统10可以包括参与区域16中的每个参与者(例如,参与者12a和12b)的至少两个感测单元38。因此,感测单元38被合适地定位以对参与区域16周围的潜在有利点的显著部分进行成像,以减少或消除潜在的参与者遮挡。

在所图示实施例中,每个感测单元38包括相应的体积传感器40,其可以是红外(ir)深度相机、lidar设备或另一合适的测距和/或成像设备。例如,在某些实施例中,感测单元38的所有体积传感器40是ir深度相机或lidar设备,而在其他实施例中,存在ir深度相机和lidar设备两者的混合。目前认识到的是,ir深度相机和lidar设备两者都可用于对参与者12中的每个进行体积扫描,并且所收集的扫描数据(例如,体积扫描数据)可用于生成参与者的各种模型,如下面所讨论的那样。例如,在某些实施例中,ir深度相机可以用于收集数据以生成骨骼模型,而由lidar设备收集的数据可以用于生成参与者12的体积和/或阴影模型。还认识到的是,收集点云数据的lidar设备通常能够扫描和映射比深度相机大的区域,通常具有更好的准确性和分辨率。因此,在某些实施例中,至少一个感测单元38包括作为lidar设备的对应体积传感器40,以增强交互式视频系统10的准确性或分辨率和/或以减少交互式视频系统10中的感测单元38的总数量。

另外,在某些实施例中,其他感测设备可以被包括在参与区域16中和周围。例如,射频(rf)传感器45可以设置在参与区域16附近(例如,上方、下方、邻近)。所图示的rf传感器45从可穿戴设备47接收唯一识别rf信号,所述可穿戴设备47诸如具有由参与者12中的每个穿戴的射频识别(rfid)标签的手镯或头带。作为响应,rf传感器45提供关于参与区域16中的参与者12的身份和相对定位的信号,如下面更详细描述的那样。

另外,图1中所图示的交互式视频系统10控制作为虚拟环境32的部分的由参与区域16中的参与者12观察和体验的呈现区域25处的刺激(例如,音频信号、视频信号、光、物理效果)的输出。因此,呈现区域25可以包括多个音频设备50和/或显示设备24。显示设备24可以是任何合适的显示设备,诸如投影仪和屏幕、平坦屏幕显示设备或平坦屏幕显示设备的阵列,其被布置和设计成向参与区域16中的参与者12提供虚拟环境32的合适视图。在某些实施例中,音频设备50可以被布置成围绕参与区域16的阵列,以在游戏玩乐期间增加参与者沉浸。

此外,在一个实施例中,交互式视频系统10可以包括能够实现增强的参与者交互的接口面板74。如图1中所图示,接口面板74包括多个输入设备76(例如,曲柄、轮、按钮、滑块、块),其被设计成在游戏玩乐期间接收来自参与者12的输入。所图示的接口面板74还包括多个输出设备78(例如,音频输出设备、视觉输出设备、物理刺激设备),其被设计成在游戏玩乐期间向参与者12提供音频、视觉和/或物理刺激。例如,输出设备78可以包括音频设备,诸如扬声器、喇叭、警报器等。输出设备78还可以包括视觉设备,诸如接口面板74的灯或显示设备。在某些实施例中,接口面板74的输出设备78包括物理效果设备,诸如耦合到压缩空气管线的电子控制的释放阀,其提供暖或冷空气或雾的爆炸(burst)。

如还图示的,交互式视频系统10包括分布式控制系统82。分布式控制系统82通常从各种前述输入设备接收输入信息,并且部分地基于所接收的输入信息来确定合适的输出。例如,分布式控制系统82可以接收由每个体积传感器40收集的扫描数据、来自输入设备76的参与者输入、由rf传感器45提供的关于参与者12在参与区域16中的身份和相对定位的信号和/或类似物。分布式控制系统82可以组合该数据(其在本文中共同地描述为“参与者数据”),以在游戏玩乐期间确定参与区域16中的参与者12的身份、位置和/或动作。此外,分布式控制系统82可以确定指令(例如,控制信号)以控制音频设备50、显示设备24、输出设备78和/或类似物,以生成各种刺激用于参与者12经由呈现区域25进行观察和体验。在一些实施例中,分布式控制系统82可以部分地基于所收集的参与者数据来确定用于控制音频设备50、显示设备24、输出设备78和/或类似物的指令。

目前认识到的是,处理所收集的参与者数据和/或确定用于在呈现区域25中生成各种刺激的指令可以是处理器密集型的。此外,交互式视频系统10的等待时间可能限制交互式视频系统10提供平滑且响应于参与者交互的实时交互式体验的能力。因此,在某些实施例中,通过利用由网络通信地耦合的多个处理器来处理所收集的参与者数据来分割工作负荷能够是有利的。因此,在所图示实施例中,分布式控制系统82包括经由交换结构网络90(诸如infiniband®网络)通信地耦合在一起的多个处理节点84和数据库节点86(例如,数据存储库)。如下面更详细描述的那样,处理节点84可以包括存储器102和/或处理器104。如还图示的,交互式视频系统10的输入设备(例如,体积传感器40、rf传感器45、输入设备76)和输出设备(例如,音频设备50、显示设备24、输出设备78)中的每个被通信地耦合到交换结构网络90。因此,如下面更详细描述的那样,分布式控制系统82可以经由交换结构网络90向交互式视频系统10中的一个或多个设备发射数据以及从交互式视频系统10中的一个或多个设备接收数据。

为了帮助说明,图2中示出了包括多个分立节点96的交换结构网络90的实施例。在使用交换结构网络90的情况下,交互式视频系统10的数据处理可以分布在任何合适数量的分立节点96之间,这些分立节点96可以在物理上彼此不同,而不引入显著的延迟或等待时间。也就是说,例如,交互式视频系统10可以实时地或接近实时地向参与者12输出刺激和/或提供虚拟环境32中的虚拟表示14的平滑且响应性的移动。如所图示,分布式控制系统82的处理节点84中的每个和交互式视频系统10的设备(例如,感测单元38、rf传感器45、输入设备76、音频设备50、显示设备24、输出设备78和/或类似物)可以表示交换结构网络90的不同节点96。输入设备(例如,体积传感器40、rf传感器45、输入设备76)由输入节点97表示,而输出设备(例如,音频设备50、显示设备24、输出设备78)由输出节点98表示。然而,可以理解的是,在其他实施例中,每个输入和/或输出设备可以以不同的方式耦合到交换结构网络90。换句话说,本文中描述的实施例旨在是说明性的而非限制性的。

为了将节点96通信地耦合到彼此,交换结构网络90包括多个交换机92(例如,交换设备)。所图示的交换结构网络90还包括多个互连件94,其可以表示有线和/或无线连接。在一个实施例中,互连件可以包括铜缆、光缆、背板连接器和/或类似物。交换机92可以与互连件94组合地实现,以在交换结构网络90内将分布式控制系统82和交互式视频系统10的设备(例如,感测单元38、rf传感器45、输入设备76、音频设备50、显示设备24、输出设备78和/或类似物)彼此耦合。例如,在一个实施例中,交换机92可以是被实现成将分组(例如,数据分组和/或消息)从第一设备(诸如体积传感器40)路由到第二设备(诸如处理节点84)的硬件设备。此外,在使用互连件94和交换机92的情况下,交换结构网络90的等待时间可以小于或等于1微秒(μs)。交换结构网络90还可以促进高带宽连接性。因此,可以在具有低等待时间的设备之间中继高容量(例如,吞吐量)的数据,这可以促进交互式视频系统10所涉及的实时数据收集和处理。

交换结构网络90还可以促进用于在节点96之间和/或之内的读取和写入操作两者的远程直接存储器访问(rdma)。因此,数据可以从交换结构网络90的任何合适的节点96直接写入到设备的存储器102。例如,第一节点96(例如,处理节点84)可以直接访问第二节点96(例如,输出节点98之一)的存储器102,以使用(例如,网络层或传输层处的)低等级请求来读取或更新数据,而不涉及(例如,应用层或表示层处的)高等级请求或与其相关联的附加开销。此外,在一些情况下,可以在第一节点96处计算的结果可以直接写入到从属节点96(诸如第二节点96)的存储器。因此,交换结构网络90和交互式视频系统10的等待时间可以被最小化(例如,至小于5微秒(μs)、小于3μs、小于1μs、小于0.5μs)。此外,交换结构网络90的节点96可以在物理上彼此不同(例如,独立),而不遭受附加的等待时间。因此,在一些实施例中,每个处理节点84可容纳在独立的机箱(chassis)108中。例如,第一机箱108a可以包括ai处理节点84a,第二机箱108b可以包括视觉处理节点84b,并且第三机箱108c可以包括数据库节点86。此外,机箱108(例如,108a、108b、108c)可以彼此远离。例如,第一机箱108a可以设置在参与区域16和/或呈现区域25附近,而第二机箱108b可以设置在远离参与区域16和/或呈现区域25的场外(off-site)位置。附加地或替代地,多个处理节点84、输入节点97和/或输出节点98可以容纳在单个机箱108中,或者容纳在设置在公共位置(例如,交互式视频系统10的控制区域)中的不同机箱中。

可以实现处理节点84和/或处理节点84的集群(例如,组)以处置某个处理任务。因此,如上所述,某些图示的处理节点84可以包括存储器102和/或处理器104。更具体地,在一些实施例中,处理器可以被实现为中央处理单元(cpu)104a和/或专用处理器,诸如张量处理单元(tpu)104b、图形处理单元(gpu)104c、向量处理单元(vpu)104d、专用集成电路(asic)104e、现场可编程门阵列(fpga)104f和/或类似物,其被优化以执行处理任务。

因此,在输入节点97处收集的信息(诸如参与者数据)可以被选择性地路由到被实现成使用该信息执行某个任务的处理节点84的集合。例如,可以包括tpu104b和/或vpu104d的人工智能(ai)处理节点84a可以通过经由rdma访问(例如,读取)输入节点97之一处的信息来确定在输入节点97处收集的参与者数据。在一些实施例中,例如,ai处理节点84a可以部分地基于所收集的参与者数据和推断计算的集合来构建参与者模型、预测由参与者12执行的未来动作、确定要呈现给参与者12的对手和/或类似物。此外,如下所述,ai处理节点84a可基于所收集的参与者数据来识别参与者的游戏中动作,并且可确定对应于游戏中动作的一个或多个游戏中效果。此外,视觉处理节点84b(其可以包括gpu104c)可以确定输出信号以使得显示设备24部分地基于所收集的参与者数据和/或游戏中效果来呈现和/或更新虚拟环境32中的每个参与者的虚拟表示14。此外,音频处理节点84c可以部分地基于所收集的参与者数据和/或游戏中效果来确定输出信号,以使得音频设备50产生特定音频刺激。另外,物理效果处理节点84d可以部分地基于所收集的参与者数据和/或游戏中效果来确定输出信号,以使得输出设备78产生一个或多个物理效果,诸如提供空气的爆炸。

此外,在一些实施例中,交换结构网络90可包括融合处理节点84e,其可表示被实现成聚合来自各种源的数据的处理节点84。例如,在一些实施例中,融合处理节点84e可以聚合从感测单元38和rf传感器45收集的参与者数据以确定参与者的定位。此外,在一些实施例中,融合处理节点84e可以在输出数据(诸如多个音频和/或视觉信号)被路由到输出节点98以由一个或多个输出设备生成之前聚合输出数据。因此,在一些实施例中,其他处理节点84可从融合处理节点84e接收参与者数据和/或可经由融合处理节点84e将数据输出到输出节点98。

因为节点96可以在物理上彼此远离,并且因为所公开的交换结构网络90减轻等待时间并支持高数据吞吐量,所以交互式视频系统10可以被容易地扩展。例如,在一些实施例中,为了适应可以由附加参与者12产生的附加参与者数据,可以将处理卸载到附加处理节点84。更具体地,附加处理节点84可以被添加到交换结构网络90以适应附加参与者数据。此外,如上所述,任何处理节点84可以位于远离参与区域16和/或呈现区域25。因此,附加处理节点的添加可以不受参与区域16和/或呈现区域25的资源(例如,面积和/或体积)限制,因为另一位置可以容纳附加处理节点。

如还图示的,交换结构网络90可以包括冗余互连件94。例如,某些节点96可以通信地耦合到多个交换机92(例如,交换机92a、92b和/或92c)。附加地或替代地,交换机92a可通信地耦合到多个其他交换机92(例如,交换机92a、92b或92c)。因此,可以形成在交换机之间和/或节点96之间的用于路由数据的多个不同路径。为此,交换结构网络90可以减少和/或消除无法送达的消息(例如,数据分组),因为当第一路由路径不可用时可以利用替代路由路径。

此外,虽然本文中图示和描述了交换结构网络90的示例拓扑结构(例如,布局),但是可以理解,交换结构网络90可以利用任何合适的拓扑结构来实现。因此,在一些实施例中,交换结构网络90中可以包括附加的或更少的节点96。例如,如上所述,可以使用附加节点96的集合(诸如任何合适数量的处理节点84)来扩展交换结构网络90,以减轻特定的数据负荷的困难。因此,在一些实施例中,交换结构网络90可包括任何合适数量的视觉处理节点84b,以处理较高容量的视觉和/或图形数据。交换结构网络90可以包括任何合适数量的音频处理节点84c,以处理较高容量的音频信息;交换结构网络90可以包括任何合适数量的物理效果处理节点84d,以处理任何合适量的物理效果数据和/或类似物。附加地或替代地,可以修改交换结构网络90的互连性。例如,在交换结构网络90中可以包括附加的或更少的互连件94和/或交换机92,以在节点96之间路由数据。此外,虽然交换结构网络90在本文中被描述为infiniband®网络,但是交换结构网络90可以根据任何合适的交换结构网络协议来实现。例如,在一些实施例中,交换结构网络90可以使用高速外围部件互连(pcie)或另一合适的高速内部通信标准来实现。因此,本文中描述的实施例旨在是说明性的而非限制性的。

根据本技术,在图3中描述并在下面参考图1和/或图2中的元素讨论用于操作交互式视频系统10的过程110的示例。可以理解,在其他实施例中,根据本公开,所图示过程110的某些步骤可以以不同的顺序执行、重复多次或完全跳过。此外,图3中所图示的过程110可以由交换结构网络90的节点96执行。更具体地,过程110可由交换结构网络90的输入节点97、输出节点98和/或处理节点84的合适组合来执行。

过程110的所图示实施例开始于在输入节点97处收集(框112)参与者数据。在某些实施例中,参与者12可以由定位在参与区域16周围的感测单元38扫描或成像。附加地或替代地,收集参与者数据可以涉及确定rf传感器45处的rf信号。例如,在一些实施例中,rf传感器可以确定来自可穿戴设备47的唯一识别rf信号,该可穿戴设备47诸如具有由每个参与者12穿戴的射频识别(rfid)标签的手镯或头带。作为响应,rf传感器45可以提供关于参与区域16中的参与者12的身份和相对定位的信号,其可以在参与者数据中被捕获。

继续通过示例过程110,接下来,一个或多个处理节点84至少部分地基于在输入节点处收集的参与者数据上为每个参与者生成(框114)对应的虚拟表示。例如,在某些实施例中,分布式控制系统82可以经由交换结构网络90将收集的扫描数据从输入节点97的感测单元38路由到处理节点84。处理节点84可以使用所接收的扫描数据作为基础来生成参与者的虚拟表示。可以理解,在某些实施例中,虚拟表示14可以具有基本上类似于对应参与者的阴影模型的形状或轮廓,其可以由输入节点(例如,体积传感器40)生成和/或在处理节点84处部分地基于所收集的参与者数据来生成。除了形状之外,虚拟表示14可以具有可以被修改成对应于所表示的参与者的属性的其他属性。例如,参与者可以与反映他们在其他游戏系统中的表现、他们在礼品店中的购买、他们对忠诚规划(loyaltyprogram)的成员资格等的各种属性(例如,物品、状态、分数、统计)相关联。因此,虚拟表示的属性(例如,大小、颜色、纹理、动画、虚拟物品的存在)可响应于与对应参与者相关联的各种属性而被设置,并且基于在游戏玩乐期间的参与者的属性的改变而被进一步修改。例如,在一些实施例中,处理节点84可以部分地基于所收集的参与者数据(诸如由rf传感器45提供的信号)从与特定参与者相关的数据库节点86请求和/或接收附加参与者数据(诸如上述属性)。然后,处理节点84可以部分地基于由数据库节点86提供的附加参与者数据来生成参与者的虚拟表示。

在某些实施例中,分布式控制系统82可以使用处理节点84的任何合适的组合来生成参与者的虚拟表示。例如,如上所述,融合处理节点84e可以聚合来自一个或多个输入设备(诸如rf传感器45和感测单元38)的收集的参与者数据。部分地基于聚合的收集的参与者数据,视觉处理节点84b可以确定合适的信号以经由(例如,显示设备24处的)输出节点98中的一个或多个显示虚拟表示。此外,可以采用数据库节点86、ai处理节点84a和/或任何附加处理节点84来生成虚拟表示和/或提供由视觉处理节点84b使用的附加信息来生成虚拟表示。为此,如上所述,实现交互式视频系统10所涉及的处理任务可以分布在一个或多个处理节点84之中,该一个或多个处理节点84可以被专用于和/或优化以执行特定的处理任务。

所图示的过程110继续,其中交互式视频系统10使用输出节点98输出(例如,呈现)(框116)每个参与者的对应虚拟表示14。例如,在一些实施例中,分布式控制系统82可以经由交换结构网络90将虚拟表示14从一个或多个处理节点84路由到一个或多个输出节点98,并且输出节点98可以在显示设备24上的虚拟环境32中显示所接收的虚拟表示。除了呈现虚拟表示之外,在某些实施例中,框118中的动作还可以包括在游戏玩乐开始之前,使用一个或多个输出节点98向呈现区域25中的参与者12呈现其他介绍呈现,诸如欢迎消息或定向/指导信息。

一旦游戏玩乐开始,在框114中生成并在框116中呈现的虚拟表示14能够与彼此交互和/或与虚拟环境32中的虚拟对象交互。在游戏玩乐期间,一个或多个处理节点84通常基于所收集的参与者数据来确定(框118)参与区域16中的每个参与者12的游戏中动作。例如,游戏中动作可以包括虚拟环境32内的虚拟表示14的跳跃、跑步、滑动或以其他方式移动。游戏中动作还可以包括与物品(诸如虚拟环境32中的虚拟对象)交互(例如,移动、获得、丢失、消费物品)。附加地或替代地,参与者12可以移动、投掷和/或攀爬上物理道具(例如,球、玩具、攀爬构造和/或类似物),其可以被包括在参与区域16中和/或在礼品店处购买,以产生游戏中的动作。游戏中动作还可以包括完成目标、击败另一个参与者、赢得一轮或其他类似的游戏中动作。因此,所收集的参与者数据可以包括关于设置在参与区域16内的参与者12的动作的数据。也就是说,例如,收集(框112)参与者数据可以附加地涉及从其他设备(例如,rf传感器45、输入设备76)收集数据以捕获参与者12的游戏中动作。因此,在一些实施例中,输入节点97可在游戏玩乐期间继续捕获参与者数据。

另外,一个或多个处理节点84可确定对应于这些游戏中动作的游戏中效果。例如,ai处理节点84a可确定对应于特定游戏规则的由参与者12的游戏中动作触发和/或与参与者12的游戏中动作相关联的游戏中效果。此外,在一些实施例中,在确定游戏中效果时涉及的某些计算可被卸载到附加处理节点84,诸如附加ai处理节点84a。此外,在某些实施例中,分布式控制系统82可以部分地基于参与者的游戏中动作来确定合适的信号以设置或修改呈现区域25内的虚拟环境32的参数。例如,如下面更详细描述的那样,修改可以包括调整房屋灯亮度和/或颜色、播放游戏音乐或游戏声音效果、调整参与区域的温度、激活参与区域中的物理效果等。

分布式控制系统82通常使用输出节点98基于参与区域16中的参与者12的游戏中动作和在框118中确定的对应游戏中效果来更新(框120)参与者12的对应虚拟表示14和/或虚拟环境32。例如,分布式控制系统82可以使用rdma基于存储在第二节点的(例如,视觉处理节点84b、音频处理节点84c、物理效果处理节点84d、ai处理节点84a和/或类似物处的)存储器中的数据来直接更新存储在第一节点的(例如,一个或多个输出节点98处的)存储器中的数据。然后,输出节点98可以向相关联的输出设备(例如,音频设备50、显示设备24、输出设备78)供应合适的控制信号,以基于所接收的信号来更新虚拟环境32(例如,更新呈现区域25中的呈现)。如由箭头122所指示的,可以重复被包括在过程110中的一个或多个步骤(例如,框118和/或框120)直到完成游戏玩乐,例如,所述完成由于参与者12之一赢得游戏玩乐的该轮或者由于分配的游戏玩乐时间期满。

图4是根据本技术的对应于图3的框118的用于确定与参与者12中的每个的游戏中动作相对应的游戏中效果的过程140的示例实施例。下面参考图1和图2的元素描述过程140。此外,可以理解,在其他实施例中,根据本公开,所图示的过程140的某些步骤可以以不同的顺序执行、重复多次或完全跳过。通常,过程140包括识别参与者的游戏中动作、基于这些识别的游戏中动作来确定游戏中效果、以及基于所确定的游戏中效果来更新参与区域中的虚拟环境的呈现。此外,虽然图4中所图示的过程140在本文中被描述为由分布式控制系统82的特定节点(例如,一个或多个处理节点84)执行,但是过程140可以由分布式控制系统82的节点96的任何合适的组合执行。

所图示的过程140开始于分布式控制系统82的处理节点84中的一个或多个(例如,ai处理节点84a)至少部分地基于所收集的参与者数据来识别(框142)每个参与者12的对应虚拟表示14的一个或多个游戏中动作。例如,游戏中动作可以包括虚拟环境32内的虚拟表示14的跳跃、跑步、滑动或以其他方式移动。因此,处理节点84中的一个或多个可部分地基于从输入节点97(例如,从感测单元38、rf传感器45、输入设备76和/或类似物)接收的数据来识别游戏中动作,该输入节点97被实现成捕获参与者12的游戏中动作。

接下来,所图示过程140继续,其中处理节点84中的一个或多个(例如,ai处理节点84a)确定(框144)响应于参与者12中的每个的所识别的游戏中动作而触发的一个或多个游戏中效果。例如,当所确定的游戏中动作是参与者的移动时,则游戏中效果可以是虚拟环境内的对应虚拟表示的定位的对应改变。当所确定的游戏中动作是跳跃时,游戏中效果可以包括沿着y轴20移动虚拟表示,如图1中所图示。当所确定的游戏中动作正在激活特定上电物品时,则游戏中效果可以包括修改与参与者12相关联的状态(例如,健康状态、电力状态)。当所确定的与参与者12a相关联的游戏中动作是在参与区域16内对物理道具(诸如泡沫剑)的使用时,游戏中效果可以包括更新虚拟环境32中的参与者12a的虚拟表示来包括与物理道具(诸如虚拟剑)相对应的虚拟表示。另外,在某些情况下,虚拟表示14的移动可以相对于参与者12的实际移动被强调或增强。例如,如上面关于修改虚拟表示的外观所讨论的,参与者的虚拟表示的移动可以基于与参与者相关联的属性(包括在游戏玩乐期间获取的物品、在其他游戏玩乐会话期间获取的物品、在礼品店中购买的物品等)相对于参与者的实际移动被临时或永久地夸大(例如,能够跳跃得更高、能够跳跃得更远)。另外,游戏中效果可以包括一个或多个声音和/或物理效果。

继续通过图4中所图示的实施例,分布式控制系统82可以至少部分地基于在框144中确定的游戏中效果来确定与呈现区域25中的一个或多个声音(框146)、视觉效果(框148)和/或一个或多个物理效果(框150)相对应的合适信号。例如,当游戏中效果被确定为参与者坠入虚拟游泳池中的特定虚拟表示时,音频处理节点84c可确定合适的信号以使得与输出节点98中的一个或多个相关联的音频设备(例如,音频设备50)生成合适的飞溅声音。此外,视觉处理节点84b可以确定要在输出节点98中的一个或多个处(例如,在显示设备24处)呈现的视觉效果,诸如参与者的更新的视觉表示。在一些实施例中,视觉处理节点84b可以利用可以彼此相邻或物理上远离的多个gpu104c来确定视觉效果。此外,物理效果处理节点84d可以确定合适的信号以使得输出节点98和相关联的输出设备78生成雾的冲击波(blast)。另外,可以响应于任何数量的游戏中效果而产生声音和/或物理效果,包括例如获得上电、失去上电、得一分或移动通过特定类型的环境。

本方法的技术效果包括交互式视频系统,其使多个参与者(例如,两个或更多、四个或更多)能够在物理参与区域中执行动作,以控制在参与区域附近的呈现区域的显示设备上呈现的虚拟环境中的对应虚拟表示。更具体地,系统可以创建平滑且响应于参与者交互的实时交互式体验,并且系统还可以高效地扩展以促进更大数量的参与者、更高的数据处理吞吐量和/或类似物。为此,所公开的系统包括在交换结构网络中实现的分布式控制系统。交换结构网络互连多个节点,诸如输入节点(例如,输入设备)、输出节点(例如,输出设备)和处理节点(例如,计算设备)。此外,交换结构网络可以促进其节点之间的低等待时间、高带宽通信以及远程直接存储器访问(rdma)。作为低等待时间通信的结果,并且由于处理节点可以包括被优化以执行特定计算任务的专用处理器,因此控制系统所涉及的操作可以跨多个处理节点和/或专用处理器分布,以用于更快速的处理。此外,因为交换结构网络可以在物理上不同的位置(例如,在独立的机箱中)容纳处理节点,所以附加的处理节点可以从系统现场地或场外地高效地添加到网络,从而增加系统的可扩展性。

虽然本文中已经图示和描述了本技术的仅某些特征,但是本领域技术人员将想到许多修改和改变。因此,要理解的是,所附权利要求旨在覆盖如落入本技术的真实精神内的所有这样的修改和改变。另外,本文中呈现和要求保护的技术被引用并应用于实际性质的材料对象和具体示例,其可证明地改进了本技术领域,并且因此不是抽象的、无形的或纯理论的。此外,如果附到本说明书末尾的任何权利要求包含被指定为“用于[执行]……[功能]的装置”或“用于[执行]……[功能]的步骤”的一个或多个元素,则旨在根据35u.s.c.112(f)来解释这样的元素。然而,对于包含以任何其他方式指定的元素的任何权利要求,旨在不根据35u.s.c.112(f)来解释这样的元素。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1