沉浸式交互远程呈现的制作方法

遥控运载工具已经变得越来越流行，特别是行动式(mobilized)机器人、陆地漫游车和无人驾驶飞行器(UAV)，通常也称为“无人机”。通常，这些类型的运载工具包括一个或多个相机，其允许运载工具在其中操作的环境的视频被捕获，并且被传送回运载工具的操作者，以用于在操作者的位置处的显示屏上显示。这提供了如果操作者在运载工具的位置或在运载工具上行驶，他或她将看到什么的第一人称视图。这些类型的遥控运载工具通常在操作者和用于远程操作的运载工具之间具有一对一的对应关系或配对，其中用户输入被传达到运载工具，然后运载工具相应地运行。其他类型的系统仅向用户提供远程呈现(telepresence)，其中用户可以简单地观看远程环境的视频和/或听到远程环境的音频，但是不能够控制发送回远程环境的视频和音频的运载工具、设备或系统。

技术实现要素：

本发明内容介绍了沉浸式交互远程呈现的特征和概念，其在下面的具体实施方式中被进一步描述和/或在附图中被示出。本发明内容不应被视为描述了所要求保护的主题的必要特征，也不被用于确定或限制所要求保护的主题的范围。

描述了沉浸式交互远程呈现。在实施例中，一种系统包括：运载工具，其捕获对运载工具所行驶的环境的体验，并且该体验包括环境的音频和视频。运载工具可以是以下各项中的任一类型：无人机、潜水器、陆地漫游车、行动式计算设备、人类相机载体和/或任何其他类型的相机运输工具。用户交互设备接收环境的音频和视频，用户交互设备中的每个用户交互设备为远离环境的一个或多个用户重现体验。轨迹规划器被实现为当运载工具在环境中行驶时，基于障碍规避和用户行驶意图来路线指引(route)运载工具。轨迹规划器可以在没有逐步行驶指令的情况下路线指引运载工具，以到达环境中的位置目标，例如在没有来自运载工具操作者或来自用户交互设备的用户的明确的方向输入的情况下。轨迹规划器还可以基于与用户交互设备的用户相关联的先前的运载工具路线指引，或者基于在车辆开始在环境中行驶之前所提供的用户偏好，确定用于路线指引运载工具的用户行驶意图。然后，轨迹规划器可以基于所确定的用户行驶意图改变运载工具在环境中的路线。

在其它方面，运载工具可以由远离环境的用户委托(commission),以捕获对环境中的感兴趣区的体验，其中感兴趣区由用户选择，或者感兴趣区由轨迹规划器基于用户行驶意图来选择。运载工具可以基于轨迹规划器来控制，该轨迹规划器经由用户交互设备从用户接收行驶指令，以用于运载工具的用户指导的行驶；和/或基于在运载工具的环境中的运载工具操作者，其指导运载工具的路线。

在其它方面，运载工具可以包括相机系统，以将视频捕获为环境的广角视图；并且视频被路由到用户交互设备，其中用户中的每个用户可以基于用户在环境的广角视图内观看的位置来查看环境的不同部分。轨迹规划器还可以以稳定运动来路线指引运载工具，稳定运动对最小化用户交互设备的一个或多个用户的晕动症有效。

在其它方面，运载工具可以是环境中的虚拟旅行向导，捕获对环境的体验作为用于用户交互设备的用户的虚拟旅行。轨迹规划器被实现为路线指引运载工具，路线指引对促进虚拟旅行有效。在实现中，运载工具是空中无人机，其在环境的区域上方飞行，以为用户交互设备的用户捕获对该区域的体验。附加的空中无人机可以在环境的不同区域上方飞行，空中无人机将用户切换到附加的空中无人机中为用户交互设备的用户捕获对环境的不同区域的体验的一个空中无人机。轨迹规划器可以基于用户选择的环境的不同区域来发起将用户切换到附加的空中无人机，或者轨迹规划器可以基于用户行驶意图来选择环境的不同区域。

附图说明

参考以下附图描述沉浸式交互远程呈现的实施例。可以始终使用相同的数字来引用附图中所示的相似特征和组件：

图1图示了在其中沉浸式交互远程呈现的实施例可以被实现的示例系统。

图2进一步图示了沉浸式交互远程呈现的示例实施例。

图3图示了在其中沉浸式交互远程呈现的实施例可以被实现的另一示例系统。

图4图示了根据一个或多个实施例的沉浸式交互远程呈现的(多个)示例方法。

图5图示了根据一个或多个实施例的沉浸式交互远程呈现的(多个)示例方法。

图6图示了具有示例设备的示例系统，该示例设备可以实现沉浸式交互远程呈现的实施例。

具体实施方式

描述了沉浸式交互远程呈现的实施例，并且可以实现该实施例以提供以下运载工具，该运载工具捕获对运载工具所行驶的环境的体验，其中该体验包括环境的音频和视频(例如，环境体验数据)，其可以在用户交互设备上向一组用户重现虚拟旅行。在环境中行驶以捕获环境体验数据的运载工具可以是以下各项中的任一类型：无人机、潜水器、陆地漫游车、行动式计算设备、人类相机载体和/或任何其他类型的相机运输工具。用户交互设备接收环境的音频和视频，并且用户交互设备中的每个用户交互设备为远离环境的一个或多个用户重现体验。

基于障碍规避和用户行驶意图，运载工具可以在环境中行驶，其中轨迹规划器可以在没有逐步行驶指令的情况下路线指引运载工具，以到达环境中的位置目标，诸如没有来自运载工具操作者或来自用户交互设备的用户的明确的方向输入。轨迹规划器可以基于与用户交互设备的用户相关联的先前的运载工具路线或者基于在运载工具开始在环境中行驶之前提供的用户偏好，确定用于路线指引运载工具的用户行驶意图。然后，轨迹规划器可以基于所确定的用户行驶意图来改变运载工具在环境中的路线。

虽然沉浸式交互远程呈现的特征和概念可以以任何数目的不同设备、系统、网络、环境和/或配置来实现，沉浸式交互远程呈现的实施例在以下示例设备、系统和方法的背景下被描述。

图1图示了可以实现沉浸式交互远程呈现的实施例的示例系统100。示例系统100包括运载工具102，在该示例中示出为无人驾驶飞行器(UAV)，通常也称为无人机。在实现中，运载工具102可以是无人机、潜水器、陆地漫游车、行动式计算设备、人类相机载体和/或任何其他类型的相机运输工具中的任一个或组合。运载工具被设计为捕获对运载工具所行驶的环境104的体验，其中该体验包括环境的音频和视频。

运载工具102包括音频系统106(例如，麦克风和/或其他音频检测设备)以捕获环境的音频。该运载工具还包括相机系统108，其被实现为在环境的二维或三维空间中捕获视频，运载工具在该环境中行驶，诸如作为无人机飞行、作为陆地漫游车在陆地上或在建筑物结构中行驶、作为潜水器在水中行驶(例如，在水下或浮在水面上)，或者作为被实现为相机运输工具的任何其他运载工具。相机系统108可以包括一个或多个相机设备，并且相机设备可以一起操作，以从共同视点捕获环境的视频，或者独立操作，以从不同的视点捕获环境的视频。

示例系统100包括用户交互设备110，其接收由运载工具102的音频系统106和相机系统108捕获的环境的音频和视频。用户交互设备110可以包括用于设备的多个用户116的观看设备112和/或控制器设备114。用户交互设备110从运载工具102接收环境的音频和视频，并且为远离该环境的一个或多个用户116重现对该环境的体验。在实现中，用户中的任一个可以使用不同类型的观看设备112，例如任何类型的虚拟现实耳机、虚拟现实眼镜、增强现实耳机、增强现实眼镜、具有集成显示器的移动设备，和/或耦合到计算设备的显示设备。

示例系统100包括基于云的数据服务118，其将用于运载工具102的轨迹规划器120实现为计算机应用。基于云的数据服务可以由用户交互设备110来经由网络122访问。这里描述的设备、运载工具、服务器和/或服务中的任一个可以经由网络进行通信，诸如用于在用户交互设备110和运载工具102之间进行视频和数据通信。网络可以被实现为包括有线网络和/或无线网络。网络也可以使用任何类型的网络拓扑和/或通信协议来实现，并且可以被表示或以其他方式实现为两个或更多网络的组合，以包括基于IP的网络和/或因特网。网络还可以包括由移动网络运营商和/或其他网络运营商管理的移动运营商网络，诸如通信服务提供商、移动电话提供商和/或因特网服务提供商。

基于云的数据服务118可以包括数据存储，该数据存储可以被实现为用于基于网络的数据存储的任何合适的存储器、存储器设备或电子数据存储。数据存储可以将轨迹规划器120的实例维护为可由用户交互设备10以及本文描述的运载工具(例如运载工具102)访问的在线应用(例如，作为基于网络的应用)。基于云的数据服务118还可以用代表一个或多个硬件服务器设备的服务器设备来实现。此外，基于云的数据服务可以用各种组件实现，诸如处理系统和存储器，以及利用任何数目的不同组件和不同组件的组合，如参考图6所示的示例设备进一步描述的，从而实现沉浸式交互远程呈现的服务、应用、服务器和其他特征。

在实现中，基于云的数据服务118接收由运载工具102的音频系统106和相机系统108捕获的环境104的音频和视频124，并且可以将环境的音频和视频维护为环境体验数据126。用户交互设备110可以从基于云的数据服务118(也称为运载工具(诸如运载工具102)和用户交互设备110之间的桥梁)接收环境体验数据126(例如，环境的音频和视频124)。此外，运载工具102所行驶的环境的音频被传达到用户交互设备110，以使用户可以既观看视频，又收听对应的音频，以获得运载工具所行驶的环境中的逼真的交互式远程呈现。另外，组中的用户可以彼此交谈，以协调他们的动作和输入，以控制运载工具102。

在实施例中，运载工具102的相机系统108被实现为将视频124捕获为环境的广角视图，并且经由基于云的数据服务118将视频路由到用户交互设备110。相机系统108可以包括相机设备，相机设备被布置为捕获广角球形视图(例如，180度视图或360度视图)以及环绕声音频。在实现中，附接到运载工具102的鱼眼相机可以捕获立体或单广角视场(例如，单一的120-180度视图)。备选地，相机配置可以包括多个相机设备，诸如一对平行鱼眼广角相机(例如，具有120-180度视场)，并且具有等于人类平均瞳距(IPD)或眼睛中心之间的距离的基线。

多个相机设备还可以被布置为立体多边形，其中一组立体相机具有等于人类IPD的基线，并且立体多边形布置可以是六边形、正方形或半六边形。多个相机设备也可以布置为相机圆，其中广角相机定位在圆中，诸如布置在相机球体、半球体中，或者相机以球形设置(例如，在十二面体顶点处)来布置。视频数据可以堆叠成(若干单独的相机帧的)组合帧，并以H264或H265/HEVC格式压缩。音频数据也可以被单独压缩，诸如针对每个麦克风输入，并且经编码的视频和音频数据被传达给基于云的数据服务。

从环境104所捕获的音频和视频124作为多播分布、经由基于云的数据服务118被流送到用户交互设备110(例如，虚拟现实或增强现实眼镜)。在实现中，视频的整个广角视图被流送到用户交互设备110而不裁剪其平截头体(frustrum)。这提供了以下：用户交互设备110的用户116中的每个用户可以基于用户在环境的广角视图内的观看位置来查看环境的不同部分。即使用户都共享来自远程运载工具的相同视频馈送，相应用户交互设备110的用户116中的每个用户也可以具有含音频的环境的独特的沉浸式视图。

环境可以以非常低的延迟、以及从用户的任何视点或头部位置被数字化地、虚拟地重现，并且用户可以在几乎没有或没有渲染延迟的情况下自由地环顾四周，这为用户创建了环境中的实时沉浸式交互远程呈现。环境104的所生成的虚拟重现是数字的，这消除了其它系统的控制滞后的问题，其它系统基于用于从不同的视点观看环境的用户移动来转播用于移动相机的指令。从运载工具102传达到用户交互设备110的音频和视频124的单向方面还减少了带宽限制和来回指令的处理，否则对于其他系统，这些指令将通过基于云的数据服务118而被传递。

在实施例中，轨迹规划器120由基于云的数据服务118实现，用于当运载工具102在环境104中行驶时，基于障碍规避128和用户行驶意图130来路线指引运载工具102。轨迹规划器120还可以被实现为：以稳定运动来路线指引运载工具102，稳定运动对最小化用户交互设备的用户的晕动症有效。基于障碍规避128和用户行驶意图130，轨迹规划器120可以在没有逐步行驶指令的情况下在环境104中路线指引运载工具102，并且可以在没有来自运载工具操作者或来自用户交互设备的一个或多个用户的明确的方向输入的情况下到达环境中的位置目标。

例如，轨迹规划器120可以基于与用户交互设备的用户116中的一个或多个用户相关联的先前的运载工具路线，确定用于路线指引运载工具102的用户行驶意图130，然后基于所确定的用户行驶意图改变运载工具在环境中的路线。备选地或附加地，轨迹规划器120可以基于在运载工具开始在环境中行驶之前提供的用户偏好，确定用于路线指引运载工具102的用户行驶意图130，并且基于所确定的用户行驶意图改变运载工具在环境中的路线。用户行驶意图可以由轨迹规划器120根据用户的历史偏好来确定，诸如在先前地、虚拟地游览环境时。用户行驶意图还可以根据上传或传达到基于云的数据服务118的用户偏好来确定，诸如当一组用户开始委托运载工具进行运载工具行驶和操作的环境的虚拟旅行时。

总体而言，轨迹规划器120被实现为：基于若干输入中的任一个或组合来在环境104中路线指引运载工具102，诸如用户偏好、用户意图、环境约束(例如，碰撞和障碍规避128、远程传感器信息、飞行/禁飞区、不规则的行驶点等)，以及减少在用户交互设备110(例如，观看设备112)上观看视频的用户的晕动症。虽然在该示例系统100中示出并描述了轨迹规划器120是由基于云的数据服务118实现的，但是运载工具本身可以被实现为具有轨迹规划器，并且实现如本文所述的轨迹规划器的功能和方面。参考图3示出并描述了包含轨迹规划器的运载工具的示例。

在实施例中，运载工具102可以由远离环境104的一组用户116委托(例如，借用、租用等)，以捕获对环境中的感兴趣区的体验，其中，如上所述，感兴趣区由用户来选择，或者感兴趣区由轨迹规划器120基于用户行驶意图130来选择。然后可以基于行驶指令而在环境104中控制运载工具102，行驶指令作为来自用户的、经由用户交互设备110(例如，控制器设备114)的用户控制命令132而由轨迹规划器接收，用于运载工具由用户引导的行驶。备选地或附加地，运载工具102可以在环境104中由运载工具操作者来控制，该运载工具操作者也定位在环境中(或者是环境本地的)，并为用户指导运载工具的路线，或者与用户一起对运载工具的控制做贡献。如参考图3进一步描述的，一组用户116可以协作地与远程环境交互，在众包(crowdsourcing)的上下文中来控制相机移动，以重新定位相机视点，和/或控制运载工具的行驶，以重新定位相机视点。

对于借来的、租用的或受委托的运载工具，诸如空中无人机，一组用户116可以经由基于云的数据服务118(例如，用于连接设备的桥)与无人机操作者连接，并且无人机操作者将无人机部署在该用户或多个用户想要虚拟看到的远程位置。如上所述，一组用户可以通过因特网(例如，网络122)连接到无人机(例如，运载工具102)，并且可以利用用户交互设备110、根据第一人称视角来飞行无人机。远程无人机操作者可以在任何点干预并控制无人机，以防止出现问题，例如通信链路问题、延迟问题、法规、碰撞和障碍规避等。

图2图示了在其中可以实现沉浸式交互远程呈现的实施例的示例系统200。在实施例中，如本文所述的运载工具可以用作环境202中的虚拟旅行向导，以捕获体验，作为用于用户交互设备110的用户116的虚拟旅行，并且轨迹规划器120可以确定和控制在环境中的运载工具路线，运载工具路线对促进虚拟旅行有效。在该示例中，环境202是巴黎市，并且运载工具(例如，运载工具102)中的几个运载工具被示出为空中无人机，其在环境的区域上方飞行，以为用户交互设备110的用户捕获体验。另外，通过当运载工具102在环境中行驶时控制运载工具102，无人机操作者可以用作旅行向导。

各种运载工具(诸如，空中无人机204和206)各自在城市(例如，环境202)的不同区域上方飞行。如上所述，运载工具中的任一个可以包括无人机(例如，204、206)、潜水器、陆地漫游车、行动式计算设备、人类相机载体208和/或任何其他类型的相机运输工具中的任一个或组合。在该示例中，空中无人机204沿着城市的外边界行驶指定路径210，并且空中无人机206沿着空中无人机204的结束点和艾菲尔铁塔之间的路径212行驶。在实施例中，运载工具的轨迹规划器120可以基于由一个或多个用户选择的环境的不同区域，或者基于轨迹规划器基于用户行驶意图130选择的环境的不同区域，发起将用户切换到附加的空中无人机。例如，与空中无人机204相关联的用户可以被切换到空中无人机206，以获得对环境的不同区域的虚拟旅行体验(例如，以体验巴黎市的艾菲尔铁塔)。

图3图示了在其中可以实现沉浸式交互远程呈现的实施例的示例系统300。示例系统300包括运载工具302，诸如参考图1示出和描述的运载工具102。在实现中，运载工具302可以是无人驾驶飞行器(无人机)、潜水器、陆地漫游车、行动式计算设备、人类相机载体和/或任何其他类型的相机运输工具中的任一个或组合。运载工具302包括相机系统304，其被实现为捕获环境的视频306，运载工具在该环境中行驶，诸如作为无人机飞行、作为陆地漫游车在陆地上或在建筑物结构中行驶、作为潜水器在水中行驶(例如，在水下或浮在水面上)，或者作为被实现为相机运输工具的任何其他运载工具。相机系统304可以包括一个或多个相机设备，并且相机设备可以一起操作，以从共同的视点捕获环境的视频306，或者独立地操作，以各自从不同的视点来捕获环境的视频。运载工具302还包括音频系统308，以捕获环境的周围声音音频310。

在该示例中，运载工具302利用各种组件来实现，诸如处理系统312和存储器314(例如，非易失性物理存储器)，以及利用任何数目的不同组件以及不同组件的组合，如参考图6所示的示例设备进一步被描述的。尽管未被示出，但是运载工具302包括电源(诸如电池)，以为运载工具的各种设备组件和推进装置或系统提供电力。此外，运载工具302是具有一个或多个无线系统316的无线通信设备，一个或多个无线系统316被实现为支持若干无线电接入技术，其可以包括Wi-Fi、蓝牙^TM、移动宽带、LTE、以及802.11a/b/g/n/ac网络连接技术，和/或任何其他无线通信系统或格式。通常，运载工具302包括无线通信系统316，无线通信系统316包括无线电设备、天线以及被实现为与其他设备、网络和服务进行无线通信的芯片组。

运载工具302还包括在运载工具所行驶的环境中控制运载工具的行驶控制系统318。行驶控制系统318与运载工具的推进装置或系统集成，并且可以被实现为软件、固件、硬件(例如，固定逻辑电路、电动机驱动器等)或其任何组合。类似地，相机系统304可以包括相机控制系统(未被示出)，其集成以独立地控制相机系统中的相机设备在运载工具上的位置，并且相机控制系统处理视频，以向观看设备传达。

运载工具302包括轨迹规划器320，诸如参考图1所描述的用于运载工具102的轨迹规划器120。轨迹规划器320可以被实现为软件应用或模块，诸如计算机可执行软件指令，其可利用处理系统312来执行，以实现沉浸式交互远程呈现的实施例。如所指示的，轨迹规划器320可以被存储在计算机可读存储存储器(例如，存储器314)上，诸如在运载工具中实现的任何合适的存储器设备或电子数据存储。附加地，在该示例中，轨迹规划器320利用投票系统322和策略系统324来实现。尽管被示出为轨迹规划器320的集成组件或模块，但是投票系统322和策略系统324中的任一个或二者可以独立于轨迹规划器320而在运载工具302和/或其他设备中实现。轨迹规划器320还包括障碍规避326和用户行驶意图328，如参考图1所示和所描述的。

在实施例中，运载工具102(或基于云的数据服务118)的轨迹规划器320可以利用策略系统和/或投票系统来实现，用于基于被视为用户投票的、行驶用户输入338中的每个行驶用户输入来生成共识行驶指令，以指导运载工具的行驶。运载工具302的行驶控制系统318还可以生成对投票系统322的投票输入，以指导运载工具的行驶。在实现中，行驶控制系统318的投票输入可以被加权，以考虑以下情况：当基于组输入而生成的共识行驶指令被覆盖时，诸如为了使运载工具规避障碍。此外，轨迹规划器320的策略系统324可以有助于基于被视为加权的投票的、行驶用户输入338中的每个行驶用户输入来生成共识行驶指令，以指导运载工具的行驶。

例如，就策略而言，针对建议行驶指令和/或建议相机视点的一些用户输入可以基于用户因素而被更高或更低地加权，诸如，用户是否有意提供差的输入、用户的年龄或经验、用户对于特定类型的运载工具的技能水平、以及在加权用户输入时可以被考虑的任何其他类型的因素。附加地，策略系统可以包括货币化方面，通过该方面用户可以支付以控制运载工具，诸如对于一段时间或对于一段行驶时间，或者用户可以使他或她的输入显著地大于该组的其他用户而被加权，该组的其他用户对用于交互远程呈现体验的相机视点控制的协作式工作有贡献。

运载工具302的轨迹规划器320和行驶控制系统318也可以被实现为覆盖基于组输入而生成的行驶指令，作为针对一些其他不期望的行驶结果的策略，诸如在空中无人机飞行时用于关闭空中无人机的行驶指令，或者避免运载工具突然和/或不稳定的运动，其可能导致观看环境视频的用户的晕动症。在一些情况下，如上所述，策略系统可以覆盖投票系统，以防止运载工具行驶的不期望结果，该结果将影响用户组中的所有用户，这些用户协作以获得在运载工具行驶的环境中的交互远程呈现。

在实施例中，轨迹规划器320被实现为：当运载工具在环境中行驶时，基于障碍规避326和用户行驶意图328来路线指引运载工具302。轨迹规划器320可以在没有逐步行驶指令的情况下路线指引运载工具以到达环境中的位置目标，例如没有来自运载工具操作者或来自用户交互设备的用户的明确的方向输入。轨迹规划器320还可以基于与用户交互设备的用户相关联的先前的运载工具路线或者基于运载工具开始在环境中行驶之前提供的用户偏好，确定用于路线指引运载工具302的用户行驶意图328。然后，轨迹规划器可以基于所确定的用户行驶意图来改变运载工具在环境中的路线。

示例系统300还包括用户交互设备330，例如参考图1示出和描述的观看设备112和相关联的控制器设备114。类似于运载工具302(例如，在支持计算的设备的上下文中)，用户交互设备330可以各自利用处理系统和存储器(例如，物理存储器)以及利用电源(例如电池)来实现，以为设备组件供电。存储器可以维护软件应用，例如设备应用和设备的操作系统。另外，用户交互设备330中的任一个可以利用任何数目的不同组件和不同组件的组合来实现，如参考图6所示的示例设备进一步所描述的。用户交互设备330还可以是具有一个或多个无线系统332的支持无线通信的设备，一个或多个无线系统332被实现为支持上述几种无线电接入技术。

用户交互设备330还包括某种形式的视频显示系统334，以显示由运载工具302的相机系统304捕获的视频306，并且包括用于回放由运载工具302的音频系统308捕获的音频310的音频渲染系统336。视频306和音频310(例如，环境体验数据126)可以从运载工具302(例如，经由网络122)向用户交互设备330传达，并且可以渲染运载工具行驶的环境的环境体验数据126，并将其显示给用户交互设备的各个用户。备选地，环境体验数据126可以从基于云的数据服务118向用户交互设备330传达，如参考图1所示和所述的。

如所描述的，运载工具302的相机系统304还可以包括相机控制系统，相机控制系统处理视频306以传达给基于云的数据服务118和/或用户交互设备330。在实现中，视频306由相机系统304的相机捕获，并且视频的图像帧被堆叠成组合帧，并转换为YUV颜色空间图像格式。然后，将组合帧压缩为H.264(例如，ITU-T H.264建议书(02/2014)中所讨论的H.264协议)，并且通过网络122(例如，因特网)、以基于用户数据报协议(UDP)或超文本运输协议(HTTP)的实时运输协议(RTP)包将其发送给基于云的数据服务和/或用户交互设备(或利用TCP/IP协议将客户端设备和/或相机系统连接到基于云的服务)。用户交互设备330接收基于UDP或HTTP的RTP包，并且经压缩的H.264帧从RTP包被解包。然后经压缩的帧被解压缩，并被转换为RGB颜色空间格式，其在相应的用户交互设备的视频显示系统334上被显示为视频。

如上面参考图1所述，与观看设备112相关联的控制器设备114可以用于行驶用户输入338，行驶用户输入338作为对运载工具302的建议行驶指令和/或作为建议相机视点，该建议相机视点用于重新定位由运载工具运输的相机系统304，或者相机系统的相机设备。用户交互设备330的用户组可以协作，以控制由运载工具302运输的相机系统304的视点，以获得在运载工具所行驶的环境中的交互远程呈现。该组用户可以在众包的情况下协作地与远程环境交互，以控制相机移动来重新定位相机视点，和/或控制运载工具行驶来重新定位相机视点。可以将作为行驶用户输入338的建议行驶指令和建议相机视点作为用户控制命令340而集体地传达给运载工具302。

该示例系统300中，运载工具302的轨迹规划器320接收集体用户控制命令340，并且基于建议行驶指令生成用于运载工具302的共识行驶指令。如上所述，轨迹规划器320利用投票系统322来实现，用于基于被视为用户投票的、建议行驶指令中的每个建议行驶指令来生成共识行驶指令，以指导运载工具的行驶。类似地，轨迹规划器320可以利用策略系统324来实现，用于基于被视为加权投票的、建议行驶指令中的每个建议行驶指令来生成共识行驶指令，以指导运载工具的行驶。然后，轨迹规划器320可以向行驶控制系统318传达行驶指令，行驶指令对指导运载工具如何行驶有效(例如，停止、制动、启动、加速、关闭运载工具、打开运载工具、向上行驶、向下行驶、左转、右转、转向反方向、旋转、前行和后退中的任一个或组合)。类似地，轨迹规划器320接收集体用户控制命令340，并且可以基于建议相机视点生成共识相机视点，以重新定位相机系统304的一个或多个相机。

根据沉浸式交互远程呈现的一个或多个实施例，参考相应的图4和图5，示例方法400和示例方法500被描述。通常，本文描述的组件、模块、方法和操作中的任何一项可以使用软件、固件、硬件(例如，固定逻辑电路)、手动处理或其任何组合来实现。在可执行指令被存储在计算机可读存储存储器上的总体背景下，可以描述示例方法的一些操作，计算机可读存储存储器是在计算机处理系统的本地和/或远程，并且实现可以包括软件应用、程序、功能等。备选地或附加地，本文描述的任何功能可以至少部分地由一个或多个硬件逻辑组件执行，诸如但不限于，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)等。

图4图示了沉浸式交互远程呈现的(多个)示例方法400，并且通常参考传输音频和相机系统的运载工具来描述。描述方法的次序不旨在被解释为限制，并且可以以任何次序执行方法操作的任何数目或组合以实现方法或备选方法。

在402处，捕获对运载工具所行驶的环境的体验，该体验包括环境的音频和视频。例如，运载工具102包括音频系统106(例如，麦克风和/或其他音频检测设备)以捕获环境104的音频，并且运载工具102包括相机系统108，相机系统108在环境的二维或三维空间中捕获视频124，运载工具在该环境中行驶，诸如作为无人机飞行、作为陆地漫游车在陆地上或在建筑物结构中行驶、作为潜水器在水中行驶(例如，在水下或浮在水面上)，或者作为被实现为相机运输工具的任何其他运载工具。相机系统108可以包括一个或多个相机设备，并且相机设备可以一起操作，以从共同视点捕获环境的视频，或者独立操作，以各自从不同的视点捕获环境的视频。在实现中，相机系统108的多个相机各自从环境的不同视点捕获视频。在实现中，体验的视频(诸如，虚拟旅行)可以作为环境的广角视图而被诸如空中无人机捕获，空中无人机在环境的区域上方飞行，并且为用户交互设备110的一个或多个用户116捕获环境体验数据126。

在404处，体验的音频和视频被传达给用户交互设备，该用户交互设备为远离环境的一个或多个用户重现体验。例如，运载工具102将音频和视频124传达到基于云的数据服务118(也称为设备桥)，并且用户交互设备110经由基于云的数据服务从运载工具102接收环境的音频和视频。从环境104捕获的音频和视频124经由基于云的数据服务118、作为多播分发被流送到用户交互设备110(例如，虚拟现实或增强现实眼镜)。用户交互设备110的用户116中的每个用户可以基于用户在环境的广角视图中观看的位置来查看环境的不同部分，并且每个用户可以具有含音频的环境的独特的沉浸式视图，即使用户全都共享来自远程运载工具的相同视频馈送。用户交互设备可以是不同类型的设备，诸如以下各项中的任一类型：虚拟现实耳机、虚拟现实眼镜、增强现实耳机、增强现实眼镜、具有集成显示器的移动设备，和/或耦合到计算设备的显示设备。

在406处，当运载工具在环境中行驶时，基于障碍规避和用户行驶意图来确定用于运载工具的路线信息。例如，当运载工具102在环境104中行驶时，由基于云的数据服务118实现的轨迹规划器120基于障碍规避128和用户行驶意图130来路线指引运载工具102。轨迹规划器120还可以以稳定运动来路线指引运载工具102，稳定运动对最小化用户交互设备的用户的晕动症有效。基于障碍规避128和用户行驶意图130，轨迹规划器120可以在没有逐步行驶指令的情况下在环境104中路线指引运载工具102，并且可以在没有来自运载工具操作者或来自用户交互设备的一个或多个用户的明确的方向输入的情况下到达环境中的位置目标。

在408处，基于所确定的用户行驶意图来改变运载工具在环境中的路线。例如，轨迹规划器120基于与用户交互设备的用户116中的一个或多个用户相关联的先前的运载工具路线，确定用于路线指引运载工具102的用户行驶意图130，然后基于所确定的用户行驶意图改变运载工具102在环境104中的路线。备选地或附加地，轨迹规划器120基于运载工具在环境中开始行驶之前提供的用户偏好，确定用于路线指引运载工具102的用户行驶意图130，并且基于所确定的用户行驶意图改变运载工具102在环境104中的路线。

在410处，基于路线信息来指示运载工具的行驶控制系统关于运载工具如何在环境中行驶。例如，轨迹规划器120将路线信息传达给行驶控制系统318，路线信息对指示运载工具如何行驶有效(例如，停止、制动、启动、加速、关闭运载工具、打开运载工具、向上行驶、向下行驶、左转、右转、转向反方向、旋转、前行和后退中的任一个或组合)。基于若干输入中的任一个或组合，诸如用户偏好、用户意图、环境约束(例如，碰撞和障碍规避128、远程传感器信息、飞行/禁飞区、不规则的行驶点等)，轨迹规划器120在环境104中路线指引运载工具102，并且减少在用户交互设备110(例如，观看设备112)上观看视频的用户的晕动症。可选地，方法400可以在402处继续以捕获环境体验数据。

图5图示了沉浸式交互远程呈现的(多个)示例方法500，并且通常参考用户交互设备来描述。描述方法的次序不旨在被解释为限制，并且可以以任何次序执行方法操作的任何数目或组合以实现方法或备选方法。

在502处，用户偏好被传达，以虚拟地体验远离用户的环境。例如，用户交互设备110用于将用户偏好(诸如用户行驶意图130)传达给基于云的数据服务118，以发起对远离用户的环境的虚拟体验。环境的体验可以是用户交互设备110为用户重现的虚拟旅行，并且运载工具102是在环境104中被路线指引的虚拟旅行向导，其对促进虚拟旅行有效，其中运载工具可以基于所确定的用户行驶意图改变在环境中的路线。

在504处，在环境中捕获的体验的音频和视频被接收，在该环境中，运载工具基于障碍规避和根据用户偏好所确定的用户行驶意图来行驶路线，该运载工具包括捕获作为环境的广角视图的视频的相机系统。例如，用户交互设备110经由基于云的数据服务从运载工具102接收环境的音频和视频。从环境104捕获的音频和视频124经由基于云的数据服务118、作为多播分发被流送到用户交互设备110(例如，虚拟现实或增强现实眼镜)。

在506处，利用用户交互设备来为用户重现对环境的体验。例如，用户交互设备110的用户116中的每个用户可以基于用户在环境的广角视图中观看的位置来查看环境的不同部分，并且每个用户可以具有含周围音频的环境的独特的沉浸式视图，即使用户全都共享来自远程运载工具的相同视频馈送。在实现中，用户中的任一个可以使用不同类型的用户交互设备110，诸如以下各项中的任一类型：虚拟现实耳机、虚拟现实眼镜、增强现实耳机、增强现实眼镜、具有集成显示器的移动设备，和/或耦合到计算设备的显示设备。可选地，方法500可以在504处继续，以接收环境体验数据。

图6图示了包括示例设备602的示例系统600，示例设备602可以实现沉浸式交互远程呈现的实施例。示例设备602可以被实现为以下各项中的任一个：计算设备、用户设备、运载工具(例如，在计算设备的上下文中)，以及参考先前的图1至图5所描述的服务器设备，诸如任何类型的移动设备、可穿戴设备、客户端设备、移动电话、平板电脑、计算、通信、娱乐、游戏、媒体回放和/或其他类型的设备。例如，本文描述的观看设备、控制器设备和/或运载工具可以被实现为示例设备602或者与示例设备的各种组件一起被实现。

设备602包括通信设备604，其实现设备数据606(诸如由运载工具运输的相机系统所捕获的视频数据，由运载工具的音频系统捕获的音频数据，以及建议用户行驶输入和建议相机视点)的有线和/或无线通信。附加地，设备数据可以包括任何类型的音频、视频和/或图像数据。通信设备604还可以包括用于蜂窝电话通信和用于网络数据通信的收发器。

设备602还包括输入/输出(I/O)接口608，诸如数据网络接口，其提供本文描述的设备、数据网络、其他设备和运载工具之间的连接和/或通信链路。I/O接口可以被用来将设备耦合到任何类型的组件、外围设备和/或附件设备。I/O接口还包括数据输入端口，经由该数据输入端口可以接收任何类型的数据、媒体内容和/或输入，诸如对设备的用户输入，以及从任何内容和/或数据源接收的任何类型的音频、视频和/或图像数据。

设备602包括处理系统610，其可以至少部分地以硬件实现，诸如利用处理可执行指令的任何类型的微处理器、控制器等。处理系统可以包括以下组件：集成电路、可编程逻辑设备、使用一个或多个半导体形成的逻辑设备以及在硅和/或硬件中的其他实现，诸如被实现为为片上系统(SoC)的处理器和存储器系统。备选地或附加地，该设备可以利用以下各项中的任一个或组合来实现：软件、硬件、固件或可以用处理电路和控制电路来实现的固定逻辑电路。设备602进一步可以包括与设备内的各种组件耦合的任何类型的系统总线或其他数据和命令传输系统。系统总线可以包括不同的总线结构和架构中的任一个或组合，以及控制线和数据线。

设备602还包括计算机可读存储存储器612，诸如可以由计算设备访问的数据存储设备，以及提供数据和可执行指令(例如，软件应用、程序、功能等)的持久存储的数据存储设备。计算机可读存储存储器612的示例包括：易失性存储器和非易失性存储器、固定和可移动介质设备、以及维护用于计算设备访问的数据的任何合适的存储器设备或电子数据存储器。计算机可读存储存储器可以包括以下各种实现：随机存取存储器(RAM)(例如，DRAM和电池支持的RAM)、只读存储器(ROM)、闪存和具有各种存储器设备配置的其他类型的存储介质。

计算机可读存储存储器612提供对设备数据606和各种设备应用614(诸如操作系统，该操作系统作为具有计算机可读存储存储器的、并由处理系统610执行的软件应用而被维护)的存储。在该示例中，设备应用包括轨迹规划器616，轨道规划器616实现沉浸式交互远程呈现的实施例，诸如当示例设备602被实现为如本文中参考图1-图3所描述的运载工具时，或者作为参考图1被示出和描述的基于云的数据服务118的一部分。轨迹规划器616的示例包括由基于云的数据服务118实现的轨迹规划器120，以及运载工具302中的轨迹规划器320，如参考图1至图5所描述的。

设备602还包括音频和/或视频系统618，其生成用于音频设备620的音频数据和/或生成用于显示设备622的显示数据。音频设备和/或显示设备包括处理、显示和/或以其他方式实施音频、视频、显示和/或图像数据的任何设备。在实现中，音频设备和/或显示设备是示例设备602的集成组件。备选地，音频设备和/或显示设备是示例设备的外部、外围组件。

在实施例中，针对沉浸式交互远程呈现所描述的技术的至少一部分可以在分布式系统中被实现，诸如在平台626中的“云”624上被实现。云624包括和/或表示用于服务628和/或资源630的平台626。平台626抽象化硬件的底层功能，诸如服务器设备(例如，被包括在服务628中)和/或软件资源(例如，作为资源630而被包括)，并且将示例设备602与其他设备、服务器、运载工具632等连接。资源630还可以包括应用和/或数据，当计算机处理在远离示例设备602的服务器上被执行时，可以利用该应用和/或数据。附加地，服务628和/或资源630可以促进订户网络服务，诸如通过因特网、蜂窝网络或Wi-Fi网络。平台626还可以用于抽象化和缩放资源，以服务于对经由平台而实现的资源630的需求，诸如在具有分布在整个系统600中的功能的互连设备实施例中。例如，该功能可以部分地在示例设备602处以及经由抽象云的功能的平台626来实现。

尽管沉浸式交互远程呈现的实施例已经用特定于特征和/或方法的语言来描述，但是所附权利要求不必限于所描述的具体特征或方法。相反，具体特征和方法被公开作为沉浸式交互远程呈现的示例实现，并且其他等同特征和方法旨在落入所附权利要求的范围内。此外，各种不同的实施例被描述，并且应当理解，每个描述的实施例可以独立地被实现，或者与一个或多个其他所描述的实施例结合来实现。本文所讨论的技术、特征和/或方法的其他方面涉及以下实施例中的一个或多个。

一种用于沉浸式交互远程呈现的系统，该系统包括：运载工具，被配置为捕获对运载工具所行驶的环境的体验，体验至少包括环境的音频和视频；用户交互设备，被配置为接收环境的音频和视频，用户交互设备中的每个用户交互设备被配置为：为远离环境的一个或多个用户重现体验；以及轨迹规划器，被配置为当运载工具在环境中行驶时，基于障碍规避和用户行驶意图来路线指引运载工具。

作为上述系统的备选或补充，进行以下中的任一个或组合：轨迹规划器被配置为：在没有从用户交互设备的一个或多个用户接收到逐步行驶指令的情况下，在环境中路线指引运载工具。轨迹规划器被配置为：在没有来自运载工具操作者或来自用户交互设备的一个或多个用户的明确的方向输入的情况下，路线指引运载工具，以到达在环境中的位置目标。轨迹规划器被配置为：基于与用户交互设备的一个或多个用户相关联的先前的运载工具路线指引，确定用于路线指引运载工具的用户行驶意图；以及基于所确定的用户行驶意图，改变运载工具在环境中的路线。轨迹规划器被配置为：基于运载工具在环境中开始行驶之前所提供的用户偏好，确定用于路线指引运载工具的用户行驶意图；以及基于所确定的用户行驶意图，改变运载工具在环境中的路线。运载工具由远离环境的一个或多个用户委托，以捕获对环境中的感兴趣区的体验，感兴趣区由一个或多个用户选择，或者感兴趣区由轨迹规划器基于用户行驶意图来选择。运载工具基于以下各项中的至少一项而被控制：轨迹规划器经由用户交互设备接收来自一个或多个用户的行驶指令，以用于运载工具的用户指导的行驶；或者在运载工具的环境中的运载工具操作者，运载工具操作者指导运载工具的路线。运载工具是环境中的虚拟旅行向导，虚拟旅行向导被配置为捕获体验作为用于用户交互设备的一个或多个用户的虚拟旅行；以及轨迹规划器被配置为进行对运载工具的所述路线指引，路线指引对促进虚拟旅行有效。运载工具是空中无人机，空中无人机被配置为在环境的区域上飞行，以为用户交互设备的一个或多个用户捕获对区域的体验；以及该系统还包括：一个或多个附加的空中无人机，各自被配置为在环境的不同区域上飞行，空中无人机被配置为：将一个或多个用户切换到附加的空中无人机中的一个空中无人机，一个空中无人机为用户交互设备的一个或多个用户捕获对环境的不同区域的体验。轨迹规划器被配置为：基于由一个或多个用户选择的环境的不同区域，或者基于轨迹规划器基于用户行驶意图选择的环境的不同区域，发起将一个或多个用户切换到附加的空中无人机。运载工具包括相机系统，相机系统被配置为捕获视频，作为环境的广角视图；以及视频被路由到用户交互设备，其中一个或多个用户中的每个用户能够基于用户在环境的广角视图内观看的位置来查看环境的不同部分。轨迹规划器被配置为以稳定运动来进行对运载工具的所述路线指引，稳定运动对最小化用户交互设备的一个或多个用户的晕动症有效。

一种用于由运载工具实现的沉浸式交互远程呈现的方法包括：捕获对运载工具所行驶在的环境的体验，体验至少包括环境的音频和视频；向用户交互设备传达体验的音频和视频，用户交互设备为远离环境的一个或多个用户重现体验；当运载工具在环境中行驶时，接收基于障碍规避和用户行驶意图的、用于运载工具的路线信息；以及指示运载工具的行驶控制系统如何基于路线信息在环境中行驶。

作为上述方法的备选或补充，进行以下中的任一个或组合：在没有来自运载工具操作者或来自用户交互设备的一个或多个用户的明确的方向输入的情况下，确定用于运载工具的路线指引信息，以到达环境中的位置目标。基于与用户交互设备的一个或多个用户相关联的先前的运载工具路线指引，确定用于路线指引运载工具的用户行驶意图；以及基于所确定的用户行驶意图，改变运载工具在环境中的路线。基于运载工具在环境中开始行驶之前所提供的用户偏好，确定用于路线指引运载工具的用户行驶意图；以及基于所确定的用户行驶意图，改变运载工具在环境中的路线。在环境的区域上方飞行，并为用户交互设备的一个或多个用户进行对环境的体验的所述捕获；以及将一个或多个用户切换到附加的运载工具，附加的运载工具在环境的不同区域上方飞行，并且附加的运载工具为用户交互设备的一个或多个用户捕获对环境的不同区域的体验。捕获体验的视频作为环境的广角视图；以及向用户交互设备进行视频的所述传达，其中一个或多个用户中的每个用户可以基于用户在环境的广角视图中观看的位置来查看环境的不同部分。

一种用于在用户交互设备处实现的沉浸式交互远程呈现的方法包括：传达用户偏好，该用户偏好用于虚拟地体验远离用户交互设备的用户的环境；接收在环境中所捕获的体验的音频和视频，在该环境中运载工具基于障碍规避和根据用户偏好确定的用户行驶意图来行驶路线，该运载工具包括将视频捕获为环境的广角视图的相机系统；利用用户交互设备为用户重现对环境的体验，该体验包括基于用户在环境的广角视图中观看的位置来显示环境的一部分。

作为上述方法的备选或补充，进行以下中的任一个或组合：对环境的体验是用户交互设备为用户重现的虚拟旅行；并且运载工具是在环境中被路线指引的虚拟旅游向导，其对促进虚拟旅行有效，该运载工具被配置为基于所确定的用户旅行意图来改变在环境中的路线。