具有无人飞行器（UAV）对分布式表演系统的动态参与的空中表演系统的制作方法

具有无人飞行器(uav)对分布式表演系统的动态参与的空中表演系统
技术领域
[0001]
本描述大体上涉及空中表演或展示，并且更具体地，本描述涉及一种适于提供动态协调的表演(例如，空中设备和地面设备之间的协调)的新系统(及相关的控制方法)，以娱乐诸如主题公园、户外运动场等之类的设施的游客。该系统包括分布式表演系统和人类演员以及无人飞行器(uav)，对该无人飞行器进行跟踪、监视和控制，以提供对分布式表演系统和人类演员的动态表演参与。


背景技术：

[0002]
存在对用于提供空中表演或展示的新方法的强烈需求。例如，可以向参观主题公园或游乐园的人群提供这些表演和展示。在其他情况下，在体育赛事的之前或之后，或者甚至在中场或其他休息时间，向体育迷提供空中展示或表演。
[0003]
表演和展示设计者已经开始使用诸如四轴飞行器之类的无人飞行器(uav)作为表演的一部分或携带表演的空中组件的一部分。uav提供了许多机会来创造性地增强戏剧表演作品(production)。但是，它们通常作为可以以预编程的模式飞行的几乎独立的系统来操作。尤其是，迄今为止，通常已通过执行预编程的运动集合来控制uav，诸如以在一空间上执行预定义的飞行计划。另外，表演中使用的uav与其余作品(诸如人类演员的演出、基于地面的表演或展示系统的触发，和/或其他uav在表演空间中的移动和操作)的现场表演节奏脱离。
[0004]
现代空中展示或表演作品具有越来越复杂的人类演出和表演效果，并且，迄今为止，已经证明很难将这些元素与uav预编程的飞行路径同步。可以简化表演作品，以使uav看起来与其他表演元素同时击中某些标记，而这种紧密同步的缺乏可能会导致uav在空中展示或表演中的出现被感知为是随意且不连贯的。


技术实现要素：

[0005]
简而言之，提供了一种空中表演系统，其包括无人飞行器(uav)、uav机载的表演系统(包括任何由uav承载或移动的表演系统)、人类演员或表演参与者、非uav或“地面”的表演系统，以及全局地面控制器或(一个或多个)系统。在本描述中，uav包括在表演空间中飞行的任何无人对象，诸如直升机、无人机、弹道对象(其可以包括发射到空中或从飞行对象、高架平台或者以其他方式从高空中掉落以飞行通过表演的空域的机器人设备等)。全局的基于地面的控制系统配置有硬件和软件(例如，全局控制器模块)，以在表演期间主动地跟踪uav的操作，并且作为响应，做出反应并作用于uav以使uav真正地成为大型表演演出或体验的一部分。新的空中表演系统克服了依赖于使具有机载表演效果元件的uav简单地遵循预编程的飞行计划的不足。相反，新的系统实现了uav对分布式表演系统的动态表演参与，该分布式表演系统可以包括具有表演效果元件的其他uav、地面或空中的人类演员以及可以在地面上但在表演演出期间在uav飞行通过的空域中发射或提供效果的非uav表演系统。
[0006]
例如，全局的基于地面的控制系统可以跟踪具有表演效果元件(或具有一个、两个或更多的表演效果元件的机载表演系统，并且表演效果元件各自可以包括机器人子系统或组件)的uav，以确定uav是否相对于表演空间中的位置和取向以及相对于定时恰当地击中其提示或标记(例如，uav的行进速度和方向是否正确，以提供与其他表演系统和/或表演效果元件的操作的恰当时间同步)。如果提示/标记被击中而为“是”，则基于地面的控制系统可以触发一个或多个表演系统的(一个或多个)第一效果，但是，如果因为被跟踪的uav错过了提示/标记而为“否”，则基于地面的控制系统可以触发由一个或多个表演系统(与用于提供(一个或多个)第一效果相同或不同的表演系统)提供的(一个或多个)第二效果(或第三效果等)。在新的空中表演系统的操作期间，基于地面的控制系统完全知晓表演空间中使用的uav，并且这些uav中的每一个彼此通信以及与地面通信，以便于基于地面的控制系统的监视操作以及表演效果触发操作。
[0007]
更具体地，提供一种适于实现在分布式空中和地面表演中的无人飞行器的动态参与的系统。该系统包括基于地面的表演控制系统，其基于为分布式空中表演定义的理想时间线生成用于触发表演效果的触发信号。每个uav包括飞行控制器，并且在某些情况下可选地包括飞行推进机构，该飞行推进机构能够操作为在表演空域中将uav在三个维度上移动。进一步地，该系统包括：(a)与uav物理地分离并且能够响应于触发信号进行操作以生成第一表演效果的一个或多个表演效果设备；(b)物理地在uav上或由uav支撑(support)并且能够响应于触发信号进行操作以生成第二表演效果的一个或多个表演效果设备。在系统操作期间，第一和第二表演效果交互以生成累积或完整的表演效果。
[0008]
在一些实施例中，uav还包括具有计算资源的机载表演控制器，该计算资源执行脚本以基于表演控制信号为物理地在uav上或由uav支撑的一个或多个表演效果设备生成表演控制信号。在这样的实施例中，脚本可以是或包括迷你场景，该迷你场景包括基于uav在表演空间中的实际位置而被触发和混合的乐谱或灯光提示，以随着时间线维持分布式空中表演的同步。可以将迷你场景独特地配置为在时间线上早地或晚地结束以适应uav的实际位置。
[0009]
在系统的相同或其他实施例中，基于地面的表演控制系统基于相对于在分布式空中表演的时间线中定义的定时和标记位置的、uav行进到或通过空域中的位置的定时来生成触发信号。该系统还可以包括耦接到基于地面的表演控制系统的跟踪设备，该跟踪设备跟踪uav和与uav物理地分离的表演效果设备的相对位置，并且该相对位置可以由基于地面的表演控制系统用来选择用于发出触发信号的时间。此外，该相对位置可以由基于地面的表演控制系统用来生成触发信号，以使得在由推进机构将uav移动通过表演空域时，与uav物理地分离的一个或多个表演效果设备朝向uav提供照明或投影。此外，跟踪设备可以确定附加uav在表演空域中的实时位置，并且基于地面的表演控制系统可以随后自动地修改一个或多个表演效果设备的操作来调节照明或投影，以控制位于uav和与uav物理地分离的一个或多个表演效果设备之间的uav中的一个或多个的照明。
[0010]
在系统的某些实施方式中，触发信号是在早于或晚于在分布式空中表演的时间线中定义的定时的时间点处生成的。物理地在uav上或由uav支撑的一个或多个表演效果设备可以从uav向与uav物理地分离的一个或多个表演效果设备提供光、视频或激光投影。在这些或其他情况下，与uav物理地分离的一个或多个表演效果设备在物理地在uav上或由uav
支撑的一个或多个表演效果设备上或者朝向其提供光、视频或激光投影。与uav物理地分离的一个或多个表演效果设备可以被配置为将光、视频或激光投影提供到uav上或者物理地在uav上或由uav支撑的一个或多个表演效果设备上。
[0011]
为了增强安全系统操作，基于地面的表演控制系统可以被配置为仅在确定uav处于与uav物理地分离的一个或多个表演效果设备的操作的安全位置时生成触发信号，诸如烟火或烟花效果。基于地面的表演控制系统可以操作与uav物理地分离的一个或多个表演效果设备，以在uav的紧急着陆期间在表演空域中突出uav。基于地面的表演控制系统还可以操作与uav物理地分离的一个或多个表演效果设备，以在分布式空中表演的时间线期间在表演空域中突出附加uav。
附图说明
[0012]
图1示出了根据本描述的动态使用无人飞行器(uav)与其他分布式表演效果元件的空中表演系统的功能框图；
[0013]
图2是空中展示或表演系统在其在表演和展示中使用具有机载表演系统的uav和分布式表演系统期间的一个示例性实施方式的侧面透视图；
[0014]
图3是用于操作表演系统以提供uav与uav外的表演元件的动态交互的控制方法的流程图；
[0015]
图4是提供对表演效果设备的基于uav状态的控制的表演控制方法的流程图；以及
[0016]
图5是用于基于uav在表演的空域中的被跟踪位置对表演效果元件进行基于安全性的控制的表演系统控制方法的流程图。
具体实施方式
[0017]
简要地，描述了一种空中表演系统，其包括一对多的无人飞行器(uav)，该uav中的每一个具有带有一个或多个表演效果元件的机载表演配件。该空中表演系统还包括一对多的分布式基于地面的表演系统，该基于地面的表演系统中的每一个具有(一个或多个)表演效果元件。空中表演系统被配置为在表演演出期间跟踪uav，以便对它们的操作与基于地面的表演系统(其通常与uav间隔一定距离)的操作进行协调和/或同步，以实现uav及其表演效果元件对分布式基于地面的表演系统及其表演效果元件的动态表演参与，从而实现高度编排的表演。在一些实施例中，一个或多个基于地面的表演系统提供与uav的一个或多个机载表演系统的输出或效果交互或组合的输出或效果，以实现完整的表演效果或累积效果，这在uav击中表演飞行计划中定义的其标记/提示(cue)时以及当uav在表演空域中偏离航线或偏离调度时，需要对机载和分布式表演系统的精确同步。
[0018]
新的空中表演系统特别适合于提供在下面(例如，在地面上)的一组观看者或观察者上方的天空或空间中的表演或展示。飞行器(aerial vehicle)或航空器(aircraft)可以采用几乎任何uav的形式，诸如三轴飞行器、四轴飞行器或被配置用于提升和/或承载较重负载的其他类似设备，而其他实施例可以使用具有飞艇、飞机和/或弹道对象(诸如发射或掉落的电子动画人偶(animatronic)或机器人)形式的uav，因此“uav”旨在以很宽泛的含义进行解释。表演系统或具有其一个或多个表演效果元件的配件是“机载的”，即其可以物理地位于uav的主体或结构框架之上或之中，或者其也可以被束缚在uav上或以其他方式与
uav耦接以悬挂在uav或无人机下方。以这种方式，uav被配置为支撑或承载整个表演系统的一部分，并且在uav上设置机载或本地的表演控制器以控制机载表演系统/配件的组件的操作。可以通过基于uav控制器的输出(例如，提供有关uav速度、当前位置等的数据)，生成用于机载表演系统的组件的表演控制信号以适应以动态方式存储在本地存储器中的预定义表演来执行控制。此外，可以通过与基于地面的表演控制系统的通信来提供与其他表演系统的同步，该基于地面的表演控制系统跟踪每个uav在表演空域中的位置和操作(例如，利用跟踪设备或系统)，并且运行或提供中央表演控制器或主表演控制器，以向每个uav上的每个表演系统以及分布式基于地面的表演系统提供定时和触发信号。
[0019]
图1示出了利用本描述的新控制方法的空中表演或展示系统100的功能框图。系统100包括uav(或无人机)120，其如虚线151所示物理地支撑机载表演系统或配件150，以经由表演效果设备168提供一个或多个飞行表演元件，诸如飞行投影屏幕、飞行灯光系统、飞行抛物体发射器等。换句话说，uav 120被配置为支撑表演配件150，并使其在地面102上方的空间104中移动，诸如在三个维度上或在箭头125所示的任何方向上移动，其中表演配件150或由其创建的效果可以由地面102上的观众成员(未示出，但应理解)观看。表演配件150或其表演效果设备168可以经由与uav机壳(chassis)/主体122的耦接(以虚线示出)来支撑。
[0020]
uav(或多个uav)120可以采用多种形式来承载和定位机载表演配件150。通常，uav 120可以是任何无人飞行器或对象，包括经由推进机构124可移动或可推进通过空间104的载具，诸如弹道对象以及诸如使用螺旋桨的载具(诸如飞机类无人机)，诸如飞艇/气球，以及诸如使用一个或多个螺旋桨的直升机类无人机(诸如三轴飞行器、四轴飞行器和具有五个、六个或更多螺旋桨的飞行器)，并且由飞行推进机构(例如，电动机和螺旋桨组合)124提供用于机壳/主体122(以及支撑的表演效果设备168)的3d移动125的推进力。经常会针对uav 120用以支撑其自身重量同时还支撑机载表演配件150的重量(以及飞行期间的阻力)的能力来选择uav 120。uav 120还包括电源128(诸如一个或多个电池)，以向uav 120的机构124和uav 120其他需要电力的组件的操作进行供电。提供传感器126以感测包括推进机构124的uav 120的操作，并用于确定操作参数，该操作参数诸如机壳/主体122的横滚、俯仰和偏航，机壳/主体122的速度(以及在某些情况下的方向)，以及机壳/主体122在空间104中的位置/定位。
[0021]
uav 120还包括(一个或多个)处理器130，该处理器130管理如箭头171所示的与基于地面的表演控制系统170以及如箭头192所示的与系统100的其他uav 190(具有其自身的表演效果配件193)的通信(通常是无线的)。为此目的提供了输入/输出(i/o)设备132，并且该输入/输出(i/o)设备132可以包括无线收发器等，这在uav行业中是已知的。uav 120包括由处理器130管理的存储器/数据储存器136，以及也由处理器130管理(或执行代码)的飞行控制器134(例如，硬件和软件)。飞行控制器134处理并执行存储在存储器中的、针对在系统100的操作期间执行的特定表演/展示的飞行计划138，并且作为响应，飞行控制器134可以生成飞行控制信号135，该飞行控制信号135被提供或传送给飞行推进机构124以使它们操作为将uav 110以期望的速度沿着飞行路径从一个位置移动125到另一位置，如箭头125所示。还可以基于来自传感器126的输出来生成信号135，诸如基于在空间104中相对于在表演飞行计划138中定义的期望的表演标记/位置和定时的、当前速度和行进方向142和/或当前定位/位置144。进一步地或替代地，可以由飞行控制器134基于如通信171所示的、从基于地
面的表演控制系统170接收到的飞行控制信号140和/或基于来自机载表演配件150及其控制软件模块/表演控制器156的输入来生成信号135。
[0022]
表演配件150可以包括机械、传感器和/或表演接口158，以允许机载表演配件150(或其表演控制器156)与推进机构124、传感器126和/或飞行控制器134通信地接口连接。从该讨论和图1可以理解，系统100包括具有机壳122的uav 120，该机壳122容纳或支撑飞行推进机构124，该飞行推进机构124能够如箭头125所示在三个维度上提升和/或移动。将飞行控制器134设置在uav 120上以生成和/或接收飞行控制信号135和140，并且控制器134耦接至飞行推进机构124。机构124和/或传感器126操作以指示空间104中的绝对或相对位置144，并且飞行控制器134使飞行推进机构124将uav机壳122移动125到由飞行控制信号135(和信号140)指示的位置，该位置经常在表演飞行计划138中定义。
[0023]
娱乐平台110包括由uav 120支撑以随uav 120移动125的机载表演配件150。表演配件150包括处理器152，该处理器152管理i/o设备154的操作以促进与非机载设备的通信，诸如与基于地面的表演控制系统170的通信171以及诸如空间104中的其他uav 190之间的通信192(例如，具有表演配件193的其他uav，以经由与(一个或多个)表演效果设备168和分布式表演配件151及其表演效果设备157的协调操作来提供表演)。处理器152还执行代码/指令或运行本地存储器160中的软件以提供机载表演控制器或控制软件模块156的功能。
[0024]
具体而言，机载表演控制器156作用来处理(一个或多个)脚本或表演计划161以生成一组表演控制信号164，该一组表演控制信号164被传送到一个或多个表演效果设备168以使其致动器169操作来创建特定的表演效果。配件150包括到机构124、到传感器126和/或飞行控制器134的接口158，以允许其接收载具控制状态信息165(例如，飞行速度、机壳取向(偏航、俯仰和横滚)等)、uav 120的当前速度和行进方向142以及当前位置144。表演控制器156可以从脚本/表演计划161生成或从飞行控制器134或基于地面的表演控制系统170接收定时/触发信号162和位置信号163以实现动态参与，这些信号可以被独立地使用或组合使用以创建表演控制信号164。
[0025]
表演计划161可以包括两个或更多个脚本(或到新的表演片段的分支)，其可以由表演控制器156基于定时信号162、位置信号163和/或载具控制状态信息165动态地选择。以这种方式，表演效果设备168可以被操作为在预定义的或动态选择的定时和/或uav 110的空间104中的位置处提供期望的表演效果。在一些优选实施例中，基于来自基于地面的表演控制系统170的通信171来实现动态选择，该基于地面的表演控制系统170协调机载表演配件150的操作与具有基于地面的表演效果设备157的分布式表演配件151的操作。表演控制器156或主表演控制模块176还可以实时地为表演效果设备168、157和193中的一个或多个生成替代脚本。预定义的表演脚本/分支或实时生成的表演脚本/分支(例如，以实时替代)可以由表演控制器156或更通常地由主表演控制器176基于实时数据选择或创建，该实时数据诸如uav的当前位置144、当前速度和行进方向142和/或uav机壳122的(以及因此，表演效果设备168的)当前取向，如可以在来自传感器126的载具控制状态信息165中所提供的。在一些情况下，用于在表演计划161中选择“b”、“c”或其他表演脚本或分支的实时数据可以包括附近的uav 190在空间104中的位置，以提高表演计划161(或表演计划186)的演出质量。
[0026]
表演效果设备168的全部或子集可以被设置在uav机壳122上，或者可以被束缚在或以其他方式耦接到机壳122，以便在飞行期间悬挂在uav 120的下方或后面。表演效果设
备168中的每一个包括一个或多个致动器169，其响应于对表演控制信号164的接收来操作对应的表演效果设备168以一种或多种预定义的方式进行操作(例如，以特定的亮度范围和/或颜色进行照明、以特定音量播放音轨、投影视频或静态图像、发射特定的抛物体或抛物体集合等)。表演效果设备169可以采用多种形式来实现娱乐平台110，诸如灯光系统(例如，一对多的白色或彩色led、激光器、黑光等)、具有回放设备和一个或多个扬声器的声音系统、用于产生一种或多种烟火效果的烟火系统，和/或抛物体系统(例如，用于释放或发射诸如五彩纸屑、彩带、水滴或水流、优惠券、纪念品和其他对象之类的抛物体)。
[0027]
在一些实施方式中，机载表演配件150以分布式方式实现，其中某些组件(诸如表演效果设备168、诸如处理器152、存储器160和控制器156以及表演效果设备168，以及任何其他组合)在uav机壳/主体122之上或之中，而某些组件被束缚在或耦接到机壳/主体122但间隔开一定距离(例如，悬挂在uav机壳122下方的屏幕或对象)。机载表演系统或配件150包括诸如(一个或多个)处理器152和控制器156之类的计算资源，其诸如通过接口158彼此通信。具有处理器152(并且在某些情况下具有存储器160)的机载表演控制器156可以完全位于机壳/主体122之中或之上，或者位于表演效果设备168或配件150的结构组件(未示出)之上/之中，并且其可以经由接口158(例如，通过表演接口)从主uav机壳122接收来自电源128的电力和来自飞行控制器134(或直接来自推进机构124和/或传感器126)的数据。机载表演控制器156可以连接到各个机载表演效果设备168，以便直接控制和排序它们的操作。
[0028]
在系统100的一些实施例中，机载表演控制器156从基于地面的表演控制系统170接收定时和触发信号171。为此，基于地面的表演控制系统170包括用于与机载表演配件150的i/o设备154通信的i/o设备174。i/o设备174可以由处理器172管理，处理器172还执行代码和/或运行软件以提供主/中央表演控制模块或表演控制器176的功能。表演控制系统170还包括存储器/数据储存器180，其为表演系统机群中的每个uav 120、190存储记录或文件182，该记录或文件182存储特定于该uav 120或190的数据，诸如其当前速度183和在空间中的位置/定位184以及其他操作数据185(例如，其表演效果设备168的取向、操作状态等)。存储器180还可以为每个uav 120、190存储定义飞行路径的表演计划186和用于每个表演系统/配件150、193的表演脚本。为此，基于地面的控制系统170进一步被示出为包括跟踪设备178，其操作为在表演演出期间跟踪或确定空域104中的每个uav 150和190的当前位置184和速度183。可以部分地通过处理来自uav 120、190的通信171、191和/或通过使用随跟踪设备178提供的软件和/或硬件来执行这样的跟踪(如在uav/无人机行业中已知的并且未在此进一步详细说明)。
[0029]
系统100还包括经常为基于地面的或在地面102上或由地面102支撑的、一对多的分布式表演配件151，并且在表演演出期间这些配件151彼此间隔开并且与空域104中的表演效果设备168间隔开，以便提供分布式表演效果。每个配件151包括控制器153，该控制器153能够操作为如箭头155所示与基于地面的表演控制系统170通信以接收定时和触发信号。作为响应，控制器153能够操作一个或多个表演效果设备157(例如，基于触发的脚本或单个或一组控制信号)来提供表演效果(例如，触发一系列激光、将图像投影到空间104中、操作聚光灯以在空间104中提供光、发射(一个或多个)抛物体等)。
[0030]
在许多表演设计中，表演效果设备168(或在配件193中)将操作为以时间和位置(并且有时是取向)同步的方式提供输出或产生第一表演效果194(沿表演时间线在特定的
时间顺序地一个接着另一个或同时一起出现)，一个或多个基于地面的表演效果设备157的操作提供第二表演效果195，它们在被组合时在空域104中产生第三表演效果或累积效果196。例如，表演效果设备168可以操作为使屏幕或表面展开或呈现屏幕或表面，而表演效果设备157可以提供投影仪或灯光设备以将图像或光投影到屏幕或表面上。在另一个示例中，表演效果设备可以在表演效果设备157提供同步的烟花或烟火表演效果的同时或顺序地在其之前或之后，将抛物体或烟花发射到空间104中。两个效果194和195的同步允许它们的交互来创建新的累积效果196，由于基于地面的表演控制系统170的操作提供uav 120机载的表演配件150与(一个或多个)分布式表演效果设备157的动态交互，该新的累积效果196仅具有高质量。
[0031]
在系统100的操作期间，机载表演控制器156可以例如基于对跟踪设备178的输出以及表演计划186的处理，从基于地面的表演控制系统170接收定时和触发信号171(并且如存储在机载存储器162中所示)。系统170独立于uav 120的对安全至关重要的飞行控制器134而操作，但是与uav机壳122的实时位置144(和信号163)进行协调。地理位置144(和位置信号163)可用于通过基于预编程的条件(例如，在特定的时间进入和/或离开特定的地理区域以在表演中击中标记/提示)利用控制信号164操作表演效果设备168来激发(actuate)表演效果，以便与uav的飞行路径实时同步。在一些情况下，机载表演控制器156可以使用载具控制状态信息165来增强平台110的安全操作和恢复。这可以涉及控制器156使用附近参与的uav 190的位置来抑制可能构成危险的表演动作(例如，表演效果设备168的操作)(例如，如果过于靠近另一uav或平台190，则不激活机载烟火效果)。
[0032]
图2是空中展示或表演系统200在其在表演和展示中使用具有机载表演系统的uav和分布式表演系统期间的一个示例性实施方式的侧面透视图。具体而言，为了简单起见示出了单个uav 220，参照图1和先前的讨论可以理解该单个uav 220，具有相同或不同的推进机构和/或相同或不同的表演配件/有效载荷的附加uav将经常被包括在系统200中。uav 220被操作为利用其包括如图所示的四个转子/螺旋桨的推进机构在空域204中以如箭头221所示的三个维度进行移动。uav 220具有机载飞行控制器，该机载飞行控制器操作推进机构以尝试遵循预编程的飞行计划，并基于条件和基于来自基于地面的控制系统的附加控制信号进行更新和改变(未示出但从图1可以理解)。基于地面的控制系统还与uav 220通信和/或使用跟踪设备来确定和跟踪表演期间uav 220在空域204中的3d位置，并确定uav 220何时击中其标记/提示，并且如果未击中，则修改其机载表演系统和/或基于地面的表演系统的操作，以在这些表演组件之间提供动态交互。
[0033]
在这方面，系统200包括机载表演系统或配件250，其被束缚在uav 220的结构框架/主体上(或被支撑在其下方)，以与uav 220一起在空域204周围移动221。在该示例中，表演配件250提供表演效果设备或元件的集合。这些设备或元件包括(一个或多个)投影屏幕/显示表面252，其在本示例中被成形为帆船，并且当uav 220在预设时间(或由基于地面的控制系统选择的时间)以期望的取向将其定位在特定的位置时，地面202上的表演配件260可被操作以在屏幕/表面252上投影图像或输出光261，因此这两个显示元件交互以实现期望的累积表演效果。
[0034]
此外，系统200包括具有投影屏幕/展示对象或(一个或多个)表面262形式的、基于地面的表演配件262，并且机载表演组件250包括投影仪/灯光元件(例如，聚光灯)254，当
uav 220在表演时间线的预定义(或稍后由主表演控制器定义的)时间将表演配件250移动到空间204中的3d位置时，该投影仪/灯光元件254被触发以将图像/光255投影或输出到地面表演配件262的屏幕/表面上(例如，表演元件262和表演元件254交互以形成累积的光学或表演效果)。更进一步，系统200包括由基于地面的控制系统以同步方式触发的基于地面的表演效果元件264以输出烟花或烟火265，而机载表演效果元件256也输出烟花或烟火257，因此这些烟花或烟火在空域204的一部分中交互或相交以创建累积的或新的表演效果267。此外，演员(人类或机器人)268执行表演元素，并且当uav 220在所选择的要与演员268的演出同步的时间处于特定的3d位置时，基于地面的表演控制器触发表演配件250中的表演效果设备258的操作以提供其演出或表演元素。例如，设备258可以是灯光系统(其可以包括(一个或多个)白色或彩色聚光灯)以提供被瞄准到演员268正在其中进行演出的舞台或空间上的光259。
[0035]
如从图1和图2中可以看出的，空中表演系统可以被有用地配置为提供uav/航空器及其承载的表演效果设备对分布式表演效果设备的动态参与，以提供经编排的空中表演或展示。分布式表演效果设备可以在空域中的其他uav上或由其他uav支撑和/或在空域下方或附近的地面上。uav/航空器具有能够在空域中在三个维度上提升和移动uav机壳的飞行推进机构。空中表演系统包括用于生成和/或接收定时信号和位置信号的、基于地面的和机载的表演控制系统，并且这些表演控制系统还包括被配置为执行脚本的计算资源，该脚本能够操作为基于定时信号和位置信号来生成表演控制信号。
[0036]
空中表演系统包括物理地耦接到航空器/uav的一个或多个表演效果设备(例如，灯光元件、音频装置、投影仪、制雾机、烟火配件等)的第一集合。每个设备被设计为能够响应于接收到表演控制信号而触发。空中表演系统还包括与该uav/航空器物理地分离的一个或多个表演效果设备的第二集合，它们在地面上或在另一架航空器/uav中，并且这些设备中的每一个还被设计为能够响应于接收到表演控制信号而触发。在空中表演系统的操作期间，至少一个基于航空器的或机载的表演效果设备与至少一个航空器外的表演效果设备交互以产生完整或累积的表演效果。设备交互可以涉及从基于航空器的表演效果设备到航空器外的表演效果设备(或反之亦然)的光、视频和/或激光投影。设备交互可以涉及抛物体在基于航空器的表演效果设备与航空器外的表演效果设备之间(或反之亦然)行进。
[0037]
图3示出了用于表演系统的控制方法300，以提供具有被跟踪的uav与其他uav外的表演组件的动态交互的空中表演。方法300开始于310，诸如其中提供基于地面的表演控制系统(例如，图1的系统170)并定义具有时间线的表演计划，该时间线提供多个表演效果的定时以及要如何实现这样的表演效果。如上所述，某些效果是通过uav和/或其机载表演系统(具有其表演效果元件/设备)与分布在表演空间中或附近的(非被跟踪的uav所机载的)表演效果设备之间的交互来实现的，以实现完整或累积的表演效果。步骤310还涉及提供被设计用于为表演计划提供表演效果的、具有(或不具有)机载表演系统的一个或多个uav和分布式表演系统。
[0038]
方法300在316处继续，其中取回或访问由表演计划定义的表演的时间线。这样，基于地面的表演控制系统知晓表演效果的定时以及预期操作哪些表演效果设备来实现这些表演效果，以及特定的uav在这些表演效果时间所需的位置(例如用于每个uav执行表演计划的标记/提示)。方法300在320处继续，其中基于地面的表演控制系统操作跟踪设备以跟
踪表演uav中的第一表演uav，从而确定其当前的操作参数，包括速度、位置和取向(以及在某些情况下，其表演效果元件的操作状态)。跟踪设备也可以在330处被操作以确定不在第一被跟踪的uav上的表演效果元件(例如，非机载的表演效果元件)的位置。在某些情况下，这些表演元件将被提供在地面上的固定位置处，并且可以简单地从表演控制系统可访问的存储器/数据储存器中取回这些位置。在其他情况下，这些表演元件可以在表演期间移动，诸如在地面上或在表演的空域中飞行的另一uav中移动/通过该uav移动，使得其他表演效果元件的位置可以随着表演的时间线改变。
[0039]
在340处，方法300继续，其中基于地面的表演控制系统的控制模块(或跟踪设备)操作以计算第一被跟踪的uav和/或其(一个或多个)表演元件与在步骤330中被跟踪的表演元件的相对位置。然后，在350处，表演控制系统操作以基于所取回的表演时间线来确定是否到了触发涉及第一被跟踪的uav的下一表演效果的时间。如果否，则方法300在320处继续，其中跟踪在表演的空域中的第一uav。如果是(或即将接近该时间)，则方法300在360处继续，其中确定在步骤330中被跟踪的另一表演元件是否是协作uav。如果是这样，则表演控制系统在需要时在370处操作以修改第一被跟踪的uav或协作/其他uav的表演元件的操作参数，以实现期望的表演效果。然后，在380处，触发(一个或多个)表演元件以提供在表演的时间线中的此时间处定义的表演效果。然后，方法300可以在390处结束，诸如在表演时间线的结尾处，或者可以在320处继续。
[0040]
在方法300的示例性实施方式中，跟踪设备的输出(例如，第一被跟踪的uav和非机载的表演元件的当前和/或相对位置)被用于触发非机载的表演效果设备的操作，该非机载的表演效果设备包括灯光系统(例如，(一个或多个)聚光灯)和/或(一个或多个)投影仪，以照射或投影到uav(例如，朝向uav传送光)或其一个或多个表演效果元件(例如，投影屏幕、uav主体/机壳的表面、用于覆盖uav主体/机壳的覆层等)上。这可以被认为是实现了累积表演效果。在一些有用的应用中，当uav或其(一个或多个)表演元件设备针对非机载的表演效果元件(其正在由跟踪设备实时地跟踪)的相对位置改变(例如，通过uav的推进机构的操作)时，非机载的表演效果设备在一段时间内操作以持续照射或投影到uav或其(一个或多个)表演元件设备上。这可以涉及在地面上移动聚光灯或投影，以跟随uav在表演空域中的移动。在其他实施例中，灯光系统或投影仪被设置在第一被跟踪的uav上，并且其被操作为对准或瞄准基于地面或基于uav的非机载的表演效果元件(例如，旋转/转动第一被跟踪的uav上的投影仪以将图像投影到附近的uav的投影屏幕或表面上或投影到诸如人类或机器人演员正在演出的舞台之类的地面位置上)。
[0041]
如在步骤370中所指出的，协作uav和/或其表演效果设备的实时位置可以由表演控制系统用来自动地调节跟踪照明(例如，由基于地面的表演效果设备提供的或由第一被跟踪的uav机载的设备提供的照明)。例如，可以至少暂时地调节灯光系统或投影仪，以最小化另一uav的非预期暴露，因为该另一uav在非机载的表演效果设备与第一被跟踪的uav或其表演效果设备之间(或在光源与预期的目标对象/表面之间)短暂地经过。这种调节可以是为了降低亮度(或改变其颜色)，或者甚至是停止照明流，直到其他uav不再被照明流照射到。
[0042]
在一些优选实施例中，可以由主表演控制系统基于实时的载具状态和表现调节航空器外部的表演效果。图4示出了这样的控制方法400，其开始于410，诸如其中提供具有uav
跟踪设备和/或uav通信硬件的主表演控制系统，并且步骤410还可以包括主表演控制系统取回并发起表演计划，该表演计划定义了表演时间线以及要在沿着表演时间线的特定时间处生成的表演效果。方法400在420处继续，其中主表演控制系统操作以监视和/或跟踪参与表演的演出的uav的状态和表现。这可以涉及跟踪uav在表演的空域中的速度、方向、取向和位置，以及其他操作参数，诸如其表演效果设备中的每一个的当前状态(例如，投影屏幕或对象是否展开以及处于何种取向、抛物体发射机构是否可在就绪发射模式下操作，等等)。
[0043]
方法400在430处继续，其中控制器操作以将uav的当前位置与在表演的时间线中的其标记/提示位置中的下一个进行比较，以确定uav的位置(例如，当前操作状态)是否处于或靠近该位置。如果否，则在420处继续对uav进行监视和/或跟踪。如果是，则控制器在440处操作以在uav到达表演空域中的该特定位置时触发其操作与提供(一个或多个)表演效果相关联的(一个或多个)表演效果设备。这可以涉及触发基于地面的表演效果元件、触发uav机载的表演效果元件、触发协作uav上的表演效果设备，和/或提示由人类或机器人演员进行演出，以实现所期望的表演效果(这可以是由uav与非机载的表演效果设备交互所提供的累积表演效果)。然后，方法400继续在450处确定uav是否及时击中标记/提示。如果否，诸如当在较早或较晚的时间处生成/执行表演效果或由于uav的状态而根本不生成/执行表演效果时(偏离航线太远而无法执行效果、表演效果设备无法操作等等)，则可以在460处由表演控制系统提供对表演时间线或表演内容的调节。然后，方法400可以在490处结束，诸如在表演的时间线的结尾处，或者可以通过重复步骤420来继续。
[0044]
从对图4的讨论可以理解，可以基于uav的实时状态和表现来调节uav外部的表演效果。具体而言，可以基于实际的uav位置和/或速度而不是仅基于预编程的时间线来完成对表演效果设备的操作的触发。这允许主表演控制系统应对uav表现的可变性，由于诸如空域中的风以及uav的硬件特性和可变性等之类的因素，每次表演之间的可变性可能会有所不同。
[0045]
相比于预期的编程(例如，uav表演飞行计划)，可以由主表演控制系统基于实际的uav位置比在理想情况下打算的(或在表演时间线中设置的)更早或更晚地触发表演的场景(以及这些场景的表演效果)。乐谱、灯光提示等可以被捆绑到迷你场景中以进行触发，并且在有用时，可以基于实际的uav位置对乐谱、灯光提示等进行混合，以便维持总的表演同步。该结果与一条长的表演时间线相比将更具整体性(cohesive)，该长的表演时间线在uav开始其表演飞行计划/轨迹时开始执行，无论uav(其由于表现异常而可能略微偏离航线)的真实位置如何都将继续进行。可以对此内容进行创作(author)，以使得其可以与表演的时间线中的后续场景优美地混合，并且在风格上可以能够在轨道(tracks)中早结束或晚结束。
[0046]
图5是用于基于uav在表演的空域中的被跟踪位置对表演效果元件进行基于安全性的控制的表演系统控制方法500的流程图。在诸如图1的系统100之类的空中表演或展示系统的操作期间，可以有效地利用uav状态和/或跟踪信息来增强表演演出期间系统操作的安全性。方法500可以开始于510，诸如其中定义用于表演演出的安全性要求的集合，该安全性要求可以包括用于操作/触发一个或多个表演效果设备(诸如烟火设备、激光设备等)的操作的安全性要求。该安全性要求还可以包括在发生特定的事件时(诸如在uav的紧急状况、非表演航空器侵入空域等情况下)表演系统或其组件的操作步骤。
[0047]
在520处，方法500涉及跟踪设备或主表演控制系统的其他组件操作以跟踪每个
uav在表演的空域中的位置。在530处，方法500涉及确定表演的时间线或表演计划中要被触发的下一表演效果，该表演的时间线或表演计划在当前被用于在表演的空域中执行表演或展示。在540处，方法500涉及主表演控制系统操作以基于来自520的uav的跟踪位置确定空域中的所有uav是否处于被认为对执行下一表演效果(例如，发射抛物体、发起烟火和其他表演效果设备操作)是安全的位置。如果否，则在544处，可以在表演时间线中禁用或跳过表演效果，或者修改表演效果以允许其安全演出(例如，修改抛射物的路线、修改烟火的数量或类型，等等)。如果所有uav均处于安全位置，则在548处触发与下一表演效果相关联的表演效果设备，并且方法500在520处继续。以这种方式，全局表演控制系统可以使用跟踪系统/设备来确保当uav处于不安全的位置时(诸如在观众或另一uav附近)，不会激活诸如烟火或激光之类的潜在危险的表演效果。
[0048]
与步骤530-548并行地，方法500包括在550处监视表演系统中的uav以确定是否有任何uav正在报告(或以其他方式被确定为具有)异常操作状况，这些异常操作状况要求其在表演演出期间执行紧急着陆。如果否，则方法500在520处继续。如果是，则方法500在556处继续，其中操作一个或多个表演效果设备以支持使经历紧急操作状况的uav着陆。例如，表演控制系统可以操作照明装置(例如，聚光灯)以达到其最大亮度，并在uav经历紧急着陆时照射(并且在某些情况下，实时地跟踪/跟随移动)uav，以在其着陆期间增强表演人员和观众的安全性。
[0049]
此外，与步骤530-548并行地，方法500包括在560处监视表演空域中是否有任何非表演航空器。如果未检测到，则方法500在520处继续。如果在560处检测到非预期的uav或其他航空器，则方法500包括在564处以适应该检测到的侵入的方式操作一个或多个表演效果设备。方法500可以在590处结束，诸如在表演时间线的结尾处。步骤564可以涉及操作例如非机载的灯光(例如，聚光灯)以照射非预期的或侵入的航空器并随时间跟踪其在空域中的实时移动和/或照射可能在该侵入的航空器的路径上的表演uav及其表演效果设备，以减少与表演系统组件碰撞的风险。
[0050]
尽管已经以某种程度的特殊性描述和说明了本发明，但是应该理解，本公开仅是通过示例的方式进行的，并且在不背离本发明的精神和范围的情况下，本领域技术人员可以采用部件的组合和布置中的许多改变，如在下文中所宣称的。
[0051]
例如，存在uav将采用空中机器人设备的形式的某些应用，该空中机器人设备可以不包括其自身的推进机构，而是反之可以从高处掉落或被发射到表演空域中。关于其行进定时、其特定功能的表现(例如，机载表演效果设备(诸如机器人机构)在表演时间线中的特定时间处是否按预期执行)和/或其位置、取向等来跟踪此类空中机器人设备在其通过表演的空域的行进中的表现可能是有用的，并且该跟踪的信息可被用于触发(以如上所述的同步方式)机载的和/或非机载的表演效果设备以实现期望的表演效果(独立或累积效果)。
[0052]
未经束缚的空中机器人设备相比传统的被供电的电子动画人偶经受更大的表现变化。这样，基于实际的空中机器人设备表现，仅依靠发起预编程行为的同步来确保诸如声音、地面烟火等之类的基于地面的效果(或其他非机载的表演效果)将在恰当的时间处和以恰当的设置/调整发生是困难的。
[0053]
例如，如果风会将空中机器人设备延迟即使只有几分之一秒，则基于地面的烟火表演效果设备可能会在空中机器人设备到达天空中的适当配置和位置(例如，与飞行的超
级英雄等相对应的伸手姿态)之前点火。在另一个示例中，位置在恰当的时间处可能是正确的，但取向可能与计划的演出效果(“演出效果a”)不同，从而使得简单地遵循原始的表演时间线和计划的演出效果设备操作似乎是不合适的(例如，表演效果a可以是基于地面的表演效果设备的音频音轨回放，但在所达到的实际的取向和/或姿态的情况下，使用“表演效果b”可能是理想的，该“表演效果b”可以由表演控制系统进行预编程和选择，或者可以响应于实际的uav取向、姿态、位置、定时或其他参数来实时或动态地生成)。另一个示例可以是基于地面的投影或灯光效果，其需要精确地命中飞行的电子动画人物，即使其在演出期间的任何给定时间处的精确位置可能有所不同。发明人认识到，需要一种来自未经束缚的空中机器人设备的、基于其实际进度或姿态和/或来自基于地面的控制系统的、基于跟踪到的空中机器人设备的实时操作来触发基于地面的效果的方法。
[0054]
当uav是具有空中机器人设备形式的弹道发射对象时(或者在某些情况下，当uav是带有机载推进机构的四轴飞行器(或其他直升机)、无人机等时)，存在可以在表演系统中用来触发非机载的效果的多种技术。作为第一示例，可以使未经束缚的空中机器人设备装备有一个或多个传感器，诸如测量各种状态变量的位置传感器、惯性测量单元(imu)、高度传感器、姿态传感器等。例如，可以在表演计划中调度基于地面的或非机载的表演效果设备，以在弹道空中机器人设备处于其顶点处和/或当其命中特定的姿态时进行操作，但是基于地面的表演控制系统可以代替简单地播放表演计划，并希望同步生成触发信号以适应测量或感测到的状态变量。
[0055]
在一种特定情况下，当加速度计测量到零g时，弹道空中机器人设备处于其推力或发射事件的顶点，并且表演计划可能要求具有灯光系统形式的表演效果设备(例如，(一个或多个)聚光灯)进行操作以照射顶点处的空中机器人设备或当其看起来像是悬停时照射该空中机器人设备。机载传感器(例如，图1中的传感器126)可以操作以感测零g，并且机载通信设备(例如，机载无线电技术)可以由机载控制器操作以将信息发送到基于地面的表演控制系统(例如，图1的系统170)，并且该控制系统通过生成(一个或多个)触发信号进行响应，以使适当的表演效果设备以与空中机器人设备的实际表现同步的方式进行操作。在某些情况下，还会生成触发信号或控制信号以适应飞行的空中机器人设备的取向，诸如基于由机载传感器感测/确定的姿态或取向来选择正确的灯光系统以照射空中机器人设备的前侧(或其他侧)(例如，实时操作表演配件，以利用空中机器人设备及其机载的表演效果设备的操作来提供表演效果b或累积效果)。
[0056]
在一些实施例中，空中机器人设备机载的通信组件可以与空中机器人设备的控制软件模块等一起操作，以生成触发信号或控制信号并将其发送到适当的非机载的特效设备，以实现期望的表演效果或累积表演效果。替代地或附加地，空中机器人设备可以操作其机载传感器以感测与对象或另一uav(例如，另一空中机器人设备)的接近度，并使用该信息来触发机载的表演效果设备和/或基于地面的(或非机载的)表演效果设备响应于检测到的特定近距离接近度而执行预编程功能或专门选择的功能。例如，可以感测空中碰撞，该空中碰撞仅在两个“碰撞”(例如，在观看者看来是碰撞的空中接近(near miss))的uav接近时才被处理以触发对应的音效。
[0057]
替代地或附加地，可以使用基于地面的跟踪和视觉监视来确定空中机器人设备何时处于正确的位置和姿态，并使用其来触发地面事件(以预编程或实时编程方式操作的基
于地面的效果设备)，并且该解决方案可以使用非常快速的跟踪技术和/或运动预测算法及技术。当确定姿态和/或取向时，机载或基于地面的表演控制系统可以处理该信息以生成用于表演效果设备的控制触发/信号，从而使其以适应该姿态和/或取向的方式进行操作。例如，声学模块可以处理空中机器人设备的姿态和/或取向(例如，飞行机器人在要触发效果时正面对哪一边？)，并且作为响应，选择效果或调整效果以适应姿态和/或取向。例如，当空中机器人设备不面对位于表演系统的空域下方的观众以更加逼真时(例如，当空中机器人设备背向地面上的观众时，声音从观众传播出去)，可以对音频剪辑回放进行调整(例如，经由多普勒频移等)。
[0058]
在相同或其他实施例中，表演效果被用于创建累积效果(基于地面的表演效果设备与飞行或空中的机器人设备或其发射设备的组合)，以掩饰表演系统的操作的一部分。例如，可将机械绞盘用于发射或抛出机器人设备(例如，以提供空中机器人设备或特技机器人)，并且uav上的和/或基于地面的表演配件中的音频系统可以使其操作与机械绞盘时间同步，以生成输出声音或声音剪辑，从而掩盖机械绞盘的音频噪声。