基于用户体验优化波束成形的方法和装置与流程

基于用户体验优化波束成形的方法和装置
1.相关申请的交叉引用
2.本技术要求于2019年4月30日提交的美国申请no.62/840,705的优先权，其全部内容通过引用整体并入本文。
技术领域
3.示例实施例一般涉及通信网络性能，并且更具体地，涉及用于评估网络性能和调整网络的波束成形能力以优化用户体验的系统。


背景技术：

4.高速数据通信和支持此类通信的设备在现代社会中无处不在。这些设备使得许多用户能够保持与互联网和其他通信网络的几乎持续的连接。尽管这些高速数据连接通过电话线、电缆调制解调器或具有物理有线连接的其他此类设备实现，但无线连接已经改变了我们在不牺牲移动性的情况下保持连接的能力。然而，尽管人们熟悉如何保持与网络的持续连接，但人们已经同样熟悉这样一种认识，即并非所有网络在提供令人满意的用户体验方面是平等的。
5.例如，在某些建筑物(例如，酒店、会议中心等)、飞行器上或许多其他环境(包括用户自己的家庭网络)中，可能会遇到下载缓慢、延迟、断开连接或各种其他中断或障碍。在某些情况下，虽然网络运营商声称他们的网络具有高带宽和高速能力，但用户体验并不符合或证实这些说法。所声称的性能与用户体验之间的断连有时能够通过特定网络的所有用户共享给定数量的带宽。同时，其他网络可能具有大量带宽以提供给客户，但是对于需要任何类型的实时交互或高延迟或慢速返回链路(尤其是与从互联网到设备的快速前向链路相比时)产生了排队效应的应用来说，低延迟仍然会破坏用户体验，该排队效应能够由慢速tcp确认、数据重传、丢失或丢弃的数据包等来进一步加剧或引起。
6.随着以更稳健的方式进行网络测试的能力的出现，有可能更好地了解特定网络的能力以提供优质的用户体验。此功能对于用户或应用程序开发人员/提供商设置适合当前网络功能的期望值，或者选择替代网络(如果存在此机会)来说肯定是有帮助的。然而，如果没有机会切换到替代或更高性能的网络，则可能需要使用户体验成为设置期望、改进网络性能或创建并随后使用应用或服务的连接操作的降级模式的指南，而不是当今许多应用或互联网提供的服务中存在的更多二进制连接或离线模式。


技术实现要素：

7.在一个示例实施例中，提供了一种执行基于用户体验的资源管理的方法。该方法可以包括经由形成或选择为服务于通信设备的第一波束，来接收与使用接入网络的通信设备的不同类别的服务或应用相关的接入网络能力的定性评估的指示。该方法还可以包括响应于定性评估低于预定阈值来确定候选资源是否存在，响应于确定候选资源存在来形成或选择与候选资源相关联的第二波束，以及发起通信设备从第一波束到第二波束的切换。
8.在另一个示例实施例中，提供了一种包括处理电路的资源管理器。处理电路可以配置为经由形成或选择为服务于通信设备的第一波束来接收与使用接入网络的通信设备的不同类别的服务或应用相关的接入网络能力的定性评估的指示，响应于定性评估低于预定阈值来确定候选资源是否存在，响应于确定候选资源存在而形成或选择与候选资源相关联的第二波束，以及发起通信设备从第一波束到第二波束的切换。
9.在另一个示例实施例中，一种系统可以包括：接入网络，其包括至少两个基站，基站配置为经由动态可控制或可成形波束与无线通信设备进行通信；资源管理器，其设置在经由接入网络可访问的位置处或无线通信设备处；以及体验测试器，其配置为经由形成或选择为服务于通信设备的第一波束，来确定相对于无线通信设备的不同类别的服务或应用的接入网络的能力的定性评估。资源管理器可以配置为基于以下两者：基于位置的标准和基于用户体验的标准来发起切换。基于用户体验的标准可以与定性评估相关联。
附图说明
10.已经如此概括地描述了本发明，现在将参考附图，这些附图不一定按比例绘制，并且其中：
11.图1示出了根据示例实施例的用于提供体验测试的系统的框图；
12.图2示出了根据示例实施例的体验测试器的框图；
13.图3a和3b示出了根据示例实施例的由体验测试器所生成的结果的相应显示；
14.图4示出了根据示例实施例的资源管理器的框图；
15.图5示出了根据示例实施例的配置为采用图4的资源管理器的图1的系统的atg网络的框图；
16.图6示出了根据示例实施例的用于基于用户体验的切换的候选资源的形成；
17.图7示出了根据示例实施例的形成用于基于用户体验的切换的候选资源的替代范例；以及
18.图8示出了根据示例实施例的采用基于用户体验的切换的方法的框图。
具体实施方式
19.下面将参考附图来更全面地描述一些示例实施例，其中示出了一些但不是所有的示例实施例。实际上，此处描述和图示的示例不应被解释为对本公开的范围、适用性或配置的限制。相反，提供这些示例实施例使得本公开将满足适用的法律要求。相同的附图标记始终指代相同的元件。此外，如本文所使用的，术语“或”将被解释为逻辑运算符，只要其操作数中的一个或多个为真，其结果就为真。如本文所使用的，术语“数据”、“内容”、“信息”和类似术语可以互换使用以指代能够根据示例实施例被发送、接收和/或存储的数据。因此，不应认为使用任何此类术语来限制示例实施例的精神和范围。
20.如本文所使用的，术语“组件”、“模块”、“系统”、“设备”等旨在包括与计算机相关的实体，诸如但不限于硬件、固件、硬件和软件的组合、或在某种硬件上执行的软件。例如，组件可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。举例说明，在计算机设备上运行的应用和/或该计算机设备都能够是组件。一个或更多个组件能够驻留在进程和/或执行线程内，并且组件可以位于一台计算机上和/或
分布在两台或更多台计算机之间。此外，这些组件能够从其上存储有各种数据结构的各种计算机可读介质来执行。组件可以通过本地和/或远程进程的方式通过信号的方式与其他系统通信，该通信诸如根据具有一个或多个数据包的信号，例如来自一个组件的数据通过该信号与本地系统、分布式系统中的另一个组件交互，和/或通过诸如因特网的网络与其他系统交互。
21.一些示例实施例可以提供网络测试设备或“体验测试器”，其被配置为进行一系列网络能力测试，这些测试为各种不同类型的应用或服务提供网络能力的定量测量。然后能够将这些定量测量转换为用户体验质量的有用指示(即定性评估)，该指示为网络的任何用户可能对各种类型的应用或服务的期望。在某些情况下，诸如在给定网络内的替代资源可用于为服务用户的情况下，定性评估可以用于转移资源以改善用户体验。当某些网络采用波束成形技术时，可以动态控制或选择波束，以最大化用户体验或至少提供最低质量水平的用户体验。
22.因此，例如，如果网络采用波束控制并且在为用户(和其他用户)服务的当前(或原始)波束上检测到(或确定存在)资源争用，则资源争用可能会降低当时共享资源(即原始光束)的每个人的用户体验的质量。根据示例实施例，可以动态地形成和/或控制另一(即，新的)波束以减少资源争用问题并改善由原始波束和新波束来服务的用户的用户体验。类似地，如果网络采用具有不同的各自方向/覆盖区域的多个可选择但在其他方面固定的波束，并且在原始波束上检测到(或确定存在)资源争用，则可以采用示例实施例来动态选择另一波束以减少解决资源争用问题并改善由原始波束和新波束来服务的用户的用户体验。
23.值得注意的是，在各种不同的实施例中，新波束可以由相同或不同的来源(即，基站或卫星)形成，这将在下面更详细地讨论。此外，新波束可以用于将现有用户从原始波束中转移，或者新波束可以仅用于在超过特定用户体验质量阈值后添加的后续用户，或者新波束可以用于由于与负载、延迟或带宽(前向或返回链路)相关联的限制而导致的在第一波束上不可用的某些特性所需要的连接。因此，例如，利用新资源为用户服务的范例可以是创建新资源并在旧资源与新资源(即原始波束与新波束)之间(均匀或不均匀地(例如，基于优先级))分割现有用户，或者新波束只能用于在已经达到用户体验质量阈值后为同一区域中添加的后续新用户提供服务，该质量可能取决于所使用的应用相对于最佳支持所述应用所需的连接特性的类型。
24.如上所述，新波束(或资源)的形成、引导或选择至少部分基于用户体验的定性评估。因此，值得注意的是，示例实施例中的网络资源的平衡或控制不是基于对资源上的用户数量的任意评估或旨在提供网络性能的指示的其他纯数字信息来触发或管理的。如上所述，这些纯数字指标或定量评估通常能够提供明显误导性的结果，这些结果表明网络质量与实际用户体验无关。因此，作为起点，一些示例实施例可以首先被配置为提供确定用户体验质量的有用方式。特别地，一些示例实施例可以被配置为采用一组定量测试指标，当相应的量化指标组合一起存在于网络上时，当该定量测试指标与指示用户体验的评级组合并相关时能够提供对指示用户体验质量的网络性能的定性评估。然后可以使用与用户体验质量相关联的各种阈值或触发器来管理网络资源的应用，以便维持网络上用户体验质量的某些目标。例如，可以形成、选择或引导附加的服务波束来服务网络的特定部分中的资产，用户体验在该部分似乎在任何给定时间受到影响。因此，应当理解，用户体验能够用作确定何时
添加新资源(即，波束)的基础，并且新资源可以添加作为当前资源的替代，或者增加或与当前资源共享负载。因此，例如，当检测到争用时可能有或可能不一定有切换，而是来自相同源或不同源的资源能力的增强(即，通过添加更多资源)。因此，能够使用的源能够是波束，根据波束是与atg或卫星相关，并进一步基于卫星类型(leo、meo、geo、频段、带宽等)，每个波束都可能具有各自的(可能不同的)特性，从而能够利用任何资源组合来改善用户体验。
25.尽管示例实施例可以利用通过任何方式获得的定性评估信息来操作，但是下文将描述如何获得定性评估信息的一个特定且非限制性的示例。在这方面，一些示例实施例可以采用“经验测试器”来获得定性评估信息。顾名思义，体验测试器可提供关于用户将如何针对可使用网络的多种不同类型服务中的每一种来体验网络的有用指示符。因此，该指示符可以被认为是对网络在每个类别或服务类型方面的能力的定性评估。从实践的角度来看，体验测试器可用于提供用户(例如，以让计划使用特定类型或类别的web服务或应用的用户确定用户当前所在的接入网络是否会为用户提供有关web服务或应用的良好体验)、应用程序(例如，以使应用能够警告用户潜在的不良体验或以适合网络能力的模式运行以最大化用户体验)、或网络(例如，管理网络资源以改进或以其他方式管理用户体验的质量)可使用的网络能力的综合指示。在第一示例中，在用户使用定性评估的情况下，用户因此能够做出关于当前可用的接入网络是否适合用户计划使用的任何web应用或服务的决定。在第二示例中，应用或服务可能会发现体验测试器在基于用户接入网络的能力选择与用户合作的操作模式方面很有用。在第三示例中，网络资源可用于通过基于网络内各个点处的当前用户体验水平来动态创建或移除单独的网络资源(例如，波束)从而来管理网络效率和用户体验。此外，通过收集一段时间内的许多经验测试(可能集中在云端或在云端完成)，能够针对网络中的特定位置启用具有统计意义的比较，以便即使没有测试本身但仅凭借知道用户在给定时间在网络中的位置，而更客观地比较连接性，无论网络是有线还是无线的或是组合。
26.图1示出了系统的示例布局，其中多个不同类型的网络中的任何一个或多个能够由示例实施例的网络测试设备或体验测试器100来进行测试。如图1所示，体验测试器100可以结合包括有线网络和无线网络两者的多种不同类型的网络来操作。在这点上，图1中所示的无线网络的示例包括地面网络110(例如，4g、5g、lte或其他此类网络)和空对地(atg)网络120。然而，应当理解，包括卫星通信网络的其他无线通信网络也可以根据示例实施例进行测试。
27.如图1所示，无线网络中的每个可以包括无线接入点(ap)，该无线接入点包括被配置用于无线通信的天线。因此，例如，地面网络110可以包括第一地面ap 112和第二地面ap 114，该第一地面ap 112和第二地面ap 114中的每一个可以是多个地理上分布的基站中的基站，多个地理上分布的基站组合起来以限定地面网络110的覆盖区域。第一地面ap 112和第二地面ap 114可以各自经由网关(gtw)设备116与地面网络110通信。地面网络110还可以与广域网络(诸如互联网130、虚拟专用网(vpn)或其他通信网络)通信。在一些实施例中，地面网络110可以包括以其他方式耦合到分组交换核心或其他电信网络。
28.类似地，atg网络120可以包括第一atg ap 122和第二atg ap 124，该第一atg ap和第二atg ap中的每一个都可以是多个地理上分布的基站中的基站，多个地理上分布的基站组合起来以限定atg网络120的覆盖区域。第一atg ap 122和第二atg ap 124可以各自经
由网关(gtw)设备126与地面网络120通信。atg网络120还可以与广域网络(诸如互联网130、虚拟专用网(vpn)或其他通信网络)通信。在一些实施例中，atg网络120还可以包括或以其他方式耦合到分组交换核心或其他电信网络。
29.地面网络110和atg网络120的每个接入点可以具有到其各自无线网络的有线(或无线)回程连接，以允许与对应的接入点连接的无线通信设备(例如，用户装备(ue)150和ue 152)接入到其中。此外，接入点能够经由蜂窝塔或其他塔结构(如在所绘示例中)、具有无线通信基础设施的屋顶或其他结构(例如建筑立面、教堂尖顶、广告牌等)、移动的车辆和船舶和/等来提供。此外，在现有的无线网络中，应当理解，由接入点限定的一些小区可以彼此重叠或彼此完全包围，和/或在一些小区之间可以存在覆盖间隙。在结合卫星网络来实践的示例实施例的程度上，ap可以是单个卫星。
30.固定线路网络140也在图1中示出为有线网络的示例，并且能够经由示例实施例进行测试。固定线路网络可以是能够通过电、光或任何其他有线或线缆耦合装置可操作地耦合到互联网130的局域网(lan)、城域网(man)、广域网(wan)或任何其他网络的示例。
31.对于位于飞行器118上的ue 150，ue 150可以直接或经由位于飞行器118上的接入点可操作地耦合到atg网络120的ap。同时，ue 152可以直接连接到地面网络110的ap。最后，ue 154可以直接经由有线连接(例如，以太网和/等)或者间接经由可以使用短距离无线通信协议(例如，蓝牙或wifi)的本地ap 142可操作地耦合到固定线路网络140。值得注意的是，ue 150、152和154可以各自为由对应的单独用户和设备(例如手机、笔记本电脑、平板电脑、台式计算机等)所使用的单独ue的示例。因此，所示出的每个ue和可能还有其他ue能够同时或串联地接入体验测试器100。
32.如图1所示，体验测试器100可以位于内容服务器160处，内容服务器160是可从任何接入网络(例如地面网络110、atg网络120、固定线路网络140、卫星网络等)经由互联网130而接入的。在该方面，任何数量的其他内容服务器162也可以是可经由互联网130接入的，并且ue 150、152和154可以利用其各自的接入网络，经由互联网130接入位于内容服务器162中各个服务器处的服务、应用和/等。此外，在一些情况下，在其他内容服务器162中的各个服务器处的可经由互联网130可用的服务或应用可以包括测试资源164的一个或更多个示例。测试资源164的每个实例可以是配置成测试速度、带宽或各种其他方面网络性能的唯一网络测试工具。测试资源164还可以或可选地配置成解析关于ue 150、152和154中的给定之一当前用来接入互联网130的接入网络的各种信息。
33.因此，基于上述结构，应当理解，经由互联网130可以使任何一个ue(例如ue 150)的用户能够利用其相应的接入网络(例如，atg网络120)接入体验测试器100。如下文将更详细讨论的，体验测试器100可以配置成调用测试资源164的一个或更多个实例，并且还可能利用本地资源，以进行信息收集和网络测试信息以向ue 150提供关于atg网络120的定性网络评估。然而，从上文的描述中能够理解，还可以或可选地为每个和其他的接入网络生成定性网络评估，用户经由该其他的接入网络向体验测试器100寻求协助。
34.图2示出了示例实施例的体验测试器100的功能框图。在该方面，体验测试器100可以包括处理电路210，该处理电路配置成执行如本文所述的体验测试器100的任务、操作和/或功能。因此，根据本发明的示例实施例，处理电路210可以配置成执行数据处理、控制功能执行和/或其他处理和管理服务。在一些实施例中，处理电路210可以实施为芯片或芯片组。
换句话说，处理电路210可以包括一个或更多个物理封装(例如芯片)，该一个或更多个物理封装包括结构组件(例如基板)上的材料、部件和/或电线。结构组件可以为包括在其上的部件电路提供物理强度、尺寸守恒和/或电相互作用的限制。因此，处理电路210在一些情况下可以配置成在单个芯片上或作为单个“片上系统”实施本发明的实施例。因此，在一些情况下，芯片或芯片组可以构成执行用于提供本文所述功能的一个或更多个操作的装置。
35.在一个示例实施例中，处理电路210可以包括可以与设备接口220通信或以其他方式控制设备接口220的处理器212和存储器214的一个或更多个实例。因此，处理电路210可以实施为配置成(例如利用硬件、软件或硬件和软件的组合)执行本文所述操作的电路芯片(例如集成电路芯片)。
36.图2的体验测试器100没有示出用户界面。然而，图2的ue 230(其是图1的任何ue的示例)可以包括用户界面。在该方面，体验测试器100的测试模块240可以与ue 230的浏览器对接，以在ue 230的屏幕上生成控制台、网页和/或界面元素以充当用户界面。
37.设备接口220可以包括用于实现与体验测试器100内部和外部的其他设备通信的一个或更多个接口机制。因此，例如，内部模块或部件和外部模块、实体、web站点、设备和/等都可以经由设备接口220进行通信。在一些情况下，设备接口220可以是任何装置，例如硬件中包含的设备或电路，或者配置为从与处理电路210通信的模块、实体、组件、网络、网站、应用等接收和/或向其发送数据的硬件和软件的组合。
38.处理器212可以以多种不同的方式实施。例如，处理器212可以实施为各种处理装置，诸如微处理器或其他处理元件、协处理器、控制器或包括集成电路(例如asic(专用集成电路)、fpga(现场可编程门阵列)等)的各种其他计算或处理设备中的一个或更多个。在一个示例实施例中，处理器212可以配置成执行存储在存储器214中的指令或可以其他方式访问处理器212的指令。因此，无论是由硬件来配置还是由硬件和软件的组合来配置，处理器212都可以表示能够进行相应配置的同时执行根据本发明实施例的操作的实体(例如，以处理电路210的形式物理地体现在电路中)。因此，例如，当处理器212实施为asic、fpga等时，处理器212可以具体地配置成用于进行本文所述操作的硬件。替代地，作为另一个示例，当处理器212实施为软件指令的执行器时，该指令可以具体地配置处理器212以执行本文所述的操作。
39.在一个示例实施例中，处理器212(或处理电路210)可以实施为包括或以其他方式控制基于由处理电路210和/或调用的实体、服务或应用所接收的输入的测试模块240的操作，以评估正在通过体验测试器100进行评估的接入网络250的网络性能。因此，在一些实施例中，响应于对应地执行配置处理器212(或处理电路210)的指令或算法，可以说处理器212(或处理电路210)导致了结合测试模块240描述的每个操作，这些操作与针对包括与接入网络250的定性性能相关联的信息的请求生成和响应处理相关。特别地，指令可以包括用于基于对可经由互联网130接入的资产的调用来获得网络标识信息260和网络参数262中的一个或两个的指令。然后，测试模块240可以使用网络标识信息260和网络参数262以及性能测量来下载和上载测试文件264和测试网页266，以提供本文所述的网络性能的定性评估。
40.在一个示例性实施例中，存储器214可以包括一个或更多个非暂时性存储器设备，例如，可以是固定的或可移动的易失性和/或非易失性存储器。存储器214可以配置成存储信息、数据、应用、指令等，以使处理电路210能够实施根据本发明的示例实施例的各种功
能。例如，存储器214可以配置成缓存输入数据，以由处理器212处理。附加地或替代地，存储器214可以配置成存储由处理器212执行的指令。作为又一个替代方案，存储器214可以包括一个或更多个数据库，该一个或更多个数据库可以响应于输入传感器和部件来存储各种数据集。在存储器214的内容中，可以存储应用和/或指令，以供处理器212执行，以便实施与每个相应应用/指令相关联的功能。在一些情况下，应用可以包括用于控制如本文所述的测试模块240的操作的指令。
41.在一个示例实施例中，ue 230可以经由接入网络250(例如，地面网络110、atg网络120、固定线路网络140或卫星网络等)接入互联网130。ue 230可以键入与体验测试器100相关联的web地址，并且可以显示使用户能够使用体验测试器100测试接入网络250的性能的网页。在一些实施例中，用户可以通过请求体验测试器100检测接入网络250来首先启动体验测试器100的操作。测试模块240可以配置成接收用于网络检测的请求并发起对网络身份代理270的调用。在该方面，例如，测试模块240可以使用与网络身份代理270相关联并且能够确定网络标识信息260的实体(例如ipinfo.io)的应用程序接口(api)。网络标识信息260可以包括例如用户的公共ip地址、主机名、城市、地区、国家和/或唯一标识接入网络250的其他数据。然后，测试模块240可以配置成(如果可能)识别与接入网络250(例如网络提供商的名称)相关联的连接性解决方案。如果可以确定网络提供商的名称，则测试模块240可以将名称和与进行测试相关联的所有测量数据连同日期、时间和任何其他相关信息(例如用户位置)记入日志。日志可以设置在存储器214中，或者在体验测试器100处的或可接入体验测试器100的单独的存储位置中。如果不能确定网络提供商的名称，则测试模块240可以向用户请求这样的信息。如果用户提供了网络提供商的名称，则日志可以再次记录该名称以及所有测量数据。如果不能确定名称，则日志可以将名称记录为未知，或者可以将测量数据与通过测试模块240获得的余下的网络标识信息260相关联地记录。
42.在一些实施例中，特别是对于能够服务于飞行器(例如飞行器118)的atg网络、卫星网络或类似服务，测试模块240可以向用户提供单独的请求以请求用户指示飞行器118的尾号或航班号。在一些情况下，飞行器118的尾号可以与特定网络提供商相关联和/或可以已知关于与飞行器118相关联的通信装备的其他详细信息。然而，在其他示例中，测试模块240还能够基于网络标识信息260、ip地址、路由器mac地址或可以将网络提供商与飞行器相关联的其他装置来自动地检测尾号信息。值得注意的是，在与飞行器无关联的情况下，可以完全省略尾号。
43.在初始网络检测和用户输入网络提供商名称和/或尾号信息(如果适用)之后，用户可以选择继续测试的选项。然后，测试模块240随后将准备执行一系列测试活动，并在准备就绪时开始执行一系列测试活动。在该方面，例如，测试模块240可以向用户提供其正在准备运行测试的指示，同时对另一个测试站点(例如，参数测试代理272)进行api调用，以便从另一个公共可用的资源(例如，测试资源164的另一个示例)获得ping测试、抖动测试和/或下载速度信息。在典型情况下，从测试资源164获得的ping测试、抖动测试和/或下载速度信息很可能是测试的结束。例如，测试模块240将向用户显示作为网络参数262的测试结果(例如，ping测试结果、抖动测试结果和/或下载或上传速度结果)，作为测试的最终输出。然而，如上所述，该信息(即原始形式的网络参数262)通常要么不利于以有意义的方式解释用户体验是什么样的，该信息单独是没有意义的，而是与其他参数组合使用；要么该信息根本
不适于用户打算采用的特定服务或应用(即，对于进行单向流式服务来说，慢速返回链路可能不是至关重要的，其中前向“下载”速度更相关，不过，如果延迟很高，则流式服务可能会启动缓慢)。因此，测试模块240不会在此时停止，而是继续将其他测试添加到一系列测试活动中，以获得更有意义和更有用的结果。特别地，测试模块240仍可以利用其他测试资源164来得到比简单地采用ping测试、抖动测试和/或下载和上传速度测试更全面的结果。
44.在一个示例实施例中，测试模块240然后可以配置成将测试文件264下载到ue 230，并且可以测量和记录下载时间。测试文件264可以是预定大小(例如，1mb)的文件，并且可以位于测试模块240的预定位置处。在一些情况下，测试文件264可以与测试模块240一起定位在本地(例如在存储器214处)。然而，在其他情况下，可期望的是，将测试文件264存储在远程位置处，以进一步测试与经由互联网130从另一个外部服务器访问文件相关的接入网络250。因此，测试文件264可以相对于测试模块240本地存储或远程存储。
45.此后，可以将相同的测试文件264从ue 230上传回体验测试器100，并且可以测量和记录上传时间。因此，测试模块240可以具有已知文件的下载速度和上传速度的准确表示，该已知文件在所有网络测试中都是标准的。时间的记录不仅能够识别下载与上传速度之间存在显著不平衡的情况，这可能影响在两个方向上要求快速的服务或应用的用户体验，该时间的记录还能够用来在不同的时间处或在具有可以随时间确定的其他区别特征时对相同或不同的网络性能结果进行比较。
46.在下载和上传测试完成后，测试模块240可以配置成引导ue 230下载特定位置处的预定网页(即测试网页266)。然而，测试网页266还可以包括位于不同服务器上的图像。在示例实施例中，测试网页266可以具有预定大小(例如，2mb)，并且可以具有在至少两个不同服务器上并且有时在多于两个服务器(例如四个服务器)上的自定义选择的图像。接入包括来自多个服务器的图像的已知网页的要求以标准方式进一步测试接入网络250的能力的稳健性，但不像简单地接入具有在单个服务器处发现的内容的单个网页那样单一，前者在大多数网页是如何构建而成的背景下确实是不正常的，为网页从各种不同位置提取部件，因为网页的各个部分都填充了各种内容，包括所需的信息、分析插件、广告和其他链接或服务。因此，与传统测试相比，测试网页266提供了更有意义的用户体验测试。
47.在下载测试网页266之后，测试模块240可以与ue 230一起执行社交媒体下载测试。在该方面，由于社交媒体和某些其他应用或服务可能需要涉及更多突发类型数据交换的性能，因此测试模块240可以引导ue 230下载特定数量的特定大小的数据包并测量下载速度。例如，体验测试器100(即经由测试模块240)可以引导下载和上传8个50kb数据包(每个方向总共400kb)，同时测量较小数量数据代表的下载和上传速度，然后记录该下载和上传速度。
48.因此，在一些实施例中，上述一系列测试可以包括网络标识信息测试、网络参数测试、标准文件下载和上传测试、网页下载测试和社交媒体下载中的任一项或全部。一旦完成了所有测试，测试模块240可以配置成计算并生成测试结果。测试结果可以通过确定与用户可以预期接入网络提供的多个不同服务或能力中的每一个相关的接入网络250的性能的分数或评级来生成。在示例实施例中，不同的能力或服务可以包括语音通话、视频通话、流式娱乐、社交媒体、游戏和web浏览。还可以提供总测试时间(即，完成所有测试的总时间)以及用户可能感兴趣的任何其他数据。例如，可以显示ping测试、下载速度、上传速度、网站加载
速度等的结果。在一些情况下，还可以提供总体分数。
49.因此，可以向用户呈现由接入网络250提供的连接支持哪些功能并支持到什么程度的概要。换句话说，网络性能的定性评估将以一种将网络性能与各种用户常用的特定媒体应用或服务相关联的方式提供给用户。因此，用户可能不仅仅接收在任何有用或有意义的上下文中没有提供给非专业人员的数据。相反，用户可以接收以直观易懂的方式具体呈现的有意义的结果，并且该结果还反映了用户在使用网络时可能对网络性能的感觉。
50.尽管不是必需的，一些示例实施例还可以包括争用引擎290。争用引擎290在图2中以虚线示出以说明其可选性质。然而，争用引擎290以虚线示出也指示在不同实施例中该争用引擎在系统内的位置可以不同。在该方面，争用引擎290可以由测试模块240经由互联网130接入，或者在一些情况下可以是本地资源。因此，尽管图2示出了从测试模块240到争用引擎290的直接连接，但是在各种实施例中，该连接可以是直接的或间接的。此外，在一些情况下，争用引擎290可以是能够被测试模块240调用以用于输入的在线应用或资源。
51.在任何情况下，争用引擎290可以配置成在测试模块240请求时确定用于接入网络250的资源争用(例如，争用率)。争用引擎290可以配置成感测或以其他方式确定给定接入点处连接的设备的数量。感测或确定资源争用的命令可以由于测试模块240的操作而自动发生，或者可以由操作员手动请求或者通过改变测试模块240的设置而发起，以将确定资源争用添加作为本文所述方法的一部分。该资源争用确定方法可以“在内部”进行。
52.然而，在一些情况下，争用引擎290可以配置成“在外部”确定资源争用。外部资源争用的确定可以基于关于网络结构和网络结构内各种资产的位置的信息或知识来完成。在该方面，例如，在接入网络250是atg网络120或卫星网络的情况下，网络结构的知识信息可以包括指示特定波束覆盖参数的信息。例如，可以提供数据库以在任何给定时间针对每个卫星和该每个卫星的每个波束来限定卫星波束宽度和一般地理覆盖区域。类似地，还可以知道或记录atg基站位置、与每个atg基站相关联的波束和每个波束的覆盖区域。然后，可以将飞行器位置(或其他系统资产的位置)与关于网络结构的已知信息进行比较，以便确定在任何给定时间有多少飞行器(或飞行器上的用户)共享波束。然后，这能够用于确定资源争用。因此，外部资源争用的确定可以融合飞行器(或其他资产)位置/定位信息(例如来自ads-b或其他来源)、哪些飞行器配备有机上连接设备的数据库、卫星或atg波束清单的数据库、指示哪些航空公司与供应商签订了合同的信息和/或任何其他有用的信息，以便计算出在任何给定(当前或未来)时间有多少飞行器(或资产)由同一个波束、卫星或塔台来服务。然后，争用引擎290可以向测试模块240报告资源争用信息，并且测试模块240可以确定争用的分数和争用对用户体验的影响。
53.如上所述，测试模块240可以配置成生成与单独能力相关的网络性能的分数或评级。评分可以基于用户的实际体验来完成。在该方面，例如，测试系列结果中的被选择的结果可以用于确定评级能力中单个能力的分数。被选择的结果是与对应能力相关的或最相关的那些结果。因此，从一系列测试中选择的测试结果仅用于确定与被选择的测试结果相关的各个能力的分数。一旦一组相关的测试结果与每个单个能力相关联，就可以确定不同评级级别之间的边界。然后，由一组测试器执行网络测试，并使用来自测试器的反馈验证或修改边界。例如，如果对特定网络的语音通话能力进行评分，使得基于预定义边界，语音通话能力将收到高度正面的评级，则来自测试器(或至少预定数量或百分比的测试器)的用户反
馈可以验证预定义的边界或建议应该调整预定义的边界以排除获得高度正面评级的分数。
54.评分可能导致评级与直观体验指标相关联，例如表情符号(例如笑脸、哭脸等)。另一个直观体验指标可以是示出充满度的标尺、条形图或容器，以代表评级或质量。颜色(例如，绿色、黄色或红色)也可用于提供直观的体验指标。此外，在一些示例中，可以采用上文所列的直观体验指标的组合。图3a和图3b的每一个示例是由体验测试器100的操作产生的。在该方面，图3a示出了收到完全正面报告的特定接入网络的测试结果页面的一个示例。同时，图3b示出了在提交本技术时来自传统atg网络的结果，尤其是由于缺乏高质量的返回链路和高延迟，在每个类别中的结果都交差。
55.现在参照图3a，示出了在ue 230处生成的结果网页。如上所述，为接入网络250的多个能力中的每一个提供直观体验指标。这些指标包括视频通话指标300、语音通话指标310、流式娱乐指标320、社交媒体指标330、游戏指标340和web浏览指标350。顾名思义，视频通话指标300提供对接入网络250的进行视频通话的能力的定性评估。在该示例中，与视频通话指标300相关联的直观体验指标302是半圆形标尺，该半圆形标尺向用户提供关于网络能力的颜色编码和充满度指示。因此，假设标尺是满的且颜色是绿色，则该示例的直观体验指标302指示接入网络250将向参与视频通话的用户提供良好的用户体验。值得注意的是，标尺可以具有由边界304和306所指示的区域。如果标尺在边界304以下是满的，则可以为直观体验指标302生成红色。同时，如果标尺在边界304与306之间的级别是满的，则可以为直观体验指标302生成黄色。如果标尺在边界306以上的级别是满的，则可以为直观体验指标302生成绿色。因此，在一些情况下，可以生成直观体验指标302以包括体验质量的至少两个可直观确定的指示(例如颜色和标尺充满度)，以加强结果的定性性质，并进一步将结果与对非专业人士意义不大或没有意义的单纯数字或数值评级区分开。在该方面，例如，颜色通常可以指示体验质量(例如良好、较差或平均)，而标尺充满度可以提供数值分数的指示，这是对体验质量程度的进一步衡量。
56.类似地，语音通话指标310、流式娱乐指标320、社交媒体指标330、游戏指标340和web浏览指标350可以各自为直观体验指标生成彩色的和标尺化的输出。然而，通过测试模块240也可以为接入网络250生成总体性能指标360。在该方面，总体性能指标360还可以包括表情符号362(其可以进一步进行颜色编码)和/或口头评级(例如“最佳性能”、“较差性能”或“平均性能”)。
57.在一些示例实施例中，还可以显示总测试时间370。总测试时间370可以提供与接入网络250相关联的延时或延迟的指示，并因此，总测试时间370就其本身而言可以是有用的质量指标。还可以提供其他数值结果380以供用户查阅。然而，如上所述，这些结果在没有提供上下文的情况下，这些结果通常对非专业人士没那么有用。因此，一些实施例可以记录这些值，但也呈现供用户查看的评级，该评级替代地利用这些值的直观体验指标。图3b还示出了一个跳过的测试390，其指示体验测试器100不必完成(或甚至尝试)每个测试。在该方面，在一些情况下，网络性能可能非常差(或者如果用于存储测试数据内容的服务器暂时脱机，则测试资源可能不可用)，以至某些测试无法在预定时限内完成。如果是这样，则可以跳过这些测试，并且在一些情况下，由于预期到如果无法完成先前的测试则后续的测试将无法完成，因此其他测试也可以因为先前跳过的测试而被跳过。注意，图3b还添加了附加类型的媒体(即，办公室工作395)分数以说明除了上述那些之外还能够使用其他测试标准的事
实。办公室工作395类型可能涉及连接到云或公司服务器、vpn、发送和接收带有附件的大型电子邮件文件、从公司或云服务器上传或下载文件等。
58.如上所述，每个单独的类别(或能力)都有自己的评分公式，该评分公式基于执行一系列测试期间捕获的指标或参数。这些评分公式的细节超出了本公开的范围。然而，应当理解，每个不同的类别可能依赖于定量测量的不同组合，并且对于测量或组合的重要性或估值具有不同的范围和/或权重。
59.如上所述，测试模块240可以记录与网络标识信息260相关联的所有评分结果。评分结果还可以包括日期和时间信息，并且在一些情况下，包括ue 230的位置信息。通过将过去的评分结果连同网络标识信息260一起存储，测试模块240可以生成针对给定接入网络、位置、日期/时间等的趋势和/或历史数据。能够向用户提供趋势或历史数据以用于比较的目的(即，查看今天的性能与在类似日期/时间处的接入网络250的平均性能相比如何，与在类似位置处的资产的平均性能相比如何等)。因此，用户有时可能能够意识到接入网络250在性能方面具有“良好”、“较差”或“平均”的一天。此外，在一些情况下，用户(或应用)能够简单地参考历史数据而无需实际运行新的体验测试，以便做出关于该用户(或应用)当前或计划使用接入网络250的决定。因此，例如，拥有多个网络选项的用户能够查看候选网络的结果(甚至前瞻性地并且在旅行之前)，以确定在旅行期间(当前或将来)优化连接性的可能最佳计划。
60.在一些情况下，用户可以利用特定的web应用或服务，其性能至少部分地(有时在很大程度上)取决于接入网络250针对正在使用的服务或应用的类别(例如，媒体类型)的对应性能。在这些情况下，当使web应用或服务看起来较差的罪魁祸首实际上是底层接入网络时，web应用或服务可能会显得设计、质量或性能较差。因此，除了(或作为替代方案)如上文所述的进行操作以外，即，响应于ue 250前往与体验测试器100相关联的网站并启动一系列测试，以通过获悉哪些服务类别(例如，媒体类型)将在用户体验方面提供对应的质量级别来使用结果，体验测试器100可以以其他方式操作。例如，web服务或应用自身可以发起对体验测试器100的调用，以便评估尝试使用web服务或应用的特定用户的接入网络250。
61.在web服务或应用调用体验测试器100的示例中，上文所讨论的一系列测试可以在没有任何特定用户交互的情况下运行。然而，体验测试器100可以向web服务或应用提供关于与特定用户相关联的接入网络250的性能的网络性能的指示。web服务或应用可以使用这些信息执行许多操作。例如，在一些情况下，web服务或应用可以向用户提供未经请求的指示以指示接入网络250的质量。这可以是先发制人的措施以让用户了解其接入网络的质量，以便为用户设置关于接入网络250的可能的性能的预期，从而潜在地还设置关于web服务或应用的性能。在该方面，如果web服务或应用是游戏，则可以通过测试模块240(带有或不带有其他分数)提供游戏分数，并且由用户启动的web服务或应用可以主动指示已经检测到用户的网络，以及在该网络上玩游戏的用户体验将是对应的评级级别。例如，游戏可以向用户提供“已经检测到您的网络，您可以基于您的网络的游戏能力来预期[良好或较差]的体验”的指示。使用趋势/历史数据，游戏可以进一步提供关于提高性能或避免性能较差的方式的建议，例如“请尝试不同的网络以获得最佳游戏性能”或“在您的网络上从xxxx时到yyyy时玩游戏可能会导致游戏性能下降。”[0062]
在一些情况下，web服务或应用还可以配置成基于由体验测试器100提供的评分结
果来调整服务或性能特征。例如，如果接入网络250的等级很高(对于所有类别，或至少对于web服务或应用所属的类别)，则web服务或应用可以自动最大化某些参数(例如视频保真度、图像质量或其他设置)。同时，如果接入网络250的等级很低(对于所有类别，或至少对于web服务或应用所属的类别)，则web服务或应用可以自动降低或最小化某些参数(例如视频保真度、图像质量或其他设置)。因此，可以提供网络能力适配的web服务和/或应用，该web服务和/或应用基于由体验测试器100提供的信息来自动地使其性能适配网络性能。在一些情况下，适配可以与web服务或应用的操作模式有关。例如，web服务或应用可以基于由体验测试器100确定的接入网络250的定性评分来在降级模式、离线模式、正常模式、完全优化模式和/或类似模式下操作。
[0063]
相对于接入网络250的网络资源的修改，图4示出了可以相应配置的资源管理器400的框图。如图4所示，资源管理器400可以包括处理电路410，其被配置为向接入网络250的各种实体、模块或组件提供控制输出以控制网络操作或性能的特定方面。根据本发明的一个示例实施例，处理电路410可以配置成执行数据处理、控制功能执行和/或其他处理和管理服务。在一些实施例中，处理电路410可以实施为芯片或芯片组。换句话说，处理电路410可以包括一个或更多个物理封装(例如芯片)，该一个或更多个物理封装包括结构组件(例如基板)上的材料、部件和/或电线。结构组件可以为包括在其上的部件电路提供物理强度、尺寸守恒和/或电相互作用的限制。因此，处理电路410在一些情况下可以配置成在单个芯片上或作为单个“片上系统”实施本发明的实施例。因此，在一些情况下，芯片或芯片组可以构成执行用于提供本文所述功能的一个或更多个操作的装置。
[0064]
在一个示例实施例中，处理电路410可以包括可以与设备接口420通信或以其他方式控制设备接口420的处理器412和存储器414的一个或更多个实例。因此，处理电路410可以实施为配置成(例如利用硬件、软件或硬件和软件的组合)执行本文所述操作的电路芯片(例如集成电路芯片)。
[0065]
设备接口420可以包括用于实现与其他设备(例如，模块、实体、传感器和/或接入网络250的其他组件)通信的一个或更多个接口机制。在一些情况下，设备接口420可以是诸如实施在硬件或硬件和软件的组合中的设备或电路的任何装置，该装置配置成从/向与处理电路410通信的模块、实体、传感器和/或接入网络250的其他部件接收和/或发送数据。
[0066]
处理器412可以以多种不同的方式实施。例如，处理器412可以实施为各种处理装置，诸如微处理器或其他处理元件、协处理器、控制器或包括集成电路(例如asic(专用集成电路)、fpga(现场可编程门阵列)等)的各种其他计算或处理设备中的一个或更多个。在一个示例实施例中，处理器412可以配置成执行存储在存储器414中的或可以其他方式访问处理器412的指令。因此，无论是由硬件来配置还是由硬件和软件的组合来配置，处理器412都可以表示能够进行相应配置的同时执行根据本发明实施例的操作的实体(例如，以处理电路410的形式物理地体现在电路中)。因此，例如，当处理器412实施为asic、fpga等时，处理器412可以具体地配置成用于进行本文所述操作的硬件。替代地，作为另一个示例，当处理器412实现为软件指令的执行器时，该指令可以具体地配置处理器412以执行本文所述的操作。
[0067]
在一个示例实施例中，处理器412(或处理电路410)可以实施为，基于处理电路410响应于接收到与网络的通信元件的各种相对位置相关联的位置信息而接收到的输入，包括
或以其他方式控制波束成形控制模块300的操作。因此，在一些实施例中，响应于对应地执行配置处理器412(或处理电路410)的指令或算法，可以说处理器412(或处理电路410)导致了结合波束成形控制模块430描述的与对天线阵列进行的调整相关的每个操作来承担与波束成形相关的对应功能。特别地，指令可以包括用于处理潜在移动接收站(例如，在飞机、火车、汽车或其他车辆上，或由用户拥有的车辆上)的3d定位信息的指令，该指令能够用于确定接收站到任何或所有固定传输站点(即接入网络250的ap)的相对位置，以便指示天线阵列形成或选择一个方向上的波束，该方向将有助于在移动接收站与本文描述的固定传输站之一之间建立通信链路。
[0068]
在一个示例性实施例中，存储器414可以包括一个或更多个非暂时性存储器设备，例如，可以是固定的或可移动的易失性和/或非易失性存储器。存储器414可以配置成存储信息、数据、应用、指令等，以使处理电路410能够实施根据本发明的示例实施例的各种功能。例如，存储器414可以配置成缓存输入数据，以由处理器412处理。附加地或替代地，存储器414可以配置成存储由处理器412执行的指令。作为又一个替代方案，存储器414可以包括一个或更多个数据库，该一个或更多个数据库可以响应于输入传感器和部件来存储各种数据集。在存储器414的内容中，可以存储应用和/或指令，以供处理器412执行，以便执行与每个相应应用/指令相关联的功能。在一些情况下，应用可以包括用于提供输入以控制如本文所述的波束成形控制模块430的操作的指令。
[0069]
在一个示例实施例中，波束成形控制模块430可以被配置为使得波束能够从接入网络250的各种部件(例如，接入网络250被实施为的任何类型的网络的ap)朝向ue 230或朝向最终与ue 230通信的无线电设备地来形成或选择。因此，在图1的atg网络120的背景下，波束成形控制模块430可以控制从第一atg ap 122或第二atg ap 124一个或两个朝向飞行器118(和位于其上的ue 150)的波束的形成或选择。可以实时或提前形成和/或选择波束以预测切换。在任一情况下，波束成形控制模块430可以被配置为利用指示飞行器118或ue 150与第一atg ap 122和/或第二atg ap 124的相对位置的信息。通过知道两个设备的位置或网络节点，从设备或网络节点之一的角度确定设备或网络节点相对于彼此的位置，能够准确地完成转向。波束成形控制模块430或与其可操作地耦合的另一组件也可以采用跟踪算法，以便基于当前位置和移动速率和方向来跟踪动态位置变化和/或计算未来位置。在确定预期相对位置之后，波束成形控制模块430可以被配置为提供指令以基于预期相对位置直接形成或选择来自第一atg ap 122或第二atg ap 124中相应一个的天线阵列的波束。指令可以被提供给控制设备，该控制设备被配置为调整天线阵列的特性以形成在预期相对位置的方向上被引导的方向可操纵波束或以形成每个具有不同取向的多个固定波束中的选定之一，但组合起来以覆盖具有相邻且略有重叠的覆盖区域的扇区或区域。例如，这种波束可以具有8度或更小的方位角和仰角宽度。此外，在一些情况下，这种可操纵波束可以具有5度或更小的方位角和仰角宽度，或者甚至2度或更小的方位角和仰角宽度。然而，在一些实施例中也可以采用更大尺寸的可操纵波束。
[0070]
如图4所示，对于服务于ue 230的接入网络250的一般示例，ue 230的任何或所有用户、在ue 230处启动的应用、或资源管理器400可以被配置为发起到体验测试器100的通话以确定接入网络250的能力的定性评估。具体地，当资源管理器400发起通话时，体验测试器100可以向资源管理器400提供定性评估。提供给资源管理器400的定性评估在一些情况
下，可以至少部分地基于争用分数或基于指示由争用引擎290提供的资源争用的其他信息。然而，在其他情况下，可以将争用分数或指示资源竞争的信息直接提供给资源管理器400以供其结合波束成形控制模块430的操作来使用。在一些情况下，资源管理器400可以被配置为还(或替代地)接收关于由运行体验测试的ue或应用所获得的体验测试结果的报告。因此，在某些情况下，资源管理器400可能从未实际运行它自己的经验测试。然而，资源管理器400仍然可以基于已经报告给资源管理器400的经验测试结果来执行各种网络控制功能，可以是接入网络250内的各种其他用户或应用。
[0071]
在一个示例实施例中，资源管理器400可以被配置为在通话的相应时间周期性地调用体验测试器100以测试接入网络250的操作。因此，接入网络250的周期性测试可以由网络运营商设置的例行时间间隔来完成。附加地或替代地，可以在每次向网络添加新用户时，或者在某些情况下当阈值数量的用户已经添加(即，已经附接)到接入网络250时，对体验测试器100进行通话。当采用阈值时，用户的阈值数量可以在网络或资源级别上确定，甚至可以根据地理位置来确定。例如，资源管理器400可以被配置为每当阈值数量的用户已经附接到单个ap、ap的单个扇区或单个波束时，就向体验测试器100发出通话。替代地或附加地，资源管理器400可以被配置为每当阈值数量的用户已经从特定地理位置或区域(例如，包括一组ap)附接到接入网络250时，向体验测试器100进行通话。
[0072]
无论进行通话的频率如何，或者资源管理器400是否在没有实际进行通话的情况下接收到体验测试数据，当资源管理器400接收到体验测试的结果(即，基于根据人类对定量因素得分的对应组合处的性能的实际感知结果对定量因素得分的组合，对与交付优质用户体验相关的网络能力进行定性评估)，资源管理器400可以做出关于调整网络操作参数的确定，以改善接入网络250内接收低质量评估的位置的用户体验。
[0073]
应当注意，在一些情况下，资源管理器400可以(经由与其通信)访问在不同位置的接入网络250内固定的测试位置。每个测试位置可以包括实际从接入网络250内的相应位置进行通话的测试ue或类似设备。结果然后能够将相应测试ue的特定位置内的网络能力通知给资源管理器400。这能够包括在atg或卫星网络内的飞行器或卫星上测试ue。然而，在许多情况下，对于资源管理器400来说，简单地请求或被动地接收来自处于接入网络250中的在其各个位置处的ue或应用的体验测试结果而不是利用固定的测试ue可能更简单。
[0074]
在接收到体验测试的结果后，资源管理器400可以被配置为确定与体验测试相关联的位置或资源标识符。例如，如果图1的飞行器118上的ue 150执行体验测试并将结果报告给资源管理器400，然后资源管理器400可以被配置为确定ue 150的服务ap(例如，第一atg ap 122)。如果体验测试的结果表明用户体验较差，或者至少是次优的用户体验，则资源管理器400可以被配置为确定是否存在任何可用选项来改善用户体验。因此，例如，资源管理器400可以考虑与候选资源相关联的先前完成的经验测试的现有信息(连同完成此类经验测试以确认与当前时间的相关性的日期和时间)以确定是否有能够转移到的更好的执行资源。附加地或替代地，资源管理器400可以请求一测试ue或另一设备来进行与替代资源相关联的体验测试，以基于与替代资源相关联的体验测试的结果来确定转移到替代资源的适合性。作为又一替代或附加选项，可以使被假定能够改善用户体验的新资源联机。
[0075]
因此，例如，如果服务于飞行器118的ue 150的波束产生较差的体验测试结果(和/或高的资源争用)，则资源管理器400可以确定另一个波束(源自相同或不同的ap)是否能够
被转移以覆盖ue 150或能够被形成以服务于ue 150。可以基于该区域中资产的近期优越性能来选择新波束，或者仅仅作为减少资源争用的手段。在一些情况下，在形成或引导新波束之后，资源管理器400还可以被配置为执行另一(例如，确认性的)体验测试以验证与新波束相关联的用户体验的改善和/或资源争用的减少。
[0076]
图5示出了图1的系统的atg网络120的框图，其配置为用于如上所述的操作。就此而言，资源管理器400设置在atg网络120的网络控制器450处，并且飞行器118最初经由第一波束460与第一atg ap 122通信。在一些情况下，网络控制器450可以被配置为处理往返飞行器118(或飞行器118上的通信设备或其他网络中的其他设备)的路由通话和/或处理飞行器118上的通信设备与atg网络120之间的其他数据或通信传输。在一些实施例中，当飞行器118上的通信设备参与通话时，网络控制器450可用于提供到固定线路干线的连接的作用。此外，网络控制器450可以被配置为用于消息和/或数据向ue或其他通信设备的转发和从ue或其他通信设备的转发，并且还可以控制对基站或ap的消息的转发。
[0077]
值得注意的是，第一波束460可以是可操纵波束，其能够基于3d定位信息被动态操纵以跟踪飞行器118的运动。然而，在其他情况下，第一波束460可以是一系列固定波束中之一，这些固定波束能够形成并切换给基于3d定位信息依次选择为用于飞机118的切换和跟踪的相邻的其他固定波束。在任一情况下，体验测试器100可以确定飞行器118上的用户(例如，ue或其他设备)或应用的较差的用户体验。基于先前(在预定时间段内)或同时执行的与第二atg ap 124相关联的体验测试，或者基于另一个波束将改善用户体验的假设，资源管理器400可以确定形成到飞行器470的第二波束470。第二波束470可以在结构上类似于第一波束460(但可能不同)。在第二波束470形成并且飞行器118上的部分或全部ue或其他装备被切换给第二波束470之后，体验测试器100可以进行确认性的体验测试以确认预期的用户体验的改善。
[0078]
如果改进通过相等或更好的经验测试结果被证实，则第二波束470可以继续携带向其转移的所有资产，直到需要并执行另一切换(例如，由网络控制器450执行)。如果改进未被验证，则资源管理器400可以确定另一个基于经验的切换。可以或者由于无效的基于经验的切换、经验测试结果的后续减少低于阈值(例如，一般地或对于给定媒体类型)，或者基于传统的切换触发(例如，信号强度降低、基于位置的切换等)，来执行下一次切换。应当理解，图5的示例可以复制到任何其他网络，包括地面网络、卫星网络等。
[0079]
图6更详细地示出了第一波束460和第二波束470以表明在一些情况下能够采用的波束(例如，“细波束”)的性质。在这点上，第一波束460和第二波束470在方位角和仰角上都可以具有小于大约8度的波束宽度。然而，在某些情况下，波束宽度可能小到5度或甚至2度。随着飞行器118在箭头490的方向上移动，第一波束460(和/或第二波束470)可以基于3d定位信息被引导以跟随或跟踪该飞行器118。替代地，如上所述，可以选择和/或形成相邻且至少部分重叠的波束(例如，波束462)，并且可以继续选择和/或依次形成其他波束，以在飞行器118沿箭头490的方向移动时继续切换并保持与飞行器的通信。这些波束切换基于飞行器118的位置或定位发生，并且可以由网络控制器450例行地进行以说明飞行器118的移动。然而，基于用户体验改善的波束的形成、选择和/或引导可以由网络控制器450(例如，具体由资源管理器400)与基于位置的切换并行进行，以便提高整体网络性能和用户体验。因此，网络控制器450(例如，经由资源管理器400)可以被配置为基于以下两者：基于位置的标准和
基于用户体验的标准来进行波束切换。
[0080]
应当理解，从第一波束460到第二波束470的切换假设有两个ap在与飞行器118通信的范围内。在仅一个ap在通信范围内的情况下(或者其中一个ap是生成第一波束460和后续波束两者的最佳候选)，例如如果第一atg ap122能够在另一信道上生成一个或更多个附加波束(例如，采用另一频率)则仍可以实践示例实施例。在这方面，如图7所示，替代的第二波束470’可以使用不同的信道资源源自与第一波束460相同的ap(即，在本示例中来自第一atg ap 122)。第二波束470'可以具有比第一波束460更宽(或更窄)的波束宽度，并且在一些情况下，可以从与atg网络120相关联并且设置在第一atg ap 122处的另一个天线阵列产生。因此，波束选择或形成可以优化为动态引导波束或选择波束源(取决于给定网络上存在的能力)以从竞争激烈的波束切换到竞争较少的波束，从而改善两个波束用户的用户体验。在某些情况下，基于用户体验的波束优化也可能是特定于应用的，以便优化与本地接入点(例如，飞行器上的机舱无线接入点(cwap)，或家中或商业的wifi路由器)通过路由流量不仅基于应用类型和优先级，而且还凭借经验和争用问题，来使系统更加智能。因此，示例实施例可以提供在所有传统测试方法中都缺少的基于组合/依赖性的智能。
[0081]
尽管资源管理器400示出在图5中的网络控制器450处，但应当理解，在某些情况下，资源管理器400的各个实例也可以在任何给定接入网络内的各个实体或平台处起作用。因此，例如，飞行器118可以在其上具有资源管理器400的单独实例。在这样的示例中，资源管理器400可以如上所述操作，除了切换的发起可以来自飞行器118侧而不是网络侧。在这种情况下，飞行器118(或其上的通信设备，诸如飞行器无线电套件)可以引导第二波束的形成以被引导/选择为形成用于与地面通信的第二或替代资源。换句话说，基于用户体验的网络资源动态优化可以在网络侧处或网络内的远程节点处发起和管理。
[0082]
因此，图1和图5的系统可以提供图2的测试模块240在其中的环境并且图4的资源管理器400可以提供一种机制，经由该机制可以实践许多有用的方法。图8示出了可以与图1和5的系统、图2的测试模块240和图4的资源管理器400相关联的一种方法的框图。从技术角度来看，上述资源管理器400可用于支持图8中描述的部分或全部操作，并且类似于图4的在网络控制器450处的处理电路(至少在功能上，但可能在形式上不同)可以支持图8的一些或全部操作。因此，图1、2、4和5中描述的平台/部件/模块可用于促进若干计算机程序和/或基于网络通信的交互的实现。应当理解，流程图的每个框以及流程图中的框的组合可以通过各种装置来实现，例如与执行包括一个或更多个计算机程序指令的软件相关联的硬件、固件、处理器、电路和/或其他设备。例如，上述过程中的一个或更多个可以由计算机程序指令来实施。在该方面，实施上述过程的计算机程序指令可以由储存器设备(例如，波束成形控制模块430、处理电路410或其他处理电路的存储器装置)存储并且由设备中的处理器执行。如应当理解的是，任何这样的计算机程序指令都可以加载到计算机或其他可编程器件(例如，硬件)上以生成机器，使得在计算机或其他可编程器件上执行的指令创建用于实施流程图框中的特定功能的装置。这些计算机程序指令还可以存储在计算机可读储存器中，该计算机可读储存器可以引导计算机或其他可编程器件以特定方式运行，使得存储在计算机可读储存器中的指令生成实施流程图框中的特定功能的制品。计算机程序指令还可以加载到计算机或其他可编程器件上以引起在计算机或其他可编程器件上执行一系列操作，以生成计算机实现的过程，使得在计算机或其他可编程器件上执行的指令实现流程图框中的特定
功能。
[0083]
因此，流程图的框支持用于执行特定功能的装置的组合和用于执行特定功能的操作的组合。还应当理解的是，流程图的一个或更多个框以及流程图中框的组合可以由执行特定功能的基于专用硬件的计算机系统，或者专用硬件和计算机指令的组合来实现。
[0084]
在该方面，如图8所示，根据本发明的一个实施例的方法可以包括：在操作500处，经由形成或选择为服务于通信设备的第一波束来接收关于使用接入网络的通信设备的不同类别的服务或应用的接入网络的能力的定性评估的指示。该方法还可以包括：在操作510处，响应于定性评估低于预定阈值来确定候选资源是否存在；在操作520处，响应于确定候选资源存在而形成或选择与候选资源相关联的第二波束；以及在操作530处，发起通信设备从第一波束到第二波束的切换。
[0085]
在一些实施例中，方法可以包括附加的、可选的操作，和/或可以修改或扩充上述操作。下文描述了修改、可选操作和扩充的一些示例。应当理解的是，修改、可选操作和扩充可以各自单独地添加，或者它们可以以任何期望的组合累积地添加。在一个示例实施例中，形成或选择第二波束可以包括从与发起第一波束的接入点不同的接入点形成或选择第二波束。在一些情况下，形成或选择第二波束可以包括从与发起第一波束的接入点相同的接入点形成或选择第二波束。在一个示例实施例中，接收指示还可以包括接收与第一波束相关联的资源争用的指示。在一些情况下，进行切换会减少第一波束上的资源争用。在一个示例实施例中，确定候选资源是否存在可以包括确定候选资源是否在预定时间段内接收到肯定的定性评估。在一些情况下，确定候选资源是否存在可以包括对候选资源进行第二定性评估并确定第二定性评估是否是对与第一波束相关联的定性评估的改进。
[0086]
因此，示例实施例采用了客观/定量的一系列的测试和分数，然后基于网络能力，创建准确地代表用户体验的主观/定性的评分或指示。此后，可以管理资源以优化用户体验，并且资源管理可以包括优化的波束成形/选择。采用示例实施例的有利方面可以是，通过考虑组合测试而不是孤立的测试，其他定性变量的相互依赖性实际上提供了对真实用户体验或应用体验的有价值的洞察，简单的数值结果无法提供该洞察，因此可以进行资源管理，以最大限度地提高用户体验的质量。简单地显示单独数字的传统速度测试可能会给网络质量带来错误的信任感，并且这些测试无法向非专业用户教导或解释数字的含义，以及为什么“好”的数字(即快速的下载速度)仍会导致较差的体验(例如，网页加载缓慢或电子邮件无法发送)，这可能是由于高延迟、缓慢的上传速度或两者兼有。
[0087]
受益于前述描述和关联附图中呈现的教导，本发明所属领域的技术人员能够想到本文阐述的本发明的许多修改和其他实施例。因此，应当理解的是，本发明不限于所公开的具体实施例，并且修改和其他实施例旨在包括在所附权利要求的范围内。此外，虽然前述描述和关联附图在元件和/或功能的某些示例性组合的上下文中描述了示例性实施例，但应当理解的是，在不脱离所附权利要求的范围的情况下，可以由替代实施例提供元件和/或功能的不同组合。在该方面，例如，如一些所附权利要求中所阐述的，还可以想到与上文明确描述的元件和/或功能的组合不同的组合。在这里描述了优点、益处或问题的解决方案的情况下，应当理解的是，这样的优点、益处和/或解决方案可以适用于一些示例实施例，但不一定适用于所有示例实施例。因此，不应将本文所述的任何优点、益处或解决方案视为对所有实施例或本文要求保护的实施例而言是关键的、必需的或必不可少的。尽管文本采用了特
定术语，但它们仅用于一般性和描述性意义，而非用于限制的目的。