用于管理通信系统中的网络质量的方法和装置与流程

本公开总体上涉及通信系统，更具体地涉及一种用于管理通信系统中的网络质量的方法和装置。

背景技术：

为了满足自第四代(4g)通信系统商业化以来不断增长的无线数据业务需求，已经在努力开发改进的第五代(5g)通信系统或pre-5g通信系统。为此，将5g通信系统或pre-5g通信系统称为超4g网络通信系统或后lte系统。

为了实现高数据传输速率，正在考虑在毫米波频带(例如，60ghz频带)中实施5g通信系统。在5g通信系统中，正在讨论诸如波束成形、大规模mimo、全尺寸mimo(fd-mimo)、阵列天线、模拟波束成形和大规模天线技术的技术，作为减轻超高频带中的传播路径损耗和增加传播传输距离的手段。

此外，已经开发了诸如演进小型小区、高级小型小区、云无线接入网络(ran)、超密集网络、设备到设备通信(d2d)、无线回程、移动网络、协作通信、协作多点(comp)和接收干扰消除的技术来改进5g通信系统中的系统网络。

此外，5g系统已经开发了高级编码调制(acm)方案，诸如混合fsk和qam调制(fqam)及滑动窗口叠加编码(swsc)，并进一步开发了高级接入技术，诸如滤波器组多载波(fbmc)、非正交多址(noma)和稀疏代码多址(scma)。

随着网络技术的演进，以第五代(5g)和云为代表的下一代网络需求更高水平的用户体验质量(qoe)。从qoe的角度，现有的无线通信方案仅需求增加带宽，但是下一代网络的主要需求包括低延迟和低抖动，这需要实时响应和相互反应。此外，在下一代网络中需要控制物联网(iot)代表的大量设备，这可能成指数地增加网络的复杂性。此外，由于多个服务提供商构成单个网络，因此满足多个网络运营商之间的服务水平协议(protocol)(sla)可能是一个重要因素，其不仅会直接影响网络质量管理，还会影响实际网络运营成本。

技术实现要素：

技术问题

本公开的各种实施例可以提供一种能够通过使用软件定义网络(sdn)和网络功能虚拟化(nfv)技术以合并方式提供网络服务保证的方法和装置。

本公开的各种实施例可以提供一种通过在通信系统中使用sdn技术来确保用于测试网络质量的整个间隔的可见性，以及通过使用sdn编排设备来管理网络质量的方法和装置。

本公开的各种实施例可以提供一种通过在通信系统中使用sdn测试方案来关于每个较低级别的间隔来测试和管理整个质量测试间隔的方法和装置。

本公开的各种实施例可以提供一种通过在通信系统中使用基于软件的网络功能虚拟化(nfv)技术来动态地控制测试性能和容量，并且不考虑硬件设备的性能容量来测试网络质量的方法和装置。

本公开的各种实施例可以提供一种用于测试关于通信系统中的数据中心内的各种物理/逻辑网络元件(ne)的网络质量的方法和装置。

本公开的各种实施例可以提供一种用于消除通信系统中的数据中心发生的故障的方法和装置。

本公开的各个实施例可以提供一种关于用户界面的方法和装置，其用于以合并方式管理关于通信系统中的数据中心的ne的网络质量，并提供服务保证。

本公开的各种实施例提供一种用于管理关于路径以及构成路径的每个间隔的服务质量的方法和装置，其中业务沿着该路径相对于通信系统中的数据中心的ne实时地移动。

本公开的各种实施例可以提供一种方法和装置，其不仅用于实时地测试关于通信系统中的数据中心的ne的网络质量，而且还统计地管理测试的网络质量的结果，从而统计地分析质量下降的原因。

技术方案

根据本公开的各种实施例，一种操作用于测试通信系统中的网络质量的管理设备的方法，所述方法包括：配置测试网络质量的至少一个目标和测试条件；向控制器设备发送包括关于所述至少一个目标和所述测试条件的信息的测试请求消息，所述控制器设备被配置为控制与所述至少一个目标有关的路径；基于所述测试条件，接收关于路径测试的关于网络质量的信息；以及显示所述关于网络质量的信息。

根据本公开的各种实施例，一种操作用于测试通信系统中的网络质量的控制器设备的方法，所述方法包括：接收包括关于用于测试网络质量的目标的信息的消息；确定所述目标之间的路径；向至少一个不同的网络元件(ne)发送关于所述路径的信息；以及向所述目标中的至少一个发送测试请求消息，以便基于所述信息来测试所述网络质量。

根据本公开的各种实施例，一种操作用于测试通信系统中的网络质量的服务器设备的方法，所述方法包括：接收测试请求消息，所述测试请求消息包括测试条件和关于在用于测试网络质量的目标之间的路径的信息；基于所述测试条件，生成测试包；以及基于所述关于路径的信息和所述测试包测试关于所述目标的网络质量。

根据本公开的各种实施例，一种用于测试通信系统中的网络质量的管理设备，所述管理设备包括：处理器，所述处理器被配置为配置测试网络质量的至少一个目标和测试条件；以及通信单元，所述通信单元被配置为向控制器设备发送包括关于所述至少一个目标和所述测试条件的信息的测试请求消息，所述控制器设备被配置控制与所述至少一个目标有关的路径；并且被配置为基于所述测试条件，接收关于路径测试的关于网络质量的信息；以及显示器，所述显示器被配置为显示所述关于网络质量的信息。

根据本公开的各种实施例，一种用于在通信系统中测试网络质量的控制器设备包括：通信单元，被配置为接收包括关于用于测试网络质量的目标的信息的消息；以及处理器，所述处理器被配置为确定所述目标之间的路径。所述通信单元被配置为向至少一个不同的网络元件(ne)发送关于所述路径的信息；以及向所述目标中的至少一个发送测试请求消息，以便基于所述信息来测试所述网络质量。

根据本公开的各种实施例，一种用于测试通信系统中的网络质量的控制器设备，所述控制器设备包括：通信单元，所述通信单元被配置为接收测试请求消息，所述测试请求消息包括测试条件和关于在用于测试网络质量的目标之间的路径的信息；以及处理器，所述处理器被配置为基于所述测试条件，生成测试包；以及基于所述关于路径的信息和所述测试包测试关于所述目标的网络质量。

有益效果

根据本公开的各种实施例的方法和装置通过使用软件定义网络(sdn)和网络功能虚拟化(nfv)技术来配置网络，并测试关于构成网络的网络元件(ne)的网络质量，从而实现更有效的网络质量管理。

可以通过本公开获得的效果不限于上述效果，并且本领域技术人员从以下描述中可以清楚地理解未提及的其他效果。

附图说明

图1示出了根据本公开的各种实施例的通信系统。

图2示出了根据本公开的各种实施例的用于通信系统中的基于软件定义网络(sdn)的网络质量管理的结构。

图3示出了根据本公开的各种实施例的通信系统中的数据中心(dc)的结构。

图4示出了根据本公开的各种实施例的用于在通信系统中与网络功能虚拟化(nfv)互连的基于sdn的网络质量管理的结构。

图5示出了根据本公开的各种实施例的由网络元件(ne)执行的用于通信系统中的网络质量管理的功能。

图6示出了根据本公开的各种实施例的可以在通信系统中测试其网络质量的目标的类型。

图7示出了根据本公开的各种实施例的用于管理通信系统中的网络质量的系统中的ne。

图8是根据本公开的各种实施例的通信系统中的sdn管理设备的框图。

图9是根据本公开的各种实施例的通信系统中的sdn控制器设备的框图。

图10是根据本公开的各种实施例的通信系统中的服务器设备的框图。

图11是根据各种实施例的通信系统中的管理设备的操作流程图。

图12是根据各种实施例的通信系统中的控制器设备的操作流程图。

图13a至图13b是分别示出了根据本公开的各种实施例的与由通信系统中的控制器设备执行的流规则有关的操作的流程图。

图14是根据本公开的各种实施例的通信系统中的服务器设备的操作流程图。

图15示出了根据本公开的各种实施例的通信系统中的sdn管理设备的功能模块。

图16示出了根据本公开的各种实施例的通信系统中的sdn控制器设备的功能模块。

图17示出了根据本公开的各种实施例的通信系统中的服务器设备的功能模块。

图18示出了根据本公开的各种实施例的通信系统中的虚拟机(vm)的功能模块。

图19是根据本公开的各种实施例的用于在通信系统中请求网络质量测试的操作的流程图。

图20是根据本公开的各种实施例的用于在通信系统中发送/接收用于网络质量测试的测试包的操作的流程图。

图21示出了根据本公开的各种实施例的通信系统中的用于网络质量测试的测试包的移动路径。

图22是根据本公开的各种实施例的用于处理通信系统中的网络质量测试的结果的操作的流程图。

图23a至图23f示出了根据本公开的各种实施例的用于显示通信系统中的网络质量测试的结果的用户界面(ui)的示例。

具体实施方式

在本公开中使用的术语仅用于描述特定实施例，而无意欲限制本公开。除非在上下文中它们明确不同，否则单数表述可以包括复数表述。除非另有定义，否则本文中使用的所有术语，包括技术术语和科学术语，具有与本公开所属领域的技术人员通常理解的含义相同的含义。诸如在常用字典中定义的那些术语可以被解释为具有与相关技术领域中的上下文含义相同的含义，并且除非在本公开中明确定义，否则不应被解释为具有理想或过度正式的含义。在某些情况下，即使本公开中定义的术语也不应解释为排除本公开的实施例。

在下文中，将基于硬件的方法来描述本公开的各种实施例。然而，本公开的各种实施例包括使用硬件和软件两者的技术，因此，本公开的各种实施例可以不排除软件的方法。

在下文中，本公开涉及一种用于管理无线通信系统中的网络质量的装置和方法。具体地，本公开描述了一种通过在无线通信系统中使用网络功能虚拟化(nfv)以在软件定义网络(sdn)中执行质量管理和服务保证的技术。在本公开中要管理的服务质量的指标可以包括例如体验质量(qoe)。如将在以下描述中使用的，为了便于描述，给出了表示与数据的显示有关的参数的术语(例如，目标实体、数据时间间隔、资源级别和数据类型级别)、表示网络实体的术语、表示设备的组成元件的术语(根据本公开适当修改的)等。因此，本公开不限于以下术语，而是可以替代地使用具有等效技术含义的其他术语。

在下文中，本公开中使用的术语将定义如下：

“软件定义网络(sdn)”指一种用于将构成网络的单个网络元件(ne)中的控制区域划分为可接入设备，并通过使用可接入设备中的应用来逻辑控制和管理网络设备的技术。在sdn中，可以通过开放的应用编程接口(api)对各个单独的ne进行编程，使得可以对其进行控制或管理。换句话说，可以根据sdn以集中式管理网络和/或ne。

“网络功能虚拟化(nfv)”指一种用于将构成网络的硬件设备虚拟化，使得上层实体(例如服务器)实现与软件相同的功能的技术。当应用nfv技术时，硬件设备的虚拟化可能会导致不需要任何单独的硬件设备。

“网络路径”指在两个ne之间沿其传输包或数据的路径。例如，在单个基站小区中的第一终端和第二终端之间通信的情况下，两个终端之间的网络路径可以是“第一终端->基站->第二终端”。在这种情况下，也可以说“第一终端和第二终端之间的网络路径包括第一终端、基站和第二终端”。当两个特定网络元件之间的网络路径仅包括两个网络元件时，作为网络路径的特例，两个网络元件直接相连，并且两个网络元件之间的网络路径可以称为“方向路径”。网络路径可以简单地称为“路径”。

图1示出了根据本公开的各种实施例的通信系统100。参考图1，用于网络质量管理的系统100(或简称为系统100)可以包括网络元件(ne)，诸如第一基站101至第四基站104、终端110、第一测试器120、第二测试器125、交换机/路由器130、网关140、测试管理器150和操作支持系统/业务支持系统(oss/bss)160。

为了测试系统100中的网络质量，测试管理器150可以向第一测试器120发送测试请求。响应于该测试请求，第一测试器120可以执行测试与第二测试器125的网络质量的操作。根据本公开的各种实施例，第一测试器120可以通过使用主动监视技术执行测试与第二测试器125的网络质量的操作。具体地，第一测试器120可以生成测试网络质量的测试(探测或测量)包，并且可以将所生成的测试包发送到第二测试器125。第二测试器125可以根据需要处理所接收到的测试包，例如，诸如存储所接收的测试包中与网络测试有关的参数，并且可以将处理后的包或测试结果包发送回第一测试器120。即，第一测试器120可以用作发送器，第二测试器125可以用作反射器。第一测试器120可以将从第二测试器125接收的测试结果包发送到测试管理器150，从而发送与测试管理器150的测试请求相对应的测试报告。在接收到测试结果报告之后，测试管理器150可以通过与oss/bss160的接口对测试结果进行综合分析和控制。根据上述操作，可以通过使用主动监视技术测试和管理第一测试器120和第二测试器125之间的网络路径的网络质量。

根据本公开的各种实施例，第二测试器125可以嵌入在第一基站101至第四基站104、交换机/路由器130和网关140中的至少一个中。在该情况下，系统100可以不包含单独的第二测试器125。当第二测试器125嵌入在第一基站101至第四基站104、交换机/路由器130和网关140的至少一个中时，可以测试和管理关于第一测试器120与第一基站101至第四基站104、交换机/路由器130和网关140中的每一个之间的网络路径的质量。如图1中所示，测试关于第一测试器120与第一基站101至第四基站104、交换机/路由器130和网关140中的每一个之间的网络路径的质量是示例，并且网络质量也可以关于系统100中包括的任意两个ne之间的网络路径，以类似的方式进行测试。如上所述，通过管理关于系统100中的每个ne的网络质量，终端110与基站101到第四基站104中的至少一个的通信可以完成高级用户服务质量(qos)，并且可以接收对要提供的服务的保证。

系统100中的网络质量测试可能需要单独的测试设备，诸如第一测试器120和/或第二测试器125，或者可能需要将测试设备嵌入到网络元件中(例如，第一基站101到第四基站104、交换机/路由器130和网关140)。此种基于硬件的网络质量管理方案可能需要巨大的资本支出(capex)，用于单独安装测试设备或将其嵌入每个ne。此外，在基于硬件的网络质量管理方案的情况下，可能难以以合并方式管理关于从多台测试设备或其中被嵌入测试设备的网络元件获取的网络质量测试结果的信息。特别地，可能难以将基于硬件的网络质量管理方案应用于具有复杂结构的ne，诸如数据中心(dc)。

因此，为了克服基于硬件的网络质量管理方案的问题，本公开的各个实施例提供了一种能够通过使用nfv和sdn技术来管理网络质量并提供服务保证的方法和装置。换句话说，本公开的各种实施例提供了一种方法和装置，其通过使用nfv技术来虚拟化配置网络所需的硬件设备，通过使用sdn技术经由开放api对各个物理/虚拟ne进行编程，以及以集中式方式对其进行控制和管理。

图2示出了根据本公开的各种实施例的用于通信系统中的基于sdn的网络质量管理的结构。系统200可以包括，作为示例性端到端管理设备的sdn管理设备201以及管理和编排(mano)/nfv管理设备203。虽然sdn管理设备201和mano/nfv管理设备203在图2中被示为单独的实体，但是sdn管理设备201和mano/nfv管理设备203可以是用于管理物理/虚拟ne的单个合并管理设备。管理设备可以称为编排器。此外，系统200可以包括边缘云dcsdn控制器205、传输网络控制器207、核心云dc控制器209、边缘云dc210、传输网络220和核心云dc230。

sdn管理设备201和/或mano/nfv管理设备203可以向用户提供用于测试、控制和管理网络质量的接口。sdn管理设备201和/或mano/nfv管理设备203可以通过接口从用户接收用于控制网络的输入，并且可以将与该输入相对应的请求发送到边缘云dcsdn控制器205、传输网络控制器207和核心云dc控制器209中的至少一个。此外，sdn管理设备201和/或mano/nfv管理设备203可以从边缘云dcsdn控制器205、传输网络控制器207和核心云dc控制器209中的至少一个接收与请求相对应的结果(例如，关于测试的网络质量的信息)，并且可以对其进行显示。

边缘云dcsdn控制器205可以测试、控制和管理关于边缘云dc210中包括的网络元件的网络质量。边缘云dcsdn控制器205可以具有服务保证应用，并且可以通过开放的api从sdn管理设备201和/或mano/nfv管理设备203接收测试网络质量的命令。例如，边缘云dcsdn控制器205可以在ne之间配置路径用于测试边缘云dc210中的网络质量，并且可以进行控制，使得关于具有被配置成与所配置的路径连接的至少一个ne的路径来测试网络质量。边缘云dcsdn控制器205可以从至少一个ne接收关于网络质量测试结果的信息，并且可以将其提供给sdn管理设备201和/或mano/nfv管理设备203。传输网络sdn控制器207和核心云dcsdn控制器209可以也执行与边缘云dcsdn控制器205相同或相似的功能，并且可以测试、控制和管理关于分别在传输网络220和核心云dc230中包括的网络元件的网络质量。

边缘云dc210和核心云dc230可以存储要由终端240消耗的数据。就这一点，从网络路径的角度看，边缘云dc210可以是相对靠近终端240的dc。从网络路径的角度看，核心云dc230可以是距离终端240相对较远的dc。传输网络220可以是存在于连接边缘云dc210和核心云dc230的路径上的ne，并且可以调解边缘云dc210和核心云dc230之间的包交换。

如图2所示，边缘云dc210和核心云dc230中的每一个可以包括多个交换机(例如，主干交换机、叶交换机和开放式虚拟交换机(ovs))、多个虚拟机(vm)(例如，虚拟深层包检查(vdpi)、虚拟无线接入网(vran)、虚拟服务保证(vsa)、虚拟演进包核心(vepc)和虚拟防火墙(vfw))。如图2所示，终端240可以通过延伸穿过边缘云dc210和核心云dc230中的每一个中包括的多个交换机和/或虚拟机的路径来发送或接收数据。现在将参考图3详细描述dc的详细结构和功能。

图3示出了根据本公开的各种实施例的通信系统中的dc300的结构。

dc300可以包括多个主干交换机301、303和305，多个叶交换机311、313、315、317和319，数据中心互连(dci)321，多个虚拟交换机323、325、327、和329，以及多个vm331-339。如图3所示，dc300可以以分层结构包括多个交换机和vm。在下文中，主干交换机和叶交换机可以分别简称为“主干”和“叶”。

主干301可以直接连接至叶311、313、315、317和319中的至少一个。换句话说，可以在主干301与至少一个叶311、313、315、317和319之间配置直接路径，并且可以通过直接路径在主干301和至少一个叶311、313、315、317和319之间交换数据或包。虽然未示出，但是主干301可以通过与另一ne的直接路径与另一ne交换数据或包。主干301可以进行控制使得由主干301接收的包或数据通过适当的路径被发送。例如，当主干301已经从叶311接收到包时，主干301可以基于包括在发送的包中的信息来确定所接收到的包需要被发送到叶319，并且可以将所接收到的包发送到叶319。其他主干303和305也可以执行与主干301相同的功能。

叶311可以直接连接到主干301、303和305中的至少一个。此外，叶311可以直接连接到虚拟交换机323、325、327和329中的至少一个和dci321，类似于主干301，叶311可以进行控制使得由叶311接收的包或数据通过适当的路径发送。其他叶313、315、317和319也可以执行与叶311相同的功能。

dci321指具有如图3所示的结构的多个dc的集合，并且多个dc彼此连接。换句话说，dci321可以包括多个dc，并且多个dc中的每个可以包括多个主干、多个叶、多个虚拟交换机和多个vm。根据本公开的各种实施例，构成dci321的dc可以仅包括图3中所示的dc的一些组成元件。例如，构成dci321的dc可以仅包括至少一个虚拟交换机和至少一个vm。构成dci321的每个dc可以直接连接到叶321，并且可以通过叶311与另一dc交换包或数据。

虚拟交换机323可以直接连接到vm331、332和333。此外，虚拟交换机323可以直接连接到叶311。虚拟交换机323可以是实现为软件的虚拟逻辑交换机。与是物理交换机的主干303、303和305以及叶311、313、315、317和319不同。虚拟交换机323可以进行控制，使得由虚拟交换机323接收到的包或数据通过适当的路径来发送，类似于叶311和/或主干301。其他虚拟交换机325和327还可以执行与虚拟交换机323的相同的功能。

vm331指被实现为软件的虚拟逻辑处理器或计算机。此外，vm331可以进一步包括虚拟中央处理单元(cpu)和虚拟输入/输出(i/o)设备，并且可以用作独立设备。从网络质量管理的角度来看，vm331可以接收请求网络质量测试的消息，并且可以响应于该消息而执行测试与其他vm332-339的网络质量的操作。为此，vm331可以通过直接连接到vm331的虚拟交换机323来发送或接收包。其他vm332-339也可以执行与vm331相同的功能。

根据本公开的各种实施例，主干301、303和305以及叶311、313、315、317和319可以是物理交换机，但是也可以通过使用nfv技术被实现为虚拟交换机。此外，图3中所示的dc300的所有构成元件可以由单个设备(例如，sdn控制器)通过开放的api以合并方式被控制。其所有构成元件以合并方式被控制的这种dc300可以被称为软件定义的数据中心(sddc)。本文中使用的术语“dc”可以指这样的sddc。

图4示出了根据本公开的各种实施例的用于在通信系统中与nfv互连的基于sdn的网络质量管理的结构。系统400包括管理设备410、控制器设备420、mano420、网络功能虚拟化基础设施(nfvi)440、第一服务器450和第二服务器460。

管理设备410可以为用户提供用于测试、控制和管理网络质量的接口。例如，管理设备410可以通过qoe诊断/拓扑应用为用户接口。管理设备410可以通过接口从用户接收用于控制网络的输入，并且可以将与该输入相对应的请求发送到控制器设备420。此外，管理设备410可以从控制器设备420接收与该请求相对应的结果(例如，关于测试的网络质量的信息)，并且可以对其进行显示。

控制器设备420可以测试、控制和管理关于dc中包括的ne的网络质量。控制器设备420可以具有服务保证应用，诸如dc虚拟租户网络(vtn)应用、dc架构应用(fabricapplication)和qoe诊断应用。这样的服务保证应用可以通过开放的api与另一ne的应用通信。例如，控制器设备420的qoe诊断应用可以从管理设备410接收用于测试网络质量的命令，并且控制器设备420的dc架构应用可以与dc中包括的至少一个ne(例如，主干交换机、叶交换机、虚拟交换机或虚拟机)通信，以便控制和管理至少一个网络元件。控制器设备420的dcvtn应用可以从mano430接收命令，并且可以执行与该命令相对应的操作。

mano430和nfvi440可以虚拟化系统400的物理硬件设备，或者可以生成虚拟设备。结果，mano430和nfvi440可以生成虚拟化网络。此外，mano430和nfvi440可以控制和管理构成虚拟化网络的ne。例如，mano430可以包括功能模块，诸如网络功能虚拟化-编排(nfv-o)、虚拟网络功能-管理(vnf-m)和虚拟化基础设施管理器(vim)，并且可以支持控制器设备420，使得其可以通过dcvtn应用生成和管理虚拟网络。nfvi440可以包括包含虚拟ne(例如，开放的虚拟交换机、vm和虚拟服务保证(vsa)设备(vm的类型))的设备，诸如第一服务器450和第二服务器460。第一服务器450和第二服务器460中包括的vm可以生成包，并且可以将所生成的包发送到另一设备。从vm发送的包可以被另一服务器的vm接收，或者可以通过叶交换机、主干交换机和dc网关(gw)路由器被发送到互联网。

图5示出根据本公开的各种实施例的由ne执行的用于通信系统中的网络质量管理的功能。

管理设备410可以为用户提供用于测试、控制和管理网络质量的接口。管理设备410可以通过接口从用户接收网络质量测试的条件(测试条件)和关于网络质量测试的目标(测试目标)的信息。在下文中，术语“测试”将与“诊断”或“测量”互换使用。图5示出了配置测试条件使得管理设备410在根据用户的输入来测试网络质量时使用twamp协议的示例，以及针对各个测试情况配置测试目标的示例。例如，在第一测试情况510中，第一vnf和第六vnf被配置为测试目标，而在第二测试情况520中，第三vnf和第二vnf被配置为测试目标。第一vnf、第二vnf、第三vnf和第六vnf是vm的类型，并且可以生成、发送或接收用于测试网络质量的包。在这方面，带有“s”标记的vnf指生成用于测试网络质量的包的目标，带有“d”标记的vnf指关于所生成的包执行与测试条件相对应的处理的目标。在下文中，将生成用于测试网络质量的包的目标称为“源目标(或源)”，并且关于所生成的包执行与测试条件相对应的处理的目标可以称为“目的地目标(或目的地)”。参考图5，在第一测试情况510中，源目标是第一vnf，并且目的地目标是第六vnf，在第二测试情况520中，源目标是第二vnf，并且目的地目标是第三vnf。管理设备410可以将包括关于所配置的测试目标和测试条件的信息的测试请求消息发送到控制器设备420。

控制器设备420可以响应于从管理设备410接收到的测试请求消息来进行控制，以便测试dc530的测试目标之间的网络质量。控制器设备420可以配置测试目标之间的路径，并且可以将请求消息发送到测试目标中的源目标，以便基于配置的路径来测试网络质量(开始主动监视)。此外，控制器设备420可以接收关于测试的网络质量的结果的信息(收集的主动监视结果)，并且在测试网络质量(收集交换机统计信息)时，可以接收关于在源目标和目的地目标之间的路径中包括的交换机(例如，第一主干、第二主干、第一叶、第二叶、第三叶、第一ovs、第二ovs和第三ovs)的统计信息。关于交换机的统计信息可以包括例如指示是否已经通过交换机的适当路径传送了包的信息、关于交换机中是否存在降低网络质量的元件的信息、关于网络质量下降程度的信息、以及关于交换机之间路径是否出现问题的信息。控制器设备420可以将接收到的关于网络质量的结果的信息和关于交换机的统计信息发送到管理设备410。

管理设备410可以从控制器设备420接收关于网络质量测试的结果的信息和关于交换机的统计信息，并且可以通过用户界面对其进行显示。图5示出了管理设备410显示关于第一测试情况510的网络质量测试的结果和关于第二测试情况520的网络质量测试的结果。第一测试情况510指示为网络质量配置的测试目标之间的路径是第一vnf(源目标)->第一ovs->第一叶->第二主干->第三叶->第三ovs->第六vnf(目的地目标)。也可以从dc530的内部结构中推断出第一测试情况510中测试目标之间的此种路径。根据第一测试情况510，包通过如下路径被从源目标适当地发送到目的地目标：第一vnf->第一ovs->第一叶->第二主干->第三叶->第三ovs->第六vnf，并据此得出相应的损失(l)、延迟(d)、抖动(j)和平均意见得分(m)值。第二测试情况520指示为网络质量测试配置的测试目标之间的路径是第三vnf(源目标)->第二ovs->第二叶->第一主干->第一叶->第一ovs->第二vnf(目的地目标)。也可以从dc530的内部结构中推断出第二测试情况520中测试目标之间的这种路径。根据第二测试情况520，包通过如下路径被从第三vnf适当地发送到第二叶：第三vnf->第二ovs->第二叶，但无法从第二叶发送到第一主干，并且无法得出l、d、j和m值。根据作为第二测试情况520的网络质量测试结果，管理设备410可以可视地显示第二叶和/或第一主干有故障的事实，以便用户可以对第二叶和/或第一主干进行故障排除。

如图5中所示，可以关于vm之间的路径来测试网络质量，但是根据本公开的各种实施例，还可以关于dc的任何两个ne之间的路径来测试网络质量。现在将参考图6描述可以测试网络质量的各种路径和目标。

图6示出了根据本公开的各种实施例的可以在通信系统中测试网络质量的目标的类型。根据本公开的各种实施例，可以在dc中对其网络质量进行测试的路径和目标可以被归类为以下类型之一：

(1)第一类型610：vm与另一vm之间的路径；

(2)第二类型620：vm与虚拟交换机之间的路径；

(3)第三类型630：vm与叶交换机之间的路径；

(4)第四类型640：vm与主干交换机之间的路径；

(5)第五类型650：vm与dci之间的路径；

(6)第六类型650：vm与外部测试设备之间的路径。

为了关于两个目标之间的路径测试网络质量，可能需要源目标生成测试包并将生成的测试包发送到目的地目标，并且可能需要目的地目标执行一个与关于所接收到的测试包的测试条件相对应的过程，并将处理后的测试包发送回源目标。但是，除vm外，dc的ne(例如，虚拟交换机、叶交换机、主干交换机和dci)可能无法生成用于测试网络质量的测试包或无法执行关于测试包的处理。根据本公开的各种实施例，为了测试关于两个目标(包括至少一个不是vm的ne)之间的路径的网络质量，可以在vm之间配置包括这种路径的路径，并且网络质量可以由生成并发送/接收关于两个目标(包括至少一个不是vm的ne)之间的路径的测试包的vm间接地测试。

图7示出了根据本公开的各种实施例的用于管理通信系统中的网络质量的系统700中的ne。如图7所示，系统700包括管理设备710(例如，管理设备410)、控制器设备720(例如，控制器设备420)、交换机730、包括服务器740的多个服务器(例如，第一服务器450或第二服务器460)和外部测试设备750。

管理设备710提供能够监视与网络中其他设备的性能有关的参数(例如，诊断和性能评估)的接口和功能。控制器设备720提供用于控制与网络中其他设备的sdn有关的配置/功能的功能。交换机730是用于在控制器设备720和其他设备(例如，服务器740和外部测试设备750)之间进行连接的设备。服务器740是能够根据所安装的程序/应用来扮演各种角色(例如，移动性管理实体(mme)、网关等)的通用服务器。外部测试设备750是被配置为发送或接收用于性能检查的包的设备。外部测试设备750是通用服务器，并且可以是包括虚拟机的服务器，该虚拟机扮演用于性能检查的发送者或反射者的角色。管理设备710、控制器设备720、交换机730、服务器740和外部测试设备750中的每一个可以包括具有开放api的至少一个应用，并且可以通过所述至少一个应用与另一设备通信。现在将更详细地描述由管理设备710、控制器设备720、交换机730、服务器740和外部测试设备750中的每一个执行的操作。在描述中，“管理设备”可以被称为“sdn管理设备”，并且“控制器设备”可以被称为“sdn控制器设备”。

图8是根据本公开的各种实施例的通信系统中的管理设备710的框图。如本文中所使用的，术语“…单元”或“器”是指被配置为处理至少一个功能或操作的单元实体，并且可以被实现为硬件、软件或硬件和软件的组合。

参考图8，管理设备710可以包括显示器810、处理器820、通信单元830、存储单元850和输入/输出(i/o)接口860。

显示器810被配置为显示包括图像、图形、文本等的画面。例如，显示器810可以由液晶、发光二极管显示器或不同的材料制成。显示器810可以显示与通过处理器420接收的数据相对应的画面。此外，显示器810可以包括用于感测用户输入的触摸屏。

处理器820可以控制管理设备710的整体操作。例如，处理器820可以通过通信单元830发送或接收信号。处理器820可以将数据记录在存储单元850中，并且可以读取数据。为此，处理器820可以包括至少一个处理器或至少一个微处理器。处理器820可以被配置为实现本公开中提出的管理设备710的操作过程和/或方法。根据稍后描述的各种实施例，处理器820可以控制管理设备710以执行与网络质量管理有关的操作。

通信单元830可以执行用于通过无线信道发送或接收信号的功能。通信单元830可以根据系统的物理层规范执行用于在基带信号和比特串之间转换的功能。例如，当发送数据时，通信单元830可以通过编码和调制发送比特串来生成复数符号。作为另一示例，当接收数据时，通信单元830可以通过对基带信号进行解调和解码来恢复接收比特串。

通信单元830被配置为提供用于执行与网络中的其他节点的通信的接口。即，通信单元810将从管理设备710发送到另一节点(例如，基站，核心网络或认证服务器)的比特串转换为物理信号，并将从另一节点接收的物理信号转换为比特串。即，通信单元830可以发送和接收信号。因此，通信单元830可以被称为发送单元、接收单元或发送/接收单元。

通信单元830被配置为使能管理设备710经由回程连接或经由网络与其他设备或系统进行通信。通信单元830可以支持经由适当的有线或无线连接的通信。例如，当管理设备710被实现为移动通信系统的一部分(诸如支持5g、lte或lte-a的一个)时，通信单元830可以使能管理设备710经由有线或无线回程连接与其他设备通信。当管理设备710被实现为接入点时，通信单元830可以使能管理设备710经由有线或无线近场网络进行通信，或者经由有线或无线连接与更大规模的网络(例如互联网)进行通信。通信单元830可以包括用于支持经由有线或无线连接的通信的结构，诸如以太网或rf收发器。

存储单元850可以存储用于控制管理设备710的控制指令代码、控制数据或用户数据。例如，存储单元850可以包括应用、操作系统(os)、中间件和设备驱动器。存储单元850可以包括易失性存储器或非易失性存储器中的至少一个。易失性存储器可以包括动态ram(dram)、静态ram(sram)、同步dram(sdram)、相变ram(pram)、磁性ram(mram)、电阻性ram(rram)、铁电ram(feram)等。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除rom(eeprom)、闪存等。存储单元850可以包括非易失性介质，诸如硬盘驱动器(hdd)、固态硬盘(ssd)、嵌入式多媒体卡(emmc)或通用闪存(ufs)。存储单元850可以可操作地耦合到处理器820。

输入单元870可以从用户接收输入。为此，输入单元870可以包括输入接口。通过输入单元710接收的输入可以由处理器820处理，然后发送到显示器810、存储单元850和通信单元830。其结果是，与通过输入单元710接收的输入相对应的信息可以被显示在显示器810上，可以通过通信单元830发送给另一设备，或者存储在存储单元850中。

图9是根据本公开的各种实施例的通信系统中的控制器设备720的框图。如本文中所使用的，术语“…单元”或“器”是指被配置为处理至少一个功能或操作的单元实体，并且可以被实现为硬件、软件或硬件和软件的组合。

参考图9，控制器设备可以包括处理器910、通信单元920和存储单元940。

处理器910可以控制管理设备720的整体操作。例如，处理器910可以通过通信单元920发送或接收信号。处理器910可以将数据记录在存储单元940中，并且可以读取存储在存储单元1040中的数据。为此，处理器910可以包括至少一个处理器或至少一个微处理器。处理器910可以被配置为实现本公开中提出的控制器设备720的操作过程和/或方法。根据稍后描述的各种实施例，处理器910可以控制控制器设备720以执行与网络质量管理有关的操作。

通信单元920可以执行用于通过无线信道发送或接收信号的功能。通信单元920可以根据系统的物理层规范执行用于在基带信号和比特串之间转换的功能。例如，当发送数据时，通信单元920可以通过编码和调制发送比特串来生成复数符号。作为另一示例，当接收数据时，通信单元920可以通过对基带信号进行解调和解码来恢复接收比特串。

通信单元920被配置为提供用于执行与网络中的其他节点的通信的接口。即，通信单元920将从管理设备710发送到另一节点(例如，基站，核心网络或认证服务器)的比特串转换为物理信号，并将从另一节点接收的物理信号转换为比特串。即，通信单元920可以发送和接收信号。因此，通信单元920可以被称为发送单元、接收单元或发送/接收单元。

通信单元920被配置为使控制器设备720能够经由回程连接或经由网络与其他设备或系统进行通信。通信单元920可以支持经由适当的有线或无线连接的通信。例如，当控制器设备720被实现为移动通信系统的一部分(诸如支持5g、lte或lte-a的一个)时，通信单元920可以使能管理设备710经由有线或无线回程连接与其他设备通信。当控制器设备720被实现为接入点时，通信单元920可以使控制器设备720能够经由有线或无线近场网络进行通信，或者经由有线或无线连接与更大规模的网络(诸如互联网)进行通信。通信单元920可以包括用于支持经由有线或无线连接的通信的结构，诸如以太网或rf收发器。

存储单元940可以存储用于控制控制器设备720的控制指令代码、控制数据或用户数据。例如，存储单元940可以包括应用、操作系统(os)、中间件和设备驱动器。存储单元940可以包括易失性存储器或非易失性存储器中的至少一个。易失性存储器可以包括动态ram(dram)、静态ram(sram)、同步dram(sdram)、相变ram(pram)、磁性ram(mram)、电阻性ram(rram)、铁电ram(feram)等。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除rom(eeprom)、闪存等。存储单元940可以包括非易失性介质，诸如硬盘驱动器(hdd)、固态硬盘(ssd)、嵌入式多媒体卡(emmc)或通用闪存(ufs)。存储单元940可以可操作地耦合到处理器910。

图10是根据本公开的各种实施例的通信系统中的服务器设备740的框图。如本文中所使用的，术语“…单元”或“器”是指被配置为处理至少一个功能或操作的单元实体，并且可以被实现为硬件、软件或硬件和软件的组合。

参考图10，服务器设备740可以包括处理器1010、通信单元1020和存储单元1040。

处理器1010可以控制服务器设备740的整体操作。例如，处理器1010可以通过通信单元1020发送或接收信号。处理器1010可以将数据记录在存储单元1040中，并且可以读取存储在存储单元1040中的数据。为此，处理器1010可以包括至少一个处理器或至少一个微处理器。处理器1010可以被配置为实现本公开中提出的服务器设备740的操作过程和/或方法。根据稍后描述的各种实施例，处理器1010可以控制服务器设备720以执行与网络质量管理有关的操作。

通信单元1020可以执行用于通过无线信道发送或接收信号的功能。通信单元1020可以执行根据系统的物理层规范在基带信号和比特串之间转换的功能。例如，当发送数据时，通信单元1020可以通过编码和调制发送比特串来生成复数符号。作为另一示例，当接收数据时，通信单元1020可以通过对基带信号进行解调和解码来恢复接收比特串。

通信单元1020被配置为提供用于执行与网络中的其他节点的通信的接口。即，通信单元1020将从服务器设备740发送到另一节点(例如，基站、核心网络或认证服务器)的比特串转换为物理信号，并将从另一节点接收的物理信号转换为比特串。即，通信单元1020可以发送和接收信号。因此，通信单元1020可以被称为发送单元、接收单元或发送/接收单元。

通信单元1020被配置为使能服务器设备740经由回程连接或经由网络与其他设备或系统进行通信。通信单元1020可以支持经由适当的有线或无线连接的通信。例如，当服务器设备740被实现为移动通信系统的一部分(诸如支持5g、lte或lte-a的一个)时，通信单元1020可以使能服务器设备740经由有线或无线回程连接与其他设备通信。当服务器设备740被实现为接入点时，通信单元1020可以使能服务器设备740经由有线或无线近场网络进行通信，或者经由有线或无线连接与更大规模的网络(诸如因特网)进行通信。通信单元1020可以包括用于支持经由有线或无线连接的通信的结构，诸如以太网或rf收发器。

存储单元1040可以存储用于控制服务器设备740的控制指令代码、控制数据或用户数据。例如，存储单元1040可以包括应用、操作系统(os)、中间件和设备驱动器。存储单元1040可以包括易失性存储器或非易失性存储器中的至少一个。易失性存储器可以包括动态ram(dram)、静态ram(sram)、同步dram(sdram)、相变ram(pram)、磁性ram(mram)、电阻性ram(rram)、铁电ram(feram)等。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除rom(eeprom)、闪存等。存储单元1040可以包括非易失性介质，诸如硬盘驱动器(hdd)、固态硬盘(ssd)、嵌入式多媒体卡(emmc)或通用闪存(ufs)。存储单元1040可以可操作地耦合到处理器1010。

图11是根据各种实施例的通信系统中的管理设备710的操作流程图。图。图11示出了管理设备710的示例性操作方法。

参考图11，在步骤1110中，管理设备710配置用于测试网络质量的至少一个目标和测试条件。管理设备710可以配置用于测试网络质量的至少一个目标和测试条件。至少一个目标可以包括源目标和目的地目标。此外，至少一个目标可以是虚拟设备(例如，vm或虚拟交换机)，也可以是物理设备(例如，主干交换机或叶交换机)。

在步骤1120中，管理设备710发送包括关于至少一个目标和测试条件的信息的测试请求消息。管理设备710可以发送包括关于至少一个目标和测试条件的信息的测试请求消息。例如，管理设备710可以将包括关于至少一个目标和测试条件的信息的测试请求消息发送到控制与至少一个目标有关的路径的控制器设备。

在步骤1130中，管理设备710基于测试条件，接收关于路径测试的关于网络质量的信息。管理设备710可以基于测试条件，接收关于路径测试的关于网络质量的信息。可以关于源目标和目的地目标之间的路径来测试关于网络质量的信息。此外，关于网络质量的信息可以包括至少一个目标中的每一个的地址、关于至少一个目标中包括的两个目标之间的路径的信息，关于网络质量随时间的变化的信息以及关于网络质量的统计信息中的至少一个。此外，关于网络质量的信息可以包括用于指示关于源目标和目的地目标之间的路径的网络质量的指标以及指标值。例如，用于指示网络质量的指标可以包括关于在两个目标之间发送/接收的包的带宽(bandwidth)、延迟(delay)、抖动(jitter)、丢失(loss)、丢失率(lossratio)、mos、pps、包的数量以及关于包大小的信息中的至少一个。

在步骤1140中，管理设备710显示关于网络质量的信息。管理设备710的显示器810可以显示关于网络质量的信息。例如，关于网络质量的信息可以通过如图23a至图23f所示的ui来显示。

图12是根据本公开的各种实施例的通信系统中的控制器设备720的操作流程图。

参考图12，在步骤1210中，控制器设备720接收消息，该消息包括关于用于测试网络质量的目标的信息。控制器设备720可以接收包括关于用于测试网络质量的目标的信息的消息。

在步骤1220中，控制器设备720配置目标之间的路径。控制器设备720可以配置目标之间的路径。关于这一点，控制器设备720可以通过使用sdn技术来配置路径。为此，尽管未示出，但是控制器设备720可以生成关于所配置的路径的第一流路径。第一流路径可以被配置为使得，当相应的ne已经接收到沿着该路径发送的测试包时，可以指示该路径上要被发送测试包的另一ne。

在步骤1230中，控制器设备720将关于路径的信息发送到至少一个不同的ne。控制器设备720可以将关于路径的信息发送到至少一个不同的ne。至少一个不同的ne是构成路径的ne，并且可以包括虚拟交换机、物理交换机和dci中的至少一个。关于路径的信息可以包括第一流规则。

在步骤1240中，控制器设备720向目标中的至少一个发送测试请求消息，以便基于该信息来测试网络质量。控制器设备720的通信单元920可以将测试请求消息发送到目标中的至少一个，以便通过通信单元920基于该信息来测试网络质量。例如，在已经接收到测试请求消息的目标中，源目标可以生成测试包，并且可以沿着由该信息中包括的第一流规则所指示的路径，将所生成的测试包发送到目的地目标。此外，测试请求消息可以包括用于测试网络质量的测试条件。为了测试网络质量，已经接收到测试包的目的地目标可以执行与关于测试包的测试条件相对应的处理，并且可以将处理后的包发送回源目标。换句话说，可以基于测试条件来测试关于源目标和目的地目标的网络质量。

图13a是示出了根据本公开的各种实施例的与由控制器设备720执行的与第一流规则有关的操作的流程图。

参考图13a，在步骤1310中，控制器设备720生成关于路径的第一流规则。控制器设备720的处理器910可以生成关于路径的第一流规则。第一流规则可以被配置为使得当ne已经接收到沿着路径发送的测试包时，将路径上的要被发送测试包的另一ne指示给ne。

在步骤1320中，控制器设备720将第一流规则发送到至少一个不同的ne。控制器设备720的通信单元920通过通信单元920将第一流规则发送到至少一个不同的ne。至少一个不同的ne可以是构成路径的ne。因此，源目标生成的测试包可以通过由第一流规则指示的路径上的至少一个网络元件发送给目的地目标，并且目的地目标发送的包可以通过第一流规则指示的路径上的至少一个网络元件由源目标接收。

图13b是示出了根据本公开的各种实施例的与由控制器设备720执行的第二流规则有关的操作的流程图。

参考图13b，在步骤1330中，控制器设备720生成用于接收关于测试的网络质量的信息的第二流规则。控制器设备720的处理器910可以生成用于接收关于测试的网络质量的信息的第二流规则。第二流规则可以被配置为，使得当ne已经接收到关于沿着接收路径发送的网络质量的信息时，将接收路径上的要被发送关于网络质量的信息的另一ne指示给该ne。接收路径可以是管理设备710沿其接收关于网络质量的信息的路径。

在步骤1340中，控制器设备720将第二流规则发送到与第二流规则有关的至少一个ne。控制器设备720的通信单元920可以通过通信单元920将第二流规则发送到与第二流规则相关的至少一个ne。至少一个ne可以是构成接收路径的ne。

在步骤1350中，控制器设备720基于第二流规则接收关于测试的网络质量的信息。控制器设备720的通信单元920可以基于第二流规则，通过通信单元920接收关于测试的网络质量的信息。控制器设备720从源目标接收关于网络质量的信息，并且关于网络质量的信息沿着由第二流规则所指示的接收路径接收。

在步骤1360中，控制器设备720将关于网络质量的信息发送到管理设备710。控制器设备720的通信单元920可以通过通信单元920将关于网络质量的信息发送给管理设备710。管理设备710可以响应于此来显示关于网络质量的信息。

图14是根据本公开的各种实施例的服务器设备740的操作流程图。

参考图14，在步骤1410中，服务器设备740接收包括测试条件和关于用于测试网络质量的目标之间的路径的信息的测试请求消息。服务器设备740的通信单元1020可以通过回程1030接收包括测试条件和关于用于测试网络质量的目标之间的路径的信息的测试请求消息。管理设备710可以确定目标和测试条件，并且可以将目标和测试条件提供给控制器设备720，并且服务器设备740可以从控制器设备720接收测试条件和关于由控制器设备720确定的路径的信息。关于路径的信息可以包括关于路径的第一流规则。第一流规则可以被配置为，使得当ne已经接收到沿着路径发送的传输包时，将路径上的要被发送测试包的另一ne指示给该ne。

尽管未示出，但是服务器设备740可以安装第一流规则。例如，服务器设备740可以将第一流规则存储在存储单元1040中。此外，服务器设备740可以生成用于发送关于测试的网络质量的信息的第二流规则。第二流规则可以被配置为使得当ne已经接收到沿着接收路径发送的关于网络质量的信息时，该路径上的要被发送关于网络质量的信息的另一ne被指示给ne。接收路径可以是管理设备710沿着其接收关于网络质量的信息的路径。服务器设备740可以安装第二流规则。例如，服务器设备740可以将第二流规则存储在存储单元1040中。

在步骤1420中，服务器设备740基于测试条件生成测试包。服务器设备740的处理器1010可以基于测试条件来生成测试包。测试包可以用于测试关于源目标和目的地目标之间的路径的网络质量。

在步骤1430中，服务器设备740基于路径相关信息和测试包来测试关于目标的网络质量。服务器设备740的处理器1010可以基于路径相关信息和测试包来测试关于目标的网络质量。为了测试网络质量，服务器设备740的源目标可以基于路径相关的信息，将测试包发送到目标中的目的地目标，以便测试网络质量，并且目的地目标可以执行从源目标接收的与关于测试包的测试条件相对应的处理。源目标可以基于路径相关的信息从目的地目标接收已处理的测试包，可以分析已处理的测试包，并可以生成关于网络质量的信息。服务器设备740可以基于第二流规则将关于网络质量的信息发送到控制器设备720。服务器设备740可以沿着由第二流规则指示的路径将关于网络质量的信息发送到管理设备710。

图15示出了根据本公开的各种实施例的管理设备701的功能模块。在图15中以方框形状示出的功能模块可以是物理设备，或者可以指由软件实现的逻辑实体。此外，管理设备710的功能模块可以由管理设备710的处理器820控制。

3d拓扑显示模块1501可以显示用于输入关于测试条件和测试目标的信息的ui，如图23a至图23f所示。此外，3d拓扑显示模块1501可以显示指示关于质量测试的结果的信息的ui。

qoe诊断测试条件显示模块1502可以提供用于使能用户配置测试条件的ui。qoe诊断结果简要显示模块1503可以提供用于显示关于测试的网络质量的结果的信息的ui。qoe诊断测试列表显示模块1504可以显示由管理设备710根据指标执行的网络质量测试的多个结果。

qoe诊断结果详细显示模块(表)1505可以以表类型显示网络质量测试的多个结果。qoe诊断结果详细显示模块(拓扑/路径)1506可以显示关于用于测试网络质量的测试条件(例如，协议)的信息，以及用于在视觉上指示测试目标之间的路径的信息。qoe诊断结果详细显示模块(图表)1507可以以图表类型显示网络质量测试的多个结果。qoe诊断结果详细显示模块(文本)1505可以将关于特定目标的测试网络质量的分析结果作为文本详细显示。qoe统计结果显示模块1509可以显示关于特定目标测试的网络质量随时间变化的方面。

拓扑管理器1510可以控制和管理与网络质量测试有关的拓扑。qoe诊断管理器1511可以生成包括关于网络质量测试目标和测试条件的信息的消息，并且可以将该消息发送到另一设备。此外，qoe诊断管理器1511可以使管理设备710的显示器810显示关于测试的网络质量的结果的信息。qoe统计管理器1512可以处理关于网络质量测试的多个结果的统计信息，并且可以使管理设备710的显示器810显示该信息。

qoe统计管理器1512可以分析和管理从网络质量测试的多个结果获取的统计资料。qoe诊断存储单元1521可以存储网络质量测试的结果。qoe统计存储单元1522可以存储关于特定目标测试的网络质量随时间变化的统计资料。

图16示出了根据本公开的各种实施例的sdn控制器设备720的功能模块。在图16中以方框形状示出的功能模块可以是物理设备，或者可以指由软件实现的逻辑实体。替代地，控制器设备720的功能模块可以由控制器设备720的处理器910控制。

qoe请求消息处理单元1601可以通过api接收包括测试目标和测试条件的诊断请求消息。此外，qoe请求消息处理单元1601可以解析所接收到的诊断请求消息，从而识别诊断请求消息中包括的测试目标和测试条件，并且可以将关于所识别的测试目标和测试条件的信息传送给qoe诊断管理器1603。

qoe结果消息处理单元1602可以通过api接收包括关于测试的网络质量的结果的信息的消息。此外，qoe结果消息处理单元1602可以解析该消息，并且可以将与所识别的网络质量的结果有关的信息发送到管理设备710。

qoe诊断管理器1603可以进行控制，以便对用于请求网络质量测试的消息或测试的网络质量的结果进行编码，然后将编码后的消息发送到另一设备。此外，qoe诊断管理器1603可以生成关于测试目标之间的路径的流规则。qoe统计管理器1604可以进行控制使得对关于多条网络质量信息的统计信息进行编码，并且将编码后的消息发送到另一设备。

流统计管理器1611可以进行控制，以使得生成关于测试网络质量的路径的统计资料，并且将所生成的资料发送到另一设备。流规则管理器1611可以从qoe诊断管理器1603接收流规则。此外，流规则管理器1611可以以消息格式对接收到的流规则进行编码。

包管理器1612可以对与网络质量测试有关的包进行编码，并且可以将编码后的包发送到另一设备。路径管理器1613可以在qoe诊断管理器1603的控制下配置用于在测试目标(源目标和目的地目标)之间的测试包传输的路径。主机管理器1614可以在qoe诊断管理器1603的控制下，确定测试目标的网络地址和与网络上地址相对应的测试目标的位置。

设备管理器1615可以控制和管理控制器设备720的物理组成元件和/或逻辑模块。链路管理器1616可以将消息发送到另一设备，或者可以测量和管理用于从另一设备接收消息的链路的质量。

开放流sb协议1620可以将消息或包发送到另一设备。此外，控制器设备720可以包括诸如netconfsb协议、snmpsb协议、ovsdbsb协议和restsb协议的协议。

图17示出了根据本公开的各种实施例的服务器设备740的功能模块。在图17中以方框形状示出的功能模块可以是物理设备，或者可以指由软件实现的逻辑实体。此外，服务器设备740的功能模块可以由服务器设备740的处理器1020控制。

虚拟交换机1710可以进行控制使得由虚拟交换机1710接收的包或数据通过适当的路径被发送。vm1730可以执行以下操作：接收请求网络质量测试的消息，并响应于该消息测试与其他vm332-339的网络质量。vm1730可以包括测试代理1730和测试协议1740。vm1730的详细配置将在后面参考图18更详细地描述。

图18示出了根据本公开的各种实施例的vm1730的功能模块。在图18中以方框形状示出的功能模块可以是物理设备，或者可以指由软件实现的逻辑实体。

测试代理1730的质量保证管理器(qam)层1810可以包括qoe请求处理单元1301和qoe结果处理单元1802。qoe请求处理单元1801可以从虚拟交换机1710接收包括测试条件和关于目的地目标的信息的包，并且可以解析从虚拟交换机1710接收的包，从而识别目的地目标和测试条件。因此，vm1730可以基于测试条件来测试关于目的地目标的网络质量。qoe结果处理单元1802可以从虚拟交换机1710接收由目的地目标处理的包，并且可以生成关于网络质量的结果的信息。

测试代理1730的qoe层1820可以包括用户业务仿真、qoe度量、服务水平协议(sla)和日志(log)。测试协议1740是用于测试网络质量的协议，并且可以包括twamp、twamplight、y.1731pm、iperf和ping。

图19是根据本公开的各种实施例的用于请求网络质量测试的操作的流程图。

参考图19，在步骤1905中，管理设备710选择用于测试网络质量的测试目标，并配置测试条件。管理设备710的i/o860可以接收用于选择测试目标的输入和用于配置测试条件的输入。用户可以通过管理设备710的3d拓扑显示模块1501选择测试目标，并且可以通过qoe诊断测试条件显示模块1502来配置测试条件。

在步骤1910中，管理设备710以消息格式对选择的测试目标和测试条件进行编码，并生成诊断请求消息。管理设备710的处理器820可以以消息格式对选择的测试目标和测试条件进行编码。所选择的测试目标和测试条件可以被传送到管理设备710的qoe诊断管理器1511，并且可以以消息格式被编码，以便其被传送到控制器设备720的sdnqoe应用1610。根据本公开的各个实施例中，诊断请求消息可以包括如下表1所示的内容：

[表1]

在步骤1915中，管理设备710发送编码后的诊断请求消息。管理设备710的通信单元830可以通过回程840发送编码后的诊断请求消息。控制器设备720的sdnqoe应用1610的qoe请求消息处理单元1601可以通过api接收编码后的诊断请求消息。

在步骤1920，控制器设备720解析并处理所接收的诊断请求消息。控制器设备720的处理器910可以解析并处理所接收的诊断请求消息。控制器设备720的qoe请求消息处理单元1601可以解析所接收的诊断请求消息，从而识别诊断请求消息中包括的测试目标和测试条件，并且可以将关于所识别的测试目标和测试条件的信息传送给qoe诊断管理器1603。

在步骤1925中，控制器设备720从诊断请求消息中确定测试目标的地址和位置。控制器设备720的处理器910可以从诊断请求消息中确定测试目标的地址和位置。控制器设备720的qoe诊断管理器1603可以参考所传送的关于测试目标的信息，通过使用主机管理器1614，来确定测试目标的网络地址以及与在网络上的该地址相对应的测试目标的位置。

在步骤1930中，控制器设备720配置测试目标之间的路径。控制器设备720的处理器910可以配置测试目标之间的路径。控制器设备720的qoe诊断管理器1603可以通过使用路径管理器1613来配置用于测试目标(源目标和目的地目标)之间的测试包传输的路径。

在步骤1935中，控制器设备720生成关于所配置的路径的流规则。控制器设备710的处理器910可以生成关于所配置的路径的流规则。流规则可以被配置为，使得当ne已经接收到包时，指示该ne需要向其传送所接收到的包的另一ne。根据本公开的各种实施例，ne可以存储至少一个流规则，并且包可以包括关于预配置的流规则的信息。存储在ne中的流规则的步骤可以被称为“流表”。因此，在接收到包括与流规则有关的信息的包之后，ne可以基于关于流规则的信息在流表中识别与该包相对应的流规则，并且可以将该包发送到由流规则指示的另一ne。

根据本公开的各种实施例，控制器设备720不仅可以生成关于配置的路径的流规则，而且可以生成用于从源目标接收测试的网络质量的结果的流规则。控制器设备710的处理器910可以生成用于从源目标接收测试的网络质量的结果的流规则。用于从源目标接收测试的网络质量的结果的流规则可以指关于源目标和管理设备710之间的路径的流规则。控制器设备720的qoe诊断管理器1603可以生成关于路径的流规则，可以生成用于从源目标接收测试的网络质量的结果的流规则，并且可以将所生成的流规则发送到流规则管理器1611。

在步骤1940中，控制器设备720以消息格式对所生成的流规则进行编码。控制器设备720的处理器910可以以消息格式对所生成的流规则进行编码。流规则管理器1611可以通过开放流sb协议1620以开放流消息格式对从qoe诊断管理器1603接收的流规则进行编码。

在步骤1945中，控制器设备720将关于编码后的流规则的消息发送到与流规则有关的至少一个ne。控制器设备720的处理器910可以将关于流规则的消息发送到与流规则有关的至少一个ne。控制器设备720的开放流sb协议1620可以将关于编码后的流规则的消息发送到与流规则有关的至少一个ne，并且已经接收到关于流规则的消息的至少一个ne可以存储相应的流规则。例如，当关于源目标和目的地目标之间的路径生成流规则时，如图5的第一测试情况510中：“第一vnf(源目标)->第一ovs->第一叶->第二主干->第三叶->第三ovs->第六vnf(目的地目标)”，控制器设备420可以将流规则发送到与流规则有关的第一ovs、第一叶、第二主干、第三叶和第三ovs中的每一个。因此，当第一叶已经从第一ovs接收到测试包时，第一叶可以根据流规则将接收到的测试包传送到第二主干，另一方面，当第一叶已经从第二主干接收到经历了与测试条件相对应的处理之后的包时，第一叶可以根据流规则将处理后的包传送到第一ovs。此外，控制器设备720可以将关于与管理设备710和源目标之间的路径有关的流规则的信息发送到与该流规则有关的至少一个ne，以便管理设备710从源目标接收关于测试的网络质量的结果的信息。

在步骤1950中，控制器设备720生成与诊断请求消息有关的包。控制器设备720的处理器910可以生成与诊断请求消息有关的包。如上面的表1中给出的，与诊断请求消息有关的包可以包括关于测试目标(源和目的地)的信息和关于测试条件的信息，并且还可以包括关于在步骤1935中生成的流规则的信息。qoe诊断管理器1603可以将诊断请求消息转换为包格式，以便将诊断请求消息发送到至少一个源目标和目的地目标。qoe诊断管理器1603可以通过包管理器1612以包格式将诊断请求消息发送到至少一个源目标和目的地目标。

在步骤1955中，控制器设备720对所生成的包进行编码。控制器设备720的处理器910可以对所生成的包进行编码。包管理器1612可以对包进行编码，以便将生成的包发送到直接连接到源目标的虚拟交换机以及直接连接到目的地目标的虚拟交换机。

在步骤1960中，控制器设备720将编码后的包发送到与测试目标有关的虚拟交换机。控制器设备720的处理器910可以将编码后的包发送到与测试目标有关的虚拟交换机。换句话说，控制器设备720可以将编码后的包发送到直接连接到源目标的虚拟交换机和直接连接到目的地目标的虚拟交换机中的至少一个。编码后的包可以包括指示符，该指示符被配置为使得源目标或目的地目标从虚拟交换机适当地接收包。控制器设备720的开放流sb协议1620可以从包管理器1612接收编码后的包，并且可以将编码后的包发送到直接连接到源目标的虚拟交换机和直接连接到目的地目标的虚拟交换机中的至少一个。

在步骤1965中，服务器设备740通过虚拟交换机接收包。服务器设备740的通信单元1020可以通过回程1030从控制器设备720接收包。服务器设备740的虚拟交换机1710可以根据包中包括的标识符，标识要向其发送包的源目标或目的地目标。并且可以将包发送到所标识的源目标或目的地目标。源目标或目的地目标的测试代理1730可以从虚拟交换机1710接收包。

在步骤1970中，服务器设备740可以基于从包获取的诊断条件来执行用于测试网络质量的操作。服务器设备740的处理器1010可以基于从包获取的诊断条件来执行用于测试网络质量的操作。测试代理1730可以解析从虚拟交换机1710接收到的包，从而识别诊断条件和目的地目标，并且可以基于诊断条件来测量关于目的地目标的网络质量。

图20是根据本公开的各种实施例的用于发送/接收用于测试网络质量的测试包的操作的流程图。图20的流程图涉及通过图21所示的路径发送/接收测试包的情况：“vm(源)1730->第一虚拟交换机1710->第一叶交换机2130->第一主干交换机2110->第三叶交换机2150->第二虚拟交换机2710->vm(目的地)2180”。然而，这仅是为了方便描述，并且可以通过与图21所示的路径不同的路径来发送/接收测试包，其取决于目的地目标如何配置。此外，图21中的交换机730包括：第一主干交换机710、第二主干交换机2120、第一叶交换机2130、第二叶交换机2140和第三叶交换机2150，但这仅是为了方便描述，并且交换机730可以包括各种数量的主干交换机和各种数量的叶交换机。在图21中，外部服务器2160可以用外部文本设备750来识别。替代地，外部服务器2160和第二虚拟交换机2170可以分别用服务器740和第一虚拟交换机1710来识别。在这种情况下，可以通过路径“vm(源)1730->第一虚拟交换机1710(或第二虚拟交换机2170)->vm(目的地)2180”来发送/接收测试包，并且交换机730可以不被使用。

参考图20，在步骤2005中，vm(源)1730基于测试条件来生成测试包，并且将所生成的测试包发送到vm(目的地)2180。服务器740可以控制vm(源)1730，以便根据测试条件生成测试包，并将所生成的测试包发送到vm(目的地)2180。

在步骤2010中，第一虚拟交换机1710基于流规则接收测试包，并发送测试包。服务器740的处理器1010可以基于流规则控制第一虚拟交换机1710接收测试包并发送测试包。第一虚拟交换机1710可以参考存储在第一虚拟交换机1710中的流表，基于与所接收到的测试包中包括的流规则有关的信息，来识别与所接收到的测试包相对应的流规则。可以将测试包发送到由所识别的流规则指示的ne(即，第一叶交换机2130)。

在步骤2015中，第一叶交换机2130基于流规则接收测试包并发送测试包。第一叶交换机2130可以参考存储在第一叶交换机2130中的流表，基于关于所接收到的测试包中包括的流规则的信息来识别与所接收到的测试包相对应的流规则。第一叶交换机2130可以将测试包发送到由所识别的流规则指示的ne(即，第一主干交换机2110)。

在步骤2020中，第一主干交换机2110基于流规则接收测试包并发送测试包。第一主干交换机2110可以参考存储在第一主干交换机2110中的流表，基于关于所接收到的测试包中包括的流规则的信息，识别与所接收到的测试包相对应的流规则。第一主干交换机2110可以将测试包发送到由所识别的流规则指示的ne(即，第三叶交换机2150)。

在步骤2025中，第三叶交换机2150基于流规则接收测试包并发送测试包。第三叶交换机2150可以参考存储在第三叶交换机2150中的流表，基于关于所接收到的测试包中包括的流规则的信息，来识别与所接收到的测试包相对应的流规则。第三叶交换机2150可以将测试包发送到由所识别的流规则指示的ne(即，第二虚拟交换机2170)。

在步骤2030中，第二虚拟交换机2170基于流规则接收测试包并发送测试包。第二虚拟交换机2170可以参考存储在第二虚拟交换机2170中的流表，基于关于与所接收到的测试包中包括的流规则的信息，来识别与所接收到的测试包相对应的流规则。第二虚拟交换机2170可以将测试包发送到由所识别的流规则指示的ne(即，vm(目的地)2180)。

在步骤2035中，vm(目的地)2180接收测试包，并基于测试条件来处理测试包，并且将处理后的测试包发送到vm(源)1730。例如，vm(目的地)2180可以执行与关于测试包的测试条件的测试协议相对应的处理，并且可以将处理后的测试包发送到vm(源)1730。

在步骤2040中，第二虚拟交换机2170基于流规则接收处理后的测试包并发送处理后的测试包。第二虚拟交换机2170可以参考存储在第二虚拟交换机2170中的流表，基于关于所接收到的测试包中包括的流规则的信息，来识别与所接收到的测试包相对应的流规则。第二虚拟交换机2170可以将处理后的测试包发送到由所识别的流规则指示的ne(即，第三叶交换机2150)。

在步骤2045中，第三叶交换机2150基于流规则接收处理后的测试包并发送处理后的测试包。第三叶交换机2150可以参考存储在第三叶交换机2150中的流表，基于关于所接收到的测试包中包括的流规则的信息，来识别与接收到的测试包相对应的流规则。第三叶交换机2150可以将处理后的测试包发送到由所识别的流规则指示的ne(即，第一主干交换机2110)。

在步骤2050中，第一主干交换机2110基于流规则接收处理后的测试包并发送处理后的测试包。第一主干交换机2110可以参考存储在第一主干交换机2110中的流表，基于关于所接收到的测试包中包括的流规则的信息，识别与所接收到的测试包相对应的流规则。第一主干交换机2110可以将处理后的测试包发送到由所识别的流规则指示的ne(即，第一叶交换机2130)。

在步骤2055中，第一叶交换机2130基于流规则接收处理后的测试包，并发送处理后的测试包。第一叶交换机2130可以参考存储在第一叶交换机2130中的流表，基于关于所接收到的测试包中包括的流规则的信息，识别与所接收到的测试包相对应的流规则。第一叶交换机2130可以将处理后的测试包发送到由所识别的流规则指示的ne(即，第一虚拟交换机1710)。

在步骤2060中，第一虚拟交换机1710基于流规则接收处理后的测试包并发送处理后的测试包。服务器740的处理器1010可以基于流规则控制第一虚拟交换机1710以便接收处理后的包并将处理后的包发送到vm(源)1730。第一虚拟交换机1710可以参考存储在第一虚拟交换机1710中的流表，基于关于所接收到的测试包中包括的流规则的信息，来识别与所接收到的测试包相对应的流规则。第一虚拟交换机1710可以将处理后的测试包发送到由所识别的流规则指示的ne(即，vm(源1730)。

图22是根据本公开的各种实施例的用于处理网络质量测试的结果的操作的流程图。

参考图22，在步骤2205中，vm1730的测试代理1730从第一虚拟交换机1710接收根据测试条件处理的包。服务器740的处理器1010可以控制vm1730的测试代理1730从第一虚拟交换机1710接收根据测试条件处理的包。

在步骤2210中，vm1730的测试代理1730基于接收到的包生成用于上报测试结果的包。服务器740的处理器1010可以控制vm1730的测试代理1730基于接收到的包来生成用于上报测试结果的包。用于上报测试结果的包可以包括关于源目标和目的地目标之间的路径测试的关于网络质量的结果的信息。根据本公开的各种实施例，用于上报测试结果的包可以包括如下表2中给出的内容：

[表2]

此外，用于上报测试结果的包可以包括关于与管理设备710和vm1730之间的路径有关的流规则的信息。因此，管理设备710可以从vm1730接收用于上报测试结果的包。例如，vm1730可以从与在步骤1965中接收到的与诊断请求消息有关的包中接收关于与管理设备1710和vm1730之间的路径有关的流规则的信息，并且可以使得该关于流规则的信息被包括在测试包中。vm1730的测试代理1730可以将用于上报测试结果的包发送到控制器设备720。

在步骤2215中，服务器740以消息格式将基于流规则生成的包发送到控制器设备720。服务器740的通信单元1020可以通过回程1030以消息格式将基于流规则生成的包发送到控制器设备720。服务器740的虚拟交换机1710可以接收由vm1730的测试代理1730发送的用于上报测试结果的包，并且可以参考存储在虚拟交换机1710中的流表，基于关于所接收的包中包括的流规则的信息，来识别与所接收到的包相对应的流规则。虚拟交换机1710可以将用于上报测试结果的包发送到由所识别的流规则所指示的ne。例如，虚拟交换机1710可以根据流规则的指示通过交换机730将用于上报测试结果的包发送到控制器设备720，或者可以不通过交换机730而将其直接发送到控制器设备720。发送到控制器设备720的包可以以消息格式被编码然后被发送。

在步骤2220中，控制器设备720从交换机730或服务器740接收消息，并且解析所接收到的消息。控制器设备720的通信单元920可以通过通信单元920从交换机730或服务器740接收消息，并且处理器910可以解析所接收到的消息。当接收到消息时，控制器720的开放流sb协议1620可以解析该消息，并且可以将关于测试网络质量的结果的信息发送到包管理器1612。包管理器1612可以生成包括关于测试网络质量的结果的信息的包。根据本公开的各种实施例，所生成的包可以包括如下表3中给出的内容：

[表3]

在步骤2225中，控制器设备720处理包。控制器设备720的处理器910可以处理包。控制器设备720的包管理器1612可以将包括所生成的关于测试网络质量的结果的信息的包传送到qoe诊断管理器1603。

在步骤2230中，控制器设备720处理包中的测试结果消息以及关于测试业务路径的信息。控制器设备720的处理器910可以处理包中的测试结果消息以及关于测试业务路径的信息。测试结果消息可以包括关于测试网络质量的结果的信息，并且测试业务路径可以包括关于源目标与目的地目标之间的路径的信息。qoe诊断管理器1603可以将包中的测试结果消息和关于测试业务路径的信息传送到qoe结果消息处理单元1603。

在步骤2235中，控制器设备720可以以消息格式对测试结果消息和关于业务路径的信息进行编码，并且可以将编码后的消息发送到管理设备710。控制器设备720的处理器910以消息格式对测试结果消息和关于业务路径的信息进行编码，并且通信单元920可以通过通信单元920将编码后的消息发送至管理设备710。qoe结果消息处理单元1603可以以消息格式对测试结果和关于业务路径的信息进行编码，并且可以将编码后的消息发送到管理设备710。

在步骤2240中，管理设备710解析接收到的消息，以获取关于测试结果的信息，并存储测试结果。管理设备710的通信单元830可以通过回程840从控制器设备720接收编码后的消息，并且处理器820可以解析所接收的消息以便获取关于测试结果的信息。此外，处理器820可以将测试结果存储在存储单元850中。管理设备710的qoe诊断管理器1511可以解析所接收到的消息，以获取关于测试结果的信息，并将测试结果存储在qoe诊断存储单元1521中。

在步骤2245中，管理设备710显示测试结果。管理设备710的显示器810可以显示测试结果。为此，qoe诊断管理器1511可以将关于测试结果的信息提供给管理设备710的各个显示模块1101-1109，使得各个显示模块更新关于与其相关的测试结果的信息。管理设备710的显示器810可以通过ui显示测试结果，其内容在参考图23a至图23f中示出。

参考图23a至图23f示出了根据本公开的各种实施例的用于显示网络质量测试的结果的ui的示例。

参考图23a，在ui2300的第一显示区域2310中，显示关于测量其网络质量的目标(源目标和目的地目标)的信息。例如，第一显示区域2310指示源目标是vm6，并且目的地目标是vm9。在ui2300的第二显示区域2320中，显示关于用于测试网络质量的测试条件的信息。例如，第二显示区域2320可以指示用于测试网络质量的各种参数值以及测试协议(例如，twamp)。此外，ui2300可以在视觉上显示与源目标和目的地目标有关的dc的结构。例如，ui2300可以在视觉上显示dc中包括的ne的逻辑部署结构和逻辑位置。

参考图23b，ui2300可以显示对其进行网络质量测试的源目标和目的地目标之间的路径2330。图23b示出了示例性路径2330“vm6(源目标)->第二虚拟交换机->第二叶交换机->第二主干交换机->第三叶交换机->第三虚拟交换机->vm9(目的地目标)”。此外，ui2300的第三显示区域2340可以显示指示网络质量的结果的指标(例如，带宽、延迟、抖动、丢失、mos)，以及关于整个路径2330和构成路径2330的各个直接路径每个指标对应的值的信息。

参考图23c，ui2300的第四显示区域2350可以基于时间显示关于路径2330的各个指标的值。因此，用户可以理解关于路径2330的各个指标的值如何随着时间变化。

参考图23d，ui2300的第五显示区域2360可以显示具有作为自变量的时间以及具有作为因变量的指标值的关于各个指标的曲线图。可以从关于各个指标的曲线图的时间轴选择特定时间值，并且在这种情况下可以显示在特定时间值处的指标值。

参考图23e，ui2300的第六显示区域2370可以显示关于特定指标(例如，带宽)以及由该指标值指示的质量程度的时间指标值。例如，质量的程度可以分为好质量、正常质量和差质量。ui2300的第六显示区域2370可以显示在特定时间的关于特定指标的指标值，并且可以通过箭头形指示符显示该指标值所属的类别(好、正常和差)。

参考图23f，ui2300的第七显示区域2380可以显示关于网络质量测试的多个结果的统计信息。网络质量测试的多个结果中的每一个可以具有分配给它的指标，以指示网络质量测试的特定结果，并且第七显示区域2380可以显示与每个指标相对应的源目标、目的地目标和关于测试结果的指标值。

根据本公开的权利要求和/或说明书中所述的实施例的方法可以以硬件、软件或硬件和软件的组合来实现。

当所述方法由软件实现时，可以提供用于存储一个或多个程序(软件模块)的计算机可读存储介质。可以将存储在计算机可读存储介质中的一个或多个程序配置为由电子设备内的一个或多个处理器执行。至少一个程序可以包括使得电子设备执行根据由所附权利要求限定和/或本文公开的限定的各种实施例的方法的指令。

程序(软件模块或软件)可以被存储在包括随机存取存储器和闪存的非易失性存储器、只读存储器(rom)、电可擦可编程只读存储器(eeprom)、磁盘存储设备、光盘(cd-rom)、数字多功能光盘(dvd)或其他类型的光学存储设备或磁带。替代地，其一些或全部的任何组合可以形成存储程序的存储器。此外，在电子设备中可以包括多个这样的存储器。

此外，程序可以存储在可连接的存储设备中，该存储设备可以通过通信网络(例如因特网、内联网、局域网(lan)、广域网(wlan)和存储区域网(san)或其组合接入电子设备。这样的存储设备可以经由外部端口接入电子设备。此外，通信网络上的单独的存储设备可以接入便携式电子设备。

在本公开的上述详细实施例中，根据所呈现的详细实施例，本公开中包括的组件以单数或复数表示。然而，为了便于描述，选择单数形式或复数形式以适合于所呈现的情况，并且本公开的各种实施例不限于单个元件或多个元件。此外，在说明书中表达的多个元件可以被配置成单个元件，或者在说明书中的单个元件可以被配置成多个元件。

虽然已经参考本公开的某些实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离本公开的范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的范围不应被定义为限于实施例，而应由所附权利要求及其等同物限定。