加速资源处理方法、装置及网络功能虚拟化系统的制作方法

文档序号:10616101阅读:657来源:国知局
加速资源处理方法、装置及网络功能虚拟化系统的制作方法
【专利摘要】本发明提供一种加速资源处理方法、装置及网络功能虚拟化系统,该方法包括:接收业务的加速资源请求,所述加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,所述业务加速资源调度策略为根据所述业务的业务需求确定的;根据所述加速资源的属性参数和所述业务加速资源调度策略,确定所述业务的加速资源。该方法根据业务加速资源调度策略来选择加速资源,能够满足业务的时延敏感等具体要求,从而提升业务的时延和性能。
【专利说明】
加速资源处理方法、装置及网络功能虚拟化系统
技术领域
[0001]本发明涉及通信技术,尤其涉及一种加速资源处理方法、装置及网络功能虚拟化系统。
【背景技术】
[0002]传统的电信系统通过各种专用的硬件设备组成,不同的应用采用不同的硬件设备。随着网络规模的增长,系统越来越复杂,带来了诸多的挑战,包括新增业务的开发上线、系统的运维、资源利用率等。为了应对这些挑战,提出了网络功能虚拟化(NetworkFunct1n Virtualizat1n,简称NFV)技术。NFV技术将电信网络中各个网元的功能从原有的专用硬件平台迀移至通用的商用货架产品(Commercial-Off-The-Shelf,简称C0TS)服务器上,将电信网络中使用的各个网元转变成为独立的应用,可以灵活部署在基于标准的服务器、存储以及交换机等其他设备构建的统一基础设施平台上,并通过虚拟化技术,对基础设施硬件设备资源池化及虚拟化,对上层应用提供虚拟资源,实现应用、硬件解耦,使得每一个应用能够快速增加虚拟资源以实现快速扩展系统容量的目的,或者能够快速减少虚拟资源以实现收缩系统容量的目的,大大提升网络的弹性。
[0003]在NFV架构中,包括虚拟网络功能和基础设施层,虚拟网络功能可以提供原有电信网络的不同网元的功能,虚拟网络功能可以使用基础设施层的硬件资源,包括计算硬件、存储硬件、网络硬件以及加速硬件。其中,加速硬件是专用于一些复杂功能加速的硬件,例如加解密、媒体音视频转码对应的硬件。
[0004]现有技术中,当虚拟网络功能对应的业务需要申请加速资源时,则会在申请中携带加速类型、算法类型等对于加速资源的要求,NFV会根据加速资源的要求选择能够满足要求的加速硬件。
[0005]但是,使用现有技术选择加速硬件,仅能满足基本的加速需求,而不能保证业务获得最佳的加速效果,导致业务的时延和性能等不达标。

【发明内容】

[0006]本发明实施例提供一种加速资源处理方法、装置及网络功能虚拟化系统,用于解决现有技术所导致的业务的时延和性能等不达标的问题。
[0007]本发明实施例第一方面提供一种加速资源处理方法,该方法包括:
[0008]接收业务的加速资源请求,这个加速资源请求中包括了加速资源的属性参数以及业务加速资源调度策略,其中,这个加速资源请求中所包括的业务加速资源调度策略是根据业务的业务需求确定的。在接收到业务的加速资源请求之后,会根据加速资源的属性参数以及业务资源调度策略,来确定出业务的加速资源。该方法不仅根据加速资源的属性参数,还结合业务资源调度策略来确定业务的加速资源,从而使得所确定出的加速资源能够满足业务的实际需求,保证了业务的时延和性能等要求得到满足。
[0009]在一种可能的设计中,可以通过以下方法确定业务的加速资源:
[0010]根据加速资源的属性参数,确定加速资源计算节点。
[0011]根据业务加速资源调度策略,从加速资源计算节点中确定业务的加速资源的计算节点。
[0012]在一种可能的设计中,在上述根据加速资源的属性参数,确定加速资源计算节点之前,还包括:
[0013]根据加速资源请求,获取计算资源计算节点。
[0014]在一种可能的设计中,上述根据业务加速资源调度策略,从加速资源计算节点中确定业务的加速资源的计算节点的方法为:
[0015]首先,按照加速资源调度策略中的加速资源的优先级顺序,确定当前加速资源类型,其次,对确定出的当前加速资源类型进行判断,如果当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点;如果当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的差集中确定业务的加速资源的计算节点。
[0016]在一种可能的设计中,上述从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点的方法为:
[0017]判断加速资源计算节点和计算资源计算节点的交集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0018]在一种可能的设计中,上述从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点的方法为:
[0019]判断加速资源计算节点和计算资源计算节点的差集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0020]在一种可能的设计中,上述形态属性用于标识计算节点的部署形态,该部署形态包括虚拟化和硬直通。
[0021]在一种可能的设计中,还包括:
[0022]接收加速资源属性信息,该加速资源属性信息中至少包括形态属性,该加速资源属性信息通过周期性或计算节点初始化时查询加速资源属性获得。
[0023]在一种可能的设计中,还会接收新增加速资源调度策略指示,该新增加速资源调度策略指示中包括策略名称、加速资源类型以及每种类型的加速资源的调度优先级,进而,根据策略名称、加速资源类型以及每种类型的加速资源的调度优先级,生成加速资源调度策略。
[0024]在一种可能的设计中,如果资源调度请求中不包括加速资源调度策略,则将默认加速资源调度策略确定为资源调度请求中的加速资源调度策略。
[0025]在一种可能的设计中,默认加速资源调度策略中每种类型的加速资源的调度优先级从高到低分别为:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源、远端硬直通加速资源。
[0026]在一种可能的设计中,属性参数包括:加速类型、算法类型以及加速流量。
[0027]本发明第二方面提供一种加速资源处理装置。该装置具有实现上述方法的功能。这些功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
[0028]在一种可能的设计中,该装置可以包括第一接收模块以及处理模块,其中,第一接收模块,用于接收业务的加速资源请求,加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,业务加速资源调度策略为根据所述业务的业务需求确定的;处理模块,用于根据加速资源的属性参数和业务加速资源调度策略,确定业务的加速资源。
[0029]在一种可能的设计中,处理模块可以包括:
[0030]第一确定单元,用于根据加速资源的属性参数,确定加速资源计算节点。
[0031 ]第二确定单元,用于根据业务加速资源调度策略,从加速资源计算节点中确定业务的加速资源的计算节点。
[0032]在一种可能的设计中,处理模块还可以包括:
[0033]获取单元,用于根据加速资源请求,获取计算资源计算节点。
[0034]在一种可能的设计中,第二确定单元具体用于:
[0035]按照加速资源调度策略中的加速资源的优先级顺序,确定当前加速资源类型;若当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点;若当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的差集中确定业务的加速资源的计算节点。
[0036]在一种可能的设计中,第二确定单元具体还用于:
[0037]判断加速资源计算节点和计算资源计算节点的交集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0038]在一种可能的设计中,第二确定单元具体还用于:
[0039]判断加速资源计算节点和计算资源计算节点的差集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0040]在一种可能的设计中,上述形态属性用于标识计算节点的部署形态,该部署形态包括虚拟化和硬直通。
[0041]在一种可能的设计中,上述装置中还可以包括:
[0042]第二接收模块,该模块可用于接收加速资源属性信息,该加速资源属性信息中至少包括形态属性,该加速资源属性信息通过周期性或计算节点初始化时查询加速资源属性获得。
[0043]在一种可能的设计中,上述装置中还可以包括:
[0044]第三接收模块以及生成模块。其中,第三接收模块,可以用于接收新增加速资源调度策略指示,该新增加速资源调度策略指示中包括策略名称、加速资源类型以及每种类型的加速资源的调度优先级;生成模块,可以用于根据策略名称、加速资源类型以及每种类型的加速资源的调度优先级,生成所述加速资源调度策略。
[0045]在一种可能的设计中,上述装置中还可以包括:
[0046]确定模块,用于在资源调度请求中不包括加速资源调度策略时,将默认加速资源调度策略确定为资源调度请求中的加速资源调度策略。
[0047]在一种可能的设计中,默认加速资源调度策略中每种类型的加速资源的调度优先级从高到低分别为:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源、远端硬直通加速资源。
[0048]在一种可能的设计中,属性参数包括:加速类型、算法类型以及加速流量。
[0049]本发明实施例第三方面提供一种加速资源处理装置。该装置包括存储器和处理器,其中,存储器用于存储程序指令,处理器用于调用存储器中的程序指令,执行前述的方法。
[0050]在一种可能的设计中,处理器可以用于执行:
[0051]接收业务的加速资源请求,该加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,该业务加速资源调度策略为根据业务的业务需求确定的;根据加速资源的属性参数和业务加速资源调度策略,确定业务的加速资源。
[0052]在一种可能的设计中,处理器还用于:
[0053]根据加速资源的属性参数,确定加速资源计算节点。
[0054]根据业务加速资源调度策略,从加速资源计算节点中确定业务的加速资源的计算节点。
[0055]在一种可能的设计中,处理器还用于:
[0056]根据加速资源请求,获取计算资源计算节点。
[0057]在一种可能的设计中,处理器还用于:按照加速资源调度策略中的加速资源的优先级顺序,确定当前加速资源类型。
[0058]若当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点。
[0059]若当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的差集中确定业务的加速资源的计算节点。
[0060]在一种可能的设计中,处理器还用于:
[0061]判断加速资源计算节点和计算资源计算节点的交集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0062]在一种可能的设计中,处理器还用于:
[0063]判断加速资源计算节点和计算资源计算节点的差集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0064]在一种可能的设计中,上述形态属性用于标识计算节点的部署形态,部署形态包括虚拟化和硬直通。
[0065]在一种可能的设计中,处理器还用于:
[0066]接收加速资源属性信息,该加速资源属性信息中至少包括上述形态属性,加速资源属性信息通过周期性或计算节点初始化时查询加速资源属性获得。
[0067]在一种可能的设计中,处理器还用于:
[0068]接收新增加速资源调度策略指示,该新增加速资源调度策略指示中包括策略名称、加速资源类型以及每种类型的加速资源的调度优先级。
[0069]根据策略名称、加速资源类型以及每种类型的加速资源的调度优先级,生成加速资源调度策略。
[0070]在一种可能的设计中,处理器还用于:
[0071]在所述资源调度请求中不包括加速资源调度策略时,将默认加速资源调度策略确定为资源调度请求中的加速资源调度策略。
[0072]在一种可能的设计中,上述默认加速资源调度策略中每种类型的加速资源的调度优先级从高到低分别为:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源、远端硬直通加速资源。
[0073]在一种可能的设计中,上述属性参数包括:加速类型、算法类型以及加速流量。
[0074]本发明实施例第四方面提供一种网络功能虚拟化NFV系统,该NFV系统中包括前述的加速资源处理装置。
[0075]相较于现有技术,本发明实施例所提供的方案,根据业务加速资源调度策略来选择加速资源,能够满足业务的时延敏感等具体要求,从而提升业务的时延和性能。
【附图说明】
[0076]为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0077]图1为NFV的系统架构图;
[0078]图2为本发明实施例提供的加速资源处理方法实施例一的流程示意图;
[0079]图3为各种类型的加速资源的示意图;
[0080]图4为本发明实施例提供的加速资源处理方法实施例二的流程示意图;
[0081 ]图5为本发明实施例提供的加速资源处理方法实施例三的流程示意图;
[0082]图6为本发明实施例提供的加速资源处理方法实施例四的流程示意图;
[0083]图7为定义加速资源调度策略的模块间交互示意图;
[0084]图8为加速资源处理的完整流程;
[0085]图9为本发明实施例提供的加速资源处理装置实施例一的模块结构图;
[0086]图10为本发明实施例提供的加速资源处理装置实施例二的模块结构图;
[0087]图11为本发明实施例提供的加速资源处理装置实施例三的模块结构图;
[0088]图12为本发明实施例提供的加速资源处理装置实施例四的模块结构图;
[0089]图13为本发明实施例提供的加速资源处理装置实施例五的模块结构图;
[0090]图14为本发明实施例提供的加速资源处理装置实施例六的模块结构图;
[0091]图15为本发明实施例提供的加速资源处理装置实施例七的模块结构图。
【具体实施方式】
[0092]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0093]图1为NFV的系统架构图,NFV系统应用于各种网络中,例如数据中心网络、运营商网络或局域网络。如图1所示,NFV系统包括NFV管理和编排系统(NFV Management andOrchestrat1n,简称NFV-MANO) 101、NFV基础设施层(NFV Infrastructure,NFVI) 130、多个虚拟网络功能(VirtuaI Network Funct i on,VNF) 108、多个网元管理(EI ementManagement,EM) 122、网络服务、VNF和基础设施描述(Network Service , VNF andInfrastructure Descript1n) 126,以及业务支持管理系统(Operat1n-Support System/Business Support System,0SS/BSS) 124oNFVI 130包括计算硬件 112、存储硬件 114、网络硬件116、加速硬件115、虚拟化层(Virtualizat1n Layer)、虚拟计算110、虚拟存储118、虚拟网络120以及虚拟加速123。其中,NFV管理和编排系统101用于执行对虚拟网络功能108和NFV基础设施层130的监视和管理。
[0094]在上述NFV的系统架构中,NFV管理和编排系统101包括:
[0095]NFV编排器102:可以实现在NFV基础设施层130上的网络服务,也可以执行来自一个或多个VNF管理器104的资源相关请求,发送配置信息到VNF管理器104,并收集虚拟网络功能108的状态信息。
[0096]VNF管理器(VNF Manager,简称VNFM)104:可以管理一个或多个虚拟网络功能108。
[0097]虚拟基础设施管理器(VirtualizedInfrastructure Manager,简称VIM) 106:可以执行资源管理的功能,例如管理基础设施资源的分配和操作功能。虚拟基础设施管理器106和VNF管理器104可以相互通信,来进行资源分配和交换虚拟化硬件资源的配置和状态信息。V頂中包括一个加速资源管理模块121,用于进行加速资源的分配管理等。
[0098]在上述NFV的系统架构中,NFV基础设施层130包括:计算硬件112、存储硬件114、加速硬件115、网络硬件116、虚拟化层(Virtualizat1n Layer)、虚拟计算110、虚拟存储118、虚拟加速123以及虚拟网络120。其中,加速硬件115、加速资源管理代理125和虚拟加速123与加速资源的调度相关。
[0099]以下对本发明实施例中涉及的概念作一解释:
[0100]计算节点:是指在NFV系统架构中提供计算硬件、网络硬件、加速硬件等的物理主机,不同的计算节点就是不同的物理主机。
[0101]加速资源:是指可以提供加速功能的资源,在本发明实施例中可以为NFV中的加速硬件。
[0102]由于计算节点可以用来提供加速资源(加速硬件),即,不同的计算节点分别提供各自的不同加速资源(加速硬件),因此,当需要确定加速资源时,可以通过确定提供所述加速资源(加速硬件)的计算节点来实现。
[0103]图2为本发明实施例提供的加速资源处理方法实施例一的流程示意图,该方法的执行主体为上述NFV系统中的V頂,如图2所示,该方法包括:
[0104]S101、接收业务的加速资源请求,该加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,业务加速资源调度策略为根据上述业务的业务需求确定的。
[0105]业务的加速资源请求会在特定的场景下下发,例如,当为业务申请虚拟机时,根据业务的实际需要,为业务申请加速资源。例如,如果业务中涉及加解密处理、媒体音视频转码等操作时,就需要为业务申请加速资源。当业务对时延的要求比较高,则业务对应的业务加速资源调度策略中就会体现加速资源和计算资源在同一计算节点的要求,即,根据业务的实际需要来确定加速资源调度策略。
[0106]以上述申请虚拟机时为业务申请加速资源为例,当为业务申请虚拟机时,VNFM会向VIM发送申请虚拟机请求,该申请虚拟机请求中包括加速资源的请求,其中包括加速资源的属性参数和业务加速资源调度策略。
[0107]如前所述,VIM中包括一个加速资源管理模块,用于进行加速资源的分配管理等,本步骤中,当VIM接收到加速资源的请求时,通过加速资源管理模块对加速资源请求中的加速资源的属性参数和业务加速资源调度策略进行接收和处理。
[0108]S102、根据加速资源的属性参数和业务加速资源调度策略,确定业务的加速资源。
[0109]加速资源请求中的加速资源的属性参数包括加速类型和算法类型等参数,加速资源调度策略根据上述业务的业务需求确定,加速资源调度策略主要用于设置加速资源调度的优选顺序,其中,加速资源包括:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源以及远端硬直通加速资源。其中,本地虚拟化加速资源表示加速资源和虚拟机在同一计算节点上,并且需要经过虚拟化层与虚拟机连接;远端虚拟化加速资源表示加速资源和虚拟机不在同一计算节点上,并且需要经过虚拟化层与虚拟机连接;本地硬直通加速资源表示加速资源和虚拟机在同一计算节点上,并且直接同虚拟机连接,不需要经过虚拟化层;远端硬直通加速资源表示表示加速资源和虚拟机不在同一计算节点上,并且直接同虚拟机连接,不需要经过虚拟化层。图3为各种类型的加速资源的示意图。
[0110]加速资源调度策略用于设置加速资源调度的优选顺序,当加速资源管理模块接收到加速资源调度策略时,会按照其中所设置的加速资源调度的顺序来选择加速资源。以下以一个示例进行说明。
[0111]假设加速资源调度策略中的加速资源调度的优选顺序为:本地硬直通加速资源、本地虚拟化加速资源、远端硬直通加速资源、远端虚拟化加速资源。当加速资源管理模块接收到该加速资源调度策略时,首先会选择与虚拟机在同一计算节点上,并且与虚拟机直接连接的加速资源,进而,还要确保这些加速资源满足前述的加速资源的属性参数。
[0112]现有技术中,仅能根据计算类型和算法类型等参数来确定加速资源,通过这种方式只能保证业务加速的基本要求,而无法满足业务获取更优的加速效果。例如,如果业务加速对时延敏感,根据现有技术的方式所确定的加速资源,有可能出现加速资源和虚拟机不在同一个计算节点的场景,业务在使用加速资源进行加速时,由于存在计算节点间的网络交换,即网络时延,网络时延相对于计算处理时延一般都比较高,从而可能会导致业务的时延不达标。
[0113]而本实施例中,在业务的加速资源请求中加入了业务加速资源调度策略,根据业务的实际需要在该策略中设置加速资源的优选顺序。例如,如果业务对时延敏感,则可以在该策略中将本地硬直通加速资源设置为首选,加速资源管理模块在选择加速资源时,就会首先选择与虚拟机在同一计算节点并且为硬直通方式的加速资源,满足这一要求的加速资源能够保证业务进行加速时不需要进行网络交换,从而避免时延,满足业务对时延的要求。即,本实施例中,在现有技术的基础上,根据业务加速资源调度策略来选择加速资源,能够满足业务的时延敏感等具体要求,从而提升业务的时延和性能。如果没有满足上述条件的加速资源,则按照加速资源调度策略中设置的优选顺序选择第二种加速资源,以此类推。
[0114]当然,可选地,业务加速资源调度策略也可以不设置加速资源的优选顺序,而仅仅根据业务实际需要提供上述各种加速资源中最优的一种。在上述实施例的基础上,本实施例涉及确定业务的加速资源的具体方法。即,图4为本发明实施例提供的加速资源处理方法实施例二的流程示意图,如图4所示,上述步骤S102具体包括:
[0115]S201、根据加速资源的属性参数,确定加速资源计算节点。
[0116]如前所述,加速资源的属性参数包括加速类型和算法类型等,除此之外,该属性参数还可能包括加速流量等。其中,加速类型用于表示本次加速是进行哪一类加速,例如加解密、编解码或图像处理等。算法类型用于标识具体加速类型下的算法,例如加解密时的具体加解密算法。加速流量表示对于加速资源的处理能力的要求,例如加解密时的加解密吞吐量为5Gbps。
[0117]根据这些属性参数,确定满足这些属性参数要求的所有计算节点。需要说明的是,满足这些属性参数要求的计算节点可能有多个,因此,本步骤中所获取到的可能为多个计算节点所组成的集合。
[0118]S202、根据业务加速资源调度策略,从加速资源计算节点中确定业务的加速资源的计算节点。
[0119]当确定出满足上述属性参数的计算节点之后,再从这些计算节点中选择出满足业务加速资源调度策略的计算节点。
[0120]另一实施例中,在上述步骤S201之前,还包括:
[0121 ]根据上述加速资源请求,获取计算资源计算节点。
[0122]具体地,对于一个具体业务,在申请资源时,可能需要申请计算资源,计算资源用于提供处理和计算资源,例如中央处理器等。除此之外,业务申请的资源可能还包括存储资源和网络资源。在申请加速资源之前,需要首先申请计算资源,即确定出计算资源所在的计算节点。以为业务申请虚拟机为例,当为业务申请虚拟机时,VNFM会向V頂发送申请虚拟机请求,VIM通过其中的计算资源处理模块来确定满足业务要求的计算资源计算节点,S卩,这些计算节点中的计算资源都满足业务的要求。所确定出的计算资源计算节点可能有多个,并且按照优先顺序进行排列,即,首选的计算节点是最能够满足业务的计算要求的计算节点。
[0123]在上述实施例的基础上,本实施例涉及从加速资源计算节点中确定业务的加速资源的计算节点的具体方法,即,图5为本发明实施例提供的加速资源处理方法实施例三的流程示意图,如图5所示,上述步骤S202具体包括:
[0124]S301、按照加速资源调度策略中的加速资源的优选顺序,确定当前加速资源类型。
[0125]例如,假设加速资源调度策略中的加速资源调度的优选顺序为:本地硬直通加速资源、本地虚拟化加速资源、远端硬直通加速资源、远端虚拟化加速资源。则首先确定出当前加速资源类型为本地硬直通加速资源,即,业务希望使用的加速资源应该同虚拟机在同一计算节点上,并且该加速资源为硬直通。
[0126]S302、若当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点。
[0127]具体地,如果当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则说明业务希望使用的加速资源应该同虚拟机在同一计算节点上,此时,则应该根据前述已经确定出的加速资源计算节点以及计算资源计算节点,确定这两类计算节点中的交集。由于加速资源计算节点都是满足业务的加速资源要求的计算节点,而计算资源计算节点都是满足业务的计算资源要求的计算节点,因此,二者的交集中的每个计算节点,都是既能满足业务的加速资源要求,也能满足业务的计算资源要求。
[0128]举例来说,假设前述所确定出的加速资源计算节点为{节点1,节点2,节点3},前述所确定出的计算资源计算节点为{节点2,节点3,节点4 },则其交集为{节点2,节点3 },S卩,节点2和节点3既能满足业务的加速资源要求,也能满足业务的计算资源要求。
[0129]S303、若当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的差集中确定业务的加速资源的计算节点。
[0130]具体地,如果当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则说明业务希望使用的加速资源应该同虚拟机不在同一计算节点上,此时,则应该根据前述已经确定出的加速资源计算节点以及计算资源计算节点,确定这两类计算节点中的差集,B卩属于加速资源计算节点而不属于计算资源计算节点的计算节点。
[0131]举例来说,假设前述所确定出的加速资源计算节点为{节点1,节点2,节点3},前述所确定出的计算资源计算节点为{节点2,节点3,节点4 },则其差集为{节点I },S卩,节点I仅属于加速资源计算节点,而不属于计算资源计算节点。通过确定加速资源计算节点和计算资源计算节点的差集,可以保证所得到的加速资源和计算资源(即虚拟机)不在同一计算节点上,从而满足了加速资源调度策略中的要求。
[0132]如果经过前述S301-S303没有确定出符合要求的加速资源的计算节点,继续执行S301-S303,即按照加速资源调度策略中的加速资源的优选顺序,找到下一个加速资源作为当前加速资源类型,并基于新的当前加速资源类型确定业务的加速资源的计算节点。
[0133]另一实施例中,计算节点都具有形态属性,该形态属性可以用来标识计算节点的部署形态,计算节点的部署形态包括虚拟化和硬直通。
[0134]具体地,计算节点在部署时,部署的形态可以为虚拟化,即物理硬件经过虚拟化层与虚拟资源层连接,也可以为硬直通,即物理硬件不经过虚拟化层,直接与虚拟资源层连接。计算节点的形态属性即用于描述计算节点的这两种部署形态。
[0135]在上述实施例的基础上,本实施例涉及从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点的具体方法,即,上述步骤S302具体为:
[0136]判断加速资源计算节点和计算资源计算节点的交集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0137]具体地,加速资源计算节点和计算资源计算节点的交集可能有多个,按照顺序对交集中的计算节点进行判断,一旦某个计算节点中的形态属性与当前加速资源类型一致,则不再继续进行判断,直接将该计算节点作为业务的加速资源的计算节点。
[0138]举例来说,假设加速资源计算节点和计算资源计算节点的交集为{节点2,节点3,节点4},其中,节点2的形态属性为硬直通,节点3中的形态属性为虚拟化,节点4的形态属性为硬直通。当前加速资源类型为本地虚拟化。则从交集中的第一个计算节点,即节点2开始进行判断,由于节点2的形态属性为硬直通,而当前加速资源类型为本地虚拟化,即节点2的形态属性与当前急速资源类型并不一致,因此,继续判断节点3,由于节点3中的形态属性为虚拟化,因此,与当前急速资源类型一致,因此,可以确定节点3为业务的加速资源的计算节点。
[0139]在上述实施例的基础上,本实施例涉及从加速资源计算节点和计算资源计算节点的差集中确定业务的加速资源的计算节点的具体方法,即,上述步骤S303具体为:
[0140]判断加速资源计算节点和计算资源计算节点的差集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0141]具体方法可以参考上一实施例,此处不再赘述。
[0142]在上述实施例的基础上,本实施例涉及获取加速资源属性的具体方法,S卩,上述加速资源处理方法还包括:
[0143]接收加速资源属性信息,该加速资源属性信息中至少包括上述形态属性,该加速资源属性信息通过周期性或计算节点初始化时查询加速资源属性获得。
[0144]可选地,NFVI会在计算节点初始化时或者周期性地检测加速资源的形态,从而确定形态属性,并将形态属性发送给加速资源管理模块,加速资源管理模块将形态属性保存起来,当需要选择加速资源时,根据形态属性以及所接收到的加速资源调度策略来来确定加速资源。
[0145]在上述实施例的基础上,本实施例涉及定义加速资源调度策略的具体方法,S卩,图6为本发明实施例提供的加速资源处理方法实施例四的流程示意图,如图6所示,在上述步骤SlOl之前,还包括:
[0146]S401、接收新增加速资源调度策略指示,该新增加速资源调度策略指示中包括策略名称、加速资源类型以及每种类型的加速资源的调度优先级。
[0147]具体地,本发明实施例在VNFM或者VIM的客户端中由用户输入加速资源调度策略的参数。如果是在VNFM的客户端中输入参数,则VNFM的客户端将输入的参数发送到VNFM,并由VNFM发送到V頂,最终由V頂的加速资源管理模块进行保存。如果是在V頂的客户端中输入参数,则V頂的客户端将输入的参数发送到V頂,最终由V頂的加速资源管理模块进行保存。
[0148]S402、根据策略名称、加速资源类型以及每种类型的加速资源的调度优先级,生成所述加速资源调度策略。
[0149]加速资源管理模块在保存前,首先根据用户所输入的参数信息生成一个新的加速资源调度策略。
[0150]如下是加速资源调度策略的一种示例性表示方式,但本发明实施例并不限于这种表不方式。
[0151]"AccResourceSchedulingPolicyType":{
[ΟΙ52] 〃Name〃: 〃LatencyPr1rity〃,//加速资源调度策略的名称
[0153]"Sequence":
[0154]{"I":"LocaISr1vAcc","2":"LocaIVirt1Acc","3":"RemoteSr1vAcc","4":〃Remote Virt1Acc"}}//加速资源调度策略中的优选顺序,I表示最高优先级,以此类推,并且存在4中加速资源
[0155]图7为定义加速资源调度策略的模块间交互示意图,如图7所示,可以通过VNFM和V頂的客户端输入加速资源调度策略的参数,并最终由加速资源管理模块来保存。
[0156]需要说明的是,加速资源管理模块在接收到加速资源调度策略的参数时,会判断其对应的策略是否已经存在,如果不存在,则生成策略并保存,否则返回失败。
[0157]本实施例中,可以根据业务的需要灵活定义加速资源调度策略,从而满足各类业务的需求。
[0158]另一实施例中,在上述步骤SlOl之后,即当虚拟基础设施管理器106接收到业务的加速资源请求之后,如果判断出资源调度请求中不包括加速资源调度策略,则会将默认加速资源调度策略确定为资源调度请求中的加速资源调度策略。
[0159]作为一种可选的实施方式,默认加速资源调度策略中每种类型的加速资源的调度优先级从高到低分别为:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源、远端硬直通加速资源。
[0160]如下以业务申请虚拟机为例,来说明加速资源处理的完整过程。图8为加速资源处理的完整流程。需要说明的是,图8中的模块及其之间的交互仅是本发明实施例的一种可选的方式,并不能作为本发明实施例的限制,在其他实施例中,也可以通过其他模块或者更少的模块来实现同样的功能。如图8所示,该过程包括:
[0161 ] S501、VNFM生成申请虚拟机的请求,其中新增了加速资源调度策略。
[0162]S502、VNFM向V頂发送申请虚拟机的请求,请求中包括加速资源调度策略以及加速资源属性参数。
[0163]S503、VIM的处理模块根据上述请求,确定计算资源计算节点,并将计算资源计算节点、加速资源调度策略以及加速资源属性参数组装在申请加速资源请求中。
[0164]S504、VIM的处理模块将申请加速资源请求发送给V頂的加速资源管理模块。
[0165]S505、加速资源管理模块判断申请加速资源请求中的加速资源调度策略是否属于该加速资源管理模块中已保存的加速资源调度策略,若属于,则执行下一步,否则返回失败。
[0166]S506、加速资源管理模块根据加速资源属性参数确定加速资源计算节点,并根据加速资源计算节点和计算资源计算节点确定业务的加速资源的计算节点。
[0167]S507、NFVI在计算节点初始化时或者周期性地检测加速资源的形态,获取计算节点的形态属性。
[0168]S508、NFVI将计算节点的形态属性发送给加速资源管理模块。
[0169]S509、加速资源管理模块保存接收到的形态属性。
[0170]其中,S507-S509与S501-S506的执行没有先后顺序,可以独立执行。
[0171]本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0172]图9为本发明实施例提供的加速资源处理装置实施例一的模块结构图,如图9所示,该装置包括:
[0173]第一接收模块501,用于接收业务的加速资源请求,该加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,业务加速资源调度策略为根据业务的业务需求确定的。
[0174]处理模块502,用于根据加速资源的属性参数和业务加速资源调度策略,确定业务的加速资源。
[0175]该装置用于实现前述的方法实施例,其实现原理和技术效果类似,此处不再赘述。
[0176]图10为本发明实施例提供的加速资源处理装置实施例二的模块结构图,如图10所示,处理模块502包括:
[0177]第一确定单元5021,用于根据加速资源的属性参数,确定加速资源计算节点。
[0178]第二确定单元5022,用于根据业务加速资源调度策略,从加速资源计算节点中确定业务的加速资源的计算节点。
[0179]图11为本发明实施例提供的加速资源处理装置实施例三的模块结构图,如图11所示,处理模块502还包括:
[0180]获取单元5023,用于根据加速资源请求,获取计算资源计算节点。
[0181]另一实施例中,第二确定单元5022具体用于:
[0182]按照加速资源调度策略中的加速资源的优先级顺序,确定当前加速资源类型;若当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点;若当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的差集中确定业务的加速资源的计算节点。
[0183]进一步地,第二确定单元5022具体还用于:
[0184]判断加速资源计算节点和计算资源计算节点的交集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0185]进一步地,第二确定单元5022具体还用于:
[0186]判断加速资源计算节点和计算资源计算节点的差集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0187]另一实施例中,上述形态属性用于标识所述计算节点的部署形态,所述部署形态包括虚拟化和硬直通。
[0188]图12为本发明实施例提供的加速资源处理装置实施例四的模块结构图,如图12所示,在图9的基础上,该装置还包括:
[0189]第二接收模块503,用于接收加速资源属性信息,该加速资源属性信息中至少包括形态属性,加速资源属性信息通过周期性或计算节点初始化时查询加速资源属性获得。
[0190]图13为本发明实施例提供的加速资源处理装置实施例五的模块结构图,如图13所示,在图12的基础上,该装置还包括:
[0191 ]第三接收模块504,用于接收新增加速资源调度策略指示,该新增加速资源调度策略指示中包括策略名称、加速资源类型以及每种类型的加速资源的调度优先级。
[0192]生成模块505,用于根据策略名称、加速资源类型以及每种类型的加速资源的调度优先级,生成加速资源调度策略。
[0193]图14为本发明实施例提供的加速资源处理装置实施例六的模块结构图,如图14所示,在图13的基础上,该装置还包括:
[0194]确定模块506,用于在资源调度请求中不包括加速资源调度策略时,将默认加速资源调度策略确定为资源调度请求中的加速资源调度策略。
[0195]另一实施例中,上述默认加速资源调度策略中每种类型的加速资源的调度优先级从高到低分别为:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源、远端硬直通加速资源。
[0196]另一实施例中,上述属性参数包括:加速类型、算法类型以及加速流量。
[0197]图15为本发明实施例提供的加速资源处理装置实施例七的模块结构图,如图15所示,该装置包括:
[0198]存储器601以及处理器602。
[0199]存储器601用于存储程序指令,处理器602用于调用存储器601中的程序指令,执行下述方法:
[0200]接收业务的加速资源请求,所述加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,所述业务加速资源调度策略为根据所述业务的业务需求确定的;
[0201]根据所述加速资源的属性参数和所述业务加速资源调度策略,确定所述业务的加速资源。
[0202]进一步地,处理器602还用于:
[0203]根据加速资源的属性参数,确定加速资源计算节点。
[0204]根据业务加速资源调度策略,从加速资源计算节点中确定业务的加速资源的计算节点。
[0205]进一步地,处理器602还用于:
[0206]根据加速资源请求,获取计算资源计算节点。
[0207]进一步地,处理器602还用于:
[0208]按照加速资源调度策略中的加速资源的优先级顺序,确定当前加速资源类型。
[0209]若当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的交集中确定业务的加速资源的计算节点。
[0210]若当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则:从加速资源计算节点和计算资源计算节点的差集中确定业务的加速资源的计算节点。
[0211]进一步地,处理器602还用于:
[0212]判断加速资源计算节点和计算资源计算节点的交集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0213]进一步地,处理器602还用于:
[0214]判断加速资源计算节点和计算资源计算节点的差集中的当前计算节点的形态属性是否与当前加速资源类型一致,若一致,则将当前计算节点作为业务的加速资源的计算节点。
[0215]另一实施例中,上述形态属性用于标识计算节点的部署形态,部署形态包括虚拟化和硬直通。
[0216]进一步地,处理器602还用于:
[0217]接收加速资源属性信息,该加速资源属性信息中至少包括上述形态属性,加速资源属性信息通过周期性或计算节点初始化时查询加速资源属性获得。
[0218]进一步地,处理器602还用于:
[0219]接收新增加速资源调度策略指示,该新增加速资源调度策略指示中包括策略名称、加速资源类型以及每种类型的加速资源的调度优先级。
[0220]根据策略名称、加速资源类型以及每种类型的加速资源的调度优先级,生成加速资源调度策略。
[0221 ] 进一步地,处理器602还用于:
[0222]在所述资源调度请求中不包括加速资源调度策略时,将默认加速资源调度策略确定为资源调度请求中的加速资源调度策略。
[0223]另一实施例中,上述默认加速资源调度策略中每种类型的加速资源的调度优先级从高到低分别为:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源、远端硬直通加速资源。
[0224]另一实施例中,上述属性参数包括:加速类型、算法类型以及加速流量。
[0225]另一实施例中,本发明实施例还提供一种NFV系统,该NFV系统中包括前述的加速资源处理装置。
[0226]最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【主权项】
1.一种加速资源处理方法,其特征在于,包括: 接收业务的加速资源请求,所述加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,所述业务加速资源调度策略为根据所述业务的业务需求确定的; 根据所述加速资源的属性参数和所述业务加速资源调度策略,确定所述业务的加速资源。2.根据权利要求1所述的方法,其特征在于,所述根据所述加速资源的属性参数和所述业务加速资源调度策略,确定所述业务的加速资源,包括: 根据所述加速资源的属性参数,确定加速资源计算节点; 根据所述业务加速资源调度策略,从所述加速资源计算节点中确定所述业务的加速资源的计算节点。3.根据权利要求2所述的方法,其特征在于,所述根据所述加速资源的属性参数,确定加速资源计算节点之前,包括: 根据所述加速资源请求,获取计算资源计算节点。4.根据权利要求3所述的方法,其特征在于,所述根据所述业务加速资源调度策略,从所述加速资源计算节点中确定所述业务的加速资源的计算节点,包括: 按照所述加速资源调度策略中的加速资源的优先级顺序,确定当前加速资源类型; 若所述当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则:从所述加速资源计算节点和所述计算资源计算节点的交集中确定所述业务的加速资源的计算节占.V , 若所述当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则:从所述加速资源计算节点和所述计算资源计算节点的差集中确定所述业务的加速资源的计算节点。5.根据权利要求4所述的方法,其特征在于,所述从所述加速资源计算节点和所述计算资源计算节点的交集中确定所述业务的加速资源的计算节点,包括: 判断所述加速资源计算节点和所述计算资源计算节点的交集中的当前计算节点的形态属性是否与所述当前加速资源类型一致,若一致,则将当前计算节点作为所述业务的加速资源的计算节点。6.根据权利要求4所述的方法,其特征在于,所述从所述加速资源计算节点和所述计算资源计算节点的差集中确定所述业务的加速资源的计算节点,包括: 判断所述加速资源计算节点和所述计算资源计算节点的差集中的当前计算节点的形态属性是否与所述当前加速资源类型一致,若一致,则将当前计算节点作为所述业务的加速资源的计算节点。7.根据权利要求5或6所述的方法,其特征在于,所述形态属性用于标识所述计算节点的部署形态,所述部署形态包括虚拟化和硬直通。8.根据权利要求5或6所述的方法,其特征在于,还包括: 接收加速资源属性信息,所述加速资源属性信息中至少包括所述形态属性,所述加速资源属性信息通过周期性或计算节点初始化时查询加速资源属性获得。9.根据权利要求1所述的方法,其特征在于,所述接收业务的加速资源请求之前,还包括: 接收新增加速资源调度策略指示,所述新增加速资源调度策略指示中包括策略名称、加速资源类型以及每种类型的加速资源的调度优先级; 根据策略名称、加速资源类型以及每种类型的加速资源的调度优先级,生成所述加速资源调度策略。10.根据权利要求1所述的方法,其特征在于,所述接收业务的加速资源请求之后,还包括: 若所述资源调度请求中不包括所述加速资源调度策略,则将默认加速资源调度策略确定为所述资源调度请求中的加速资源调度策略。11.根据权利要求10所述的方法,其特征在于,所述默认加速资源调度策略中每种类型的加速资源的调度优先级从高到低分别为:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源、远端硬直通加速资源。12.根据权利要求1所述的方法,其特征在于,所述属性参数包括:加速类型、算法类型以及加速流量。13.一种加速资源处理装置,其特征在于,包括: 第一接收模块,用于接收业务的加速资源请求,所述加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,所述业务加速资源调度策略为根据所述业务的业务需求确定的; 处理模块,用于根据所述加速资源的属性参数和所述业务加速资源调度策略,确定所述业务的加速资源。14.根据权利要求13所述的装置,其特征在于,所述处理模块包括: 第一确定单元,用于根据所述加速资源的属性参数,确定加速资源计算节点; 第二确定单元,用于根据所述业务加速资源调度策略,从所述加速资源计算节点中确定所述业务的加速资源的计算节点。15.根据权利要求14所述的装置,其特征在于,所述处理模块还包括: 获取单元,用于根据所述加速资源请求,获取计算资源计算节点。16.根据权利要求15所述的装置,其特征在于,所述第二确定单元具体用于: 按照所述加速资源调度策略中的加速资源的优先级顺序,确定当前加速资源类型;若所述当前加速资源类型为本地虚拟化加速资源或本地硬直通加速资源,则:从所述加速资源计算节点和所述计算资源计算节点的交集中确定所述业务的加速资源的计算节点;若所述当前加速资源类型为远端虚拟化加速资源或远端硬直通加速资源,则:从所述加速资源计算节点和所述计算资源计算节点的差集中确定所述业务的加速资源的计算节点。17.根据权利要求16所述的装置,其特征在于,所述第二确定单元具体还用于: 判断所述加速资源计算节点和所述计算资源计算节点的交集中的当前计算节点的形态属性是否与所述当前加速资源类型一致,若一致,则将当前计算节点作为所述业务的加速资源的计算节点。18.根据权利要求16所述的装置,其特征在于,所述第二确定单元具体还用于: 判断所述加速资源计算节点和所述计算资源计算节点的差集中的当前计算节点的形态属性是否与所述当前加速资源类型一致,若一致,则将当前计算节点作为所述业务的加速资源的计算节点。19.根据权利要求17或18所述的装置,其特征在于,所述形态属性用于标识所述计算节点的部署形态,所述部署形态包括虚拟化和硬直通。20.根据权利要求17或18所述的装置,其特征在于,所述装置还包括: 第二接收模块,用于接收加速资源属性信息,所述加速资源属性信息中至少包括所述形态属性,所述加速资源属性信息通过周期性或计算节点初始化时查询加速资源属性获得。21.根据权利要求13所述的装置,其特征在于,还包括: 第三接收模块,用于接收新增加速资源调度策略指示,所述新增加速资源调度策略指示中包括策略名称、加速资源类型以及每种类型的加速资源的调度优先级; 生成模块,用于根据策略名称、加速资源类型以及每种类型的加速资源的调度优先级,生成所述加速资源调度策略。22.根据权利要求13所述的装置,其特征在于,还包括: 确定模块,用于在所述资源调度请求中不包括所述加速资源调度策略时,将默认加速资源调度策略确定为所述资源调度请求中的加速资源调度策略。23.根据权利要求22所述的装置,其特征在于,所述默认加速资源调度策略中每种类型的加速资源的调度优先级从高到低分别为:本地虚拟化加速资源、远端虚拟化加速资源、本地硬直通加速资源、远端硬直通加速资源。24.根据权利要求13所述的装置,其特征在于,所述属性参数包括:加速类型、算法类型以及加速流量。25.一种加速资源处理装置,其特征在于,包括: 存储器以及处理器; 所述存储器用于存储程序指令,所述处理器用于调用所述存储器中的程序指令,执行下述方法: 接收业务的加速资源请求,所述加速资源请求中包括加速资源的属性参数和业务加速资源调度策略,其中,所述业务加速资源调度策略为根据所述业务的业务需求确定的; 根据所述加速资源的属性参数和所述业务加速资源调度策略,确定所述业务的加速资源。26.一种网络功能虚拟化NFV系统,其特征在于,所述NFV系统包括如权利要求13-24任一项所述的加速资源处理装置。
【文档编号】G06F9/455GK105979007SQ201610522240
【公开日】2016年9月28日
【申请日】2016年7月4日
【发明人】黄宝君, 康明
【申请人】华为技术有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1