网卡资源池化管理方法及系统的制作方法

文档序号:7810902阅读:186来源:国知局
网卡资源池化管理方法及系统的制作方法
【专利摘要】本发明公开了一种网卡资源池化管理方法,包括如下步骤:S1、扫描并识别计算机中所有的物理网卡,并初始化所有的物理网卡;S2、根据不同用户群对网络的需求,对计算机中所有的物理网卡进行资源池的多层次划分;S3、根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机;通过虚拟网卡管理接口安装、卸载和/或删除虚拟网卡。实施本发明能够对计算机的物理网卡资源进行有效地组织和管理并且根据用户的需求合理调度物理网卡资源。本发明公开了一种网卡资源池化管理系统。
【专利说明】网卡资源池化管理方法及系统

【技术领域】
[0001]本发明涉及一种网卡资源管理【技术领域】,尤其涉及一种网卡资源池化管理方法及系统。

【背景技术】
[0002]随着虚拟化技术的应用范围越来越广泛,I/O虚拟化技术越来越受到业界的重视。I/O虚拟化技术包括CPU虚拟化、存储器虚拟化、网卡虚拟化等等。而虚拟化中资源管理是指对各种I/o资源进行管理,目前的主要包括CPU资源管理和存储资源管理。CPU资源管理使用池技术来对主机的CPU资源进行划分,并通过绑定技术实现虚拟CPU调度的隔离。存储资源管理也使用资源池技术对主机的存储进行划分,并为主机提供各种类型的虚拟磁盘。
[0003]其中,网卡虚拟化技术是一种I/O虚拟化技术。网卡虚拟化技术能够将单个物理网卡虚拟成为多个虚拟网卡,从而能够为多个虚拟机(Virtual Machine, VM)提供网卡,使得众多虚拟机具备网络功能。
[0004]现有的网卡虚拟化技术分为软件模拟技术、半虚拟化技术和硬件辅助虚拟化技术。软件模拟技术使用CPU和内存来模拟网卡功能,具有适用性广的优点,然而由于需要占用较多的CPU资源,因此缺点是会带来较高的CPU负载。半虚拟化技术中,网卡资源由VMM (虚拟机管理器)管理,性能比软件模拟方式更高,然而由于虚拟机采用特定接口与VMM通信,需要对虚拟机操作系统进行修改。硬件辅助虚拟化技术通过专用的虚拟化硬件来支持网卡的虚拟化,因此具有性能出色且系统负载低的优点;然而由于需要特殊的硬件支持,如特殊的计算机芯片组和网卡,因此该技术的适用范围受到限制。不同的网卡虚拟化具有不同的特点,因此需要选用合适的虚拟化技术,以满足不同的应用环境下用户的各种需求。
[0005]而物理网卡资源目前缺乏相应的管理方法,致使虚拟化系统在运行时出现以下问题:1)无法对计算机的物理网卡资源进行有效地组织和管理;2)无法根据用户的需求合理调度物理网卡资源。


【发明内容】

[0006]有鉴于此,有必要提供一种能够对计算机的物理网卡资源进行有效地组织和管理并且根据用户的需求合理调度物理网卡资源的网卡资源池化管理方法及系统。
[0007]一种网卡资源池化管理方法,其包括如下步骤:
[0008]S1、扫描并识别计算机中所有的物理网卡,并初始化所有的物理网卡;
[0009]S2、根据不同用户群对网络的需求,对计算机中所有的物理网卡进行资源池的多层次划分;
[0010]S3、根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机;通过虚拟网卡管理接口安装、卸载和/或删除虚拟网卡。
[0011]一种网卡资源池化管理系统,其包括:
[0012]初始化模块,用于扫描并识别计算机中所有的物理网卡,并用于初始化所有的物理网卡;
[0013]资源池化模块,用于根据不同用户群对网络的需求,对计算机中所有的物理网卡进行资源池的多层次划分;
[0014]虚拟网卡管理模块,用于根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机;并用于通过虚拟网卡管理接口安装、卸载和/或删除虚拟网卡。
[0015]本发明提供的网卡资源池化管理方法及系统,通过计算机中所有的物理网卡进行资源池的多层次划分,实现了物理网卡资源的隔离性和提高了其安全性,因此能够对物理网卡资源进行有效地组织和管理。并且根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机,能够满足不同的用户的虚拟网卡的性能需求,实现了根据用户的需求合理调度物理网卡资源。

【专利附图】

【附图说明】
[0016]图1是本发明一较佳实施例的网卡资源池化管理方法流程图;
[0017]图2是图1中步骤SI的子流程图;
[0018]图3是图2中步骤S13的子流程图;
[0019]图4是图1中步骤S2的子流程图;
[0020]图5是图1中步骤S3的子流程图;
[0021]图6是本发明实施例的网卡资源管理架构图;
[0022]图7是本发明实施例的网卡资源池化示意图;
[0023]图8是本发明实施例中虚拟网卡管理的示意图;
[0024]图9是本发明一较佳实施例的网卡资源池化管理系统的结构框图;
[0025]图10是图9中初始化模块的子结构框图;
[0026]图11是图10中网卡信息表配置单元的子结构框图;
[0027]图12是图9中资源池化模块的子结构框图;
[0028]图13是图9中虚拟网卡管理模块的子结构框图。

【具体实施方式】
[0029]如图1所示,本发明实施例提供一种网卡资源池化管理方法,所述网卡资源池化管理方法包括如下步骤:
[0030]如图6所示,图6是本发明实施例的网卡资源管理架构图,虚拟机监控器负责管理计算机硬件资源,提供给虚拟资源给各种虚拟机使用。其中Guest App表示用户的应用程序,Guest OS Windows表示用户的操作系统是微软的视窗操作系统。Guest OS Linux表示用户的操作系统是Linux操作系统。
[0031]S1、扫描并识别计算机中所有的物理网卡,并初始化所有的物理网卡。
[0032]可选地,如图2所示,所述步骤SI包括以下子步骤:
[0033]S11、调用计算机的物理网卡接口,识别计算机中所有的物理网卡,配置物理网卡的网卡配置信息。
[0034]网卡配置信息包括网卡名称、MAC地址、IP地址和子网掩码。
[0035]S12、启动网络服务并建立网络连接。
[0036]S13、将所述网卡配置信息和虚拟化技术信息登记到网卡信息表中。
[0037]可选地,如图3所示,所述步骤S13包括以下子步骤:
[0038]S131、通过网卡设备查询接口检测物理网卡是否支持硬件虚拟化技术以及支持的硬件虚拟化技术的类型。
[0039]其中,其中硬件虚拟化技术指该物理网卡是否支持硬件辅助虚拟化技术。
[0040]S132、如果物理网卡支持硬件虚拟化技术,则将物理网卡支持的硬件虚拟化技术类型以及网卡配置信息记载到网卡信息表中;如果物理网卡不支持硬件虚拟化技术,则将物理网卡支持软件模拟化的信息以及网卡配置信息记载到网卡信息表中。
[0041]例如,如果某物理网卡支持某种硬件虚拟化技术,如sr-1ov技术,则虚拟化技术信息填写其名称“sr-1ov”;如果不支持任何硬件虚拟化技术,则填写“soft”,表示其仅支持软件模拟方式。
[0042]S2、根据不同用户群对网络的需求,对计算机中所有的物理网卡进行资源池的多层次划分。
[0043]如图4所示,所述步骤S2包括以下子步骤:
[0044]S21、根据不同用户群对于网络总体带宽和性能的需求,通过资源池用户接口创建具有多层次结构的资源池。资源池包括根资源池、网卡资源池、网卡子资源池。计算机中所有的物理网卡组成根资源池,将根资源池划分为多个网卡资源池,将网卡资源池划分为多个网卡子资源池。
[0045]资源池的结构如图7所示,类似于树结构。图7中O层池表示根资源池,I层池表示网卡资源池,2层池表示网卡子资源池。图7中的资源池管理模块包括了资源池用户接口以及资源池管理接口。资源池管理接口提供了实现资源池用户接口的支撑功能。首先是与资源池相关的借口,包括资源池创建借口,子资源池创建接口,以及资源池删除接口。资源池删除接口需要首先删除掉其子资源池,然后才能删除该资源池。而删除子资源池,必须先删除子资源池中的所有物理网卡。其次是物理网卡相关的管理接口。包括向资源池中添加物理网卡,以及从资源池中删除物理网卡功能。网卡这些接口是通过物理网卡的绑定和解绑功能实现的。
[0046]S22、根据资源池所需的网络带宽,通过资源池用户接口将各个物理网卡绑定到各个资源池中。一个资源池可包含多个物理网卡,一个物理网卡只能绑定到特定的资源池中。
[0047]确定的网络带宽的方式有两种:一种是绝对带宽值,以Mb/s为单位;另一种是百分比,如20%。除了普通物理网卡外,如果需要为资源池申请高性能网卡,需要注明所需的物理网卡的数量和种类。比如可以提供两种高性能显卡:一种是高速显卡,另一种是全速显卡。此外,资源池用户接口还可以提供删除资源池,向资源池添加物理网卡,以及从资源池删除网卡接口。
[0048]S23、将资源池的层次结构和物理网卡绑定情况记载到网卡资源池信息表中。
[0049]网卡资源池信息的结构可以参见图7。网卡资源池信息表的具体内容包括资源池编号以及资源池所包含的硬件网卡资源,可以是子资源池编号,也可以是物理网卡编号。对资源池内物理网卡资源做任何变更之后,都由资源池管理接口同步更新网卡资源池信息表。更新内容包括:向资源池η中添加物理网卡i后,在表项为η的行中添加子节点i ;从现有资源池η中删除物理网卡j后,在表项为η的行中删除子节点j ;向资源池η中添加子资源池m后,在表项为η的行中添加子节点m,并且新建资源池表项m,然后向m的子节点中添加所属的物理网卡号;从网卡资源池中删除资源池η后,需要首先删除表项η所包含的子资源池对应的表项,及其包含的所有物理网卡对应的表项,最后删除表项η。
[0050]S3、根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机;通过虚拟网卡管理接口安装、卸载和/或删除虚拟网卡。
[0051]如图5所示,所述步骤S3包括以下子步骤:
[0052]S31、生成虚拟网卡信息表,根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机。
[0053]创建网卡需要根据用户的需求创建相应类型和数量的虚拟网卡,以供虚拟机使用。
[0054]S32、将虚拟网卡的基本信息、类型信息以及运行状态信息记录到虚拟网卡信息表。
[0055]虚拟网卡信息表的结构如图8所示。图8中的虚拟网卡信息表中的网卡类型soft表示物理网卡支持软件模拟,Hard表示物理网卡支持硬件虚拟化。VMl至VM4表示第一虚拟机至第4虚拟机。虚拟网卡信息表记载了虚拟网卡基本信息,及其运行状态。虚拟网卡基本信息包括虚拟网卡编号、虚拟网卡类型、物理网卡编号以及所在的虚拟机。虚拟网卡的类型包括普通网卡、高速网卡和全速网卡。当虚拟网卡运行状态是未被任何虚拟机使用时,所在虚拟机项为空。
[0056]S33、通过虚拟网卡管理接口完成虚拟网卡安装、卸载、删除的管理。
[0057]S34、根据管理后的虚拟网卡的信息更新虚拟网卡信息表。
[0058]在虚拟网卡管理模块对虚拟网卡进行管理操作后,必须更新虚拟网卡信息表:当创建虚拟网卡后,向该信息表中添加表项,并按要求填写该表项,但所属虚拟机栏为空;当安装虚拟网卡后,需更新表中该虚拟网卡的所属虚拟机栏;当卸载虚拟网卡后,需将表中该虚拟网卡的所属虚拟机栏设置为空;当删除虚拟网卡后,需删除表中该虚拟网卡项。
[0059]本发明实施首先对物理网卡资源进行识别和分类,分为支持硬件辅助虚拟化的物理网卡和仅支持软件模拟方式的物理网卡这两大类。对于需要高性能网络的用户,必须分配支持硬件辅助虚拟化的物理网卡。而对于普通的用户,尽量分配软件模拟方式的物理网卡,预留支持硬件辅助虚拟化的物理网卡。进一步的,本发明实施例可将当前池中的物理网卡资源划分为多个子资源池,实现多级资源池技术以支持物理网卡资源的多级管理,解决了不同用户对网络有不同需求的问题,以及物理网卡资源多级管理的问题;可以用于虚拟化环境下的网卡资源管理。
[0060]本发明实施例提供的网卡资源池化管理方法,通过计算机中所有的物理网卡进行资源池的多层次划分,实现了物理网卡资源的隔离性和提高了其安全性,因此能够对物理网卡资源进行有效地组织和管理。并且根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机,能够满足不同的用户的虚拟网卡的性能需求,实现了根据用户的需求合理调度物理网卡资源。
[0061]如图9所示,本发明实施例还提供一种网卡资源池化管理系统,所述网卡资源池化管理系统包括如下模块:
[0062]初始化模块10,用于扫描并识别计算机中所有的物理网卡,并用于初始化所有的物理网卡;
[0063]如图10所示,所述初始化模块10包括以下单元:
[0064]物理网卡识别单元11,用于调用计算机的物理网卡接口,识别计算机中所有的物理网卡,配置物理网卡的网卡配置信息。
[0065]网络连接建立单元12,用于启动网络服务并建立网络连接。
[0066]网卡信息表配置单元13,用于将所述网卡配置信息和虚拟化技术信息登记到网卡信息表中。
[0067]如图11所示,所述网卡信息表配置单元13包括以下子单元:
[0068]查询子单元131,用于通过网卡设备查询接口检测物理网卡是否支持硬件虚拟化技术以及支持的硬件虚拟化技术的类型;
[0069]信息记录子单元132,用于在物理网卡支持硬件虚拟化技术时,将物理网卡支持的硬件虚拟化技术类型以及网卡配置信息记载到网卡信息表中;并用于在物理网卡不支持硬件虚拟化技术时,将物理网卡支持软件模拟化的信息以及网卡配置信息记载到网卡信息表中。
[0070]资源池化模块20,用于根据不同用户群对网络的需求,对计算机中所有的物理网卡进行资源池的多层次划分;
[0071]如图12所示,所述资源池化模块20包括以下单元:
[0072]资源池创建单元21,用于根据不同用户群对于网络总体带宽和性能的需求,通过资源池用户接口创建具有多层次结构的资源池;资源池包括根资源池、网卡资源池、网卡子资源池;并用于将计算机中所有的物理网卡组成根资源池,将根资源池划分为多个网卡资源池,将网卡资源池划分为多个网卡子资源池;
[0073]网卡绑定单元22,用于根据资源池所需的网络带宽,通过资源池用户接口将各个物理网卡绑定到各个资源池中;一个资源池可包含多个物理网卡,一个物理网卡只能绑定到特定的资源池中;
[0074]资源池信息表配置单元23,用于将资源池的层次结构和物理网卡绑定情况记载到网卡资源池信息表中。
[0075]虚拟网卡管理模块30,用于根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机;并用于通过虚拟网卡管理接口安装、卸载和/或删除虚拟网卡。
[0076]如图13所示,所述虚拟网卡管理模块30包括以下单元:
[0077]虚拟网卡创建单元31,用于生成虚拟网卡信息表,并用于根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机;
[0078]信息表记录单元32,用于将虚拟网卡的基本信息、类型信息以及运行状态信息记录到虚拟网卡信息表;
[0079]虚拟网卡管理单元33,用于通过虚拟网卡管理接口完成虚拟网卡安装、卸载、删除的管理;
[0080]信息表更新单元34,用于根据管理后的虚拟网卡的信息更新虚拟网卡信息表。
[0081]以上装置实施例与方法实施例是一一对应的,装置实施例简略之处,参见方法实施例即可。
[0082]本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
[0083]专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应超过本发明的范围。
[0084]结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或【技术领域】内所公知的任意其他形式的存储介质中。
[0085]上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的【具体实施方式】,上述的【具体实施方式】仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。
【权利要求】
1.一种网卡资源池化管理方法,其特征在于,所述网卡资源池化管理方法包括如下步骤: 51、扫描并识别计算机中所有的物理网卡,并初始化所有的物理网卡; 52、根据不同用户群对网络的需求,对计算机中所有的物理网卡进行资源池的多层次划分; 53、根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机;通过虚拟网卡管理接口安装、卸载和/或删除虚拟网卡。
2.根据权利要求1所述的网卡资源池化管理方法,其特征在于,所述步骤SI包括以下子步骤: 511、调用计算机的物理网卡接口,识别计算机中所有的物理网卡,配置物理网卡的网卡配置信息; 512、启动网络服务并建立网络连接; 513、将所述网卡配置信息和虚拟化技术信息登记到网卡信息表中。
3.根据权利要求2所述的网卡资源池化管理方法,其特征在于,所述步骤S13包括以下子步骤: 5131、通过网卡设备查询接口检测物理网卡是否支持硬件虚拟化技术以及支持的硬件虚拟化技术的类型; 5132、如果物理网卡支持硬件虚拟化技术,则将物理网卡支持的硬件虚拟化技术类型以及网卡配置信息记载到网卡信息表中;如果物理网卡不支持硬件虚拟化技术,则将物理网卡支持软件模拟化的信息以及网卡配置信息记载到网卡信息表中。
4.根据权利要求1所述的网卡资源池化管理方法,其特征在于,所述步骤S2包括以下子步骤: 521、根据不同用户群对于网络总体带宽和性能的需求,通过资源池用户接口创建具有多层次结构的资源池;资源池包括根资源池、网卡资源池、网卡子资源池;计算机中所有的物理网卡组成根资源池,将根资源池划分为多个网卡资源池,将网卡资源池划分为多个网卡子资源池; 522、根据资源池所需的网络带宽,通过资源池用户接口将各个物理网卡绑定到各个资源池中;一个资源池可包含多个物理网卡,一个物理网卡只能绑定到特定的资源池中; 523、将资源池的层次结构和物理网卡绑定情况记载到网卡资源池信息表中。
5.根据权利要求1所述的网卡资源池化管理方法,其特征在于,所述步骤S3包括以下子步骤: 531、生成虚拟网卡信息表,根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机; 532、将虚拟网卡的基本信息、类型信息以及运行状态信息记录到虚拟网卡信息表; 533、通过虚拟网卡管理接口完成虚拟网卡安装、卸载、删除的管理; 534、根据管理后的虚拟网卡的信息更新虚拟网卡信息表。
6.一种网卡资源池化管理系统,其特征在于,所述网卡资源池化管理系统包括如下模块: 初始化模块,用于扫描并识别计算机中所有的物理网卡,并用于初始化所有的物理网卡; 资源池化模块,用于根据不同用户群对网络的需求,对计算机中所有的物理网卡进行资源池的多层次划分; 虚拟网卡管理模块,用于根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机;并用于通过虚拟网卡管理接口安装、卸载和/或删除虚拟网卡。
7.根据权利要求6所述的网卡资源池化管理系统,其特征在于,所述初始化模块包括以下单元: 物理网卡识别单元,用于调用计算机的物理网卡接口,识别计算机中所有的物理网卡,配置物理网卡的网卡配置信息; 网络连接建立单元,用于启动网络服务并建立网络连接; 网卡信息表配置单元,用于将所述网卡配置信息和虚拟化技术信息登记到网卡信息表中。
8.根据权利要求7所述的网卡资源池化管理系统,其特征在于,所述网卡信息表配置单元包括以下子单元: 查询子单元,用于通过网卡设备查询接口检测物理网卡是否支持硬件虚拟化技术以及支持的硬件虚拟化技术的类型; 信息记录子单元,用于在物理网卡支持硬件虚拟化技术时,将物理网卡支持的硬件虚拟化技术类型以及网卡配置信息记载到网卡信息表中;并用于在物理网卡不支持硬件虚拟化技术时,将物理网卡支持软件模拟化的信息以及网卡配置信息记载到网卡信息表中。
9.根据权利要求8所述的网卡资源池化管理系统,其特征在于,所述资源池化模块包括以下单元: 资源池创建单元,用于根据不同用户群对于网络总体带宽和性能的需求,通过资源池用户接口创建具有多层次结构的资源池;资源池包括根资源池、网卡资源池、网卡子资源池;并用于将计算机中所有的物理网卡组成根资源池,将根资源池划分为多个网卡资源池,将网卡资源池划分为多个网卡子资源池; 网卡绑定单元,用于根据资源池所需的网络带宽,通过资源池用户接口将各个物理网卡绑定到各个资源池中;一个资源池可包含多个物理网卡,一个物理网卡只能绑定到特定的资源池中; 资源池信息表配置单元,用于将资源池的层次结构和物理网卡绑定情况记载到网卡资源池信息表中。
10.根据权利要求9所述的网卡资源池化管理系统,其特征在于,所述虚拟网卡管理模块包括以下单元: 虚拟网卡创建单元,用于生成虚拟网卡信息表,并用于根据不同用户群对网络的需求,选用资源池中的物理网卡,通过虚拟网卡管理接口创建不同类型的虚拟网卡并将所述虚拟网卡分配给各种虚拟机; 信息表记录单元,用于将虚拟网卡的基本信息、类型信息以及运行状态信息记录到虚拟网卡信息表; 虚拟网卡管理单元,用于通过虚拟网卡管理接口完成虚拟网卡安装、卸载、删除的管理; 信息表更新单元,用于根据管理后的虚拟网卡的信息更新虚拟网卡信息表。
【文档编号】H04L12/24GK104168135SQ201410385391
【公开日】2014年11月26日 申请日期:2014年8月6日 优先权日:2014年8月6日
【发明者】黄晋, 胡哲琨, 戴新发 申请人:中国船舶重工集团公司第七0九研究所
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1