信息处理系统、该信息处理系统的节电控制方法和装置的制作方法

文档序号:6570529阅读:154来源:国知局
专利名称:信息处理系统、该信息处理系统的节电控制方法和装置的制作方法
技术领域
本发明涉及信息处理系统的运用管理,特别涉及适于进行信息处理装置群和设备的综合节电运用管理的技术。
背景技术
近年来,由服务器、储存器、网络等的信息处理装置群以及对其进行供电或冷却的设备构成的信息处理系统的运用管理、特别是信息处理装置群和设备的综合节电运用管理技术受到关注。这是因为,面向信息通信的飞速发展以及广播与通信的融合时代,信息处理装置正在增加,另一方面,为了削减二氧化碳以防止地球温暖化,迫切需要大幅削减信息处理装置的消耗功率。例如,在专利文献I中,在对并列计算机进行工作调度的管理服务器中,根据计算机的温度传感器信息,对温度低的计算机投入新工作,使工作从温度高的计算机向温度低的计算机移动,防止由于高温而导致的并列计算机的故障或性能低下。并且,在工作的移动前后,根据温度信息来估计各个计算机和该各个计算机所具有的冷却装置的消耗功率,由此判断能否移动。在专利文献2中,在多个计算机的管理系统中,根据计算机的温度分布和工作信息,提取过热计算机和非过热计算机,使软件从前者向后者移动,实现节电化。并且,在提取对象计算机后,对软件移动前后的计算机功率和空调功率的变动进行比较,判断能否移动。计算机功率根据工作信息求出,空调功率根据温度分布求出,温度分布根据温度传感器或温度履历或工作信息求出。在专利文献3中,在对存在于数据中心的多个服务器分配作业负荷的方法中,对被请求的作业负荷的分布(Profile)和履历分布进行比较,按照服务器和空调的功率最低的履历,对服务器分配被请求的作业负荷,如果没有合适的履历,则随机分配。在履历分布中包含服务器的位置、类别、工作信息、进气温度、排气温度、作业负荷的类型、服务器和空调的功率。服务器和空调的功率根据服务器的进排气温度、比热和风量求出,或者通过功率计来测定。并且,在专利文献4中,在对存在于数据中心的多个服务器分配功率的方法中,在地理位置接近的服务器间或机架间进行功率预算的贷借,以接近理想的模拟的温度分布即功率分布,根据该预算分配,指定服务器的离散化的功率状态,防止由于热点或冷点而导致的服务器的故障。表示针对各服务器的理想功率的热乘数根据各服务器的排气温度、平均的服务器的基准排气温度、空调的供气温度求出。进而,在专利文献5中,提供如下的运用管理方法和运用管理装置:在特定装置中集中配置作业负荷,使其他装置休止或停止,由此能够实现信息处理装置群的节电化,与此相对,通过使装置群的功率尽可能地分散来提高运转效率,由此能够实现空调设备的节电化,在具有这种相反要求时,综合考虑功率分布或变动和空调设备的相互配置,为了实现信息处理装置群和空调设备的功率降低,对作业负荷的变动等状况进行监视,根据该状况,针对装置群适度地集中和分散配置作业负荷,进行最优化以使得装置群和设备的总功率最小。现有技术文献专利文献专利文献1:日本特开2004-126968号公报专利文献2:US2007/0180117专利文献3:美国专利申请公开第2006/0259621号说明书专利文献4:美国专利申请公开第2006/0259793号说明书专利文献5:US2009/0259345面向近年来的信息通信的飞速发展以及广播与通信的融合时代,预想到信息处理装置骤然增加。另一方面,为了削减二氧化碳以防止地球温暖化,迫切需要大幅削减信息处理装置的消耗功率。特别是在后端承担信息处理基础的数据中心中,除了信息处理装置群所消耗的功率以外,对其进行供电或冷却的设备所消耗的功率也占很大比例,将装置群和设备相加后的综合功率的削减成为重要课题。面向数据中心的节电化,在服务器、储存器、网络等的信息处理装置、供电设备、冷却设备、系统运用管理中开始进行各种努力。在信息处理装置中,基于低功率器件/电路的单位消耗功率的性能的提高、基于与作业负荷对应的动作/待机状态切换的节电功能的采用正在发展。在供电设备中,开始了从变压器、不间断电源装置、配电盘、分电器等到装置群电源的供电系统的损失降低和变换效率提高,在冷却设备中,开始了空调机自身的运转效率提高和供排气口的气流设计的最优化、以及局部冷却和液冷的导入。在运用管理中,列举工作信息监视、工作调度、以及基于虚拟化的装置群的运用效率改善或联合作为主要对策。供电设备和冷却设备一般根据装置群的最大额定功率来设计,但是,运用时的设备的效率和功率大大依赖于针对设备的装置群的功率分布和变动。例如,电源变换效率依赖于功率负荷,所以,根据装置的动作功率和供电系统,供电损失不同。并且,空调机的效率依赖于装置的功率即发热、空调机与装置之间的位置关系或距离、温度、风量、风向等,所以,根据装置的功率和配置,冷却功率受到很大影响。今后,基于数据中心的虚拟化的运用管理发展,预想到为了实现节电化而灵活运用联合和实时迁移,所以,需要充分考虑针对设备的装置群的功率分布的不均化和时间变动来削减装置群和设备的总功率的对策。以往,作为与服务器和计算机等装置群、冷却装置、空调设备有关的温度和功率的运用管理方法,公知有若干个公知例,但是,在上述综合节电化的意思中,停留在局部或逐次的对策。其中,例如,在专利文献I中,通过对并列计算机中的温度低的计算机分配工作来抑制计算机的温度上升,但是,如数据中心那样在混合存在多样的信息处理装置的情况下,温度低的装置不一定节电。并且,在工作的移动前后估计计算机的消耗功率,所以,与移动方和移动目的地有关的功率降低,但是,对于并列计算机全体来说,只不过是局部的节电化。该估计还包括每个计算机附带的冷却装置的功率,但是,没有考虑空调设备和计算机等的配置,即使计算机和冷却装置的功率由于工作的分配而降低,空调功率上升也会引起总功率增加。在专利文献2中,使软件从过热计算机向非过热计算机移动来进行分散,但是,温度低的计算机不一定功率低,而且,使软件集中于特定计算机而使其他计算机待机或休止,有时在计算机群全体中实现节电。并且,在软件的移动前后对计算机功率和空调功率的变动进行比较,但是,比较对象仅限于提取出的过热和非过热的计算机,而没有考虑加上空调设备的总功率。在专利文献3中,根据服务器和空调的功率最低的履历分布,对服务器分配被请求的作业负荷,所以,针对履历范围内的新请求,能够降低将服务器群和空调设备相加后的功率,但是,在没有适当的履历的情况下、或已分配的作业负荷大幅变动的情况下无法应对,或者只能根据履历的蓄积而逐次改善。并且,在履历分布中包含服务器的位置,但是,根据服务器进排气温度或功率计求出空调功率,没有考虑服务器和空调设备的位置关系,对位于履历中出现的范围内的位置的服务器分配作业负荷,不一定会使服务器群和空调设备的总功率最小。在专利文献4中,在接近的服务器间贷借功率预算以接近理想的温度分布,所以,没有降低服务器群全体的合计功率。并且,以温度的平均化为目的,在宏观上使功率分散在服务器群中,所以,与基于服务器的联合的节电化不相容。为了进行功率分配,参照服务器的地理位置、排气温度、空调的供气温度,但是,没有考虑空调设备的功率和配置,无助于空调功率的降低。服务器中指定的功率状态为待机模式(待机功率)和最大动作模式(最大功率),没有考虑与作业负荷对应的功率变动,没有灵活运用服务器自身的节电功能。在专利文献5中,提供如下的运用管理方法和运用管理装置:在特定装置中集中配置作业负荷,使其他装置休止或停止,由此能够实现信息处理装置群的节电化,与此相对,通过使装置群的功率尽可能地分散来提高运转效率,由此能够实现空调设备的节电化,在具有这种相反要求时,综合考虑功率分布或变动和空调设备的相互配置,为了实现信息处理装置群和空调设备的功率降低,对作业负荷的变动等状况进行监视,根据该状况,针对装置群适度地集中和分散配置作业负荷,进行最优化以使得装置群和设备的总功率最小。但是,没有考虑作业负荷再配置时的处理中的功率消耗,在空调设备的控制中,需要进行针对与该作业负荷再配置处理有关的消耗功率插入余量的低温度设定,残留有相应量的节电化的余地。如上所述,现有技术具有只不过是局部或逐次降低信息处理装置群和空调设备的功率的问题。

发明内容
本发明的目的在于,提供如下的信息处理系统、实现该信息处理系统的节电运用的控制方法和装置:通过综合考虑装置群的功率分布或变动和设备的相互配置,削减了将装置群和设备相加后的总功率。为了实现上述目的,在本发明中,提供一种信息处理系统的节电控制方法,该信息处理系统由多种信息处理装置相互连接的信息处理装置群和对该信息处理装置群进行冷却的冷却设备构成,其中,设信息处理装置群上的作业负荷的工作信息和位置以及冷却设备的环境信息和位置为配置信息,对以规定契机确定的一定期间内的在信息处理装置群上执行处理的各作业负荷的工作信息进行预测,根据按照每个作业负荷预测出的工作信息,在一定期间内,以不高于被分配有各作业负荷的工作信息的信息处理装置群中的各个性能的方式,导出针对信息处理装置群的假想作业负荷分配,计算针对信息处理装置群的假想作业负荷分配中的假想消耗功率及其配置信息、以及转移到针对信息处理装置群的假想作业负荷分配的处理中的假想消耗功率及其配置信息,根据计算结果,计算用于执行冷却设备的控制的假想冷却功率,探索基于规定契机的一定期间内的、信息处理装置群的假想消耗功率和冷却设备的假想冷却功率的总和降低最多的针对信息处理装置群的最优假想作业负荷分配,以规定契机,根据探索到的最优假想作业负荷分配,针对信息处理装置群分配转移作业负荷,针对实际作业负荷的分配转移处理的实际消耗功率执行冷却设备的控制。并且,为了实现上述目的,在本发明中,提供一种信息处理系统,由多种信息处理装置相互连接的信息处理装置群、对该信息处理装置群进行冷却的设备、以及运用管理装置构成,其中,运用管理装置具有处理部和存储部,存储部存储信息处理装置群上的作业负荷的工作信息和位置以及冷却设备的环境信息和位置,作为配置信息,处理部对一定期间内的在信息处理装置群上执行处理的各作业负荷的工作信息进行预测,根据预测出的工作信息,在一定期间内,以不高于被分配有各作业负荷的工作信息的信息处理装置群中的各个性能的方式,导出针对信息处理装置群的假想作业负荷分配,计算针对信息处理装置群的假想作业负荷分配中的假想消耗功率和配置信息、以及转移到针对信息处理装置群的假想作业负荷分配的处理中的假想消耗功率和配置信息,根据该计算结果,计算用于执行设备的控制的假想冷却功率,探索一定期间内的、信息处理装置群的假想消耗功率和设备的假想冷却功率的总和降低的最优假想作业负荷分配,以规定契机,根据探索到的最优假想作业负荷分配,针对信息处理装置群分配转移作业负荷,针对作业负荷的分配转移处理的实际消耗功率执行设备的控制。进而,为了实现上述目的,在本发明中,提供一种运用管理装置,进行多种信息处理装置相互连接的信息处理装置群以及对信息处理装置群进行温度控制的设备的运用管理,其中,运用管理装置具有处理部和存储部,在存储部中存储信息处理装置群上的作业负荷的工作信息和位置以及设备的环境信息和位置,作为配置信息,处理部对一定期间内的在信息处理装置群上执行处理的各作业负荷的工作信息进行预测,根据预测出的工作信息,在一定期间内,以不高于被分配有工作信息的信息处理装置群中的各个性能的方式,导出针对信息处理装置群的假想作业负荷分配,计算假想作业负荷分配中的假想消耗功率及其配置信息、以及转移到针对信息处理装置群的假想作业负荷分配的处理中的假想消耗功率及其配置信息,根据该计算结果,计算用于执行设备的控制的假想消耗功率,探索一定期间内的、信息处理装置群和设备的假想消耗功率的总和降低的针对信息处理装置群的最优假想作业负荷分配,根据探索到的最优假想作业负荷分配,针对信息处理装置群分配转移作业负荷,针对实际作业负荷的分配转移处理的实际消耗功率执行设备的控制。本发明的代表实施方式的特征在于,具有由信息处理装置群的位置和工作信息以及设备的位置和环境信息构成的配置信息,具有根据工作信息求出针对装置群的作业负荷的消耗功率的单元、以及根据配置信息求出针对装置群的消耗功率的设备的供电损失或冷却功率的单元,由此分配作业负荷,以使得装置群和设备的总功率最小。关于装置群的位置和工作信息,不是提取过热/非过热装置,而是针对装置群全体收集并掌握装置的位置和作业负荷。工作信息是在从某个装置向其他装置移动作业负荷的情况下计算消耗功率所需要的充分的信息,根据需要,还包含装置的规格信息和结构信息。关于设备的位置和环境信息,如果是供电设备,则收集并掌握从变压器到装置电源的供电系统的供电损失,如果是冷却设备,则收集并掌握从外部气体经由空气或制冷剂到达装置即热源的热交换循环和冷却功率。环境信息除了从设备的内置传感器或外部传感器得到以外,根据需要,还根据装置的工作信息得到。在求出装置功率的单元中,不是根据温度信息和履历对照求出装置功率,与最大动作/待机状态的固定功率不同,装置对象不限于过热/非过热装置,根据工作信息,针对装置群全体求出根据作业负荷的多寡而变动的功率。在求出设备功率的单元中,不是根据温度分布和履历对照求出设备功率,不是求出装置中包含的冷却装置的功率,而是根据装置群和设备的相互配置信息,求出与装置群的功率分布或变动对应的设备全体的功率。在对装置群分配作业负荷的单元中,对象不限于温度低的装置、非过热装置、履历中残留的装置、地理位置接近的装置,将装置群全体作为对象,根据求出的最优解来分配作业负荷。本发明的代表实施方式的另一个特征在于,具有对由装置群的位置和工作信息以及设备的位置和环境信息构成的配置信息进行监视并根据当前或预定的作业负荷对装置群分配假想作业负荷的单元、根据转移到假想作业负荷的分配的作业负荷以及工作信息求出针对装置群的假想作业负荷的假想消耗功率的单元、以及根据配置信息和假想消耗功率求出设备的假想供电损失或假想冷却功率的单元,由此求出假想作业负荷分配的最优解,以使得装置群的假想消耗功率和设备的假想供电损失或假想冷却功率的总和最小。针对装置群的作业负荷分配存在多个组合,但是,通过分配假想作业负荷并探索将装置群和设备相加后的总功率最小的解,高效地找到最优解,按照该最优解对装置群分配实际作业负荷。不仅包括当前的作业负荷,还包括预定或预测的作业负荷在内,进行假想作业负荷的分配。在解的探索中,可以考虑装置的动作温度条件和容许负荷条件、供电设备的配电盘和机架电源的容许功率条件、冷却设备的冷却能力和用于避免热集中的区间容许功率条件等的制约条件。进而,本发明的另一个特征在于,具有对设置有装置群和设备的空间中的、装置群的位置坐标和工作信息以及设备的位置坐标和与供电或冷却有关的环境信息进行映射的配置信息。通过在虚拟空间上再现实际空间中的装置群或设备的工作状况或配置状态,针对共通的虚拟空间,统一进行装置群`的作业负荷分配和设备的运转仿真,实施装置群和设备紧密协作的运用管理。并且,通过使虚拟空间可视化,能够高效地一并进行装置群和设备的工作监视、业务运用、故障检测、资产管理、功率管理等。进而,本发明的另一个特征在于,具有装置功率函数,该装置功率函数根据装置的规格信息、结构信息、测定信息、工作信息或工作履历,针对装置的作业负荷计算消耗功率,由此,根据作业负荷的分配、变更、移动等简单地求出装置功率。例如,当利用将时刻t作为变量的函数Ijk (t) (k=l、2、…)表示根据时间而变动的各个作业负荷时,装置i的装置功率函数Pm (i=l、2、…)如数式I那样表示。数式IPm = PDiO|l(t) lj2(t)^.*.) = PDi(I)(X)) (1=1,2,...)-— (I)这里,是各个作业负荷针对装置群的分配j (j = 1、2、…)并且,所有装置的装置功率的总和如下式2那样表示。
数式2
权利要求
1.一种信息处理系统的节电控制方法,该信息处理系统由多种信息处理装置相互连接而成的信息处理装置群和对该信息处理装置群进行冷却的冷却设备构成,该节电控制方法的特征在于, 设所述信息处理装置群上的作业负荷的工作信息和位置以及所述冷却设备的环境信息和位置为配置信息, 对以规定契机确定的一定期间内的在所述信息处理装置群上执行处理的各作业负荷的工作信息进行预测, 根据对每个作业负荷预测出的所述工作信息,在所述一定期间内,以不高于被分配有各作业负荷的工作信息的所述信息处理装置群中的各个性能的方式,导出针对所述信息处理装置群的假想作业负荷分配, 计算针对所述信息处理装置群的所述假想作业负荷分配中的假想消耗功率及其配置信息、以及转移到针对所述信息处理装置群的所述假想作业负荷分配的处理中的假想消耗功率及其配置信息, 根据计算结果,计算用于执行所述冷却设备的控制的假想冷却功率, 探索基于所述规定契机的一定期间内的、所述信息处理装置群的假想消耗功率和所述冷却设备的假想冷却功率的总和降低最多的针对所述信息处理装置群的最优假想作业负荷分配, 以所述规定契机,根据探索到的所述最优假想作业负荷分配,针对所述信息处理装置群分配转移作业负荷,针对所述实际作业负荷的分配转移处理的实际消耗功率执行所述冷却设备的控制。
2.如权利要求1所述的信息处理系统的节电控制方法,其特征在于, 根据在所述一定期间内预定的作业负荷及其工作信息,导出针对所述信息处理装置群的假想作业负荷分配, 根据在所述一定期间内预定的工作信息,针对所述信息处理装置群计算针对假想作业负荷的假想消耗功率, 在针对所述信息处理装置群分配转移实际作业负荷的契机之前,实施所述冷却设备的控制。
3.如权利要求2所述的信息处理系统的节电控制方法,其特征在于, 所述一定期间为每日、每周、每月。
4.如权利要求1所述的信息处理系统的节电控制方法,其特征在于, 导入各个所述信息处理装置的运算处理部的使用率、存储器的使用率、以及基于连接拓扑的储存器访问中的带宽使用率、网络访问中的带宽使用率,作为所述工作信息, 以不超过所述信息处理装置群的实际容许量的方式,分配所述假想作业负荷。
5.如权利要求1所述的信息处理系统的节电控制方法,其特征在于, 作为所述工作信息,导入基于连接所述信息处理装置的拓扑的储存器访问中的时延和网络访问中的时延, 以不超过预先确定的时延的容许量的方式,分配所述假想作业负荷。
6.如权利要求1所述的信息处理系统的节电控制方法,其特征在于, 所述信息处理装置群构成虚拟化环境,由虚拟化管理器管理,经由所述虚拟化管理器,根据针对所述信息处理装置群的多个虚拟装置的配置进行针对所述信息处理装置群的实际作业负荷的分配。
7.如权利要求1所述的信息处理系统的节电控制方法,其特征在于, 所述信息处理装置群由网络分散型操作系统管理,根据所述网络分散型操作系统中的多个进程的配置进行针对所述信息处理装置群的实际作业负荷的分配。
8.一种信息处理系统,由多种信息处理装置相互连接而成的信息处理装置群、对该信息处理装置群进行冷却的设备、以及运用管理装置构成,其特征在于, 所述运用管理装置具有处理部和存储部, 所述存储部存储所述信息处理装置群上的作业负荷的工作信息和位置以及所述冷却设备的环境信息和位置,作为配置信息, 所述处理部对一定期间内的在所述信息处理装置群上执行处理的各作业负荷的工作信息进行预测, 根据预测出的所述工作信息,在所述一定期间内,以不高于被分配有各作业负荷的工作信息的所述信息处理装置群中的各个性能的方式,导出针对所述信息处理装置群的假想作业负荷分配, 计算针对所述信息处理装置群的所述假想作业负荷分配中的假想消耗功率和配置信息、以及转移到针对所述信息处理装置群的所述假想作业负荷分配的处理中的假想消耗功率和配置信息, 根据该计算结果,计算用于执行所述设备的控制的假想冷却功率, 探索所述一定期间内的、所述信息处理装置群的假想消耗功率和所述设备的假想冷却功率的总和降低的最优假想作业 负荷分配, 以规定契机,根据探索到的所述最优假想作业负荷分配,针对所述信息处理装置群分配转移作业负荷,针对所述作业负荷的分配转移处理的实际消耗功率执行所述设备的控制。
9.如权利要求8所述的信息处理系统,其特征在于, 所述处理部根据在所述一定期间内预定的作业负荷及其工作信息,导出针对所述信息处理装置群的假想作业负荷分配, 根据在所述一定期间内预定的工作信息,针对所述信息处理装置群计算针对假想作业负荷的假想消耗功率, 在针对所述信息处理装置群分配转移实际作业负荷的契机之前,实施所述设备的控制。
10.如权利要求9所述的信息处理系统,其特征在于, 所述一定期间为每日、每周或每月。
11.如权利要求8所述的信息处理系统,其特征在于, 所述处理部使用各个所述信息处理装置的运算处理部的使用率、存储器的使用率、以及基于连接拓扑的储存器和网络访问中的带宽使用率,作为所述工作信息,以不超过所述信息处理装置群的实际容许量的方式,分配所述假想作业负荷。
12.如权利要求8所述的信息处理系统,其特征在于, 所述处理部导入基于连接所述信息处理装置的拓扑的储存器访问中的时延和网络访问中的时延,作为所述工作信息,以不超过预先确定的时延的容许量的方式,分配所述假想作业负荷。
13.如权利要求8所述的信息处理系统,其特征在于, 所述运用管理装置通过虚拟化管理器来管理所述信息处理装置群, 经由所述虚拟化管理器,根据针对所述信息处理装置群的多个虚拟装置的配置进行针对所述信息处理装置群的实际作业负荷的分配。
14.如权利要求8所述的信息处理系统,其特征在于, 所述运用管理装置通过网络分散型操作系统来管理所述信息处理装置群, 根据所述网络分散型操作系统中的多个进程的配置进行针对所述信息处理装置群的实际作业负荷的分配。
15.一种运用管理装置,进行信息处理装置群以及对该信息处理装置群进行温度控制的设备的运用管理,所述信息处理装置群由多种信息处理装置相互连接而成,该运用管理装置的特征在于, 所述运用管理装置具有处理部和存储部, 在所述存储部中存储所述信息处理装置群上的作业负荷的工作信息和位置以及所述设备的环境信息和位置,作为配置信息, 所述处理部对一定期间内的在所述信息处理装置群上执行处理的各作业负荷的工作信息进行预测, 根据预测出的所述工作信息,在所述一定期间内,以不高于被分配有所述工作信息的所述信息处理装置群中的各个性能的方式,导出针对所述信息处理装置群的假想作业负荷分配, 计算所述假想作业负荷分配中的假想消耗功率及其配置信息、以及转移到针对所述信息处理装置群的所述假想作业负荷分配的处理中的假想消耗功率及其配置信息, 根据该计算结果,计算用于执行所述设备的控制的假想消耗功率, 探索所述一定期间内的、所述信息处理装置群和所述设备的假想消耗功率的总和降低的针对所述信息处理装置群的最优假想作业负荷分配, 根据探索到的所述最优假想作业负荷分配,针对所述信息处理装置群分配转移作业负荷,针对所述实际作业负荷的分配转移处理的实际消耗功率执行所述设备的控制。
全文摘要
本发明提供一种信息处理系统、节电控制方法和装置。削减将装置群和设备相加后的总功率,实现节电运用。存储信息处理装置群上的作业负荷的工作信息和位置以及冷却设备的环境信息和位置作为配置信息,对执行处理的各作业负荷的工作信息进行预测,以不高于被分配有工作信息的各个性能的方式,导出假想作业负荷分配。计算假想作业负荷分配中的假想消耗功率和配置信息、以及针对假想作业负荷分配的转移处理中的假想消耗功率和配置信息,计算假想冷却功率,探索假想消耗功率和假想冷却功率的总和降低最多的假想作业负荷分配,根据探索到的该分配,针对信息处理装置群分配转移作业负荷,针对转移处理的实际消耗功率执行冷却设备的控制。
文档编号G06F1/32GK103150003SQ201210251189
公开日2013年6月12日 申请日期2012年7月19日 优先权日2011年10月27日
发明者野尻彻, 冲津润, 黑田雄树, 铃木英一, 加藤猛, 斋藤达也 申请人:株式会社日立制作所
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1