一种使用图形工作站的方法、装置及系统的制作方法

文档序号:10471000阅读:511来源:国知局
一种使用图形工作站的方法、装置及系统的制作方法
【专利摘要】本发明提供了一种使用图形工作站的方法、装置及系统,该方法包括:管理节点在接收到外部用户侧设备发送的携带特定要求的图形工作站请求通知之后,首先判断是否存在可利用的图形工作站,若存在则根据预先确定好的应用镜像和任一可利用的图形工作站,获得与所述特定要求相对应的虚拟工作站的操作界面,并将该操作界面反馈给所述外部用户侧设备。由于可以利用管理节点对全部图形工作站进行统一的状态管理和资源分配,并根据用户的特定要求为其提供相应的虚拟化图形工作站资源,且用户可以在本地设备上利用接收到的虚拟工作站的操作界面,对远程虚拟工作站进行操作以执行工作任务,因此,本方案能够提高对图形工作站资源的协调能力。
【专利说明】
一种使用图形工作站的方法、装置及系统
技术领域
[0001]本发明涉及计算机技术领域,特别涉及一种使用图形工作站的方法、装置及系统。
【背景技术】
[0002]在高性能计算中,如CFD(Computat1nal Fluid Dynamics,计算流体动力学)领域,通常会涉及较多的图形处理操作。由于图形工作站配置高、图形处理能力强,故工作人员一般是利用图形工作站来执行图形处理操作。
[0003]目前,工作人员可以利用图形工作站来执行各自工作任务,且当图形工作站供不应求时,各工作人员之间互相协调使用。
[0004]由于各工作人员的工作情况可能各不相同,且计划多变,故现有实现方式对图形工作站资源的协调能力较低。

【发明内容】

[0005]本发明提供了一种使用图形工作站的方法、装置及系统,能够提高对图形工作站资源的协调能力。
[0006]为了达到上述目的,本发明是通过如下技术方案实现的:
[0007]—方面,本发明提供了一种使用图形工作站的方法,应用于管理节点,预先建立所述管理节点与至少一个外部用户侧设备以及与至少一个外部图形工作站的连接关系,确定至少一个应用镜像,还包括:
[0008]S1:接收外部用户侧设备发送的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件;
[0009]S2:判断所述至少一个外部图形工作站中是否存在可利用的图形工作站,若是,执行S3;
[0010]S3:根据所述至少一个应用镜像,以及任一所述可利用的图形工作站,获得与所述第一要求条件相对应的虚拟化图形工作站的操作界面;
[0011]S4:将所述虚拟化图形工作站的操作界面发送给所述外部用户侧设备。
[0012]进一步地,在所述确定至少一个应用镜像之后,还包括:将所述至少一个应用镜像发送给外部共享存储;
[0013]所述S3,包括:将所述第一要求条件发送给所述可利用的图形工作站中的任一目标图形工作站;在所述目标图形工作站利用所述外部共享存储中的与所述第一要求条件相对应的应用镜像虚拟出相应虚拟化图形工作站之后,接收由所述目标图形工作站发送的所述虚拟化图形工作站的操作界面。
[0014]进一步地,所述应用镜像包括:图形工作站的镜像,和/或,用于构建图形工作站的软件的镜像;
[0015]所述第一要求条件包括:图形工作站的标识,和/或,用于构建图形工作站的软件的标识。
[0016]进一步地,所述操作界面包括:远程工作桌面。
[0017]进一步地,在SI之前,还包括:预先建立所述管理节点与至少一个外部计算节点的连接关系;
[0018]在S4之后,还包括:
[0019]Al:在用户利用所述外部用户侧设备及所述虚拟化图形工作站的操作界面以完成相应的工作任务之后,接收所述外部用户侧设备发送的工作任务执行完成的第二通知消息,且所述第二通知消息中携带相应的第二要求条件;
[0020]A2:判断所述至少一个外部计算节点中是否存在与所述第二要求条件相对应的空闲的计算节点,若是,执行A3,否则,根据所述第二通知消息的接收时间,对所述第二通知消息进行排队等待,并执行A2;
[0021]A3:将所述第二要求条件发送给所述与所述第二要求条件相对应的空闲的计算节占.V ,
[0022]A4:接收由所述与所述第二要求条件相对应的空闲的计算节点发送的工作任务计算完成的第二通知消息;
[0023]A5:将所述第三通知消息发送给所述外部用户侧设备,并执行SI。
[0024]进一步地,所述第二要求条件包括:工作任务所需计算节点的数目、工作任务的保存目录、工作任务的保存名称和工作任务的标识中的任意一种或多种。
[°°25] 进一步地,在SI之前,还包括:预先在所述管理节点中安装openstack的管理组件,以及设置统一的web用户登录管理系统。
[0026]进一步地,在S2中判断出所述至少一个外部图形工作站中不存在可利用的图形工作站时,还包括:根据所述第一通知消息的接收时间,对所述第一通知消息进行排队等待,并执行S2。
[0027]另一方面,本发明提供了一种管理节点,包括:
[0028]设置单元,用于建立所述管理节点与至少一个外部用户侧设备以及与至少一个外部图形工作站的连接关系,以及确定至少一个应用镜像;
[0029]接收单元,用于接收外部用户侧设备发送的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件,并触发判断单元;
[0030]所述判断单元,用于判断所述至少一个外部图形工作站中是否存在可利用的图形工作站,若是,触发处理单元;
[0031]所述处理单元,用于根据所述至少一个应用镜像,以及任一所述可利用的图形工作站,获得与所述第一要求条件相对应的虚拟化图形工作站的操作界面;以及将所述虚拟化图形工作站的操作界面发送给所述外部用户侧设备。
[0032]进一步地,所述设置单元,还用于将所述至少一个应用镜像发送给外部共享存储;
[0033]所述处理单元,具体用于将所述第一要求条件发送给所述可利用的图形工作站中的任一目标图形工作站;以及在所述目标图形工作站利用所述外部共享存储中的与所述第一要求条件相对应的应用镜像虚拟出相应虚拟化图形工作站之后,接收由所述目标图形工作站发送的所述虚拟化图形工作站的操作界面。
[0034]进一步地,所述设置单元,还用于建立所述管理节点与至少一个外部计算节点的连接关系;
[0035]所述接收单元,还用于在用户利用所述外部用户侧设备及所述虚拟化图形工作站的操作界面以完成相应的工作任务之后,接收所述外部用户侧设备发送的工作任务执行完成的第二通知消息,且所述第二通知消息中携带相应的第二要求条件;
[0036]所述判断单元,还用于判断所述至少一个外部计算节点中是否存在与所述第二要求条件相对应的空闲的计算节点,若是,触发所述处理单元,否则,根据所述第二通知消息的接收时间,对所述第二通知消息进行排队等待,触发所述判断单元;
[0037]所述处理单元,还用于将所述第二要求条件发送给所述与所述第二要求条件相对应的空闲的计算节点;接收由所述与所述第二要求条件相对应的空闲的计算节点发送的工作任务计算完成的第三通知消息;以及将所述第三通知消息发送给所述外部用户侧设备,并触发所述接收单元。
[0038]另一方面,本发明提供了一种使用图形工作站的系统,包括:
[0039]上述任一所述的管理节点、至少一个用户侧设备和至少一个图形工作站,其中,
[0040]所述管理节点分别与每一个所述用户侧设备以及与每一个所述图形工作站保持连接关系;
[0041]所述用户侧设备,用于接收输入的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件,并将所述第一通知消息发送给所述管理节点;接收所述管理节点发送的与所述第一要求条件相对应的虚拟化图形工作站的操作界面;
[0042]所述图形工作站,用于给所述管理节点提供与所述第一要求条件相对应的虚拟化图形工作站的操作界面。
[0043]进一步地,该系统还包括:
[0044]至少一个计算节点和共享存储,其中,
[0045]所述计算节点,用于接收所述管理节点发送的第二要求条件;获取所述共享存储中的与所述第二要求条件相对应的工作任务;计算获取到的所述工作任务,生成相应的计算结果;根据所述第二要求条件,将相应的所述计算结果发送给所述共享存储,并将相应的工作任务计算完成的第三通知消息发送给所述管理节点;
[0046]所述共享存储,用于接收并存储由所述管理节点发送的至少一个应用镜像;接收并存储每一个所述用户侧设备发送的工作任务;接收并存储每一个所述计算节点发送的计算结果;
[0047]所述图形工作站,具体用于接收由所述管理节点发送的第一要求条件;获取所述共享存储中的与所述第一要求条件相对应的目标应用镜像;虚拟出与所述目标应用镜像相对应的虚拟化图形工作站;将所述虚拟化图形工作站的操作界面发送给管理节点;由所述虚拟化图形工作站接收用户通过在所述用户侧设备上操作所述操作界面而输入的控制指令,并通过执行所述控制指令,生成相应的工作任务;
[0048]所述用户侧设备,进一步用于将接收到的所述虚拟化图形工作站的操作界面提供给用户;以及通过所述操作界面显示所述虚拟化图形工作站生成的工作任务。
[0049]进一步地,所述保持连接关系包括:将所述管理节点、所述至少一个用户侧设备、所述至少一个图形工作站、所述至少一个计算节点和所述共享存储部署在同一个局域网内;
[0050]所述管理节点和所述至少一个计算节点部署在同一个集群中,或,所述管理节点、所述至少一个计算节点和所述至少一个图形工作站部署在同一个集群中。
[°°511 进一步地,还包括:预先在所述管理节点中安装opens tack的管理组件,在每一个所述计算节点和每一个所述图形工作站中均安装openstack的计算组件。
[0052]本发明提供了一种使用图形工作站的方法、装置及系统,管理节点在接收到外部用户侧设备发送的携带特定要求的图形工作站请求通知之后,首先判断是否存在可利用的图形工作站,若存在则根据预先确定好的应用镜像和任一可利用的图形工作站,获得与所述特定要求相对应的虚拟工作站的操作界面,并将该操作界面反馈给所述外部用户侧设备。由于可以利用管理节点对全部图形工作站进行统一的状态管理和资源分配,并根据用户的特定要求为其提供相应的虚拟化图形工作站资源,且用户可以在本地设备上利用接收到的虚拟工作站的操作界面,对远程虚拟工作站进行操作以执行工作任务,因此,本发明能够提高对图形工作站资源的协调能力。
【附图说明】
[0053]为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0054]图1是本发明一实施例提供的一种使用图形工作站的方法的流程图;
[0055]图2是本发明一实施例提供的另一种使用图形工作站的方法的流程图;
[0056]图3是本发明一实施例提供的一种管理节点的示意图;
[0057]图4是本发明一实施例提供的另一种管理节点的示意图;
[0058]图5是本发明一实施例提供的一种使用图形工作站的系统的示意图;
[0059]图6是本发明一实施例提供的另一种使用图形工作站的系统的示意图。
【具体实施方式】
[0060]为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0061]如图1所示,本发明实施例提供了一种使用图形工作站的方法,应用于管理节点,可以包括以下步骤:
[0062]步骤101:预先建立所述管理节点与至少一个外部用户侧设备以及与至少一个外部图形工作站的连接关系,确定至少一个应用镜像。
[0063]步骤102:接收外部用户侧设备发送的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件。
[0064]步骤103:判断所述至少一个外部图形工作站中是否存在可利用的图形工作站,若是,执彳丁步骤104。
[0065]步骤104:根据所述至少一个应用镜像,以及任一所述可利用的图形工作站,获得与所述第一要求条件相对应的虚拟化图形工作站的操作界面。
[0066]步骤105:将所述虚拟化图形工作站的操作界面发送给所述外部用户侧设备。
[0067]本发明实施例提供了一种使用图形工作站的方法,管理节点在接收到外部用户侧设备发送的携带特定要求的图形工作站请求通知之后,首先判断是否存在可利用的图形工作站,若存在则根据预先确定好的应用镜像和任一可利用的图形工作站,获得与所述特定要求相对应的虚拟工作站的操作界面,并将该操作界面反馈给所述外部用户侧设备。由于可以利用管理节点对全部图形工作站进行统一的状态管理和资源分配,并根据用户的特定要求为其提供相应的虚拟化图形工作站资源,且用户可以在本地设备上利用接收到的虚拟工作站的操作界面,对远程虚拟工作站进行操作以执行工作任务,因此,本发明实施例能够提高对图形工作站资源的协调能力。
[0068]在一种可能的实现方式中,为了说明虚拟化图形工作站的操作界面的获取方式,所以,在所述确定至少一个应用镜像之后,进一步包括:将所述至少一个应用镜像发送给外部共享存储;
[0069]所述步骤104,包括:将所述第一要求条件发送给所述可利用的图形工作站中的任一目标图形工作站;在所述目标图形工作站利用所述外部共享存储中的与所述第一要求条件相对应的应用镜像虚拟出相应虚拟化图形工作站之后,接收由所述目标图形工作站发送的所述虚拟化图形工作站的操作界面。
[0070]在一种可能的实现方式中,为了说明管理节点中所确定的应用镜像的多种可能形式,所以,
[0071]所述应用镜像包括:图形工作站的镜像,和/或,用于构建图形工作站的软件的镜像;
[0072]所述第一要求条件包括:图形工作站的标识,和/或,用于构建图形工作站的软件的标识。
[0073]在一种可能的实现方式中,为了便于用户能够通过本地电脑以间接操作图形工作站,所以,所述操作界面包括:远程工作桌面。
[0074]在一种可能的实现方式中,为了根据实际应用需求,说明用户使用图形工作站的整体相关实现过程,所以,
[0075]在步骤102之前,进一步包括:预先建立所述管理节点与至少一个外部计算节点的连接关系;
[0076]在步骤105之后,进一步包括:
[0077]步骤106:在用户利用所述外部用户侧设备及所述虚拟化图形工作站的操作界面以完成相应的工作任务之后,接收所述外部用户侧设备发送的工作任务执行完成的第二通知消息,且所述第二通知消息中携带相应的第二要求条件;
[0078]步骤107:判断所述至少一个外部计算节点中是否存在与所述第二要求条件相对应的空闲的计算节点,若是,执行步骤108,否则,根据所述第二通知消息的接收时间,对所述第二通知消息进行排队等待,并执行步骤107;
[0079]步骤108:将所述第二要求条件发送给所述与所述第二要求条件相对应的空闲的计算节点;
[0080]步骤109:接收由所述与所述第二要求条件相对应的空闲的计算节点发送的工作任务计算完成的第二通知消息;
[0081]步骤110:将所述第三通知消息发送给所述外部用户侧设备,并执行步骤102。
[0082]在一种可能的实现方式中,为了便于管理节点根据用户需求以对用户提交的工作任务进行计算,所以,所述第二要求条件包括:工作任务所需计算节点的数目、工作任务的保存目录、工作任务的保存名称和工作任务的标识中的任意一种或多种。
[0083]在一种可能的实现方式中,为了能够使管理节点持有对各资源的管理、调度功能,所以,在步骤102之前,进一步包括:预先在所述管理节点中安装openstack的管理组件;
[0084]为了便于用户能够在任一用户侧设备上与管理节点进行业务通信,以及查看相关记录信息,所以,在步骤102之前,进一步包括:设置统一的web用户登录管理系统。
[0085]在一种可能的实现方式中,为了缓解图形工作站暂时供不应求的实际应用情况,所以,在步骤103中判断出所述至少一个外部图形工作站中不存在可利用的图形工作站时,进一步包括:根据所述第一通知消息的接收时间,对所述第一通知消息进行排队等待,并执行步骤103。
[0086]为使本发明的目的、技术方案和优点更加清楚,下面结合附图及具体实施例对本发明作进一步地详细描述。
[0087]如图2所示,本发明一个实施例提供了使用图形工作站的方法,该方法可以包括以下步骤:
[0088]步骤201:分别建立管理节点与共享存储、N1个本地电脑、他个图形工作站和N3个计算节点的连接关系,以及分别建立共享存储与管理节点、N1个本地电脑、犯个图形工作站和N3个计算节点的连接关系。
[0089]详细地,N1、N2、N3均可以为不小于I的自然数。
[0090]在本实施例中,用户侧设备可以为用户所使用的普通配置水平的本地电脑。
[0091]在本实施例中,根据图形工作站的具体配置情况,均可以在每一个图形工作站上虚拟出至少一个虚拟化图形工作站。例如,本实施例中的图形工作站可以为安装有GPU(Graphics Processing Unit,图形处理器)卡的高配置服务器,并可以支持虚拟出8个虚拟化工作站。相应的,管理节点和计算节点均可以为未安装GPU卡的高配置服务器。
[0092]详细地,用户可以使用自身的用户名密码,通过任意一台本地电脑来登录统一的管理系统,以向管理节点申请图形工作站、执行工作任务等。管理节点可以对图形工作站资源、计算节点资源等进行统一的资源管理、调度和分配。计算节点可以用于对用户提交的工作任务进行计算。共享存储可以用于存储工作任务等。
[0093]在本实施例中,为了建立上述两种连接关系,可以将管理节点、见个本地电脑、N2个图形工作站、N3个计算节点和共享存储部署在同一个局域网内。此外,为便于管理及应用,可以将管理节点和N3个计算节点部署在同一个HPC(High performance computing,高性能计算)集群中。
[0094]此外,在一种可能的实现方式中,同样可以将管理节点、N3个计算节点和N2个图形工作站均部署在同一个集群中。在这一HPC集群中,由于图形工作站可以为安装有GPU卡的高配置服务器,故在虚拟化图形工作站建立阶段,管理节点可以利用该集群中的任一可利用的图形工作站来完成虚拟化图形工作站的建立。另一方面,当需要对用户提交的工作任务进行计算时,图形工作站还可以作为计算节点来被管理节点所管理和调用,从而起到与计算节点相同的计算功能。
[0095]步骤202:在管理节点中安装openstack的管理组件,在每一个计算节点和每一个图形工作站中均安装openstack的计算组件。
[0096]具体地,openstack为一个开源的云计算管理平台项目,其中,openstack包含两种组件,为管理组件和计算组件。
[0097]因此,在完成上述两种连接关系的建立之后,可以在管理节点中安装openstack的管理组件,从而使管理节点持有与管理相关的功能,以及可以在计算节点和图形工作站中安装openstack的计算组件,从而使计算节点持有与计算相关的功能,使图形工作站持有可虚拟化的功能。
[0098]步骤203:在管理节点中设置统一的web用户登录管理系统,确定N4个应用镜像,并将N4个应用镜像发送给共享存储。
[0099]详细地,与HN3相同,N4同样可以为不小于I的自然数。
[0100]详细地,应用镜像可以包括图形工作站的镜像,和/或,用于构建图形工作站的软件的镜像。
[0101]为便于用户可以在任一本地电脑上,根据自身的用户名密码以登录系统,故可以预先在管理节点中设置统一的web用户登录管理系统。通过这一方式,用户可以通过该系统的具体web链接以进行登录。
[0102]另一方面,为便于管理节点能够根据用户实际需求,为其提供相应的虚拟化图形工作站,故可以预先在管理节点中确定N4个应用镜像,并将N4个应用镜像发送给共享存储。其中,所确定的应用镜像可以为下述三种实现方式中的任意一种,这三种方式分别为A:图形工作站的镜像、B:用于构建图形工作站的软件的镜像、C:图形工作站的镜像和用于构建图形工作站的软件的镜像。
[0103]步骤204:共享存储接收并存储管理节点发送的N4个应用镜像。
[0104]步骤205:本地电脑I接收用户通过登录web用户登录管理系统而输入的请求图形工作站的第一通知消息,且第一通知消息中携带相应的第一要求条件,并将第一通知消息发送给管理节点。
[0105]详细地,第一要求条件可以包括图形工作站的标识,和/或,用于构建图形工作站的软件的标识。
[0106]在本实施例中,请求图形工作站的通知消息中所携带的要求条件,可以与管理节点中所确定的应用镜像相对应。例如,对于上述应用镜像的实现方式A,该要求条件可以为用户所需图形工作站的标识。故管理节点可以将与该标识相对应的虚拟化图形工作站的操作界面反馈给本地电脑I。其中,操作界面可以为一个web链接。具体地,可以在web用户登录管理系统的界面中,显示管理节点中全部图形工作站镜像的标识,以使用户可以根据自身需求进行点选。
[0107]同样的,对于上述实现方式B,该要求条件可以为用户所需图形工作站中的软件的标识,故可以在上述界面中显示管理节点中全部软件镜像的标识,以便于用户点选。对于上述实现方式C,该要求条件可以为用户所需图形工作站的标识,或是相应软件的标识,故可以在上述界面中显示管理节点中全部应用镜像的标识,以便于用户点选。
[0108]举例来说,在高性能计算中,如CFD(Computat1nal Fluid Dynamics,计算流体动力学)应用领域,一套完整的作业提交流程可以为前处理、计算、后处理这三个阶段。其中,前处理阶段可以为用户构建模型,计算阶段可以为计算系统对用户构建的模型进行验证,后处理阶段为用户根据模型验证结果,对构建的模型进行处理和完善。由于前处理和后处理阶段均需要用到大量的图形计算资源,故需要在图形工作站中进行操作。
[0109]首先,用户可以在本地电脑I上,根据自身用户名密码以登录管理节点提供的web用户登录管理系统。然后根据实际需求,输入所需图形工作站的要求条件,如安装有flash软件,并在输入完成之后,点击该系统页面中的“申请图形工作站”按键。然后,本地电脑I在接收到用户输入的请求图形工作站的通知消息时,可以将其发送给管理节点。
[0110]步骤206:管理节点在接收到本地电脑I发送的第一通知消息时,判断%个图形工作站中是否存在可利用的图形工作站,若是,执行步骤207,否则,根据第一通知消息的接收时间,对第一通知消息进行排队等待,并执行步骤206。
[0111]由于一个图形工作站可以虚拟出多个虚拟化图形工作站,故在本实施例中,可利用的图形工作站可以包括空闲的图形工作站和尚未被完全利用的图形工作站。例如,若一个图形工作站可以虚拟出8个虚拟化图形工作站,那么,当其已经虚拟出7个虚拟化图形工作站时,同样为可利用的图形工作站。
[0112]管理节点在接收到本地电脑I发送的请求图形工作站的通知消息时,需要判断所有图形工作站中是否存在可利用的图形工作站。若存在,则可以执行后续的虚拟化操作。相应的,若不存在,说明图形工作站资源供不应求,暂时短缺,故可以根据通知消息的接收时间,即用户利用本地电脑I发出请求的时间,对该通知消息进行排队等待处理。当其他用户完成虚拟化图形工作站的使用之后,管理节点可以自动回收该虚拟化图形工作站资源,以提供给处于排队等待状态的用户。
[0113]例如,当最后一个可利用的图形工作站资源被占用时,可以根据各通知消息的接收时间,对之后接收到的所有通知消息进行排队。若本地电脑I的通知消息排在第10位,则需等到前9个通知消息均被成功处理之后,再次判断是否存在可利用的图形工作站。
[0114]在一种可能的实现方式中,用户在登录web用户登录管理系统后,可以查看与自身相对应的详细信息,如提交的申请有没有被处理、申请的排队情况等。
[0115]在本实施例中,管理节点判断出存在可利用的图形工作站,分别为图形工作站I和图形工作站3。
[0116]步骤207:管理节点将第一要求条件发送给图形工作站3。
[0117]当存在可利用的图形工作站时,管理节点可以将通知消息中携带的要求条件发送给任一可利用的图形工作站,如图形工作站3。
[0118]步骤208:图形工作站3获取共享存储中的与第一要求条件相对应的应用镜像,并根据该应用镜像虚拟出相应的虚拟化图形工作站,并将该虚拟化图形工作站的远程工作桌面发送给管理节点。
[0119]例如,第一要求条件为flash软件的标识,故图形工作站3可以获取共享存储中的相应flash软件的镜像。然后,利用该镜像,虚拟出安装有flash软件的虚拟化图形工作站,再将相应的操作界面,如远程工作桌面,反馈给管理节点。
[0120]步骤209:管理节点接收图形工作站3发送的虚拟化图形工作站的远程工作桌面,并将其发送给本地电脑I。
[0121 ]在本实施例中,管理节点将接收到的远程工作桌面反馈给相应的本地电脑I,以使用户可以通过操作本地电脑I提供的远程工作桌面,以间接利用相应的虚拟化图形工作站。由于一个图形工作站可以虚拟出多个虚拟化图形工作站,而用户可以在本地电脑上,利用虚拟化图形工作站的远程工作桌面以执行工作任务。因此,这一实现方式可以减少图形工作站的配置数量,降低成本投入。
[0122]虚拟化图形工作站的性能及配置与原图形工作站相差不大,能够满足用户实际应用需求,但其性能远远超过本地电脑。在本实施例中,用户可以在本地电脑上,利用管理节点发送的虚拟化图形工作站的远程工作桌面以执行工作任务,同样可以达到与在高配置图形工作站上执行工作任务所相同的效果。这一实现方式不仅解决了本地电脑配置不能满足需求的问题,且增加了利用本地电脑执行工作任务的方便性。
[0123]步骤210:本地电脑I接收管理节点发送的远程工作桌面,以使用户执行工作任务,并在工作任务被执行完成之后,接收用户输入的工作任务执行完成的第二通知消息,且第二通知消息中携带相应的第二要求条件。
[0124]详细地,第二要求条件可以包括:工作任务所需计算节点的数目、工作任务的保存目录、工作任务的保存名称和工作任务的标识中的任意一种或多种。
[0125]详细地,本地电脑I在接收到管理节点反馈的远程工作桌面时,可以将该远程工作桌面提供给用户。用户在本地电脑I上,通过操作虚拟化图形工作站的远程工作桌面,可以输入一系列的控制指令,该远程虚拟化图形工作站可以接收并执行该控制指令,以生成相应的工作任务。同时,本地电脑I可以通过远程工作桌面显示这一工作任务。
[0126]在工作任务执行完成之后,用户对工作任务进行提交,并可以根据实际需求,输入计算该工作任务所需的要求条件,如所需计算节点的数目。在输入完成之后,再点击web用户登录管理系统页面中的“作业提交”按键,以向本地电脑I发送工作任务执行完成的通知消息。
[0127]例如,用户提交的工作任务包含三个子文件,工作任务名称为任务I,子文件名称分别为子文件1、子文件2和子文件3,该三个子文件均放置在共享存储的位置X处,且每一个子文件均需一个计算节点进行计算。相应的,第二通知消息携带的要求条件可以包含:任务
1、子文件1、子文件2、子文件3、位置X以及计算节点需求数目为3。
[0128]步骤211:本地电脑I将接收到的第二通知消息发送给管理节点,并根据第二要求条件,将工作任务发送给共享存储。
[0129]由于用户同样可以根据需求,以输入工作任务的保存名称、保存位置等信息,故本地电脑I在接收到用户输入的要求条件之后,一方面可以根据该要求条件,将用户提交的工作任务发送给共享存储以进行保存,另一方面将用户输入的通知消息发送给管理节点,以使管理节点根据通知消息中携带的要求条件,分配相应的计算节点以对提交的工作任务进行计算。
[0130]步骤212:共享存储接收并存储本地电脑I发送的工作任务。
[0131]步骤213:管理节点在接收到本地电脑I发送的第二通知消息时,判断N3个计算节点中是否存在与第二要求条件相对应的空闲的计算节点,若是,执行步骤213,否则,根据第二通知消息的接收时间,对第二通知消息进行排队等待,并执行步骤212。
[0132]与步骤206中管理节点对图形工作站资源的资源调度和管理方式相类似,管理节点在接收到本地电脑I发送的第二通知消息时,同样根据通知消息中携带的要求条件,判断是否存在相应的计算节点资源,若存在,则执行后续操作,否则,对第二通知消息进行排队处理。此外,在任一被占用的计算节点完成工作任务的计算之后,管理节点可以自动回收该计算节点资源。
[0133]在本实施中,在每一个用户的web用户登录管理系统页面中,可以显示用户提交的工作任务的名称和保存位置、工作任务的处理情况、工作任务的排队情况等。
[0134]例如,管理节点判断出存在10个空闲的计算节点,则可以从中任选3个,如计算节点1、计算节点2和计算节点3,作为目标计算节点。且管理节点可以分配计算节点I用于执行子文件1、计算节点2用于执行子文件2、计算节点3用于执行子文件3。
[0135]步骤214:管理节点将第二要求条件发送给与该第二要求条件相对应的空闲的目标计算节点。
[0136]当管理节点判断出存在符合要求条件的计算节点时,可以将该要求条件发送给相应的计算节点,以使计算节点根据该要求条件,去获取共享存储中保存的相应工作任务。
[0137]步骤215:目标计算节点接收管理节点发送的第二要求条件,并获取共享存储中的与第二要求条件相对应的工作任务。
[0138]例如,计算节点1、计算节点2和计算节点3根据管理节点的任务分配,分别获取共享存储中的位置X处的子文件1、子文件2和子文件3。
[0139]步骤216:目标计算节点通过计算获取到的工作任务,生成相应的计算结果,并根据第二要求条件,将计算结果发送给共享存储,以及将相应的工作任务计算完成的第三通知消息发送给管理节点。
[0140]每一个计算节点在获取到相应的工作任务之后,对该任务进行计算,并生成相应的计算结果。例如,当工作任务为用户建立的设计模型时,计算节点通过计算以验证该设计模型是否存在异常,并生成包含异常信息的计算结果。在计算完成之后,一方面可以将生成的计算结果发送给共享存储,另一方面可以给管理节点发送用于表示计算完成的通知消息。
[0141]步骤217:共享存储接收并存储目标计算节点发送的计算结果。
[0142]步骤218:管理节点接收由目标计算节点发送的工作任务计算完成的第三通知消息,并将第三通知消息发送给本地电脑I,并执行步骤205。
[0143]管理节点在接收到计算节点发送的用于表示计算完成的通知消息之后,可以将该通知消息转发给相应的本地电脑,以使用户在登录系统之后可以查看到相应信息,从而达到通知用户的效果。此外,管理节点还可以预先确定每一个用户的联系方式,如邮箱,在管理节点获取到任一工作任务计算完成的通知消息之后,可以确定与该工作任务相对应的用户,并通过相应的联系方式以直接通知用户。
[0144]如上所述的CR)应用领域,用户在前处理阶段可以申请图形工作站,并利用管理节点反馈的虚拟化图形工作站以执行工作任务。管理节点结合计算节点,以在计算阶段可以对用户提交的工作任务进行计算。在后处理阶段,用户可以根据在计算阶段生成的计算结果,对工作任务进行完善,且具体实现步骤同样为用户申请图形工作站,以使管理节点反馈相应的虚拟化图形工作站。由于后处理阶段的具体实现方式与前处理阶段相同,故本法实施例对此不作详细描述。明显地,在后处理阶段完成之后,用户同样可以继续同前处理阶段一样,再次提交修改后的工作任务,以再次执行上述计算阶段,如此循环,直至工作任务被成功完成。
[0145]在本实施例中,管理节点可以对图形工作站资源和计算节点资源进行统一管理和调度,并在资源利用完成之后进行实时自动回收,这一过程无需人为协调参与,方便用户对各资源的合理利用。同时,可以根据各用户的特定要求条件,对其提供相应的资源和服务,故能够提高使用图形工作站的实用性。
[0146]如图3所示,本发明实施例提供了一种管理节点30,包括:
[0147]设置单元301,用于建立所述管理节点30与至少一个外部用户侧设备以及与至少一个外部图形工作站的连接关系,以及确定至少一个应用镜像;
[0148]接收单元302,用于接收外部用户侧设备发送的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件,并触发判断单元303;
[0149]所述判断单元303,用于判断所述至少一个外部图形工作站中是否存在可利用的图形工作站,若是,触发处理单元304;
[0150]所述处理单元304,用于根据所述至少一个应用镜像,以及任一所述可利用的图形工作站,获得与所述第一要求条件相对应的虚拟化图形工作站的操作界面;以及将所述虚拟化图形工作站的操作界面发送给所述外部用户侧设备。
[0151]在本发明一个实施例中,所述设置单元301,进一步用于将所述至少一个应用镜像发送给外部共享存储;
[0152]所述处理单元304,具体用于将所述第一要求条件发送给所述可利用的图形工作站中的任一目标图形工作站;以及在所述目标图形工作站利用所述外部共享存储中的与所述第一要求条件相对应的应用镜像虚拟出相应虚拟化图形工作站之后,接收由所述目标图形工作站发送的所述虚拟化图形工作站的操作界面。
[0153]在本发明一个实施例中,请参考图4,在所述管理节点30中,
[0154]所述设置单元301,进一步用于建立所述管理节点30与至少一个外部计算节点的连接关系;
[0155]所述接收单元302,进一步用于在用户利用所述外部用户侧设备及所述虚拟化图形工作站的操作界面以完成相应的工作任务之后,接收所述外部用户侧设备发送的工作任务执行完成的第二通知消息,且所述第二通知消息中携带相应的第二要求条件;
[0156]所述判断单元303,进一步用于判断所述至少一个外部计算节点中是否存在与所述第二要求条件相对应的空闲的计算节点,若是,触发所述处理单元304,否则,根据所述第二通知消息的接收时间,对所述第二通知消息进行排队等待,触发所述判断单元303;
[0157]所述处理单元304,进一步用于将所述第二要求条件发送给所述与所述第二要求条件相对应的空闲的计算节点;接收由所述与所述第二要求条件相对应的空闲的计算节点发送的工作任务计算完成的第三通知消息;以及将所述第三通知消息发送给所述外部用户侧设备,并触发所述接收单元302。
[0158]如图5所示,本发明实施例提供了一种使用图形工作站的系统,包括:
[0159]上述任一所述的管理节点30、至少一个用户侧设备40和至少一个图形工作站50,其中,
[0160]所述管理节点30分别与每一个所述用户侧设备40以及与每一个所述图形工作站50保持连接关系;
[0161]所述用户侧设备40,用于接收输入的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件,并将所述第一通知消息发送给所述管理节点30;接收所述管理节点30发送的与所述第一要求条件相对应的虚拟化图形工作站的操作界面;
[0162]所述图形工作站50,用于给所述管理节点30提供与所述第一要求条件相对应的虚拟化图形工作站的操作界面。
[0163]在本发明一个实施例中,请参考图6,该系统还可以包括:
[0164]至少一个计算节点60和共享存储70,其中,
[0165]所述计算节点60,用于接收所述管理节点30发送的第二要求条件;获取所述共享存储70中的与所述第二要求条件相对应的工作任务;计算获取到的所述工作任务,生成相应的计算结果;根据所述第二要求条件,将相应的所述计算结果发送给所述共享存储70,并将相应的工作任务计算完成的第三通知消息发送给所述管理节点30;
[0166]所述共享存储70,用于接收并存储由所述管理节点30发送的至少一个应用镜像;接收并存储每一个所述用户侧设备40发送的工作任务;接收并存储每一个所述计算节点60发送的计算结果;
[0167]所述图形工作站50,具体用于接收由所述管理节点30发送的第一要求条件;获取所述共享存储70中的与所述第一要求条件相对应的目标应用镜像;虚拟出与所述目标应用镜像相对应的虚拟化图形工作站;将所述虚拟化图形工作站的操作界面发送给管理节点30;由所述虚拟化图形工作站接收用户通过在所述用户侧设备40上操作所述操作界面而输入的控制指令,并通过执行所述控制指令,生成相应的工作任务;
[0168]所述用户侧设备40,进一步用于将接收到的所述虚拟化图形工作站的操作界面提供给用户;以及通过所述操作界面显示所述虚拟化图形工作站生成的工作任务。
[0169]详细地,所述共享存储70分别与所述管理节点30、每一个所述用户侧设备40、每一个所述图形工作站50、每一个所述计算节点60保持连接关系;所述管理节点30分别与所述共享存储70、每一个所述用户侧设备40、每一个所述图形工作站50、每一个所述计算节点60保持连接关系。
[0170]通过这一实现方式,用户侧设备,如普通配置的本地电脑,在接收到管理节点反馈的虚拟化图形工作站的操作界面之后,可以将该操作界面提供给用户。用户通过在本地电脑上使用虚拟化图形工作站的操作界面,同样可以达到类似于直接使用图形工作站的效果,这一方式可以方便用户执行日常工作任务,且对本地电脑配置程度要求不高。
[0171]在本发明一个实施例中,所述保持连接关系可以包括:将所述管理节点30、所述至少一个用户侧设备40、所述至少一个图形工作站50、所述至少一个计算节点60和所述共享存储70部署在同一个局域网内;
[0172]所述管理节点30和所述至少一个计算节点60部署在同一个集群中,或,所述管理节点30、所述至少一个计算节点60和所述至少一个图形工作站50部署在同一个集群中。
[0173]在本实施例中,针对高性能计算集群的部署,可以将图形工作站部署在集群外,也可以将其部署在集群内。且当图形工作站在集群内时,图形工作站一方面可以作为物理存在的图形工作站,以虚拟出相应的多个虚拟化图形工作站,另一方面,同样可以作为计算节点来使用,可以起到与计算节点相同的工作任务计算效果。这一集群部署方式可以根据实际应用需求而自由选择。[Ο174] 在本发明一个实施例中,可以预先在所述管理节点30中安装openstack的管理组件,在每一个所述计算节点60和每一个所述图形工作站50中均安装openstack的计算组件。
[0175]上述装置内的各单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
[0176]综上所述,本发明的各个实施例至少具有如下有益效果:
[0177]1、本发明实施例中,管理节点在接收到外部用户侧设备发送的携带特定要求的图形工作站请求通知之后,首先判断是否存在可利用的图形工作站,若存在则根据预先确定好的应用镜像和任一可利用的图形工作站,获得与所述特定要求相对应的虚拟工作站的操作界面,并将该操作界面反馈给所述外部用户侧设备。由于可以利用管理节点对全部图形工作站进行统一的状态管理和资源分配,并根据用户的特定要求为其提供相应的虚拟化图形工作站资源,且用户可以在本地设备上利用接收到的虚拟工作站的操作界面,对远程虚拟工作站进行操作以执行工作任务,因此,本发明实施例能够提高对图形工作站资源的协调能力。
[0178]2、本发明实施例中,由于一个图形工作站可以虚拟出多个虚拟化图形工作站,而用户可以在本地电脑上,利用虚拟化图形工作站的远程工作桌面以执行工作任务。因此,这一实现方式可以减少图形工作站的配置数量,降低成本投入。
[0179]3、本发明实施例中,虚拟化图形工作站的性能及配置与原图形工作站相差不大,能够满足用户实际应用需求,但其性能远远超过本地电脑。在本实施例中,用户可以在本地电脑上,利用管理节点发送的虚拟化图形工作站的远程工作桌面以执行工作任务,同样可以达到与在高配置图形工作站上执行工作任务所相同的效果。这一实现方式不仅解决了本地电脑配置不能满足需求的问题,且增加了利用本地电脑执行工作任务的方便性。
[0180]4、本发明实施例中,管理节点可以对图形工作站资源和计算节点资源进行统一管理和调度,并在资源利用完成之后进行实时自动回收,这一过程无需人为协调参与,方便用户对各资源的合理利用。同时,可以根据各用户的特定要求条件,对其提供相应的资源和服务,故能够提高使用图形工作站的实用性。
[0181]需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个〃.....”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
[0182]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
[0183]最后需要说明的是:以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
【主权项】
1.一种使用图形工作站的方法,其特征在于,应用于管理节点,预先建立所述管理节点与至少一个外部用户侧设备以及与至少一个外部图形工作站的连接关系,确定至少一个应用镜像,还包括: S1:接收外部用户侧设备发送的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件; S2:判断所述至少一个外部图形工作站中是否存在可利用的图形工作站,若是,执行S3; S3:根据所述至少一个应用镜像,以及任一所述可利用的图形工作站,获得与所述第一要求条件相对应的虚拟化图形工作站的操作界面; S4:将所述虚拟化图形工作站的操作界面发送给所述外部用户侧设备。2.根据权利要求1所述的方法,其特征在于, 在所述确定至少一个应用镜像之后,进一步包括:将所述至少一个应用镜像发送给外部共享存储; 所述S3,包括: 将所述第一要求条件发送给所述可利用的图形工作站中的任一目标图形工作站;在所述目标图形工作站利用所述外部共享存储中的与所述第一要求条件相对应的应用镜像虚拟出相应虚拟化图形工作站之后,接收由所述目标图形工作站发送的所述虚拟化图形工作站的操作界面; 和/或, 所述应用镜像包括:图形工作站的镜像,和/或,用于构建图形工作站的软件的镜像; 所述第一要求条件包括:图形工作站的标识,和/或,用于构建图形工作站的软件的标识; 和/或, 所述操作界面包括:远程工作桌面。3.根据权利要求1所述的方法,其特征在于, 在SI之前,进一步包括:预先建立所述管理节点与至少一个外部计算节点的连接关系; 在S4之后,进一步包括: Al:在用户利用所述外部用户侧设备及所述虚拟化图形工作站的操作界面以完成相应的工作任务之后,接收所述外部用户侧设备发送的工作任务执行完成的第二通知消息,且所述第二通知消息中携带相应的第二要求条件; A2:判断所述至少一个外部计算节点中是否存在与所述第二要求条件相对应的空闲的计算节点,若是,执行A3,否则,根据所述第二通知消息的接收时间,对所述第二通知消息进行排队等待,并执行A2; A3:将所述第二要求条件发送给所述与所述第二要求条件相对应的空闲的计算节点;A4:接收由所述与所述第二要求条件相对应的空闲的计算节点发送的工作任务计算完成的第三通知消息; A5:将所述第三通知消息发送给所述外部用户侧设备,并执行SI。4.根据权利要求3所述的方法,其特征在于,所述第二要求条件包括:工作任务所需计算节点的数目、工作任务的保存目录、工作任务的保存名称和工作任务的标识中的任意一种或多种。5.根据权利要求1至4中任一所述的方法,其特征在于, 在SI之前,进一步包括:预先在所述管理节点中安装openstack的管理组件,以及设置统一的web用户登录管理系统; 和/或, 在S2中判断出所述至少一个外部图形工作站中不存在可利用的图形工作站时,进一步包括:根据所述第一通知消息的接收时间,对所述第一通知消息进行排队等待,并执行S2。6.一种管理节点,其特征在于,包括: 设置单元,用于建立所述管理节点与至少一个外部用户侧设备以及与至少一个外部图形工作站的连接关系,以及确定至少一个应用镜像; 接收单元,用于接收外部用户侧设备发送的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件,并触发判断单元; 所述判断单元,用于判断所述至少一个外部图形工作站中是否存在可利用的图形工作站,若是,触发处理单元; 所述处理单元,用于根据所述至少一个应用镜像,以及任一所述可利用的图形工作站,获得与所述第一要求条件相对应的虚拟化图形工作站的操作界面;以及将所述虚拟化图形工作站的操作界面发送给所述外部用户侧设备。7.根据权利要求6所述的管理节点,其特征在于, 所述设置单元,进一步用于将所述至少一个应用镜像发送给外部共享存储; 所述处理单元,具体用于将所述第一要求条件发送给所述可利用的图形工作站中的任一目标图形工作站;以及在所述目标图形工作站利用所述外部共享存储中的与所述第一要求条件相对应的应用镜像虚拟出相应虚拟化图形工作站之后,接收由所述目标图形工作站发送的所述虚拟化图形工作站的操作界面; 和/或, 所述设置单元,进一步用于建立所述管理节点与至少一个外部计算节点的连接关系;所述接收单元,进一步用于在用户利用所述外部用户侧设备及所述虚拟化图形工作站的操作界面以完成相应的工作任务之后,接收所述外部用户侧设备发送的工作任务执行完成的第二通知消息,且所述第二通知消息中携带相应的第二要求条件; 所述判断单元,进一步用于判断所述至少一个外部计算节点中是否存在与所述第二要求条件相对应的空闲的计算节点,若是,触发所述处理单元,否则,根据所述第二通知消息的接收时间,对所述第二通知消息进行排队等待,触发所述判断单元; 所述处理单元,进一步用于将所述第二要求条件发送给所述与所述第二要求条件相对应的空闲的计算节点;接收由所述与所述第二要求条件相对应的空闲的计算节点发送的工作任务计算完成的第三通知消息;以及将所述第三通知消息发送给所述外部用户侧设备,并触发所述接收单元。8.—种使用图形工作站的系统,其特征在于,包括: 如权利要求6和7中任一所述的管理节点、至少一个用户侧设备和至少一个图形工作站,其中, 所述管理节点分别与每一个所述用户侧设备以及与每一个所述图形工作站保持连接关系; 所述用户侧设备,用于接收输入的请求图形工作站的第一通知消息,且所述第一通知消息中携带相应的第一要求条件,并将所述第一通知消息发送给所述管理节点;接收所述管理节点发送的与所述第一要求条件相对应的虚拟化图形工作站的操作界面; 所述图形工作站,用于给所述管理节点提供与所述第一要求条件相对应的虚拟化图形工作站的操作界面。9.根据权利要求8所述的使用图形工作站的系统,其特征在于, 还包括:至少一个计算节点和共享存储,其中, 所述计算节点,用于接收所述管理节点发送的第二要求条件;获取所述共享存储中的与所述第二要求条件相对应的工作任务;计算获取到的所述工作任务,生成相应的计算结果;根据所述第二要求条件,将相应的所述计算结果发送给所述共享存储,并将相应的工作任务计算完成的第三通知消息发送给所述管理节点; 所述共享存储,用于接收并存储由所述管理节点发送的至少一个应用镜像;接收并存储每一个所述用户侧设备发送的工作任务;接收并存储每一个所述计算节点发送的计算结果; 所述图形工作站,具体用于接收由所述管理节点发送的第一要求条件;获取所述共享存储中的与所述第一要求条件相对应的目标应用镜像;虚拟出与所述目标应用镜像相对应的虚拟化图形工作站;将所述虚拟化图形工作站的操作界面发送给管理节点;由所述虚拟化图形工作站接收用户通过在所述用户侧设备上操作所述操作界面而输入的控制指令,并通过执行所述控制指令,生成相应的工作任务; 所述用户侧设备,进一步用于将接收到的所述虚拟化图形工作站的操作界面提供给用户;以及通过所述操作界面显示所述虚拟化图形工作站生成的工作任务。10.根据权利要求9所述的使用图形工作站的系统,其特征在于, 所述保持连接关系包括:将所述管理节点、所述至少一个用户侧设备、所述至少一个图形工作站、所述至少一个计算节点和所述共享存储部署在同一个局域网内; 所述管理节点和所述至少一个计算节点部署在同一个集群中,或,所述管理节点、所述至少一个计算节点和所述至少一个图形工作站部署在同一个集群中; 和/或, 进一步包括:预先在所述管理节点中安装openstack的管理组件,在每一个所述计算节点和每一个所述图形工作站中均安装openstack的计算组件。
【文档编号】G06F9/50GK105824704SQ201610206126
【公开日】2016年8月3日
【申请日】2016年4月5日
【发明人】张云
【申请人】浪潮电子信息产业股份有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1