1.本技术涉及计算机技术领域，尤其涉及一种构建虚拟集群的方法、装置及存储介质。
背景技术：2.k8s提供一个对k8s集群进行性能测试的工具kubemark，利用kubemark在k8s集群中构建虚拟集群，并在虚拟集群上进行测试，获得虚拟集群的性能指标，将获得虚拟集群的性能指标作为k8s集群的测试数据，即将虚拟集群的测试数据作为真实物理机集群的测试数据，以实现对真实物理机集群的测试。
3.利用kubemark在k8s集群中构建虚拟集群时，在k8s集群的物理机上构建kubemark的脚本，利用kubemark的脚本在物理机上直接构建虚拟集群，但目前利用脚本直接在物理机上构建虚拟集群的构建方式复杂。
技术实现要素：4.本技术提供一种构建虚拟集群的方法、设备及存储介质，用以提供一种简单易用的构建虚拟集群的方式。
5.第一方面，本技术实施例提供一种构建虚拟集群的方法，该方法包括：
6.通过预先部署在物理机集群上的虚拟集群主控制器(virtual cluster controller)，在物理机集群中至少一个物理机上构建功能控制组件，并基于功能控制组件，对虚拟集群主控制节点进行仿真；以及
7.通过虚拟集群主控制器，在物理机集群中至少一个其他物理机上构建至少一个工作组件，并基于至少一个工作组件，对虚拟集群工作节点进行仿真，其中，一个工作组件对应一个虚拟集群工作节点。
8.第二方面，本技术实施例提供一种构建虚拟集群的装置，该装置包括：
9.第一构建单元，用于通过预先部署在物理机集群上的虚拟集群主控制器，在物理机集群中至少一个物理机上构建功能控制组件，并基于功能控制组件，对虚拟集群主控制节点进行仿真；以及
10.第二构建单元，用于通过虚拟集群主控制器，在物理机集群中至少一个其他物理机上构建至少一个工作组件，并基于至少一个工作组件，对虚拟集群工作节点进行仿真，其中，一个工作组件对应一个虚拟集群工作节点。
11.在一种可能的实现方式中，第一构建单元通过预先部署在物理机集群上的虚拟集群主控制器，在物理机集群中至少一个物理机上构建功能控制组件之前，还用于：
12.通过虚拟集群主控制器监控到虚拟集群构建指令时，根据物理机集群中预先部署的用于生成虚拟集群实体(virtualcluster)和集群版本实体(clusterversion)的规范信息，构建相应的虚拟集群实体和集群版本实体，其中，虚拟集群实体包含用于配置虚拟集群对应的集群信息的第一配置文件，集群版本实体包含用于配置功能控制组件对应的配置和
processing unit，cpu)功能、图形处理器(graphics processing unit,gpu)功能、存储(memory)功能的之一或组合。
34.在一种可能的实现方式中，虚拟集群工作节点用于实现gpu功能时，通过虚拟集群工作节点，运行hollow-kubelet，构建kubelet.sock；以及
35.通过虚拟集群工作节点，运行模拟设备插件(mock-device-plugin)，通过mock-device-plugin监听kubelet.sock，以使mock-device-plugin与hollow-kubelet通信并注册gpu资源。
36.在一种可能的实现方式中，若mock-device-plugin未监听到kubelet.sock，则控制mock-device-plugin进入休眠后重启。
37.在一种可能的实现方式中，第一构建单元通过预先部署在至少一个物理机上的虚拟集群主控制器，在至少一个物理机上构建功能控制组件之前，还用于：
38.按照物理机集群中部署的用于限制虚拟集群主控制器操作资源的管理权限，运行虚拟集群主控制器。
39.第三方面，本技术实施例提供一种构建虚拟集群的设备，包括：存储器和处理器，其中，存储器，用于存储计算机指令；处理器，用于执行计算机指令以实现本技术实施例提供的构建虚拟集群的方法。
40.第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本技术实施例提供的构建虚拟集群的方法。
41.本技术有益效果如下：
42.本技术提供一种构建虚拟集群的方法、装置及存储介质；本技术在物理机集群上构建虚拟集群时，通过预先部署的虚拟集群主控制器在物理机集群中的至少一个物理机上构建功能控制组件，以及在物理机集群的至少一个其他物理机上构建工作组件，并基于功能控制组件对虚拟集群主控制节点进行仿真，以及基于至少一个工作组件对虚拟集群工作节点进行仿真，一个工作组件对应一个虚拟集群工作节点，虚拟集群主控制节点和虚拟集群工作节点组成虚拟集群；通过预先部署在物理机集群上的虚拟集群主控制器进行虚拟集群构建，在每次构建虚拟集群时，无需在物理机集群上部署用于构建虚拟集群的脚本，简化了在物理机集群中部署脚本的过程，且避免了利用脚本在物理机集群上直接构建虚拟集群不利于管理的问题，因此使用本技术提供的通过预先部署在物理机集群上的虚拟集群主控制器构建虚拟集群的构建方式简单易用。
43.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
44.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为构建虚拟集群的应用场景示意图；
46.图2为本技术实施例提供的一种构建虚拟集群的方法流程图；
47.图3为本技术实施例提供的一种在物理机集群上构建虚拟集群的示意图；
48.图4为本技术实施例提供的第一种针对虚拟集群进行监控的示意图；
49.图5为本技术实施例提供的第二种针对虚拟集群进行监控的示意图；
50.图6为本技术实施例提供的第三种针对虚拟集群进行监控的示意图；
51.图7为本技术实施例提供的第四种针对虚拟集群进行监控的示意图；
52.图8为本技术实施例提供的第五种针对虚拟集群进行监控的示意图；
53.图9为本技术实施例提供的第六种针对虚拟集群进行监控的示意图；
54.图10为本技术实施例提供的第七种针对虚拟集群进行监控的示意图；
55.图11为本技术实施例提供的第八种针对虚拟集群进行监控的示意图；
56.图12为本技术实施例提供的第九种针对虚拟集群进行监控的示意图；
57.图13为本技术实施例提供的一种hollow node组件仿真出虚拟集群工作节点的示意图；
58.图14为本技术实施例提供的另一种hollow node组件仿真出虚拟集群工作节点的示意图；
59.图15为本技术实施例提供的一种构建虚拟集群的整体方法流程图；
60.图16为本技术实施例提供的一种构建虚拟集群的装置结构图；
61.图17为本技术实施例提供的一种计算设备的结构图。
具体实施方式
62.本技术实施例描述的架构以及业务场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
63.以下对本技术实施例中的部分用语进行解释说明，以便于本领域技术人员理解：
64.1、k8s：
65.k8s全称kubernetes，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，kubernetes的目标是让部署容器化的应用简单并且高效，kubernetes提供了应用部署、规划、更新、维护的一种机制。
66.2、kubemark：
67.kubemark是k8s提供的一个对k8s集群进行性能测试的工具，其中k8s集群为本技术的物理机集群。它可以模拟出一个虚拟集群，不受资源限制，从而能够测试的虚拟集群规模比真实集群大的多。这个虚拟集群中主控制节点(master)是真实的机器即物理机集群中的一个物理机，所有的工作节点(node)是hollow node。hollow node执行的是真实的程序，只是不会调用容器，因此测试会走一套k8s api调用的完整流程，但是不会真正构建pod。
68.kubemark是在模拟的虚拟集群上跑测试，从而获得虚拟集群的性能指标。虚拟集群的测试数据，虽然与真实集群的稍有误差，不过可以代表真实集群的数据。
69.3、pod是k8s的最小单位。pod的ip地址是随机的，删除pod会改变ip。pod都有一个根容器，一个pod内可以由一个或多个容器组成，一个pod内的容器共享根容器的网络命名
空间，一个pod的内的网络地址由根容器提供。
70.4、集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。集群计算机系统中的单个计算机通常称为节点，各个节点之间通常通过局域网连接，但也有其它的可能连接方式。集群计算机系统通常用来改进单个计算机的计算速度和/或可靠性。
71.5、gpu又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。
72.6、cpu是电子计算机的主要设备之一，电脑中的核心配件。其功能主要是解释计算机指令以及处理计算机软件中的数据。cpu是计算机中负责读取指令，对指令译码并执行指令的核心部件。中央处理器主要包括两个部分，即控制器、运算器，其中还包括高速缓冲存储器及实现它们之间联系的数据、控制的总线。电子计算机三大核心部件就是cpu、内部存储器、输入/输出设备。中央处理器的功效主要为处理指令、执行操作、控制时间、处理数据。
73.7、pki是一个包括硬件、软件、人员、策略和规程的集合，用来实现基于公钥密码体制的密钥和证书的产生、管理、存储、分发和撤销等功能。
74.pki体系是计算机软硬件、权威机构及应用系统的结合。它为实施电子商务、电子政务、办公自动化等提供了基本的安全服务，从而使那些彼此不认识或距离很远的开发者能通过信任链安全地交流。
75.8、云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
76.云技术(cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
77.下面介绍本技术的基本构思。
78.本技术是针对在物理机集群中构建虚拟集群的，目前在物理机集群中构建虚拟集群的相关技术中，构建虚拟集群的方式为利用kubemark构建虚拟集群。k8s给出了在物理机上构建kubemark的脚本，即将kubemark的脚本部署在物理机集群的物理机上，通过kubemark的脚本直接在物理机集群的物理机上部署用于构建虚拟集群的集群组件。
79.由于物理机资源紧张时需要把虚拟集群停掉，当有空闲的物理机资源时，需要再次在物理机集群中构建虚拟集群，因此需要在物理机集群中多次构建虚拟集群，此时需要在物理机集群中多次部署kubemark的脚本。在物理机集群中部署脚本比较复杂，需要根据集群状况和开发者的个人需求来修改脚本，这就需要开发者在部署集群方面具有一定的经验和知识。且利用kubemark的脚本在物理机上构建虚拟集群的方式不利于管理。
80.有鉴于此，本技术提供一种简单易用的构建虚拟集群的方式，且方便多次在物理机集群中构建虚拟集群。
81.在本技术中，预先在物理机集群中部署虚拟集群主控制器，当确定需要构建虚拟
集群时，运行预先部署的虚拟集群中控制器，通过虚拟集群主控制器在物理机集群中至少一个物理机上构建功能控制组件，并基于功能控制组件，对虚拟集群主控制节点进行仿真；以及通过虚拟集群主控制器在物理机集群中至少一个其他物理机上构建至少一个工作组件，并基于至少一个工作组件，对虚拟集群工作节点进行仿真，一个工作组件对应一个虚拟集群工作节点，此时由虚拟集群主控制节点和虚拟集群工作节点组成虚拟集群，实现虚拟集群的构建。
82.在本技术中，采用虚拟集群主控制器的方式来构建虚拟集群，会在一个物理机集群中构建一个虚拟集群。此时并没有直接在物理机集群的物理机上部署用于构建虚拟集群的集群组件，而是实现了一个虚拟集群主控制器，通过虚拟集群主控制器在物理机集群的物理机上构建虚拟集群必需的组件，通过这种方式可以根据虚拟构建指令中包含的各类参数，简单的在物理机集群中创建虚拟集群，而无需每次在物理机集群上部署用于构建虚拟集群的脚本，且避免了利用脚本在物理机集群上直接构建虚拟集群不利用管理的问题，使通过预先部署在物理机集群上的虚拟集群主控制构建虚拟集群的构建方式简单易用。
83.在介绍完本技术实施例的设计思想之后，下面对本技术设置的应用场景进行简要说明。需要说明的是，以下场景仅用于说明本技术实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本技术实施例提供的技术方案。
84.请参照图1，图1示例性的提供的了本技术实施例的一种应用场景示意图；如图1所示，在该应用场景中包括有终端设备10和服务器11。
85.其中，终端设备10中安装运行有各种应用，终端设备10为开发者使用的电子设备，该电子设备可以是个人计算机、手机、平板电脑、笔记本、电子书阅读器等具有一定计算能力并且运行有即时通信类软件及网站或者社交类软件及网站的计算机设备。
86.服务器11可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
87.在一种可选的实施方式中，终端设备10与服务器11之间可以通过通信网络进行通信。通信网络是有线网络或无线网络。终端设备10通过无线接入点12与服务器11间接地连接，或终端设备10通过因特网与服务器11直接地连接，本技术在此不做限制。
88.在一种可能的应用场景中，服务器11为由多个物理机构成的物理机集群，物理机集群中预先部署有虚拟集群主控制器，当服务器11接收到终端设备10的虚拟集群构建指令时，服务器11中的虚拟集群主控制器根据虚拟集群构建指令中的各种参数，构建用于构建虚拟集群的集群组件，并根据构建的集群组件，对虚拟集群主控制节点和虚拟集群的工作节点进行仿真，以实现虚拟集群构建。
89.在一种可能的实现方式中，本技术实施例提供的通过虚拟集群主控制器构建虚拟集群的实施方式可以应用到深度学习训练平台上，比如深度学习训练平台中的星辰算力平台，星辰算力平台是一个基于k8s构建的机器学习gpu算力平台。
90.具体的，在深度学习训练平台上运行着如调度器/控制器(controller)等组件，且也在持续地对这些组件进行优化，以更好地支持物理机集群运行。随着物理机集群规模扩大，组件需要面临大量的请求数据，对组件吞吐量的要求也越来越高。因此深度学习训练平
台需要一个和物理机集群规模匹配的虚拟集群，通过虚拟集群来测试虚拟集群组件在大并发量场景下运行的性能，此时通过本技术实施例提供的虚拟集群主控制器在深度学习训练平台上构建虚拟集群。并将虚拟集群组件的运行性能作为物理机集群组件的运行性能，来确保组件在物理机集群下运行正常，也可以支持后续的性能优化。
91.在一种可能的实现方式中，本技术采用云存储的方式存储服务器中的数据。云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作，共同对外提供数据存储和业务访问功能的一个存储系统。
92.目前，存储系统的存储方法为：创建逻辑卷，在创建逻辑卷时，就为每个逻辑卷分配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据，也就是将数据存储在文件系统上，文件系统将数据分成许多部分，每一部分是一个对象，对象不仅包含数据而且还包含数据标识(id entity，id)等额外的信息，文件系统将每个对象分别写入该逻辑卷的物理存储空间，且文件系统会记录每个对象的存储位置信息，从而当客户端请求访问数据时，文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
93.存储系统为逻辑卷分配物理存储空间的过程，具体为：按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘阵列(redundant array of independent disk，raid)的组别，预先将物理存储空间划分成分条，一个逻辑卷可以理解为一个分条，从而为逻辑卷分配了物理存储空间。
94.下面结合上述描述的应用场景，参考附图来描述本技术示例性实施方式提供的构建虚拟集群的方法，需要注意的是，上述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。
95.在本技术中，预先在物理机集群上部署虚拟集群主控制器，并控制虚拟集群主控制器在物理机集群上运行。此时，物理机集群将通过虚拟集群主控制器监控虚拟集群构建指令，当监控到虚拟集群构建指令后，通过预先部署在物理机集群上的虚拟集群主控制器，在物理机集群中至少一物理机上构建功能控制组件；以及通过虚拟集群主控制器在物理机集群中至少一个其他物理机上构建至少一个工作组件；之后通过构建的功能控制组件，对虚拟集群主控制节点进行仿真，通过至少一个工作组件对至少一个工作节点进行仿真，实现虚拟集群的构建。
96.在一种可能的实现方式中，在监控到虚拟集群构建指令后，通过虚拟集群主控制器在物理机集群中至少一个物理机上构建功能控制组件，以及在物理机集群中至少一个其他物理机上构建至少一个工作组件之前，虚拟集群主控制器根据物理机集群中预先部署的用于生成虚拟集群控制实体和集群版本实体的规范信息，构建与虚拟集群构建指令相应的虚拟集群实体和集群版本实体，即对虚拟集群构建指令中指示的虚拟集群实体和集群版本实体进行构建。
97.其中，构建的虚拟集群实体包含用于配置虚拟集群对应的集群信息的第一配置文件，以及构建的集群版本实体包含用于配置功能控制组件对应的配置和版本，以及至少一个工作组件的配置及版本的第二配置文件。
98.在构建了虚拟集群实体和集群版本实体后，虚拟集群主控制器将根据虚拟集群实体的第一配置文件和集群版本实体的第二配置文件，构建虚拟集群。
99.需要说明的是，虚拟集群主控制器在物理机集群中运行时，物理机集群的主控制物理机会监控虚拟集群主控制器运行，要求虚拟集群主控制器按照预先在物理机集群中部署的用于限制虚拟集群主控制器操作资源的管理权限运行。
100.因此，本技术实施例提供的通过虚拟集群主控制器构建虚拟集群的技术方案中，在物理机集群中需要预先部署如下信息：
101.在物理机集群上部署必须的两个自定义资源定义(custom resource definition，crd)规范信息，分别为虚拟集群实体(virtualcluster)和集群版本实体(clusterversion)的规范信息；其中虚拟集群实体包含用于配置集群信息的第一配置文件，集群信息包括但不限于：集群组件的命名空间(namespace)、集群名称、集群版本中的至少一种；集群版本实体包含用于配置虚拟集群中功能控制组件的配置和版本，以及工作组件的配置和版本的第二配置文件。
102.在物理机集群中部署虚拟集群主控制器对应的基于角色的访问控制(role-based access control，rbac)管理权限，用于限制虚拟集群主控制器在物理机集群中操作资源的权限。
103.在物理机集群中部署用于构建虚拟集群的虚拟集群主控制器。
104.需要说明的是，信息部署的过程没有先后顺序，保证在构建虚拟集群时，在物理机集群中已部署上述信息即可。
105.在本技术中，在物理机集群中部署了虚拟集群实体(virtualcluster)和集群版本实体(clusterversion)的规范信息、rbac管理权限以及虚拟集群主控制器后，虚拟集群主控制器按照rbac管理权限运行，并监控虚拟集群构建指令，在监控到虚拟集群构建指令后，基于虚拟集群构建指令中的各种参数，根据预先部署的规范信息，构建与虚拟集群构建指令对应的虚拟集群实体和集群版本实体；其中，虚拟集群实体包含用于配置集群信息的第一配置文件；集群版本实体包含用于配置虚拟集群中功能控制组件的配置和版本，以及工作组件的配置和版本的第二配置文件。
106.其中，虚拟集群构建指令为：
107.kubectl create-f examples/clusterversion.yaml；
108.kubectl create-f examples/virtualcluster.yaml。
109.在构建与虚拟集群构建指令对应的虚拟集群实体和集群版本实体之后，通过预先部署的虚拟集群主控制器，根据虚拟集群实体对应的第一配置文件和集群版本实体对应的第二配置文件，构建虚拟集群。
110.需要说明的是，为了使构建的虚拟集群与物理机集群状态一致，需要保证构建虚拟集群的功能控制组件的配置和版本与物理机集群中的功能控制组件的配置和版本一致，以及保证虚拟集群的至少一个工作组件的配置和版本与物理机集群中的功能控制组件的配置和版本一致。
111.因此，在虚拟集群构建指令中携带的各种参数中包含各个组件的配置和版本；以使虚拟集群主控制器根据携带的各个组件的配置和版本，按照规范信息构建集群版本实体，此时集群版本实体对应的第二配置文件中包含的功能控制组件的配置和版本，以及至
少一个工作组件的配置和版本是根据虚拟集群构建指令中携带的组件的配置和版本确定的。
112.请参照图2，图2示例性的提供了本技术实施例中一种构建虚拟集群的方法流程，该方法包括如下步骤：
113.步骤s200，通过预先部署在物理机集群上的虚拟集群主控制器，在物理机集群中至少一个物理机上构建功能控制组件，并基于功能控制组件，对虚拟集群主控制节点进行仿真。
114.在本技术中，由于已经构建了虚拟集群实体和集群版本实体，因此通过虚拟集群主控制器调用虚拟集群实体和集群版本实体，根据虚拟集群实体对应的第一配置文件中的集群信息，查找与该集群信息匹配的集群版本实体；
115.根据查找到的集群版本实体对应的第二配置文件中的功能控制组件的配置和版本，构建功能控制组件，并将构建的功能控制组件部署在物理机集群中至少一个物理机上。
116.在本技术中，将功能控制组件部署在物理机集群中的至少一个物理机后，基于功能控制组件仿真虚拟集群主控制节点。
117.在逻辑上可以理解为功能控制组件构成虚拟集群主控制节点，即实现对虚拟集群主控制节点的仿真。
118.步骤s201，基于虚拟集群主控制器，在物理机集群中至少一个其他物理机上构建至少一个工作组件，并基于至少一个工作组件，对虚拟集群工作节点进行仿真，其中，一个工作组件对应一个虚拟集群工作节点。
119.在本技术中，在查找到与虚拟集群实体对应的集群信息匹配的集群版本实体后，虚拟集群主控制器根据查找到的集群版本实体对应的第二配置文件中的工作组件的配置和版本，构建至少一个工作组件；
120.将构建的至少一个工作组件，部署在物理机集群中除部署了功能控制组件的物理机以外的至少一个其他物理机上。
121.在本技术中，工作组件可以仿真出虚拟集群工作节点，对虚拟集群工作节点的操作和维护与真实物理机一致。
122.在本技术中，虚拟集群主控制节点和虚拟集群工作节点组成了虚拟集群。
123.在构建完虚拟集群后，使用kubectl-config_dump获取虚拟集群的kubeconfig，开发者就可以使用kubeconfig和虚拟集群进行交互。
124.请参照图3，图3示例性的提供了本技术实施例中一种在物理机集群上构建虚拟集群的示意图。通过虚拟集群主控制器在物理机集群中构建了虚拟集群，且虚拟集群不影响物理机集群的运行。
125.从图3中可知，功能控制组件中包含有：etcd组件、volcano组件、api server组件以及controller manager组件，且将etcd组件、volcano组件、api server组件以及controller manager组件部署在至少一个真实的物理机上。
126.图3中将etcd组件、volcano组件、api server组件以及controller manager组件部署在同一个物理机上为一种示例性的实施方式。在本技术中，还可以将etcd组件、volcano组件、api server组件以及controller manager组件部署在不同的物理机上，在此不再赘述。
127.从图3中可知，工作组件为hollow node组件，且hollow node组件部署在物理机集群的物理机上，一个物理机上可以部署至少一个hollow node组件，hollow node组件可以仿真出虚拟集群工作节点。
128.其中，部署了hollow node组件的物理机与部署了功能控制组件的物理机不同，避免部署功能控制组件的物理机由于负载过大出现问题。
129.下面，详细介绍通过虚拟集群主控制器，根据集群版本实体包含的第二配置文件，构建各个功能控制组件的实施方式。
130.1、构建etcd组件：
131.etcd组件是一个高可用的键值存储系统，主要用于共享配置和服务发现，通过一致性算法处理日志复制以保证强一致性，通常理解为一个高可用强一致性的服务发现存储仓库。
132.etcd组件主要解决的是分布式系统中数据一致性的问题，而分布式系统中的数据分为控制数据和应用数据，etcd组件处理的数据类型为控制数据，对于很少量的应用数据也可以进行处理。
133.在一种可能的实现方式中，通过虚拟集群主控制器，根据集群版本实体包含的第二配置文件，构建etcd statefulset和对应的service。
134.其中，statefulset是控制器的一种，etcd statefulset用于管理和构建etcd组件，因此在构建了etcd statefulset后，通过etcd statefulset构建etcd组件；
135.需要说明的是，在通过etcd statefulset构建etcd组件时，可以构建至少一个etcd组件，也可以说是构建至少一个etcd pod。
136.etcd组件对应的service用于实现与其他组件进行数据交互。
137.需要说明的是，构建虚拟集群主控制节点中需要etcd组件，但是etcd组件可不通过虚拟集群主控制器构建。在一种示例性的实施方式中，当虚拟集群主控制器根据集群版本实体包含的第二配置文件，构建虚拟集群主控制节点对应的功能控制组件时，若集群版本实体包含的第二配置文件中未记载与etcd组件的相关信息，则跳过etcd组件的构建过程。
138.此时，虚拟集群主控制节点对应的etcd组件可以通过其他方式进行构建，构建方式主要取决于开发者，比如在构建虚拟集群时，开发者单独编写构建etcd组件的脚本，在物理机集群中执行该脚本，构建etcd组件；或该etcd组件是预先部署好的，因此在构建虚拟集群时无需重新部署etcd组件；但是为了保证虚拟集群中各个组件的正常交互，需将根据脚本构建的etcd组件或预先部署的etcd组件的相关信息配置在虚拟集群构建指令中携带的api server配置参数中。
139.在一种可能的实现方式中，当构建虚拟集群是为了进行性能测试时，为了在性能测试时不构成性能瓶颈，将对etcd组件进行系统上的优化。具体的，由于etcd组件需要的空间不大，因此可以把数据(data)放在内存盘里，节约输入输出(input/output，io)时间。
140.2、构建volcano组件：
141.volcano组件是批处理系统，属于云原生计算基金会(cloud native computing foundation sandbox，cncf sandbox)项目，方便通用计算框架接入，提供高性能任务调度引擎，高性能异构芯片管理，高性能任务运行管理等能力。
142.在一种可能的实现方式中，通过虚拟集群主控制器，根据集群版本实体包含的第二配置文件，构建volcano组件中的admission子组件对应的admission statefulset和admission子组件对应的service，controller-manager子组件对应的controller-manager statefulset和controller-manager子组件对应的service，以及scheduler子组件对应的scheduler statefulset和scheduler子组件对应的service。
143.其中，各个子组件对应的statefulset用于管理和构建对应的子组件；
144.需要说明的是，在通过各个子组件对应的statefulset构建对应的子组件时，可以构建至少一个子组件，比如，admission statefulset用于管理和构建至少一个admission子组件，也可以说是构建至少一个admission pod。
145.各个子组件对应的service用于实现数据交互。
146.在一种可能的实现方式中，scheduler子组件对应的service用于暴露接口，以使监控工具通过暴露的接口监控volcano组件的性能指标。
147.在本技术中，监控工具为prometheus；本技术通过prometheus和grafana部署了监控，如图3所示。通过prometheus和grafana部署了监控后，支持对虚拟集群上虚拟集群主控制节点的负载状态，以及虚拟集群主控制节点上的调度器关键性能指标进行监控，图4-图12示例性提供的本技术实施例中进行性能指标监控的监控图表，具体展示了调度方面模块状态，任务和集群资源相关的信息。
148.从图4中可知，对2个调度器进行监控，一个作为主调度器，另一个作为备选调度器；图5对调度时延进行了监控；图6对调度变化率进行了监控；图7对任务变化率进行了监控；图8对任务调度延迟进行了监控；图9对内存使用量进行了监控；图10对某物理机上cpu利用率变化量进行了监控；图11对pod抢占变化率进行了监控；图12对某物理机上任务占用内存量进行监控；需要说明的是，物理机是根据ip地址确定的。
149.3、构建api server组件：
150.api server组件提供了各类资源对象的增删改查及监控等http rest接口，是整个系统的数据总线和数据中心。
151.api server组件的功能包括：提供集群管理的rest api接口(包括认证授权、数据校验以及集群状态变更)、提供其他组件之间的数据交互和通信的枢纽(其他组件通过api server组件查询或修改数据，只有api server组件直接操作etcd组件)、是资源配额控制的入口、拥有完备的集群安全机制。
152.在一种可能的实现方式中，通过虚拟集群主控制器，根据集群版本实体包含的第二配置文件，构建api server组件的api server statefulset和对应的service。
153.其中，api server statefulset用于管理和构建api server组件，因此在构建了api server statefulset后，通过api server statefulset构建api server组件；
154.需要说明的是，在通过api server statefulset构建对应的api server组件时，可以构建至少一个api server组件，也可以说是构建至少一个api server pod。
155.api server组件对应的service用于进行数据交互，以使api server组件通过service进行服务配置，即使用service提供api server的服务。
156.需要说明的是，当构建虚拟集群是为了进行性能测试时，为了在性能测试时不构成性能瓶颈，将对api server组件进行系统上的优化。由于api server组件的特性，导致
api server组件很容易成为性能瓶颈，因此对api server组件对应的api server参数进行参数调整，对api server组件对应的网络进行调整，以在高可用方向进行调整，具体如下：
157.网络：
158.在本技术中，使用service提供api server的服务，service的便利处在于其可以很简单地起多个实例高可用并做负载均衡降低负载，但是在流量大的情况下，使用service提供api server的服务时，网络延时会很高。
159.因此，在一种可能的实现方式中，根据集群版本实体包含的第二配置文件为api server组件设置host network，以及针对设置了host network的api server组件，设置api server组件所在的物理机的ip，以使api server组件以api server组件所在的物理机的ip进行服务配置。
160.将api server组件设置host network，使用母机网络即物理机网络，可以大幅降低时延。但是将api server组件设置host network后，物理机集群的域名系统(domain name system，dns)就无法使用了，因此在api server组件的配置中，以service配置的服务，都需要改成api server组件所在物理机节点的ip。其他组件中对api server的配置，也需要修改。
161.高可用：
162.由于api server组件设置了host network，想要部署多个api server组件，可以使用多个虚拟集群主控制节点配置多个api server组件。在api server组件之前用网关gateway做转发和负载均衡来缓解api server的压力。
163.参数：
164.在本技术中，api server组件中包含的api server参数包括单不限于下列的部分或全部：
165.信息存放在etcd中地址的前缀(etcd-prefix)；
166.变更请求量(max-requests-inflight)；
167.非变更请求量(max-mutating-requests-inflight)。
168.需要说明的是，etcd-prefix是根据虚拟集群实体的集群名称添加在api server参数中的，以使api server组件与etcd-prefix对应的etcd组件进行数据交互，通过etcd组件保存整个虚拟集群的状态；
169.max-requests-inflight以及max-mutating-requests-inflight是针对大规模的虚拟集群的需求配置的api server参数，且是通过虚拟集群构建指令中携带的参数确定。
170.4、构建controller manager组件：
171.在集群中拥有很多controller，controller保证集群中各种资源的状态和开发者定义的状态一致，如果出现偏差，则修正资源的状态。
172.controller manager组件是各种controller的管理者，是集群内部的管理控制中心。
173.在一种可能的实现方式中，通过虚拟集群主控制器，根据集群版本实体包含的第二配置文件，构建controller manager statefulset和对应的service。
174.controller manager statefulset用于管理和构建controller manager组件，因此在构建了controller manager statefulset后，通过controller manager statefulset
构建controller manager组件；
175.需要说明的是，在通过controller manager statefulset构建对应的controller manager组件时，可以构建至少一个controller manager组件，也可以说是构建至少一controller manager pod。
176.controller manager组件对应的service用于实现与其他组件进行数据交互。
177.需要说明的是，因为etcd组件、volcano组件、api server组件以及controller manager组件是根据集群版本实体包含的第二配置文件进行构建的，且集群版本实体包含的第二配置文件是根据虚拟集群构建指令中携带的配置和版本确定的，虚拟集群构建指令中携带的配置和版本是开发者根据物理机集群中主控制物理机中的组件对应的配置和版本确定的，因此etcd组件、volcano组件、api server组件以及controller manager组件的配置和版本与物理机集群中的一致。
178.下面，详细介绍通过虚拟集群主控制器，根据集群版本实体的配置文件包含的第二配置文件，构建工作组件的实施方式。
179.构建hollow node组件：
180.hollow node组件用于仿真虚拟集群工作节点，对虚拟集群工作节点的操作和维护与物理机集群中的工作节点一致。
181.在一种可能的实现方式中，通过虚拟集群主控制器，根据集群版本实体包含的第二配置文件，构建hollow node deployments；
182.通过hollow node deployments构建hollow node。
183.需要说明的是，在通过hollow node deployments构建hollow node时，可以构建至少一个hollow node组件，也可以说是构建至少一hollow node pod。
184.在本技术中，使用hollow-node deployments的原因是，在构建大批量节点时，hollow node statefulset串行构建hollow-node组件的速度过慢，因此使用并行的deployments。
185.在本技术中，在通过虚拟集群主控制器根据集群版本实体包含的第二配置文件构建功能控制组件和工作组件之前，还可以通过虚拟集群主控制器，构建用于放置功能控制组件和至少一个工作组件的租户命名空间；以及
186.通过虚拟集群主控制器，构建用于功能控制组件和至少一个工作组件进行相互认证和通信使用的pki，其中pki包括所有的crt/key pair and kubeconfig，且将pki以secret的形式存储在物理机集群上。
187.需要说明的是，在clusterversion的实例中，在组件的配置里使用组件所对应的secret volumes。
188.当构建完功能控制组件和工作组件后，将功能控制组件部署在物理机集群的至少一个物理机中，基于功能控制组件构建虚拟集群的虚拟集群主控制节点；以及将至少一个工作组件放置在物理机集群中除包含有功能控制组件的物理机以外的至少一个其他物理机中，基于工作组件构建虚拟集群的虚拟集群工作节点；虚拟集群主控制节点和虚拟集群工作节点组成虚拟集群；其中一个工作组件对应一个虚拟集群工作节点，每个虚拟集群工作节点上有cpu资源、memory资源以及gpu资源等。
189.在本技术中，hollow node组件是虚拟集群的灵魂，hollow node组件构成虚拟集
群的虚拟集群工作节点，也可以理解成hollow node组件即为虚拟集群工作节点。虚拟集群工作节点在虚拟集群中的功能与真实工作节点在物理机集群中的功能类似。
190.通过hollow node组件可以仿真任一数量的虚拟集群工作节点，供压力测试使用。hollow node组件仿真了代理服务(kubelet)，支持仿真虚拟集群工作节点上的cpu/memory和gpu等资源量。绑定在虚拟集群工作节点上的pod并不会真正运行，且虚拟集群工作节点上的pod对应的状态是由仿真kubelet维持的数据结构记录并更新的。如图13和图14所示，图13和图14示例性提供了本技术实施例中一种hollow node组件仿真出虚拟集群工作节点的示意图。
191.在一个hollow-node组件中，运行两个容器(containers)：hollow-kubelet和mock-device-plugin，以及一个init-container。
192.由于k8s官方提供的hollow-node组件并不支持仿真gpu资源，在本技术实施例中对mock-device-plugin进行了修改，使得仿真的虚拟集群工作节点带有gpu资源。
193.在本技术中，当hollow-node组件用于实现gpu功能时，通过虚拟集群工作节点，运行hollow-kubelet，构建kubelet.sock；以及
194.通过虚拟集群工作节点，运行mock-device-plugin，通过mock-device-plugin监听kubelet.sock，以使mock-device-plugin与hollow-kubelet通信并注册gpu资源。
195.由于kubelet.sock是由hollow-kubelet创建的，所以mock-device-plugin需要在hollow-kubelet起来之后再启动，但k8s不支持hollow-node组件内container的有序启动。因此本方案增加了重启(retry)，在无法获取kubelet.sock时让mock-device-plugin container sleep后再重启。即通过mock-device-plugin监听kubelet.sock时：若未监听到kubelet.sock，则控制mock-device-plugin进入休眠后重启。
196.在一种可能的实现方式中，当虚拟集群工作节点用于实现cpu功能时，通过num-cores设置仿真的cpu资源；
197.当虚拟集群工作节点用于实现memory功能时，通过mem-caps设置仿真的memory资源。
198.需要说明的是，在本技术实施例提供的构建的虚拟集群中，一个容器(container)配置需求cpu 0.5核，1g memory存储，以保证容器进程的正常运行。也可以换成更小的需求量。
199.原始的hollow-node组件不支持绑定在虚拟集群工作节点上面的pod中含有init container。因为绑定在虚拟集群工作节点上面的pod实际上不会真正去运行，因此仿真kubelet中存储的虚拟集群工作节点上面的pod对应的状态会一直是运行状态(running)，所以pod对应的init container不会停止。因此本技术实施例在hollow-node组件中跳过了运行pod对应的init container的过程，直接认为pod对应的init container运行结束，解决了这个问题。
200.为了更好的仿真虚拟集群工作节点上面的pod创建过程，本技术中使用sleep time模拟镜像拉取的耗时。当然，在性能测试时，就不再需要sleep无谓地消耗时间，本方案也增加了一个sleep参数，来关闭包括该模拟镜像拉取在内的4个sleep过程。
201.hollow-node组件运行init-container：由于需要监听文件，所以本技术使用init-container来设置母机的fs.inotify.max_user_instances，来保证不会出现文件句
柄缺少的问题，其中fs.inotify.max_user_instances是携带在虚拟集群创建指令中的。
202.图15示例性提供的本技术实施例中一种构建虚拟集群的整体方法流程图，包括如下步骤：
203.步骤s1500，在物理机集群中预先配置虚拟集群实体和集群版本实体的规范信息、用于限制虚拟集群主控制器在物理机集群中操作资源的管理权限以及虚拟集群主控制器。
204.步骤s1501，在物理机集群中按照预先配置的用于限制虚拟集群主控制器在物理机集群中操作资源的管理权限，运行虚拟集群主控制器。
205.步骤s1502，通过运行的虚拟集群主控制器监控到虚拟集群构建指令时，根据物理机集群中预先部署的用于生成虚拟集群实体和集群版本实体的规范信息，构建相应的虚拟集群实体和集群版本实体；
206.步骤s1503，通过虚拟集群主控制器调用虚拟集群实体和集群版本实体，根据虚拟集群实体对应的第一配置文件中的集群信息，查找与集群信息匹配的集群版本实体；
207.步骤s1504，通过虚拟集群主控制器，基于集群版本实体对应的第二配置文件，在物理机集群中至少一个物理机上构建功能控制组件，以及在物理机集群中至少一个其他物理机上构建至少一个工作组件；
208.步骤s1505，基于功能控制组件，对虚拟集群主控制节点进行仿真，以及基于至少一个工作组件，对虚拟集群工作节点进行仿真，构建虚拟集群。
209.本技术实施例通过虚拟集群主控制器的方式，简单地部署了一个大规模的虚拟集群。该虚拟集群和物理机集群的规模和状态一致，并且能仿真gpu资源。集群中的虚拟节点占用资源量小，可以在少量物理机上构建大量虚拟节点。使用该虚拟集群，可以用于测试组件在大并发量场景下运行的性能，来确保组件在物理机集群下运行正常，同时本技术中也支持后续的性能优化。
210.基于同一发明构思，本技术实施例还提供了一种构建虚拟集群的装置1600，图16示例性提供了本技术实施例中一种构建虚拟集群的装置，该构建虚拟集群的装置1600，包括：
211.第一构建单元1601，用于通过预先部署在物理机集群上的虚拟集群主控制器，在物理机集群中至少一个物理机上构建功能控制组件，并基于功能控制组件，对虚拟集群主控制节点进行仿真；以及
212.第二构建单元1602，用于通过虚拟集群主控制器，在物理机集群中至少一个其他物理机上构建至少一个工作组件，并基于至少一个工作组件，对虚拟集群工作节点进行仿真，其中，一个工作组件对应一个虚拟集群工作节点。
213.在一种可能的实现方式中，第一构建单元1601通过预先部署在物理机集群上的虚拟集群主控制器，在物理机集群中至少一个物理机上构建功能控制组件之前，还用于：
214.通过虚拟集群主控制器监控到虚拟集群构建指令时，根据物理机集群中预先部署的用于生成虚拟集群实体(virtualcluster)和集群版本实体(clusterversion)的规范信息，构建相应的虚拟集群实体和集群版本实体，其中，虚拟集群实体包含用于配置虚拟集群对应的集群信息的第一配置文件，集群版本实体包含用于配置功能控制组件对应的配置和版本及至少一个工作组件对应的配置和版本的第二配置文件；
215.通过虚拟集群主控制器调用虚拟集群实体和集群版本实体，根据虚拟集群实体包
含的第一配置文件中的集群信息，查找与集群信息匹配的集群版本实体；
216.其中，集群版本实体包含的所述第二配置文件中的功能控制组件对应的配置和版本及至少一个工作组件对应的配置和版本，是根据虚拟集群构建指令中携带的组件的配置和版本确定的。
217.在一种可能的实现方式中，第一构建单元1601具体用于：
218.通过虚拟集群主控制器，根据集群版本实体包含的第二配置文件，在至少一个物理机上构建功能控制组件。
219.在一种可能的实现方式中，第二构建单元1602具体用于：
220.通过虚拟集群主控制器，根据集群版本实体包含的第二配置文件，在至少一个其他物理机上构建至少一个工作组件。
221.在一种可能的实现方式中，第一构建单元1601具体用于：
222.基于集群版本实体包含的第二配置文件，在至少一个物理机上构建用于管理和构建功能控制组件的第一控制器；
223.通过第一控制器，构建功能控制组件。
224.在一种可能的实现方式中，第二构建单元1602具体用于：
225.基于集群版本实体包含的第二配置文件，在至少一个其他物理机上构建用于管理和构建工作组件的第二控制器；
226.通过第二控制器，构建至少一个工作组件。
227.在一种可能的实现方式中，功能控制组件包括应用程序编程接口服务(application programming interface server，api server)组件，第一构建单元701根据集群版本实体包含的第二配置文件，在至少一个物理机上构建api server组件，还用于：
228.根据集群版本实体包含的第二配置文件，构建设置主机网络(host network)的api server组件；
229.其中，api server组件以api server组件所在的物理机的网络协议(internet protocol，ip)进行服务配置。
230.在一种可能的实现方式中，功能控制组件包括调度(volcano)组件，第一构建单元1601根据集群版本实体包含的第二配置文件，在至少一个物理机上构建volcano组件之后，还用于：
231.构建volcano组件中的调度器(scheduler)对应的服务(service)，以使监控工具通过service暴露的接口监控volcano组件的性能指标。
232.在一种可能的实现方式中，第一构建单元1601通过预先部署在物理机集群上的虚拟集群主控制器，在物理机集群中至少一个物理机上构建功能控制组件之前，还用于：
233.通过虚拟集群主控制器，构建用于存储功能控制组件和工作组件的租户命名空间(namespace)；以及
234.通过虚拟集群主控制器，构建用于功能控制组件和工作组件进行相互认证和通信使用的公开密钥基础设施(public key infrastructure，pki)。
235.在一种可能的实现方式中，虚拟集群工作节点用于实现中央处理器(central processing unit，cpu)功能、图形处理器(graphics processing unit,gpu)功能、存储(memory)功能的之一或组合。
236.在一种可能的实现方式中，虚拟集群工作节点用于实现gpu功能时，通过虚拟集群工作节点，运行hollow-kubelet，构建kubelet.sock；以及
237.通过虚拟集群工作节点，运行模拟设备插件(mock-device-plugin)，通过mock-device-plugin监听kubelet.sock，以使mock-device-plugin与hollow-kubelet通信并注册gpu资源。
238.在一种可能的实现方式中，若mock-device-plugin未监听到kubelet.sock，则控制mock-device-plugin进入休眠后重启。
239.在一种可能的实现方式中，第一构建单元1601通过预先部署在至少一个物理机上的虚拟集群主控制器，在至少一个物理机上构建功能控制组件之前，还用于：
240.按照物理机集群中部署的用于限制虚拟集群主控制器操作资源的管理权限，运行虚拟集群主控制器。
241.为了描述的方便，以上各部分按照功能划分为各单元(或模块)分别描述。当然，在实施本技术时可以把各单元(或模块)的功能在同一个或多个软件或硬件中实现。
242.在介绍了本技术示例性实施方式的构建虚拟集群的方法及装置后，接下来介绍本技术的另一示例性实施方式的构建虚拟集群的计算设备。
243.所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
244.在一种可能的实现方式中，本技术实施例提供的构建虚拟集群计算设备可以至少包括处理器和存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本技术中各种示例性实施方式的构建虚拟集群方法中的任一步骤。
245.下面参照图17来描述根据本技术的这种实施方式的构建虚拟集群计算设备1700。如图17的构建虚拟集群计算设备1700仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
246.如图17所示，计算设备1700的组件可以包括但不限于：上述至少一个处理器1701、上述至少一个存储器1702、连接不同系统组件(包括存储器1702和处理器1701)的总线1703。
247.总线1703表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
248.存储器1702可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)17021和/或高速缓存存储器17022，还可以进一步包括只读存储器(rom)17023。
249.存储器1702还可以包括具有一组(至少一个)程序模块17024的程序/实用工具17025，这样的程序模块17024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
250.计算设备1700也可以与一个或多个外部设备1704(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算设备1700交互的设备通信，和/或与使得该计算设备1700能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1705进行。并且，计算设备1700还可以通过网
络适配器1706与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图17所示，网络适配器1706通过总线1703与用于计算设备1700的其它模块通信。应当理解，尽管图17中未示出，可以结合计算设备1700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
251.在一些可能的实施方式中，本技术提供的构建虚拟集群的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，通过程序指令相关的硬件来完成本说明书上述描述的根据本技术各种示例性实施方式的构建虚拟集群方法中的步骤。
252.前述的程序可以存储于一计算机可读存储介质中，该程序在执行时，执行包括上述构建虚拟集群方法中的步骤；
253.而前述的可读存储介质的包括(非穷举的列表)：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read-only memory，rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合等各种可以存储程序代码的介质。
254.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
255.可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。
256.应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
257.此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
258.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。