集群及其部署方法、处理方法及相关设备与流程

1.本技术涉及集群部署技术领域，特别地涉及一种集群及其部署方法、处理方法及相关设备。


背景技术：

2.随着云计算及容器技术的高速发展，以kubernetes为代表的容器编排工具逐渐成为主流，云服务器、容器技术及kubernetes也逐渐成为很多企业服务“上云”的标准配置。kubernetes技术的出现解决了容器编排的巨大难题，作为容器管理平台，它提供了资源调度、服务管理、滚动升级和服务扩缩容等一系列非常强大的功能，目前都已得到广泛应用。随着企业对容器编排工具的依赖性越来越大，如何在公有云环境中快速部署一套高可用的kubernetes集群就显得十分重要。


技术实现要素：

3.针对上述问题，本技术提供一种集群及其部署方法、处理方法及相关设备，能够快速部署集群，且能实现集群的高可用，通过集群的处理方法能够实现集群出现故障后，快速恢复。
4.本技术提供了一种集群，所述集群部署在公有云上，包括：主控节点、运算节点、负载均衡器，其中，所述负载均衡器用于实现运算节点和主控节点之间的流量的负载均衡转发。
5.在一些实施例中，所述集群还包括：服务发现节点，所述主控节点和服务发现节点的数量大于3个，且为奇数。
6.本技术实施例提供一种集群的部署方法，应用于上述任一项所述的集群，所述方法包括：
7.获取各个节点的节点数；
8.在公有云环境中创建所述集群的基础资源，其中，所述基础资源至少包括负载均衡器；
9.采用自动运维工具自动化部署集群。
10.在一些实施例中，所述基础资源还包括：网络环境、服务器、网络安全组，所述网络环境被划分为多个私有子网，部署在私有子网中的服务器对公网不可见；所述网络安全组用于控制不同私有子网之间的流量转发；所述负载均衡器能够实现多层流量转发，所述负载均衡器的ip地址固定。
11.在一些实施例中，所述采用自动运维工具自动化部署集群，包括：
12.对各个节点的环境进行初始化；对所述集群中的证书进行签发，其中，所述证书中包括所述ip地址；
13.基于各个节点对应的节点数完成服务发现节点的部署，并进行主控节点的部署，并安装主控节点的组件，其中，主控节点的组件包括：客户端调用组件、运行管理控制器和
调度器；
14.将运算节点加入到集群，并安装运算节点的组件，其中，运算节点的组件包括：应用容器引擎、代理组件和网络代理组件；
15.对所述集群进行优化，以完成集群的部署。
16.在一些实施例中，所述对集群进行优化包括：
17.网络组件安装、集群域名系统服务部署、可视化界面部署、监控体系安装、日志收集栈安装，配置代理组件自动签发证书、配置集群支持自动扩缩容。
18.本技术实施例提供一种集群的处理方法，应用所述的集群，其中，所述集群中每个节点部署有网络观测客户端，所述方法包括：
19.通过网络观测客户端获取集群中各个节点的运行状态；
20.基于所述运行状态确定是否存在异常的目标节点；
21.在存在所述目标节点的情况下，确定所述目标节点的异常等级；
22.基于所述异常等级对所述目标节点进行处理。
23.在一些实施例中，所述异常等级包括第一等级，基于所述异常等级对所述目标节点进行处理，包括：
24.在所述异常等级为第一等级的情况下，重启所述目标节点对应的网络、组件，或，驱逐所述目标节点对应的复制单元，并重启所述目标节点对应的服务器。
25.在一些实施例中，所述异常等级还包括：第二等级，所述第一等级的异常程度小于所述第二等级的异常程度，所述基于所述异常等级对所述目标节点进行处理，包括：
26.在所述异常等级为第二等级的情况下，创建新的服务器；
27.并根据网络观测客户端获取的配置信息配置所述新的服务器，并将新的服务器加入集群。
28.在一些实施例中，所述方法还包括：
29.确定所述目标节点的状态是否恢复；
30.在所述目标节点的状态没有恢复的情况下，发送告警信息至用户。
31.本技术实施例提供一种集群的部署装置，包括：
32.第一获取模块，用于获取各个节点的节点数；
33.创建模块，用于在公有云环境中创建所述集群的基础资源，其中，所述基础资源至少包括负载均衡器；
34.部署模块，用于采用自动运维工具自动化部署集群。
35.本技术实施例提供一种集群的处理装置，包括：
36.第二获取模块，用于通过网络观测客户端获取集群中各个节点的运行状态；
37.第一确定模块，用于基于所述运行状态确定是否存在异常的目标节点；
38.第二确定模块，用于在存在所述目标节点的情况下，确定异常等级；
39.处理模块，用于基于所述异常等级对所述目标节点进行处理。
40.本技术实施例提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行上述任意一项所述集群的部署方法或集群的处理方法。
41.本技术实施例提供一种计算机可读存储介质，该计算机可读存储介质存储的计算
机程序，能够被一个或多个处理器执行，能够用来实现上述任意一项所述集群的部署方法或集群的处理方法。
42.本技术提供的一种集群及其集群的部署方法、处理方法及相关设备，通过公有云中部署集群，且设置负载均衡器来用于实现运算节点和主控节点之间的流量的负载均衡转发，能够实现快速部署，通过获取各个节点的运行状态，并确定异常等级，然后基于异常等级来进行处理，能够实现集群出现故障后，快速恢复。
附图说明
43.在下文中将基于实施例并参考附图来对本技术进行更详细的描述。
44.图1为本技术实施例提供的一种集群的结构示意图；
45.图2为本技术实施例提供的一种集群的部署方法的实现流程示意图；
46.图3为本技术实施例提供的一种集群的处理方法的实现流程示意图；
47.图4申请实施例提供的一种容灾恢复算法的处理逻辑示意图；
48.图5为本技术实施例提供的一种集群的部署装置的结构示意图；
49.图6为本技术实施例提供的电子设备的组成结构示意图。
50.在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。
具体实施方式
51.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
52.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
53.如果申请文件中出现“第一\第二\第三”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
54.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
55.实施例一：
56.本技术实施例提供一种集群，图1为本技术实施例提供的一种集群的结构示意图，如图1所示，所述集群包括：主控节点、运算节点、负载均衡器和服务发现节点，其中，所述负载均衡器用于实现运算节点和主控节点之间的流量的负载均衡转发。
57.本技术实施例中，所述主控节点为图中master，所述运算节点为node，每个node具有多个pod，所述负载均衡器为图中的nlb，服务发现节点为etcd。本技术实施例中，所述node中的组件在每个节点上运行，维护运行的pod并提供kubernetes运行时环境。
58.所述etcd主要为kubernetes的后端数据库，就与k/v方式存储，所有的k8s集群数
据都存放在此处。
59.所述master组件提供的集群控制。master组件对集群做出全局性决策。
60.本技术实施例中，所述网络负载均衡器(nlb，network load balancing)用于实现运算节点和主控节点之间的流量的负载均衡转发。
61.本技术实施例中，所述主控节点、服务发现节点可以为至少3个，且最好为奇数，以满足选举机制要求。
62.基于前述实施例提供的一种集群，本技术实施例提供一种集群的部署方法，所述方法应用于电子设备，例如计算机、移动终端、服务器等。本技术实施例提供的集群的部署方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。
63.本技术实施例提供一种集群的部署方法，图2为本技术实施例提供的一种集群的部署方法的实现流程示意图，如图2所示，包括：
64.步骤s101，获取各个节点的节点数。
65.本技术实施例中，各个节点包括：主控节点、运算节点和服务发现节点，为了实现高可用，主控节点和服务发现节点的个数应该不少于3个。
66.本技术实施例中，可以由网络架构工程师来设定各个节点的节点数。
67.步骤s102，在公有云环境中创建所述集群的基础资源，其中，所述基础资源至少包括负载均衡器。
68.本技术实施例中，在公有云环境中创建搭建集群所需要的各种资源，包括但不限于服务器、网络环境虚拟机(vpc，virtual pc)、网络安全组、网络负载均衡器(nlb，network load balancing)等。
69.本技术实施例中，所述vpc指集群所在的整个网络环境，需要将vpc划分为若干个私有子网，部署在此子网中的服务器对公网不可见，流量通过网络地址转换(nat，network address translation)网关到互联网关网络单元(igw)出网；所述网络安全组用于控制不同子网之间的流量转发，kubernetes集群中各个节点所在的子网应配置流量互通；所述网络负载均衡器为aws nlb，可以完成基于4层的流量转发，nlb前端应绑定固定的弹性网络协议地址(ip，internet protocol)，以确保ip地址固定。
70.步骤s103，采用自动运维工具自动化部署集群。
71.本技术实施例中，自动运维工具可以是：ansible-playbook，ansible-playbook是一款自动运维工具，实现了批量系统配置、批量程序部署、批量运行命令等功能，playbook是由一个或多个play组成的列表。play的主要功能在于将事先归为一组的主机装扮成事先通过ansible中的task定义好的角色。
72.本技术实施例中，步骤s103，可以通过以下步骤实现：
73.步骤s1031，对各个节点的环境进行初始化；对所述集群中的证书进行签发，其中，所述证书中包括所述ip地址。
74.本技术实施例中，初始化可以包括：时间同步、防火墙、时区、主机名及内核参数的优化。本技术实施例中，集群中的证书可以包括：etcd集群证书及kubernetes集群证书，本技术实施例中，为了保证代理组件kubelet与kubernetes服务端正常通信，签发server证书还应加入nlb的前端弹性ip地址。
75.步骤s1032，基于各个节点对应的节点数完成服务发现节点的部署，并进行主控节点的部署，并安装主控节点的组件，其中，主控节点的组件包括：客户端调用组件、运行管理控制器和调度器。
76.本技术实施例中，客户端调用组件为kube-apiserver，运行管理控制器为kube-controller-manager，调度器为kube-scheduler
77.本技术实施例中，etcd应部署大于或等于3的奇数个节点，且独立部署，区别子网。
78.步骤s1033，将运算节点加入到集群，并安装运算节点的组件，其中，运算节点的组件包括：应用容器引擎、代理组件和网络代理组件。
79.本技术实施例中，应用容器引擎为docker、代理组件为kubelet、网络代理组件为kube-proxy。
80.步骤s1034，对所述集群进行优化，以完成集群的部署。
81.所述对集群进行优化包括：网络组件安装、集群域名系统服务(dns coredns)部署、可视化界面部署、监控体系安装、日志收集栈安装，配置kubelet自动签发证书、配置集群支持自动扩缩容。
82.本技术实施例提供的一种集群的部署方法，能够在公有云上实现快速部署，通过负载均衡器实现集群的高可用部署。
83.基于前述的集群，所述集群中每个节点部署有网络观测客户端，本技术实施例在提供一种集群的处理方法，所述方法应用于电子设备，例如计算机、移动终端、服务器、公有云等。本技术实施例提供的集群的部署方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。
84.图3为本技术实施例提供的一种集群的处理方法的实现流程示意图，如图3所示，包括：
85.步骤s301，通过网络观测客户端获取集群中各个节点的运行状态。
86.本技术实施例中，每个节点部署有网络观测客户端agent程序，所述网络观察程序客户端以daemonset的方式部署，用于采集当前每个节点服务器的运行状态，并定期向电子设备反馈。
87.本技术实施例中，所述运行状态可以包括：网络信息、中央处理器(cpu，central processing unit)使用率、服务器健康状态、各个组件的工作状态。
88.本技术实施例中，电子设备可以将运行状态存储在数据库中，同时接收来自客户端的心态信息来判断当前服务器的网络状态。
89.步骤s302，基于所述运行状态确定是否存在异常的目标节点。
90.本技术实施例中，电子设备可以基于运行状态和接收来自客户端的心态信息来判断目标节点是否异常。
91.步骤s303，在存在所述目标节点的情况下，确定所述目标节点的异常等级。
92.本技术实施例中，所述异常等级可以包括：第一等级和第二等级，所述第一等级可以认为是一般异常，所述第二等级可以认为是服务器的系统异常。
93.本技术实施例中，第二等级的异常程度大于第一等级的异常程度。
94.步骤s304，基于所述异常等级对所述目标节点进行处理。
95.本技术实施例中，不同的异常等级对应有不同的处理规则。在确定了异常等级后，
即可以对所述目标节点按处理规则进行处理。
96.本技术实施例中，在所述异常等级为第一等级的情况下，重启所述目标节点对应的网络、组件，或，驱逐所述目标节点对应的复制单元，并重启所述目标节点对应的服务器。
97.本技术实施例中，所述复制单元为pod。
98.在一些实施例中，在所述异常等级为第二等级的情况下，创建新的服务器；
99.并根据网络观测客户端获取的配置信息配置所述新的服务器，并将新的服务器加入集群。
100.本技术实施例中，在步骤s304之后，所述方法还包括：
101.步骤s305，确定所述目标节点的状态是否恢复；
102.步骤s306，在所述目标节点的状态没有恢复的情况下，发送告警信息至用户。
103.本技术实施例提供的一种集群的处理方法，通过公有云提供的监控服务，可以实时监测服务器状态，通过配置对应处理规则，出现故障后可以快速恢复，无需人为干预，既能保证业务稳定，又可以降低运维成本。
104.实施例二
105.基于前述的各个实施例，本技术实施例再提供一种集群的部署方法，本发明需要结合公有云环境完成实施，以下以公有云为例对本发明的具体实施方式进行如下描述：
106.s1：对集群的节点数进行规划，作为高可用方案，集群的etcd节点及master节点个数应不少于3个，worker节点若干。
107.s2：在公有云环境环境中创建搭建集群所需要的各种资源，包括但不限于服务器、vpc、网络安全组、网络负载均衡器nlb等。
108.s3：在各服务器中部署网络观察程序客户端，用于获取当前节点网卡信息、网络状态，并将此信息反馈给服务端，服务端进行整理并将数据存储于数据库；
109.s4：采用自动运维工具自动化部署集群，部署方式为二进制安装，安装过程包括以下几个模块：环境初始化模块、证书签发模块、etcd集群搭建模块、主控节点部署模块、工作节点加入模块和集群优化模块；
110.s5：检查集群状态，在集群中部署容灾恢复程序，集群会根据容灾恢复算法完成服务器的灾备恢复工作，保证集群高可用。
111.上述过程中所述vpc、安全组、nlb作如下说明：
112.所述vpc指集群所在的整个网络环境，需要将vpc划分为若干个私有子网，部署在此子网中的服务器对公网不可见，流量通过nat网关到igw出网；
113.所述网络安全组用于控制不同子网之间的流量转发，kubernetes集群中各个节点所在的子网应配置流量互通；
114.所述网络负载均衡器为aws nlb，可以完成基于4层的流量转发，nlb前端应绑定固定的弹性ip，以确保ip地址固定。
115.上述网络观察程序的工作原理及模式如下：
116.s31：所述网络观察程序客户端以daemonset的方式部署，用于采集当前每个节点服务器的网络信息，并定期向服务端反馈；
117.s32：服务端将采集到的信息存储于数据库中，同时接受来自客户端的心跳信息，用于判断当前服务器的网络状态；
118.s33：若出现服务器网络异常，客户端会将对应服务器的网络信息反馈给aws控制中心，aws控制中心会匹配对应策略，根据此信息配置新建服务器的网络信息。
119.上述集群部署过程中所述各个模块的功能逻辑如下：
120.s41：所述环境初始化模块用于完成各节点初始化环境准备工作，包括时间同步、防火墙、时区、主机名及内核参数优化等；
121.s42：所述证书签发模块完成集群证书签发工作，包括etcd集群证书及kubernetes集群证书，为保证kubelet与kubernetes服务端正常通信，签发server证书还应加入nlb的前端弹性ip地址；
122.s43：所述etcd集群搭建模块用于完成etcd集群的部署工作，etcd集群应部署大于等于3的奇数个节点，且独立部署，区别子网；
123.s44：所述主控节点部署模块用于完成master节点的部署工作，master节点应至少部署3个，主控节点组件包括kube-apiserver、kube-controller-manager、kube-scheduler；
124.s45：所述工作节点加入模块主要将运算节点加入到集群，需要安装的组件包括docker、kubelet和kube-proxy；
125.s46：所述集群优化模块用于完成集群优化工作，包括网络组件flannel安装、集群dns coredns部署、可视化界面dashboard部署、prometheus监控体系安装、elk日志收集栈安装，同时配置kubelet自动签发证书、配置集群支持hpa自动扩缩容等；以上所述集群的整体架构图如附图1所示。
126.所述集群容灾恢复算法的处理逻辑与原理如下，图4申请实施例提供的一种容灾恢复算法的处理逻辑示意图，如图4所示
127.在每个节点中部署cloudwatch的agent程序，用于获取集群中各个节点的运行状态，包括网络信息、cpu使用率、服务器健康状态、各个组件的工作状态等；
128.在集群中部署容灾恢复控制器程序，cloudwatch会定时将获取到的数据反馈给此程序，由控制器完成数据分析，若发现异常服务器，则通知aws控制中心进行处理；
129.aws控制中心会根据收到的信息匹配对应处理规则，进行如重启网络、重启集群组件、重启服务器等操作，重启服务器之前应驱逐对应节点的所有pod；
130.完成重启后检查集群是否恢复正常，若对应节点并未恢复正常，则控制中心获取网络观察程序捕获的各项网络信息，并通过autoscaling重新创建新的服务器，并配置对应的网络，执行s4中的部署脚本，将此节点重新加入集群；
131.若以上操作完成后仍存在异常，则会发送邮件通知人工处理。
132.实施例三
133.基于前述的实施例，本技术实施例提供一种集群的部署装置，该装置包括的各模块、以及各模块包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(cpu，central processing unit)、微处理器(mpu，microprocessor unit)、数字信号处理器(dsp，digital signal processing)或现场可编程门阵列(fpga，field programmable gate array)等。
134.本技术实施例提供一种集群的部署装置，图5为本技术实施例提供的一种集群的部署装置的结构示意图，如图5所示，集群的部署装置500包括：
135.第一获取模块501，用于获取各个节点的节点数；
136.创建模块502，用于在公有云环境中创建所述集群的基础资源，其中，所述基础资源至少包括负载均衡器；
137.部署模块503，用于采用自动运维工具自动化部署集群。
138.在一些实施例中，所述基础资源还包括：网络环境、服务器、网络安全组，所述网络环境被划分为多个私有子网，部署在私有子网中的服务器对公网不可见；所述网络安全组用于控制不同私有子网之间的流量转发；所述负载均衡器能够实现多层流量转发，所述负载均衡器的网络协议地址固定。
139.在一些实施例中，所述采用自动运维工具自动化部署集群，包括：
140.对各个节点的环境进行初始化；对所述集群中的证书进行签发，其中，所述证书中包括所述ip地址；
141.基于节点数完成服务发现节点的部署，并进行主控节点的部署，并安装主控节点的组件，其中，主控节点的组件包括：客户端调用组件、运行管理控制器和调度器；
142.将运算节点加入到集群，并安装运算节点的组件，其中，运算节点的组件包括：应用容器引擎、代理组件和网络代理组件；
143.对所述集群进行优化，以完成集群的部署。
144.在一些实施例中，所述对集群进行优化包括：
145.网络组件安装、集群域名系统服务部署、可视化界面部署、监控体系安装、日志收集栈安装，配置代理组件自动签发证书、配置集群支持自动扩缩容。
146.基于前述的实施例，本技术实施例在提供一种集群的处理装置，包括：
147.第二获取模块，用于通过网络观测客户端获取集群中各个节点的运行状态；
148.第一确定模块，用于基于所述运行状态确定是否存在异常的目标节点；
149.第二确定模块，用于在存在所述目标节点的情况下，确定异常等级；
150.处理模块，用于基于所述异常等级对所述目标节点进行处理。
151.在一些实施例中，所述异常等级包括第一等级，基于所述异常等级对所述目标节点进行处理，包括：
152.在所述异常等级为第一等级的情况下，重启所述目标节点对应的网络、组件，或，驱逐所述目标节点对应的复制单元，并重启所述目标节点对应的服务器。
153.在一些实施例中，所述异常等级还包括：第二等级，所述第一等级的异常程度小于所述第二等级的异常程度，所述基于所述异常等级对所述目标节点进行处理，包括：
154.在所述异常等级为第二等级的情况下，创建新的服务器；
155.并根据网络观测客户端获取的配置信息配置所述新的服务器，并将新的服务器加入集群。
156.在一些实施例中，所述方法还包括：
157.确定所述目标节点的状态是否恢复；
158.在所述目标节点的状态没有恢复的情况下，发送告警信息至用户。
159.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的集群的部署方法、集群的处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read only memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
160.相应地，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述实施例中提供的集群的部署方法中的步骤或集群的处理方法中的步骤。
161.实施例四
162.本技术实施例提供一种电子设备；图6为本技术实施例提供的电子设备的组成结构示意图，如图6所示，所述电子设备700包括：一个处理器701、至少一个通信总线702、用户接口703、至少一个外部通信接口704、存储器705。其中，通信总线702配置为实现这些组件之间的连接通信。其中，用户接口703可以包括显示屏，外部通信接口704可以包括标准的有线接口和无线接口。所述处理器701配置为执行存储器中存储的集群的部署方法的程序，以实现以上述实施例提供的集群的部署方法中的步骤或集群的处理方法中的步骤。
163.以上电子设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术计算机设备和存储介质实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
164.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
165.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
166.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
167.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
168.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
169.另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
170.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read only memory)、磁碟或者光盘等各种可以存储程序代码的介质。
171.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台控制器执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
172.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。