Target端的选择方法、系统及计算机可读介质与流程

本发明涉及计算机技术领域，尤其涉及一种target端的选择方法、分布式集群系统及计算机可读介质。

背景技术：

iscsi(internetsmallcomputersysteminterface)协议是一种协议族，指小型计算机系统接口，属于iscsi协议族中的传输层协议，在iscst协议基础上增加一层封装，将iscsi命令与协议数据单元(protoclodataunit，pdu)中，通过tcp/ip网络，使得initiator端与target端进行通信。启动器(initiator端)是与支持iscsi协议的存储设备连接的应用客户端。target端是iscsi的存储设备，其包括设备服务器和队列管理，如iscsi磁盘阵列柜、iscsi磁带柜等。

initiator端部署于客户端(client)，响应initiator端的target端部署于组成分布式存储系统的各个节点(node)中。initiator端通过vip(虚拟ip地址)访问分布式存储系统的各个节点，并与某个节点建立连接后通过该节点进行数据读写操作。然而，当分布式存储系统中各个及节点与客户端之间发生网络故障或者存储故障(例如某个节点不可用或者被人为移除)时，target端会中断与分布式存储系统的连接，并由此导致target端发生重定向(redirect)的事件。在发生重定向的事件后，在现有技术中通常依靠后台管理人员以人工手动方式选择新的用以响应客户端请求的target端，因此现有技术存在发生前述故障时不可自动选择target端的技术缺陷。

同时，如果基于人工方式予以重新选择target端的话，会导致整个分布式存储系统中各个节点的权重与负载发生不均衡，甚至出现重定向所选定的target端所属节点不符合用户所发起的访问请求的情形。

有鉴于此，有必要对现有技术中的分布式存储系统中各个及节点与客户端之间发生网络故障或者存储故障时如何选择target端的选择方法予以改进，以解决上述问题。

技术实现要素：

本发明的目的在于揭示一种target端的选择方法、分布式集群系统及计算机可读介质，用以解决现有技术中分布式集群系统所存在的上述技术问题，尤其是为了在分布式集群系统中各个节点与客户端之间断开时，从分布式集群系统中自动选取可用的target端，避免在选取可用的target端后对整个分布式集群系统各个节点间资源配置不均衡的问题，并避免采用人工选择target端所可能发生的错误。

为实现上述第一个发明目的，本发明提供了一种target端的选择方法，用以对分布式集群系统中节点自客户端发起访问请求予以响应的节点中的运行target进程的target端予以选择；

所述选择方法包括：

监控节点的使用状态并保存，接收自客户端的initiator进程下发的配置策略，调用节点的使用状态并根据节点选择策略确定匹配与自客户端发起访问请求相适应的target端；其中，所述配置策略至少由节点权重、剩余可用资源率及target连接数的一种或者几种共同定义。

作为本发明的进一步改进，所述调用节点的使用状态并根据节点选择策略确定匹配与自客户端发起访问请求相适应的target端的操作由独立部署于每个节点的target端中的target选择进程独立执行。

作为本发明的进一步改进，所述节点的使用状态保存至zookeeper服务端，分布式集群系统中的zookeeper客户端被zookeeper服务端纳管，所述zookeeper客户端接收并存储配置策略至zookeeper服务端，并在所述zookeeper客户端与zookeeper服务端之间建立长连接，并在target进程与zookeeper服务端之间建立长连接。

作为本发明的进一步改进，由zookeeper客户端在zookeeper服务端中建立包含节点名称的持久节点及临时节点，若当前状态的主节点发生故障时，由分布式集群系统中剩余节点的vip进程通过判断临时节点是否存在，以将临时节点加入待选择队列。

作为本发明的进一步改进，所述剩余可用资源率中的资源至少由节点在当前状态中的内存资源和/或存储资源定义；

所述节点选择策略至少由initiator进程与target端所形成的部署层级及各个节点在分布式集群系统中的权重予以单独或者共同定义。

作为本发明的进一步改进，所述选择方法还包括：

定期监测设定时间段内节点的负载并将负载监测结果保存至zookeeper服务端，将脱离连接分布式集群系统的节点标记为异常节点，initiator进程监测到异常节点后触发恢复机制；所述恢复机制具体为：根据设定时间间隔轮询确定每个节点的节点权重、剩余可用资源率及target连接数，对配置策略进行更新，并将更新后的配置策略写入zookeeper服务端，以对zookeeper服务端中的配置策略予以更新。

作为本发明的进一步改进，所述部署层级根据initiator进程与响应initiator进程的target端之间所形成的拓扑关系，以确定彼此所形成的部署层级，所述initiator进程运行于客户端的initiator端，

作为本发明的进一步改进，所述选择方法还包括：

遍历待选择队列，在剔除持久节点后更新所述待选择队列；

将待选择队列中target端所在节点的权重从高至低排序并更新至待选择队列中；

从待选择队列中剔除剩余内存小于第一设定阈值的节点；

从待选择队列中剔除连接数大于第二设定阈值的节点；

输出待选择队列中位于对队首的target端所在的节点，以将队首的target端所在的节点中的target端响应自客户端发起访问请求；

其中，所述第一设定阈值为节点所具有内存的25％，所述第二设定阈值为节点所形成的连接数为10。

基于相同发明思想，本发明还提供了一种分布式集群系统，包括：

多个节点，由部署于每个节点中的分布式存储节点所组成的分布式存储系统，每个节点中部署运行target进程的target端、负载检测单元、zookeeper客户端及zookeeper服务端；

所述target端部署运行target选择进程的target端选择模块，用以对分布式集群系统中节点自客户端发起访问请求予以响应的节点中的target端予以选择；

负载检测单元监控节点的使用状态并保存；

zookeeper客户端接收自客户端中运行initiator进程的initiator端下发的配置策略，调用节点的使用状态并由target端选择模块根据节点选择策略确定匹配与自客户端发起访问请求相适应的target端；其中，所述配置策略至少由节点权重、剩余可用资源率及target连接数的一种或者几种共同定义。

作为本发明的进一步改进，所述节点的使用状态保存至zookeeper服务端，分布式集群系统中的zookeeper客户端被zookeeper服务端纳管，所述zookeeper客户端接收并存储配置策略；所述target端、负载检测单元及分布式存储节点均分别通过zookeeper客户端与zookeeper服务端建立长连接。

最后，基于相同发明思想，本发明还提供了一种计算机可读介质，所述计算机可读介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行如上述任一项发明创造所述的target端的选择方法中的步骤。

与现有技术相比，本发明的有益效果是：

通过本发明所揭示的一种target端的选择方法、分布式集群系统及计算机可读介质，通过调用节点的使用状态并根据节点选择策略确定匹配与自客户端发起访问请求相适应的target端，从而能够在分布式集群系统中各个节点与客户端之间断开时，从分布式集群系统中自动选取可用的target端，从而避免了在选取可用的target端后对整个分布式集群系统各个节点间资源配置不均衡的问题，并避免了采用人工选择target端所可能发生的错误。

附图说明

图1为本发明一种target端的选择方法的整体流程示意图；

图2为采用图1中的一种target端的选择方法对分布式集群系统中的各个节点执行权重设置的示意图；

图3为对分布式集群系统中的target端所在节点根据不同部署层级设置不同节点权重的示意图；

图4为对分布式集群系统中各个节点以循环方式进行负载检测的详细流程图；

图5为部署于每个节点的target端中的target端选择模块从分布式集群系统中自动选取可用的target端的详细流程图；

图6为target端选择策略进一步优选的实例图；

图7为分布式集群系统中的节点1宕机离线后通过本发明一种target端选择方法重定向至节点2，并最终选定节点2作为响应客户端发起访问请求的示意图；

图8为本发明一种计算机可读介质的拓扑图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

实施例一：

参图1至图7所揭示的本发明一种target端的选择方法的一种具体实施方式。本实施例所揭示的target端的选择方法(以下简称“选择方法”)旨在从分布式集群系统中选择出最合适的target端及部署该target端所在的节点。

分布式集群系统中各个节点与客户端100之间断开时并导致当前节点中的target端不可用的原因包括网络故障或者存储故障或者当前节点的剩余内存不足等诸多原因，并最终从分布式集群系统中选取最合适的节点，以在选取的最合适的节点所配置的target端与客户端100中的initiator端20建立数据链路，initiator端通过vip(虚拟ip地址)访问分布式集群系统的各个节点，从分布式集群系统中自动选取可用的target端，并与某个节点建立连接后通过该节点进行数据读写操作。在本申请各个实施例中，构成分布式集群系统单的各个节点中部署的target端即iscsitarget端，并iscsi命令通过tcp/ip网络，使得initiator端20与target端14(或者图7所示出的节点2中的target端24或者节点3中的target端34)进行通信。

结合图2与图7所示，申请人以节点1发生宕机或者网络故障等原因无法响应逻辑上位于客户端100发起的访问请求，从而在initiator端20与节点1的target端14中断连接，并根据节点选择策略确定匹配与自客户端100发起访问请求相适应的target端(即节点2的target端24)为范例予以示范性说明。客户端100中的initiator端20断开与节点1的target端14的连接，并转由与节点2的target端建立连接的过程称之为“重定向”。所有节点及zookeeper服务端30逻辑上位于服务端400。在实施例中，服务端400可被理解为运行分布式存储系统40及zookeeper服务端30的服务器或者数据中心。客户端100逻辑上独立于服务端400，并可被理解为供用户发起访问请求并可视化显示服务端400反馈结果的一种物理态/虚拟态的计算机装置。

同时，基于iscsi协议的分布式集群系统中，每个节点均提供一个vip(虚拟ip)，vip可以在所在节点宕机后将vip漂移到其他正常节点并继续向客户端100提供响应服务。

参图1所示，该选择方法用以对分布式集群系统中节点自客户端100发起访问请求予以响应的节点中的运行target进程的target端予以选择。选择方法包括步骤s1～步骤s2。

步骤s1、监控节点的使用状态并保存，接收自客户端的initiator进程下发的配置策略。

节点的使用状态保存至zookeeper服务端30，分布式集群系统中的zookeeper客户端12,22,32均被zookeeper服务端30纳管，所述zookeeper客户端12,22,32接收并存储配置策略至zookeeper服务端30，并在zookeeper客户端12,22,32与zookeeper服务端30之间建立长连接，并在target进程与zookeeper服务端30之间建立长连接。配置策略由用户在客户端100以手动或者自动方式向zookeeper客户端12下发权重配置参数。具体的，节点1中部署target端14，用以检测节点的使用状态的负载检测单元13，zookeeper客户端12及分布式存储节点11；同理所示，节点2也部署target端14，负载检测单元23，zookeeper客户端22及分布式存储节点21，节点3也部署target端34，负载检测单元33，zookeeper客户端32及分布式存储节点31。全部节点的所有分布式存储节点11,21,31共同组成分布式存储系统40。

以节点1为范例予以详述，其他节点相同。节点1中负载检测单元13包含一个对其所部署节点(即节点1)负载状态进行监测并将监测结果通过zookeeper客户端12最终发送至zookeeper服务端30的监测进程。该监测进程可按照用户自行设定的时间间隔对节点1进行监测。监测内容包括节点1的剩余内存，target端14的连接数，磁盘剩余空间，vip进程，磁盘io及文件系统等进行监测，以实时反映出该节点1所具有的当前状态是否满足用户发起的访问请求。图6所示出的target端选择策略142中vip进程监测策略1421，磁盘io监测策略1422，文件系统监测策略1423，剩余磁盘容量监测策略1424，剩余内存监测策略1425及连接数监测策略1426分别对应前述负载检测单元13对其所属节点进行监测的监测对象，且默认的监测间隔时间为10分钟。前述六个策略(即vip进程监测策略1421，磁盘io监测策略1422，文件系统监测策略1423，剩余磁盘容量监测策略1424，剩余内存监测策略1425及连接数监测策略1426)所得到的监测结果均可独立地或者部分地或者整体地作为负载监测结果。

引入vip进程监测策略1421，可使得如果节点1发生宕机后，节点2及节点3上的vip进程会监测到节点1已经发生宕机。

引入磁盘io监测策略1422可对同一节点发生磁盘读写错误(即ioerror)时，target端选择模块会对部署该target端选择模块的节点中的一个或者全部磁盘进行全盘扫描，扫描次数可为1～60次，最大设置为60次，直到返回成功；若60次扫描都没有返回成功，则证明该节点所挂载的磁盘存在故障，此种故障可为磁盘的硬件故障和/或软件故障。

引入文件系统监测策略1423可对target端所在节点的文件系统(filesystem)是否存在访问错误予以检测，如果节点的文件系统返回错误提示，则在重定向过程中不会选择该节点。

引入剩余磁盘容量监测策略1424可对每个节点所属的分布式存储节点中剩余磁盘容量进行检测；如果已经使用超过75％(即仅剩下25％的剩余磁盘空间)，则则在重定向过程中不会选择该节点。之所以将剩余磁盘容量设定为75％是考虑到如果某个节点中磁盘使用量已经超过80％会导致磁盘的iops性能急剧下降，因此对于此种使用量超过80％的磁盘所在的节点不能被选用。当然，如果一个分布式集群系统存在多个节点时，需要综合考虑节点的剩余磁盘率、剩余内存率等多个维度。

引入剩余内存监测策略1425与剩余磁盘容量监测策略1424的目的相同。如果待选择队列中的某个节点即使不发生磁盘读写错误、不存在文件系统访问错误且剩余磁盘率大于25％，则即使被选定，则也依然会因为内存不足导致io读写操作存在较大时延。因此需要剔除内存使用率较高的节点。

引入连接数监测策略1426，并将连接数大于第二设定阈值的节点予以剔除，以防止过高连接数的target端与initiator端20连接时存在时延，提高对用户在客户端100发起的访问请求的响应效率。

因此，在本实施例中，通过引入vip进程监测策略1421，磁盘io监测策略1422及文件系统监测策略1423对重定向时对待选择队列中的多个节点进行定性筛选，如果不符合则立刻剔除。通过引入剩余磁盘容量监测策略1424，剩余内存监测策略1425及连接数监测策略1426，对剔除部分不合适的节点的待选择队列按照图5所示出的步骤，确定出最优化的target端所在的节点，以最终确定出最合适的节点并将该节点中的target端响应自客户端发起访问请求并连接客户端100中的initiator端20，以为initiator端20提供最优的iscsitarget访问路径。因此，整个选择方法的实现过程不需要介入人工干预，并能够减少人工选择target端所可能存在的选定错误或者选出的节点根本有效地响应用户发起的访问请求的情形，并且整个选定节点的过程充分考虑到了各个节点在设定时间段内的负载情况，还有效地避免了待选择队列中的某个节点被选定从而作为主节点后，对分布式集群系统的其他未发生宕机或者未发生网络断开的节点造成不利影响，避免节点间业务冲突。

如果节点1中的target端14与分布式存储节点11因为网络堵塞或者存储异常或者剩余内存不足等诸多原因导致target端14与分布式存储节点11断开连接时，则表示节点1的分布式存储节点11出现故障，此时target端选择模块141通知部署于initiator端20的initiator进程，并触发恢复机制。当initiator端20中运行的initiator进程与target端14中运行的target进程断开后，initiator进程会持续地发送重试请求，默认重试请求持续时间可设置为120秒。

由zookeeper客户端12在zookeeper服务端30中建立包含节点名称的持久节点及临时节点，若当前状态的主节点(即节点1)发生故障时，由分布式集群系统40中剩余节点(假设选定节点2作为下一个主节点)的vip进程通过判断临时节点是否存在，以将临时节点加入待选择队列。target端14与zookeeper服务端30正常连接时，通过建立以节点1的节点名称命名的临时节点，以判定该节点是否正常，如果存在临时节点则认定该节点正常，如果不存在临时节点则认定该节点不正常。

节点选择策略至少由initiator进程与target端所形成的部署层级及各个节点在分布式集群系统中的权重予以单独或者共同定义。具体的，该部署层级根据initiator进程与响应initiator进程的target端14(或者target端24或者target端34或者target端44)之间所形成的拓扑关系，以确定彼此所形成的部署层级，所述initiator进程运行于客户端100的initiator端20。

参图3所示，部署层级是指每个节点在整个分布式集群系统中的拓扑关系。机房201与机房202共同组成该分布式集群系统。机房201部署机架a与机架b，机房202部署机架c与机架d。当然每个机架中还部署一个或者多个物理服务器，物理服务器或者前述任何一个机架均视为一个节点。

节点的权重设置原则具体为如下所示。initiator端20与target端24位于机架b，则将机架b的权重设置为100。initiator端20与target端14位于同一个机房但位于机架a中，则将机架a的权重设置为90。target端34与target端44位于机房202中，并可将机架c的权重设置为80，将机架d的权重设置为70。各个机架的权重还可根据分布式存储系统40的网络环境设置不同的权重，以保证部署initiator端20的客户端100能够在最短时间内与各个分布式存储节点通信，减少通信延迟。各个节点的权重被保存至所属节点的zookeeper客户端并最终通过zookeeper客户端与zookeeper服务端30所建立的长连接同步保存至zookeeper服务端30。

该选择方法还包括：定期监测设定时间段内节点的负载并将负载监测结果保存至zookeeper服务端30，将脱离连接分布式集群系统的节点标记为异常节点，部署并运行initiator进程的initiator端20监测到异常节点后触发恢复机制。在本实施例中，若节点1的target端14与分布式存储节点11断开连接，则将节点1标记为异常节点。

参图4所示，对分布式集群系统中各个节点以循环方式进行负载检测的详细过程如下所述，对节点以设定时间周期的方式进行定期循环监测由负载检测单元13中的监测进程予以执行。申请人以节点1为范例予以简要阐述。

开始。

对每个节点的zookeeper客户端与zookeeper服务端之间建立长连接，以确定该节点的健康状态。

判断长连接是否成功建立。长连接是指客户端100与服务端400之间建立的tcp/ip连接。若是，则执行下一步骤；若否，则跳转下一次监测并结束。

计算节点的剩余内存并将剩余内存更新至节点的zookeeper客户端12，以对zookeeper客户端12中记录节点1的剩余内存进行同步更新。

判断节点1的zookeeper客户端12是否更新成功。

若是，计算节点1的target端14与客户端100之间所形成的target连接数；若否，跳转下一次监测并结束。

步骤s2、调用节点的使用状态并根据节点选择策略确定匹配与自客户端发起访问请求相适应的target端；其中，所述配置策略至少由节点权重、剩余可用资源率及target连接数的一种或者几种共同定义。其中，调用节点的使用状态并根据节点选择策略确定匹配与自客户端发起访问请求相适应的target端的操作由独立部署于每个节点的target端中的target选择进程独立执行。

在本实施例中，当initiator端20与节点1的target端14中断连接的事件发生后，target端选择模块141通知部署于initiator端20的initiator进程，并触发恢复机制，以由节点1中的target端选择模块141调用节点的使用状态并根据节点选择策略确定匹配与自客户端100发起访问请求相适应的target端，在本实施例中选用节点2中的target端24。

恢复机制具体为：根据设定时间间隔轮询确定每个节点的节点权重、剩余可用资源率及target连接数，对配置策略进行更新，并将更新后的配置策略写入zookeeper服务端30，以对zookeeper服务端30中的配置策略予以更新。

参图5所示，该选择方法中重新选定节点2中的target端24的具体过程如下所示。

开始。

连接zookeeper服务端30。

从zookeeper服务端30获取存储正常的节点。所谓存储正常的节点是指未脱离连接分布式集群系统的节点。

将正常的节点加入待选择队列，例如图6中的待选择队列中的target端14、24及34。图6中的虚线箭头表示在当前状态中，节点2中的target端24被选中，并与initiator端20连接。

遍历待选择队列并判断是否存在临时节点。

剔除持久节点而仅保留被标记为临时节点的节点，并在剔除持久节点后更新待选择队列。

将待选择队列中target端所在节点的权重从高至低排序并更新至待选择队列中。

从待选择队列中剔除剩余内存小于第一设定阈值的节点；具体的，第一设定阈值为节点所具有内存的25％。例如节点3中内存总容量是4gb，第一设置阈值则是1gb，当节点3中的剩余内存小于1gb时，则需要剔除节点3。

从待选择队列中剔除连接数大于第二设定阈值的节点；具体的，第二设定阈值为节点所形成的连接数为10。如果某个节点的target端所形成的连接数过大，会极大影响后续由该节点响应客户端100所发起的访问请求。

输出待选择队列中位于对队首的target端所在的节点，以将队首的target端所在的节点中的target端响应自客户端发起访问请求。

结束。

综上，当位于服务端400的节点1中的target端14与位于客户端100的initiator端20发生网络断开或者节点1发生宕机或者分布式存储系统40发生故障时，可基于zookeeper所具有的开源分布式协调服务，并根据各个节点的负载情况，自动地切换能够有效地响应用户所发起的访问请求的target端，避免了在人工盲目地选取可用节点的target端后，对整个分布式集群系统各个节点间资源造成配置不均衡的问题，并有效地避免了采用人工选择target端所可能发生的错误。

实施例二：

基于实施例一所揭示的一种target端的选择方法所揭示的技术方案，本实施例还揭示了一种分布式集群系统的一种具体实施方式。

在本实施例中，一种分布式集群系统，包括：多个节点(即节点1～节点3)，由部署于每个节点中的分布式存储节点所组成的分布式存储系统，每个节点中部署运行target进程的target端、负载检测单元、zookeeper客户端及zookeeper服务端30。

具体的，节点1部署target端14、负载检测单元13、zookeeper客户端12及分布式存储节点11；节点2部署target端24、负载检测单元23、zookeeper客户端22及分布式存储节点21；节点3部署target端34、负载检测单元33、zookeeper客户端32及分布式存储节点31。zookeeper客户端12、zookeeper客户端22及zookeeper客户端32均连接zookeeper服务端30。所有节点的分布式存储节点构成分布式存储系统40。target端14中运行target进程并部署target端选择模块141，节点2与节点3的target端中也设置相同的target端选择模块(未示出)。

target端部署运行target选择进程的target端选择模块(例如图2中节点1中的target端选择模块141)，用以对分布式集群系统中节点自客户端发起访问请求予以响应的节点中的target端予以选择。负载检测单元监控节点的使用状态并保存。zookeeper客户端接收自客户端中运行initiator进程的initiator端下发的配置策略，调用节点的使用状态并由target端选择模块根据节点选择策略确定匹配与自客户端发起访问请求相适应的target端；其中，配置策略至少由节点权重、剩余可用资源率及target连接数的一种或者几种共同定义。

节点的使用状态保存至zookeeper服务端30，分布式集群系统中的zookeeper客户端被zookeeper服务端纳管，zookeeper客户端接收并存储配置策略。target端、负载检测单元及分布式存储节点均分别通过每个节点中所属的zookeeper客户端与zookeeper服务端30建立长连接。

本实施例所揭示的一种分布式集群系统与实施例一中具有相同部分的技术方案，请参实施例一所示，在此不再赘述。

实施例三：

参图8所示，本实施例揭示了一种计算机可读介质900的一种具体实施方式。计算机可读介质900中存储有计算机程序指令901，所述计算机程序指令901被一处理器902读取并运行时，执行如实施例一所述的target端的选择方法中的步骤。

本实施例所揭示的target端的选择方法与实施例一中具有相同部分的技术方案，请参实施例一所述，在此不再赘述。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。