HDFS集群高可用部署方法、系统、设备及存储介质与流程

文档序号:18939498发布日期:2019-10-23 01:02阅读:197来源:国知局
HDFS集群高可用部署方法、系统、设备及存储介质与流程
本发明实施例涉及大数据应用领域,更具体地说,涉及一种hdfs(hadoopdistributedfilesystem,hadoop分布式文件系统)集群高可用部署方法、系统、设备及存储介质。
背景技术
:目前,大数据在工作和生活中发挥着越来越明显的作用,例如大数据辅助购物平台推荐适合客户的产品,大数据辅助避免堵车,大数据辅助做健康检查,大数据娱乐等。由于数据量巨大,对计算的速度和精度要求都比较高,单纯的通过不断增加处理器的数量来增强单个计算机的计算能力已经达不到预想的效果。目前,大数据处理的方向逐渐朝着分布式的计算集群来发展,将分布在不同空间的计算机通过网络相互连接组成一个有机的集群,然后将需要处理的大量数据分散到这个集群中,交由分散系统内的计算机组同时计算,最后将这些计算结果合并得到最终的结果。现有的基于虚拟机或物理机的传统大数据集群高可用部署方法如下:首先准备一个完全分布式的hadoop环境和一个完全分布式的zookeeper环境,关闭整个集群的所有服务。然后将hadoop的配置目录中core-site.xml、hdfs-site.xml和yarn-site.xml三个文件,修改为ha(highavailable,高可用)模式。最后启动zookeeper和hadoop集群,并启动zkfc(zookeeperfailovercontroller,zookeeper故障转移控制器)来监控管理节点(namenode)的状态。ha模式下activenamenode(主管理节点)对外提供服务,standbynamenode(热备管理节点)时刻待机准备,当主节点有任何修改时,会通知大部分的journalnodes(专门管理editlog文件的节点)进程。热备节点可读取journalnodes中的变更信息,并且一直监控editlog文件的变化,把变化应用于自己的管理节点。热备管理节点可以确保在集群出错时,命名空间状态已经与主管理节点完全同步。为了保证高可用集群在同一时刻只有一个主管理节点,需要使用到zookeeper。首先将hadoop集群中的主管理节点和热备管理节点都在zookeeper系统中注册,当主管理节点出现故障时,zookeeper系统能检测到这种情况,并自动把热备管理节点切换为主节点。然而,上述基于物理机或虚拟机的传统大数据高可用部署方法有如下缺点:(1)机器资源浪费:使用虚拟机甚至是昂贵的服务器来搭建集群,造成机器资源的浪费;(2)无法提供集群内的负载均衡:物理机和虚拟机的资源是固定的,这将使得有些节点的计算任务繁重,负载量过高,而有些节点却比较空闲;(3)应用组件创建与部署效率低、耗时长:传统hadoop部署的时候需要分发安装文件至每台机器中以及集群服务配置等,会占用集群大量的网络带宽和机器资源,且需要耗费较长时间;(4)集群扩容效率低、耗时长:如果大数据集群需要扩容,只能新增机器,由于虚拟机和物理机启动时需要加载操作系统内核,并且还需要花费时间去安装配置大数据的组件,从而导致效率较低、耗时较长;(5)无法健康检查和自动修复:虚拟机和物理机无法做到故障自愈。技术实现要素:本发明实施例针对上述基于物理机或虚拟机的传统大数据高可用部署方法机器资源浪费,无法提供集群内的负载均衡,应用组件创建与部署效率低、耗时长,集群扩容效率低、耗时长,以及无法健康检查和自动修复的问题,提供一种hdfs集群高可用部署方法、系统、设备及存储介质。本发明实施例解决上述技术问题的技术方案是,提供一种hdfs集群高可用部署方法,包括:为所述hdfs集群创建管理节点镜像和数据节点镜像,所述管理节点镜像和数据节点镜像分别包括将所述hdfs集群配置为高可用模式的配置文件;将所述管理节点镜像和数据节点镜像分别上传至镜像仓库;通过kubernetes平台将所述hdfs集群部署到多个宿主机上,并由所述kubernetes平台基于上传至所述镜像仓库的所述管理节点镜像在第一宿主机创建主管理容器、在第二宿主机创建热备管理容器,并基于上传至所述镜像仓库的数据节点镜像在至少一个第三宿主机创建数据存储容器。优选地,所述管理节点镜像和数据节点镜像分别包括相同的启动脚本,且所述启动脚本包括:在主管理容器启动后,定时向所有数据存储容器广播所述主管理容器所在的第一宿主机的配置信息的程序代码;在热备管理容器启动后,定时向所有数据存储容器广播所述热备管理容器所在的第二宿主机的配置信息的程序代码;在数据存储容器启动后,定时向所述主管理容器和所述热备管理容器发送所述数据存储容器所在的第三宿主机的配置信息的程序代码。优选地,所述通过kubernetes平台将所述hdfs集群部署到多个宿主机上,包括:通过第一yaml文件,将所述主管理容器内部的共享存储日志的端口映射到第一宿主机ip地址的对应端口上;通过第二yaml文件,将所述热备管理容器内部的共享存储日志的端口映射到第二宿主机ip地址的对应端口上;通过第三yaml文件,将所述数据存储容器内部的共享存储日志的端口映射到第三宿主机ip地址的对应端口上。优选地,所述高可用部署方法还包括:通过所述第一yaml文件,将所述主管理容器内的至少一部分数据文件挂载到所述第一宿主机;通过所述第二yaml文件,将所述热备管理容器内的至少一部分数据文件挂载到所述第二宿主机;通过所述第三yaml文件,将所述数据存储容器内的至少一部分数据文件挂载到所述第三宿主机。本发明实施例还提供一种hdfs集群高可用部署系统,所述高可用部署系统包括镜像创建单元、镜像上传单元以及集群部署单元,其中:所述镜像创建单元,用于为所述hdfs集群创建管理节点镜像和数据节点镜像,所述管理节点镜像和数据节点镜像分别包括将所述hdfs集群配置为高可用模式的配置文件;所述镜像上传单元,用于将所述管理节点镜像和数据节点镜像上传至镜像仓库;所述集群部署单元,用于通过kubernetes平台将所述hdfs集群部署到多个宿主机上,并由所述kubernetes平台基于上传至所述镜像仓库的所述管理节点镜像在第一宿主机创建主管理容器、在第二宿主机创建热备管理容器,并基于上传至所述镜像仓库的数据节点镜像在至少一个第三宿主机创建数据存储容器。优选地,所述管理节点镜像和数据节点镜像分别包括相同的启动脚本,且所述启动脚本包括:在主管理容器启动后,定时向所有数据存储容器广播所述主管理容器所在的第一宿主机的配置信息的程序代码;在热备管理容器启动后,定时向所有数据存储容器广播所述热备管理容器所在的第二宿主机的配置信息的程序代码;在数据存储容器启动后,定时向所述主管理容器和所述热备管理容器发送所述数据存储容器所在的第三宿主机的配置信息的程序代码。优选地,所述集群部署单元包括第一映射子单元、第二映射子单元和第三映射子单元,其中:所述第一映射子单元,用于通过第一yaml文件,将所述主管理容器内部的共享存储日志的端口映射到第一宿主机ip地址的对应端口上;所述第二映射子单元,用于通过第二yaml文件,将所述热备管理容器内部的共享存储日志的端口映射到第二宿主机ip地址的对应端口上;所述第三映射子单元,用于通过第三yaml文件,将所述数据存储容器内部的共享存储日志的端口映射到第三宿主机ip地址的对应端口上。优选地,所述集群部署单元包括第一挂载子单元、第二挂载子单元和第三挂载子单元:所述第一挂载子单元,用于通过所述第一yaml文件,将所述主管理容器内的至少一部分数据文件挂载到所述第一宿主机;所述第二挂载子单元,用于通过所述第二yaml文件,将所述热备管理容器内的至少一部分数据文件挂载到所述第二宿主机;所述第三挂载子单元,用于通过所述第三yaml文件,将所述数据存储容器内的至少一部分数据文件挂载到所述第三宿主机。本发明实施例还提供一种hdfs集群高可用部署设备,包括存储器和处理器,所述存储器中存储有可在所述处理器执行的计算机程序,且所述处理器执行所述计算机程序时实现如上任一项所述hdfs集群高可用部署方法的步骤。本发明实施例还提供一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现如上任一项所述hdfs集群高可用部署方法的步骤。本发明实施例的hdfs集群高可用部署方法、系统、设备及存储介质,通过为hdfs集群创建具有高可用配置文件的管理节点镜像和数据节点镜像,并通过kubernetes平台将所述hdfs集群部署到多个宿主机上,使得hdfs集群可运行于廉价的硬件设备,从而提高了hdfs集群的资源利用率,降低了企业的数字化转型门槛和资金投入。并且,本发明实施例通过过kubernetes平台的容器化,可实现hdfs集群高效部署扩容、负载均衡、自动化运维、一键升级扩容、高可用和高容错容灾性能。附图说明图1是本发明实施例提供的hdfs集群高可用部署方法的流程示意图;图2是本发明实施例提供的hdfs集群高可用部署方法中实现端口映射的流程示意图;图3是本发明实施例提供的hdfs集群高可用部署方法中实现数据文件挂载的流程示意图;图4是本发明实施例提供的hdfs集群高可用部署系统的结构示意图;图5是本发明实施例提供的hdfs集群高可用部署设备的示意图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。如图1所示,是本发明实施例提供的hdfs集群高可用部署方法的流程示意图,上述hdfs集群为基于hdfs(hadoopdistributedfilesystem,hadoop分布式文件系统)的应用程序,用于实现业务数据处理,例如业务数据的管理和维护。本实施例的hdfs集群高可用部署方法可由一个部署了kubernetes平台并安装有容器编辑软件的客户端设备执行,且该hdfs集群高可用部署方法包括:步骤s11:为hdfs集群创建管理节点镜像和数据节点镜像。上述管理节点镜像和数据节点镜像包括相同的配置文件。上述配置文件中包括将hdfs集群配置目录中用于将hdfs集群配置为高可用模式的文件。具体地,上述用于将hdfs集群配置为高可用模式的文件包括以下三个文件:core-site.xml、hdfs-site.xml和yarn-site.xml,且在将上述文件打包加入镜像时,需将core-site.xml、hdfs-site.xml和yarn-site.xml中的相关参数状态修改为高可用模式。步骤s12:将管理节点镜像和数据节点镜像上传至镜像仓库(例如通过dockerbuild和push命令)。特别地,在将镜像打包上传前,需先编写dockerfile。dockerfile是由一系列命令和参数构成的脚本。在编写dockerfile时,可将相关的hdfs集群组件安装包放至dockerfile所在的目录中,并且管理节点镜像和数据节点镜像具有不同的dockerfile。步骤s13:通过kubernetes平台将hdfs集群部署到多个宿主机(例如通过kubectlapply命令)上,并由kubernetes平台基于上传至镜像仓库的所述管理节点镜像在第一宿主机创建主管理容器、在第二宿主机创建热备管理容器,并基于上传至镜像仓库的数据节点镜像在至少一个第三宿主机创建数据存储容器,从而将hdfs集群部署为kubernetes高可用容器集群。上述hdfs集群高可用部署方法,通过创建管理节点镜像和数据节点镜像,并通过kubernetes平台将所述hdfs集群部署到多个宿主机上,使得hdfs集群可运行于廉价的硬件设备,从而提高了hdfs集群的资源利用率,降低了企业的数字化转型门槛和资金投入。并且,由于部署完成后的kubernetes容器集群中增加了一个热备管理节点(即运行热备管理容器的第二宿主机),当主管理节点(即运行主管理容器的第一宿主机)出现故障时,可迅速切换到热备管理节点,实现了应用程序的高可用。由于hadoop集群是以机器域名来进行节点通信,因此需在hdfs集群通过kubernetes平台部署完成后,各个节点之间互相注册宿主机域名与ip地址的映射信息,例如可在linux服务器下的/etc/hosts文件中加入诸如以下表1中的内容建立映射关系:10.42.3.2namenode(主管理节点)10.42.3.3namenode-ha(热备管理节点)10.42.3.4datanode1(数据节点1)10.42.3.5datanode2(数据节点2)表1:节点通信设置表从而hadoop系统可通过数据节点1(即运行有数据存储容器1的宿主机)的宿主机域名来访问其中的一个数据存储节点(即运行数据存储容器的第三宿主机,可通过已配置的/etc/hosts将host域名解析为ip地址),如果不在上述文件中配置表1中的信息,将导致hadoop集群无法识别宿主机域名而内部失联。为建立上述映射关系,在本发明的一个实施例中,上述步骤s11中创建的管理节点镜像和数据节点镜像分别包括相同的启动脚本,且上述启动脚本包括:在主管理容器启动后,定时向所有数据存储容器广播主管理容器所在的第一宿主机的配置信息的程序代码;在热备管理容器启动后,定时向所有数据存储容器广播热备管理容器所在的第二宿主机的配置信息的程序代码;在数据存储容器启动后,定时向主管理容器和热备管理容器发送所述数据存储容器所在的第三宿主机的配置信息的程序代码。通过上述方式,主管理容器、热备管理容器及数据存储容器可随时获知彼此的配置信息,从而hadoop集群不会因为无法识别宿主机域名而内部失联。具体地,根据管理节点镜像建立的主管理容器和热备管理容器、根据数据节点镜像建立的数据存储容器分别可根据其宿主机的ip地址,判断其节点类型,从而选择执行上述启动脚本中对应的代码。由于kubernetes容器集群内部可以互相通信,但是外部无法访问。因此在本发明的一个实施例中,如图2所示,上述通过kubernetes平台将hdfs集群部署到多个宿主机上,包括:步骤s131:通过第一yaml文件,将主管理容器内部的共享存储日志的端口映射到第一宿主机ip地址的对应端口上。具体地,上述主管理容器内部的共享存储日志的端口可映射到第一宿主机ip地址的hadoop主管理节点的web管理页面端口、hadoop主管理节点的api接口以及hadoopyarn的web管理页面。步骤s132:通过第二yaml文件,将热备管理容器内部的共享存储日志的端口映射到第二宿主机ip地址的对应端口上。具体地,上述热备管理容器内部的共享存储日志的端口可映射到第二宿主机ip地址的hadoop热备管理节点的web管理页面端口、hadoop热备管理节点的api接口以及hadoop热备yarn的web管理页面(如果热备管理节点处在备用状态下,会自动跳转到主管理节点的web管理页面)。步骤s133:通过第三yaml文件,将数据存储容器内部的共享存储日志的端口映射到第三宿主机ip地址的对应端口上。具体地,上述数据存储容器内部的共享存储日志的端口可映射到第三宿主机ip地址的hadoopyarn的资源管理节点的web管理页面端口(该端口随数据存储容器的编号递增)、hadoop数据存储容器的api接口(该端口随数据存储容器的编号递增)。通过上述方式,可实现外部设备(例如web终端)对hdfs集群中的主管理容器、热备管理容器以及数据存储容器的访问。在上述第一yaml文件、第二yaml文件、第三yaml文件中的镜像(image)一项中,需填入步骤s12中的镜像仓库的地址。此外,由于容器是一个“阅后即焚”的应用程序,为避免容器内的重要数据文件在重启后丢失,上述hdfs集群高可用部署方法还可包括:步骤s134:通过第一yaml文件,将主管理容器内的至少一部分数据文件挂载到第一宿主机,也就是将主管理容器内的重要数据文件所在的目录挂载到第一宿主机的相关目录。步骤s135:通过第二yaml文件,将热备管理容器内的至少一部分数据文件挂载到第二宿主机,也就是将热备管理容器内的重要数据文件所在的目录挂载到第二宿主机的相关目录。步骤s136:通过第三yaml文件,将数据存储容器内的至少一部分数据文件挂载到第三宿主机,也就是将数据存储容器内的重要数据文件所在的目录挂载到第三宿主机的相关目录。通过上述方式,可实现容器内目录和宿主机目录之间的映射,将重要数据文件持久化存储在宿主机的硬盘上。如图4所示,本发明实施例还提供一种hdfs集群高可用部署系统,上述hdfs集群为基于hdfs(hadoopdistributedfilesystem,hadoop分布式文件系统)的应用程序,用于实现业务数据处理,例如业务数据的管理和维护。本实施例的hdfs集群高可用部署系统可集成到一个部署了kubernetes平台并安装有容器编辑软件的客户端设备,且该hdfs集群高可用部署系统包括镜像创建单元41、镜像上传单元42以及集群部署单元43,上述镜像创建单元41、镜像上传单元42和集群部署单元43可结合运行于计算机等设备(例如上述安装有容器编辑软件的客户端设备)上的软件实现。镜像创建单元41用于为hdfs集群创建管理节点镜像和数据节点镜像,上述管理节点镜像和数据节点镜像包括相同的配置文件。上述配置文件中包括将hdfs集群配置目录中用于将hdfs集群配置为高可用模式的文件。具体地,上述用于将hdfs集群配置为高可用模式的文件包括以下三个文件:core-site.xml、hdfs-site.xml和yarn-site.xml,且在将上述文件打包加入镜像时,需将core-site.xml、hdfs-site.xml和yarn-site.xml中的相关参数状态修改为高可用模式。镜像上传单元42用于将管理节点镜像和数据节点镜像上传至镜像仓库。集群部署单元43用于通过kubernetes平台将hdfs集群部署到多个宿主机(例如通过kubectlapply命令)上,并由kubernetes平台基于上传至镜像仓库的所述管理节点镜像在第一宿主机创建主管理容器、在第二宿主机创建热备管理容器,并基于上传至镜像仓库的数据节点镜像在至少一个第三宿主机创建数据存储容器,从而将hdfs集群部署为kubernetes高可用容器集群。为实现hadoop集群的节点间通信,在本发明的一个实施例中,上述镜像创建单元41创建的管理节点镜像和数据节点镜像分别包括相同的启动脚本,且上述启动脚本包括:在主管理容器启动后,定时向所有数据存储容器广播主管理容器所在的第一宿主机的配置信息的程序代码;在热备管理容器启动后,定时向所有数据存储容器广播热备管理容器所在的第二宿主机的配置信息的程序代码;在数据存储容器启动后,定时向主管理容器和热备管理容器发送所述数据存储容器所在的第三宿主机的配置信息的程序代码。为实现部署后的kubernetes容器集群的外部访问,上述集群部署单元43包括第一映射子单元、第二映射子单元和第三映射子单元,其中:第一映射子单元用于通过第一yaml文件,将主管理容器内部的共享存储日志的端口映射到第一宿主机ip地址的对应端口上。具体地,上述主管理容器内部的共享存储日志的端口可映射到第一宿主机ip地址的hadoop主管理节点的web管理页面端口、hadoop主管理节点的api接口以及hadoopyarn的web管理页面。第二映射子单元用于通过第二yaml文件,将热备管理容器内部的共享存储日志的端口映射到第二宿主机ip地址的对应端口上。具体地,上述热备管理容器内部的共享存储日志的端口可映射到第二宿主机ip地址的hadoop热备管理节点的web管理页面端口、hadoop热备管理节点的api接口以及hadoop热备yarn的web管理页面(如果热备管理节点处在备用状态下,会自动跳转到主管理节点的web管理页面)。第三映射子单元用于通过第三yaml文件,将数据存储容器内部的共享存储日志的端口映射到第三宿主机ip地址的对应端口上。具体地,上述数据存储容器内部的共享存储日志的端口可映射到第三宿主机ip地址的hadoopyarn的资源管理节点的web管理页面端口(该端口随数据存储容器的编号递增)、hadoop数据存储容器的api接口(该端口随数据存储容器的编号递增)。并且在上述第一yaml文件、第二yaml文件、第三yaml文件中的镜像(image)一项中,需填入镜像仓库的地址。此外,由于容器是一个“阅后即焚”的应用程序,为避免容器内的重要数据文件在重启后丢失,上述集群部署单元43还可包括第一挂载子单元、第二挂载子单元和第三挂载子单元,其中:第一挂载子单元用于通过第一yaml文件,将主管理容器内的至少一部分数据文件挂载到所述第一宿主机;第二挂载子单元,用于通过第二yaml文件,将热备管理容器内的至少一部分数据文件挂载到第二宿主机;第三挂载子单元用于通过第三yaml文件,将数据存储容器内的至少一部分数据文件挂载到第三宿主机。本实施例中的hdfs集群高可用部署系统与上述图1-3对应实施例中的hdfs集群高可用部署方法属于同一构思,其具体实现过程详细见对应的方法实施例,且方法实施例中的技术特征在本设备实施例中均对应适用,这里不再赘述。本发明实施例还提供一种hdfs集群高可用部署设备5,该设备5具体可以是部署了kubernetes平台的客户端,如图5所示,该hdfs集群高可用部署设备5包括存储器51和处理器52,存储器51中存储有可在处理器52执行的计算机程序,且处理器52执行计算机程序时实现如上所述hdfs集群高可用部署方法的步骤。本实施例中的hdfs集群高可用部署设备4与上述图1-3对应实施例中的hdfs集群高可用部署方法属于同一构思,其具体实现过程详细见对应的方法实施例,且方法实施例中的技术特征在本设备实施例中均对应适用,这里不再赘述。本发明实施例还提供一种计算机可读存储介质,该存储介质上存储有计算机程序,计算机程序被处理器执行时,实现如上所述hdfs集群高可用部署方法的步骤。本实施例中的计算机可读存储介质与上述图1-3对应实施例中的hdfs集群高可用部署方法属于同一构思,其具体实现过程详细见对应的方法实施例,且方法实施例中的技术特征在本设备实施例中均对应适用,这里不再赘述。应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成。实施例中的各功能单元、模块可以集成在一个处理器中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。在本申请所提供的实施例中,应该理解到,所揭露的应用程序容器集群报警实现方法、系统及设备,可以通过其它的方式实现。例如,以上所描述的应用程序容器集群报警实现系统实施例仅仅是示意性的。另外,在本申请各个实施例中的各功能单元可以集成在一个处理器中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或界面切换设备、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1