专利名称：一种基于网格技术的网络存储系统的制作方法
技术领域：
本发明涉及一种基于网格技术的网络存储系统，是一种电数字处理系统， 是一种计算机网络系统的存储系统。
技术背景现有的网络存储系统主要可分为两类 一种是基于网络附加存储(Network Attached Storage, NAS)技术的存储系统；另一种是基于存储区域网(Storage Area Network, SAN)技术的存储系统。然而，这两种存储系统都存在一定的缺陷。 建立一个NAS存储系统需要购买专门的NAS设备，磁盘阵列必须配置专用文 件服务器，后期扩容成本高；且一般文件服务器没有高可用配置，容易产生单 点故障；另外，NAS所采用的通过网络协议的访问方式，对存储系统的数据安 全构成威胁等。SAN是IBM公司开发的网络体系结构，它对多个服务器进行 配置并通过高速光纤、特殊的路由器、交换机和集线器连接到外部存储设备。 通常，在实施了 SAN的企业中应该存在两个网， 一个是由基于TCP/IP的以太 网交换机、路由器、5类网线、以太网卡、服务器、PC机组成的局域网LAN. 另外一个是有服务器、存储系统、SAN交换机、光纤通道组成的SAN。因此， 要想使用基于SAN的存储系统，必须额外的构建企业内部的光纤通道网络，购 买昂贵的SAN交换机，将原来的存储产品升级到昂贵的支持SAN和FC (Fibre Channel,光纤通道)规则的存储产品，具有较高的成本。另外，不同SAN系统 之间的互操作性很差。由于SAN本身缺乏标准，尤其是在管理上更是如此。虽 然FC技术标准的确存在，但各家厂商却有不同的解释，于是，不同产品之间的 互操作性问题成为SAN系统的一个不容忽视的缺陷。现存的基于NAS或SAN 的存储系统没有考虑到用户的不同QoS (Quality of Service,服务质量)请求， 无法为用户定制个性化的存储方案。发明内容为了克服现有技术的不足，本发明提供一种基于网格技术的网络存储系统。 本发明所述存储系统运用了网格的思路和技术，把企业内部大量现存的甚至是 闲置的网络上地理位置分散的、异构的计算机资源虚拟成单一的存储系统。所述异构的计算机资源包括各种PC机、工作站甚至工作站集群，这些异构计算机 可以使用不同的操作系统，例如Windows、 Unix等等。每台计算机作为一个存 储节点，这些存储节点以Web Service的形式向用户提供自己的存储服务。本发 明所述系统还能够针对不同的服务质量(OoS)请求提供不同的存储服务，并可根 据需求动态地扩展存储系统。木发明解决其技术问题所采用的技术方案是一种基于网格技术的网络存储系统，包括作为用户的网络终端，所述网络 终端通过互联网或广域网、局域网与作为服务器的管理节点连接，所述管理节 点通过互联网或者广域网、局域网与各类异构的pc机、工作站、工作站集群以 网格服务的形式向用户提供存储服务的存储节点联接。一种基于网格技术的网络存储的方法，包括用户、管理节点、存储节点，所述的方法的步骤包括 构建的步骤在管理节点以及各个存储节点上安装网格中间件GlobusTooMts4.0.4源码版；在管理节点上配置简便身份认证simpleCA服务器；每个存储节点和用户向simpleCA服务器申请自己的以基于(中文名字)PKI 安全机制的X.509证书格式的身份认证CA证书；存储节点把自己的存储服务以遵循网络服务框架WSRF规范的网格服务的 形式向管理节点注册，并接受管理节点的实时监控；每个存储节点把自己提供的存储服务封装成遵循WSRF规范的网格服务，提供开放网格服务架构OGSA所定义的标准接口，从而实现异构存储节点之间 的无缝连接；存储节点通过不断发送"保持存活keepalive"消息来维持自己的存活，如 果管理节点在规定的时间段内没有收到某个存储节点的"keepalive"消息便认定 该存储节点巳经离开了存储系统；服务过程的步骤用户提出存储服务请求QoS并指定"存储价格最低"、"存储时间最短"以 及"价格时间兼顾"三种模式中的一种； 管理节点通过CA进行认证；认证通过，管理节点根据用户需要选择以下其中之一的步骤；用户指定选择"存储价格最低"时，管理节点的调度器会把存储请求调度 到单位空间存储花费最低的节点；用户指定选择"存储时间最短"管理节点的调度器会把存储请求调度到网 络可用带宽最大的节点；用户指定选择"价格时间兼顾"管理节点的调度器定义性价比R，把存储请 求调度到R值最大的节点。本发明的有益效果本发明使用一个简单便宜的方法将零散的存储资源加以利用，有效降低了企业构建大量数据存储系统所需的花费。本发明使用基于PKI (Pubic Key Infrastructure)的安全机制，确保用户身份的安全认证以及数据 的加密传输，确保通过网络进行数据访问和传输的安全性。本发明使用网格中 间件Globus4.0.4屏蔽底层存储节点的异构信息，提供统一的、透明的存储访问 机制，从而有效解决了不同存储节点之间互操作性问题。本发明所述的每个存 储节点把自己提供的存储服务封装成遵循WSRF规范的网格服务，提供开放网 格服务架构OGSA (Open Grid Services Architecture)所定义的标准接口，从而 实现异构存储节点之间的无缝连接。本发明各存储节点以"软状态"的形式向管理节点注册自己的存储服务，因而可以支持每个存储节点以"热插拔"的方 式动态与网格连接和拆除。本发明设置了考虑价格和时间两个QoS参数。用户 在提交自己的存储请求时可以指定"存储价格最低"、"存储时间最短"以及"价 格时间兼顾"三种模式，实现了向用户提供个性化的存储服务。
下面结合附图和实施例对本发明进一步说明。 图1为本发明所述存储系统的物理结构示意图； 图2为本发明所述存储系统的功能模块示意图。
具体实施方式
实施例一本实施例是一种基于网格技术的网络存储系统，图1为本发明所述存储系 统的物理结构图。包括作为用户的网络终端，网络终端通过互联网或广域网、 局域网与作为服务器的管理节点连接，管理节点通过互联网或者广域网、局域 网与各类异构的PC机、工作站、工作站集群以网格服务的形式向用户提供存储服务的存储节点联接。如图1所示，本实施例把运行不同操作系统(可以是Windows、 Unix等) 的各类异构计算机(包括pc机、工作站甚至集群等)资源通过网格中间件连接 起来，构建一个容量可以动态扩展的存储系统。各个存储节点通过企业内部的 局域网与管理节点连接，用户可以通过Internet或局域网与存储系统连接。管 理节点上记录着各个存储节点的静态信息(总存储空间大小、IP地址、使用单 位存储空间所需的费用等)以及动态信息(可用存储空间大小、网络带宽等)。 用户首先把自己的存储请求提交到管理节点，在管理节点的存储调度器做出合 适的调度之后用户与相应的存储节点建立连接，进行数据存取访问。在管理节点以及各个存储节点上安装网格中间件GlobusToolkits4. 0.4源 码版，在管理节点上配置simpleCA服务器。每个存储节点和用户向si卿leCA服务器申请自己的CA (Certificate Authority)证书，该CA证书采用基于PKI 安全机制的X. 509证书格式，用户和存储节点之间通过各自的CA证书进行身份 验证和通信加密。存储节点把自己的存储服务以遵循WSRF (Web Services Resource Framework)规范的网格服务的形式向管理节点注册，接受管理节点 的实时监控。由于这些网格服务遵循相同的规范具有标准的接口，因此各个存 储节点之间具有很好的互操作性，避免/不兼容的问题。用户在提交自己的存 储请求时口J以指定"存储价格最低"、"存储时间最短"以及"价格时间兼顾" 三种模式。当选择"存储价格最低"时，调度器会把存储请求调度到单位空间 存储花费最低的节点；当选择"存储时间最短"调度器会把存储请求调度到网 络可用带宽最大的节点；当选择第三种模式时，调度器定义性价比R=(网络可 用带宽/单位空间存储花费)，把存储请求调度到R值最大的节点。 实施例二本实施例是实施例一的细化，是关于实施例一中管理节点的具体构成。如 图2所示所述的管理节点，包括将一个工作站集群加入本存储系统时集群内 部私有网络IP地址翻译成合法网络IP地址的NAT (在前面加一个中文名字)模 块。NAT模块与记录和产生系统运行所必需的节点资源信息、节点的存储成本信 息、用户信息、文件存储信息、以及系统运行日志的系统数据库模块连接。系 统数据库模块与以网络服务Web Service的形式向用户提供存储服务的Web服 务模块连接。系统数据库模块与将各个存储节点自身提供的资源监测服务来实 现对整个存储系统的全局资源动态发现和监控的节点资源监测模块连接。系统 数据库模块与将动态监控各个存储节点的存储服务提供情况的存储服务监测模 块连接。系统数据库模块与将节点资源监测模块、存储服务监测模块、系统数 据库模块所提供的信息根据用户的不同服务请求QoS做出合适的调度的存储调 度器连接。节点资源监测模块、存储服务监测模块、系统数据库模块和存储调 度器相互连接。管理节点是实现本发明所述网络存储的重要部分，所包括的模块为* NAT:该模块主要用于将一个集群加入本存储系统，它可以把集群内部私有网络地址(IP地址)翻译成合法网络IP地址。* Web服务模块该模块用于Web Service的形式向用户提供存储服务，使 得用户能够不需安装额外的软件，跨平台的访问本存储系统。*系统数据库模块该模块用于记录系统运行所必需的，以及产生的各种信息，包括节点的资源信息、节点的存储成本信息、用户信息、文件存 储信息、以及系统运行日志等。*节点资源监测模块本模块使用各个存储节点自身提供的资源监测服务来实现对整个存储系统的全局资源动态发现和监控。 *存储服务监测模块本模块用于动态监控各个存储节点的存储服务提供情况，包括某个节点是否取消或某个新节点是否提供存储服务。该模块接受每个存储节点上的资源监测服务模块的注册信息，允许存储节点以 "热插拔"的方式提供或取消自己的存储服务。
存储调度器本模块利用节点资源监测模块和存储服务监测模块以及系统数据库模块，根据用户的不同QoS请求来做出合适的调度。本系统考虑了两个QoS标准，即存储成本和存储时间。实施例三本实施例是实施例一的细化，是关于实施例所述存储节点的构成，如图2 所示。所述的存储节点包括与管理节点的节点资源监测模块连接的负责监测自 身的资源利用信息的资源监测服务模块。与管理节点的存储服务监测模块连接 的负责启动存储节点的存储服务并以具有"软状态"生命周期的形式向管理节 点的存储服务监测模块注册存储服务模块的存储服务模块。资源监测服务模块、存储服务模块相互连接。存储节点是实现本发明所述网络存储的又一重要部分，所包括的模块为 *资源监测服务模块本模块负责监测自身的资源利用信息，包括CPU利用率、网络带宽、磁盘信息等，并把自身的服务以具有"软状态"生命周期的形式向管理节点的节点资源监测模块注册。*存储服务模块本模块负责启动存储节点的存储服务，并以具有"软状态"生命周期的形式向管理节点的存储服务监测模块注册。实施例四本实施例是使用实施例一所述基于网格技术的网络存储系统实现网络存储 的方法，包括用户、管理节点、存储节点，所述的方法的步骤包括构建的步骤。本步骤是整个网络存储系统的构建方法，通过以下步骤可以 将零散的，地理上分散的存储资源进行整合并有效地联络，最终形成一个完整 的网络存储系统。具体步骤如下1. 在管理节点以及各个存储节点上安装网格中间件GlobusToolkits4. 0. 4 源码版。2. 在管理节点上配置简便身份认证simpleCA服务器。3. 每个存储节点和用户向simpleCA服务器申请自己的以基于(中文名字) PKI安全机制的X. 509证书格式的身份认证CA证书。4. 存储节点把自己的存储服务以遵循网络服务框架WSRF规范的网格服务的 形式向管理节点注册，并接受管理节点的实时监控。5. 每个存储节点把自己提供的存储服务封装成遵循WSRF规范的网格服务， 提供开放网格服务架构0GSA所定义的标准接口，从而实现异构存储节点之间的 无缝连接。6. 存储节点通过不断发送"保持存活ke印alive"消息来维持自己的存活，如果管理节点在规定的时间段内没有收到某个存储节点的"ke印alive"消息便 认定该存储节点已经离开了存储系统。服务过程的步骤。本步骤是实现网络存储的具体过程，也就是用户使用网 络存储的过程，具体步骤如下1. 用户提出存储服务请求QoS并指定"存储价格最低"、"存储时间最短"以及"价格时间兼顾"三种模式中的一种。2. 管理节点通过AC进行认证。3. 认证通过，管理节点根据用户需要选择以下其中之一的步骤；用户指定选择"存储价格最低"时，管理节点的调度器会把存储请求调度 到单位空间存储花费最低的节点。用户指定选择"存储时间最短"管理节点的调度器会把存储请求调度到网 络可用带宽最大的节点。用户指定选择"价格时间兼顾"管理节点的调度器定义性价比R，把存储请 求调度到R值最大的节点。
权利要求
1.一种基于网格技术的网络存储系统，包括作为用户的网络终端，所述网络终端通过互联网或广域网、局域网与作为服务器的管理节点连接，所述管理节点通过互联网或者广域网、局域网与各类异构的pc机、工作站、工作站集群以网格服务的形式向用户提供存储服务的存储节点联接。
2. 根据权利要求l所述的一种基于网格技术的网络存储系统，其特征是，所述的管理节点，包括将一个工作站集群加入本存储系统时集群内部私有网络IP地址翻译成合法网络IP地址的网络地址转换(NAT)模块；所述NAT模块与记 录和产生系统运行所必需的节点资源信息、节点的存储成本信息、用户信息、 文件存储信息、以及系统运行日志的系统数据库模块连接；所述的系统数据库 模块与以网络服务Web Service的形式向用户提供存储服务的Web服务模块连接； 所述的系统数据库模块与将各个存储节点自身提供的资源监测服务来实现对整 个存储系统的全局资源动态发现和监控的节点资源监测模块连接；所述的系统 数据库模块与将动态监控各个存储节点的存储服务提供情况的存储服务监测模 块连接；所述的系统数据库模块与将节点资源监测模块、存储服务监测模块、 系统数据库模块所提供的信息根据用户的不同服务请求QoS做出合适的调度的存储调度器连接；所述的节点资源监测模块、存储服务监测模块、系统数据库 模块和存储调度器相互连接。
3. 根据权利要求2所述的一种基于网格技术的网络存储系统，其特征是，所述的存储节点包括与管理节点的节点资源监测模块连接的负责监测自身的资 源利用信息的资源监测服务模块；与管理节点的存储服务监测模块连接的负责 启动存储节点的存储服务并以具有"软状态"生命周期的形式向管理节点的存 储服务监测模块注册存储服务模块的存储服务模块；所述的资源监测服务模块、 存储服务模块相互连接。
4. 一种基于网格技术的网络存储的方法，包括用户、管理节点、存储节点， 所述的方法的步骤包括构建的步骤在管理节点以及各个存储节点上安装网格中间件GlobusToolkits4.0.4源码版；在管理节点上配置简便身份认证simpleCA服务器；每个存储节点和用户向simpleCA服务器申请自己的以基于公钥基础设施 (PKI)安全机制的X.509证书格式的身份认证CA证书；存储节点把自己的存储服务以遵循网络服务框架WSRF规范的网格服务的 形式向管理节点注册，并接受管理节点的实时监控；每个存储节点把自己提供的存储服务封装成遵循WSRF规范的网格服务，提 供开放网格服务架构OGSA所定义的标准接口，从而实现异构存储节点之间的无 缝连接；存储节点通过不断发送"保持存活keepalive"消息来维持自己的存活，如 果管理节点在规定的时间段内没有收到某个存储节点的"keepalive"消息便认定 该存储节点已经离开了存储系统；服务过程的步骤用户提出存储服务请求QoS并指定"存储价格最低"、"存储时间最短"以 及"价格时间兼顾"三种模式中的一种-， 管理节点通过AC进行认证；认证通过，管理节点根据用户需要选择以下其中之一的步骤；用户指定选择"存储价格最低"时，管理节点的调度器会把存储请求调度到单位空间存储花费最低的节点；用户指定选择"存储时间最短"管理节点的调度器会把存储请求调度到网络可用带宽最大的节点；用户指定选择"价格时间兼顾"管理节点的调度器定义性价比R，把存储请 求调度到R值最大的节点。
全文摘要
本发明涉及一种基于网格技术的网络存储系统，所述存储系统运用了网格的思路和技术，把企业内部大量现存的甚至是闲置的网络上地理位置分散的、异构的计算机资源虚拟成单一的存储系统。本发明包括作为用户的网络终端，所述网络终端通过互联网或广域网、局域网与作为服务器的管理节点连接，所述管理节点通过互联网或者广域网、局域网与各类异构的pc机、工作站、工作站集群以网格服务的形式向用户提供存储服务的存储节点联接。本发明有效降低了企业构建大量数据存储系统所需的花费，确保用户身份的安全认证以及数据的加密传输，确保通过网络进行数据访问和传输的安全性，提供统一的、透明的存储访问机制，解决了不同存储节点之间互操作性问题。
文档编号H04L12/24GK101232422SQ20081005643
公开日2008年7月30日 申请日期2008年1月18日 优先权日2008年1月18日
发明者罗四维, 源 蔺, 瞻 高 申请人:北京交通大学