专利名称：一种基于桥接的无限带宽协议转换方法及系统的制作方法
技术领域：
本发明涉及一种协议转换方法及系统，尤其涉及一种基于桥接的无限带宽协议转换方法及系统。
背景技术：
在云计算环境中，需要大量计算节点去完成用户提交的任务，这些计算节点需要空间来临时存放节点计算数据。由于采用并行计算，需要后端连接存储的传输是高速、稳定、可靠、超低延时的。目前主流千兆网的带宽已经不能满足今后云计算环境的需求，云计算环境主流传输带宽是IOGbps起。当前无限带宽(Infiniband, IB)技术非常适合云计算的环境，目前其单端口带宽最高达56Gbps，延时端到端可以达到200纳秒，无论带宽还是延时均远远领先以太网技术,其远程直接内存访问(Remote direct memory access,RDMA)技术使得CPU处理通讯包只是占整个系统资源3%，大部分宝贵的资源让给用户作业，97%流量通讯是通过本地内存到远端内存访问实现。TCP/IP在大流量通讯时严重消耗CPU资源，虽然目前IOGb以太网推出TCP/IP负荷卸载引擎(TCP/IP Offload Engine, TOE)硬件加速设 计，但其有限的卸载能力和可观的价格是较大的障碍。与以太网的TCP/IP技术相比，InfiniBand技术具有更高的传输效率。原因在于许多网络协议具有转发损失的数据包的能力，但是由于要不断地确认与重发，基于这些协议的通信也会因此变慢，极大地影响了性能。而TCP协议极其复杂、代码量巨大并且充满了各种特例，而且它很难卸载(所谓卸载就是不占用CPU的运行时间)，与之相比，InfiniBand技术使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失。使用InfiniBand技术，除非确认接收缓存具备足够的空间，否则不会传送数据。接受方在数据传输完毕之后，返回信用来标示缓存空间的可用性。通过这种办法，InfiniBand技术消除了由于原数据包丢失而带来的重发延迟，从而提升了效率和整体性能。从性价比角度看，40Gbps的infiniband和IOGbps的万兆以太网卡价格相当或更便宜，但其能力远远超过万兆以太网卡，具有卓越的性价比。基于infiniband技术的存储协议是SCSI远程直接内存访问协议(SCSI RDMAProtocol, SRP),该协议是在InfiniBand技术中将SCSI命令进行打包，允许SCSI命令通过RDMA(远程直接内存访问)在不同的系统之间进行通信，实现存储设备共享和RDMA通信服务。另外infiniband技术通过IPoIB技术,实现TCP/IP协议在infiniband网络部署,使得很多基于TCP/IP的应用无需更改代码而享受infiniband网络带给的高带宽低延时的高质量服务。同时，由于infiniband提供超高速带宽和低延时的能力，严重限制了它的扩展能力，一般光纤最大不超过300米，普通铜缆传输只有3-5米。虽然目前infiniband技术有远距离传输的解决方案，但其设备非常昂贵，一般企业用户无法承受，即使是100米的光纤方案，其不佳的稳定性和昂贵的价格也是推广的障碍。目前，infiniband技术主要在高性能计算领域和数据中心内部署较多,其出色的能力得到了广泛认可，但其扩展性，如何走出数据中心，实现企业应用是至今无法解决的问题。
发明内容
针对上述问题,本发明通过将infiniband的存储技术与虚拟化技术巧妙结合，从而实现以太网用户通过不同网络协议(如ISCSI、NFS、samba、FTP、SFTP等)访问高速的infiniband存储设备。
本发明提出了一种基于桥接的无限带宽协议转换方法，用于完成无限带宽网络与以太网之间的通信，包括以下步骤存储服务器通过SCSI协议控制实际物理磁盘组，SRP目标器经初始化后获取SCSI存储设备信息并注册，并且所述存储服务器通过无限带宽网卡以及无限带宽驱动连接云桥中间件从而承载封装的SCSI存储设备信息给所述云桥中间件；云桥中间件通过无限带宽网卡以及无限带宽驱动与所述存储服务器通讯，当所述存储服务器上的SRP目标器初始化结束后，所述云桥中间件上的SRP发起器获取到所述存储服务器上的SCSI存储设备信息，经所述云桥中间件上的虚拟化模块处理后映射为新的SCSI存储信息并注册到ISCSI目标器上，同时所述云桥中间件通过TCP/IP协议和以太网网卡承载封装的SCSI存储信息给客户端；所述客户端的ISCSI发起器通过以太网获取云桥中间件上的SCSI存储设备信息并映射给上层文件系统和应用程序。本发明还提出了一种基于桥接的无限带宽协议转换系统，所述系统包括客户端、云桥中间件以及存储服务器，所述存储服务器通过无限带宽网络连接所述云桥中间件，所述客户端通过以太网络连接所述云桥中间件，其特征在于所述存储服务器通过SRP协议对外映射逻辑单元号；所述云桥中间件的磁盘控制器模块将所述逻辑单元号封装成系统识别的物理盘，通过云桥中间件的多个物理盘管理组管理所述物理盘；在云桥中间件中的云桥逻辑卷控制器的控制下，将所述物理盘管理组整合，为用户划分并生成虚拟磁盘；所述虚拟磁盘通过ISCSI协议映射给所述客户端使用。进一步，所述存储服务器和云桥中间件采用Linux操作系统，所述客户端采用Windows操作系统。本发明所提出的云桥中间件具有以下优势
(1)架构优势，其后端是infiniband架构的高速存储,通过云桥中间件的资源整合后为前端客户端提供高速以太网(千兆或万兆)或infiniband网络接入能力；
(2)技术优势,其实现infiniband和以太网协议转换能力，通过存储虚拟化技术实现后端存储资源整合、按需分配、在线扩容、多级缓存和RDMA ；
(3)安全保障，系统可以实现主备双平面架构，系统实现存储服务器与云桥中间件上1+1数据备份，云桥中间件及存储服务器实现HA高可用性；
(4)本发明的云桥中间件具有通用兼容性，即插即用，客户端适用主流的windows平台和Iinux平台。本发明的方法及装置可广泛用于高性能科学计算、视频监控、智能交通和数字媒体等领域，对大数据应用场景提供存储、处理等。
图I为协议转换系统的协议转换图。图2为包括客户端、云桥中间件以及存储服务器的系统的逻辑架构图。图3为云桥中间件的简化模型。图4为云桥虚拟化前端的结构图。图5为云桥虚拟化后端的结构图。
具体实施例方式以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。图I示出了协议转换系统的转换图，其中云桥中间件置于存储服务器和客户端之间，存储服务器通过Infiniband网络连接云桥中间件，云桥中间件通过以太网络连接客户 端。存储服务器和云桥中间件可以基于Linux操作系统，客户端可以基于Windows操作系统。在存储服务器端，Linux系统通过SCSI协议控制实际物理磁盘组。SRP目标器(SRPTarget, SRPT)模块初始化，SRP目标器模块获取系统中的SCSI存储设备信息并注册，以使该模块具有处理SCSI命令的能力。SRP目标器的初始化关键就是使SRP目标器与SCSI目标器建立联系，使其具有处理SRP信息、进行SCSI命令的转换、进行IB管理以及提供RDMA通道等服务功能。Infiniband作为底层传输协议承载封装的SCSI存储设备信息给云桥中间件。在云桥中间件，Infiniband网卡(infiniband HCA)和 Infiniband 驱动(infiniband Driver)作为Infiniband网络底层通信模块与存储服务器通讯。当存储服务器上的SRP目标器初始化结束后，云桥中间件上的SRP发起器(SRP initiator)获取到存储服务器上的SCSI存储设备信息。经虚拟化模块处理后映射为新的SCSI存储信息并注册到ISCSI目标器(ISCSI Target)模块上。TCP/IP协议和以太网网卡(Ethernet NIC)作为底层以太网的传输协议承载封装的SCSI信息给客户端。在客户端，ISCSI发起器(ISCSI initiator)通过以太网获取云桥中间件的SCSI存储设备信息并映射给上层文件系统和应用程序。图2示出了包括客户端、云桥中间件以及存储服务器的系统的逻辑架构图。整个系统架构可以分为四个层次
第一层次主要是由存储服务器完成。后端存储服务器集群通过SRP协议对外映射逻辑单兀号(Logical Unit Numbers, LUN)。第二层次主要是由云桥中间件完成。云桥中间件的磁盘控制器模块将这些LUN封装成系统识别的物理盘(Physical Disk, PD)对象，每个LUN都被系统认为一个H)。多个
H)可以放置在物理盘管理组中被管理，跨存储服务器的不同LUN可以被物理盘管理组管理成镜像组模式，实现存储服务器备份的能力。也可以实现多个H)放置在物理盘管理组并管理成条带组模式，即实现跨F1D的raid0、raid5的机制,大大提高了系统的并行能力。第三层次主要由云桥中间件完成。在云桥逻辑卷控制器的处理下，将多个物理盘管理组整合，为用户划分为多个LUN，生成的LUN被称为虚拟磁盘(virtual disk)，虚拟磁盘可以视为云桥中间件自己的LUN。
第四层次主要由云桥中间件和客户端共同完成，云桥中间件将自己生成的LUN通过ISCSI协议映射给前端客户端使用。为了避免单点故障，每两台云桥中间件可以做HA的高可用性，HA系统可以实现active-backup 模式和 active-active 模式。为了进一步简化说明，图3示出了云桥中间件的简化模型。ISCSI协议定义了在TCP/IP网络发送、接收数据块(block)级数据的规则和方法。ISCSI使用已有的串行SCSI标准，ISCSI发起器端(客户端)将SCSI命令和数据封装到TCP/IP包中通过网络转发，ISCSI目标器端(云桥中间件)收到TCP/IP包之后，将其还原为SCSI命令，云桥中间件的虚拟化系统将该SCSI请求处理映射到后端的SRP目标器(存储服务器)去处理，同时将返回的数据经过云桥中间件的虚拟化系统重新映射并封装到TCP/IP包中传回给ISCSI客户端。云桥虚拟化系统是云桥中间件的核心部件，巧妙的解决了 ISCSI (以太网)和SRP(infiniband网络)协议转换的难题，并提供了一个高速、安全、可靠、可利用和灵活的网络存储管理和服务。 云桥虚拟化系统将后端SRP映射来的物理裸盘虚拟化为逻辑卷视图，提供给前端统一的逻辑卷设备访问节点，对发起的客户端来说，无需关心所访问的磁盘物理位置、磁盘类型以及磁盘上数据存放方式等等，这些细节工作由云桥虚拟化系统完成。另外，云桥虚拟化系统负责将后端SRP映射的盘当做本地物理磁盘统一管理，通过云桥逻辑卷控制器映射为一个大的物理存储池，供ISCSI发起器端请求分配。由上述系统功能模型分析可知，云桥虚拟化模型即与发起IO访问请求的ISCSI发起器进行通信协商，也与后台存储系统的SRP的目标器进行通信协商，并进行响应的数据传输控制，所以，它实现了两个通信模板，即云桥虚拟化前端和云桥虚拟化后端。图4示出了云桥虚拟化前端的结构图。云桥虚拟化前端是指处理ISCSI发起器的访问请求的一端。由于IP SAN的特殊性，从发起器发出的IO请求数据包的格式为标准的ISCSI数据包，其中包含了对逻辑SCSI磁盘的IO访问控制命令，并且ISCSI数据包是被封装在TCP/IP数据包中进行传送，故云桥虚拟化前端将发起器发出的TCP/IP数据包进行解包分析，还原成对逻辑磁盘的SCSI的IO访问请求控制命令，并对SCSI命令的逻辑地址进行初步分析，并判断该命令所要访问的地址段是否越界。故云桥虚拟化前端的基本功能就是处理源源不断地从各个远程客户端发起器发出的包含ISCSI磁盘访问命令的TCP/IP数据包，对其进行相应的解包分析后，将还原后的SCSI磁盘访问命令发送给它的后端程序进行处理。图5示出了云桥虚拟化后端的结构图。存储服务器通过SRP协议映射磁盘给云桥虚拟化后端，并在云桥虚拟化后端识别为物理SCSI磁盘。如何确定映射来的SCSI磁盘的物理地址是云桥虚拟化系统必须考虑的。云桥虚拟化后端维护一张虚拟磁盘逻辑地址到物理磁盘地址的映射表，当包含逻辑地址的SCSI磁盘访问命令到达云桥虚拟化后端时，虚拟化后端程序能够通过该映射表进行一系列的映射查找后，将逻辑磁盘地址转化为远端存储服务器可识别的物理磁盘地址。这样，远端ISCSI访问请求命令可以转换成真实的SCSI磁盘访问命令，且包含有效的命令参数和物理磁盘地址。云桥虚拟化后端做为SRP发起器，将真实的磁盘访问命令封装在infiniband包中，通过infiniband网络发给存储服务器的SRP目标器。当存储子系统处理完磁盘IO访问操作后，返回给云桥虚拟化后端一些相关信息，如数据、状态信息或出错信息等等。此时云桥虚拟化后端将这些返回信息加入到相应的等待结果的磁盘访问命令队列中去，并将这些消息返回给云桥虚拟化前端，并进行相应的修改磁盘访问队列中的元素状态信息操作，例如成功、出错或取消操作等等。综上所述，本发明提出的方法及装置具有以下作用
1)成为桥接infiniband和以太网络的桥梁,解决infiniband扩展差的问题,其面向存储后端采用SRP协议，面向用户可以采用ISCSI、NFS、samba、FTP、SFTP等协议；
2)自主研发的多级缓存技术与infiniband的RDMA技术充分融合,通过infiniband技术的高带宽、低延时的优势。例如，在SAS 7200转的企业硬盘测试环境下，单用户访问可以实现IO带宽输出在读场景3GB/s，写场景2. 7GB/s的能力；
3)实现存储虚拟化能力，将后端存储资源组织起来，按需分配给前端用户，可实现在线 扩容功能；云桥卷管理器能够实现存储资源整合及存储资源分配能力，而用户所感知的硬盘实际是桥接云桥中间件系统虚拟的硬盘；
4)可以实现数据管理技术、快照、Clone、Mirror以及⑶P备份技术。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种基于桥接的无限带宽协议转换方法，用于完成无限带宽网络与以太网之间的通信，包括以下步骤存储服务器通过SCSI协议控制实际物理磁盘组，SRP目标器经初始化后获取SCSI存储设备信息并注册，并且所述存储服务器通过无限带宽网卡以及无限带宽驱动连接云桥中间件从而承载封装的SCSI存储设备信息给所述云桥中间件； 云桥中间件通过无限带宽网卡以及无限带宽驱动与所述存储服务器通讯，当所述存储服务器上的SRP目标器初始化结束后，所述云桥中间件上的SRP发起器获取到所述存储服务器上的SCSI存储设备信息，经所述云桥中间件上的虚拟化模块处理后映射为新的SCSI存储信息并注册到ISCSI目标器上，同时所述云桥中间件通过TCP/IP协议和以太网网卡承载封装的SCSI存储信息给客户端； 所述客户端的ISCSI发起器通过以太网获取云桥中间件上的SCSI存储设备信息并映射给上层文件系统和应用程序。
2.一种基于桥接的无限带宽协议转换系统，所述系统包括客户端、云桥中间件以及存储服务器，所述存储服务器通过无限带宽网络连接所述云桥中间件，所述客户端通过以太网络连接所述云桥中间件，其特征在于所述存储服务器通过SRP协议对外映射逻辑单元号；所述云桥中间件的磁盘控制器模块将所述逻辑单元号封装成系统识别的物理盘，通过云桥中间件的多个物理盘管理组管理所述物理盘；在云桥中间件中的云桥逻辑卷控制器的控制下，将所述物理盘管理组整合，为用户划分并生成虚拟磁盘；所述虚拟磁盘通过ISCSI协议映射给所述客户端使用。
3.根据权利要求2所述的一种基于桥接的无限带宽协议转换方法，所述存储服务器和云桥中间件采用Linux操作系统,所述客户端采用Windows操作系统。
全文摘要
本发明提供一种基于桥接的无限带宽协议转换方法及系统，所述系统包括客户端、云桥中间件和存储服务器，存储服务器和客户端分别通过无限带宽网和以太网连接云桥中间件，所述存储服务器通过SRP协议对外映射逻辑单元号；所述云桥中间件的磁盘控制器将逻辑单元号封装成系统识别的物理盘，通过云桥中间件中的多个物理盘管理组管理所述物理盘；在云桥中间件的云桥逻辑卷控制器的控制下，将所述物理盘管理组整合，为用户划分并生成虚拟磁盘；所述虚拟磁盘通过ISCSI协议映射给客户端使用。本发明的方法及系统实现了无限带宽网和以太网协议转换能力，将infiniband架构的高速存储通过云桥中间件的资源整合后为前端客户端提供高速以太网。
文档编号H04L29/06GK102833237SQ201210288078
公开日2012年12月19日 申请日期2012年8月14日 优先权日2012年8月14日
发明者储浩, 乐翔 申请人:南京斯坦德通信股份有限公司