一种基于键值对的横向扩展的高性能存储方法
【专利说明】一种基于键值对的横向扩展的高性能存储方法
[0001]
技术领域
[0002]本发明涉及计算机存储领域，具体涉及分布式存储、存储虚拟化、异步网络通信、主流对象服务协议，具体的说就是一种基于键值对的横向扩展的高性能存储方法。
【背景技术】
[0003]随着网络应用的迅速发展，网络信息数据量越来越大，PB级别的海量数据存储变得越来越重要。传统意义的文件系统已不能满足现有应用的大容量、高可靠性、高性能等要求，为满足这些新要求，分布式文件系统应用和对象存储得到了广泛重视。
[0004]ceph文件系统是一个有着优越性能、高可靠性、可扩展性的分布式文件系统，且是一个Linux PB级分布式文件系统。它有着以下几种优势:可以很容易地扩展到PB级容量、对多种工作负载有高性能、高可靠性。可以提供对象存储、块存储和文件系统存储三种功能。
[0005]现有的存储主要是块存储和文件存储这两种存储，也是两种主流的存储类型。块存储主要以SAN为主，它是千兆位速率的网络，依托光纤通道(Fibre Channel)为服务器和存储设备之间的连接提供更高的吞吐能力、支持更远的距离和更可靠的连通；文件存储主要以NAS为主，NAS网络连接存储-将储存设备连接到现有网络上，提供数据和文件服务。对象存储系统(Object-Based Storage System)是综合了 NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。
[0006]Iibevent是一个事件触发的网络库。ibevent包括事件管理、缓存管理、DNS、HTTP、缓存事件几大部分。事件管理包括各种1 (socket)、定时器、信号等事件；缓存管理是指evbuffer功能；DNS是Iibevent提供的一个异步DNS查询功能；HTTP是Iibevent的一个轻量级http实现，包括服务器和客户端。
【发明内容】
[0007]针对目前技术发展的现有状况，本发明提供了一种基于键值对的横向扩展的高性能存储方法。
[0008]本发明所述一种基于键值对的横向扩展的高性能存储方法，解决上述技术问题采用的技术方案如下:该高性能存储方法是基于key/value的横向扩展的高性能存储方法；所使用到的设备包括:客户端、服务器和存储端，其主要步骤包括:接收与反馈数据、处理数据和队列化数据；在对数据持久化操作时，选用横向可扩展的存储系统，形成一个横向扩展的高性能对象存储服务。
[0009]优选的，该高性能存储方法基于ceph开源文件系统，让其作为底层存储系统。
[0010]优选的，所述高性能对象存储服务是支持HTTP协议的存储服务，包括对存储数据的增加、修改、查看和删除。
[0011]优选的，所述服务器是基于Iibevent库的HTTP服务器，主要接收来自客户端的信息并且反馈信息给客户端，并负责对数据进行基本处理以及对数据的存储信息进行反馈。
[0012]优选的，所述服务器建立一个事件触发机制，并基于HTTP GET/POST协议接收来自客户端的信息并且反馈信息给客户端。
[0013]优选的，所述服务器处理来自客户端的信息，将来自客户端的信息处理成一种对象存储的信息。
[0014]优选的,所述对象存储采用key/value形式。
[0015]优选的，该高性能存储方法利用消息队列异步处理数据传送和存储；当频繁地向数据库中插入数据，频繁地向搜索引擎提交数据时，则采取消息队列来异步插入。
[0016]本发明的一种基于键值对的横向扩展的高性能存储方法与现有技术相比具有的有益效果是:该高性能存储方法设计新颖，采用的都是轻量级的库，实施简单；能够以消息队列来处理频繁的网络访问，以及频繁的数据更新；能够很好地处理产生的数据迁移、负载平衡等问题，极大提高了系统存储性能。
【附图说明】
[0017]附图1为所述高性能存储方法的实现框图。
【具体实施方式】
[0018]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考附图，对本发明所述一种基于键值对的横向扩展的高性能存储方法进一步详细说明。
[0019]本发明所述一种基于键值对的横向扩展的高性能存储方法,是基于key/value的横向扩展的高性能存储方法。该高性能存储方法所使用到的设备包括:客户端、服务器和存储端，所述服务器接收来自客户端的信息并且反馈信息给客户端，并将客户端信息处理后存储到存储端；该方法的主要步骤包括:接收与反馈数据、处理数据和队列化数据；如附图1所示。该高性能存储方法在对数据持久化操作时，选用横向可扩展的存储系统，设计并实现一个横向扩展的高性能对象存储服务。该高性能存储方法的特点在于，对象存储和横向扩展，每个对象都采用key/value来定义存储，支持HTTP协议且能横向扩展。
[0020]实施例:
本实施例所述一种基于键值对的横向扩展的高性能存储方法，基于ceph开源文件系统，让其作为底层存储，设计并实现一个横向扩展的高性能对象存储服务，该高性能对象存储服务是支持HTTP协议的存储服务，包括对存储数据的增加、修改、查看和删除。
[0021]该高性能存储方法中接收与反馈数据的步骤包括:所述服务器是基于Iibevent库的HTTP服务器，主要接收来自客户端的信息并且反馈信息给客户端，并负责对数据进行基本处理以及对数据的存储信息进行反馈。所述服务器主要是依赖Iibevent库来实现的，并建立一个事件触发机制；所述服务器基于HTTP GET/POST协议接受来自客户端的信息并且反馈信息给客户端。
[0022]本实施例所述高性能存储方法中，其