用于存储数据的方法、装置及系统与流程

文档序号:11828603阅读:208来源:国知局
用于存储数据的方法、装置及系统与流程

本发明涉及信息技术领域,尤其涉及用于存储数据的方法、装置及系统。



背景技术:

随着全球数据规模的爆炸式增长,数据存储技术在这个大数据时代变得越来越重要。因此,如何更好地实现数据存储成为人们的关注热点。

常见的存储系统可以包括集中式存储系统和分布式存储系统。集中式存储系统作为传统的存储技术,已经广泛用于企业级应用和一些关键的应用中。例如,常用的集中式存储系统包括网络连接存储(Network Attached Storage,NAS)、存储区域网络(Storage Area Network,SAN)等。由于利用基于特定硬件的控制器和管理软件,因此集中式存储系统能够实现高性能,高可靠性,但是成本也比较高。

随着云计算和大数据相关技术的发展,分布式存储系统应运而生。在分布式存储系统中,通常采用直连存储(Directly Attached storage,DAS)作为存储介质,并利用分布式文件系统(Distributed File Syetem,DFS)来对分布式数据文件或节点进行管理。因此,相比集中式存储系统而言,分布式存储系统的成本大大降低,但是性能也相应降低。

目前,用户(例如,企业或事业单位等)会固定使用这两种存储系统中的一种来存储数据。然而,随着数据业务的急剧增加,用户具有各种类型的数据,例如,有些是重要的数据,有些是不太重要的数据,那么对于数据存储也有着多种多样的需求。例如,用户可能希望数据存储既能达到高性能,又能实现低成本,在这种情况下,固定使用这两种存储系统中的一种将难以满足用户不同的存储需求。



技术实现要素:

考虑到现有技术的上述问题,本发明的实施例提供了用于存储数据的方法、装置和系统,其能够满足用户对不同分类的数据的不同存储需求。

本发明的一个实施例提供了一种用于存储数据的方法,包括:接收用于指示对目标数据进行存储的数据操作请求,其中,所述数据操作请求包括所述目标数据的数据分类;根据表示多个数据分类与多个存储系统的对应关系的存储策略,确定与所述目标数据的数据分类相对应的存储系统;以及将所述目标数据存储在所确定的存储系统中。

其中,所述数据分类利用用户标识或数据来源来表示,所述存储策略包括以下对应关系中的至少一种:多个用户标识与所述多个存储系统的对应关系,以及,多个数据来源与所述多个存储系统的对应关系。

其中,所述多个存储系统包括集中式存储系统和分布式存储系统。

其中,所述方法还包括:接收用于指示对所述目标数据执行指定操作的另一数据操作请求,其中,所述另一数据操作请求包括所述目标数据的数据分类,所述指定操作包括读取操作、更新操作和删除操作中的一种;根据所述存储策略,查找与所述目标数据的数据分类相对应的存储系统;以及在所查找到的存储系统中对所述目标数据执行所述指定操作。

本发明的另一实施例提供了一种用于存储数据的装置,包括:接收模块,用于接收用于指示对目标数据进行存储的数据操作请求,其中,所述数据操作请求包括所述目标数据的数据分类;确定模块,用于根据表示多个数据分类与多个存储系统的对应关系的存储策略,确定与所述目标数据的数据分类相对应的存储系统;操作模块,用于将所述目标数据存储在所确定的存储系统中。

其中,所述数据分类利用用户标识或数据来源来表示,所述存储策略包括以下对应关系中的至少一种:多个用户标识与所述多个存储系统的对应关系,以及,多个数据来源与所述多个存储系统的对应关系。

其中,所述多个存储系统包括集中式存储系统和分布式存储系统。

其中,所述接收模块,还用于接收用于指示对所述目标数据执行指定操作的另一数据操作请求,其中,所述另一数据操作请求包括所述目标数据的数据分类,所述指定操作包括读取操作、更新操作和删除操作中的一种;所述确定模块,还用于根据所述存储策略,查找与所述目标数据的数据分类相对应的存储系统;以及所述操作模块,还用于在所查找到的存储系统中对所 述目标数据执行所述指定操作。

本发明的另一实施例提供了一种用于存储数据的系统,包括:多个存储系统;以及控制设备,用于当接收到用于指示对目标数据进行存储且包括所述目标数据的数据分类的数据操作请求时,确定与所述目标数据的数据分类相对应的存储系统并将所述目标数据存储在所确定的存储系统中。

其中,所述数据分类利用用户标识或数据来源来表示,所述存储策略包括以下对应关系中的至少一种:多个用户标识与所述多个存储系统的对应关系,以及,多个数据来源与所述多个存储系统的对应关系。

其中,所述多个存储系统包括集中式存储系统和分布式存储系统。

其中,所述控制设备,还用于在接收到用于指示对所述目标数据执行指定操作并且包括所述目标数据的数据分类的另一数据操作请求时,查找与所述目标数据的数据分类相对应的存储系统并在所查找到的存储系统中对所述目标数据执行所述指定操作,其中,所述指定操作包括读取操作、更新操作和删除操作中的一种。

在本发明实施例中,对数据进行分类并对不同数据分类的数据采用不同的存储系统进行存储,从而能够满足用户对不同分类的数据的不同存储需求。

附图说明

本发明的其它特征、特点、优点和益处通过以下结合附图的详细描述将变得更加显而易见。

图1是根据本发明一个实施例的用于存储数据的系统的示意图。

图2是根据本发明一个实施例的存储策略的形式的例子的示意图。

图3是根据本发明一个实施例的用于存储数据的方法的流程图。

图4是根据本发明一个实施例的用于存储数据的装置的示意图。

图5是根据本发明一个实施例的控制设备的示意图。

具体实施方式

下面,将参照附图详细描述本发明的各个实施例。

图1是根据本发明一个实施例的用于存储数据的系统的示意图。如图1 所示,用于存储数据的系统100包括控制设备110和多个存储系统。

在一种具体实施方式中,多个存储系统可以包括集中式存储系统和分布式存储系统,例如,如图1所示的集中式存储系统120和分布式存储系统130。例如,集中式存储系统120可以是NAS或SAN等。分布式存储系统130可以采用DAS作为存储介质,并利用DFS对分布式数据文件或节点进行管理。但是,本发明实施例并不限于此。例如,多个存储系统可以包括更多数量的存储系统,还可以包括除集中式存储系统和分布式存储系统之外的其它存储系统。

控制设备110可以与集中式存储系统120和分布式存储系统130进行交互。例如,控制设备110可以通过有线或无线的方式连接到集中式存储系统120和分布式存储系统130,从而与集中式存储系统120和分布式存储系统130进行通信。

在控制设备110与集中式存储系统120和分布式存储系统130之间,可以使用多种数据传输协议。例如,如果集中式存储系统120为NAS,则可以在控制设备110与NAS之间使用NFS或通用互联网文件系统(Common Internet File System,CIFS)协议。

如果集中式存储系统120为SAN,则可以根据SAN的类型来确定要使用的数据传输协议。例如,对于光纤信道(Fiber Channel,FC)SAN,可以在控制设备110与NAS之间使用专门的FC协议;而对于互联网协议(Internet Protocol,IP)SAN,可以在控制设备110与NAS之间使用互联网小型计算机系统接口(Internet Small Computer System Interface,ISCSI)协议。

控制设备110与分布式存储系统120之间的传输协议通常取决于用于组织DAS的DFS。例如,在DFS为Hadoop DFS(HDFS)的情况下,可以使用基于HTTP的HDFS协议。

此外,控制设备110还可以通过有线或无线的方式连接到用户使用的设备(例如,计算机等)上,与用户使用的设备进行通信。

例如,控制设备110可以连接到企业中的各个部门使用的计算机。这些计算机上可以安装有应用,并且可以通过所安装的应用来与控制设备110进行通信。各个部门的计算机可能产生不同类型的数据,比如,财务数据、管理数据、业务数据等。在需要将这些数据存储到存储系统时,这些计算机上安装的应用可以向控制设备110发送数据操作请求来请求将数据存储到某个 存储系统中。

应用可以通过多种件传输协议来向控制设备110发送数据操作请求,例如,应用与控制设备110之间的传输协议可以包括REST API、文件传输协议(File Transfer Protocol,FTP)、网络文件系统(Network File Syetem,NFS)等。

具体地,控制设备110用于当接收到用于指示对目标数据进行存储且包括所述目标数据的数据分类的数据操作请求时,确定与目标数据的数据分类相对应的存储系统并将目标数据存储在所确定的存储系统中。

具体地,控制设备110可以接收用于指示对目标数据进行存储的数据操作请求,其中,数据操作请求包括目标数据的数据分类;根据表示多个数据分类与多个存储系统的对应关系的存储策略,确定与目标数据的数据分类相对应的存储系统;以及将目标数据存储在所确定的存储系统中。

例如,存储策略可以是用户预先在控制设备110中配置的。此外,用户还可以对存储策略进行更新,以适应用户对存储方案的不断变化的需求。例如,存储策略可以是用户通过网络用户接口(Web User Interface)或者基于代表性状态传输(Representational State Transfer,REST)协议的应用编程接口(Application Programming Interface,API)(其可以被称为REST API)来配置的。

在一种具体的实施方式中,数据分类可以利用用户标识或者数据来源来表示。存储策略可以包括以下对应关系中的至少一种:多个用户标识(User Identification,User ID)与多个存储系统的对应关系,以及,多个数据来源与多个存储系统的对应关系。

相应地,上述数据操作请求可以包括目标数据的用户标识或者数据来源标识。

这样,控制设备110可以根据数据操作请求中的用户标识或者数据来源标识,查询存储策略,从而可以确定与目标数据的用户标识或数据来源标识相对应的存储系统,然后将目标数据存储在所确定的存储系统中。

从上述可以看出,在本发明实施例中,对数据进行分类并对不同数据分类的数据采用不同的存储系统进行存储,从而能够满足用户对不同分类的数 据的不同存储需求。

例如,在多个存储系统包括集中式存储系统和分布式存储系统的情况下,用户在配置存储策略时可以将存储需求与两个存储系统的特点相结合,从而能够满足用户不同的存储需求。例如,实时数据要求高存储性能,而针对其它数据,用户希望达到低存储成本。对于集中式存储系统来说,其具有高存储性能,而分布式存储系统具有低成本,那么,用户可以在存储策略中指定将实时数据存储在集中式存储系统中,将其它数据存储在分布式存储系统中。

在另一种具体实施方式中,控制设备110还可以用于在接收到用于指示对目标数据执行指定操作并且包括目标数据的数据分类的另一数据操作请求时,查找与目标数据的数据分类相对应的存储系统并在所查找到的存储系统中对目标数据执行指定操作,其中,指定操作包括读取操作、更新操作和删除操作中的一种。

具体而言,控制设备110可以支持对目标数据的读取、更新和删除操作。因此,控制设备可以被理解为进行数据访问的透明接口,支持CRUD(create/read/update/delete)操作。

在对目标数据存储之后,可以将目标数据的存储地址进行缓存,或者也可以不缓存目标数据的存储地址。在将目标数据的存储地址缓存的情况下,控制设备110在从应用接收到用于请求对目标数据执行存储之外的其它操作的数据操作请求之后,无需查询存储策略,可以获取所缓存的存储地址,从而在相应的存储系统中对目标数据执行操作。在未将目标数据的存储地址缓存的情况下,控制设备110在从应用接收到用于请求对目标数据执行存储之外的其它操作的数据操作请求之后,可以查询存储策略,确定与目标数据的数据分类相对应的存储系统中,从而在所确定的存储系统中对目标数据执行相应的操作。例如,可以在所确定的存储系统中对目标数据执行读取、更新或删除等操作。

下面将针对存储策略进行描述。上述的存储策略可以采用多种形式来表示。

作为一个例子,多个用户标识与多个存储系统的对应关系可以直接通过多个用户标识与多个存储系统的标识的对应关系来表示,多个数据来源与多 个存储系统的对应关系可以直接通过多个数据来源标识与多个存储系统的标识的对应关系来表示。

或者,作为另一例子,可以定义“角色”的概念。角色可以包括贵宾(Very Important Person,VIP)角色和普通角色。可以通过多个用户标识、角色和多个存储系统的标识来表示多个用户标识与多个存储系统的对应关系,例如该对应关系可以由多个用户标识与多个角色的对应关系以及多个角色与多个存储系统的标识的对应关系来表示。对于多个数据来源与多个存储系统的对应关系,可以通过多个数据来源标识、多个角色和多个存储系统的标识来表示,例如,该对应关系可以由多个数据来源标识与多个角色的对应关系以及多个角色与多个存储系统的标识的对应关系来表示。

下面将结合具体例子来详细描述存储策略的形式。应当理解的是,该例子仅是为了帮助本领域技术人员更好地理解本发明实施例,而非限制本发明的范围。图2是根据本发明一个实施例的存储策略的形式的例子的示意图。在图2中,仍以集中式存储系统和分布式存储系统为例进行说明。

如图2所示,存储策略可以包括多个角色与多个存储系统的对应关系。例如,VIP角色与集中式存储系统相对应,而普通角色与分布式存储系统相对应。

存储策略还可以包括多个用户ID与多个角色之间的对应关系。例如,如图2所示,用户ID G001-032、G001-021可以与VIP角色相对应,而用户ID G002-001可以与普通角色相对应,那么来自用户ID G001-032和G001-021的数据可以与集中式存储系统相对应,而来自用户ID G002-001的数据可以与分布式存储系统相对应。

此外,存储策略还可以包括多个数据来源与多个角色之间的对应关系。例如,数据来源可以包括企业资源计划(Enterprise Resources Planning,ERP)、客户关系管理(Customer Relationship Management,CRM)、归档系统等。如图2所示,ERP可以对应于VIP角色,CRM可以对应于VIP角色,而归档系统可以对应于普通角色。那么,来自ERP的数据和来自CRM的数据均可以与集中式存储系统相对应,而来自归档系统的数据可以与分布式存储系统相对应。

应当理解,尽管上面描述了存储策略是根据数据的用户或者数据来源来配置的,但是用户还可以根据其它因素来配置存储策略,以满足不同的存储 需求。

现在参照图3,其是根据本发明一个实施例的用于存储数据的方法的流程图。例如,图3的方法可以由上述图1中的控制设备110来执行。

如图3所示,该方法包括以下步骤:

步骤310,接收用于指示对目标数据进行存储的数据操作请求,其中,数据操作请求包括目标数据的数据分类。

步骤320,根据表示多个数据分类与多个存储系统的对应关系的存储策略,确定与目标数据的数据分类相对应的存储系统。

步骤330,将目标数据存储在所确定的存储系统中。

在一种具体实施方式中,多个存储系统可以包括集中式存储系统和分布式存储系统。

在另一种具体实施方式中,上述数据分类可以利用用户标识或数据来源来表示,相应地,存储策略可以包括以下对应关系中的至少一种:多个用户标识与多个存储系统的对应关系,以及,多个数据来源与多个存储系统的对应关系。

在另一种具体实施方式中,该方法还可以包括以下步骤:接收用于指示对目标数据执行指定操作的另一数据操作请求,其中,另一数据操作请求包括目标数据的数据分类,指定操作包括读取操作、更新操作和删除操作中的一种;根据存储策略,查找与目标数据的数据分类相对应的存储系统;以及在所查找到的存储系统中对目标数据执行指定操作。

现在参照图4,其是根据本发明一个实施例的用于存储数据的装置的示意图。图4所示的装置400可以利用软件、硬件(例如集成电路或DSP等)或软硬件结合的方式来实现,并且可以安装在控制设备110中。

如图4所示,装置400可以包括接收模块410、确定模块420和操作模块430。

接收模块410用于接收用于指示对目标数据进行存储的数据操作请求,其中,数据操作请求包括目标数据的数据分类。确定模块420用于根据表示多个数据分类与多个存储系统的对应关系的存储策略,确定与目标数据的数据分类相对应的存储系统。操作模块430用于将目标数据存储在所确定的存 储系统中。

在一种具体实现方式中,数据分类可以利用用户标识或数据来源来表示,相应地,存储策略可以包括以下对应关系中的至少一种:多个用户标识与多个存储系统的对应关系,以及,多个数据来源与多个存储系统的对应关系。

在另一种具体实施方式中,多个存储系统可以包括集中式存储系统和分布式存储系统。

在另一种具体实施方式中,接收模块410还可以用于接收用于指示对所述目标数据执行指定操作的另一数据操作请求,其中,另一数据操作请求包括所述目标数据的数据分类,指定操作包括读取操作、更新操作和删除操作中的一种。确定模块420还可以用于根据存储策略,查找与目标数据的数据分类相对应的存储系统;以及操作模块430还可以用于在所查找到的存储系统中对目标数据执行指定操作。

现在参见图5,其是根据本发明一个实施例的控制设备的示意图。如图5所示,控制设备500可以包括用于存储可执行指令的存储器510和与存储器510连接的处理器520,其中,处理器520可以执行前述装置400的各个模块所执行的操作。

本发明实施例还提供一种机器可读介质,其上存储可执行指令,当该可执行指令被执行时,使得机器实现处理器520的操作。

本领域技术人员应当理解,上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此,本发明的保护范围应当由所附的权利要求书来限定。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1