一种数据存储的方法及装置与流程

文档序号:16999546发布日期:2019-03-02 01:39阅读:211来源:国知局
一种数据存储的方法及装置与流程

本发明涉及云数据存储技术领域,尤指一种数据存储的方法及装置。



背景技术:

当前,随着云计算和大数据技术的不断发展,各种结构化数据(可以用二维表结构来逻辑表达实现的数据,如员工信息表、工资条等)和各种图片、文件、音频、视频等非结构化数据量越来越大,如何对各种类型的数据进行高效的存储成为我们面临的一个重要课题。

现有的存储方式及存储系统已经无法满足日益增长的数据量的要求,无法针对结构化数据和非结构化数据进行高效的存取,数据存取整体效率低下。



技术实现要素:

为了解决上述技术问题,本发明提供了一种数据存储的方法及装置,提高云数据中心存储资源的管理效率。

为了达到本发明目的,本发明提供了一种数据存储的方法,其中,包括:

路由节点接收到存储数据的请求后,确定待存储数据的数据类型;

根据数据类型选择对应的数据库集群进行存储。

进一步地,所述确定待存储数据的数据类型后,还包括:

根据数据类型对所述待存储数据进行标志。

进一步地,所述根据数据类型选择对应的数据库集群进行存储,还包括:

根据数据对象大小和数据库集群资源负载值情况确定一数据存储节点进行存储。

进一步地,还包括:

所述路由节点如出现故障,则将业务切换到备用节点。

进一步地,所述数据类型包括:结构化数据和非结构化数据。

进一步地,所述数据库集群包括:mysql数据库集群和mongodb数据库集群。

一种数据存储的装置,包括:存储器和处理器;其中:

所述存储器,用于保存用于数据存储的程序;

所述处理器,用于读取执行所述用于数据存储的程序,执行如下操作:

接收到存储数据的请求后,确定待存储数据的数据类型;

根据数据类型选择对应的数据库集群进行存储。

进一步地,所述确定待存储数据的数据类型后,还包括:

根据数据类型对所述待存储数据进行标志。

进一步地,所述根据数据类型选择对应的数据库集群进行存储,还包括:

根据数据对象大小和数据库集群资源负载值情况确定一数据存储节点进行存储。

进一步地,还包括:

所述路由节点如出现故障,则将业务切换到备用节点。

本发明实施例的方法在数据存取时,通过判断存储对象数据类型是结构化数据还是非结构化数据,根据数据类型和数据存取路由节点进行存储集群选择,分别选取对应的mysql数据库集群或mongodb数据库集群进行数据的具体存取,从而实现对各种数据类型的高效存储和检索。

本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。

图1为本发明实施例的一种数据存储的方法的流程图;

图2为实现本发明实施例的数据存储的方法的系统的示意图;

图3为本发明实施例的一种数据存储的装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明实施例的一种数据存储的方法的流程图,如图1所示,本实施例的方法可以包括:

步骤101、路由节点接收到存储数据的请求后,确定待存储数据的数据类型;

步骤102、根据数据类型选择对应的数据库集群进行存储。

本发明实施例的方法基于不同类型所具有的数据特征的不同,根据数据类型对数据进行区分存储,可以提高对各种数据类型的存取效率。

本发明实施例的方法在数据存取时,通过判断存储对象数据类型是结构化数据还是非结构化数据,根据数据类型和数据存取路由节点进行存储集群选择,分别选取对应的mysql数据库集群或mongodb数据库集群进行数据的具体存取,从而实现对各种数据类型的高效存储和检索。

图2为实现本发明实施例的数据存储的方法的系统的示意图,如图2所示,包括:

数据类型判断节点,即在数据存取时首先判断用户所请求的存取数据对象的类型:结构化数据类型和非结构化数据类型,并进行相应的标志;

数据存取路由节点,根据请求数据的数据类型、数据对象大小、数据库集群资源负载值情况综合确定具体的数据存储节点;比如针对结构化数据,选择mysql数据库集群中负载值较小、且满足该次存储要求(数据存取后不会影响节点的正常运行)的mysql节点;针对非结构化数据,则根据情况选择满足要求的mongodb节点;

数据存取路由双活节点,与路由节点组成双活模式;当路由节点出现故障影响整体功能时,该双活节点会主动将业务切换至其上运行,实现与路由节点同样的数据存取路由检索功能;

mysql数据库集群,具体实现对结构化数据的存储、检索功能,并保证集群整体功能的稳定;

mongodb数据库集群,具体实现对非结构化数据的存储、检索功能,并保证集群整体功能的稳定。

图3为本发明实施例的一种数据存储的装置的示意图,如图3所示,本实施例的装置包括:存储器和处理器,其中:

所述存储器,用于保存用于数据存储的程序;

所述处理器,用于读取执行所述用于数据存储的程序,执行如下操作:

接收到存储数据的请求后,确定待存储数据的数据类型;

根据数据类型选择对应的数据库集群进行存储。

可选地,所述确定待存储数据的数据类型后,还可以包括:

根据数据类型对所述待存储数据进行标志。

可选地,所述根据数据类型选择对应的数据库集群进行存储,还包括:

根据数据对象大小和数据库集群资源负载值情况确定一数据存储节点进行存储。

可选地,还可以包括:

所述路由节点如出现故障,则将业务切换到备用节点。

本实施例的装置通过对存储对象数据类型的判断,将结构化数据和非结构化数据分别选择最优化的数据库集群进行存取,提高了对各种数据类型数据的读写效率。

本发明实施例还提供了一种计算机可读存储介质,其存储有计算机可执行指令,所述计算机可执行指令被执行时实现所述数据存储的方法。

本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1