一种数据传送方法、系统、电子设备及可读存储介质与流程

文档序号:15450905发布日期:2018-09-15 00:00阅读:174来源:国知局

本发明涉及数据存储领域,具体地涉及一种数据传送方法、系统、电子设备及其计算机可读存储介质。



背景技术:

随着云计算、移动互联网、物联网等新一代信息技术的飞速发展,数据中心的数据量呈爆炸式增长,在大数据时代,当前企业级数据中心管理的数据量已从tb(trillionbyte,或称terabyte,即2的40次方字节)级上升到pb(petabyte,即2的50次方字节)甚至eb(exabyte,即2的60次方字节)级。在数据量增长的同时,数据构成和使用情况也越来越复杂,比如,按照被访问的频次,数据可以划分为热数据、温数据和冷数据。而对于典型的大部分数据,在产生的初期很可能是被频繁访问的热数据,随着时间的推移其被访问的频度越来越低,热数据变成温数据、最后变成基本无人访问的冷数据;就像社交网络中公开的照片,总是第一天访问的人多,慢慢地大家都不看了。然而,对于用户本人来说,即使是冷数据也不能随便丢弃,特别是与人的生活乃至生命密切相关的数据,比如健康医疗数据、银行账户信息、社保数据和成长记录等,这些数据的被访问频度虽低但有效性很长,至少需要保存七八十年甚至一百年,且一旦丢弃会对用户个人生活造成严重影响。因此,即使是冷数据,也存在长期保存的需求。事实上,现在数据中心的数据中,80%以上都是冷数据,大量的冷数据存储介质占用数据中心的大量空间,由于数据中心空间受限或是存放的地理位置价格高居不下,解决冷数据存放问题越来越突出。



技术实现要素:

(一)发明目的

本发明的目的是提供一种数据传送方法、系统、电子设备及其计算机可读存储介质,通过异地存储大量冷数据,数据传送装置往返于数据中心(机房)和异地冷数据存储中心进行数据传送,解决了冷数据存储空间不足或是地理位置价格高,数据中心的扩展受影响的问题。

(二)技术方案

为解决上述问题,本发明的第一方面提供一种数据传送方法,包括:使用数据传送装置将冷数据存储中心的预设热数据传送到机房,或者使用数据传送装置把机房的预设冷数据传送到冷数据存储中心。

本发明的一个方面,使用数据传送装置将冷数据存储中心的预设热数据传送到机房包括以下步骤:

步骤11,冷数据存储中心将所述预设热数据发送至数据传送装置,数据传送装置接收并存储上述预设热数据;

步骤12,数据传送装置将所述预设热数据运载至指定机房;

步骤13,数据传送装置将所述预设热数据发送给所述指定机房,所述指定机房接收并存储所述预设热数据。

本发明的一个方面,在步骤11中,冷数据存储中心使用分配调度单元将所述预设热数据传输到数据传送装置,数据传送装置使用存储调度单元自动识别存储空间信息并将所述预设热数据在数据传送装置进行存储。

本发明的一个方面,在步骤11中,

冷数据存储中心的分配调度单元根据预设的热数据在存储数据中进行调用并利用数据传送装置的通信接口连接光纤,将所述预设的热数据通过光纤发送至数据传送装置;

数据传送装置的存储调度单元,利用设置的无线通信接口接入光纤来接收上述的预设热数据,并将所述预设热数据存储到数据传送装置的数据存储柜中。

本发明的一个方面,在步骤13中,机房使用分配调度单元将所述预设热数据传输到机房的数据柜中。

本发明的一个方面,其中在步骤13中,

数据传送装置将通信接口接入光纤,通过机房的分配调度单元,自动将接收的数据发送到相应的空间位置,空间位置由分配调度单元根据机房的存储空间分布,已用空间分布和数据特征进行调度存储。

本发明的一个方面,其中在步骤11之前,还包括如下步骤:

冷数据存储中心从机房接收预设热数据传送请求,通过冷数据存储中心的数据调用程序调用数据传送装置。

本发明的一个方面,其中使用数据传送装置把机房的预设冷数据传送到冷数据存储中心包括以下步骤:

步骤21,机房将所述预设冷数据发送至数据传送装置,数据传送装置接收并存储上述预设冷数据;

步骤22,数据传送装置将所述预设冷数据运载至冷数据存储中心;

步骤23,数据传送装置将所述预设冷数据发送给冷数据存储中心,冷数据存储中心接收并存储所述预设冷数据。

本发明的一个方面,其中在步骤21中,机房的分配调度单元将所述预设冷数据传输到数据传送装置,数据传送装置的存储调度单元自动识别存储空间信息并将所述预设冷数据在数据传送装置进行存储。

本发明的一个方面,其中在步骤21中,

机房的分配调度单元将预设的冷数据根据数据类型、数据量大小自动识别在机房内存储的预设冷数据自动进行调用,并通过光纤与数据传送装置的通信接口进行连接,将所述预设的冷数据发送到数据传送装置;

数据传送装置的存储调度单元根据所述数据类型和数据量大小自动识别存储空间,并把相应的数据存储到识别的数据空间当中。

本发明的一个方面,其中在步骤23中,冷数据存储中心通过分配调度单元将所述预设冷数据传输到冷数据存储中心的数据柜中。

本发明的一个方面,其中在步骤23中,数据传送装置将通信接口接入光纤,通过冷数据存储中心的分配调度单元,自动将接收的数据发送到相应的空间位置,空间位置由分配调度单元根据冷数据存储中心的存储空间分布,已用空间分布和数据特征进行调度存储。

本发明的一个方面,其中在步骤21之前,还包括以下步骤:

冷数据存储中心从机房接收发出的预设冷数据入库请求,通过冷数据存储中心1的数据调用程序调用数据传送装置。

本发明的另一方面提供一种数据传送系统,包括数据传送装置、冷数据存储中心和机房,数据传送装置将数据存储中心的预设热数据传送到机房,或者将机房的预设冷数据传送到冷数据存储中心。

本发明的又一方面,数据传送装置包括存储调度单元,用于实现对数据的调度和存储。

本发明的又一方面,数据传送装置的存储调度单元能够自动识别传送的数据量的内容、大小,同时能够实时监测数据传送装置的各存储空间的占用情况。

本发明的又一方面,数据传送装置包括数据存储柜,用于存放数据。

本发明的又一方面,数据传送装置包括轮子。

本发明的又一方面,数据传送装置还包括光盘存放架。

本发明的又一方面,冷数据存储中心包括分配调度单元,实现对数据的调度和发送。

本发明的又一方面,冷数据存储中心的分配调度单元,能够自动识别数据是由冷变热和由热变冷,自动识别被调用的数据的内容、数据量的大小,能够自动完成数据的调用发送和接收存储。

本发明的又一方面,机房是热数据、温数据和部分预设冷数据的运行中心。

本发明的又一方面,机房包括分配调度单元,实现对数据的调度和发送。

本发明的又一方面,机房的分配调度单元能够自动识别数据是由冷变热和由热变冷,自动识别被调用的数据的内容、数据量的大小,能够自动完成数据的调用发送和接收存储。

本发明的又一方面,还包括光纤,光纤是数据传送装置与冷数据存储中心之间,和数据传送装置与机房之间传输数据的载体。

本发明的另一个方面还提供了一种电子设备,包括:

存储器以及一个或多个处理器;

其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器能够实现如前所述的方法。

本发明的最后一个发明还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被执行后用以实现如前所述的方法。

综上所述,本发明提供了一种数据传送方法、系统、电子设备及其计算机可读存储介质,所述方法使用数据传送装置将冷数据存储中心的预设热数据传送到机房,或者使用数据传送装置将机房的预设冷数据传送到冷数据存储中心。

(三)有益效果

本发明的上述技术方案具有如下有益的技术效果:将冷数据进行异地存储,一方面解决了机房冷数据占用的空间,提高了机房的扩展性。另一方面,当预测数据由冷数据转为热数据时,提前通过传送装置将所述的冷数据输送到机房,使得用户能够实时、高速的访问数据,提高用户体验。

附图说明

图1示出了一种数据传送系统的示意图。

图2示出了数据传送装置的结构示意图。

图3示出了冷数据存储中心的结构示意图。

附图标记:

1:冷数据存储中心;2:冷数据存储中心的分配调度单元;3:光纤;4:冷存储柜;5:轮子;6:存储调度单元;7:数据传送装置;8:机房的分配调度单元;9:机房;11:存储单元;12:存储单元。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。

图1示出了一种数据传送系统的示意图。该数据传送系统包括数据传送装置7、冷数据存储中心1(idc)、机房9和光纤3。

冷数据存储中心1(idc)是按照一定的结构存放冷数据的存储设备,同时具有相关的数据管理和数据调用程序的处所。冷数据存储中心1包括分配调度单元2,分配调度单元2用于实现对冷数据存储中心所存储的冷数据的调度和发送。

数据传送装置7包括存储调度单元6、冷存储柜4、和轮子5。数据传送装置7通常包括多个冷存储柜4,冷存储柜4是数据传送装置7中用于存放数据的设备单元。数据传送装置7的存储调度单元6用于在装载数据时,向数据传送装置7的存储空间调度和发送数据。数据传送装置7设置有轮子5,能够实现地理空间上的移动,往返于机房9和冷数据存储中心1之间来传送数据,例如,数据传送装置7是数据运输车。

数据传送装置7还包括光盘存放架(未图示),用于放置光盘。其中,光盘是冷数据的低成本存储方式之一,采用光盘存放架和光盘读写设备可使得数据传送装置进一步利用传送在途的时间来将冷数据刻写到光盘中保存,或从光盘中将待使用的数据读取到高速存储设备中。如此可进一步提升传送效率和冷数据存储成本。

机房9是热数据运行中心,同时机房9所存储的数据还包括温数据和部分预设冷数据。机房9具有分配调度单元8,实现对机房9中所存储热数据、预设冷数据及温数据的调度和发送。

光纤3是用来传输数据的载体,冷数据存储中心1(idc)与数据传送装置7之间,以及机房9与数据传送装置7之间通过光纤3来传输数据。

该数据传送系统能够实现冷数据存储中心和机房之间的数据双向传输,即存在两种工作方式,第一种是使用数据传送装置将冷数据存储中心的预设热数据传送到机房,即当冷数据存储中心存储的冷数据转化为预设热数据时,需要将该预设热数据从冷数据存储中心传送到数据传送装置上,由数据传送装置实现空间上的移动,到达机房,并将预设热数据传送到机房。第二种是使用数据传送装置把机房的预设冷数据传送到冷数据存储中心。即当机房存储的热数据转化为预设冷数据时,需要将该预设冷数据从机房传送到数据传送装置上,由数据传送装置实现空间上的移动,到达冷数据存储中心,并将预设冷数据传送到冷数据存储中心。可以看出,冷数据存储中心和机房可以位于不同的地理位置,两者之间具有一定的距离,冷数据存储中心和机房之间的数据传送是通过可移动的数据传送装置来实现,可移动的数据传送装置能够克服冷数据存储中心和机房所带来的数据传送的问题,从而解决了冷数据存储空间不足或是地理位置价格高,数据中心的扩展受影响的问题。下面针对这两种工作方式的具体工作过程进行详细说明。

本申请实施例的技术方案主要用以解决大数据存储与管理的问题。其中,在大数据时代,某一中心保存和运行全部数据存在极大的成本和性能压力,冷数据及冷数据存储中心便为缓解数据保存压力而出现。但在将数据迁移到冷数据存储中心时,如果采用公共通信网络进行数据传输,显然在性能、成本和时间等各方面均难以获得理想的效果。因此,本申请实施例的技术方案通过临时高速数据传输通道,将需要迁移的数据收集并传送给一定距离外的低成本存储中心,可获得比网络传输更高效安全的传送效果。此外,由于本申请实施例中的数据传送装置、冷数据存储中心和机房可各自独立运营,也不要求各方以一一对应的方式来管理,在成本、效率和灵活性方面也具有明显的优势。

第一种工作方式的工作过程如下所示:

从图1a可以看出,冷数据存储中心1和数据传送装置7之间通过光纤3连接,光纤3连接到数据传送装置7的通信接口,通过数据传送装置7的通信接口实现数据的传输。冷数据存储中心1的分配调度单元2调度和发送预设热数据,在分配调度单元2的控制下,通过光纤3和数据传送装置7的通信接口将预设热数据传输到数据传送装置7。数据传送装置7的存储调度单元6自动识别存储空间信息并将所述预设热数据在数据传送装置7进行存储。在数据传输完成后,数据传送装置7将所述预设热数据运送至机房9。从图1b可以看出,机房9和数据传送装置7之间通过光纤3连接,光纤3连接到数据传送装置7的通信接口,通过数据传送装置7的通信接口实现数据的传输。在机房9的分配调度单元8的控制下,所述预设热数据通过数据传送装置7的通信接口和光纤3传输到机房9,并存储到机房9的数据柜中,从而完成冷数据存储中心1向机房9的数据传送。

冷数据存储中心向机房传送数据的具体步骤如下所示:

步骤11,冷数据存储中心1从机房9接收预设热数据传送请求,通过冷数据存储中心1的数据调用程序调用数据传送装置7。

步骤12,冷数据存储中心1的分配调度单元2根据预设的热数据在存储数据中进行调用并利用数据传送装置7的通信接口连接光纤3,将所述预设的热数据通过光纤3发送至数据传送装置7。

步骤13,数据传送装置7通过存储调度单元6,利用设置的无线通信接口接入光纤3来接收上述的预设热数据,并将所述预设热数据存储到数据传送装置7的冷存储柜4中。

步骤14,所述预设热数据传输完毕,数据传送装置7将所述预设热数据载至指定机房9。

步骤15,数据传送装置7将通信接口接入光纤3,通过机房9的分配调度单元8,自动将预设热数据发送到机房9的相应的空间位置,所述空间位置由分配调度单元8根据机房9的存储空间分布,已用空间分布和数据特征等进行调度存储。

第二种工作方式的工作过程如下所示:

从图1b可以看出,机房9和数据传送装置7之间通过光纤3连接,光纤3连接到数据传送装置7的通信接口,通过数据传送装置7的通信接口实现数据的传输。机房9的分配调度单元8调度和发送预设冷数据,在分配调度单元8的控制下,通过光纤3和数据传送装置7的通信接口将预设冷数据传输到数据传送装置7。数据传送装置7的存储调度单元6自动识别存储空间信息并将所述预设热数据在数据传送装置7进行存储。在数据传输完成后,数据传送装置7将所述预设冷数据运送至冷数据存储中心1。从图1a可以看出,冷数据存储中心1和数据传送装置7之间通过光纤3连接,光纤3连接到数据传送装置7的通信接口,通过数据传送装置7的通信接口实现数据的传输。在冷数据存储中心1的分配调度单元2的控制下,所述预设冷数据通过数据传送装置7的通信接口和光纤3传输到冷数据存储中心1,并存储到冷数据存储中心1的数据柜中,从而完成机房9向冷数据存储中心1的数据传送。

机房9向冷数据存储中心1传送数据的具体步骤如下所示:

步骤21,冷数据存储中心1从机房9接收发出的预设冷数据入库请求,通过冷数据存储中心1的数据调用程序调用数据传送装置7。

步骤22,机房9的分配调度单元8将预设冷数据根据数据类型、数据量大小自动识别在机房9内存储的预设冷数据自动进行调用,并通过光纤3与数据传送装置7的通信接口进行连接,将所述预设冷数据发送到数据传送装置7。

步骤23,数据传送装置7的存储调度单元6根据所述数据类型和数据量大小自动识别存储空间,并把相应的数据存储到识别的数据空间当中。

步骤24,所述预设的冷数据传输完毕,数据传送装置7将数据载至冷数据存储中心1。

步骤25,数据传送装置7将通信接口接入光纤3,通过冷数据存储中心1的分配调度单元2,自动将接收的数据发送到冷数据存储中心1的相应的空间位置,空间位置由分配调度单元2根据冷数据存储中心1的存储空间分布,已用空间分布和数据特征等进行调度存储。

图2示出了数据传送装置的结构示意图。从图2可以看出,数据传送装置7包括存储调度单元6、冷存储柜4、和轮子5,冷存储柜4的数目根据数据传送装置的空间大小,数据传送的实际需求来设定。在本实施例中数据传送装置7设置4个冷存储柜,分别标识为a号冷存储柜、b号冷存储柜、c号冷存储柜和d号冷存储柜。每个冷存储柜4设置有多个数据存储区,其按照约定的顺序进行排列,以b号冷存储柜为例,b号冷存储柜包括20个数据存储区,这些数据存储区按照从列和行的顺序进行排列,共2行,每行包括2列,每列包括5个数据,因此图2中箭头所指向的b号冷存储柜的数据存储区可以标识为b号冷存储柜的从前到后的第一行,从左至右的第一列和自上至下的第三个存储区。同理,c号冷存储柜采用和b号冷存储柜相同的排列方式来放置数据存储区,c号冷存储柜也包括20个数据存储区,这些数据存储区按照从列和行的顺序进行排列,共2行,每行包括2列,每列包括5个数据,因此图2中箭头所指向的c号冷存储柜的数据存储区可以标识为c号冷存储柜的从前到后的第一行,从左至右的第一列和自上至下的第一个存储区。存储调度单元6设置在a号冷存储柜区域,能够自动识别传送的数据量的内容、大小,同时能够实时监测数据传送装置7中各存储空间的占用情况,在接收数据时,能够实现对存储空间的整体存储的调度。

在第一实施例中,数据传送装置7的存储调度单元6自动识别到从冷数据存储中心1或机房9传输的文件为视频文件,数据的大小为500g,通过自动存储空间调度,监测数据传送装置7中各存储空间的占用情况,发现数据传送装置7的b号冷存储柜的从前到后的第一行,从左至右的第一列和自上至下的第三个存储区有足够的存储空间,能够存储该视频文件,因此存储调度单元6将该视频文件存储该存储空间内。

在第二实施例中,数据传送装置7的存储调度单元6自动识别从冷数据存储中心1或机房9传输的文件为音频文件,数据的大小为100g,通过自动存储空间调度,监测数据传送装置7中各存储空间的占用情况,发现c号存储柜的从前到后的第一行,从左至右的第一列和自上至下的第一个存储区有足够的存储空间,能够存储该视频文件,因此存储调度单元6将该视频文件存储该存储空间内。

图3示出了冷数据存储中心的结构示意图。冷数据存储中心1包括分配调度单元2,分配调度单元2设置在冷数据存储中心1右下角区域,与数据存储区相邻。从图3可以看出,冷数据存储中心1的数据存储区划分为5个区域,每个区域包括多个存储单元,每个存储单元均设定有特定的名称,如一个箭头所指示的紧邻分配调度单元2的存储单元11位于自左到右的第5个区域,标识为a2区,另一个箭头所指示的存储单元12位于自左到右的第2个区域,标识为d3区。分配调度单元2能够自动识别数据所述的状态,即由冷变热和由热变冷,自动识别被调用的数据的内容、数据量的大小,能够自动完成数据的调用发送和接收存储。

在第三个实施例中,冷数据存储中心1的分配调动单元2自动识别数据为需发送的预设热数据,且该预设热数据为视频文件,视频文件大小为600g,存储在d3区,分配调度单元2将d3区的视频文件自动进行调用并发送到数据传送装置7。相反地,冷数据存储中心1的分配调动单元2自动识别数据为需接收的预设冷数据,且该预设冷数据为视频文件,视频文件大小为600g,分配调度单元2从数据传送装置7接收该预设冷数据,并自动选择能够存储该视频文件的存储数据单元为d3区,将该视频文件存储在d3区。

在第四个实施例中,冷数据存储中心1的分配调动单元2自动识别数据为需发送的预设热数据,且该预设热数据为图片文件,图片文件大小为200g,存储在a2区,分配调度单元2将a2区的图片文件自动进行调用并发送到数据传送装置7。相反地,冷数据存储中心1的分配调动单元2自动识别数据为需接收的预设冷数据,且该预设冷数据为图片文件,图片文件大小为200g,分配调度单元2从数据传送装置7接收该预设冷数据,并自动选择能够存储该视频文件的存储数据单元为a2区,将该视频文件存储在a2区。

与冷数据存储中心的结构相似,机房包括分配调度单元,并且分配调度单元具有与冷数据存储中心相同的功能,即能够自动识别数据所述的状态,即由冷变热和由热变冷,自动识别被调用的数据的内容、数据量的大小,能够自动完成数据的调用发送和接收存储。例如,机房的分配调度单元能够自动识别数据的状态属于预设冷数据,数据类型属于图片文件,文件大小,以及存储位置。或者,机房的分配调度单元能够自动识别数据的状态属于预设热数据,数据类型属于视频文件,文件大小,以及存储位置。

本发明的另一个方面还提供了一种电子设备,包括:

存储器以及一个或多个处理器;

其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器能够实现如前所述的方法。

本发明的最后一个发明还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被执行后用以实现如前所述的方法。

综上所述,本发明提供了一种数据传送方法、系统、电子设备及其计算机可读存储介质,所述方法使用数据传送装置将冷数据存储中心的预设热数据传送到机房,或者使用数据传送装置将机房的预设冷数据传送到冷数据存储中心。本发明将冷数据进行异地存储,一方面解决了机房冷数据占用的空间,提高了机房的扩展性;另一方面,当预测数据由冷数据转为热数据时,提前通过传送装置将所述的冷数据输送到机房,使得用户能够实时、高速的访问数据,提高用户体验。

应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1