数据处理方法、装置、电子设备及可读存储介质与流程

文档序号:25040043发布日期:2021-05-14 14:26阅读:56来源:国知局
1.涉及计算机技术,具体涉及数据处理技术,尤其涉及数据处理方法、装置、电子设备及可读存储介质。
背景技术
::2.传统的数据存取方法,采用基于采用随机存取方式的存储设备的数据存储系统,可以提供低延迟、高吞吐的在线存储服务。3.但是,由于采用随机存取方式的存储设备的成本较高,使得采用基于采用随机存取方式的存储设备的数据存储系统,进行数据存储的存储成本较高。技术实现要素:4.本申请的多个方面提供数据处理方法、装置、电子设备及可读存储介质,用以降低数据存储的存储成本。5.本申请的一方面,提供一种数据处理方法,包括:6.接收用户将要存储的数据的存储请求;7.将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备;8.将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备。9.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储系统包括第一分布式存储系统;所述将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,包括:10.将所述数据存储到基于第一存储设备的第一分布式存储系统,生成所述数据的元数据;11.向消息队列发布异步数据存储任务;12.向所述用户确认所述数据存储成功。13.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第二存储系统包括第二分布式存储系统;所述将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,包括:14.从所述消息队列中订阅异步数据存储任务;15.根据所订阅的异步数据存储任务,获取所述数据的元数据,根据所述数据的元数据,从所述第一分布式存储系统中读取所述数据,并将所述数据写入到所述第二分布式存储系统,更新所述数据的元数据;16.对所述第一分布式存储系统中的所述数据,进行删除处理。17.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,还包括:18.将已经完成的异步数据存储任务的任务标识进行存储处理。19.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储设备包括磁盘;所述第二存储设备包括磁带。20.本申请的另一方面,提供另一种数据处理方法,包括:21.接收用户将要取回的数据的取回请求;22.将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备;23.接收所述数据的读取请求;24.从所述第一存储系统中读取所述数据。25.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储系统包括第一分布式存储系统;所述第二存储系统包括第二分布式存储系统;所述将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,包括:26.向消息队列发布异步数据取回任务;27.向所述用户确认所述数据取回受理成功;28.从所述消息队列中订阅异步数据取回任务;29.根据所订阅的异步数据取回任务,获取所述数据的元数据,根据所述数据的元数据,从所述第二分布式存储系统中读取所述数据,并将所述数据写入到所述第一分布式存储系统,更新所述数据的元数据;30.向所述用户确认所述数据取回成功。31.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,还包括:32.将已经完成的异步数据取回任务的任务标识进行存储处理。33.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储设备包括磁盘;所述第二存储设备包括磁带。34.本申请的另一方面,提供一种数据处理装置,包括:35.请求处理单元,用于接收用户将要存储的数据的存储请求;36.缓存控制单元,用于将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备;37.迁移控制单元,用于将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备。38.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储系统包括第一分布式存储系统;所述缓存控制单元,具体用于39.将所述数据存储到基于第一存储设备的第一分布式存储系统,生成所述数据的元数据;40.向消息队列发布异步数据存储任务;以及41.向所述用户确认所述数据存储成功。42.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第二存储系统包括第二分布式存储系统;所述迁移控制单元,具体用于43.从所述消息队列中订阅异步数据存储任务;44.根据所订阅的异步数据存储任务,获取所述数据的元数据,根据所述数据的元数据,从所述第一分布式存储系统中读取所述数据,并将所述数据写入到所述第二分布式存储系统,更新所述数据的元数据;以及45.对所述第一分布式存储系统中的所述数据,进行删除处理。46.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述迁移控制单元,还用于47.将已经完成的异步数据存储任务的任务标识进行存储处理。48.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储设备包括磁盘;所述第二存储设备包括磁带。49.本申请的另一方面,提供另一种数据处理装置,包括:50.请求处理单元,用于接收用户将要取回的数据的取回请求;51.迁移控制单元,用于将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备;52.所述请求处理单元,还用于接收所述数据的读取请求;53.缓存控制单元,用于从所述第一存储系统中读取所述数据。54.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储系统包括第一分布式存储系统;所述第二存储系统包括第二分布式存储系统;所述迁移控制单元,具体用于55.向消息队列发布异步数据取回任务;56.向所述用户确认所述数据取回受理成功;57.从所述消息队列中订阅异步数据取回任务;58.根据所订阅的异步数据取回任务,获取所述数据的元数据,根据所述数据的元数据,从所述第二分布式存储系统中读取所述数据,并将所述数据写入到所述第一分布式存储系统,更新所述数据的元数据;以及59.向所述用户确认所述数据取回成功。60.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述迁移控制单元,还用于61.将已经完成的异步数据取回任务的任务标识进行存储处理。62.如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述第一存储设备包括磁盘;所述第二存储设备包括磁带。63.本发明的另一方面,提供一种电子设备,包括:64.至少一个处理器;以及65.与所述至少一个处理器通信连接的存储器;其中,66.所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。67.本发明的另一方面,提供一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。68.由上述技术方案可知,一方面,本申请实施例通过将用户将要存储的数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备,使得能够将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备,由于先将用户将要存储的数据暂时存储在第一存储系统中,再进一步将第一存储系统中所存储的数据迁移到第二存储系统中,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。69.由上述技术方案可知,另一方面,本申请实施例通过将用户将要取回的数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备,进而,在接收到所述数据的读取请求时,能够立即从所述第一存储系统中读取所述数据,由于先将用户将要读取的数据从第二存储系统中复制到第一存储系统中暂时存储,在用户需要读取该数据时能够立即从第一存储系统中读取,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。70.另外,采用本申请所提供的技术方案,通过将用户预期不会读取的数据归档存储到基于采用顺序存取方式的第二存储设备的第二存储系统中,将计划读取的数据再复制到基于采用随机存取方式的第一存储设备的第一存储系统中,这样,既可以降低数据存储的存储成本,又可以满足数据在线存取的需求。71.另外,采用本申请所提供的技术方案,采用消息队列存储异步任务,能够有效保证任务的顺序,解耦任务的执行。72.另外,采用本申请所提供的技术方案,由于将已经完成的异步数据存储/取回任务的任务标识进行存储处理,使得在系统重启时,能够基于所存储的任务标识,从断点处,重启异步数据存储/取回任务的执行,从而保证了异步数据存储/取回任务不会丢失,能够有效提高数据存取的可靠性。73.另外,采用本申请所提供的技术方案,将基于磁带的存储系统作为永久存储层,能够有效降低数据存储的存储成本。74.另外,采用本申请所提供的技术方案,将基于磁盘的存储系统作为缓冲存储层,能够降低用户存储数据和读取数据的时延。75.上述方面或可能的实现方式所具有的其他效果将在下文中结合具体实施例加以说明。附图说明76.为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。附图仅仅用于更好地理解本方案,不构成对本申请的限定。其中:77.图1a为本申请一实施例提供的一种数据处理方法的流程示意图;、78.图1b为图1a对应的实施例中数据存储处理的流程示意图;79.图2a为本申请一实施例提供的另一种数据处理方法的流程示意图;80.图2b为图2a对应的实施例中数据读取处理的流程示意图81.图3为本申请另一实施例提供的一种数据处理装置的结构示意图;82.图4为本申请另一实施例提供的另一种数据处理装置的结构示意图;83.图5是用来实现本申请实施例提供的数据处理方法的电子设备的示意图。具体实施方式84.以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。85.显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例,都属于本申请保护的范围。86.需要说明的是,本申请实施例中所涉及的终端可以包括但不限于手机、个人数字助理(personaldigitalassistant,pda)、无线手持设备、平板电脑(tabletcomputer)、个人电脑(personalcomputer,pc)、mp3播放器、mp4播放器、可穿戴设备(例如,智能眼镜、智能手表、智能手环等)等。87.另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。88.图1a为本申请一实施例提供的一种数据处理方法的流程示意图,如图1a所示。89.101、接收用户将要存储的数据的存储请求。90.102、将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备。91.103、将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备。92.需要说明的是,101~103的执行主体的部分或全部可以为位于本地终端的应用,或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(softwaredevelopmentkit,sdk)等功能单元,或者还可以为位于网络侧服务器中的处理引擎,或者还可以为位于网络侧的分布式系统,例如,网络侧的数据处理平台中的处理引擎或者分布式系统等,本实施例对此不进行特别限定。93.可以理解的是,所述应用可以是安装在终端上的本地程序(nativeapp),或者还可以是终端上的浏览器的一个网页程序(webapp),本实施例对此不进行限定。94.这样,通过将用户将要存储的数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备,使得能够将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备,由于先将用户将要存储的数据暂时存储在第一存储系统中,再进一步将第一存储系统中所存储的数据迁移到第二存储系统中,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。95.本申请中,所采用的第一存储设备,为采用随机存取方式的存储设备,是指数据被写入或者读取时,其所需要的时间与数据所在的位置无关,例如,磁盘、光盘等。通常,这类存储设备的成本较高,因此,这类存储设备作为存储系统所存储的数据的载体,会导致存储系统的数据存储的存储成本非常高。96.本申请中,所采用的第二存储设备,为采用顺序存取方式的存储设备,是指数据被写入或者读取时,其所需要的时间与数据所在的位置有关系,例如,磁带等。通常,这类存储设备的成本较低,因此,这类存储设备作为存储系统所存储的数据的载体,可以使得存储系统的数据存储的存储成本非常低。97.本申请中,所谓的存储系统,是指计算机中由存放数据的各种存储设备、控制部件及管理信息调度的设备和算法所组成的系统。98.可选地,在本实施例的一个可能的实现方式中,所述第一存储系统以及所述第二存储系统,可以采用传统的存储系统,即采用集中的存储服务器存储所有数据。但是,在这种方式中,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,可能无法满足大规模存储应用的需要。99.可选地,在本实施例的一个可能的实现方式中,所述第一存储系统以及所述第二存储系统,可以采用分布式存储系统,即将数据分散存储在多台独立的存储服务器上。这种方式采用可扩展的系统结构,利用多台存储服务器分担存储负荷,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。100.那么,相应地,所述第一存储系统可以包括但不限于第一分布式存储系统,所述第二存储系统可以包括但不限于第二分布式存储系统,本实施例对此不进行特别限定。101.具体来说,本申请所采用的第一分布式存储系统和第二分布式存储系统,具体可以包括但不限于分布式文件系统和分布式键值(key-value,k-v)系统、分布式表格系统和分布式数据库系统中的至少一项或者两项,本实施例对此不进行特别限定。102.图1b为图1a对应的实施例中数据存储处理的流程示意图,下面将结合图1b对本实施例进行详细说明。103.在一个具体的实现过程中,在102中,具体可以将所述数据存储到基于第一存储设备的第一分布式存储系统,生成所述数据的元数据。然后,则可以向消息队列发布异步数据存储任务,并向所述用户确认所述数据存储成功。104.其中,所述数据的元数据,用于记录数据的状态信息,可以包括数据访问控制所需要的所有数据。在对数据进行访问时,先向元数据服务请求查询该数据的元数据,然后,通过所获得的元数据进行后续的数据读写等i/o操作。105.所述数据的元数据,可以认为是一种电子式目录,用于定位所述数据,是可以向任何具有权限的系统/设备提供共享访问,因此,可以将所述数据的元数据单独进行存储处理,存储在元数据存储系统中,进行统一管理。106.在该实现过程中,具体可以由一个存储系统控制模块实现。其中,107.具体地,在该实施例中,用户在有数据的存储需求时,可以发起该用户将要存储的数据的存储请求,步骤a1。108.在接收到用户发起的用户将要存储的数据的存储请求之后,存储系统控制模块可以将所述数据存储到基于第一存储设备的第一分布式存储系统,生成所述数据的元数据,并将所述数据的元数据存储在元数据存储系统中,步骤a2.1。109.在步骤a2.1的同时,或者之后,存储系统控制模块则可以向消息队列中发送一条异步消息,代表一条异步数据存储任务,步骤a2.2。110.然后,存储系统控制模块向用户返回请求成功,用以向所述用户确认所述数据存储成功,步骤a3。111.此时,只是将数据暂时存储到基于第一存储设备的第一分布式存储系统中,但是,对于用户来说,已经能够确认所述数据已经存储成功,相比将数据直接存储到基于第二存储设备的第二分布式存储系统中的技术方案,能够大大降低数据存储的时延。112.在另一个具体的实现过程中,在103中,具体可以从所述消息队列中订阅异步数据存储任务。然后,则可以根据所订阅的异步数据存储任务,获取所述数据的元数据,进而,则可以根据所述数据的元数据,从所述第一分布式存储系统中读取所述数据,并将所述数据写入到所述第二分布式存储系统,更新所述数据的元数据。最后,对所述第一分布式存储系统中的所述数据,进行删除处理。113.进一步地,在103之后,还可以进一步将已经完成的异步数据存储任务的任务标识进行存储处理,例如,存储到数据库中。114.这样,由于将已经完成的异步数据存储任务的任务标识进行存储处理,使得在系统重启时,能够基于所存储的任务标识,从断点处,重启异步数据存储任务的执行,从而保证了异步数据存储任务不会丢失,能够有效提高数据存储的可靠性。115.在该实现过程中,具体可以由两个不同的模块共同实现,一个模块为异步迁移控制模块(以下简称master),另一个模块为异步迁移工作模块(以下简称worker)。其中,116.master具体可以从所述消息队列中订阅异步数据存储任务,并将所订阅的异步数据存储任务存储在内存中,步骤a4。117.worker具体可以访问master,获取对应的异步数据存储任务,步骤a5。118.worker获取异步数据存储任务之后,具体可以根据所获取的异步数据存储任务中数据的标识信息如名称,获得所述数据的元数据。进而,worker则可以根据所述数据的元数据,从所述第一分布式存储系统中读取所述数据,并将所述数据写入到所述第二分布式存储系统,完成从第一分布式存储系统到第二分布式存储系统的迁移。然后,worker则可以更新所述数据的元数据,例如,记录所述数据在第二分布式存储系统中的存储路径等。最后,worker则可以对所述第一分布式存储系统中的所述数据,进行删除处理,使得第一存储设备的存储空间得以释放,步骤a6。119.worker完成数据从第一分布式存储系统到第二分布式存储系统的迁移之后,还可以再次访问master,用以通知此异步数据存储任务已经完成,步骤a7。120.master在确认该异步数据存储任务已经完成之后,则可以从内存中删除该异步数据存储任务,并将当前已经完成的异步数据存储任务的任务标识如任务序号等,存储到数据库中,以作为重启异步数据存储任务的执行的依据,步骤a8。121.至此,将数据存储到基于第二存储设备的第二分布式存储系统中,进行永久性存储,才算真正完成了数据的存储操作,其永久性存储的存储设备的设备成本较低,从而能够达到降低数据存储的存储成本的目的。而仍然还采用基于第一存储设备的第一分布式存储系统对数据进行暂时存储的目的在于,基于第一存储设备的第一分布式存储系统能够向用户提供低延迟、高吞吐的在线存取服务,从而保证了在线存取的实时需求。122.本实施例中,通过将用户将要存储的数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备,使得能够将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备,由于先将用户将要存储的数据暂时存储在第一存储系统中,再进一步将第一存储系统中所存储的数据迁移到第二存储系统中,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。123.另外,采用本申请所提供的技术方案,采用消息队列存储异步任务,能够有效保证任务的顺序,解耦任务的执行。124.另外,采用本申请所提供的技术方案,将基于磁带的存储系统作为永久存储层,能够有效降低数据存储的存储成本。125.另外,采用本申请所提供的技术方案,将基于磁盘的存储系统作为缓冲存储层,能够降低用户存储数据和读取数据的时延。126.图2a为本申请另一实施例提供的另一种数据处理方法的流程示意图,如图2a所示。127.201、接收用户将要取回的数据的取回请求。128.202、将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备;129.203、接收所述数据的读取请求;130.204、从所述第一存储系统中读取所述数据。131.需要说明的是,201~204的执行主体的部分或全部可以为位于本地终端的应用,或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(softwaredevelopmentkit,sdk)等功能单元,或者还可以为位于网络侧服务器中的处理引擎,或者还可以为位于网络侧的分布式系统,例如,网络侧的数据处理平台中的处理引擎或者分布式系统等,本实施例对此不进行特别限定。132.可以理解的是,所述应用可以是安装在终端上的本地程序(nativeapp),或者还可以是终端上的浏览器的一个网页程序(webapp),本实施例对此不进行限定。133.这样,通过将用户将要取回的数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备,进而,在接收到所述数据的读取请求时,能够立即从所述第一存储系统中读取所述数据,由于先将用户将要读取的数据从第二存储系统中复制到第一存储系统中暂时存储,在用户需要读取该数据时能够立即从第一存储系统中读取,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。134.本申请中,所采用的第一存储设备,为采用随机存取方式的存储设备,是指数据被写入或者读取时,其所需要的时间与数据所在的位置无关,例如,磁盘、光盘等。通常,这类存储设备的成本较高,因此,这类存储设备作为存储系统所存储的数据的载体,会导致存储系统的数据存储的存储成本非常高。135.本申请中,所采用的第二存储设备,为采用顺序存取方式的存储设备,是指数据被写入或者读取时,其所需要的时间与数据所在的位置有关系,例如,磁带等。通常,这类存储设备的成本较低,因此,这类存储设备作为存储系统所存储的数据的载体,可以使得存储系统的数据存储的存储成本非常低。136.本申请中,所谓的存储系统,是指计算机中由存放数据的各种存储设备、控制部件及管理信息调度的设备和算法所组成的系统。137.可选地,在本实施例的一个可能的实现方式中,所述第一存储系统以及所述第二存储系统,可以采用传统的存储系统,即采用集中的存储服务器存储所有数据。但是,在这种方式中,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,可能无法满足大规模存储应用的需要。138.可选地,在本实施例的一个可能的实现方式中,所述第一存储系统以及所述第二存储系统,可以采用分布式存储系统,即将数据分散存储在多台独立的存储服务器上。这种方式采用可扩展的系统结构,利用多台存储服务器分担存储负荷,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。139.那么,相应地,所述第一存储系统可以包括但不限于第一分布式存储系统,所述第二存储系统可以包括但不限于第二分布式存储系统,本实施例对此不进行特别限定。140.具体来说,本申请所采用的第一分布式存储系统和第二分布式存储系统,具体可以包括但不限于分布式文件系统和分布式键值(key-value,k-v)系统、分布式表格系统和分布式数据库系统中的至少一项或者两项,本实施例对此不进行特别限定。141.图2b为图2a对应的实施例中数据读取处理的流程示意图,下面将结合图2b对本实施例进行详细说明。142.在一个具体的实现过程中,在202中,具体可以向消息队列发布异步数据取回任务,并向所述用户确认所述数据取回受理成功。接着,可以从所述消息队列中订阅异步数据取回任务。然后,则可以根据所订阅的异步数据取回任务,获取所述数据的元数据,进而,则可以根据所述数据的元数据,从所述第二分布式存储系统中读取所述数据,并将所述数据写入到所述第一分布式存储系统,更新所述数据的元数据。最后,向所述用户确认所述数据取回成功。143.在该实现过程中,具体可以由一个存储系统控制模块实现。其中,144.具体地,在该实施例中,用户在有数据的读取需求时,可以发起该用户将要读取的数据的取回请求,步骤b1。145.在接收到用户发起的用户将要读取的数据的取回请求之后,存储系统控制模块可以向消息队列中发送一条异步消息,代表一条异步数据取回任务,步骤b2。146.然后,存储系统控制模块向所述用户返回请求受理成功,用以向所述用户确认所述数据取回受理成功,步骤b3。147.在向所述用户确认所述数据取回受理成功之后,则可以继续完成异步数据取回任务,并向所述用户确认所述数据取回成功。148.进一步地,在202之后,还可以进一步将已经完成的异步数据取回任务的任务标识进行存储处理,例如,存储到数据库中。149.这样,由于将已经完成的异步数据取回任务的任务标识进行存储处理,使得在系统重启时,能够基于所存储的任务标识,从断点处,重启异步数据取回任务的执行,从而保证了异步数据取回任务不会丢失,能够有效提高数据读取的可靠性。150.在该实现过程中,具体可以由两个不同的模块共同实现,一个模块为异步迁移控制模块(以下简称master),另一个模块为异步迁移工作模块(以下简称worker)。其中,151.master具体可以从所述消息队列中订阅异步数据取回任务,并将所订阅的异步数据取回任务存储在内存中,步骤b4。152.worker具体可以访问master,获取对应的异步数据取回任务,步骤b5。153.worker获取异步数据取回任务之后,具体可以根据所获取的异步数据取回任务中数据的标识信息如名称,获得所述数据的元数据。进而,worker则可以根据所述数据的元数据,从所述第二分布式存储系统中读取所述数据,并将所述数据写入到所述第一分布式存储系统,完成从第一分布式存储系统到第二分布式存储系统的取回。然后,worker则可以更新所述数据的元数据,例如,记录所述数据在第一分布式存储系统中的存储路径等,步骤b6。154.worker完成数据从第二分布式存储系统到第一分布式存储系统的取回之后,还可以再次访问master,用以通知此异步数据取回任务已经完成,步骤b7。155.master在确认该步数据取回任务已经完成之后,则可以从内存中删除该异步数据取回任务,并将当前已经完成的异步数据取回任务的任务标识如任务序号等,存储到数据库中,以作为重启异步数据取回任务的执行的依据,步骤b8。156.接着,master则可以向用户返回请求成功,用以向所述用户确认所述数据取回成功,步骤b9。157.此时,只是将数据暂时拷贝到基于第一存储设备的第一分布式存储系统中,但对于用户来说,已经能够确认所述数据随时可以立即读取,相比直接从基于第二存储设备的第二分布式存储系统中读取数据的技术方案,能够大大降低数据读取的时延。158.用户在确认所述数据取回成功之后,则可以随时读取该数据。用户具体可以发起该用户将要读取的数据的读取请求,步骤b10。159.在接收到用户发起的用户将要读取的数据的读取请求之后,存储系统控制模块可以从所述第一存储系统中读取所述数据,步骤b11。160.在用户读取数据之后,worker则可以对所述第一分布式存储系统中的所述数据,进行删除处理,使得第一存储设备的存储空间得以释放。161.至此,能够从基于第一存储设备的第一分布式存储系统中实时读取到所暂时存储的数据,由于这些数据只是暂时存储在基于第一存储设备的第一分布式存储系统中,其实际上是永久存储在基于第二存储设备的第二分布式存储系统中,其永久性存储的存储设备的设备成本较低,从而能够达到降低数据存储的存储成本的目的。而仍然还采用基于第一存储设备的第一分布式存储系统对数据进行暂时存储的目的在于,基于第一存储设备的第一分布式存储系统能够向用户提供低延迟、高吞吐的在线存取服务,从而保证了在线存取的实时需求。162.本实施例中,通过将用户将要取回的数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备,进而,在接收到所述数据的读取请求时,能够立即从所述第一存储系统中读取所述数据,由于先将用户将要读取的数据从第二存储系统中复制到第一存储系统中暂时存储,在用户需要读取该数据时能够立即从第一存储系统中读取,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。163.另外,采用本申请所提供的技术方案,通过将用户预期不会读取的数据归档存储到基于采用顺序存取方式的第二存储设备的第二存储系统中,将计划读取的数据再复制到基于采用随机存取方式的第一存储设备的第一存储系统中,这样,既可以降低数据存储的存储成本,又可以满足数据在线存取的需求。164.另外,采用本申请所提供的技术方案,采用消息队列存储异步任务,能够有效保证任务的顺序,解耦任务的执行。165.另外,采用本申请所提供的技术方案,由于将已经完成的异步数据存储/取回任务的任务标识进行存储处理,使得在系统重启时,能够基于所存储的任务标识,从断点处,重启异步数据存储/取回任务的执行,从而保证了异步数据存储/取回任务不会丢失,能够有效提高数据存取的可靠性。166.另外,采用本申请所提供的技术方案,将基于磁带的存储系统作为永久存储层,能够有效降低数据存储的存储成本。167.另外,采用本申请所提供的技术方案,将基于磁盘的存储系统作为缓冲存储层,能够降低用户存储数据和读取数据的时延。168.本申请所提供的数据处理方法,可以分别适用于数据的存储和读取过程,主要具有以下有益效果:169.1、将基于采用顺序存取方式的存储设备的存储系统作为永久存储层,能够有效降低数据存储的存储成本;170.2、将基于采用随机存取方式的存储设备的存储系统作为缓冲存储层,能够降低用户存储数据和读取数据的时延;171.3、采用消息队列存储异步任务,能够有效保证任务的顺序,解耦任务的执行。172.4、将完成的异步数据存储/取回任务的任务标识进行存储处理,使得在系统重启时,能够基于所存储的任务标识,从断点处,重启异步数据存储/取回任务的执行,从而保证了异步数据存储/取回任务不会丢失,能够有效提高数据存取的可靠性。173.本申请中,通过将用户预期不会读取的数据归档存储到基于采用顺序存取方式的第二存储设备的第二存储系统中,将计划读取的数据再复制到基于采用随机存取方式的第一存储设备的第一存储系统中,这样,既可以降低数据存储的存储成本,又可以满足数据在线存取的需求。174.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。175.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。176.图3为本申请另一实施例提供的一种数据处理装置的结构示意图,如图3所示。本实施例的数据处理装置300可以包括请求处理单元301、缓存控制单元302和迁移控制单元303。其中,请求处理单元301,用于接收用户将要存储的数据的存储请求;缓存控制单元302,用于将所述数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备;迁移控制单元303,用于将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备。177.需要说明的是,本实施例所提供的数据处理装置的执行主体的部分或全部可以为位于本地终端的应用,或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(softwaredevelopmentkit,sdk)等功能单元,或者还可以为位于网络侧服务器中的处理引擎,或者还可以为位于网络侧的分布式系统,例如,网络侧的数据处理平台中的处理引擎或者分布式系统等,本实施例对此不进行特别限定。178.可以理解的是,所述应用可以是安装在终端上的本地程序(nativeapp),或者还可以是终端上的浏览器的一个网页程序(webapp),本实施例对此不进行限定。179.本申请中,所采用的第一存储设备,为采用随机存取方式的存储设备,是指数据被写入或者读取时,其所需要的时间与数据所在的位置无关,例如,磁盘、光盘等。通常,这类存储设备的成本较高,因此,这类存储设备作为存储系统所存储的数据的载体,会导致存储系统的数据存储的存储成本非常高。180.本申请中,所采用的第二存储设备,为采用顺序存取方式的存储设备,是指数据被写入或者读取时,其所需要的时间与数据所在的位置有关系,例如,磁带等。通常,这类存储设备的成本较低,因此,这类存储设备作为存储系统所存储的数据的载体,可以使得存储系统的数据存储的存储成本非常低。181.本申请中,所谓的存储系统,是指计算机中由存放数据的各种存储设备、控制部件及管理信息调度的设备和算法所组成的系统。182.可选地,在本实施例的一个可能的实现方式中,所述第一存储系统以及所述第二存储系统,可以采用传统的存储系统,即采用集中的存储服务器存储所有数据。但是,在这种方式中,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,可能无法满足大规模存储应用的需要。183.可选地,在本实施例的一个可能的实现方式中,所述第一存储系统以及所述第二存储系统,可以采用分布式存储系统,即将数据分散存储在多台独立的存储服务器上。这种方式采用可扩展的系统结构,利用多台存储服务器分担存储负荷,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。184.那么,相应地,所述第一存储系统可以包括但不限于第一分布式存储系统,所述第二存储系统可以包括但不限于第二分布式存储系统,本实施例对此不进行特别限定。185.具体来说,本申请所采用的第一分布式存储系统和第二分布式存储系统,具体可以包括但不限于分布式文件系统和分布式键值(key-value,k-v)系统、分布式表格系统和分布式数据库系统中的至少一项或者两项,本实施例对此不进行特别限定。186.在一个具体的实现过程中,所述缓存控制单元302,具体可以用于将所述数据存储到基于第一存储设备的第一分布式存储系统,生成所述数据的元数据;向消息队列发布异步数据存储任务;以及向所述用户确认所述数据存储成功。187.在另一个具体的实现过程中,所述迁移控制单元303,具体可以用于从所述消息队列中订阅异步数据存储任务;根据所订阅的异步数据存储任务,获取所述数据的元数据,根据所述数据的元数据,从所述第一分布式存储系统中读取所述数据,并将所述数据写入到所述第二分布式存储系统,更新所述数据的元数据;以及对所述第一分布式存储系统中的所述数据,进行删除处理。188.进一步地,所述迁移控制单元303,还可以进一步用于将已经完成的异步数据存储任务的任务标识进行存储处理。189.需要说明的是,图1a对应的实施例中的方法可以由本实施例提供的数据处理装置实现。详细描述可以参见图1a对应的实施例中的相关内容,此处不再赘述。190.本实施例中,通过缓存控制单元将用户将要存储的数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备,使得迁移控制单元能够将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备,由于先将用户将要存储的数据暂时存储在第一存储系统中,再进一步将第一存储系统中所存储的数据迁移到第二存储系统中,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。191.另外,采用本申请所提供的技术方案,采用消息队列存储异步任务,能够有效保证任务的顺序,解耦任务的执行。192.另外,采用本申请所提供的技术方案,将基于磁带的存储系统作为永久存储层,能够有效降低数据存储的存储成本。193.另外,采用本申请所提供的技术方案,将基于磁盘的存储系统作为缓冲存储层,能够降低用户存储数据和读取数据的时延。194.图4为本申请另一实施例提供的另一种数据处理装置的结构示意图,如图4所示。本实施例的数据处理装置400可以包括请求处理单元401、迁移控制单元402和缓存控制单元403。其中,请求处理单元401,用于接收用户将要取回的数据的取回请求;迁移控制单元402,用于将所述数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备;所述请求处理单元401,还用于接收所述数据的读取请求;缓存控制单元403,用于从所述第一存储系统中读取所述数据。195.需要说明的是,本实施例所提供的数据处理装置的执行主体的部分或全部可以为位于本地终端的应用,或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(softwaredevelopmentkit,sdk)等功能单元,或者还可以为位于网络侧服务器中的处理引擎,或者还可以为位于网络侧的分布式系统,例如,网络侧的数据处理平台中的处理引擎或者分布式系统等,本实施例对此不进行特别限定。196.可以理解的是,所述应用可以是安装在终端上的本地程序(nativeapp),或者还可以是终端上的浏览器的一个网页程序(webapp),本实施例对此不进行限定。197.本申请中,所采用的第一存储设备,为采用随机存取方式的存储设备,是指数据被写入或者读取时,其所需要的时间与数据所在的位置无关,例如,磁盘、光盘等。通常,这类存储设备的成本较高,因此,这类存储设备作为存储系统所存储的数据的载体,会导致存储系统的数据存储的存储成本非常高。198.本申请中,所采用的第二存储设备,为采用顺序存取方式的存储设备,是指数据被写入或者读取时,其所需要的时间与数据所在的位置有关系,例如,磁带等。通常,这类存储设备的成本较低,因此,这类存储设备作为存储系统所存储的数据的载体,可以使得存储系统的数据存储的存储成本非常低。199.本申请中,所谓的存储系统,是指计算机中由存放数据的各种存储设备、控制部件及管理信息调度的设备和算法所组成的系统。200.可选地,在本实施例的一个可能的实现方式中,所述第一存储系统以及所述第二存储系统,可以采用传统的存储系统,即采用集中的存储服务器存储所有数据。但是,在这种方式中,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,可能无法满足大规模存储应用的需要。201.可选地,在本实施例的一个可能的实现方式中,所述第一存储系统以及所述第二存储系统,可以采用分布式存储系统,即将数据分散存储在多台独立的存储服务器上。这种方式采用可扩展的系统结构,利用多台存储服务器分担存储负荷,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。202.那么,相应地,所述第一存储系统可以包括但不限于第一分布式存储系统,所述第二存储系统可以包括但不限于第二分布式存储系统,本实施例对此不进行特别限定。203.具体来说,本申请所采用的第一分布式存储系统和第二分布式存储系统,具体可以包括但不限于分布式文件系统和分布式键值(key-value,k-v)系统、分布式表格系统和分布式数据库系统中的至少一项或者两项,本实施例对此不进行特别限定。204.在一个具体的实现过程中,所述迁移控制单元402,具体可以用于向消息队列发布异步数据取回任务;向所述用户确认所述数据取回受理成功;从所述消息队列中订阅异步数据取回任务;根据所订阅的异步数据取回任务,获取所述数据的元数据,根据所述数据的元数据,从所述第二分布式存储系统中读取所述数据,并将所述数据写入到所述第一分布式存储系统,更新所述数据的元数据;以及向所述用户确认所述数据取回成功。205.进一步地,所述迁移控制单元402,还可以进一步用于将已经完成的异步数据取回任务的任务标识进行存储处理。206.需要说明的是,图2a对应的实施例中的方法可以由本实施例提供的数据处理装置实现。详细描述可以参见图2a对应的实施例中的相关内容,此处不再赘述。207.本实施例中,通过迁移控制单元将用户将要取回的数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备,进而,在请求处理单元接收到所述数据的读取请求时,缓存控制单元能够立即从所述第一存储系统中读取所述数据,由于先将用户将要读取的数据从第二存储系统中复制到第一存储系统中暂时存储,在用户需要读取该数据时能够立即从第一存储系统中读取,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。208.另外,采用本申请所提供的技术方案,通过将用户预期不会读取的数据归档存储到基于采用顺序存取方式的第二存储设备的第二存储系统中,将计划读取的数据再复制到基于采用随机存取方式的第一存储设备的第一存储系统中,这样,既可以降低数据存储的存储成本,又可以满足数据在线存取的需求。209.另外,采用本申请所提供的技术方案,采用消息队列存储异步任务,能够有效保证任务的顺序,解耦任务的执行。210.另外,采用本申请所提供的技术方案,由于将已经完成的异步数据存储/取回任务的任务标识进行存储处理,使得在系统重启时,能够基于所存储的任务标识,从断点处,重启异步数据存储/取回任务的执行,从而保证了异步数据存储/取回任务不会丢失,能够有效提高数据存取的可靠性。211.另外,采用本申请所提供的技术方案,将基于磁带的存储系统作为永久存储层,能够有效降低数据存储的存储成本。212.另外,采用本申请所提供的技术方案,将基于磁盘的存储系统作为缓冲存储层,能够降低用户存储数据和读取数据的时延。213.根据本申请的实施例,本申请还提供了一种电子设备和一种存储有计算机指令的非瞬时计算机可读存储介质。214.如图5所示,是用来实现本申请实施例提供的数据处理方法的电子设备的示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。215.如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面(gui)的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。216.存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的数据处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的数据处理方法。217.存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及单元,如本申请实施例中的数据处理方法对应的程序指令/单元(例如,附图3所示的请求处理单元301、缓存控制单元302和迁移控制单元303,或者,再例如,附图4所示的请求处理单元401、迁移控制单元402和缓存控制单元403)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及单元,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据处理方法。218.存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据实现本申请实施例提供的数据处理方法的电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至实现本申请实施例提供的数据处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。219.数据处理方法的电子设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。220.输入装置503可接收输入的数字或字符信息,以及产生与实现本申请实施例提供的数据处理方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如,led)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。221.此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用专用集成电路(asic)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。222.这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(pld)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。223.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,阴极射线管(crt)或者液晶显示器(lcd)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。224.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。225.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。226.根据本申请实施例的技术方案,一方面,本申请实施例通过将用户将要存储的数据存储到基于第一存储设备的第一存储系统,向所述用户确认所述数据存储成功,所述第一存储设备为采用随机存取方式的存储设备,使得能够将所述数据从所述第一存储系统迁移到基于第二存储设备的第二存储系统,所述第二存储设备为采用顺序存取方式的存储设备,由于先将用户将要存储的数据暂时存储在第一存储系统中,再进一步将第一存储系统中所存储的数据迁移到第二存储系统中,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。227.根据本申请实施例的技术方案,另一方面,本申请实施例通过将用户将要取回的数据从基于第二存储设备的第二存储系统复制到基于第一存储设备的第一存储系统,向所述用户确认所述数据取回成功,所述第一存储设备为采用随机存取方式的存储设备,所述第二存储设备为采用顺序存取方式的存储设备,进而,在接收到所述数据的读取请求时,能够立即从所述第一存储系统中读取所述数据,由于先将用户将要读取的数据从第二存储系统中复制到第一存储系统中暂时存储,在用户需要读取该数据时能够立即从第一存储系统中读取,使得第一存储设备的存储空间得以释放,从而可以利用只具备有限存储能力的第一存储设备反复存储更多的数据,无需额外扩充其存储能力,由于作为永久存储数据的采用顺序存取方式的第二存储设备,其设备成本较低,从而降低了数据存储的存储成本。228.另外,采用本申请所提供的技术方案,通过将用户预期不会读取的数据归档存储到基于采用顺序存取方式的第二存储设备的第二存储系统中,将计划读取的数据再复制到基于采用随机存取方式的第一存储设备的第一存储系统中,这样,既可以降低数据存储的存储成本,又可以满足数据在线存取的需求。229.另外,采用本申请所提供的技术方案,采用消息队列存储异步任务,能够有效保证任务的顺序,解耦任务的执行。230.另外,采用本申请所提供的技术方案,由于将已经完成的异步数据存储/取回任务的任务标识进行存储处理,使得在系统重启时,能够基于所存储的任务标识,从断点处,重启异步数据存储/取回任务的执行,从而保证了异步数据存储/取回任务不会丢失,能够有效提高数据存取的可靠性。231.另外,采用本申请所提供的技术方案,将基于磁带的存储系统作为永久存储层,能够有效降低数据存储的存储成本。232.另外,采用本申请所提供的技术方案,将基于磁盘的存储系统作为缓冲存储层,能够降低用户存储数据和读取数据的时延。233.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。234.上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。当前第1页1 2 3 当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1