专利名称：移动云存储系统及移动云存储实现方法
技术领域：
本发明涉及云计算技术领域，尤其涉及一种移动云存储系统及移动云存储实现方法。
背景技术：
云计算的核心思想是，将大量用网络连接的计算资源统一管理和调度，构成一个计算资源池向用户按需服务，提供资源的网络被称为“云”，“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。云计算的原理是，通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。但是，云计算本身体系结构的研究还是面临诸多技术挑战，存在着众多亟待解决 的技术难关1)传统的云计算需要建立规模庞大的数据中心，需要过多的依赖地点和能源，这使得建造数据中心的成本一般都很昂贵；2)云计算需要为用户提供便捷的接入服务，但是因为现有无线技术的覆盖和带宽问题，这些都成为阻碍云计算服务的重要因素。在很多情况下，比如说地下矿井，野外无移动网络覆盖等情景下，没有网络连接但是本专利依然需要存储或者交换大量数据。例如，本专利在实际应用中发现收集布置在野外大量无线传感数据的时候，或者在使用大量医疗感知数据的时候。
发明内容
本发明要解决的技术问题是提供一种移动云存储系统及移动云存储实现方法，以一种新型的“移动云存储”技术来快速方便的为用户提供云服务。本发明解决其技术问题所采用的技术方案是一种移动云存储系统，包括具有内部存储介质的云计算终端，该系统还包括外挂于所述云计算终端的外接存储器，该外接存储器与云计算终端的内部存储介质构成多级异构存储介质；所述云计算终端的内部存储介质中存储有分布式文件；所述云计算终端根据该分布式文件对多级异构存储介质中存储的数据建立快速索引，并基于该分布式文件控制多级异构存储介质对数据进行分级存储。所述云计算终端,基于所述分布式文件,采用Mapreduce的计算模型对外接存储器的读写进行管理。所述外接存储器是指基于闪存的存储介质，包括SSD或SATA。所述云计算终端的内部存储介质包括ROM或SD。所述外接存储器通过USB协议与所述云计算终端通信。一种移动云存储实现方法，包括以下步骤在具有内部存储介质的云计算终端外部连接外接存储器，该外接存储器与云计算终端的内部存储介质构成多级异构存储介质；在所述云计算终端的内部存储介质存储分布式文件；所述云计算终端根据该分布式文件对多级异构存储介质中存储的数据建立快速索引，并基于该分布式文件控制多级异构存储介质对数据进行分级存储。还包括所述云计算终端基于所述分布式文件，采用Mapreduce的计算模型对外接存储器的读写进行管理。所述外接存储器是指基于闪存的存储介质，包括SSD或SATA。所述云计算终端的内部存储介质包括ROM或SD。所述外接存储器通过USB协议与所述云计算终端通信。本发明的有益效果是可见，本发明提供的技术方案通过云计算终端以及外接存储器实现云存储，实现方便，且价格便宜，而且由于云计算终端和外接存储器的小巧便携性，适合野外等不同场合。另外，本发明方案至少还具有以下技术优势(I)通过云计算终端对内部的存储介质以及外接存储器进行统一控制和管理，有 效地组织管理移动设备的硬件和软件资源，并且对“移动云存储”的用户提供虚拟的使用环境;(2)通过云计算终端的外接存储器和自身内部的存储介质构成多级异构存储介质，对移动设备原有的有限存储资源进行了扩展；(3)考虑到基于FLASH存储介质的非对称读写特性，读快、写慢、擦除更慢的特点，为了提高建立在多级异构存储介质上的数据的计算模型的性能，云计算终端基于所述分布式文件，采用Mapreduce的计算模型对外接存储器的读写进行管理，优化了整个系统的存储性能。
图I为云计算系统功能框图；图2为本发明云计算系统中数据优化示意图；图3为本发明移动云存储系统的理论示意图；图4为本发明移动云存储系统的结构示意图；图5为本发明移动云存储实现方法的流程图。
具体实施例方式现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。参见图1，为云计算系统功能框图。云计算系统分为四个层次，分别为前端接入层101、无线通信层102、应用服务层103、后台计算资源分配层104。前端接入层有多种实现形式，需要满足面向办公自动化应用的无线宽带应用终端，同时也要兼容其他移动办公设备，如手机、掌上电脑、笔记本电脑、车载电脑等。本发明重点介绍前端接入层101中的云计算终端(具有云计算功能的终端，或简称云终端、云设备)。移动云计算(Mobile Cloud Computing)的目标正是为了提供一种新型的云计算平台。但是，目前国际上对于移动云计算的理解依然存在分歧。有一种观点认为可以直接利用移动设备，比如说智能手机或者笔记本电脑，快速方便的构建云平台，为用户提供相应的云服务；另外一种观点认为，仅仅使用移动设备来帮助用户接入传统的云计算平台，比如说Amazon Elastic Compute Cloud (EC2),或者将移动应用所需要的处理和存储能力放在传统的云计算平台上。本专利考虑到在很多情况下，用户无法接入到因特网上并且用户之间也无法直接使用有线连接来相互通信，但是却急需使用计算存储资源来完成计算，所以构建移动云存储平台是一件迫切需要解决的问题。基于上述的观察，移动云计算中的第一种观点是比较实用的构建新型云计算平台的思路，利用便于携带和无线通讯的移动设备，比如说智能手机，快速构建“移动云存储”成为一项非常具有前景的研究方向。现在的智能手机一般都会配备多种传感器，拥有一颗G赫兹级别的CPU和高带宽的无线通信设备，已经具备了实现“移动云存储”的物理条件。“移动云存储”设备可以充当移动网络中基站的角色，用户可以通过“移动云存储”接入到Internet从而实现移动互联网的功能。在移动云计算这个研究方向下，本发明主要问题是如何设计“移动云存储”的基本结构，以及为云服务提供的数据存储和访问的计算模型。
移动设备的存储能力在迅速提高,随着SD卡(Secure Digital Card)的普及，以及未来可能采用基于FLASH的固态硬盘(Solid State Disk，SSD)存储介质，移动设备上存储空间可能提高到TB级。但是这个量级和传统的诸如EC2等云平台相比，依然是相对较小的。因此，本专利主要关注如何有效的利用移动云计算平台上的有限存储来存储尽可能多的数据，同时还要支持基于数据模型之上的计算。本专利的存储优化从两个方面进行，多级异构存储介质优化和非对称读写特性存储优化，如图2所示。本专利考虑使用多级异构存储介质，本专利将对前期调研的移动设备上可以使用的存储介质并进行分类。智能手机上目前常见可以用来存储数据的介质有ROM (Read-Only Memory)和SD，本专利拟采用SSD或者SATA作为外接存储并使用USB3. 0与移动设备相连，这样可以将“移动云存储”的存储量级提升到TB级。如何将数据存储在多级异构存储介质上，并且易于访问，这是本专利在这种优化方式下需要考虑的问题；另一方面，本专利考虑到SSD具有非对称读写特性，即具有较快的读取速度(25ms/page),但是写的速度(200ms/page)和传统硬盘介质相距不大,擦除的速度(1500ms/block)又比写的速度慢了一个量级,SSD介质不允许覆盖(overwrite),本专利需要考虑结合这些特性，提高建立在多级异构存储介质上的数据的计算模型的性能。本专利采用MapReduce这种建立在分布式文件系统的计算模型,利用Map (映射)和Reduce (化简)两种操作对读写要求不一样来优化数据的存储服务。(I) “移动云存储”的基础构架作为一种新型的云计算平台，“移动云存储”代表了移动云计算的未来发展方向。“移动云存储”的核心思想是，移动设备不只是云计算的延伸，更重要的是一种构建在移动设备上的小型数据中心，弥补了现有的数据中心部署成本高昂，覆盖有限的问题。“移动云存储”中所有构成构件都是研究的对象，这些构件包括移动设备本身和它们之间的互联方式。在互联方式中，无线通信中的频段和信道都可以作为构成“移动云存储”的一部分。本专利研究的基础构架应该具备健壮性和可扩展性。本专利拟提出的“移动云存储”基础构架是建立在智能手机上以P2P和AP混合模式相连，这种结构具备良好的可扩展性；同时更为重要的是，本专利拟提出一种“移动云存储”管理平台，在该管理平台上，所有的计算资源和存储资源都成为管理对象，本专利为使用者提供相对应的虚拟化技术，支持现有的智能手机操作系统，同时尽可能的支持现有的PC机操作系统。
(2) “移动云存储”的数据分级存储模型和优化本专利首先研究“移动云存储”中数据分级存储的结构，研究在多级异构存储介质上如何有效利用空间来组织数据，本专利同时会分析现有分布式文件系统的特点，针对ROM- > SD- > SSD这种结构进行优化。本专利拟采用Hadoop提供的分布式文件系统，对文件或者数据建立快速索引，这些索引存放在ROM或者SD卡中，以提高数据访问的速度，有效利用分级存储结构。不同结点共享这些索引数据，提高数据的使用效率。其次，考虑到基于FLASH存储介质的非对称读写特性，读快、写慢、擦除更慢的特点来提高建立在多级异构存储介质上的数据的计算模型的性能。本课题拟采用MapReduce这种建立在分布式文件系统的计算模型，利用Map和Reduce两种操作对读写要求不一样来优化数据的存储服务。参见图3，为本发明移动云存储系统的理论示意图。本专利整体的技术路线主要分为三个层次，分别从基础构架，理论架构和评估验证架构三个方面进行。其中，基础架构主要包括微型云模块和计算存储资源管理模块；理论架构主要包括数据存储优化模块和数据访问优化模块，分别关注多级异构和读写非对称的问题，以及无线广播和合作缓存的问题；评估验证架构主要包括数学分析模块，关注网络仿真和平台验证的问题。 参见图4，为本发明移动云存储系统的结构示意图；该系统包括云计算终端401，该云计算终端401又包括至少一个内部存储介质4011，特别地该系统还包括外挂于所述云计算终端401的外接存储器402，该外接存储器402与内部存储介质4011构成多级异构存储介质；内部存储介质4011中存储有分布式文件；云计算终端401根据该分布式文件对多级异构存储介质中存储的数据建立快速索引，并基于该分布式文件控制多级异构存储介质对数据进行分级存储。其中，外接存储器402是指基于闪存的存储介质，优选地，外接存储器是指SSD或SATA。外接存储器402通过USB协议与云计算终端401通信，例如USB3. O。另外，内部存储介质4011包括ROM和SD等。考虑到基于FLASH存储介质的非对称读写特性，读快、写慢、擦除更慢的特点，为了提高建立在多级异构存储介质上的数据的计算模型的性能，云计算终端301可进一步基于所述分布式文件，采用Mapreduce的计算模型对外接存储器的读写进行管理。参见图5，为本发明移动云存储实现方法的流程图，该方法包括以下步骤S501 :在具有内部存储介质的云计算终端外部连接外接存储器，该外接存储器与内部存储介质构成多级异构存储介质；S502 :在内部存储介质中存储分布式文件；S503:云计算终端根据该分布式文件对多级异构存储介质中存储的数据建立快速索引，并基于该分布式文件控制多级异构存储介质对数据进行分级存储。优选地,该方法还包括步骤云计算终端基于所述分布式文件，采用Mapreduce的计算模型对外接存储器的读写进行管理。其中，外接存储器是指基于闪存的存储介质，例如SSD或SATA，该外接存储器可通过USB协议与云计算终端通信。云计算终端的内部存储介质包括ROM和SD等。可见，本发明提供的技术方案通过云计算终端以及外接存储器实现云存储，实现方便，且价格便宜，而且由于云计算终端和外接存储器的小巧便携性，适合野外等不同场
口 o
另外，本发明方案至少还具有以下技术优势(I)本发明提供的移动云存储系统，通过云计算终端对内部的存储介质以及外接存储器进行统一控制和管理，有效地组织管理移动设备的硬件和软件资源，并且对“移动云存储”的用户提供虚拟的使用环境；(2)通过云计算终端的外接存储器和自身内部的存储介质构成多级异构存储介质，对移动设备原有的有限存储资源进行了扩展；(3)考虑到基于FLASH存储介质的非对称读写特性，读快、写慢、擦除更慢的特点，为了提高建立在多级异构存储介质上的数据的计算模型的性能，云计算终端基于所述分布式文件，采用Mapreduce的计算模型对外接存储器的读写进行管理，优化了整个系统的存储性能。以上所述仅是本的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本的 保护范围。
权利要求
1.ー种移动云存储系统，包括具有内部存储介质的云计算终端，其特征在干， 该系统还包括外挂于所述云计算终端的外接存储器，该外接存储器与云计算终端的内部存储介质构成多级异构存储介质； 所述云计算终端的内部存储介质中存储有分布式文件； 所述云计算终端根据该分布式文件对多级异构存储介质中存储的数据建立快速索引，并基于该分布式文件控制多级异构存储介质对数据进行分级存储。
2.根据权利要求I所述移动云存储系统，其特征在于，所述云计算终端，基于所述分布式文件，采用Mapreduce的计算模型对外接存储器的读写进行管理。
3.根据权利要求I或2所述移动云存储系统，其特征在于，所述外接存储器是指基于闪存的存储介质，包括SSD或SATA。
4.根据权利要求I或2所述移动云存储系统，其特征在于，所述云计算终端的内部存储介质包括ROM或SD。
5.根据权利要求3所述移动云存储系统，其特征在于，所述外接存储器通过USB协议与所述云计算终端通信。
6.ー种移动云存储实现方法，其特征在于，包括以下步骤 在具有内部存储介质的云计算终端外部连接外接存储器，该外接存储器与云计算终端的内部存储介质构成多级异构存储介质； 在所述云计算终端的内部存储介质存储分布式文件； 所述云计算终端根据该分布式文件对多级异构存储介质中存储的数据建立快速索引，并基于该分布式文件控制多级异构存储介质对数据进行分级存储。
7.根据权利要求6所述方法，其特征在于，还包括 所述云计算终端基于所述分布式文件，采用MapReduce的计算模型对外接存储器的读写进行管理。
8.根据权利要求6或7所述方法，其特征在于，所述外接存储器是指基于闪存的存储介质，包括SSD或SATA。
9.根据权利要求6或7所述方法，其特征在于，所述云计算终端的内部存储介质包括ROM 或 SD。
10.根据权利要求8所述方法，其特征在于，所述外接存储器通过USB协议与所述云计算终端通信。
全文摘要
本发明公开了一种移动云存储系统及移动云存储实现方法，其中的系统包括具有内部存储介质的云计算终端，该系统还包括外挂于所述云计算终端的外接存储器，该外接存储器与云计算终端的内部存储介质构成多级异构存储介质；所述云计算终端的内部存储介质中存储有分布式文件；所述云计算终端根据该分布式文件对多级异构存储介质中存储的数据建立快速索引，并基于该分布式文件控制多级异构存储介质对数据进行分级存储。本发明有效地组织管理移动设备的硬件和软件资源，对移动设备原有的有限存储资源进行了扩展，并优化了整个系统的存储性能。
文档编号H04L29/08GK102769642SQ20111015532
公开日2012年11月7日 申请日期2011年6月10日 优先权日2011年6月10日
发明者李刚, 赵锐 申请人:上海子鼠云计算技术有限公司