分布式存储的系统和方法
【专利说明】分布式存储的系统和方法
[0001]相关申请的交叉引用
[0002]本申请涉及2012年5月10日提交的美国临时申请S/N.61/645，505和2012年5月10日提交的美国临时申请S/N.61/645，508，每件临时申请全篇地援引包含于此并从中要求享有优先权。
[0003]背景
[0004]所披露的主题涉及分布式存储的技术，包括本地存储层、分布式存储层以及云存储层。
[0005]某些传统安全数据存储方案可能难以使用并难以维护。IT硬件和人力可能是昂贵的并且定期失效，并且这些失效可能导致数据损失。联系某些数据存储方案，数据可能难以或不可能远程地访问。
[0006]传统数据存储产品可被归类为“本地存储”、“网络存储服务器”、“基于Web的存储服务”以及“分布式存储系统”。对于小型至中型大小的办公室环境，每个类别可能就提供可靠的、可升级的、安全和故障容忍的存储方面具有相对的优势和缺陷。台式计算机中的本地硬盘驱动器是存储文件的常见形式。本地存储可提供高性能读/写次数和有形安全性的感觉，但如果盘失效、受到破坏或者数据被意外地或恶意地覆写，则数据不再存在。此外，当硬盘充满时，用户可尝试手动地管理存储空间，删除文件或试图将它们转移至另一机器一一一种既需要时间又需要经验的过程。与同事手动地共享文件可能产生多个不一致的版本并且电子邮件文件可能是不安全的。
[0007]网络存储服务器可用来为组织中的用户提供共享存储空间。市面上有售的网络存储服务器涵盖从低到中等范围的“柜机(box in the closet)”方法(被称为“网络附连存储”或NAS)至充斥有刀片服务器和冗余盘阵列(例如RF ID)的高端、光纤信道存储域网(SAN)。网络存储服务器可为用户提供高容量存储以共享，但仍然可能遭受集中存储的许多公知问题:服务器可能中断、被篡改、被骇客侵入和被盗；它们可能在火灾中损毁或被咖啡浇湿；用户可能意外地覆写或删除文件；并且所有数据以与台式机的硬盘驱动器相同方式被存储。
[0008]尽管已知某些技术来改善这些问题，包括在远程位置复制数据、利用冗余盘阵列和加密，然而这些技术仍然包括各种缺陷，包括从中可能发生未经授权访问的地点增加、开销和复杂性增加以及降低的速度和方便性。另外，尽管网络存储服务器提供文件共享和高容量存储，然而它们维护和管理都可能昂贵。
[0009]基于Web的数据存储服务提供在因特网上备份和存储数据的不昂贵手段。类似Amazon S3、Apple iDisk、EMC Mozy 和 Pro SoftNetiDrive 的服务是这些服务的例子。然而，一些用户可能对于在因特网上日常性发送他们的敏感信息比较谨慎，例如由于发觉来自数字搜索的较弱保护以及通过第三方对存储的数据的夺取。尽管基于web的存储一般能作为可靠的备份服务，然而它可能需要恒定、快速的因特网连接，并且可能太慢而无法被认为是每日文件访问和存储的理想替代方案。
[0010]分布式存储技术可包括在多个机器上多次地存储文件，将分散数据存储的负担和风险。文件存在的副本越多，越不可能丢失。然而，副本越多，意味着更多地方可以偷取，因此对于敏感数据或环境需要加密系统。此外，某些已有分布式存储系统可能提供低水平的安全性和性能。
[0011]因此，对于分布式存储需要改进的技术。
[0012]概述
[0013]所披露的主题涉及分布式存储的技术，包括本地存储层、分布式存储层以及云存储层。另外，所披露的主题涉及具有透明备份和数据安全性并具有全世界访问性和完全可审查版本历史的分布式存储技术。
[0014]在所披露的主题的一个方面，用于使用经由网络通信地耦合的多个计算设备的分布式存储的方法包括将电子文件存储在多个计算设备之一的本地存储层内。可以在网络上以诸部分的形式将电子文件异步地传送至多个计算设备中的其它计算设备，以使得跨分布式存储层中的其它计算设备存储电子文件。电子文件可在网络上被异步地传送至云存储层，以使电子文件被镜像在云存储层中。每个电子文件的元数据可被存储在每个计算设备的本地存储层中。元数据可包括指向被存储在本地存储层和分布式存储层中的电子文件的部分的位置的指针。被存储在分布式存储层中的电子文件可如同被存储在单个逻辑驱动中那样被显示。
[0015]根据示例性实施例，异步传送通过计算设备存储在本地存储层中的电子文件可包括:将电子文件分割成固定或可变大小的部分；经由网络将诸部分散列化到其它计算设备的存储设备上；更新元数据以包括指向经散列化部分的位置的指针；以及经由流言协议将元数据传送至其它计算设备。经散列化部分可通过进一步散列化而被复制到一个或多个其它计算设备上。
[0016]在一示例性实施例中，电子文件的编辑版本可通过计算设备来存储。计算设备可将文件的编辑版本与原始电子文件作比较以产生固定或可变大小的编辑部分。编辑部分可经由网络被散列化到其它计算设备的存储设备上，并且元数据可被更新以便对于文件的编辑版本，包括指向原始文件的未改变部分的指针以及指向编辑部分位置的指针。
[0017]方法可进一步包括通过计算设备之一检索电子文件。计算设备可从本地存储的元数据确定电子文件的部分的位置。这些部分可经由网络从这些位置检索，并且所检索的部分可被组装并被存储在计算设备的本地存储层内。根据示例性实施例，元数据也可包括被存储在分布式系统中的电子文件的版本信息、访问信息、许可信息和逻辑驱动路径信息中的一个或多个。在某些实施例中，电子文件可被加密。
[0018]根据所披露的主题的另一方面，用于分布式存储的系统可包括多个计算设备中的每一个的本地存储层以及分布式存储层。计算设备可与网络通信地耦合，并且每个计算设备可具有与之关联的一个或多个处理器以及一个或多个存储设备，其适于执行本文披露的技术。在一示例性实施例中，计算设备可包括一个或多个台式计算机、膝上型计算机或手持式计算设备。网络可以是有线或无线局域网、内域网或因特网。
[0019]在所披露的主题的另一方面，本文披露的技术可体现为存储可执行代码的非临时计算机存储可读介质，所述可执行代码当被执行时使得一个或多个处理器执行本文披露的功能。替代地，本文披露的所有或部分方法可以硬线电路形式体现，单独地或与可执行代码彡口口 O
[0020]应当理解上述一般描述和以下详细说明仅都是示例性并旨在提供对所要求保护的披露主题的进一步阐述。
[0021]纳入于此并构成本说明书一部分的附图被包含以解说并提供对所披露的主题的进一步理解。与本说明书一起，附图用来解释所披露的主题的原理。
[0022]附图简述
[0023]图1A是根据所披露的主题的示例性实施例的分布式存储的方法的流程图。
[0024]图1B是根据所披露的主题的示例性实施例的分布式存储的系统的示意图。
[0025]图2A是根据所披露的主题的示例性实施例的存储层的示意图。
[0026]图2B是示出根据所披露的主题的示例性实施例的存储分层阶级的图。
[0027]图3是根据所披露的主题的示例性实施例的分布式存储系统的远程访问的示意图。
[0028]图4是根据所披露的主题的示例性实施例的元数据文件的图。
[0029]图5A是根据所披露的主题的示例性实施例的电子文件的散列部分的图。
[0030]图5B是示出根据所披露的主题的示例性实施例的编辑电子文件的散列部分的图。
[0031]图5C是示出根据所披露的主题的另一示例性实施例的编辑电子文件的散列部分的图。
[0032]图6C示出根据所披露的主题事项的示例性实施例的单逻辑联网驱动器的显示。
[0033]贯穿附图，相同的附图标记和字符，除非另有声明或通过上下文指示，否则用来表示相同特征、元件、组件或图示实施例的部分。此外，尽管现在参见附图详细描述所披露的主题，然而它是结合解说性实施例完成的，这旨在是非限制性的。
[0034]详细描述
[0035]根据所披露的主题的示例性存储系统可包括三个存储“层”。三个存储层可包括对于连接至系统的每个计算设备的本地存储层、跨计算设备的分布式存储层以及云存储层。存储系统可将计算设备中的未使用容量集中在一起，并能支持版本化、远程访问和长期备份。
[0036]所披露的主题的示例性实施例参照图1-6描述如下，为了解说目的并且不构成限制。为了清楚，同时地并彼此结合地描述方法和系统，其中对方法的引用标号用括号O作出，并且对系统的引用将不用括号作出。
[0037]参照图1A和图1B，并根据所披露主题的示例性实施例，分布式存储的技术可包括使用经由网络通信耦合的多个多个计算设备(例如lll、121a和121b[统称121])。计算设备121可例如是一个或多个台式计算机、膝上型计算机、手持式计算设备或任何其它合适的计算设备。网络可以是有线或无线局域网、内域网或因特网。例如，计算设备121可以是在办公室环境中的数个机器，所述办公室环境包括但不限于学校、医院和本领域内技术人员清楚明白的其它环境，它们连接至局域网。每个计算设备可具有一个或多个处理