一种传输数据的方法
【专利摘要】一种传输数据的方法，所述方法包括：由分布式存储系统替换Hadoop中自身的分布式文件系统；替换后的Hadoop向下兼容，分布式存储系统向上兼容，替换后的Hadoop与分布式存储系统对接组成传输数据的接口；替换后的Hadoop与分布式存储系统通过所述接口依据元数据进行云计算。应用本发明实施例后，能够在现有的分布式存储系统的基础上实现云计算。
【专利说明】一种传输数据的方法
【技术领域】
[0001]本申请涉及通信【技术领域】，更具体地，涉及一种传输数据的方法。
【背景技术】
[0002]随着大数据时代的到来，迫切需要运算处理大规模数据的能力，而Hadoop作为具有分布式存储和计算能力的开源项目，很快就得到各个行业的重视。Hadoop是一个分布式系统基础架构。Hadoop实现了一个分布式文件系统。如今Hadoop已被广泛应用于商业、医疗、金融、教育等领域，并日益发挥着其重要作用。在Yah00、eBay、百度等知名企业，Hadoop都充当着重要角色。
[0003]云存储行业方兴未艾，各种云平台服务也层出不穷，同时，大数据时代的到来，也为存储业带来了新的挑战。如何提高云存储的性能，是存储行业必须面对的问题。同时，各大门户网、社交网每天的数据已经突破数十TB，如何对这些数据进行处理，提取有用信息，是大家都非常关心的问题。
[0004]许多存储技术厂商的现有分布式存储系统还不具备云计算能力，如何将Hadoop与各个厂商自己的分布式存储系统相结合，使他们的分布式存储系统也具备云计算能力，目前还没有相应地解决方案。
【发明内容】
[0005]本发明实施例提出一种传输数据的方法，能够在现有的分布式存储系统的基础上实现云计算。
[0006]本发明实施例的技术方案如下:
[0007]一种传输数据的方法，所述方法包括:
[0008]由分布式存储系统替换Hadoop中自身的分布式文件系统；
[0009]替换后的Hadoop向下兼容，分布式存储系统向上兼容，替换后的Hadoop与分布式存储系统对接组成传输数据的接口；
[0010]替换后的Hadoop与分布式存储系统通过所述接口依据元数据进行云计算。
[0011]所述由分布式存储系统替换Hadoop中自身的分布式文件系统包括:
[0012]在Hadoop中删除自身的分布式文件系统的代码包和脚本；
[0013]根据分布式存储系统重写Hadoop的分布式文件系统脚本；
[0014]更改Hadoop的配置文件。
[0015]所述替换后的Hadoop向下兼容,分布式存储系统向上兼容,替换后的Hadoop与分布式存储系统对接组成传输数据的接口包括:替换后的Hadoop编写代码以实现向下兼容；
[0016]分布式存储系统编写代码以实现向上兼容；
[0017]替换后的Hadoop与分布式存储系统对接组成传输数据的接口。
[0018]所述替换后的Hadoop与分布式存储系统通过所述接口依据元数据进行云计算包括:[0019]替换后的Hadoop与分布式存储系统通过所述接口，依据元数据从分布式存储系统的节点获取数据；
[0020]根据获取的数据进行云计算。
[0021 ] 从上述技术方案中可以看出，在本发明实施例中由分布式存储系统替换Hadoop中自带的分布式文件系统；替换后的Hadoop向下兼容,分布式存储系统向上兼容，替换后的Hadoop与分布式存储系统对接组成传输数据的接口 ；替换后的Hadoop与分布式存储系统通过所述接口交互，进行云计算。通过开放接口，Hadoop能够在现有的分布式存储系统的基础上实现云计算。
【专利附图】
【附图说明】
[0022]图1为传输数据的方法流程示意图；
[0023]图2为传输数据的实施例示意图。
【具体实施方式】
[0024]为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明再作进一步详细的说明。
[0025]在本发明实施例中，替换掉Hadoop自身的分布式文件系统，使其它分布式存储系统具备云计算能力，而不必依靠Hadoop自带的分布式文件系统。通过这样的技术手段，企业本身的分布式存储系统就能具备稳定、可靠、高效的云计算能力。
[0026]参见附图1是传输数据的方法流程示意图，具体包括以下步骤:
[0027]101、由分布式存储系统替换Hadoop中自身的分布式文件系统。
[0028]在Hadoop中存在Hadoop本身的分布式文件系统。为了保证在现有的分布式存储系统能够实现云计算，首先在Hadoop中删除自身的分布式文件系统的代码包和脚本；然后，再根据分布式存储系统重写Hadoop的分布式文件系统脚本。这样，在Hadoop中就可以建立与现有的分布式存储系统向对应的脚本，同时还需要更改Hadoop的配置文件，使Hadoop指向各个厂商自己的分布式文件系统。
[0029]102、替换后的Hadoop向下兼容，分布式存储系统向上兼容，替换后的Hadoop与分布式存储系统对接组成传输数据的接口。
[0030]在替换后的Hadoop中需要建立与分布式存储系统相对应的接口，通过该接口Hadoop与分布式存储系统可以交互数据。首先，替换后的Hadoop编写代码以实现向下兼容；分布式存储系统编写代码以实现向上兼容；替换后的Hadoop与分布式存储系统对接组成传输数据的接口。编写的代码应该尽可能满足Hadoop的相关协议，这样重写Hadoop类时相对容易一些。若未能满足，则会使Hadoop重写相关类的难度加大，最后才能保证程序读、写、分片等正常进行，且不影响程序执行效率。
[0031]103、替换后的Hadoop与分布式存储系统通过接口依据元数据进行云计算。
[0032]元数据是描述数据及其环境的数据。替换后的Hadoop与分布式存储系统首先根据元数据获知每个数据块的具体位置，亦即云计算所需数据在分布式存储系统中的节点存储位置。然后，分配节点(JobTracker)在分配任务的时候，尽量使用本节点所存储的数据进行计算，以避免增加网络数据传输量，从而提高Hadoop的计算速度。因为通常来讲，对于本节点没有存储的数据，TaskTracker往往需要通过网络从其他的节点处调取。
[0033]参见附图2是传输数据的实施例示意图，其中包括三个节点，两个节点作为TaskTracker,另一个节点作为工作节点(Jobtracker )。
[0034]每个节点内部通过接口使Hadoop与分布式存储系统相交互。JobTracker为两个工作节点分配任务。Tasktracker可以从其他的节点中获取数据以进行云计算。
[0035]以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种传输数据的方法，其特征在于，所述方法包括: 由分布式存储系统替换Hadoop中自身的分布式文件系统； 替换后的Hadoop向下兼容,分布式存储系统向上兼容，替换后的Hadoop与分布式存储系统对接组成传输数据的接口； 替换后的Hadoop与分布式存储系统通过所述接口依据元数据进行云计算。
2.根据权利要求1所述传输数据的方法，其特征在于，所述由分布式存储系统替换Hadoop中自身的分布式文件系统包括: 在Hadoop中删除自身的分布式文件系统的代码包和脚本； 根据分布式存储系统重写Hadoop的分布式文件系统脚本； 更改Hadoop的配置文件。
3.根据权利要求1所述传输数据的方法，其特征在于，所述替换后的Hadoop向下兼容，分布式存储系统向上兼容，替换后的Hadoop与分布式存储系统对接组成传输数据的接口包括:替换后的Hadoop编写代码以实现向下兼容； 分布式存储系统编写代码以实现向上兼容； 替换后的Hadoop与分布式存储系统对接组成传输数据的接口。
4.根据权利要求1所述传输数据的方法，其特征在于，所述替换后的Hadoop与分布式存储系统通过所述接口依据元数据进行云计算包括: 替换后的Hadoop与分布式存储系统通过所述接口，依据元数据从分布式存储系统的节点获取数据； 根据获取的数据进行云计算。
【文档编号】H04L29/08GK103678538SQ201310637528
【公开日】2014年3月26日 申请日期:2013年12月2日 优先权日:2013年12月2日
【发明者】严鹏, 杨卫华 申请人:创新科存储技术（深圳）有限公司, 创新科存储技术有限公司