一种基于语义的海量数据处理方法与流程

文档序号:11807150阅读:来源:国知局
技术总结
本发明公开一种基于语义的海量数据处理方法,其包括以下步骤:A、将所述云应用中的所有的海量数据进行语义处理,形成智能分布式的语义索引机制;B、对云应用中所有的元数据和数据按照所述语义索引机制进行语义存储到相应的云存储系统中;C、对存储于云存储系统中的云应用执行海量数据的MapReduce计算。本发明通过基于语义的海量数据存储方式,将会使得那些具有语义关联比较高的数据存储的比较紧密,当各种云应用需要执行对海量数据的MapReduce计算时,会在同一台机器上对同一个作业执行较多的Map或者Reduce任务,从而减少数据迁移的时间消耗,将会较好地提高海量数据的处理效率。

技术研发人员:王朝硕;赵建宁;张桂刚;田应富;李超;周震震;张勇;郭涑炜;邢春晓
受保护的技术使用者:中国南方电网有限责任公司超高压输电公司;清华大学
文档号码:201310173198
技术研发日:2013.05.10
技术公布日:2016.12.07

当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1