一种基于多核CPU的分布式集群系统及数据连接方法与流程

文档序号:11323062阅读:来源:国知局

技术特征:

技术总结
本发明提供了一种基于多核CPU的分布式集群系统及数据连接方法,其中系统包括:映射服务器,包括至少一台具有多核CPU的计算机,用于在映射任务的进程内部启动n个映射线程,并以每个核心作为一个对应计算节点进行并行计算;其中每个映射线程从共享内存预先分配的缓冲区中读取对应的数据分片vi建立哈希表;规约服务器,包括至少一台具有多核CPU的计算机,用于在规约任务的进程内部启动m个规约线程,并以每个核心作为一个对应计算节点进行并行计算;其中每个规约线程从多个哈希表中分别获取属于自己的中间数据集进行比较连接。本发明最大限度地挖掘集群系统的运算潜能,并采用预先划分数据片的方式避免了共用内存产生的操作竞争。

技术研发人员:王宏志;孙旭冉;赵志强
受保护的技术使用者:哈工大大数据产业有限公司
技术研发日:2017.05.22
技术公布日:2017.10.13
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1