技术总结
本发明公开了一种基于MapReduce模型的提升表连接效率的方法，属于计算机应用领域，本方法设计了信息共享机制对表的信息进行压缩共享，通过共享信息对连接表中无效信息进行过滤，提升中间结果在网络中传输的效率，打破大数据在本地存储时，分片数据信息不全面的瓶颈，从而达到提高整体算法效率的目的。所述共享信息机制，包含三个功能模块，分别为信息分发模块、信息压缩模块和信息转型模块。本方法减少了网络上的数据传输，通过利用任务调度器，协调多个任务并发，合理的利用不同表之间利用Map机群和Reudce机群运行时间上的空档，提前执行MapReduce任务，增强了系统的并行性。 1
技术研发人员：杨胜齐;黄樟钦;肖晟晨;王术川;包宇津
受保护的技术使用者：北京工业大学
技术研发日：2017.12.30
技术公布日：2018.06.15