技术总结
本发明公开了一种分布式数据处理方法及装置，涉及数据处理技术领域，该方法包括：将在同一数据集中的出现次数大于预设次数的键对应的数据确定为倾斜数据，将包含倾斜数据的数据集确定为倾斜数据集，将未包含倾斜数据的数据集确定为非倾斜数据集；根据预设的键标记集合，为倾斜数据集中的每个数据的原始键分别添加一个键标记；将非倾斜数据集进行扩容，根据键标记集合，为扩容后的非倾斜数据集中的每个数据的原始键分别添加一个键标记；按照预设的数据分配规则，将处理后的倾斜数据集以及处理后的非倾斜数据集中的各个数据分配给多台服务器进行分布式处理。由此可见，本发明使数据更加均匀地分配到服务器上，提高了分布式数据处理效率。
技术研发人员：邓怡豪
受保护的技术使用者：北京奇虎科技有限公司
文档号码：201611178256
技术研发日：2016.12.19
技术公布日：2017.05.31