技术总结
本发明提供了一种切分数据块的加载方法及装置，其中，所述方法包括：判断接收的数据块偏移地址是否等于0，如果等于0，则读取URL中指定的数据；如果大于0，则从偏移地址前第一个换行符至偏移地址后预设空间范围内查找换行符；如果查找到换行符，则丢弃所述换行符前的数据；否则丢弃偏移地址后预设空间范围内所有数据。以使得加载节点可以根据自身的数据块确定数据内容，实现并行数据加载。可以实现各加载节点间的负载均衡和提高总体加载速度。
技术研发人员：武新;崔维力;李国节;赵董兴
受保护的技术使用者：天津南大通用数据技术股份有限公司
文档号码：201610777791
技术研发日：2016.08.31
技术公布日：2017.01.25