技术编号:31051667
提示:您尚未登录,请点 登 陆 后下载,如果您还没有账户请点 注 册 ,登陆完成后,请刷新本页查看技术详细信息。.本申请涉及数据处理技术领域,具体而言,涉及一种数据处理方法、装置、设备和存储介质。背景技术.当前数据抽取服务为了克服传统集中式系统导致的中心主机资源紧张与性能瓶颈的缺陷,会采用分布式系统设计,使用并行技术保障高效的性能,通常的方式为任务并行和数据并行。比如不同的主机节点执行不同的抽取任务即为任务并行,任务拆分后由所有节点共同完成即为数据并行。.但是现有的并行技术中,笼统的将数据抽取任务采取并行方式执行,并没有充分考虑集群中各个节点资源的实际承受能力,造成资源的分配不均,产生资源浪费,未能...
注意:该技术已申请专利,请尊重研发人员的辛勤研发付出,在未取得专利权人授权前,仅供技术研究参考不得用于商业用途。
该专利适合技术人员进行技术研发参考以及查看自身技术是否侵权,增加技术思路,做技术知识储备,不适合论文引用。
请注意,此类技术没有源代码,用于学习研究技术思路。