一种云平台的数据处理方法及系统与流程

本发明涉及云计算技术领域，特别是涉及一种云平台的数据处理方法及系统。

背景技术：

随着科学技术的发展，云平台的应用范围越来越广泛。

云计算是一种能够通过网络以便利的、按需的方式获取计算资源(网络、服务器、存储、应用和服务)模式，这些资源和来自一个共享的、可配置的资源池，并能够快速获取和释放。它颠覆了传统IT行业的消费模式和服务方式，实现了从以前的购买软硬件产品向购买服务的转变，作用主要体现在虚拟化数据信息处理计算方面，是一种新型的商业模式。云计算的三大理念包括：基础设施即服务(IaaS)、平台即服务(PaaS)以及软件即服务(SaaS)，越来越多的平台和应用，同时作为生产者和消费者，也使得互联网上的数据量以惊人的速度日益扩增。数据处理计算因此就成为云计算基础架构的重要一环，针对大规模数据的高效管理已经成为亟需解决的技术问题。

技术实现要素：

本发明的目的是提供一种云平台的数据处理方法及系统，可以有效提高云计算系统对于数据的处理效率。

为解决上述技术问题，本发明提供了如下技术方案：

一种云平台的数据处理方法，包括：

将云平台中的数据流分成多个块文件；

将各所述块文件分别进行存储，并保存各所述块文件的存储位置；

根据各所述块文件的存储位置，读取并执行相应的任务处理。

优选地，所述将云平台中的数据流分成多个块文件，包括将云平台中的数据流分成多个等量的块文件。

优选地，将各所述块文件分别进行存储，包括将各所述块文件分别存储在本地磁盘上。

优选地，在保存各所述块文件的存储位置之后，还包括：对各所述块文件进行预读取。

优选地，所述根据各所述块文件的存储位置，读取并执行相应的任务处理，包括：

通过主机读取所要执行的任务对应的第一块文件的存储位置；

根据所述第一块文件的存储位置，调取对应的块文件数据；

将所述块文件数据放在所述主机的节点上，通过各节点之间的相互调用，对所述块文件数据进行传输和处理。

优选地，在将云平台中的数据流分成多个块文件时，还包括：对各块文件中的数据进行分类，并进行对应的类别标记。

一种云平台的数据处理系统，包括：

数据分块模块，用于将云平台中的数据流分成多个块文件；

存储模块，用于存储各所述块文件，并保存各所述块文件的存储位置；

主机，用于根据各所述块文件的存储位置，读取并执行相应的任务处理。

优选地，所述数据分块模块包括：

计算单元，用于统计所述数据流的大小，并计算平均分配给各所述块文件中的数据量；

分块单元，用于根据所述计算单元的计算结果，将云平台中的数据流分成多个等量的块文件。

与现有技术相比，上述技术方案具有以下优点：

本发明所提供的一种云平台的数据处理方法，包括：将云平台中的数据流分成多个块文件；将各块文件分别进行存储，并保存各块文件的存储位置；根据各块文件的存储位置，读取并执行相应的任务处理。由于将数据流分成了多个块文件，使得云平台对于数据的处理并不占用网络宽带，能够减少网络宽带的开销压力。根据需求将针对海量异构数据的处理操作，无论多么复杂，都可以分解为任一大小的数据子任务，实现计算资源和存储资源配置的全局最优化，从而增加数据的传输和读取效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种具体实施方式所提供的云平台的数据处理方法流程图；

图2为本发明一种具体实施方式所提供的云平台的数据处理系统结构示意图。

具体实施方式

发明人研究发现，在传统计算处理服务数据时，要进行两方面数据处理，一是流式数据读取，服务器处理超大量的大数据，为了保证数据安全和正确性，提供容错和严格的事务，这样保证任何一个事件不丢失也不出错，因此这样的批处理架构会带来高延迟和高成本维护。二是数据的存储方式，如DAS技术，把外部的数据存储设备都直接挂在服务器内部的总线上，数据存储设备是服务器结构一部分，随着需求的不断增大，越来越多的设备添加到网络环境中，导致服务器和存储独立数量较多，资源利用率低下，使得数据共享受到严重的限制。而且随着云计算的逐步发展，计算机网络处理数据的规模越来越大，如此大规模的数据，对其存储、更新、查找等处理的时间开销和空间开销远远超出了传统数据管理的承受能力。

本发明的核心是提供一种云平台的数据处理方法及系统，可以减少网络宽带的开销压力，有效提高云计算系统对于数据的处理效率。

为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。

请参考图1，图1为本发明一种具体实施方式所提供的云平台的数据处理方法流程图。

本发明的一种具体实施方式提供了一种云平台的数据处理方法，包括：

S11：将云平台中的数据流分成多个块文件，优选地，将云平台中的数据流分成多个等量的块文件。

S12：将各块文件分别进行存储，优选地，将各块文件分别存储在本地磁盘上，并保存各块文件的存储位置；

S13：根据各块文件的存储位置，读取并执行相应的任务处理。

在本实施方式中，由于无需直接调取大量的大数据，而是将数据流分成多个块文件，尤其是等量的块文件。在存储各块文件时，保存各块文件对应的存储位置，并进行文件预读取，在需要处理任务时，只需根据各块文件的存储位置，读取各块文件中的数据，该技术方案几乎不占用网络宽带，能够减少网络宽带的开销压力。用户可以根据需求将针对海量异构数据的处理操作，无论多么复杂，都可以分解为任一大小的数据子任务，实现计算资源和存储资源配置的全局最优化，从而增加数据的传输和读取效率。

在本发明的一种实施方式中，根据各块文件的存储位置，读取并执行相应的任务处理，包括：

通过主机读取所要执行的任务对应的第一块文件的存储位置；

根据第一块文件的存储位置，调取对应的块文件数据；

将块文件数据放在主机的节点上，通过各节点之间的相互调用，对块文件数据进行传输和处理。

进一步地，在将云平台中的数据流分成多个块文件时，还包括：对各块文件中的数据进行分类，并进行对应的类别标记。

在本实施方式中，利用云计算处理数据时，考虑到要处理数据的整合，通过云计算系统对数据分析分类，将数据分成块文件存储在本地磁盘上，记住各块文件存储的位置，并在后台进程进行预读取。在执行任务时，由于预先对数据进行了分类，即各块文件中的数据类别是已知的，可知直接读取其类别，而无需主机对各块文件中的数据进行类别的判定，节省了数据处理的时间，提高了数据处理的效率，由于保存了各块文件的保存位置，因此，主机可以根据各块文件的存储位置调取各块文件中的数据，并将调取的该数据放在主机的节点上，通过节点的相互调用，来实现任务的执行。其中可以在处理速度快的节点上部署较多的处理任务数据，以进一步减少宽带的占用，提高处理速度。

请参考图2，图2为本发明一种具体实施方式所提供的云平台的数据处理系统结构示意图。

相应地，本发明一种实施方式还提供了一种云平台的数据处理系统，包括：

数据分块模块21，用于将云平台中的数据流分成多个块文件；

存储模块22，用于存储各块文件，并保存各块文件的存储位置；

主机23，用于根据各块文件的存储位置，对各块文件进行预读取，读取并执行相应的任务处理。

进一步地，数据分块模块包括：计算单元，用于统计数据流的大小，并计算平均分配给各块文件中的数据量；分块单元，用于根据计算单元的计算结果，将云平台中的数据流分成多个等量的块文件。

将数据流分成多个块文件，尤其是等量的块文件。在存储各块文件时，保存各块文件对应的存储位置，并进行文件预读取，在需要处理任务时，只需根据各块文件的存储位置，读取各块文件中的数据，该技术方案几乎不占用网络宽带，能够减少网络宽带的开销压力。用户可以根据需求将针对海量异构数据的处理操作，无论多么复杂，都可以分解为任一大小的数据子任务，实现计算资源和存储资源配置的全局最优化，从而增加数据的传输和读取效率。

综上所述，本发明所提供的云平台的数据处理方法及系统，由于将数据流分成了多个块文件，使得云平台对于数据的处理并不占用网络宽带，能够减少网络宽带的开销压力。根据需求将针对海量异构数据的处理操作，无论多么复杂，都可以分解为任一大小的数据子任务，实现计算资源和存储资源配置的全局最优化，从而增加数据的传输和读取效率。

以上对本发明所提供的一种云平台的数据处理方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。