一种云平台并行通信的系统及方法与流程

文档序号：16515948发布日期：2019-01-05 09:38阅读：230来源：国知局

本发明涉及云计算技术领域，具体而言，涉及一种云平台并行通信的系统及方法。

背景技术：

企业软件系统接收，生成和存储与企业的许多方面相关的数据。与企业相关的数据文件的大小可能相对较大-几千兆字节。在一些上下文中，一些应用和服务可以通过因特网或云计算架构中的其他大型网络(例如，wan或man)(例如，平台即服务，paas)来递送。在可能需要在实体，系统和平台之间传输大型文件的情况下，传输大文件可能是耗时的并且可能容易出错，因为传输的文件很大。随着云平台的不断发展，如何实现云平台的数据传输速度的提升，是未来普及应用云平台进行的技术瓶颈。

技术实现要素：

本发明提出了一种云平台并行通信的系统，包括：存储处理器可执行指令的存储器；和处理器执行处理器可执行指令以使系统：接收至少一个与来自至少一个数据源的数据集有关的数据表；接收多个维度，多个维度用于分析数据集的数据；通过第一并行化过程将多个维度组合成多个不同的簇，每个簇是不同维度的分组；将多个不同的集群中的每个集群发送到云平台；通过第二并行化过程将所述至少一个数据表划分为多个不同的数据块；和将多个不同的数据块中的每一个传输到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所传输的多个的组合生成数据模型。不同的簇和发送的多个不同的数据块。

所述的系统，所述至少一个数据表包括所述数据集的度量。

所述的系统，所述集群通过消息发送到所述云平台。

所述的系统，通过所述第一并行化过程，至少部分地将所述多个消息传输到所述云平台。

所述的系统，所述多个不同的数据块通过所述第二并行化过程至少部分地并且彼此独立地传输到所述云平台。

所述的系统，其中所述处理器还能够执行所述处理器可执行指令以使所述系统：

确定多个不同簇的最佳数量；

确定多个不同数据块的最佳数量；和

至少部分地基于所确定的多个不同簇的最佳数量和所确定的多个不同数据块的最佳数量来确定生成数据模型的最小时间。

所述的系统，基于生成数据模型的最小时间受到失败概率小于阈值，最小成功数据模型创建时间及其组合中的至少一个的约束。

一种云平台并行通信的方法，包括：

处理器接收至少一个与来自至少一个数据源的数据集有关的数据表；

处理器接收多个维度，所述多个维度用于分析数据集的数据；

处理器通过第一并行化处理将多个维度组合成多个不同的簇，每个簇是不同维度的分组；

将多个不同集群中的每个集群发送到云平台；

处理器通过第二并行化处理将所述至少一个数据表划分为多个不同的数据块；和

将多个不同的数据块中的每一个发送到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所发送的多个的组合生成数据模型。不同的簇和发送的多个不同的数据块。

所述的方法，所述至少一个数据表包括所述数据集的度量；通过消息将所述集群发送到所述云平台；通过所述第一并行化过程，至少部分地将所述多个消息传输到所述云平台；通过第二并行化过程，至少部分地并且彼此独立地将所述多个不同的数据块同时发送到云平台。

所述的方法，还包括：

处理器确定多个不同簇的最佳数量；

处理器确定多个不同数据块的最佳数量；和

处理器基于至少部分地基于所确定的多个不同簇的最佳数量和所确定的多个不同数据块的最佳数量来确定生成数据模型的最小时间；基于生成数据模型的最小时间受到失败概率小于阈值，最小成功数据模型创建时间及其组合中的至少一个的约束。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明的云平台并行通信的方法示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。