一种用于多媒体研发培训平台的海量数据处理系统的制作方法

本发明涉及多媒体研发培训平台，尤其涉及一种用于多媒体研发培训平台的海量数据处理系统。

背景技术：

当前，在线教育行业已经成为中国重点打造的新业态新产业之一，而在线教育行业被认为是最具潜力的研发方向。但是现有的多媒体平台难以满足大容量、高可靠性、高稳定性以及海量数据处理的要求。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的不足，提供一种大容量、高可靠性、高稳定性以及满足海量数据处理要求的用于多媒体研发培训平台的海量数据处理系统。

为解决上述技术问题，本发明采用如下技术方案。

一种用于多媒体研发培训平台的海量数据处理系统，其包括：调度模块，用于根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句，当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序，根据所述调用顺序向数据仓库平台调用数据仓库操作语句；所述数据仓库平台，用于从关系数据库中读取所述数据仓库对应的配置信息，根据所述调用顺序触发所述数据仓库操作语句对分布式平台存储的数据进行运算，生成结果数据并存储到所述分布式平台；所述关系数据库，用于存储所述数据仓库操作语句对应的配置信息；分布式平台，用于存储所述数据和所述结果数据。

优选地，所述调度模块还用于控制所述分布式平台将所述结果数据导入所述关系数据库，控制缓存模块根据预设的展现策略从所述关系数据库中抽取常用的结果数据；所述系统还包括：所述缓存模块：用于缓存所述常用的结果数据；数据展现平台，用于从所述缓存模块中读取并展现所述常用的结果数据。

优选地，所述数据展现平台还用于从所述关系数据库中读取并展现所述结果数据。

优选地，所述系统还包括：数据接入平台，用于向分布式平台传输至少一次数据，当每次传输完成时，向消息接口模块发送数据传输完成消息；所述消息接口模块，用于接收所述数据传输完成消息；所述调度模块，还用于从所述消息接口模块获取至少一次所述数据传输完成消息，作为所述当前业务信息。

优选地，所述数据接入平台具体用于采用谷歌消息传输方案protobuffer通讯方式向消息接口模块发送所述数据传输完成消息。

本发明公开的用于多媒体研发培训平台的海量数据处理系统，在用于多媒体研发培训平台的海量数据处理系统中加入调度模块，该模块根据当前业务信息和预设的调度策略确定调用数据仓库操作语句以及调用顺序，在调度模块的控制下完成数据处理过程，从而避免了现有平台的海量数据处理系统中通过控制台逐次下发命令，因为通过调度模块进行控制，可以根据所需要实现的业务的逻辑，灵活配置相应的调度策略和调用顺序，从而增强了海量数据处理的灵活性，较好地满足了大容量、高可靠性、高稳定性以及满足海量数据处理要求。

附图说明

图1为本发明海量数据处理系统的组成框图。

具体实施方式

下面结合附图和实施例对本发明作更加详细的描述。

本发明公开了一种用于多媒体研发培训平台的海量数据处理系统，请参照图1，其包括：

调度模块，用于根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句，当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序，根据所述调用顺序向数据仓库平台调用数据仓库操作语句；

所述数据仓库平台，用于从关系数据库中读取所述数据仓库对应的配置信息，根据所述调用顺序触发所述数据仓库操作语句对分布式平台存储的数据进行运算，生成结果数据并存储到所述分布式平台；

所述关系数据库，用于存储所述数据仓库操作语句对应的配置信息；

分布式平台，用于存储所述数据和所述结果数据。

本发明公开的用于多媒体研发培训平台的海量数据处理系统，在用于多媒体研发培训平台的海量数据处理系统中加入调度模块，该模块根据当前业务信息和预设的调度策略确定调用数据仓库操作语句以及调用顺序，在调度模块的控制下完成数据处理过程，从而避免了现有平台的海量数据处理系统中通过控制台逐次下发命令，因为通过调度模块进行控制，可以根据所需要实现的业务的逻辑，灵活配置相应的调度策略和调用顺序，从而增强了海量数据处理的灵活性，较好地满足了大容量、高可靠性、高稳定性以及满足海量数据处理要求。

本实施例中，所述调度模块还用于控制所述分布式平台将所述结果数据导入所述关系数据库，控制缓存模块根据预设的展现策略从所述关系数据库中抽取常用的结果数据；

所述系统还包括：

所述缓存模块：用于缓存所述常用的结果数据；

数据展现平台，用于从所述缓存模块中读取并展现所述常用的结果数据。

进一步地，所述数据展现平台还用于从所述关系数据库中读取并展现所述结果数据。

作为一种优选方式，所述系统还包括：

数据接入平台，用于向分布式平台传输至少一次数据，当每次传输完成时，向消息接口模块发送数据传输完成消息；

所述消息接口模块，用于接收所述数据传输完成消息；

所述调度模块，还用于从所述消息接口模块获取至少一次所述数据传输完成消息，作为所述当前业务信息。

本实施例中，所述数据接入平台具体用于采用谷歌消息传输方案protobuffer通讯方式向消息接口模块发送所述数据传输完成消息。

在本发明的优选实施例中，业务平台海量接入包括搭建海量数据差异化服务架构，使得平台能够达到海量业务负载均衡状态，避免由于业务网路拥塞导致的服务成功率低。系统设计中重点需要考虑以下几个方面：

首先，容量：网络层需要支持百万级同时在线，主机、数据与存储以及请求要求等；

其次，可靠性与稳定性：需要适应任何单一的计算节点都可能发生故障、任何研发环境里的测试都不可能是充分的前提，以及必须适应复杂的终端接入网以及必须支持频繁变更情况下的系统稳定，用户体验稳定等；

此外，数据处理：海量平台需要面对数据库大、数据库杂的问题。

以上所述只是本发明较佳的实施例，并不用于限制本发明，凡在本发明的技术范围内所做的修改、等同替换或者改进等，均应包含在本发明所保护的范围内。

技术特征：

技术总结
本发明公开了一种用于多媒体研发培训平台的海量数据处理系统，其包括：调度模块，用于根据获取的当前业务信息和预设的调度策略判断是否调用数据仓库操作语句，当判断为是时，根据获取的当前业务信息和预设的调度策略获取调用顺序，根据所述调用顺序向数据仓库平台调用数据仓库操作语句；所述数据仓库平台，用于根据所述调用顺序触发所述数据仓库操作语句对分布式平台存储的数据进行运算，生成结果数据并存储到所述分布式平台；所述关系数据库，用于存储所述数据仓库操作语句对应的配置信息；分布式平台，用于存储所述数据和所述结果数据。本发明增强了海量数据处理的灵活性，较好地满足了大容量、高可靠性、高稳定性以及满足海量数据处理要求。

技术研发人员：江游;黄莉苹;牛军丽;黄伟;黄亚光
受保护的技术使用者：深圳市新一代信息技术研究院有限公司
技术研发日：2018.09.14
技术公布日：2019.03.01