混合云平台的大数据处理框架编排系统及方法与流程

本发明涉及一种大数据处理技术领域，特别是涉及一种混合云平台的大数据处理框架编排系统及方法。

背景技术：

目前，云平台已经在各个行业中得到广泛部署，从行业角度来看，各行业基于云计算技术构建自己的行业解决方案部。另一方面，结合技术发展趋势，大数据平台基础建设当前的趋势是模块化、云平台化，这个云平台不仅提供物理底层资源的调度，同时也需要并可以提供各类大数据相关的中间件paas服务，以及是各类服务间可以简单灵活的组合来满足各个应用场景的定制需求。

因此，对现阶段大数据处理整体方案及涉及的流程框架做了梳理，结合考虑目前大数据处理过程中的关键影响因素以及实践经验，整理了大数据处理系统在基于混合云平台上进行编排的技术挑战，也是需要努力解决的问题。

混合云平台的资源定义灵活，其需要涵盖大数据处理过程中的各种资源类型。

大数据处理的各个环节中应当需要提供不同的、有针对性的计算、存储、网络等资源的支持，但现今未能有方法保证其高可用性及稳定性。

大数据处理整体过程，需要更加快速响应用户需求，用于实现流程编排，实现对大数据处理面向终端用户的透明化、服务化。

综上所述，传统的大数据处理流程及其平台建设方案，已经不能满足行业客户在大数据分析处理上的快速响应需求，以及为适应实际数据处理条件所必须的环境快速更迭变化的客观条件。其存在着很多不足，有必要加以改进。

技术实现要素：

本发明所要解决的技术问题是提供一种混合云平台的大数据处理框架编排系统及方法，以实现可灵活调度的混合云管理平台，其用于接入管理客户的各类云计算资源，包含私有云、公有云；可在其上实现对所有纳管资源的快速定义及配置，支持大数据处理过程中的不同层级服务，提供符合特定处理环节所需的资源，且符合云平台最佳资源效用；通过混合云的管理平台，可实现动态地响应大数据处理负载调节，并完成跨云堆栈的大数据工作负载迁移任务；支持用户通过移动端界面等多种直观操作形式，完成对大数据处理整体框架及细分任务的编排、执行工作，该框架需要满足用户的大数据处理领域的快速迭代要求。

本发明是通过下述技术方案来解决上述技术问题的：一种混合云平台的大数据处理框架编排系统，其特征在于，其包括：

编排服务模块，根据输入的大数据处理流程配置策略，调用混合云管理平台，申请纳管云堆栈中对应的计算、网络、存储等资源；

混合云管理模块，与该编排服务模块相连，其用于按照针对特定大数据处理环节所需的调度策略，完成各类云资源的调度分配、权限管理、迁移、监控，完成大数据整体处理过程的效率优化；

基础设施资源模块，与该混合云管理模块相连，其用于收集并且存储公有云、计算资源、存储资源以及网络资源，以供混合云管理模块完成管理；

数据分析模块，与该编排服务模块相连，其用于深度处理分析数据，对已存信息进行多维度检索、分析，通过与系统各个模块通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在移动端界面展现分析结果及预测趋势；

数据处理模块，与该数据分析模块相连，其用于编程模型的增删改建及后台管理，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载；

数据存储模块，与该数据处理模块相连，其用于处理加载缓存中的数据信心，并导入对应后续模块，负责加工、预处理由下层传递上来的元数据，通过调用数据库相关api，实现对数据库资源的各项操作，并协同缓存数据管理、元数据管理，完成数据完成的存储流程操作；

数据集成模块，与该数据存储模块相连，其用于将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块，将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录，以文件形式记录数据，并且将已保存的文件数据做存储优化等文件类型操作。

优选地，所述编排服务模块主要包括：

可视化界面模块，用于展示大数据处理框架整体流程，以及可供显示的信息检索、数据挖掘成果及效能评估信息；

服务目录模块，用于面向最终用户封装大数据处理框架的各个环节，对使用者显示可直接调用的大数据处理流程，对于系统内部则调度数据处理模块、数据存储模块、数据集成模块等，完成封装任务；

流程执行器，负责具体大数据处理流程的分解与执行，并且通过与资源优化模块的通信，动态调整在混合云平台上的各个云堆栈的工作负载，达到资源优化目的；

资源优化模块，主要负责南向与混合云管理子系统种的资源分配模块协同工作，实时分配、具体调度混合云平台所纳管的各项计算、存储、网络资源。

优选地，所述数据分析模块包括：

数据挖掘模块，负责深度处理分析数据；

信息检索模块，负责对已存信息进行多维度检索；

效能评估模块，通过与系统各个子系统通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在可视化界面展现分析结果及预测趋势。

优选地，所述数据处理模块包括：

编程模型管理模块，负责编程模型的增删改建及后台管理；

批处理模块，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载；

流处理模块，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载。

优选地，所述数据存储模块包括：

缓存数据管理模块，负责处理加载缓存中的数据信心，并导入对应后续模块；

元数据管理模块，加工、预处理由下层传递上来的元数据；

数据库管理模块，通过调用数据库相关api，实现对数据库资源的各项操作，并协同缓存数据管理模块、元数据管理模块，完成数据完成的存储流程操作。

优选地，所述数据集成模块包括：

数据同步模块，负责将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块；

消息传递模块，负责将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录；

文件存储模块，主要负责以文件形式记录数据，并且可以将已保存的文件数据做存储优化等文件类型操作。

优选地，所述混合云管理模块包括：

资源分配模块，接收数据集成模块针对云资源上数据调用指令，并结合资源优化模块输出的混合云的优化指令，对所纳管的混合云资源进行操作；在执行过程中，需要与权限管理模块做操作权限的验证，以及通过云资源开发的北向api做操作命令的具体下放配置

资源迁移模块，接收资源分配模块对于云资源的操作命令，负责具体数据处理工作负载在各个云堆栈之间的迁移工作；在具体执行命令过沉重，每一步的操作都需要通过权限管理模块进行验证；

权限管理模块，负责混合元管理子系统各项操作的权限认证，通过细颗粒度的权限划分，授权资源分配模块、资源迁移模块、资源监控模块执行相关操作；

资源监控模块，负责监控混合云操作过程中所管辖的各个云堆栈的监控日志信息，进行统一格式化处理，并接收权限管理模块的命令调度，当监控阈值触发条件达到，实时做出相应的云堆栈操作指令，完成监控资源的平稳运行。

本发明还提供一种混合云平台的大数据处理框架编排方法，其特征在于，其包括以下步骤：

步骤一，用户通过可视化界面模块对系统进行操作，输入需要部署执行的大数据处理过程的各项环节及配置，系统将相关申请输入到后台；

步骤二，服务目录模块响应申请后，查找已保存有的服务里列表以及对应的大数据处理流程列表是否包含有所申请的处理流程或者部署模板；

步骤三，判断系统是否已有大数据编排流程，是则转步骤五，否则转步骤四；

步骤四，系统要求用户添加相应的大数据处理流程及参数配置；完成该任务后继续执行步骤二；

步骤五，确定大数据处理编排流程，系统调用大数据流程执行器，完成对用户所申请的大数据处理流程所需要的配置参数、部署流程、初始化参数等配置信息的方案整合；该步骤也负责向所辖混合云平台进行对应资源的申请，执行步骤十；

步骤六，数据集成模块接收指令，确定数据集成的具体操作策略，完成从混合云堆栈中提取数据的过程；

步骤七，数据存储模块接收指令，确定数据存储的具体操作策略，并根据数据类型不同，分别调用元数据管理模块、数据库管理模块完成数据存储操作；

步骤八，数据处理模块接收指令，确定数据处理的具体操作策略，并根据编程模型管理模块输出的执行条件，分别调用批处理模块、流处理模块；

步骤九，数据分析模块接收下层编程模型管理模块的输出结果，发送配置执行参数至数据挖掘模块、信息检索模块、效能评估模块，确定数据分析方式；

步骤十，资源分配模块执行混合云管辖的云资源的资源分配操作，完成大数据处理过程中涉及的计算、网络、存储资源的申请；

步骤十一，数据集成模块中的数据同步模块、消息传递模块、文件存储模块根据选择的大数据待处理数据集不同，完成数据从下层模块的抽象操作；

步骤十二，判断执行数据存储对象是否是元数据，是则转步骤十三，否则转步骤十四；

步骤十三，如果待处理数据是元数据，系统调用元数据管理模块完成数据存储；

步骤十四，如果待处理数据是关系型数据，系统调用数据库管理模块完成数据存储；

步骤十五，缓存数据管理模块接收下层处理数据，将存放的数据读入缓存资源池中，并进行缓存数据集的筛选处理优化操作；

步骤十六，通过编程模型管理模块加载所需大数据处理过程适配的数据处理模型，并根据处理场景不同，判断编程模型是否是批处理模型，是则转步骤十七，否则转步骤十八；

步骤十七，如待进行的大数据处理场景经系统判断适合采用批处理模式，则系统调用批处理模块加载模型进行数据处理

步骤十八，如待进行的大数据处理场景经系统判断适合采用流处理模式，则系统调用批处理模块加载模型进行数据处理；

步骤十九，数据分析模块接收数据处理结果，并将结果整合发至数据挖掘模块进行操作；转步骤二十一；

步骤二十，数据挖掘模块接收已整合处理的数据信心，配合信息检索模块，完成对数据所含信息的深度分析处理；

步骤二十一，效能评估模块分析大数据处理过程中各个环节的运行情况效率，并将评估结果提交至系统监控平台；

步骤二十二，混合云管理模块接收效能评估模块针对大数据处理各环节的效率评估信息，并结合纳管云资源输出的监控日志，做整体系统平台运行情况的监控管理；

步骤二十三，系统保持监控所管辖混合云资源的运行效率是否达到资源优化模块预定义的触发条件及告警阈值，判断是否达到预定义触发条件，是则转步骤二十四，否则转步骤二十二；

步骤二十四，启动大数据工作载迁移过程，通过资源优化模块调用混合云管理模块中的资源分配模块、资源迁移模块完成相关的大数据处理工作负载迁移过程的参数配置；具体过程转交给步骤四处理。

本发明的积极进步效果在于：本发明通过可视化管理系统实时大数据处理各环节的实时状态、工作逻辑，动态显示系统层面的大数据处理工作负载状态。用户可通过系统提供的服务编排功能，快速、自动化排列组合大数据处理工作流程，用户可以按需定制大数据处理的各个环节，并对通过可视化界面对各子过程参数进行快速配置。系统对外提供快速部署、调试、执行使用大数据处理的服务能力。本发明通过系统的混合云管理子系统，按照针对特定大数据处理环节所需的调度策略，完成对下层纳管的各类云资源的调度分配，完成大数据整体处理过程的效率优化，以及符合基于混合云云平台的大数据工作负载的最佳资源效用。本发明通过监控大数据工作负载在混合云各个云堆栈中的资源使用情况，可按照预配置策略及用户手动触发，执行相应的大数据工作负载的迁移过程，实现大数据整体工作流的高效能执行，资源迁移情况通过可视化方式多维度显示。全过程监控应用的可用性、迁移进度、平台整体健康状态等指标参数。

附图说明

图1为本发明的混合云平台的大数据处理框架编排系统实施例的组成示意图。

图2为本发明的编排服务模块的组成示意图。

图3为本发明的混合云平台的大数据处理框架编排方法的工作流程示意图。

具体实施方式

下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。

图1为本发明混合云平台的大数据处理框架编排系统实施例的组成示意图。如图1所示，该实施例主要包括编排服务模块110、混合云管理模块120、基础设施资源模块130、数据分析模块140、数据处理模块150、数据存储模块160、数据集成模块170，其中：

编排服务模块110，根据输入的大数据处理流程配置策略，调用混合云管理平台，申请纳管云堆栈中对应的计算、网络、存储等资源；

混合云管理模块120，与该编排服务模块110相连，其用于按照针对特定大数据处理环节所需的调度策略，完成各类云资源的调度分配、权限管理、迁移、监控，完成大数据整体处理过程的效率优化；

基础设施资源模块130，与该混合云管理模块120相连，其用于收集并且存储公有云、计算资源、存储资源以及网络资源，以供混合云管理模块120完成管理；

数据分析模块140，与该编排服务模块110相连，其用于深度处理分析数据，对已存信息进行多维度检索、分析，通过与系统各个模块通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在移动端界面展现分析结果及预测趋势；

数据处理模块150，与该数据分析模块140相连，其用于编程模型的增删改建及后台管理，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载；

数据存储模块160，与该数据处理模块150相连，其用于处理加载缓存中的数据信心，并导入对应后续模块，负责加工、预处理由下层传递上来的元数据，通过调用数据库相关api(applicationprogramminginterface，应用程序编程接口)，实现对数据库资源的各项操作，并协同缓存数据管理、元数据管理，完成数据完成的存储流程操作；

数据集成模块170，与该数据存储模块160相连，其用于将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块160，将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录，以文件形式记录数据，并且可以将已保存的文件数据做存储优化等文件类型操作。

如图2所示，该编排服务模块110主要包括：

可视化界面模块211，用于展示大数据处理框架整体流程，以及可供显示的信息检索、数据挖掘成果及效能评估信息；可视化界面模块提供整个系统的访问、操作接口。相对于一般访问界面不同的是，操作者可通过该界面完成大数据处理框架编排系统及所辖的混合云平台上的各层级的应用配置、部署、编排、迁移等操作，并且输入方式以图形化界面，配合鼠标手势动作为主，个别参数手动输入为辅的方法。在系统运行过程中，它持续接收效能评估模块输出的关于大数据处理过程中各类资源的监控指标和报警日志，作为可视化显示的输入，并将整合后的数据输出到软件服务目录

服务目录模块212，用于面向最终用户封装大数据处理框架的各个环节，对使用者显示可直接调用的大数据处理流程，对于系统内部则调度数据处理模块、数据存储模块、数据集成模块等，完成封装任务；服务目录模块用于管理、配置系统可对外提供的大数据处理的各项服务过程，这里“服务”具体指以相关大数据处理过程集合，协同运行形成的一种面向客户的大数据处理能力。具体运行过程中，它将可视化界面模块的操作者控制作为输入，调用后台的大数据处理过程配置项，通过流程执行器执行一系列的大数据处理模块配置项确认。并且其通过资源优化模块调用下层混合云管理层子系统的资源分配模块，分配调整对应的云计算资源。

流程执行器213，负责具体大数据处理流程的分解与执行，并且通过与资源优化模块的通信，动态调整在混合云平台上的各个云堆栈的工作负载，达到资源优化目的；流程执行器的主要作用是根据可视化界面的动作手势输入以及软件服务目录模块的输入，根据待执行的大数据处理任务类型及规模，确定具体的大数据处理任务执行的具体过程组等相关配置，并将以上数据整合为一个包含大数据处理整体部署方案所需参数的脚本，输出到数据分析、数据处理、数据存储、数据集成等模块。

资源优化模块214，主要负责南向与混合云管理子系统种的资源分配模块协同工作，实时分配、具体调度混合云平台所纳管的各项计算、存储、网络资源。资源优化模块接收流程执行器传递参数，如资源类型、数量、初始化参数、安全策略等，通过资源分配模块执行调度大数据处理各环节所需的各类云资源。其具体操作混合云平台各个云堆栈上的资源部署、配置、初始化任务，并负责对完成后的结果进行校验。

数据分析模块140包括：

数据挖掘模块，负责深度处理分析数据；数据挖掘模块通过接收服务目录＝对于数据处理的编排要求，将代加工的数据进行综合分析处理，结合信息检索模块提供的查收收集的筛选信息，输出可供于终端用户使用的决策信息。同时，其对效能评估模块输出执行过程中的日志信息，用于分析处理过程中的效率使用水平。

信息检索模块，负责对已存信息进行多维度检索；信息检索模块接收服务目录模块提供的信息收集的需求，将已有信息做整体搜索及筛查，得出结果反馈至数据挖掘模块；

效能评估模块，通过与系统各个子系统通信，获得多维度监控信息，并综合评估整体系统运行效率，最终通过在可视化界面展现分析结果及预测趋势。效能评估模块接收数据挖掘模块在处理数据过程中产生的日志信息，用于结合自身的效率评估模型及相关算法，进行迭代计算，分析得出整个大数据处理过程各个环节的效率信息，并以可视化、多维度形式显示在可视化界面模块；

所述数据处理模块150包括：

编程模型管理模块，负责编程模型的增删改建及后台管理；编程模型管理模块管理大数据处理子系统中全部编程模型，包括模型的增删改查操作。在具体数据处理过程中，接收下层数据存储子系统的缓存数据管理模块提供的缓存数据，根据不同数据类型，执行调用所管理的批处理模块、流处理模块；

批处理模块，负责面向批处理工作负载，并且调度指定的批处理引擎处理工作负载；根据待加工数据类型不同，接收编程模型管理模块的指令，负责处理适合用于分布式处理的数据集操作。

流处理模块，负责面向流处理工作负载，并且调度指定的流处理引擎处理工作负载。流处理模块根据待加工数据类型不同，接收编程模型管理c1的指令，负责处理大数据量级的数据集操作。

所述数据存储模块160包括：

缓存数据管理模块，负责处理加载缓存中的数据信心，并导入对应后续模块；缓存数据管理模块负责计算资源中的缓存数据的处理工作，其可接收来自元数据管理模块输出的元数据，以及数据库管理模块输出的关系型数据，并根据数据存储类型不同选择相应的数据优化读写方式，将最终结果输出到上层系统中的编程模型管理模块；

元数据管理模块，加工、预处理由下层传递上来的元数据；元数据管理模块负责将下层原始数据抽象成元数据进行数据存储，执行元数据的增删改查等功能操作，其输出结果传输到缓存数据；

数据库管理模块，通过调用数据库相关api，实现对数据库资源的各项操作，并协同缓存数据管理模块、元数据管理模块，完成数据完成的存储流程操作。数据库管理模块负责将关系型数据在数据存储层的管理，包含数据的增删改查等操作执行，接收下层数据集成子系统文件存储模块以及数据同步模块输出的数据。

所述数据集成模块170包括：

数据同步模块，负责将下层混合云资源输出的待加工的数据做多维度筛选，并传输给数据存储模块；数据同步模块接收下层混合云管理子系统中的资源分配模块输出的存储数据，将数据做整合后，发送至上层元数据管理模块，记录操作中的日志，输出至消息传递；

消息传递模块，负责将数据收集过程中的各类实时消息进行汇总整理，并对各类错误日志告警信息做记录；记录混合云子系统上资源分配模块操作云资源过程中的日志信息，接收数据同步模块在执行过程中的日志。并将其存储在文件存储；

文件存储模块，主要负责以文件形式记录数据，并且可以将已保存的文件数据做存储优化等文件类型操作。文件存储模块负责在数据集成处理过程中，将相关日志信息及其他数据以文件形式存放管理。

所述混合云管理模块120包括：

资源分配模块，接收数据集成模块针对云资源上数据调用指令，并结合资源优化模块输出的混合云的优化指令，对所纳管的混合云资源进行操作。在执行过程中，需要与权限管理模块做操作权限的验证，以及通过云资源开发的北向api做操作命令的具体下放配置；

资源迁移模块，接收资源分配模块对于云资源的操作命令，负责具体数据处理工作负载在各个云堆栈之间的迁移工作。在具体执行命令过沉重，每一步的操作都需要通过权限管理模块进行验证；

权限管理模块，负责混合元管理子系统各项操作的权限认证，通过细颗粒度的权限划分，授权资源分配模块、资源迁移模块、资源监控模块执行相关操作；

资源监控模块，负责监控混合云操作过程中所管辖的各个云堆栈的监控日志信息，进行统一格式化处理，并接收权限管理模块的命令调度，当监控阈值触发条件达到，实时做出相应的云堆栈操作指令，完成监控资源的平稳运行。

图3为本发明实施例中的混合云平台的大数据处理框架编排方法在实际应用时的工作流程示意图。如图3所示，该混合云平台的大数据处理框架编排方法的实际工作流程主要包括如下步骤：

步骤一，用户通过可视化界面模块对系统进行操作，输入需要部署执行的大数据处理过程的各项环节及配置，系统将相关申请输入到后台；

步骤二，服务目录模块响应申请后，查找已保存有的服务里列表以及对应的大数据处理流程列表是否包含有所申请的处理流程或者部署模板；

步骤三，判断系统是否已有大数据编排流程，是则转步骤五，否则转步骤四；

步骤四，系统要求用户添加相应的大数据处理流程及参数配置；完成该任务后继续执行步骤二；

步骤五，确定大数据处理编排流程，系统调用大数据流程执行器，完成对用户所申请的大数据处理流程所需要的配置参数、部署流程、初始化参数等配置信息的方案整合；该步骤也负责向所辖混合云平台进行对应资源的申请，执行步骤十；

步骤六，数据集成模块接收指令，确定数据集成的具体操作策略，完成从混合云堆栈中提取数据的过程；

步骤七，数据存储模块接收指令，确定数据存储的具体操作策略，并根据数据类型不同，分别调用元数据管理模块、数据库管理模块完成数据存储操作；

步骤八，数据处理模块接收指令，确定数据处理的具体操作策略，并根据编程模型管理模块输出的执行条件，分别调用批处理模块、流处理模块；

步骤九，数据分析模块接收下层编程模型管理模块的输出结果，发送配置执行参数至数据挖掘模块、信息检索模块、效能评估模块，确定数据分析方式；

步骤十，资源分配模块执行混合云管辖的云资源的资源分配操作，完成大数据处理过程中涉及的计算、网络、存储资源的申请；

步骤十一，数据集成模块中的数据同步模块、消息传递模块、文件存储模块根据选择的大数据待处理数据集不同，完成数据从下层模块的抽象操作；

步骤十二，判断执行数据存储对象是否是元数据，是则转步骤十三，否则转步骤十四；

步骤十三，如果待处理数据是元数据，系统调用元数据管理模块完成数据存储；

步骤十四，如果待处理数据是关系型数据，系统调用数据库管理模块完成数据存储；

步骤十五，缓存数据管理模块接收下层处理数据，将存放的数据读入缓存资源池中，并进行缓存数据集的筛选处理优化操作；

步骤十六，通过编程模型管理模块加载所需大数据处理过程适配的数据处理模型，并根据处理场景不同，判断编程模型是否是批处理模型，是则转步骤十七，否则转步骤十八；

步骤十七，如待进行的大数据处理场景经系统判断适合采用批处理模式，则系统调用批处理模块加载模型进行数据处理

步骤十八，如待进行的大数据处理场景经系统判断适合采用流处理模式，则系统调用批处理模块加载模型进行数据处理；

步骤十九，数据分析模块接收数据处理结果，并将结果整合发至数据挖掘模块进行操作；转步骤二十一；

步骤二十，数据挖掘模块接收已整合处理的数据信心，配合信息检索模块，完成对数据所含信息的深度分析处理；

步骤二十一，效能评估模块分析大数据处理过程中各个环节的运行情况效率，并将评估结果提交至系统监控平台；

步骤二十二，混合云管理模块接收效能评估模块针对大数据处理各环节的效率评估信息，并结合纳管云资源输出的监控日志，做整体系统平台运行情况的监控管理；

步骤二十三，系统保持监控所管辖混合云资源的运行效率是否达到资源优化模块预定义的触发条件及告警阈值，判断是否达到预定义触发条件，是则转步骤二十四，否则转步骤二十二；

步骤二十四，启动大数据工作载迁移过程，通过资源优化模块调用混合云管理模块中的资源分配模块、资源迁移模块完成相关的大数据处理工作负载迁移过程的参数配置；具体过程转交给步骤四处理。

本发明工作原理如下：可视化界面模块其用于提供整个系统的访问、操作接口；相对于一般访问界面不同的是，操作者可通过该界面完成大数据处理框架编排系统及所辖的混合云平台上的各层级的应用配置、部署、编排、迁移等操作，并且输入方式以图形化界面，配合鼠标手势动作为主，个别参数手动输入为辅的方法。在系统运行过程中，它持续接收效能评估的关于大数据处理过程中各类资源的监控指标和报警日志，作为移动端显示的输入，并将整合后的数据输出到服务目录模块；然后通过服务目录模块管理、配置系统可对外提供的大数据处理的各项服务过程，这里“服务”具体指以相关大数据处理过程集合，协同运行形成的一种面向客户的大数据处理能力。具体运行过程中，它将可视化界面模块的操作者控制作为输入，调用后台的大数据处理过程配置项，通过流程执行器；根据可视化界面模块的动作手势输入以及服务目录模块的输入，根据待执行的大数据处理任务类型及规模，确定具体的大数据处理任务执行的具体过程组等相关配置，并将以上数据整合为一个包含大数据处理整体部署方案所需参数的脚本，输出到数据分析、数据处理、数据存储、数据集成等模块；再通过资源优化模块接收流程执行器传递参数，如资源类型、数量、初始化参数、安全策略等，通过资源分配模块执行调度大数据处理各环节所需的各类云资源，其具体操作混合云平台各个云堆栈上的资源部署、配置、初始化任务，并负责对完成后的结果进行校验；在通过数据挖掘模块通过接收服务目录模块对于数据处理的编排要求，将代加工的数据进行综合分析处理，结合信息检索提供的查收收集的筛选信息，输出可供于终端用户使用的决策信息。同时，其对效能评估输出执行过程中的日志信息，用于分析处理过程中的效率使用水平；通过信息检索模块接收服务目录模块提供的信息收集的需求，将已有信息做整体搜索及筛查，得出结果反馈至数据挖掘模块；通过效能评估模块接收数据挖掘模块在处理数据过程中产生的日志信息，用于结合自身的效率评估模型及相关算法，进行迭代计算，分析得出整个大数据处理过程各个环节的效率信息，并以移动端、多维度形式显示在可视化界面模块；编程模型管理模块管理大数据处理子系统中全部编程模型，包括模型的增删改查操作；在具体数据处理过程中，接收下层数据存储子系统的缓存数据管理模块提供的缓存数据，根据不同数据类型，执行调用所管理的批处理模块、流处理模块；批处理模块根据待加工数据类型不同，接收编程模型管理模块的指令，负责处理适合用于分布式处理的数据集操作；流处理模块根据待加工数据类型不同，接收编程模型管理模块的指令，负责处理大数据量级的数据集操作；缓存数据管理模块负责计算资源中的缓存数据的处理工作。其可接收来自元数据管理模块输出的元数据，以及数据库管理模块输出的关系型数据，并根据数据存储类型不同选择相应的数据优化读写方式，将最终结果输出到上层系统中的编程模型管理模块；元数据库管理模块负责将下层原始数据抽象成元数据进行数据存储，执行元数据的增删改查等功能操作。其输出结果传输到缓存数据；数据库管理模块负责将关系型数据在数据存储层的管理，包含数据的增删改查等操作执行，接收下层数据集成模块文件存储模块以及数据同步输出模块的数据；数据同步模块接收下层混合云管理子系统中的资源分配模块输出的存储数据，将数据做整合后，发送至上层元数据管理模块；记录操作中的日志，输出至消息传递模块；消息传递模块记录混合云子系统上资源分配模块操作云资源过程中的日志信息，接收数据同步模块在执行过程中的日志。并将其存储在文件存储模块；文件存储模块负责在数据集成处理过程中，将相关日志信息及其他数据以文件形式存放管理；资源分配模块接收上层数据集成子系统针对云资源上数据调用指令，并结合资源优化模块输出的混合云的优化指令，对所纳管的混合云资源进行操作。在执行过程中，需要与权限管理模块做操作权限的验证，以及通过云资源开发的北向api做操作命令的具体下放配置；资源迁移模块接收资源分配模块对于云资源的操作命令，负责具体数据处理工作负载在各个云堆栈之间的迁移工作。在具体执行命令过沉重，每一步的操作都需要通过权限管理模块行验证；权限管理模块负责混合元管理子系统各项操作的权限认证，通过细颗粒度的权限划分，授权资源分配模块、资源迁移模块、资源监控模块执行相关操作；资源监控模块负责监控混合云操作过程中所管辖的各个云堆栈的监控日志信息，进行统一格式化处理，并接收权限管理模块的命令调度，当监控阈值触发条件达到，实时做出相应的云堆栈操作指令，完成监控资源的平稳运行。

综上所述，本发明可灵活调度的混合云管理平台，其用于接入管理客户的各类云计算资源，包含私有云、公有云；可在其上实现对所有纳管资源的快速定义及配置，支持大数据处理过程中的不同层级服务，提供符合特定处理环节所需的资源，且符合云平台最佳资源效用；通过混合云的管理平台，可实现动态地响应大数据处理负载调节，并完成跨云堆栈的大数据工作负载迁移任务；支持用户通过移动端界面等多种直观操作形式，完成对大数据处理整体框架及细分任务的编排、执行工作，该框架需要满足用户的大数据处理领域的快速迭代要求。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。