一种基于大数据的智能管控平台运行方法与流程

本发明涉及大数据技术领域，具体为一种基于大数据的智能管控平台运行方法。

背景技术：

随着大数据技术的飞速发展和广泛的应用，每天都有海量的数据产生，各种任务进行数据的采集、整合、分析、挖掘等，这些任务采用的工具、平台和运行环境等各不相同，要保证这些任务有序的运行就必须有稳定的调度程序。

目前市场调度产品存在以下缺陷：1.目前各业务的数据处理任务基本都是靠系统自带的定时调度来处理，各个任务之间的依赖根据大概的时间差设置不同的启动时间来错开调度，这样很容易造成前面的任务未结束或者失败，后面的任务也运行起来，最终跑出错误的分析结果；或者采用的调度系统虽然有依赖关系，但是需要人工配置，而且配置比较复杂，增加开发人员的负担，而且不易维护；2.目前的调度方式，基本都是在任务处理完成之后才有反馈信息，或者需要人工去核查调度情况，这样无法实时掌握任务的运行情况，一旦出故障往往不能及时处理；3.由于大数据技术方面众多，采用的技术和产品也各有区别，采集、清单、报表、数据挖掘等任务分散在不同的平台处理，任务调度也是在不同的平台上，这样任务分散不易于管理，而且任务之间的串联关系也不易保障。

技术实现要素：

针对现有技术的不足，本发明提供了一种基于大数据的智能管控平台运行方法，解决了上述背景技术中提出的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据的智能管控平台运行方法，包括管控平台和以下步骤：

步骤1：脚本解析，利用脚本解析程序将脚本拆分成单独语句，获取语句中的关键词，根据关键词判断语句类型并将其分类四类，分别为本脚本创建对象、其他脚本创建对象、基础对象和静态对象；

步骤2：智能调度，根据脚本解析的结果，实现两种脚本串行运行机制，分别为智能解析等待机制和实时触发等待机制；

所述智能解析等待机制包括以下步骤：

步骤201：根据脚本解析的结果，判断脚本对象的优先级；

步骤202：若对象优先级重要，则为依赖的基础对象，直接运行；

步骤203：若对象优先级不重要，则纳入可调度队列；

步骤204：判断当前并发数，若并发数未满，直接运行，反之，若并发数已满，循环等待直至其其他脚本运行完释放并发度再运行他脚本运行完释放并发度后，再进行运行；

所述实时触发等待机制包括以下步骤：

步骤205：在步骤202对象直接运行的同时，会触发一条更新记录，对比其他脚本是否使用过该对象，若未使用，进行重复循环对比；反之，若使用过，进行下一步骤；

步骤206：同样使用该对象的脚本在使用前添加一条等待语句，该脚本不断循环等待直至对应对象下次触发记录的出现，再往下执行；

步骤3：实时监控，脚本调度启动之后，利用执行器相关命令往对应数据库表插入一条记录，记录脚本的开始时间、结束时间、用户、服务器等相关等信息，并实时捕捉任务的运行情况，将捕捉到的信息更新到对应的记录；

步骤4：任务周期管理，将任务脚本和业务的需求进行数据关联，与下游平台对接，脚本任务完成之后实时触发清单的更新，将清单推送给清单平台，根据下游清单平台的访问情况反馈给对应的任务，实时调整其优先级或者下线处理。

进一步地，所述管控平台包括应用层、引擎和执行层，所述应用层为用户界面，提供用户开发新增及运维监控操控界面。

进一步地，所述引擎包括脚本解析、血缘分析、智能调度、集中发布、权限控制、实时监控、异常捕捉和接口引擎。

进一步地，所述执行层为实际执行脚本的客户端程序，包括若干执行器和脚本执行程序，支持分布式部署，所述执行器数量根据管控平台所需进行适当增减。

进一步地，所述可调度队列中的对象根据优先级进行排序循环，优先级高的对象优先进行循环等待。

进一步地，所述基础对象为用户配置的对象，可作为公共对象为其他脚本广泛使用，所述其他脚本创建对象和基础对象为依赖对象，脚本需要等待其更新后才能运行，所述本脚本创建对象和静态对象无需等待。

进一步地，所述引擎为管控平台核心程序，所述接口引擎用于与下游平台对接，所述血缘分析用于对周期性脚本进行脚本解析，集中发布标准化开发流程，所述权限控制用于将人员进行集中管控。

进一步地，所述管控平台基于linux语言平台开发，安装于企业服务器。

本发明具有以下有益效果：

1、该基于大数据的智能管控平台运行方法，通过混合使用两种智能调度机制，能够在脚本的任意位置实现依赖关系，既能保证脚本的逻辑整体性，又可保证依赖关系，使脚本的串行运行更加灵活高效。

2、该基于大数据的智能管控平台运行方法，通过利用执行器相关命令往对应数据库表插入一条记录，记录脚本的开始时间、结束时间、用户、服务器等相关等信息，以此可以实时掌控脚本的运行情况，可以直观的了解到脚本是否可以运行，是否开始运行，何时开始运行，何时结束，是否出错等；根据实时监控可以做到问题发生前提前预警并及时补救。

3、该基于大数据的智能管控平台运行方法，通过将任务脚本和业务的需求进行数据关联，与下游平台对接，根据下游清单平台的访问情况反馈给对应的任务，实时调整其优先级或者下线处理；避免脚本任务与业务需求脱节，使得业务人员与开发人员沟通效率更高，保障大数据平台稳定有序的发展。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于大数据的智能管控平台运行方法的流程示意图；

图2为本发明的系统架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：一种基于大数据的智能管控平台运行方法，包括管控平台和以下步骤：

步骤1：脚本解析，利用脚本解析程序将脚本拆分成单独语句，获取语句中的关键词，根据关键词判断语句类型并将其分类四类，分别为本脚本创建对象、其他脚本创建对象、基础对象和静态对象；

步骤2：智能调度，根据脚本解析的结果，实现两种脚本串行运行机制，分别为智能解析等待机制和实时触发等待机制；

智能解析等待机制包括以下步骤：

步骤201：根据脚本解析的结果，判断脚本对象的优先级；

步骤202：若对象优先级重要，则为依赖的基础对象，直接运行；

步骤203：若对象优先级不重要，则纳入可调度队列；

步骤204：判断当前并发数，若并发数未满，直接运行，反之，若并发数已满，循环等待直至其其他脚本运行完释放并发度再运行他脚本运行完释放并发度后，再进行运行；

实时触发等待机制包括以下步骤：

步骤205：在步骤202对象直接运行的同时，会触发一条更新记录，对比其他脚本是否使用过该对象，若未使用，进行重复循环对比；反之，若使用过，进行下一步骤；

步骤206：同样使用该对象的脚本在使用前添加一条等待语句，该脚本不断循环等待直至对应对象下次触发记录的出现，再往下执行；这种方式能够在脚本的任意位置实现依赖关系，保证脚本的逻辑整体性。两种依赖方式可以独立使用也可以混合使用，既能保证脚本的逻辑整体性，又可保证依赖关系，使脚本的串行运行更加灵活高效。

步骤3：实时监控，脚本调度启动之后，利用执行器相关命令往对应数据库表插入一条记录，记录脚本的开始时间、结束时间、用户、服务器等相关等信息，并实时捕捉任务的运行情况，将捕捉到的信息更新到对应的记录；以此可以实时掌控脚本的运行情况，可以直观的了解到脚本是否可以运行，是否开始运行，何时开始运行，何时结束，是否出错等；根据实时监控可以做到问题发生前提前预警并及时补救；

步骤4：任务周期管理，将任务脚本和业务的需求进行数据关联，与下游平台对接，脚本任务完成之后实时触发清单的更新，将清单推送给清单平台，根据下游清单平台的访问情况反馈给对应的任务，实时调整其优先级或者下线处理；避免脚本任务与业务需求脱节，管控平台同时还可以作为开发人员和运维人员的一站式工作平台，使得业务人员与开发人员沟通效率更高，保障大数据平台稳定有序的发展。

其中，管控平台包括应用层、引擎和执行层，应用层为用户界面，提供用户开发新增及运维监控操控界面；应用层功能包括脚本开发、脚本发布、脚本运行、任务管理、监控面板、告警推送、脚本异常处理和数据资产管理；上述功能均为管控平台所需的常用功能。

其中，引擎包括脚本解析、血缘分析、智能调度、集中发布、权限控制、实时监控、异常捕捉和接口引擎；引擎为管控平台核心程序，接口引擎用于与下游平台对接，具有全面的兼容性；血缘分析指的是平台对周期性脚本进行脚本解析，对解析结果进行血缘分析，为智能调度等后续应用提供前置条件，集中发布可以标准化开发流程，减轻开发人员劳动压力，权限控制便于管理人员进行集中管控，便于提高运维效率；脚本解析、智能调度、实时监控和异常捕捉为上述平台的运行方法，再次不再赘述。

其中，执行层为实际执行脚本的客户端程序，包括若干执行器和脚本执行程序，支持分布式部署，执行器数量根据管控平台所需进行适当增减。

其中，可调度队列中的对象根据优先级进行排序循环，优先级高的对象优先进行循环等待。

其中，基础对象为用户配置的对象，可作为公共对象为其他脚本广泛使用，其他脚本创建对象和基础对象为依赖对象，脚本需要等待其更新后才能运行，本脚本创建对象和静态对象无需等待。

本管控平台可以应用于大数据平台的任意行业公司，管控平台安装部署简易，在基于linux语言的服务器上安装，再做好相应的基础配置后即可使用。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。