一种订单模式的大数据计算分析任务可视化编辑与管理系统的制作方法

本发明涉及计算机信息处理技术领域，具体涉及一种订单模式的大数据计算分析任务可视化编辑与管理系统。

背景技术：

大数据技术发展至今，不仅对人类社会及行为分析带来了很多新的技术支持，也为工业领域提供强大的工业大数据支持。现如今，限制工业大数据进一步发展的往往已不是大数据技术本身，而是大数据技术对专业人员的技术要求。以电力系统为例，电力系统运行所产生的数据无论是数量还是种类都已非常全面和庞大，但对数据的分析技术却相对落后，其最主要的原因之一便是对数据的分析存在许多的安全问题和对计算机技术专业水平的高要求，使得部分电力系统专业人员难以对电力系统产生的大数据进行快速且深入的分析。为此，迫切需要能够提供更加方便快捷并且能够图形化编辑所生成大数据计算分析任务的解决方案。

技术实现要素：

为了克服上述现有技术中存在的问题，本发明提出了一种订单模式的大数据计算分析任务可视化编辑与管理系统，通过为用户提供图形化的计算分析任务编辑支持，以及订单化的计算分析任务管理，为用户提供比直接编写计算脚本更加简单方便的大数据计算分析支持，进一步降低用户对所在领域的大数据进行价值挖掘的难度。

为实现上述目的，本发明采用的技术方案为：

一种订单模式的大数据计算分析任务可视化编辑与管理系统，包括：

计算分析任务可视化编辑与管理前端：用于接收用户的操作，辅助用户生成并管理计算分析任务；

基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块：用于为所述计算分析任务可视化编辑与管理前端提供最常用的大数据计算分析任务编辑支持，使得用户能够快速编辑并生成常规的大数据计算分析任务；

数据源信息同步接口和规则库与专家库同步接口：用于为所述基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块提供对应的数据源信息数据和规则库与专家库数据，使其能够为用户提供准确的数据源信息并能够引用规则库和专家库辅助计算分析；

计算分析任务校验子系统：用于接收来自所述计算分析任务可视化编辑与管理前端的计算分析任务，校验所述计算分析任务逻辑正确性并进行简单整合；

计算分析任务订单化管理子系统：用于接收来自所述计算分析任务校验子系统的计算分析任务，并对所述计算分析任务进行订单化管理；

计算分析任务下达及反馈接口：用于接收来自所述计算分析任务订单化管理子系统的计算分析任务，将所述计算分析任务发送至处理集群，并跟踪处理进度；

所述计算分析任务可视化编辑与管理前端、数据源信息同步接口和规则库与专家库同步接口均分别与所述基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块连接，所述计算分析任务校验子系统分别与所述计算分析任务可视化编辑与管理前端和计算分析任务订单化管理子系统连接，所述计算分析任务下达及反馈接口与所述计算分析任务订单化管理子系统连接。

优选的，所述计算分析任务的格式是满足能够调用计算集群进行分布式计算分析的Python脚本。

优选的，所述计算分析任务可视化编辑与管理前端通过调用基础统计学分析可视化编辑模块和基础机器学习分析可视化编辑模块，为用户图形化计算任务编辑提供支持；用户通过选择数据源，选择对应的计算分析方法、引用的规则库或者专家库和指定的输入，生成一条计算分析语句，由多条所述计算分析语句组合为一个分析方案，并由所述计算分析任务可视化编辑与管理前端自动将所述分析方案转换成计算分析任务。

优选的，所述计算分析任务可视化编辑与管理前端通过调用复杂算法脚本可视化编辑模块，为自主编程的用户提供可视化编辑服务。

优选的，所述计算分析任务订单化管理子系统对接收到的计算分析任务进行订单式跟踪管理，用户通过所述计算分析任务可视化编辑与管理前端，查询所有待执行的计算分析任务的队列并管理队列优先级，查询正在执行的计算分析任务并能挂起或重置，查询已执行完成的计算分析任务并浏览其结果或令其重新执行。

优选的，所述计算分析任务下达及反馈接口连接Spark计算集群和Hadoop计算集群中的一种或多种，发送执行脚本并控制执行。

优选的，所述基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块，均用WEB前端脚本语言来编写，所述WEB前端脚本语言为JavaScript。

优选的，所述数据源信息同步接口、规则库与专家库同步接口、计算分析任务校验子系统、计算分析任务订单化管理子系统和计算分析任务下达及反馈接口，均用WEB后端语言来编写，所述WEB后端语言为Java。

本发明的有益效果是：通过更加人性化的引导和对计算方法的封装，极大降低了用户编写典型的大数据计算分析任务的难度，从而使得用户能够更加专注于业务分析和数据挖掘本身，为进一步实现工业大数据的深入分析提供了方案。

附图说明

附图1为本发明提出的一种订单模式的大数据计算分析任务可视化编辑与管理系统的结构示意图。

具体实施方式

下面将结合附图，详细说明本发明提出的方案。

由附图1可知，一种订单模式的大数据计算分析任务可视化编辑与管理系统，包括九个部分，其中：

计算分析任务可视化编辑与管理前端：用于接收用户的操作，并为用户提供相应的计算分析所需的快速编辑功能支持，辅助用户生成并管理计算分析任务。本实施例中，计算分析任务的格式是满足能够调用计算集群进行分布式计算分析的Python脚本。计算分析任务可视化编辑与管理前端通过调用基础统计学分析可视化编辑模块和基础机器学习分析可视化编辑模块，为用户图形化计算任务编辑提供支持。用户通过选择数据源，进而选择对应的计算分析方法、引用的规则库或者专家库和指定的输入，即可生成一条计算分析语句，由多条所述计算分析语句就可组合为一个分析方案，并由计算分析任务可视化编辑与管理前端自动将所述分析方案转换成计算分析任务。此外，计算分析任务可视化编辑与管理前端还可通过调用复杂算法脚本可视化编辑模块，为自主编程的用户提供可视化编辑服务。计算分析任务可视化编辑与管理前端，可由典型的WEB前端语言如HTML结合JavaScript编写而成，并部署至系统服务器以运行，等待用户访问。

基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块：这三个模块共同为计算分析任务可视化编辑与管理前端提供最常用的大数据计算分析任务编辑支持，使得用户能够快速编辑并生成常规的大数据计算分析任务。这三个模块通过数据源信息同步接口、规则库与专家库同步接口，获取来自服务器的数据源信息和规则库与专家库信息，并嵌入编辑模块之中，为用户提供对应的数据源信息和规则库与专家库信息，使得用户能够通过计算分析任务可视化编辑与管理前端，设计并生成完整、典型的计算分析任务，发送至计算分析任务可视化编辑与管理前端，然后通过计算任务校验子系统的校验，再发送至计算任务订单化管理子系统，并通过计算任务下达及反馈接口进行执行和管理。基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块，均可用典型的WEB前端脚本语言如JavaScript来编写，并封装后被计算分析任务可视化编辑与管理前端所调用。

数据源信息同步接口和规则库与专家库同步接口：用于为基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块提供对应的数据源信息数据和规则库与专家库数据，能够为用户提供准确的数据源信息并能够引用规则库和专家库辅助计算分析。数据源信息同步接口、及规则库与专家库同步接口，可用典型的WEB后端语言如Java来编写，并部署至服务器，再连接至对应的分布式数据源和规则库与专家库，从而为基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块提供数据服务。

计算分析任务校验子系统：用于接收来自计算分析任务可视化编辑与管理前端的计算分析任务，然后校验所述计算分析任务的逻辑正确性并进行简单整合。

计算分析任务订单化管理子系统：用于接收来自计算分析任务校验子系统的计算分析任务，并对所述计算分析任务进行订单式跟踪管理。用户通过计算分析任务可视化编辑与管理前端，可以查询所有待执行的计算分析任务的队列并管理队列优先级，查询正在执行的计算分析任务并能挂起或重置，查询已执行完成的计算分析任务并浏览其结果或令其重新执行。

计算分析任务下达及反馈接口：用于接收来自计算分析任务订单化管理子系统的计算分析任务，并将所述计算分析任务发送至处理集群以执行，跟踪其处理进度。计算分析任务下达及反馈接口连接Spark计算集群和Hadoop计算集群中的一种或多种，发送执行脚本并控制执行。

计算分析任务校验子系统、计算分析任务订单化管理子系统、计算分析任务下达及反馈接口，均可用典型的WEB后端语言如Java来编写，并部署至服务器，建立内部连接，共同为计算分析任务可视化编辑与管理前端服务。

由图1可知，计算分析任务可视化编辑与管理前端、数据源信息同步接口和规则库与专家库同步接口均分别与基础统计学分析可视化编辑模块、基础机器学习分析可视化编辑模块和复杂算法脚本可视化编辑模块连接，计算分析任务校验子系统分别与计算分析任务可视化编辑与管理前端和计算分析任务订单化管理子系统连接，计算分析任务下达及反馈接口与计算分析任务订单化管理子系统连接。

上述实施例仅为说明发明而举例，并非实施方式的限定。对于所述技术领域的普通技术来说，可以根据实际情况进行方便快速的部署和实现，做出其它不同形式的变化或变动，但这些响应的改变和变形都应属于本发明的权利要求的保护范围。