一种基于大数据的可视化加工处理系统及方法与流程

本发明涉及数据处理领域，具体地说是一种基于大数据的可视化加工处理系统及方法。

背景技术：

目前对数据库的交互主要分为两种方式：1、直接执行sql语句；2、使用plsql、navicat等数据库操作软件可视化操作。

数据库的使用人员主要分为三种：1、专业开发人员；2、普通用户；3、业务技术用户，其中：

专业开发人员直接拼装操作sql语句实现与数据库的交互，方便快捷。

普通用户使用封装好的服务间接进行数据库交互。

业务技术用户基于两者之间，对数据库的了解没有专业人员深入，使用sql语句实现与数据库的交互存在困难，但是相对普通用户而言，他们直接与数据库进行交互，并且需求不固定，无法进行服务的提前封装。

plsql、navicat等数据库操作软件提供的可视化操作过于简单，灵活度低，无法满足业务技术用户需要。

技术实现要素：

本发明的技术任务是针对现有技术的不足，提供一种基于大数据的可视化加工处理系统及方法。该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。灵活度高、简单易用，比较完美地契合了业务技术用户的需要。

本专利中术语说明：

structuredquerylanguage结构化查询语言。是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统，下文简称sql。

pl/sqldeveloper是一个集成开发环境，专门开发面向oracle数据库的应用。以下简称plsql。

navicat是一套快速、可靠并价格相宜的数据库管理工具，专为简化数据库的管理及降低系统管理成本而设。它的设计符合数据库管理员、开发人员及中小企业的需要。navicat是以直觉化的图形用户界面而建的，让你可以以安全并且简单的方式创建、组织、访问并共用信息。

oracle由甲骨文公司开发的关系型数据库管理系统。

mysqlmysql是一个关系型数据库管理系统。

hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为mapreduce任务进行运行。

jsplumb一个前端流程图组件。

jqueryjquery是一个快速、简洁的javascript框架，它封装javascript常用的功能代码，提供一种简便的javascript设计模式，优化html文档操作、事件处理、动画设计和ajax交互。

jquery.panzoom一个基于jquery的缩放组件。

mustache一个前端模板引擎组件。

本发明解决其技术问题所采用的技术方案是：

1、一种基于大数据的可视化加工处理系统，该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。

方案优选地，该系统包括组件库、画布、图结构、拓扑解析部分、执行顺序部分、脚本部分、执行部分，

其中组件库中包含多个定制通用的可视化组件；

其中画布用于将组件库中选择的可视化组件置于画布区域中，生成可视化组件节点，在组件配置参数区域对可视化组件节点的参数进行绑定sql配置，并读取数据，基于系统中各个数据库之间的数据交互关系，通过鼠标绘制sql之间的连接线，一个可视化组件节点对应一个数据库；

其中图结构用于存储画布中所绘制的连接线，将可视化组件关系解析为图结构进行保存；

其中拓扑解析部分与图结构相连，通过对图结构进行拓扑解析获得组件执行先后顺序，提取绑定sql信息封装为脚本后进行后台执行。

方案优选地，所述可视化组件通过拖拽方式置于画布区域。

2、本发明另提供一种基于大数据的可视化加工处理方法，基于上述的处理系统，具体步骤说明如下：

1)将组件库中的可视化组件拖拽添加至画布中，在画布中生成可视化组件节点；

2)可视化组件节点右键弹出自定义sql配置窗口绑定配置sql；

3)鼠标悬浮在可视化组件节点上会出现拖拽箭头，通过拖拽实现sql表间关联并确定执行次序逻辑；

4)通过添加组件与连线配置后，将可视化组件节点关系解析为图结构进行保存；

5)通过对图结构进行拓扑解析获得组件执行先后顺序，提取组件绑定sql信息封装为脚本后台执行。

方案优选地，所述处理系统支持oracle、mysql、hive等不同类型数据库。

方案优选地，所述组件与画布的实现使用以下相关前端组件：jsplumb、jquery、jquery.panzoom、mustache。

方案优选地，步骤5)中提取组件绑定sql信息封装为shell、perl、python、tcl脚本后台执行。

方案优选地，所述sql配置窗口包括配置基本信息、配置字段信息、预览sql三部分。

方案优选地，所述配置基本信息包括create类型、创建表类型、库名、表名及高级配置。

本发明的一种基于大数据的可视化加工处理系统及方法，与现有技术相比所产生的有益效果是：

1、针对业务技术用户(对数据库了解不深、需要与数据库交互、需求不定用户)，直观、简单易用、灵活度高、耦合性低、扩展性强。

2、每个可视化组件节点可查看到该节点为止拼装出的sql及字段信息，实时解析，可以方便、直观地查看脚本情况。

3、本发明方案降低了数据库交互难度，可视化sql配置与ide相比有质的提升。

附图说明

附图1是本发明系统的结构示意图；

附图2是本发明自定义sql配置窗口的结构图；

附图3是本发明可视化组件及最终连接效果图。

具体实施方式

下面结合附图1-3，对本发明的一种基于大数据的可视化加工处理系统及方法作以下详细说明。

实施例一

本发明的一种基于大数据的可视化加工处理系统，该系统是一种基于前端页面的新型数据库交互实现方案，通过定制通用可视化组件，用户通过可视化组件的拖拽与连线实现加工脚本的编写与加工流程的管理，从而实现与数据库的交互与业务处理。

结合附图1，该系统包括组件库、画布、图结构、拓扑解析部分、执行顺序部分、脚本部分、执行部分，

其中组件库中包含多个定制通用的可视化组件；

其中画布用于将组件库中选择的可视化组件拖拽置于画布区域中，在组件配置参数区域对可视化组件的参数进行绑定sql配置，并读取数据，基于系统中各个数据库之间的数据交互关系，通过鼠标绘制sql之间的连接线；

其中图结构用于存储画布中所绘制的连接线，将可视化组件关系解析为图结构进行保存；

其中拓扑解析部分与图结构相连，通过对图结构进行拓扑解析获得组件执行先后顺序，提取绑定sql信息封装为脚本后进行后台执行。

实施例二

本发明的一种基于大数据的可视化加工处理方法，基于实施例一的处理系统，具体步骤说明如下：

1)将组件库中的可视化组件拖拽添加至画布中，在画布中生成可视化组件节点；由于可视化组件之间低耦合，因此该系统可支持oracle、mysql、hive等不同类型数据库。组件与画布的实现使用以下相关前端组件：jsplumb、jquery、jquery.panzoom、mustache；

2)可视化组件节点右键弹出自定义sql配置窗口绑定配置sql；

结合附图2，sql配置窗口包括配置基本信息、配置字段信息、sql预览三部分，配置基本信息包括create类型、创建表类型、库名、表名及高级配置。

3)鼠标悬浮在可视化组件节点上会出现拖拽箭头，通过拖拽实现sql表间关联并确定执行次序逻辑，可视化组件最终连接效果参见附图3；

4)通过添加组件与连线配置后，将可视化组件节点关系解析为图结构进行保存；

5)通过对图结构进行拓扑解析获得组件执行先后顺序，提取组件绑定sql信息封装为shell、perl、python、tcl脚本后台执行。

本专利能解决原有数据库交互方式不能很好满足业务技术用户需求的问题，本文介绍的可视化交互方式操作简单、灵活度高，能很好地满足业务技术用户需求；解决原有交互方式只支持单数据库的问题，提供一种可行的低耦合的扩展支持方案；可扩展支持hive等大数据相关数据库组件；解决可视化组件与执行脚本的转换问题，提出了一种可视化组件与数据的绑定方案与解析转换方案。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。